基于證據的職業技能評價方法有效性框架構建

黃方慧?趙志群

摘 要 借鑒語言測試的AUA測試框架，以信度理論和整體效度觀為理論基礎，運用修正式德爾菲法構建了包括4項一級指標、11項二級指標和33項三級指標的職業技能評價方法有效性框架。研究發現：信度、效度是職業技能評價方法在評價技術上最重要的質量標準;職業技能評價方法的有效性評價不僅關注評價工具本身的有效性，還注重評價及其結果使用的有效性;對職業技能評價方法的有效性評價是基于證據的有效性論證;所構建的有效性框架具有良好的應用價值和可推廣性。在設計職業技能評價方法時，建議將信度和效度理論作為理論基礎，關注評價及其結果的使用對考生、院校和企業的影響，注重利益相關者的參與，關注評價的公平性。

關鍵詞 職業技能評價;職業教育;有效性框架;證據;修正式德爾菲法

中圖分類號 C975 文獻標識碼 A 文章編號 1008-3219（2022）13-0014-06

作者簡介

黃方慧（1988- ），女，中國消防救援學院講師，博士，研究方向：教育評價，技能評價（北京，102202）;趙志群（1966- ），男，北京師范大學教授，博士，博士生導師，研究方向：職業教育課程與教學論

基金項目

北京市教育科學“十三五”規劃2020年優先關注課題“‘1+X證書制度建設中技能評價方法研究”（BDEA2020009）;教育部1+X證書制度2020年度專項課題“職業技能等級證書考核模型與評價技術研究”，主持人：趙志群

一、問題提出

2019年1月，國務院頒發《國家職業教育改革實施方案》（國發[2019]4號）（簡稱“職教20條”），提出在職業院校和應用型本科高校啟動“學歷證書+職業技能等級證書”（即“1+X”證書）試點工作，這項工作是否能夠成功，在很大程度上取決于職業技能評價的質量，而評價方法對技能評價結果的真實性與可信度具有直接影響。目前，國內對技能評價的方法和工具研究較弱，現有評價方法普遍在技術上缺乏系統性考慮，如高職招生考試特別是專業考試，無法保證區分度、信度和效度[1];評價標準不清晰，評分隨意，評價結果缺乏客觀性和公平性等[2]。雖然部分技能評價方法已經開始從評價技術上探討評價方法有效性問題，例如檢驗評價方法的信度、效度、區分度和難度等，但尚缺乏對技能評價方法的系統性元評價研究，也未形成技能評價方法的質量標準。

科學有效的技能評價方法是保證技能評價結果真實、可信的前提。只有符合教育測量相關質量標準的技能評價方法，在評價技術上才是科學的、可信的、高質量的，其評價結果才有意義。缺乏教育測量理論（例如效度、信度理論）指導的評價過程，將無法保證評價的可信度和科學性[3]。如何保證技能評價方法的質量，以及如何對技能評價方法的質量進行評價，是當前技能評價亟需解決的關鍵問題。

對評價方法質量或有效性評價的相關文獻進行回顧發現，目前國際上已有的元評價指標更關注對項目或方案的評價，不適合從評價技術層面對評價方法的有效性進行評價。效度驗證是教育與心理測量中用來驗證測量方法或工具是否有效的方法，主要關注評價方法或技術層面的有效性。隨著效度理論的發展，在整體效度觀指導下的效度驗證模式主要采用基于證據的有效性論證方式。基于證據的有效性論證方式是凱恩（T. M. Kane）于1992年在整體效度觀理論基礎上提出的，采用圖爾敏（E. S. Toulmin）“事實—主張”論證模型[4]對有效性開展論證的方式，即首先建立與分數解釋相關的推論和假設，再通過收集、評估和呈現相關證據來闡明評價工具或方法的有效性[5]。凱恩在2006年出版的《教育測量》中正式提出基于證據的有效性論證方式——“解釋使用論證”[6]。目前在國際教育與心理測量、語言測試領域已有較多的理論和實踐研究，形成多種基于證據的有效性論證模式，主要有凱恩的解釋使用論證模式、巴赫曼（L. Bachman）和帕爾默（A. Palmer）的語言測試使用論證框架等。研究發現，美國語言學家巴赫曼和帕爾默提出的測試使用論證框架（Assessment Use Argument， 簡稱AUA）[7]以整體效度觀作為理論依據，構建起一套系統的、可操作的程序，涵蓋了從評價開發、評價結果使用到評價影響的整個過程，是目前發現的比較成熟和全面的有效性框架。本研究借鑒語言測試使用論證框架，對職業技能評價方法及其質量進行研究，力圖采用基于證據的有效性論證方式構建科學的、符合職業技能評價的有效性框架。

二、研究方法

美國教育家克隆巴赫（L. J. Crobach）提出設計評價指標的流程包括發散和收斂兩個階段[8]。發散階段是指在構建有效性框架中，廣泛收集相關資料，盡可能將評價對象的各種表現進行分解，提出詳細、全面的指標體系初稿。收斂階段是依據一定原則、采用一定方法，對指標進行篩選與歸并。根據克隆巴赫指標構建流程，本研究第一階段主要通過文獻研究法，基于已有成熟研究，初步構建技能評價方法有效性框架初稿;根據初稿設計專家咨詢第一輪問卷，選取部分專家和職業院校教師進行訪談和試測，經討論修改后，形成正式的專家咨詢問卷。第二階段采用修正式德爾菲法進行專家意見征詢，確定有效性框架。

修正式德爾菲法（Modified Delphi Method）與傳統德爾菲法不同，其是根據已有研究結果設計的結構性問卷作為第一輪問卷，而不是開放性問卷，提高了傳統德爾菲法的效率[9]。專家咨詢問卷采取線上發放方式，通過微信和郵件將初步構建的有效性框架及框架指標說明與解釋、問卷鏈接等相關資料發送給專家，確保專家能夠非常清晰框架構建的邏輯、思路及理論依據。專家數量和質量在一定程度上影響德爾菲法質量。在選擇專家時主要考慮代表性和專業性。本研究是職業技能評價理論與實踐的綜合研究，既要考慮專家在職業技能評價領域的實踐經驗，也要考慮其對教育與心理測量相關理論的熟悉程度。研究采用經驗選擇方式，擬選取8位專家。經過第一輪德爾菲法，發現兩位專家對技能評價的實踐或教育測量理論不熟悉，權威度不符合要求，予以剔除。最后確定6位專家，專家們在技能評價領域均具有豐富的理論和實踐研究經驗。827AFB11-E725-4353-B6B1-98A9710221ED

三、研究過程與結果

本研究首先通過文獻研究確定高質量的技能評價方法要滿足哪些評價技術質量標準;其次明確已有可借鑒的有效性評價方式和框架;最后采用修正式德爾菲法進行有效性框架的構建和質量測算。

（一）專家咨詢質量測算

為保證修正式德爾菲法專家咨詢的質量，對專家積極系數、權威度、意見協調度進行測算。

1.專家積極系數

專家積極系數是指參與咨詢專家數與全部專家總數之比：C=M/N。C為專家的積極系數，M為參與咨詢專家數，N為全部專家總數。兩輪專家咨詢問卷回收率均為100%，專家積極系數為1，且專家都按照要求填寫，填寫問卷的時長符合問卷答題時長要求。在第一輪專家咨詢中，部分專家還對指標表述提出了建設性意見，并針對某些問題，通過微信與研究者進行討論與交流。

2.專家權威度

考慮到不同專家對不同指標權威度理解的差異，需要獲取專家對指標的熟悉程度和判斷依據。根據權威度要求，剔除部分不符合要求的專家。熟悉程度和判斷依據的賦值均參照已有研究[10]。邀請專家根據實際情況對評判依據做出自評，按照等級分值及公式算出專家權威系數。一般認為專家權威系數Cr大于等于0.700即為可接受，研究剔除了權威系數低于0.700的兩位專家，入選的6位專家的權威系數分布如表1所示，6位專家的權威系數都在0.800及以上，所選專家具有較高的可信度。

3.專家意見協調度

專家意見協調程度有兩種測算方法，一種是通過變異系數計算，另一種是通過肯德爾系數計算，獲得專家對某指標意見的分歧。變異系數越小表示意見協調程度越高，通常認為變異系數小于0.25可接受，變異系數大于0.25表示專家分歧較大。研究選取0.25作為變異系數的基準數進行指標篩選。肯德爾協調系數（W）是檢驗專家對指標評分結果一致性的指標，判斷專家對指標的評價是否存在較大分歧。數據顯示，第一輪和第二輪專家咨詢的肯德爾系數分別為0.462和0.560，均在可接受范圍內。

（二）第一輪專家咨詢

將第一輪問卷數據錄入數據處理軟件SPSS26中，計算平均數、標準差和變異系數，對有效性框架進行量化和質性分析。根據數據分析結果，對指標體系進行修改和完善。研究以算術平均分大于3.50分、標準差小于1.00、變異系數小于0.25作為指標篩選標準。

1.量化分析

測算結果顯示，第一輪專家咨詢問卷中個別指標變異系數大于0.25，說明專家有不同意見。其中，一級和二級指標的算數平均值均大于3.50，標準差小于1.00，變異系數均小于0.25，說明專家認同一級和二級指標。三級指標中，III-1、III-13、III-27三個指標的標準差均大于1.00、變異系數也大于0.25，其他三級指標的算術平均分均大于3.50、標準差小于1.00、變異系數小于0.25，說明專家對III-1、III-13、III-27指標持有不同意見，見表2。針對有異議的指標，研究者與專家進行深入溝通與交流，最后達成共識。

2.質性分析

對專家反饋的意見進行質性分析發現，意見主要分為三類：修改表述、合并指標、拆分指標。對于“修改表述”的意見，研究者查閱相關文獻，與專家進行充分交流與討論，進一步完善表述，使指標表述更適切、更易理解和接受。此外，結合指標的實踐依據、合理性、準確性等相關意見，對指標進行合并和拆分。具體修改如下：一是有專家提出“I-3測試決策”較難理解，建議改成更容易理解與接受的詞語。研究者通過查閱相關文獻，發現國內語言測試領域也都使用“測試決策”，但為了便于理解，研究用“測試結果使用”來代替“測試決策”，并在注釋中說明，本研究中“測試結果使用”即指“測試決策”。二是有專家提出可以將“I-3測試決策”和“I-4測試影響”合并，但研究者認為測試結果的使用與帶來的影響是兩個維度，不應合并。三是關于二級指標中“推廣性”“相關性”指標的理解，有專家提出與教育測量與評價中“相關性”和“推廣性”的理解不同，為避免誤解，建議尋找更適切的表述。為此，研究者查閱相關資料、結合專家建議，將“推廣性”修改為“適用性”，將“相關性”修改為“關聯性”。四是有專家提出，二級指標“一致性”可以分為“評分的一致性”和“測試工具的一致性”，研究者采納專家的意見。

綜合以上量化和質性分析結果，研究對指標體系進行優化與完善，形成第二輪專家咨詢問卷。

（三）第二輪專家咨詢

針對第一輪專家咨詢修改后的指標體系，邀請專家再次對指標的合理性進行評分。將專家數據錄入SPSS26中，計算標準差、平均數和變異系數。計算結果顯示，指標體系的一級、二級和三級指標的算術平均數均大于3.50、變異系數均小于0.25、標準差小于1.00，說明專家對指標達成一致意見。在第二輪專家咨詢問卷中，沒有專家提出問題和建議。綜上，可認為專家都認同第一輪問卷修改后的指標體系。

經過兩輪專家咨詢問卷，確定技能評價方法有效性框架，包括4項一級指標、11項二級指標和33項三級指標，如表3所示。

四、結論與建議

（一）結論

研究借鑒語言測試的論證框架，通過文獻研究法、訪談法、修正式德爾菲法構建職業技能評價方法的有效性框架，得到以下結論：

1.信度、效度是職業技能評價方法在評價技術上最重要的質量標準

在教育與心理測量中，通常認為滿足教育和心理測量標準的評價方法，在技術上才是科學、可信和高質量的。美國教育研究協會（AERA）、美國心理學協會（APA）、全美教育測量學會（NCME）共同制定的《教育和心理測試標準》，為教育和心理測量領域開展科學有效的測試提供“質量準則”，包括信度、效度、公平性等。其中，信度和效度被認為是衡量測試質量的最重要指標[11]。除了教育和心理測量，語言測試也非常關注評價方法質量，特別是評價技術質量，主要以教育和心理測量的相關理論（例如信度理論和效度理論）作為測試的技術理論基礎，開展測試有效性研究。信度與效度被認為是衡量語言測試質量好壞的重要指標[12]。在教育與心理測量中，效度即有效性，是評價質量的核心[13]。通常把信度作為效度的必要不充分條件，即效度高的測試信度一定高，但信度高的測試效度不一定高[14]。高質量的職業技能評價不僅在評價內容和方法設計上緊隨技術和工作組織的發展，而且在評價技術上要遵循教育與心理測量的信度和效度要求。只有滿足信度和效度等測評技術標準，才能保證職業技能評價方法的科學性和有效性[15]。827AFB11-E725-4353-B6B1-98A9710221ED

2.職業技能評價方法的有效性評價不僅關注評價工具本身的有效性，還注重對評價及其結果使用的有效性評價

根據整體效度觀，好的測試不僅要求工具本身科學有效，而且還要考慮測試結果及使用的影響。“好的測試”可能會帶來糟糕的分數，“好的測試”得出的分數也有可能會被錯誤使用[16]。美國學者斯蒂金斯（R. Stiggins）研究發現，部分“好的測驗”并沒有提高學生成績或激發學習動機，反而對學生造成巨大傷害[17]。職業技能評價結果是否能夠獲得較高的社會認可度，不僅受評價工具本身質量影響，而且在很大程度上是由評價結果及其使用的影響決定的。在設計和開發一項評價時，設計者應首先明確哪些影響是期望的，并且希望利益相關者能夠從評價中獲得哪些好處。美國學者坤南（J. A. Kunnan）提出“評價的有益性原則”[18]，即評價應該給社會帶來好處，不應該危害社會。要想保證評價對利益相關者的影響是有益的，應該從兩個方面出發：評價本身和評價結果使用的影響。研究所構建的有效性框架突破以往只關注評價工具本身質量的做法，更加關注評價及其結果使用的質量及影響，是對職業技能評價方法全面而整體的評估。

3.對職業技能評價方法的有效性評價是基于證據的有效性論證

隨著效度理論的發展，效度驗證模式也在發生變化，更加注重基于證據或論證的效度驗證模式。基于證據的有效性論證模式與傳統的有效性或元評價指標構建和評價過程不同，其是基于整體效度觀開展的有效性論證模式，包括有效性理論框架的構建和基于證據的論證兩部分。有效性理論框架的構建是搭建評價方法有效性的相關推論和假設的推理框架，基于證據的論證是根據理論框架通過收集、評估和呈現相關證據來闡明一種評價方法或工具的有效性。基于證據的職業技能評價方法的有效性評價，在過程上包括有效性論證框架的構建和基于證據的論證兩個過程。縱觀國際上的相關研究，基于證據的有效性論證方式是目前國際教育與心理測量、語言測試領域普遍認同的有效性評價模式，但在職業教育領域還沒有相關研究。將基于證據的有效性論證方式引入職業教育領域，可以為職業技能評價方法的有效性評價提供新的思路和方法。

4.所構建的有效性框架具有良好的應用價值和可推廣性

研究所構建的職業技能評價方法有效性框架，通過兩輪專家咨詢達成了專家共識，即專家認同本研究所構建的有效性框架;專家積極系數、權威度和意見協調度也符合要求，咨詢質量較高，具有較強的可信度。綜上，所構建的有效性框架可應用于現有的職業技能評價領域。目前我國已有的職業技能考試，普遍存在缺乏從評價技術上考慮評價方法質量的問題。研究所構建的框架是一個通用的有效性框架，一方面可以為建立有效的“職教高考”制度、完善“文化素質+職業技能”的考試招生辦法、改進技能大賽考核方法等提供理論基礎和方法指導;另一方面可以規范職業技能評價方法的設計，改善我國職業技能評價方法的質量，提高職業技能評價結果的科學性和可信度。

（二）建議

1.職業技能評價方法的設計應將信度和效度理論作為理論基礎

職業技能評價不應只是經驗層面的具體操作，還應有科學層面的教育評價理論作為支撐[19]。信度和效度理論是科學的評價方法需要遵循的最基本的教育和心理測量理論。只有保證評價方法的信度和效度，評價結果才有價值。為此，設計者在設計評價方法時，應關注信度和效度等質量標準，將信度和效度理論作為理論基礎。基于信度理論開發的評價方法首先要進行信度測算，包括評分信度和評價工具信度的測算，保證滿足信度的相關要求。評分信度包括評分者信度和評分者間信度。評價工具信度包括內部一致性、復本信度、折半信度、重測信度的測算。不同的效度理論發展階段，效度驗證方式不同。目前國內普遍采用單一或分類效度驗證方式，例如進行內容效度、結構效度或效標關聯效度等的驗證。分類效度中每個效度的驗證都是一個巨大工程，在效度驗證中沒辦法對所有類別的效度都進行測算。隨著整體效度觀理論的提出，目前已形成一種新的基于證據或論證的效度驗證方式，其突破傳統效度驗證模式的局限性，不再對效度進行分類驗證，而是對整體的效度進行驗證，更關注評價及評價結果使用的有效性。目前，這種效度驗證方式已有成熟理論和實踐研究，可將其引入職業技能評價中。

2.職業技能評價方法的設計應關注評價及其結果的使用對考生、職業院校和企業的影響

職業技能評價能否獲得社會認可，受到多方因素影響，最直接的影響來自于評價及其結果的使用對考生、職業院校和企業的影響是否有益。在評價實施后應及時追蹤考生反饋，反饋內容不應只是對評價組織過程的滿意度調查，應包括考核內容的實用性、考核形式等與真實工作任務和情境的契合度及對未來職業發展的影響等。對于職業院校而言，應重點追蹤評價對課程和專業教學改革的影響。對于企業而言，應關注企業對人才的評價與職業技能評價結果的相符程度，以及企業根據評價結果招收的人才是否符合企業人才需求等方面。為此，在職業技能評價中，應加強對評價及其結果使用的論證和跟蹤，進而增強職業技能評價及其結果的社會認可度。

3.職業技能評價方法的設計應注重利益相關者的參與

第四代評估理論強調評價是一個與所有利益相關者共同協商、共同建構的過程[20]。職業技能評價方法的設計不應僅關注工具本身，還應注重從各利益相關者的角度出發收集證據，鼓勵所有利益相關者參與到評價過程中，充分表達其價值和主張。只有這樣，才能保證利益相關者對評價結果的認同。考生作為評價中最重要、最直接的利益相關群體，經常是被動參與評價，這不利于學生能力的自我建構。根據建構主義理論，知識和技能是學習者在真實工作情境下學習和完成工作任務的過程中，通過自我建構獲得的。職業技能評價過程應是評價主體和學生間建構與感悟的過程[21]，不應該只是簡單的成績評定，最重要的是促進學習者學習，應將評價“所有權（ownership）歸還給學生”[22]。建構主義學習理論強調學習的自我調控能力，認為該能力形成的關鍵在于自我評價能力的提供。考生主動參與評價過程是培養其自我評價能力的前提條件。設計者在設計職業技能評價時，不能為了評價而評價，應該關注利益相關者的發展需求，特別是考生的發展需要。在設計職業技能評價方法時，搭建與利益相關者溝通的平臺，特別是加強對考生、職業院校、用人單位的調研與交流，為利益相關者主動參與評價創造空間，增強職業技能評價的適用性和針對性。827AFB11-E725-4353-B6B1-98A9710221ED

4.職業技能評價方法的設計要關注評價的公平性

評價的公平性是教育評價關注的重點，存在程序公平、條件公平和事實公平三種公平[23]。程序公平是指評價組織程序、試題、評分標準和過程對所有考生都一視同仁;條件公平是指教育條件方面的公平;事實公平是指平等分享優質教育資源的權利。職業技能評價一般都是全國性、大規模、高利害關系測試，在設計和開發時應關注以上三個方面的公平性。只有保證了評價的公平性，評價結果才具有等值性和可比性。程序公平是最基本的公平，通過精心設計、控制評價組織過程是比較容易做到的，例如保證考生具有平等的機會了解考試內容和實施程序、有同樣的報名機會，考點的便利性、考試環境、設備的熟悉程度應對所有考生都是公平的，如提供盡可能相同的學習硬件和軟件條件、明確參加考試的最低學習和實訓時長要求等，保證最基本的學習條件和教育資源的相對公平。

參 考 文 獻

[1]邵堅鋼，張定華，許樂清.基于綜合素質評價的高職提前招生研究[J].中國職業技術教育，2017（18）：53-56.

[2]雷煒.深化高職院校招生模式改革的思考——以浙江省為例[J].中國高教研究，2016（10）：98-102.

[3]張厚粲，劉紅云.提高考試的科學性完善考試的功能[J].中國考試（研究版），2007（1）：9-11.

[4]TOULMIN， S. E. The uses of argument[M]. Cambridge： Cambridge University Press， 1958：11-217.

[5]KANE， M. T. An Argument-based approach to validity[J]. Psychological Bulletin， 1992（3）：527-535.

[6]BRENNAN， R. L. Educational Measurement （4th ed.） [M]. Westport， CT： Praeger， 2006：17-64.

[7]BACHMAN， L. F.， PALMER， S. A. Language assessment in practice： Developing language assessments and justifying their use in the real world[M]. Oxford： Oxford University Press， 2010：93-107.

[8]CROBACH， L. J. Designing evaluation of educational and social programs[M]. San Francisco： Jossery-Bass， 1982：279-324.

[9]SHARKEY， B.， SHARPLES， Y. An approach to consensus building using the Delphi technique： developing a learning resource in mental health[J]. Nurse Education Today， 2001，21（5）：398-408.

[10]萬崇華，許傳志.調查研究方法與分析[M].北京：中國統計出版社，2016：140.

[11]漆書青，戴海崎，丁樹良.現代教育與心理測量學原理[M].北京：高等教育出版社，2002：261-264.

[12]BACHMAN， L. F. Fundamental considerations in language testing[M]. Oxford： Oxford UniversityPress， 1990：10-35.

[13]楊惠中.有效測試、有效教學、有效使用[J].外國語，2015（1）：2-26.

[14]BACHMAN， L.F.， PALMER， S.A. Language Testing in Practice [M]. Oxford： Oxford University Press， 1996：1-24.

[15]趙志群，孫鈺林，羅喜娜.“1+X”證書制度建設對技術技能人才評價的挑戰——世界技能大賽試題的啟發[J].中國電化教育，2020（2）：8-14.

[16]FRISBIE， D. A. Measurement： some fundamentals revisited[J]. Educational Measurement： Issues and Practice， 2005（3）：21-28.

[17]STIGGINS， R. New assessment beliefs for new school mission[J]. Phi Dalta Kappan， 2004（9）：22-27.

[18]KUNNAN， A. J. Test fairness[C]//MILANOVIC， M.， WEIR， C. European language testing in a global context[C]. Cambridge： Cambridge University Press， 2004：27-48.

[19]姜大源.職業教育的考試方法論[J].中國職業技術教育，2007（34）：1+8.

[20]埃貢G.古貝，伊馮娜S.林肯.第四代評估[M].北京：中國人民大學出版社，2008：2-23.

[21]閆寧.高等職業教育學生學業評價研究[D].西安：陜西師范大學，2012：19.827AFB11-E725-4353-B6B1-98A9710221ED

[22]田中耕治.學習評價的挑戰：表現性評價在學校中的應用[M].上海：華東師范大學出版社，2015：26.

[23]謝小慶.考試公平的三種不同含義[C]//謝小慶.謝小慶教育測量學論文集.北京：北京語言大學出版社，2012：81-85.

Construction of Evidence-based Validity Framework for Vocational Competence Evaluation Method

Huang Fanghui， Zhao Zhiqun

Abstract? The study draws on the Assessment Use Argument framework of language testing， takes reliability and unified validity as the theoretical basis， and uses the modified Delphi method to construct a validity framework for vocational competence evaluation methods， and the results found that： reliability and validity are the most important quality standards of vocational competence evaluation methods at the technical level; the validity evaluation of vocational competence evaluation method not only pays attention to the validity of the evaluation tool itself， but also pays attention to the evaluation of the validity of evaluation results and their use; the validity evaluation of vocational competence evaluation method is based on evidence-based validity argument; the constructed validity framework has good application value and generalizability. It is suggested that， the reliability and validity theory should be used as the theoretical basis when designing vocational competence evaluation methods， the impact of the use of evaluation and its results on candidates， colleges and enterprises should be paid attention to， the participation of stakeholders and the fairness of the evaluation should be focused on when designing the evaluation method.

Key words? competence evaluation; vocational education; validity framework; evidence; modified delphi method

Author? Huang Fanghui， lecturer of China Fire and Rescue Institute （Beijing 102202）; Zhao Zhiqun， professor of Beijing Normal University827AFB11-E725-4353-B6B1-98A9710221ED