職教改革中的技能評價方式研究

孫鈺林?趙益樞

摘 要 “學歷證書+若干職業技能等級證書”是我國職業教育改革的重要目標，技能評價的效度是影響職業技能等級證書質量的重要因素。以教育部等主辦的全國職業院校技能大賽為平臺，選擇養老服務技能賽項，運用COMET能力測評對考生開展技能評價后，對其就業或頂崗實習中短期內的工作績效進行跟蹤調查，研究發現：COMET能力測評成績與工作績效評估結果間的關系趨向強相關;COMET測評三個能力層級中，過程性能力與工作績效的關聯度最高;COMET測評的八個一級指標中，除社會接受度外，其余指標均與工作績效呈正相關。據此建議，在研究上加強對X證書的能力模型和測評模型的分析;在實踐中應以典型工作任務為依據，靈活運用多元化的評價方式，強化技能評價結果與學分銀行制度的銜接。

關鍵詞 職業教育;技能評價;COMET能力測評;工作績效;預測效度

中圖分類號 G719.2 文獻標識碼 A 文章編號 1008-3219（2022）13-0020-06

作者簡介

孫鈺林（1981- ），男，北京社會管理職業學院副教授，民政部培訓中心培訓部主任，職業技術教育學博士，研究方向：職業能力測評，職業競賽（北京，102600）;趙益樞（1999- ），女，北京師范大學教育學部碩士研究生，研究方向：職業能力測評

基金項目

2018年北京市職業教育教學改革項目“學生技能競賽引領產教融合機制研究”（2018-135）;北京市教育科學“十三五”規劃優先關注課題“‘1+X證書’制度建設中技能評價法研究”成果（BDEA2020009），主持人：孫鈺林

一、問題提出

2019年1月，國務院印發《國家職業教育改革實施方案》（國發[2019]4號），提出“啟動‘學歷證書+若干職業技能等級證書’制度試點（以下簡稱“1+X”證書制度試點）工作”，這是對“學歷證書+職業資格證書”的“雙證書制度”的創新。“1+X”證書制度被看作是“引領創新培養培訓模式和評價模式，深化教師、教材、教法改革”的手段[1]，被賦予廣泛意義。2020年10月，中共中央、國務院印發的《深化新時代教育評價改革總體方案》指出，要“完善高等職業教育‘文化素質+職業技能’考試招生辦法”[2]。這些國家層面的制度設計為開展學生職業技能評價提供了政策依據，同時也帶來了挑戰。

被市場和社會認可的現實需求對技能評價效度提出新要求。“職業技能等級證書”（以下簡稱“X”證書）制度替代傳統“職業資格證書”，根本原因在于職業資格證書無法全面、有效地反映用人單位對技術技能人才的職業能力要求。證書頒發的依據是技能評價結果，若評價效度不高，則證書所反映的勞動力市場信號便難以發揮預期的指示作用，從而面臨被詬病和淘汰的宿命。提高職業技能評價的質量和“X”證書技能評價水平的準確度，可以緩解結構性就業矛盾。但是，當前支持證書“技能評價模式”的系統性研究還很匱乏。

設計可持續發展的技能等級證書需要實證基礎。目前，“1+X”證書制度試點的推廣主要依靠行政力量的引導和支持，如與院校財政經費、“雙高計劃”的選拔指標等掛鉤。“X”證書制度試點階段的各類支持政策不會無限期延續，失去扶植政策支持后該如何依托自身實現可持續發展，是亟待解決的難題。為提高“X”證書的認可度，迫切需要相關研究為證實其有效性提供依據。

本研究以教育部等部門主辦的全國職業院校技能大賽為平臺，選擇養老服務技能賽項，探究COMET能力測評這一技能評價方法對被試者工作績效水平的預測效度，以期在職業院校、技能評價組織和用人單位之間建立有效的人才培養信號，完善“人才培養—考核評價—選人用人”的人才培養鏈。

二、研究設計

（一）研究問題與研究假設

“X”證書的發放需要經過技能評價，評價根據學習成果的認定會出具相應的結果證明。結果證明的效度，取決于結果證明與持證者未來實際工作績效的相關性。評價的預測效度決定著證書的質量，證書的質量是職教改革的重要問題。當前關于技能評價的研究中，缺少對評價方式預測效度的研究，基于此，本研究的核心問題在于探究“技能評價的預測效度問題”。對比應用較為廣泛的三種職業能力測評工具（ASCOT、COMET 職業能力測評和行政職業能力測驗）后，考慮到測試任務綜合性、領域特殊性等因素，選用COMET職業能力測評方案對其預測效度進行研究。

COMET大規模職業能力測評項目是英文“Competence Measurement”（“職業能力測評”或“職業能力診斷”）的簡稱，發源于德國，是一個職業教育的國際比較研究項目，在多個國家開展了相關的測評活動，其內涵相當于職業教育的PISA。它采用大規模能力診斷（large-scale diagnostics）方法，對被測試者的職業能力、職業承諾和職業認同感發展情況進行評價。COMET能力模型和測評模型憑借獨特的優勢與特征得到廣泛認同，結構效度已得到驗證[3][4]。基于從初學者到專家的能力模型，在不同國家的不同專業開展了測評活動，除了針對職業教育學生的測評之外，也擴展到了對職業教育教師職業能力的測評。

COMET能力測評充分反映了設計導向、工作過程知識等當代職業教育理念，從“職業效度”的視角評價研究對象的職業能力，建構有機綜合的能力模型，與職業教育培養綜合職業能力的目標相契合。經濟社會發展和產業結構優化升級對人才技能提出了差異化、多樣化的要求，在流水線作業的技術和生產組織方式下，員工的外顯性動作技能對工作績效的影響較大;而在現行更加突出人性化的生產組織方式下，僅靠動作能力并不能直接帶來高績效，人才的高工作績效與其綜合職業能力掛鉤，而非與某個單項操作的技能水平相關。綜合職業能力是個體在真實工作情境中整體化地解決綜合性專業問題的能力，超越了職業功能性要求，強調綜合素質和發展潛能[5]。綜合職業能力與“工作”息息相關，顯然，對工作績效的考察理應蘊含在COMET能力測評中。基于此，本研究將工作績效與COMET能力測評結果之間的相關性作為預測效度的效標，提出核心假設：COMET能力測評成績與學習者的工作績效呈正相關。研究重點回應三個問題：一是探索COMET能力測評與工作績效之間的相關程度;二是在功能性能力、過程性能力和設計能力三個能力層級中，探究COMET能力測評中哪些能力層級與工作績效相關性更高;三是分析COMET能力測評中八個一級指標對工作績效的預測效度。

（二）研究對象

依托2018年和2019年全國職業院校技能大賽養老服務技能賽項，采用整群抽樣的方法，對所有參賽選手（共計147名，其中2018年64名，2019年83名）進行研究。研究對象均來自高職院校老年服務與管理專業，培養方案略有差異，部分研究對象擁有企業實習經歷。

（三）數據收集

1. COMET職業能力測評

運用非標準化作品評定法，具體流程主要包含三個方面。

第一，對相關人員進行培訓。在開發測試任務前，研究者需將研究目的告知職業學校教師、企業專家等相關人員，并就COMET能力測評方案及命題要求對相關人員進行培訓。

第二，開發試題并進行測試。依據專業教學標準、職業標準和專業人員的建議，以COMET能力模型中“提高者”階段的代表性工作任務為基礎開發測評任務，對研究對象進行紙筆測試。通過開展實踐專家研討會確定典型工作任務，并提煉完整工作過程，據此開發次級指標。測評題目需體現開放性特征，以解題空間的方式呈現問題的解決方案，部分解題空間見表1。區別于工業技術類職業和商業類職業，針對個人的服務類職業教育重點是促進個體人格的發展與完善。因此，在對COMET測評一級指標進行調整時，要關注專業特殊性;在測評題目設計上，除了囊括傳統的生活照料和技術護理外，突出對失智老年人心理的關照。經過三輪修改，開發出符合COMET方案要求的平行任務后，進行測試。

第三，評分環節。通過開設評分培訓會、增加評分者數量（由原定的2名評分者擴大到7名）、試評分等手段保證評分者信度，使用Finn系數對評分者的一致性進行考察，以提升評分者評價標準的統一性。

2. 360°績效問卷

在綜合考量各類績效測評方法后，選擇使用360°績效評估考核結果作為績效的表征。360°績效評估是在人力資源領域開展工作績效評估時廣泛運用的一種方式，由加州創造性領導者中心在20世紀80年代中期研究提出。研究聚焦將反饋用于提升管理效能，促進企業目標實現。由于重視反饋環節，該方法也被稱為360°績效反饋、全視角評價（full-circle appraisal）、多源評估（multi-rater assessment）等，該方法從多個角度獲取組織成員行為的觀察資料，使被考評者本人及其所有利益相關方都作為績效信息來源，反饋績效信息，最終達到提高績效的目標[6]。其核心在于通過不同評價對象全方位地對受試者的績效表現進行評價而使結果接近實際，體現綜合績效觀。同時，用人單位、服務對象和學校等所有利益相關方的參與，也符合職業教育“產教融合”的要求。

運用問卷調查法，收集研究對象的背景信息和360°績效評估數據。績效問卷模型在醫院規培醫生360°評價問卷的基礎上開發[7]，同時針對老年服務與管理專業學生的專業特征、年級階段、工作學習特點，對測評主體、測評問卷的項目等進行針對性修改。在征求行業專家和一線工作者意見后，形成4個維度的問卷，分別是上級評價問卷、服務對象評價問卷、同級評價問卷和本人評價問卷。每種問卷有不同數量的項目，如本人評價問卷共設置15個評分項，見表2。問卷題目采用Likert五點式量表作答方式，從“偶爾”“較少”“有時”“經常”到“總是”，依次記作1～5分。通過增加評分者數量等方式保障評分者信度，最終根據問卷結果，確定每位研究對象的績效總成績。

（四）數據分析

對相應的研究數據進行轉換。按照COMET測評的級別劃分方式，將三個能力層級、8個一級指標和40個評分點的得分分別轉化為百分制量綱。通過三個能力層級與COMET測評總分來測定內部一致性信度，得出Cronbach'sα系數為0.858，說明COMET測評的信度符合要求。為將工作績效量綱與COMET測評進行統一，將績效評價結果依照一定權重進行數據轉換，使其轉化為百分制量綱。針對四種評價主體，通過德爾菲法確定排序。對工作績效進行隨機分布后的折半信度進行計算，得到的折半信度系數為0.903，屬可接受的范圍。

數據轉換完成后，篩除1人份無效數據（實操考試否定項，未納入分析），有效數據共146人份，以選手姓名作為對應項，輸入相關數據建立二維表后，納入SPSS 26.0軟件中進行分析。經過上述操作后，兩種變量（COMET能力測評成績、360°績效評價結果）的性質均為連續分數變量，相關指標具有可比性，從而可以采用積矩相關系數（Pearson）進行相關分析。

三、研究結果

（一）COMET測評結果與工作績效的相關性分析

將COMET能力測評成績與360°績效評價結果這兩個非確定性關系變量的數據對應列出，得到的散點圖顯示二者呈現正相關趨勢，相關性統計結果也證實了上述結論，如表3所示。COMET能力測評成績與績效成績的相關系數為0.460，達到了顯著相關水平。這說明，COMET能力測評成績可以預測實際工作績效，初步證實了研究假設。

分析COMET測評成績對工作績效預測效果較好的原因可能是：一是COMET能力測評的理念是職業導向而非課程導向，工作績效考察職業活動中的實際表現，兩者在理念上相通，均面向職業要求，區別在于前者測量被試在校期間的潛力，后者則側重考察被試在實際工作中的表現;二是COMET能力測評考察的能力涵蓋較全面，從功能性能力、過程性能力到設計能力，為良好工作績效打下基礎;三是COMET能力測評基于完整的工作過程和典型工作任務，通過獲取信息、控制到評價等一系列過程，形成完整的反饋體系，對提升工作績效大有裨益。

COMET能力測評對技能的評價與教育學對評價的理解相契合，能夠探查被試者的潛力，從多元智能理論的角度出發，發現個體不同方面智力的不同水平。依據信息經濟學中的信號理論，能力測評結果對工作績效的預測可以幫助雇主判斷雇員的生產力水平。證書作評價結果的證明，為勞動力市場提供質量信號，易于對高技能水平勞動者與低技能水平勞動者進行區分。評價方式的研究，有助于促進行業企業對學生完成職業崗位典型工作任務的勝任力的了解，提高企業選拔人才的效率和“X”證書的市場認可度[8];也有利于鼓勵勞動者進行人力資本投資，形成對人才的激勵機制，緩解人才與勞動力市場之間結構性失調的矛盾。

（二）COMET測評各能力層級與工作績效的相關分析

針對COMET能力測評分項的各一級指標，分別就研究對象在COMET能力測評中三個能力層級的得分與工作績效評估的分值進行相關分析，結果見圖1。

分析發現，三個層級的能力值與工作績效分值均呈現顯著相關關系，說明COMET能力測評各層級能力對工作績效均存在預測效果。其中，過程性能力與工作績效的相關程度最高，相關系數達到0.439。這說明工作過程知識隱含于實際工作中，在工作者解決復雜問題的工作過程中被建構，與工作績效緊密相關。工作過程知識是主觀知識與客觀知識的結合，包括存在于工作組織和其他工作者中的難以言明的知識，乃至工作者的生活經驗[9]。面對現代社會高度復雜和專業化的生產條件，限于考察外顯職業行動能力的實操考試顯然無法對工作過程知識進行全面準確的考察。可見，實操考試考察的職業行動能力是高工作績效的必要條件，而非充分條件。設計能力與工作績效之間的相關系數為0.412，也呈現出顯著相關水平。功能性能力與工作績效之間的相關系數為0.391，超過0.30，達到了預測效度的要求。

（三）COMET測評一級指標與工作績效的相關性

為了分析COMET能力測評結果在工作績效預測過程中的影響因素，分別就COMET能力測評8個一級指標的得分與工作績效評估的分值進行分析，結果見圖2。

除K6（社會接受度）指標外，其余7個一級指標均在0.01水平（雙側）上與工作績效分值呈現顯著相關關系。其中，K1（直觀性和展示）、K2（功能性）、K4（經濟性和效益）、K7（家庭、社會與文化環境）四項指標與工作績效的相關系數均超過了0.4;K3（使用價值和可持續性）、K5（工作過程和企業生產流程導向）、K8（創造性）三項指標的相關系數均超過0.35。

K6（社會接受度）指標不涉及具體操作，考查的是受試者對職業活動的整體理解和職業認同，需要有系統化的知識作為支撐。回歸分析結果顯示，K6指標與績效幾乎不相關，出現變異現象。這可能是由于用人單位（包括領導、服務對象等）在現實中有降低成本的重要訴求，對該指標的認知和要求與社會的要求存在差異，造成不同主體對社會接受度的重視程度具有差異，且績效評價中對于這類問題的體現不充分。變異現象側面證明了COMET能力測評在不同指標的測量上具有更為精細的顆粒度，即各指標所反映的能力都有其獨特價值，可以為被試者提升相應職業能力提供更為清晰的指導方向。

對每一級指標進行橫向比較發現，K4（經濟性和效益）指標和工作績效的相關系數最高，達到0.456，該指標與工作績效中考核內容的相關性更強，體現了被試者在解答測試題目時考慮到經濟性等指標，區別于在傳統的學校教學中學到的限于專業性和功能性的解決方案，說明被試者已經初步掌握職業工作的理念。K1（直觀性和展示）和K2（功能性）指標與工作績效的相關系數分別達到0.412、0.409，再次印證了達到功能性能力水平的任務解決方案，已經涵蓋了職業和企業亟需的多數能力[10]。

從專業特殊性層面分析發現，K7（家庭、社會與文化環境）指標相關系數排名第二，達到了0.434。作為高層次能力維度的指標之一，這一結果超出研究預期。從初始假設出發，功能性能力和過程性能力對應的相關指標更直接地反映到工作績效中，而設計能力屬于潛力的范疇，并非直接反映在當期工作績效中。由此可知，受專業特征的影響，老年服務與管理專業更加關注家庭和社會文化，如很多養老機構都會提出“替兒女盡孝”等宣傳口號，在一定程度上反映出養老機構的宗旨和使命，也反映出績效考核時的導向。此外，屬于設計能力層級的K8（創造性）指標與工作績效的相關系數達到0.387，超過過程性能力層級的K3、K5指標，反映出與人交互的專業在工作中需要更多創造性，而非像傳統工科類或者以物為工作對象的專業一樣，更加關注使用價值、可持續性、工作過程和企業生產流程導向。K3、K5指標對重復性要求較高，而老年服務與管理專業開展工作的過程若僅僅是簡單重復的勞動，將無法滿足服務對象的多樣化需求。

四、結論與建議

（一）研究結論

研究發現，COMET能力測評的成績與360°績效評估測得績效的相關性較高，COMET能力測評方案8個一級指標中有7個均與360°績效評估顯著相關。因此，COMET能力測評方法對工作績效有較高的預測效度，可作為技能評價的有效工具。鑒于COMET能力測評采用紙筆作答形式，成本低廉，未來可大規模開展。“X”證書發證的核心在于技能評價，發證的依據是技能評價的結果，競賽的核心環節也是技能評價，在競賽中得到實證驗證的技能評價方式可以推廣到“X”證書的技能評價活動中。基于此，可在“1+X”證書技能評價制度建設中引入COMET能力測評方案，形成高預測效度的技能評價方法，并對現有的標準化實操考試進行改進。

（二）相關建議

1. 應對現有“X”證書中技能評價的能力模型和測評模型進行效度分析

目前，“1+X”證書制度在有關部委的強勢推動下，伴隨著大量財政資源的投入，各省市的職業院校乃至應用型本科院校都積極參與其中，但“1+X”證書制度并非天然就具備“職業效度”，要保證其培養培訓模式和測評模式能夠達到制度設計的初衷，需要研究為其提供實證基礎。缺乏相應的研究，沒有科學合理的能力模型以及在此基礎上開發的測評模型，不能開發出科學的測評工具。測評工具不科學，可能導致預測效度低，致使證書在預測工作績效或者工作潛力方面效度不高，將會浪費大量的物質和時間成本。按照教育學的觀點，科學的能力測評的基礎是在教育學理論基礎之上建立的能經過實證檢驗的能力模型和測評模型[11]。這就要求在審定相關發證機構的條件時，除了需要考察基本的軟硬件條件外，還應該對其測評體系、測評試題、支持測評工作的理論模型進行實證研究，深入分析證書的效度，以期獲得預期效果。證書的含金量受社會認可度的影響，而社會認可度與測評結果的效度、測評模型的科學性息息相關，可見技能評價工作的實施需要大量實證研究予以驗證。

2. 技能評價與“X”證書的頒發應以典型工作任務為依據

本研究表明，來源于真實工作世界的標準化案例性任務，即研究中確立的典型工作任務，可以用于觀察和確立被測試者的技能發展水平。完成典型工作任務不僅需要理論知識和外在的動作技能，還需要蘊含其中抽象化和普適化的解決問題的方式，這是最關鍵的可以遷移的技能[12]，以此為依據進行的技能評價和頒發的技能等級證書才會有實際意義。基于此，技能評價的測試題目應當盡量符合情境性測試題目的要求，即讓被試者在真實工作條件下進行工作，通過對其工作行為、工作成果的觀察和必要時對特殊工作環節的解釋，評價其職業能力發展水平，通過解決（或未成功解決）問題的方式，揭示實際問題解決策略[13]。

3. 將多元化的評價方式應用于各類技能評價工作

不同評價方式各有優勢和不足，在具體的評價實踐中，應具體問題具體分析，統籌評價對象、評價內容、評價實踐等要素，確定相應的評價方式。COMET能力測評對職業能力可以作出較為全面、有效的評價，不但可以診斷職業能力的水平高低及特征輪廓，而且能夠有效預測未來的工作績效。對于較高層級的技能等級考試，可重點采用COMET能力測評強化開放性和情境性評價;而對于較低層級的技能等級考試，能夠考察功能性能力的實操考試就可以滿足基本需求。這種組合式設計可以降低學生求職成本和用人單位的招聘成本，在社會急缺技能領域如養老服務和實操考試成本高昂的工科類專業具有重要意義。此外，不同專業（職業）可考慮采用不同的技能評價方式，如認知能力要求高而對動手能力和技巧要求不高的專業，可主要采用COMET能力測評進行技能評價;但對操作能力要求較高的專業，還要關注行動導向的實操考試。

4. 技能評價結果應與學分銀行相銜接

通過“1+X”證書的學分轉換機制與職業教育國家“學分銀行”銜接，可以促進學歷職業教育與相關職業技能等級證書建設的融合，實現復合型技術技能人才培養的推進[14]。這種銜接和轉換需要對學歷證書和職業技能等級證書所體現的技能進行登記、儲存，進而開展學分認定、積累和轉換工作，縮短修業年限，提升人才培養效率。互通、轉化的基礎除了硬件方面的登記、存儲、轉換以外，最核心的是二者在內核上具備相互轉換的基礎，使各級各類人才培養具有可比性的“出口標準”。目前學分銀行中不同主體之間的轉換暫未形成科學依據，現有的基礎研究不足以支持轉換的完成。若二者的課程體系、評價體系有共同的理論基礎，比如均在產教融合、校企合作理念的指導下，以典型工作任務作為“1”和“X”的共同內核，則可以將兩個證書體系分別涵蓋的典型工作任務作為轉換的依據。此外，要重視不同部門之間在資歷認證上的互通，使學分銀行形成跨越教育部、人力資源和社會保障部等部門的有效機制。

參 考 文 獻

[1]國務院關于印發國家職業教育改革實施方案的通知[Z].國發[2019]4號，2019-01-24.

[2]中共中央、國務院印發《深化新時代教育評價改革總體方案》[EB/OL].（2020-10-13）[2022-01-26].http：//www.gov.cn/zhengce/2020-10/13/content_5551032.htm.

[3][10][11]趙志群，菲利克斯·勞耐爾. COMET職業能力測評方法手冊[M].北京：高等教育出版社，2018：54-138.

[4]周瑛儀.大規模職業能力測評的預測效度——基于COMET方案在汽修、數控與電氣專業領域的研究[D].北京：北京師范大學，2015：127.

[5][9]趙志群.職業教育學習新概念[M].北京：北京師范大學出版社，2021：9-23.

[6]孫健.360度績效考評[M].北京：企業管理出版社，2003：27.

[7]何明宇.規培醫師醫學人文素養的360度評價研究[D].重慶：第三軍醫大學，2017：15.

[8]賴紅，李欽，譚旭.1+X證書制度實施的現狀分析與改進建議——基于培訓評價組織參與的視角[J].職業技術教育，2021（30）：47-51.

[12]HACKER， W. Knowledge diagnosis winfried hacker[C]//RAUNER， F.， MACLEAN， R.Eds. Handbook of technical and vocational education and training research. Dordrecht： Springer， 2008：656-660.

[13]趙志群，孫鈺林，羅喜娜.“1+X”證書制度建設對技術技能人才評價的挑戰——世界技能大賽試題的啟發[J].中國電化教育，2020（2）：8-14.

[14]吳南中.基于學分銀行的1+X證書成果學分轉換：價值意蘊與推進路徑[J].成人教育，2021（10）：51-56.

Research on the Skills Evaluation Modes in the Reform of Vocational Education

——Taking the Predictive Validity of COMET Skills Evaluation Method on Job Performance as the Case

Sun Yulin， Zhao Yishu

Abstract? The validity of skills evaluation is an important factor affecting the quality of vocational skills level certificate. Taking the National Vocational College Skills Competition sponsored by the Ministry of Education as a platform， select the elderly care service skills competition， and use the COMET to evaluate the skills of the candidates， and then conduct performance evaluation of their employment or post-job practice in the short and medium term. The follow-up investigation is expected to provide an empirical basis for the development of skills evaluation work. The study found that the relationship between the COMET results and the job performance assessment results tends to be strongly correlated; among the three competency levels of the COMET， the processual competence has the highest correlation with job performance; among the eight first-level indicators in the COMET， except for social acceptance， the rest of the indicators are positively correlated with job performance. Based on this， it is suggested to improve the analysis of competence model and evaluation model; in practice， it should be based on professional tasks， flexibly use a variety of evaluation methods， and strengthen the link between skills evaluation and credit bank system.

Key words? vocational education; skills evaluation; COMET competence evaluation; job performance; predictive validity

Author? Sun Yulin， associate professor of Beijing Social Management Vocational College （Beijing 102600）; Zhao Yishu， master candidate of Faculty of Education of Beijing Normal University