中德職業能力測評指標權重差異化分析

田野 吉利

摘要：職業能力測評工具的客觀性、可靠性、正確性和公平性，對于測評結果的客觀性、系統性和科學性具有決定性的意義。同時，在不同文化背景下，對同一測評工具和指標的有效性檢驗，往往成為職業能力測評國際比較研究的重要基礎。KOMET項目通過北京與德國黑森州的對比研究發現，中德兩組評分員對“經濟性”“企業生產流程和工作過程導向”與“社會接受度”三個能力指標賦予的權重較為接近。與之相反，雙方對“環保性”“創造性”“使用價值導向”等能力指標的權重未達成一致性意見。大多數能力指標的變異系數表明，中德教師對職業教育指導思想和教學目標的理解存在一定差異。

關鍵詞：KOMET;職業能力測評;指標權重;差異化分析

中圖分類號：G715? ? 文獻標識碼：A? ? 文章編號：1672-5727（2021）01-0090-07

現代職業教育是以就業為導向和以人為本的教育，它至少應滿足兩個方面的要求：一是職業資格獲取，二是學生的職業成長和個性發展。因此，職業教育的目的是實現人的全面發展。與普通教育相比，職業教育只不過采用了不同的“內容載體”。普通教育的載體是科學文化知識，職業教育的載體不僅包括操作技能，還包括來自職業實踐中的“綜合性職業行動”。

職業教育促進人的全面發展，這意味著職業院校的核心任務是發展學習者的綜合職業能力。綜合職業能力是人們在真實的工作情境中整體化地解決綜合性問題的能力，是從事一個（或若干相近）職業所必需的本領，是在職業工作、社會活動和私人生活中科學的思維、對個人和社會負責任行事的熱情和能力。綜合職業能力是科學的工作方法和學習方法的基礎，也是人的綜合素養的體現[1]。

一、KOMET項目與測評工具

職業能力測評作為衡量職業教育水平的重要指標之一，受到國內外職業教育研究者的廣泛關注。近年來，北京教育科學研究院職教所、北京師范大學職成教所與德國不來梅大學技術與教育研究所聯合在北京市職業院校實施了職業能力測評和國際比較研究KOMET（KOMET為德語縮寫，英語全稱為Competence Development and Assessment in TVET，簡稱又作COMET）。研究中用職業能力測評和職業道德問卷調查相結合的方式，對北京市7所中高職院校831名電工類專業學生以及38名教師進行了職業能力測評和調查研究，旨在探索建立職業能力模型和實施測評的具體方案。KOMET測評工具的開發與選擇在很大程度上取決于調查目標和調查的依據。主要包括：開放式測試題、背景問卷、測評動機問卷（學生填寫）、學生測評動機問卷（教師填寫）、能力標準權重分配的問卷（評分員填寫）、基本認知能力測評（智商測試KFT的“圖形分析”部分）等測評工具[2]。

運用測評工具時，人們常常會追問四個維度的標準，即客觀性、可靠性、正確性和公平性。而對這些標準的詮釋和把握，往往對于測評結果的客觀性、系統性和科學性具有決定性的意義。

（一）客觀性

客觀性是指測評結果不會因測評使用者的不同而發生改變。測評的客觀性可以劃分為實施客觀性、評價客觀性和解釋客觀性。在KOMET項目中，測評客觀性是通過測評模型來保障的。實施的客觀性，即測評結果不受研究者或領導者的影響。評價的客觀性，即給答題結果打分時的獨立性，可以通過使用統一的打分表、經特殊培訓的評分員和匿名打分來確保。在KOMET項目中，評分員先根據39項評分點對學生答題結果進行評價，接著通過標準程序分別換算成八項能力指標、三個能力級別和職業能力（總分值）的分數。

（二）可靠性

可靠性是指以多高的準確度測量被測屬性。測評學習成績時，一般會根據測試題目難度和選擇性對其調整，以保證測試題目的難度保持在中值0.5上，即每道測試題目應該確保50%以上的被測者能順利解決。當難度值達到0.5時，選擇度也能達到最高值。標準化測試題的形式完全不適用于職業能力的測評，因為通過這種方式達到的精確度會影響測試題在內容上的準確性。KOMET項目面臨的挑戰不僅要使用實踐導向的開放性測試題，還必須兼顧答題結果評價的高準確度。

（三）正確性

正確性是指測試題能較準確地反映要測評的內容。測試題內容的有效性是由其內容是否反映職業特征或職業“實踐共同體”的職業特征，以及是否反映其工作實踐所決定的。世界技能大賽（IWS）的成功經驗表明，國際比較性能力診斷與測評可以采用“職業有效性（職業效度）”方案。盡管各個參賽國對職業描述采用的形式和結構不一樣，但各國專家均認為應該對職業工作與職業任務進行簡短的描述，并在此基礎上選擇競賽項目和考試題。世界技能大賽每兩年會對職業描述進行一次修訂，其評價（打分）程序還能從定量的角度對不同職業及其相應的項目進行國際性比較研究[3]。

KOMET項目在開發與選取測試題上也證實了世界技能大賽的經驗，即各國同一職業的專家一般都能在測試題的內容效度上達成一致意見，尤其是對于來自工作實踐的、復雜的開放性測試題的內容效度。所以，當為某一特定人群（比如電子運行工）專門開發出一套測試題時，可以由專業教學專家進一步判定，這些測試題是否也適用于可比性的職業。

（四）公平性

按公平性標準要求，測試題應該能夠反映出被測者的學習經歷與經驗。KOMET實施的初衷是對教育體系與教學形式進行評價，或了解學習領域方案的實施情況。此外，實施這些測評還旨在審核教學大綱開發和職業教育實施的現狀，而考察學生個人的成績并不屬于KOMET測評的重點范疇。在這種情況下，KOMET測評的公平性指的是，職業教育實踐能夠接納其能力模型以及以能力模型為基礎的理論框架。KOMET項目的能力模型及其測評方法（包括測試題目在內）都是由科研團隊和教師團隊共同開發與制作的。假如要在國際比較中運用這一測評方法，參加測評的所有成員都必須對這一能力模型和測試方法進行再認識。如果教師還打算將測評結果反饋給其學生，也須先說明其調查的目的。

二、中德職業能力測評指標權重的比較分析

（一）關于能力指標的調查

評分結束后，中德兩國評分員（教師）都回答了下列問題：“您覺得這八個能力標準對評價職業能力的意義分別有多大？”這項調查的結果還會引出下列問題：“北京職業院校的教師是偏向于從職業的角度理解知識與能力的傳授，還是從學校（學科）教育的角度？這兩個理解角度所占的比例為多大？”通過承擔評分員工作，教師們對KOMET八個能力標準/指標的定義都比較熟悉了。八項能力指標的權重之和為100%，同時賦予每個指標的權重都是相同的，即每個指標的權重為12.5%。中德評分員分別對這八項能力指標所占權重進行了評價，兩組評分員的評價結果見表1所示。其中兩組評分員給八個能力指標中的四個指標賦予了幾乎相同的權重值，而對于“功能性”這個指標，中方評分員認為它對職業能力的重要性占26.2%，德方給出的權重是27.5%，這說明中德兩方均對這個指標的重要性做出了很高的定位，甚至覺得它比其他能力指標重要2～3倍。

這說明專業理論導向的傳統職業教育在教育教學活動中更側重于傳授專業的工具性能力。同時，中德兩國評分員對“經濟性（11.5%/10.7%）”“企業生產流程和工作過程導向（10.2%/8.5%）”與“社會接受度（7.1%/8.6%）”這三個指標的權重也分別給出了比較接近的值。與之相反，雙方對其余能力指標的權重未達成一致性意見。盡管兩國評分員對這四個能力指標的權重均有不同的賦值，但他們在各個指標權重的分配上也具有較高的相似度。

上述數據不僅可以用來比較中德兩國評分員對每個能力指標所賦的平均權重值，還可以調查某一評分組不同評分員之間的評分結果的一致性程度。如果從中德所有評分員所賦權重值的離散程度來分析這項調查結果，則發現這些結果會表現出明顯的異質性。無論是德國還是中國的教師團隊，其變異系數基本上都在0.3～0.5之間，位于這個區間的值就相關專業文獻看來是比較均質的，即兩國團隊內不同教師之間的評價結果的一致性程度均較高。在這項調查中，中德教師一致認為，假如德國持續實施學習領域方案十年以上，同時中國為實現“行動導向教學”連續多年開展相關師資培訓項目，那么兩國對于“高品質職業教育”的觀點會更一致，因為對于這一觀點中德雙方評價結果的變異系數很低。從積極的角度來看，這個較低的變異系數意味著職業院校教師的思想與行動已經開始轉變。這一推斷也同樣適用于中德兩國作為評分員而加入到項目的教師們。

（二）指標權重的差異化

本文重點從兩個方面分析KOMET評價的八個能力指標，即比較中德兩組評分員所賦的權重值（組與組之間的平均權重值比較）和在中德兩個評分組內不同評分員之間評分結果的一致性程度（各組組內成員評價結果的一致性程度），下列字母P表示“北京”，字母D表示“德國”。

1.展示/直觀性（15.9%[P]/13.1%[D]）

本次測評中“記錄工作結果的展示/直觀性”指標的內涵包括：對委托方來說，解決方案的表述是否容易理解。對專業人員來說，是否恰當地描述了解決方案;是否直觀形象地說明了任務的解決方案（如用圖表/用圖畫）;解決方案的層次結構是否分明;描述解決方案的條理是否清晰;解決方案是否與專業規范或技術標準相符合（在理論、實踐、制圖、數學和語言方面）。

關于這個能力指標權重的評價，我國評分員給出的權重值比德國評分員高，而且也超過了平均權重值12.5%。這可能與中國的文化傳統相關，中國文化較為注重事物的外在形態，即其表達形式。也就是說，那些可以讓受眾直接觀察到的事物在中國文化中會得到更高的關注度。

此外，中德雙方的評分組在這個能力指標權重值上的變異系數都比較大，分別為0.41（P）和0.43（D）。由于被調查者（中德教師）對這個指標很熟悉，他們自然會根據自己日常教學的經驗，以及顯性與隱性教學目標來評價它在KOMET八個能力指標中的權重，因此也就導致了大家在評價這項指標權重時，意見分歧較大。這也反映出兩國職業教育標準中對展示性能力的指標尚缺乏明確規定。

2.功能性（26.2%[P]/27.5%[D]）

KOMET測評中“功能性”指標主要指：解決方案是否滿足功能性要求，是否達到“技術先進水平”，是否可以實施，是否（從職業活動的角度）說明了理由，表述的解決方案是否正確。德國評分員認為“功能性”指標的權重值應該分布在15%～50%，但有個別評分員卻認為這一指標達不到八個指標的平均權重值。而大多數評分員卻認為“功能性”是說明一個解決方案好壞的重大特征。

德國評分組在這項指標上的變異系數是0.35，這是其評價所有指標的最小變異系數;而我國評分員在這項指標上的變異系數則為0.32，也是其評價所有指標的最小變異系數之一。這兩個評分組在這一指標權重評價結果上的一致性程度比其他指標都高。這充分反映了“功能性”作為職業能力的基礎性指標具有更廣泛的通用性，受不同國家（區域）工業文化以及行業產業發展水平等影響因素較小。

3.使用價值導向/持續性（11.4%[P]/16.3%[D]）

德國學習領域方案的一個核心教學觀是職業教育的教學內容應該體現“使用價值”。這一指標強調在職業行動、行動過程、工作過程和工作任務上始終要以用戶為導向，因為用戶的利益代表了工作成果或產品的持續性。使用價值導向指標也指特定工作情境下解決方案使用價值的高低。如一個具有較高使用價值的解決方案，除了能滿足用戶的直接使用要求和減少使用中的故障外，還要考慮后期保養和維修的便利性。解決方案有多強的持久性、有多大的擴展可能性，同樣也是重要判斷依據[4]。如果忽視了教學內容的使用價值，那么職業教育就丟失了它的一個核心目標。因此這一指標在能力標準中應該占據一個特殊的比重。對此，德國評分員給出的比重平均值為16.3%，甚至有超過三分之一的德國評分員對這一指標給出了20%～30%的比重。與之相反，我國評分員對任務解決方案的使用價值僅給出了11.4%的權重。我國評分員對于“使用價值”這一指標不僅賦予了較低的權重值，同時在這項指標權重的評價結果的變異系數V僅為0.29。而德國評分員雖給出了相對較高的權重，但變異系數V為0.37，表明意見也存在較大波動。

總體上而言，這或許與兩國目前在工業和生產文化上的差異有關。德國企業中分工更加強調職業的整體性以及員工獨立自主完成工作的能力，這種能力要求無論是生產環節，還是售后環節始終把客戶需求放在首位。因此，德國職業教育與培訓很早引入ISO9001作為質量保障體系，其中“以客戶為中心”是其中的七大質量管理原則之首[5]。此外，德國工業進軍4.0時代，其顯著特點是以最新的數字技術、大數據和全新生產方法來最大程度滿足客戶多樣而靈活的要求，這都使得德國評分員在職業能力評價上對使用價值導向和客戶需求導向的認可度更高。

4.環保性（10.3%[P]/8.0%[D]）

我國評分員對“環保性”這一指標賦予的權重居然比德國評分員高，前者的賦值為10.3%，后者為8.0%。中德兩組評分員在這一指標上的變異系數分別為0.44和0.43，這說明我國教師在評價這一指標的權重時，其意見的分布情況與德國教師差不多。事實上，“生態”這一主題對于所有國家的所有類型學校都具有重大教育意義。目前我國環保問題已經涉及了眾多方面，比如說空氣污染、洪澇頻發、土地荒漠化面積擴大、耕地減少等。當前中德兩國的教育體系都面臨著一個挑戰，那就是如何將公眾普遍的環保意識轉變為各自領域的環保能力。盡管德國人都普遍遵守職業工作中與環保相關的法律法規和標準，但是在KOMET項目中，“環保性”這一指標內涵更加具體和多元，它不僅僅是指一般的環保意識，對生產過程及其結果所提出的職業特定要求與專業特定要求都列入環保性這一指標。同時，還要考慮到，解決方案中多大程度上使用了對環境無害的材料，以及在完成工作任務時工作設計多大程度上符合環保性的要求。此外，節約能源和廢物的回收與再利用在解決方案中也必須考慮到。可以推斷，對于環保性指標，中國評分員更傾向于從環保意識角度把握指標內涵并分配權重，而德國評分員更多從指標內涵的微觀角度來考量指標，這也是我國評分員給予權重更高的原因。

5.創造性（8.3%[P]/6.4%[D]）

創造性不僅應該體現在研究活動中，還應該是職業教育的一個重要的教育目標，但是在職業教育實踐中經常被忽略。近年來，“創造性”在經濟政策和教育政策討論中得到了極大的關注。人們在教育領域中普遍批判的是傳統的、講授式教學模式，因為這種教學模式為學生主觀能動性和創造性發展提供的空間很小。要形成一種自主發展的文化，通過教育來培養國民創造性是一項十分關鍵的措施。

雖然測評中“創造性”并不是針對整個學習領域教學模式的評價，而主要是考查學生的解決方案是否具有創新性。盡管如此，中德兩國的評分組對“創造性”這一指標均給出了最低的權重值。由此可見，關于引進行動導向教學模式，職業教育界討論的焦點僅停留在“有目標的理性行動模式”上，職業教育還應該在此基礎上促進富有創造的行動。國際著名的工程學家霍華德·羅森布魯克（Howard? Rosenbrock）在分析工程工作時總結稱“工程學更像藝術，而不是學術”。因此，培養和促進創造性必須以特殊學習形式為前提條件，除了要向學生提供足夠的、有目的的理性空間，還要為學生提供富有創造的行動模式。

中德兩組評分員在這一指標上的變異系數分別為0.42和0.75，這說明德國教師在評價這一指標的權重時意見分歧很大。德國一方，有32%的評分員認為創造性這一指標的權重應該在0～4%之間，而44%的評分員則認為創造性這一指標的權重應該在5%～9%之間，而認為這一指標權重應該在10%～14%、15%～19%、20%～24%的評分員分別占12%、8%和4%。這也說明創造性的內涵和培養路徑在兩國職業教育中仍需要進一步探索和研究。

6.經濟性（10.7%[P]/11.5%[D]）

指標“經濟性”是指實施解決方案的成本因素。如時間與人員配置是否滿足實施方案的要求，如何權衡企業投入與收益之間的關系，以及是否考慮到后續成本的問題。中德兩組評分員對此分配的權重比分別為10.7%和11.5%，權重值在中德兩國評分組內沒有太大波動，而且兩個組的權重平均值也比較接近。我國評分員對這一指標權重值的評價結果一致性較高，其變異系數V僅為0.24。與之相反，德國評分員的評價結果差異性較大，其變異系數V為0.42，其中40%的德方評分員認為經濟性這一指標的權重應該在10%～14%之間，而認為在15%～19%、20%～24%的評分員分別占24%和12%。也就是說，有76%的德方評分員賦予了10%～14%及以上的權重。可見這種差異性的背后恰恰是德國教師對“經濟性”指標重要性的高度認同。事實上，德國職業教育通過實施項目教學，培養綜合職業能力，學生或團隊在項目設計時需要自行查閱資料，對項目原材料和其他資源進行成本核算，并做出預算報告。以此把成本意識和質量意識有效滲透到教學之中，通過細節培育學生的“工匠精神”。雖然中方評分員對這一指標重要性認識較為統一，但在實際教育教學過程中，在學生綜合職業能力培養上，還需要進一步落到實處，做到實效。

7.企業生產流程和工作過程導向（8.5%[P]/10.2%[D]）

“企業生產流程和工作過程導向”這一指標是兩國職業教育課程改革中的一個關鍵概念。盡管學習領域方案存在各式各樣的描述，但是這一指標始終占據著特殊的位置。德國各州文教部長聯席會議（KMK）發布的《學習領域式框架教學計劃開發手冊》實現了課程開發的根本性視角轉變，即學科系統化課程開發向工作導向課程開發轉變。新開發的學習領域課程方案的指導思想：一是教育學生具有從經濟、社會和生態的負責的角度建構工作世界的能力;二是教育是發展獨立的自我意識和自我負責的個性的前提條件;三是教育的目標和內容既依賴于同時又獨立于勞動與技術的關系[6]。“企業生產流程和工作過程導向”這一關鍵概念是這一根本性轉變的主要標志，該指標涉及到企業等級結構（從企業內部的垂直結構角度）中的上下游環節以及生產鏈（從企業內部的水平結構角度）中的上下游環節。尤其是在程序控制的工作系統的條件下，這一指標對于以企業網絡和企業間組織的生產過程來說具有十分特殊的意義。以企業流程為導向的解決方案會考慮到與上下游過程之間的銜接，還考慮到跨自己職業工作界限的共同合作。

值得注意的是，德國評分員對這一指標權重值的評價結果略低于8個評分指標的平均值，即略低于12.5%。雖然這一指標已成為一部分教師的教學理念，但通過進一步分析這一指標權重值的分布情況，我們注意到有兩部分教師的權重評價結果比較特殊。一部分教師對這一指標權重的評價明顯偏低，而另一部分教師則明顯偏高。特別是，我國教師對這一指標權重賦予值為8.5%，低于德方4個百分點，且評價意見相對統一，其變異系數V為0.38，而德國的變異系數V為0.41。這可以解釋為，我國教師對企業生產流程和工作過程導向教學模式價值的認可，尚未取得很明顯的進步。

一般認為，職業教育與培訓的理念與工業文化和企業管理密切相關。從技能密度、分工精細度和企業組織扁平度來看，德國企業擺脫泰勒制管理走向精細化管理的特征更明顯，這一發展過程被學者們稱為“從職能/職務導向轉變為過程導向的企業工作組織”，因此，德國企業更加強調工作完成的整體性，并對專業人員提出相應的要求。相對比之下，我國更傾向于采取精細化分工和定崗熟練操作的模式，無形之中切割了技能水平要求[7]。

8.社會接受度（8.6%[P]/7.1%[D]）

這一指標主要涉及到人性化的工作設計與組織、健康保護以及其他超越工作本身的社會方面（例如委托方、客戶和社會的不同利益），同時也要考慮到工作安全、事故保險以及解決方案對社會環境可能造成的影響等。中德兩個評分組不約而同地為這一指標給出了相對較低的權重值。這表明能力指標“社會接受度”的意義尚未對職業院校教師的教學活動產生明顯的影響，盡管這一指標在分析和描述技術與工作創新時具有重大意義。同時，中德兩個評分組出現的相對較高的變異系數（中國評分組為0.41，德國為0.49）表明，無論是中國教師還是德國教師，他們對這一指標對教學活動產生的價值均未達成比較統一的認識。

三、結論和啟示

對KOMET評分員的調查，其目的在于從實證的角度分析能力測評的結果，因為數據在某種程度上反映了教師的教學活動方式。學生（學徒）顯現出的能力特征在一定程度上透射著職業教育的培養過程，而職業教育過程的特征又是由教師個體的職業能力模式所刻畫的。這項調查的結果表明，中德兩國職業院校教師對“經濟性”“企業生產流程和工作過程導向”與“社會接受度”三項能力指標賦予的權重較為接近。與之相反，雙方對“環保性”“創造性”“使用價值導向”等能力指標的權重未達成一致性意見。同時，大多數能力指標的變異系數表明，兩國職業院校教師對職業教育指導思想和目標的理解存在一定差異。應進一步探討學生的職業能力差異是否歸因于教師的偏好，以及教學過程中傳授能力的方式與方法。KOMET基于能力模型的綜合職業能力測評或許是改善職業教育人才培養質量的有益出發點，可為專業建設、人才培養和教師培訓提供有益借鑒，為教學改革和行政決策提供參考。

（一）進一步建設國際化、開放性的職業教育專業教學標準

專業教學標準是開展專業教學的基礎性文件， 也是指導學校組織實施教學、加強專業建設、開展質量評價的基本依據。KOMET作為國際性大規模的職業能力測評工具相繼在北京、四川、重慶等地試點實施，其前提是KOMET能力模型是根據學習領域課程的理念來評估教與學的模型。近年來，我國在職教課程改革和專業教學標準建設中，廣泛借鑒以綜合能力培養為目標、以行動導向教學理念為指導、以典型工作任務分析為開發路徑的德國學習領域課程模式，這是中德實施職業能力測評和比較研究的基礎條件。因此，開發具有國際水準、中國特色的職業教育專業教學標準，是進一步提升職業教育質量和吸引力的有益嘗試，對推動職業教育改革創新具有重要積極意義[8]。

2016年以來，北京市借鑒德國“能力模型+課程大綱+方法大綱”的胡格教學模式、澳大利亞TAFE教學模式的經驗和做法，率先進行國際化專業教學標準的試點和實施。既在方法層面學習國際先進職業教育思想構建下的職業標準、教學標準、評價標準及其開發技術，又在實施層面吸收行業企業深度參與，激發一線教師和研究者根據我國經濟社會和教育發展水平、區域特點、勞動力市場資源配置情況、新業態新技術發展趨勢，兼顧現實需要及教育人才培育的前瞻性，構建完整、系統的職業專業教學標準體系，為職業教育課程教學和人才培養模式改革提供標尺和準則，體現國際化、開放性的基本要求。

（二）進一步推動科學化、導向性的綜合職業能力評價改革

在專業教學標準培養目標設置中，要將經濟社會發展需求與人的發展需求有機結合，以綜合職業能力培養為核心目標。KOMET通過能力模型建構和開放性測試任務的實施，對學生的職業能力、職業承諾和職業認同感發展情況進行綜合評價，不僅檢查個體的專業能力、社會能力和內在技能（隱性技能），也對職業院校體系結構治理、課程發展、教學過程的組織和實施方法、教師能力作出診斷，從而為構建技術技能型人才培養質量保障體系提供保障。未來應該堅持以職業規律和教育規律為基礎，注重對學生的專業能力和非專業能力的綜合考評，探索將人文素養、科學素養、職業素養與職業技能培養高度融合的新型職業教育模式，培養獨立、負責任、能夠在團隊條件下高效率解決問題的高端技術技能人才，建構具有中國特色的職業能力培養和評價體系。

近年來，北京市教委、北京教科院根據首都經濟社會發展、產業轉型升級及學生可持續發展需要，在全面加強產教融合、校企合作背景下，調整職業教育人才培養目標、課程體系、課程標準、教學進度、教學方法，根據國際先進教育模式的評價理念和方法，研發和編制學生綜合能力測評方案，推動以職業能力標準為導向的評價改革。每學期對學生進行階段性測評，根據測評結果形成學生的職業行動過程數據分析報告和綜合職業能力數據分析報告，分析學生各個非專業能力及專業能力的現狀、存在問題及改進建議和措施，最后綜合考慮三年期間學生的全部評測結果為學生評定成績。其根本目的在于提高教育質量、提升職業教育的國際競爭力。