1+X證書制度培訓評價組織評價指標體系構建研究

黃鐵牛?郭廣軍?潘建明?李鑫

摘 要 培訓評價組織是1+X證書制度實施的關鍵主體，當下培訓評價組織評價體系缺乏，有必要建立評價指標體系來加強對其監督與評估。參考CIPP理論評價模式，運用文獻研究法、德爾菲法及層次分析法，構建了由基礎評價、資源評價、實施評價和效果評價4個一級指標、12個二級指標、30個三級指標組成的培訓評價組織評價指標體系，并確定了指標的權重。提出加強培訓評價組織遴選、制訂評價指標體系及全面開展現有培訓評價組織監管考核的培訓評價組織監督管理策略，為職業教育培訓評價組織考核及監督管理提供參考。

關鍵詞 1+X證書制度；培訓評價組織；評價指標體系；德爾菲法；層次分析法

中圖分類號 G717 文獻標識碼 A 文章編號 1008-3219（2023）11-0060-06

一、問題的提出

2019年1月，國務院印發《國家職業教育改革實施方案》，要求做優培訓評價組織。隨后，教育部等四部門聯合印發的《關于在院校實施“學歷證書+若干職業技能等級證書”制度的試點方案》（以下簡稱《試點方案》）指出，培訓評價組織對1+X證書制度有效推進及成功實施起到關鍵作用。在1+X證書制度實施中，培訓評價組織承擔職業技能等級標準建設、師資隊伍建設、優質資源建設、證書管理體系建設等職責，是職業技能等級證書和有關標準建設的主體。

本研究的職業教育培訓評價組織是指教育部1+X證書制度試點的職業教育培訓評價組織，是“集行業組織、教育機構及評價機構的屬性為一體，具備凝聚行業企業、院校和考核評價機構力量的多功能社會組織”[1]。當下培訓評價組織已成為學者們關注的熱點話題，但在1+X證書制度試點中培訓評價組織還存在一些問題，如證書標準社會認可度不高[2]、配套資源不完善[3]、組織行為不規范[4]等，究其原因是缺乏統一、客觀且具有針對性的培訓評價組織評價體系。眾多學者也提出，要加強培訓評價組織監督管理[5]、制定培訓評價組織工作的績效評價細則[6]、健全培訓評價組織管理評價辦法[7]等。目前國內有關1+X證書制度培訓評價組織的研究還存在不足：一是現有研究主要是采取定性研究方法，尚未對培訓評價組織的評價指標體系進行深入研究[8]；二是盡管已經有少數的研究開始提出培訓評價組織的監督管理及評價，但還未涉及到指標權重的定量研究。此外，從政策上看，截至目前，國家尚未出臺培訓評價組織評價指標體系。2020年6月，國家職業教育指導咨詢委員會發布的《職業教育培訓評價組織遴選與監督管理辦法（試行）》（簡稱《管理辦法（試行）》）明確提出，要建立培訓評價組織評價指標體系。在這一背景下，如何引導培訓評價組織健康發展，如何評價培訓評價組織，評價內容包括哪些等，成為當前1+X證書制度全面實施需要亟待解決的問題?；诖?，本研究以CIPP理論為基礎，運用德爾菲法和層次分析法，構建培訓評價組織評價指標體系框架與主要指標，以期為1+X證書制度試點及正式實施提供新思路與方法。

二、研究設計與開展

（一）研究方法

1.文獻研究法

本研究依據《管理辦法（試行）》和《試點方案》等政策文件，通過中國知網、維普等數據庫以及相關網絡資源查閱國內有關培訓評價組織的研究文獻及成果等。一方面，歸納分析相關研究文獻擬定了培訓評價組織的評價指標體系，梳理出培訓評價組織評價的基本維度，初步確定4個一級指標及相關內容；另一方面，為調查表、訪談提綱的制訂以及指標體系的設計提供依據。

2.德爾菲法

邀請來自教育主管部門、職業院校和培訓評價組織的專家，采用電子郵件發送問卷的形式，就評價指標的選擇進行專家咨詢，確定其評價指標體系的各維度指標。

3.層次分析法

首先，采用9級評分方法，專家對每一個指標重要性進行兩兩比較評分，得出相對重要性；然后，列出兩兩比較矩陣；最后，通過軟件計算矩陣的一致性指標（CR值），如果CR<0.1，就可以判斷矩陣的層次排序有滿意的一致性[9]。本研究采用層次分析法計算指標權重。

（二）調研專家選取

本研究咨詢專家的確定需滿足三個基本條件之一：一是從事1+X證書制度試點工作的專家學者；二是主持1+X證書制度試點課題或項目的學者；三是公開發表過1+X證書制度主題論文的專家。所有專家不集中在一個單位，并能保證完成至少兩輪的咨詢。本研究按照三個基本條件，采用方便抽樣法，確定了來自長沙民政職業技術學院、永州職業技術學院和寧波職業技術學院等1+X證書制度試點職業院校的專家，江西省和遼寧省等1+X證書制度試點推進辦公室的專家，金職偉業集團有限公司和泰康珞珈（北京）科學技術研究院等培訓評價組織的負責人，共25位專家參加專家咨詢。

（三）研究過程

1.評價指標體系初步構建

本研究參照培訓評價組織的前期相關研究成果，同時將相關政策文件要求作為重要參考，構建出“1+X證書制度試點培訓評價組織初步評價指標”。評價指標的構建主要基于以下三個方面考慮：一是根據培訓評價組織職能，考慮其基本要求；二是考慮培訓評價組織職業技能標準、資源建設及證書考核管理要求；三是考慮培訓評價組織助力職業院校人才培養和學生技能提升。課題組三次組織專家進行討論，最終確定由4個一級指標、14個二級指標和37個三級指標構成第一輪咨詢問卷的指標體系。

2.專家咨詢

課題組問卷編制小組由6名成員組成。具有25年以上職業教育及研究經驗的成員2人，有4名副教授和1名講師具有10年以上職業教育經驗。問卷編制側重關注培訓評價組織在1+X證書制度實施中的職責，形成指標體系的專家咨詢問卷。

（1）第一輪專家咨詢

進行評價指標的必要性專家咨詢。本研究采用微信或電子郵件方式開展問卷咨詢，采用5級評分，一共邀請20位專家對各指標進行必要性評分，同時設置了“新增”和“刪除”二級指標項?；厥沼行柧碇螅瑢颠M行分析，保留了評分大于3的指標；對部分指標的描述進行了完善，對專家提出增加的指標進行補充。同時，對專家的熟悉程度進行5級評分，對指標評價的依據進行3級評分，依據評價來自1+X證書制度試點的實踐經驗、邏輯推理、了解程度和直覺判斷四個方面。

（2）第二輪專家咨詢

評價指標的重要性評價。在第一輪專家咨詢基礎上修改評價指標，形成新的培訓評價組織評價指標體系，再次邀請22位專家，對新指標體系進行評分，采用5級評分對指標的重要性進行評價。

3.確定各級指標權重

運用層次分析法，邀請25位專家，采用兩兩比較9級進行評分，對評價指標體系的各級指標權重進行重要性評分，收集整理評分問卷，將數據導入軟件，計算各級指標的權重。

三、研究結果

（一）德爾菲法專家咨詢結果

1.專家基本情況

本研究的咨詢專家基本情況包括：性別、職稱是否參與1+X證書制度工作、從事職業教育年限及目前從事工作等。調研顯示，這些專家來自職業院校、教育主管部門和培訓評價組織，均參加了1+X證書制度試點工作，職稱為副高級及以上的占80%以上，從事職業教育20年以上的占80%以上，見表1。

2.專家咨詢表回收情況

第一輪專家咨詢發放22份問卷，剔除規律作答問卷，最終得到20份有效問卷，問卷有效回收率為90.9%；第二輪專家咨詢發放25份問卷，剔除規律作答問卷，最終得到22份有效問卷，問卷有效回收率為88%。問卷回收率可以反映出專家參與的積極程度高[10]。

3.專家權威程度

第一輪和第二輪專家判斷系數（Ca）分別為0.885和0.892，熟悉程度系數（Cs）分別為0.827和0.873，計算出專家權威系數（Cr）值是0.878和0.882，都在0.7～1.0之間，說明兩輪咨詢專家的權威程度均較高，咨詢結果可靠。

4.專家協調程度

“通過協調系數（W）來反映專家協調程度，協調系數為0～1之間，說明專家對指標重要性認知的一致性和集中程度，其值越大表示專家意見的一致性程度?！盵11]本研究兩輪專家咨詢的協調系數是0.285和0.364，檢驗P＜0.05，差異無顯著性，說明兩輪專家意見的協調程度都較好，意見趨于一致。專家協調程度見表2。

5.專家效度分析

參與本研究咨詢的專家都具有豐富的職業教育經驗，在職業教育領域工作20年以上專家占80%以上，專家都對培訓評價組織非常熟悉，參與研究專家的專業水平和權威度都較高。

本研究有效問卷回收率都高于80%，說明專家參與咨詢的積極程度較高；權威系數Cr均值為0.875，說明專家咨詢結果可靠；協調系數大于0.4，說明專家意見趨于一致，咨詢結果可以使用。

（二）指標體系構建

1.第一輪專家咨詢結果

首先，在文獻研究的基礎上，咨詢職業教育1+X證書制度試點相關專家，初步設定三級的培訓評價組織評價指標體系：一級指標4個、二級指標14個和三級指標37個。其次，邀請專家對初定的各項指標的重要性進行打分（1～5分）。最后，根據第一輪專家咨詢的數據統計對指標體系再進行部分修改：例如將“實訓條件”調整到“證書配套資源”，刪除了“協同創新”和“合格率”；修改了“專家團隊”評價內容，“課程資源”評價內容，增加了“職業教育師資培訓”。

2.第二輪專家咨詢結果

在第一輪指標的基礎上，將完善后的評價指標體系進行第二輪專家咨詢，經過專家們多次溝通和修改，最終形成由4項一級指標、12項二級指標和30項三級指標組成的評價指標體系框架。

3.指標體系權重的確定

（1）建立層次結構模型

本研究12項二級指標是指標體系的中間層要素，30個三級指標項指標體系的底層要素，以AHP分析軟件構建評價指標的層次結構模型，見圖1。

（2）構建判斷矩形

通過AHP層次分析軟件導出高職院校1+X證書制度培訓評價組織評價指標的調查表，專家依據“1+X證書制度培訓評價組織評價指標體系關鍵要素解讀”說明和個人經驗，從二級指標起逐層對各個指標進行兩兩比較，依次對相同層次中的兩個指標進行判斷并給予相對重要性的偏向。

（3）層次單排序及一致性檢驗

將22位專家的調查數據導入，使用AHP層次分析軟件自動修正后計算，先求出判斷矩陣，然后做30個指標的權重向量，矩陣CR＜0.1，符合一致性檢驗要求。

（4）層次總排序及一致性檢驗

首先滿足每一個一致性檢驗的層次的單排序完成，然后根據每一層指標的權重再計算三級指標對應的二級指標組合權重，最后進行組合一致性檢驗。結果CR＝0.0782＜0.1，一致性檢驗符合，見表3。

（5）評價指標體系權重計算結果

通過AHP層次分析軟件計算評價指標的重要性排序，計算分配權重比和組合權重比。本研究通過德爾菲法和層次分析法構建1+X證書制度職業教育培訓評價組織評價指標體系，具體指標及權重見表4。

四、結論與建議

（一）結論

1.評價指標體系各級指標的權重

從全局權重來看，在4個一級指標中，“基礎評價”所占權重最高，此結果表明，專家一致認為“基礎評價”在培訓評價組織評價指標體系中所起的作用最大，是培訓評價組織最重要的部分。《管理辦法（試行）》指出，“優先從合乎政策要求，且具備行業認證資質的龍頭企業中選擇，將行業認證資質作為其的重要遴選依據?！盵12]培訓評價組織具備組織資質、培訓和標準開發及組織管理能力是其能否發揮職能的關鍵基礎。

在12個二級指標中，全局權重排在前四位的是“組織資質”“證書標準”“培訓和標準開發”和“考核站點建設”，其中“組織資質”所占權重最大。《管理辦法（試行）》明確了培訓評價組織資質要求，即“我國境內依法登記注冊、有規范的管理制度、有獨立法人資質的企業等主體”[13]。培訓評價組織必須具有相應的資質，得到政府授權或官方認證[14]。本研究也說明培訓評價組織的資質、規模和資金投入是非常必要的，這是培訓評價組織開展證書制度的重要保障和前提基礎，在培訓評價組織遴選和培育中要作為重點基礎性條件考慮。其次是“證書標準”，這充分體現了職業技能等級標準是培訓評價的核心，是需要重視的核心指標。排在第三和第四位的是“培訓和標準開發”和“考核站點建設”?！芭嘤柡蜆藴书_發”能力是培訓評價組織的基本條件。因此，提升培訓評價組織自身的培訓和標準開發能力是1+X證書制度效力發揮的重要保障。有研究認為，“培訓評價組織的第三個職能是考核站點建設，其本身不建考核站點，而是在全國范圍內統籌規劃考核站點建設”[15]?？己苏军c建設在一定程度上體現了培訓評價組織證書制度試點工作推進程度。

在30個三級指標中，從全局權重來看，排在第一位的是“登記注冊”，這與國家相關部門培訓評價組織的遴選要求一致，說明登記注冊的必要性。排在第二位的是“技能標準”，說明職業技能標準的重要性。排在第三位的是“規模資質和資金實力”，說明規模和資金實力方面也是培訓組織的必要條件。排在第四位的是“培訓經驗”，說明培訓評價組織應該具有豐富的職業教育與培訓經驗。這4個指標對應的二級指標是“組織資質”“證書標準”和“培訓和標準開發”，與二級指標的排序吻合。

2.評價指標體系構建的全面性

本研究的指標體系選擇以專家訪談結果為依據，并對照《管理辦法（試行）》《試點方案》及《關于推進“1+X 證書”制度試點工作的指導意見》等相關政策的要求，所選指標包涵了培訓評價組織職責內容，并結合證書制度試點的實踐經驗，具有較好的覆蓋面。評價指標體系適用于教育主管部門對培訓評價組織管理和督查的綜合評價，也可用于培訓評價組織開展建設和自評，使用者可以通過對4個維度的取舍，分別對培訓評價組織具體內容進行評價。

3.評價指標體系構建的科學性

本研究充分考慮專家的代表性和權威性，邀請了職業院校專家、教育部門專家和培訓評價組織負責人，經統計分析，專家積極系數、權威系數及協調程度均較好。在德爾菲法構建指標體系一、二級指標中，多次討論和修改，同時也征求部分社會評價組織相關負責人意見，使構建的指標體系客觀、科學，具有可操作性。評價指標權重系數上，通過層次分析法計算指標權重系數，并量化處理，減少了專家主觀判斷。

（二）建議

一是對照標準加強培訓評價組織遴選。一方面，加大培訓評價組織征集遴選力度。采取激勵措施和相關政策，引導、促進和支持優質企業、行業參與申報，為培訓評價組織遴選提供更多的優質選擇；另一方面，精準培訓評價組織遴選標準。對照《管理辦法（試行）》，嚴格把關培訓評價組織評價指標體系中的指標，吸收行業內資質優、職業技能標準領先、培訓能力強的龍頭企業、代表性企業作為X證書的培訓評價組織。

二是制訂科學合理的評價指標體系。根據評價指標體系組織開展培訓評價組織的全面監督和考核，建立健全1+X證書制度職業教育培訓評價組織定期考核制度，重點考核組織資質、證書標準、資源建設、考核組織和師資培訓等，以確保證書制度高質量實施。一方面，培育和評選出一批典型示范培訓評價組織，引領和推動培訓評價組織健康發展；另一方面，制訂培訓評價組織的退出制度，及時清退違規違紀的培訓評價組織，還要對考核不合格的培訓評價組織給予預警通報和強制清退。

三是全面開展現有培訓評價組織監管考核。教育主管部門一方面要加強“遴選”和“培育”，另一方面要開展監管和考核，規范培訓評價組織行為。組織培訓評價組織開展自評，接受有關部門及第三方評價，公布評定等級，及時清退不合格的培訓評價組織，促進職業教育培訓評價組織健康發展。

參 考 文 獻

[1]唐以志.1+X證書制度：新時代職業教育制度設計的創新[J].中國職業技術教育，2019（16）：5-11.

[2]張國民.1+X證書制度的價值意蘊、現實困境與優化對策——基于職業教育“三個面向”的視角[J].中國高教研究，2022（4）：103-108.

[3]于進亮，魏光澤.技能型社會建設背景下1+X證書制度推進價值、問題及策略[J].職業技術教育，2021（31）：40-45.

[4]陳麗婷，李壽冰.1+X證書制度實施的意義與現實問題分析[J].職業技術教育，2020（27）：13-18.

[5]李壽冰，高艷芳，等.1+X證書制度試點下職業教育培訓評價組織建設與監管[J].中國職業技術教育，2020（7）：50-53.

[6]鄧子云.1+X證書制度實施中的主要問題與對策建議[J].教育與職業，2021（5）：20-26.

[7]張曉剛.1+X證書制度試點工作存在的問題與對策[J].教育與職業，2021（15）：52-56.

[8]王偉偉，蔣世軍，等.職業教育培訓評價組織評價機制研究[J].中國職業技術教育，2022（23）：86-91.

[9]沈綺云，歐陽河，等.產教融合目標達成度評價指標體系構建—基于德爾菲法和層次分析法的研究[J].高教探索，2021（12）：104-109.

[10]CIALKOWSKA M，ADAMOWSKI T，PIOTROWSKI P，et al. What is the Delphi method？ Strengths and shortcomings[J]. Psychiatria Polska，2008（1）：5-16.

[11]王媛.主題出版物傳播力評價指標體系構建研究[J].科技與出版，2022（4）：120-125.

[12]趙堅.上海高職院校1+X證書制度試點：特點、舉措與推進思考[J].中國職業技術教育，2022（4）：75-79.

[13]劉晶，程紅艷.職業教育培訓評價組織政策價值：意蘊、偏離及回歸[J].職教論壇，2022（4）：5-12.

[14]彭振宇.技能型社會建設背景下我國職業資格證書制度改革前瞻——基于國際比較的視角[J].中國職業技術教育，2021（33）：11-16.

[15]鄒吉權.基于1+X證書的“四方聯動、五鏈耦合”人才培養機制研究[J].成人教育，2021（4）：46-52.

Abstract? The evaluation organization of vocational education and training is the key subject of the implementation of the 1+X certificate system， and the evaluation system of training evaluation organization is lacking at present， it is necessary to establish an evaluation index system to strengthen its supervision and evaluation. With reference to the CIPP theoretical evaluation model， this study applied literature research， the Delphi method and the analytic hierarchy process， this paper constructs an evaluation index system of training evaluation organization， which is composed of 4 first-level indexes， 12 second-level indexes and 30 third-level indexes， including basic evaluation， resource evaluation， implementation evaluation and effect evaluation. This paper puts forward the supervision and management strategy of the 1+X certificate system for training evaluation， which is to strengthen the selection of training evaluation organizations according to the relevant standards， to establish a scientific and reasonable evaluation index system for training evaluation organizations， and to carry out the evaluation and evaluation of existing training evaluation organizations， and which can provide a reference for the assessment and supervision of the evaluation organization of vocational education and training.

Key words? 1+X certificate system; training evaluation organization; evaluation index system; the Delphi method; the analytic hierarchy

Author? Huang Teiniu， professor of Changsha Social Work College （Changsha 410004）; Guo Guangjun， professor of Changsha Social Work College; PhD candidate of Xiamen University; Pan Jianming， Hunan Jinganweiye Mother and Child Care Co. ， Ltd.; Li Xin， Changsha Social Work College