職業培訓質量測評指標體系的構建研究

劉徐迪

摘 要：構建科學實用的職業培訓質量測評指標體系，對高質量職業培訓的進行具有重要的實踐指導意義。以國內外企業培訓中廣泛采用的柯氏評價模型為基本評價框架，采用德爾菲法構建了職業培訓質量測評指標體系。該體系的評價指標包括4個一級指標，14個二級指標以及26個三級指標，并采用層次分析法確定了各個指標項的權重。該體系的構建能夠為職業培訓的質量評價提供依據，對職業培訓領域的發展意義重大。

關鍵詞：職業培訓;質量測評指標;體系構建;德爾菲法;層次分析法

職業培訓是一種按照不同職業崗位要求，對受培訓者進行職業知識與實際技能培養和訓練的社會活動[1]。近年來，國家高度重視職業培訓。黨的十九大報告指出，要“大規模開展職業技能培訓，注重解決結構性就業矛盾，鼓勵創業帶動就業”。國務院于2019年頒布的《國家職業教育改革實施方案》提出，要“開展高質量職業培訓”，鼓勵職業院校“面向在校學生和全體社會成員開展職業培訓”。在職業培訓快速發展的背景下，職業培訓質量測評作為培訓過程中重要的一環，有助于發現培訓過程中的問題與不足，有助于完善職業培訓制度，提高培訓質量。目前，國內對職業培訓具有普適性的質量測評研究較少，多為針對特定職業培訓的質量評估，缺乏統一的比較基礎。因此，研究職業培訓質量指標體系的構建，對于職業培訓領域的發展意義重大。

一、職業培訓質量測評指標建構的模型選取

國外對培訓質量測評的研究起步較早，其中影響最廣泛的是唐納德·L·柯克帕特里克（Donald L.Kirkpatrick）于1959年提出的“四層次評估模型”，包括反應層評估、學習層評估、行為層評估和結果層評估。

1.反應層評估。反映層評估是指學員對培訓的印象與感受，包含積極肯定的反應與消極否定的反應。積極肯定的反應體現該培訓項目很有可能取得預期效果，該項目在未來也會受到足夠的重視;消極否定的反應則暴露了該培訓項目可能存在問題。高層管理者通過了解參訓人員的意見，對接下來的培訓做出更合理的發展決策。如對反應層進行評估，為了實施起來簡單有效，需要設計一份能夠量化學員反應的表格，并盡可能多地收集學員的反饋信息。

2.學習層評估。學習層評估是指參訓學員參加培訓項目后，能夠在多大程度上實現態度轉變、知識擴充或技能提升等相應結果[2]。這是培訓項目要直接實現的三個目標，是衡量培訓質量高低的重要指標。對這一層級可以采用標準化測試的方式評估學員獲得的知識;采取演示的方式考察其實際操作能力;根據觀察或訪談了解學員的態度轉變。

3.行為層評估。行為層評估指學員接受培訓后，在工作中表現出的態度以及對知識、技能的運用情況。對這一層級進行評估要比前兩個層級更為復雜，通常要選取適當的時間，借助觀察、面談、調查問卷或綜合這幾種方式來弄清培訓的基本情況。

4.結果層評估。結果層評估是指企業目標包括增加利潤、改善經營環境、提升品牌知名度等目標的實現程度。這一層級關乎培訓的根本目的，同時也是整個評估程序中最難處理的環節。在培訓項目開始前需要找到大量數據資料，如產品質量、員工離職率、客戶投訴率等，并將開始數據與項目結束后的相應數據進行對比。此外，對于一些無法量化的指標，還應在培訓結束后找到一些實實在在的證據，以證明培訓項目是否取得了預期的效果。

“反應”“學習”“行為”和“結果”四個層次，每一個層次都是后一個層次的必要條件[3]。每一層都是極為重要的，并且對下一層具有重要影響。當評估從一層進入到下一層，程序會逐漸復雜，實施困難也會增大。柯氏評估理論的形成對促進培訓事業的交流與發展產生了很大的影響。在國外，威廉·H·漢姆布林（William H.Hamblin）、杰克·菲利普斯（Jack Philips）、羅杰·考夫曼（Roger Kaufman）在多年以后分別對該模型進行了修正，但總體上仍延續了柯氏“四層次評估模型”的思路與方法。柯氏評估模型被引入中國以后，在教育和衛生等眾多領域得到廣泛應用。宋夕平（2006）通過舉例說明了在評估企業培訓效果中如何更好地運用柯氏評估模型;趙德成（2009）、馬玉慧（2011）等將柯氏評估模型運用到教師培訓項目上進行研究;張立威（2013）、黃雪燕（2018）等以柯氏評估模型為基礎，建立了關于全科醫師、護士的培訓效果評估指標。柯氏評估模型在職業培訓評估中應用十分廣泛，常被稱為是最著名、最經典的培訓評估模型，故本研究選取柯氏的“四層次評估模型”作為指標建構的理論基礎。

二、職業培訓質量測評指標體系設計

（一）評價指標體系初步設計

以柯氏模型為基本評價框架，并在廣泛查閱相關政策、文獻的基礎上，構建了職業培訓質量測評的48項初級指標，其中，一級指標4項，二級指標13項，三級指標31項，具體如表1所示。

（二）評價指標體系修訂

為了驗證評價指標的科學性以及可行性，研究采用了德爾菲法（Delphi Method）。德爾菲法又稱專家咨詢法，是一種群體決策行為，具有匿名性、反饋性和統計性的特點，本質上是建立在眾多專家的專業知識、經驗和主觀判斷能力基礎上的[4]。研究通過發放專家意見征詢表的方式進行了兩輪專家咨詢，兩輪均要求專家對每項指標的“重要性”進行打分，同時請專家對初步擬定的指標體系提出意見和修改建議。“重要性”程度分為“很不重要”“不重要”“一般”“重要”“很重要”5個等級，賦值依次為：1、2、3、4、5。將兩次咨詢結果分別錄入SPSS 24.0與Excel 2010（專業增強版），計算各項指標的算術均數、標準差、滿分比、變異系數，并根據界值法的計算要求修訂指標。

1.第一輪專家意見征詢。第一輪共發放問卷27份，回收26份。專家工作年限在30年以上的有6人（占比23.08%）;工作20年～30年的有6人（占比23.08%）;10年～20年的有14人（占比53.85%）。專家職稱為正高級的有7人（占比26.92%）;副高級的有12人（占比46.15%）;中級的有7人（占比26.92%）。為了確保專家咨詢結果的可靠性，研究采用專家權威程度系數（Cr），對專家評分的可靠性進行分析，其量化值詳見表2。

Cr的值取決于專家熟悉程度系數值Cs和所有判斷系數和Ca，計算公式為：Cr=（Cs+Ca）/2。數值越大表明專家對咨詢內容的權威程度越高，當Cr≥0.70時，代表專家權威程度高，結果可靠。第一輪專家咨詢熟悉程度（Cs）=0.75，判斷依據（Ca）=0.93，故權威程度（Cr）=0.84，咨詢結果相對可靠。

匯總一輪專家修改建議，得出算術平均數、滿分比、變異系數的界值分別為：3.99、0.33、0.27。算術平均數、滿分比為正項指標，數值大于界值入選。變異系數為負向指標，數值小于界值入選。規定必須同時不符合兩個及兩個以上尺度的指標才被剔除。通過査閱相關文獻、參考專家集體評判和研究者逐條分析討論，對每項建議給予相應處理，處理類型可以概括為“增加或刪除指標”“變更指標從屬領域”以及“修改指標表述”三大類。具體修改情況為：刪除“1.2.3是否對接行業前沿”“1.4.4構建理想師生關系的能力”“1.5.1培訓資料與設備是否齊全”等16項指標。增加“1.5.1培訓前期準備充分”“1.5.2培訓過程進展順利”“1.5.3培訓結束總結及時”等17項指標。將行為層評估下的二級指標“3.1參訓人員職業態度”轉移至學習層評估，改為“2.3態度轉變”。將“2.1.1專業知識”表述改為“2.1.1專業理論知識”，將“2.2.1專業技能”表述改為“2.2.1崗位常用操作技術”。

經過第一輪的統計分析，本次指標體系包括4個一級指標、14個二級指標、28個三級指標。

2.第二輪專家意見征詢。第二輪共發放問卷17份，回收15份。專家工作年限在30年以上的有2人（占比13.33%）;工作20年～30年的有3人（占比20%）;10年～20年的有10人（占比66.67%）。專家職稱為正高級的有4人（占比26.67%）;副高級的有4人（占比26.67%）;中級的有7人（占比46.67%）。第二輪專家咨詢熟悉程度（Cs）=0.78，判斷依據（Ca）=0.94，故權威程度（Cr）=0.86，咨詢結果相對可靠。

匯總第二輪專家修改建議，得出算術平均數、滿分比、變異系數的界值分別為：4.30、0.46、0.18。專家指出，三級指標“1.2.3內容相對集中”與“3.1.1個人出勤率”設置不恰當，且得分不符合界值法要求，故予以刪除。與此同時，對各指標的具體表述進行了細致的修改，使指標的表述更加清晰且通俗易懂。最終指標體系包括4個一級指標、14個二級指標、26個三級指標，詳見表3。

三、職業培訓質量測評指標權重計算

本研究以層次分析法對第二輪咨詢結果進行分析整理，確定職業培訓質量測評各級指標權重，為職業培訓評價工作提供客觀依據。層次分析法（Analytic Hierarchy Process，AHP）由美國運籌學家T.L.Saaty等人提出，是一種多目標決策分析方法。應用AHP法確定評價指標的權重，就是在建立有序遞階的指標體系基礎上，通過比較同一層次各指標的相對重要性來綜合計算指標的權重系數[5]。

1.建立目標樹，如圖1所示。

2.建立判斷矩陣。以第二輪咨詢數據得出的各級指標重要性均數進行兩兩比較，以確定Saaty標度，詳見表4。

以反應層評估Ⅱ級子目標層為例構建判斷矩陣，詳見表5。

3.計算各級指標權重。權重計算過程：計算判斷矩陣每行數值乘積并開n次方根，得到初始權重系數W'i;對計算結果做歸一化處理，得到各級目標權重Wi。公式如下：

4.層次單排序及一致性檢驗。采用層次分析法計算權重時，在得出歸一化權重后，應對其是否符合邏輯進行檢驗。一般采用一致性指標CI和一致性比率CR進行判斷檢驗，當CI<0.10時，表明計算所得權重系數符合邏輯，當CR<0.10時，表明判斷矩陣具備一致性。公式如下：

RI為平均隨機一致性指標，取值見表6。

5.結果。本項研究進行各級指標權重的計算分析，得出各級指標的判斷矩陣CI、CR值均小于0.10，表明計算所得的指標權重系數符合邏輯，指標層次單排序具備滿意一致性，結果詳見表7、表8。

四、總結

本研究以改進職業培訓質量為出發點，以國內外企業培訓中廣泛采用的柯氏評估模型為基本評價框架，采用德爾菲法構建了職業培訓質量測評指標體系，該體系的評價指標包括4個一級指標，14個二級指標以及26個三級指標。本研究采用層次分析法確定各指標項的權重，通過這種方法確定的指標體系結構清晰、層次分明，能夠為職業培訓的質量評價提供依據。從一級指標的權重來看，學習層評估與行為層評估的重要性較大。在二級指標中，技能成果、培訓后學員工作結果、知識成果、培訓后學員工作過程、態度轉變排在指標項前五位，這是進行職業培訓質量測評時應重點關注的幾個方面。

整體看來，該測評工具能夠較為全面地評價職業培訓項目中的各要素，同時也填補了我國職業培訓在評價方面的研究缺失，對我國職業培訓的科學評價具有重要的參考價值。同時，這種培訓評價指標體系不局限于某一特定職業，而是面向各種職業培訓，具有廣泛的現實意義和使用價值。但本研究也存在一些不足，如專家數量有限、未能開展職業培訓試評等。接下來，為了更好地驗證評價工具的信度、效度，本研究將把評價工具應用于實際的職業培訓項目中進行測評，以實現對評價指標體系的迭代優化，最終形成完整、成熟的職業培訓質量測評指標體系。

參考文獻：

[1]姜大源.職業教育：培訓與教育辨[J].中國職業技術教育，2008（7）：1，24.

[2]唐納德L.柯克帕特里克，詹姆斯D.柯克帕特里克.如何做好培訓評估：柯氏四級評估法[M].奚衛華，林祝君，譯.北京：機械工業出版社，2007：17.

[3]李莉.培訓效果評估模型解析[J].中國電力教育，2005（4）：25-28.

[4]劉偉濤，顧鴻，李春洪.基于德爾菲法的專家評估方法[J]. 計算機工程，2011，37（S1）：189-191，204.

[5]曹茂林.層次分析法確定評價指標權重及Excel計算[J]. 江蘇科技信息，2012（2）：39-40.

[責任編輯? ? 曹? ?穩]