培訓效益評估實證分析研究

高學浩 馬旭玲 趙亞南 葉夢姝 羅林明

摘 要：在總結分析國內(nèi)外培訓效益評估理論研究與業(yè)務進展的基礎上，以新一代天氣雷達培訓效益評估為例，探索培訓效益評估的技術與方法。

關鍵詞：培訓效益；效益評估；雷達培訓；投資回報率；實證分析

中圖分類號：G72 文獻標識碼：A

一、引言

不斷提高培訓質量，提高廣大干部職工對培訓作用正確認識的一個重要途徑就是加強對培訓評估理論和方法的研究與應用，要客觀評價培訓的效用，其中培訓效益評估是證明培訓價值貢獻的最直接的手段。

培訓效益是指受訓者經(jīng)培訓提高回到工作崗位所帶來的收益與培訓成本的差額。培訓收益主要包括兩部分：一部分是可以通過一定途徑轉化為用貨幣表示的價值；還有一部分要么不能轉化，要么轉化成本過高，但是這部分的收益包含范圍是非常廣大的。

二、理論研究與業(yè)務進展

（一）研究進展

最先對培訓效益進行理論研究的是美國經(jīng)濟學家雅各布？明塞爾（Jacob Mincer）。1958年他發(fā)表的《人力資本投資與個人收入分配》首次建立了個人接受的培訓量和其收入之間的數(shù)學模型，后來許多學者在雅各布？明塞爾的培訓效益理論基礎上研究建立了很多數(shù)學模型和經(jīng)濟方法，其中較為著名的有三個培訓投資收益的模型，分別是加里？S？貝克爾提出的在職培訓的成本收益評估模型、菲利普斯的培訓投資回報率模型及舍貝克和科恩提出的培訓的效用公式。

在上述影響比較廣泛的培訓效益評估理論模型中，根據(jù)ASTD（美國培訓與發(fā)展協(xié)會）的調查顯示，菲利普斯的培訓投資回報率模型是應用最為廣泛的模型，本文的研究也是基于該模型的基礎上開展的。

（二）業(yè)務進展

ASTD的調查發(fā)現(xiàn)，柯克帕特里克模型和菲利普斯模型是使用最為普遍的評估模型，五層評估包括反應層評估（第一層），學習層評估（第二層），行為層評估（第三層），結果層評估（第四層）和投資回報率評估（第五層）。92%的調查對象說他們至少進行第一層評估，但是其后的每級評估的使用都急劇下降，只有少數(shù)的組織使用第五級評估-投資回報率評估。

三、氣象培訓效益評估實證研究

2014年中國氣象局氣象干部培訓學院（以下簡稱“干部學院”）選擇新一代天氣雷達平培訓（以下簡稱“雷達培訓”）項目，探索開展培訓效益評估，之所以選擇雷達培訓項目有兩個原因：一是雷達培訓是干部學院的核心班型，自1999年起至2013年底，已舉辦相關培訓60余期，培訓雷達業(yè)務及管理人員3000人次，今后還將繼續(xù)開展培訓；二是通過對每期培訓班的質量調查發(fā)現(xiàn)，學員對培訓班的滿意度評價高，在2008年開展的培訓后效果評估中81.5%的學員認為培訓對工作幫助很大，2013年的培訓后效果評估中，93.7%的學員和92.7%的送培單位認為雷達應用技能提高很大或較大?；谏厦鎯蓚€原因，選擇了對雷達培訓項目開展更高層級的評估——投資回報率，探索培訓效益評估的技術方法。

（一）評估模型

雷達培訓效益評估采用國際上廣泛應用的Phillips的投資回報率公式來計算雷達培訓的投資回報率，即

基于上述公式，雷達培訓效益評估中需要解決三個關鍵問題：（1）新一代天氣雷達產(chǎn)生多大的經(jīng)濟效益？（2）培訓在其中有多大的貢獻度？（3）雷達培訓的成本是多少？

（二）雷達培訓的收益

1.新一代天氣雷達的經(jīng)濟效益

根據(jù)2008年國家公益性（氣象）行業(yè)科研專項“氣象服務評估方法與技術研究”中，計算了公共氣象服務的投入與產(chǎn)出效益比為1：63.19。雷達在增強災害性天氣監(jiān)測和預警能力、增強國家防災減災能力、提升公共氣象服務水平方面發(fā)揮了重要作用，作為公共氣象服務的一種手段，其投入產(chǎn)出符合公共氣象服務的一般規(guī)律，因此，公共氣象服務的投入產(chǎn)出比即為雷達的投入產(chǎn)出比?；诖?，雷達的投資效益計算公式為：

影響雷達作用發(fā)揮因素的投資效益=影響雷達作用發(fā)揮的各因素投入/公共氣象服務投入與產(chǎn)出比 （公式2）

通過上述公式，知道影響雷達作用發(fā)揮的各因素的投入，便可計算得出影響雷達作用發(fā)揮因素的投資效益。

2.培訓在雷達效益發(fā)揮中的貢獻度

培訓的直接作用是雷達業(yè)務及管理人員素質的提高，通過業(yè)務及管理人員在氣象業(yè)務中應用雷達產(chǎn)品，使雷達發(fā)揮效益，但是培訓也不是人員素質提高的唯一影響因素，只有全面客觀區(qū)分出可以使人員素質提高的全部手段，才有可能客觀區(qū)分出培訓在人員素質提高中的作用程度。同理，人員素質不是雷達效益發(fā)揮的唯一決定因素，只有全面客觀區(qū)分影響雷達效益發(fā)揮的其他因素，才能準確客觀區(qū)分出人員素質在雷達效益發(fā)揮中的作用程度。

（1）建立指標體系

在多次專家咨詢的基礎上，研究建立雷達效益發(fā)揮影響因素指標體系，見圖1。

雷達培訓貢獻度主要通過評估培訓在提高雷達業(yè)務及管理人員素質方面的貢獻度及人員素質在雷達作用發(fā)揮上的貢獻度的基礎上，來評估培訓在雷達效益發(fā)揮上的貢獻度。即：

雷達培訓的貢獻度=培訓在雷達業(yè)務及管理人員素質提高方面的貢獻度*人員素質在雷達效益發(fā)揮上的貢獻度 （公式3）

（2）開展問卷調查

為獲得各要素的重要性得分，向所有參加過雷達培訓的學員及選派過3名以上學員的送培單位領導發(fā)放了調查問卷，了解他們對“人員素質等各要素在雷達效益發(fā)揮的重要性程度”及“培訓等各種手段在雷達人員素質提高上的有效性”的認知程度。調查對象及參與調查對象見表1。

從調查對象所屬氣象部門行政別上看，覆蓋國家級、省級、地市級、縣級四個行政級別，其中來自省級和地市級氣象部門的比重較大；從崗位分布上看，主要來自業(yè)務崗、管理崗和科研崗，調查對象的類別、來源及崗位均具有代表性。

（3）計算雷達培訓貢獻度

為了客觀評價培訓在雷達效益發(fā)揮上的貢獻度，采用“調查求重”和“層次分析”相結合的方法來計算雷達培訓的貢獻度。

各要素指標重要性得分的計算：

雷達效益發(fā)揮上，每一項要素重要性程度得分。計算公式為：

其中，P為選擇不同重要性層次的人占總人數(shù)的比例，K為不同等級分值：絕對重要的分值為K1=7，非常重要的分值為K2=6，比較重要的分值為K3=5，一般的分值為K4=4，有點重要的分值為K5=3，不太重要的分值為K6=2，不重要的分值為K7=1。運用這個公式，可得出各要素在雷達作用發(fā)揮中重要性程度得分見表2。

雷達人員素質提高方面，每一要素有效性程度得分計算方法同上，得到表3。

各要素指標權重的計算：

在本研究中，由于主要采用了向學員及送培單位領導調查的方法，為了更好的體現(xiàn)雷達業(yè)務及管理人員意見的指導性，將回收的語詞式的意見樣本先定量化，而后再根據(jù)重要程度的得分差異對應到Saaty的1～9標度進行處理，即“調查求重”與“層次分析”相結合。這種數(shù)字轉換所得的判斷于直接運用Saaty1～9標度得到的判斷是近似的，其有效性可以通過一致性的測試得到驗證。

按照這一思路，將前期得到的指標重要性程度得分進行對應轉化。其中影響雷達效益發(fā)揮各要素最高的得分值為6.354，最低值為5.736，將其最高值和最低值之間的得分差（即0.618）也區(qū)分為8個區(qū)間，分別與Saaty的1～9標度值相對應，得到表4。

同理，得到影響雷達業(yè)務和管理人員素質提高各要素指標重要性程度差值與Saaty 1～9標度對應表見表5。

根據(jù)層次分析的方法，建立各判斷矩陣，按照左上角的準則將左側的第一列指標與最上行的各個指標依次進行比較，然后再將第二列與最上行指標進行比較，依此類推。其中比較的依據(jù)即為各對應指標之間的差值落入的“指標重要性程度值差與Saaty1～9標度對應表”中相應的標度值。最后得到判斷矩陣。根據(jù)判斷矩陣得到其最大特征值所對應的特征向量，歸一化處理后就得到其權重。

由于客觀事物的復雜性和人的主觀判斷的差異，每個判斷結果都無法保證完全的一致，因此為了保證評價結果的合理性，對這些矩陣的一致性進行檢驗。計算結果表明，判斷矩陣進行層次單排序的結果具有較好的一致性。

在上面的計算得到了各指標相對于上一層次的單排序權重值，利用單排序的權值結果，用上層次各指標的組合權重加權，以此來得到一級指標人員素質下層各指標相對于指標體系最高層的組合權重值，即雷達培訓的貢獻度見表6。

所以， 根據(jù)公式2，得出雷達培訓的貢獻度為26.4%。

3.計算雷達培訓成本

中國氣象局在雷達建設規(guī)劃中就明確規(guī)定，每建設一部雷達，都要開展相關業(yè)務及管理人員培訓，有固定的雷達培訓經(jīng)費投入，所以，

雷達培訓成本=每一部雷達投入的培訓經(jīng)費*建設雷達總數(shù) （公式5）

4.計算雷達培訓的投資回報率

雷達培訓的收益即為影響雷達效益發(fā)揮因素的投資效益*雷達培訓的貢獻度，因此，得出雷達培訓效益的計算公式，即：

雷達培訓的效益=影響雷達效益發(fā)揮因素的投資效益*雷達培訓的貢獻度-雷達培訓成本 （公式6）

根據(jù)公式（2）、公式（3）和公式（5）的計算結果，可以計算得出雷達培訓的收益。

根據(jù)公式1，雷達培訓的投資回報率=（雷達培訓收益-雷達培訓成本）/雷達培訓成本 =91.34：1

四、結語

本文以雷達培訓效益評估為例，探索了培訓效益評估的技術方法，為將來開展培訓效益評估積累了經(jīng)驗，并進行了有益的嘗試。但是公共氣象服務的投入產(chǎn)出比是計算雷達培訓效益的一個基礎數(shù)據(jù)，為開展雷達培訓效益評估提供了可能，其他培訓項目限于難以測算相關培訓后業(yè)務上產(chǎn)生的效益及無法令人信服地指出哪些效益直接來源于培訓，導致開展培訓效益評估難度依然較大。

參考文獻

[1]馬旭玲等.關于氣象培訓效益評估的思考[J].繼續(xù)教育，2014（12）.

[2]肖娟.培訓效果評估方法及其應用研究[D].南京：南京理工大學，2007.

[3]ASTD research report.Value of evaluation： making training evaluation more effective[EB/OL].http：//www.astd.org/，2011-5-23.

[4]李廉水，孫健，陳云峰等.氣象服務效益評估技術與方法[M].北京：科學出版社，2013.

[5]高學浩，胡欣，李洪臣等.2006年度中國氣象局軟科學項目《短期天氣預報員能力評價研究報告》，2007.