孫笑航 朱健 李萌
摘要:科研項目推廣培訓是是衡量科研工作成敗與否的重要環節,是科研項目能否順利推廣的關鍵。對培訓效果進行評估需要選用科學的評估方法和工具,針對當前國際上流行的培訓效果評估理論模型按提出的時間順序由簡到繁地進行了介紹,并對每一種模型的優缺點進行系統分析。
關鍵詞:科研項目;培訓效果;評估模型層面
中圖分類號:G451 文獻標識碼:A 文章編號:1009-2374(2014)12-0146-03
科研項目推廣是科研過程的最后一個環節,而對培訓效果進行評估是最難實現的一個環節,培訓效果的評價必須采用合理的評價方法或評價模型,其評價結果才是客觀、準確的,進而總結經驗,找出不足,進行改進,從而提高培訓的實效性。
1 柯克帕特里克培訓效果四級評估模型
目前,國內外運用得最為廣泛的培訓效果評估模型是柯克帕特里克培訓效果四級評估模型(Kirkpatrick)。至今,它仍是被經常使用的經典培訓評估模型。該評估模型將培訓效果的評估分為四個層次,四個層次由低到高分別是反應層面、學習層面、行為層面和結果層面。
1.1 反應層面(一級評估)
即學員的反應,在培訓結束時,通過發放調查問卷了解培訓總體的反應和感受,具有易于操作、用時少、結果直觀的特點,其缺點是其數據受評價對象的情感和主觀印象所左右,造成評定的分數有一定的偏差,不能真實反應培訓效果。此外有些學員為了照顧情面,即使對該培訓有不好的印象也不會打低分,從而使信息的反饋失去客觀性進而影響評價結果的有效性。所以這個層次的評估盡管存在一些缺點,但其易于操作、成本低,且在一定程度上反映培訓的效果,因而應該采用其作為培訓效果評估的方法,但如果僅使用這一種方法作為培訓評估價方法是不夠的。
1.2 學習層面(二級評估)
即學習的效果,通過一定的手段來確定培訓對象對原理、技能等培訓內容的理解和掌握程度,這個層面的評估可以對學員和培訓教師造成壓力,會使培訓的效果更好。但這種壓力也有不利的一面,學員有可能僅為了考試及格而使學習陷入機械,脫離了培訓的本來目的。而且員工有可能因為擔心考核不及格而對培訓課程的報名不太踴躍。此外,考核的設計和出題人員的素質和態度也會影響測試結果的可靠度和可信度。測試方法的難度也是不太好把握的,太難就與培訓目標脫節,太簡單則使評估工作失去意義。因此選擇合適的評估方式就是至關重要的。
1.3 行為層面(三級評估)
即行為改變,通過確定學員培訓后在實際工作中行為的變化,以判斷所學知識、技能對實際工作的影響。這一層面的考察需要在培訓結束一段時間后進行,借助于一系列的評估表,由學員的領導、同事、客戶等填寫,通過比較學員在培訓前后的工作能力、業績、態度等的變化,從而評價培訓的效果。如果結果是沒有發生太大的變化,則說明培訓是無效的。這個層面的評估可以直接反映課程的效果。其缺點是問卷的設計的難度較大,同時,員工表現的變化可能是其他因素引起的,而這些因素的影響有時是難以區分和剔除的,這樣就會影響到評估結果的準確性。
1.4 結果層面(四級評估)
即產生的效果,可以通過一些可量度的指標來衡量,如事故率、生產率、員工流動率、質量、數量、銷售額、成本、利潤、投資回報率等與培訓前進行對照。通過對這樣一些指標的分析,就能夠了解培訓帶來的收益。這種評估方式的優點顯而易見。因為是根據數據進行分析,所以可以使評估結果具有較好的客觀性和準確性。缺點是數據的變化可能并不完全是培訓工作的成果,也可能是由其他原因比如技術改進、成本節約等造成的,必須分辨出結果與將培訓工作的關系和程度。
綜上所述可以看出,由反應層面、學習層面、行為層面到結果層面,級別越高,對培訓項目的評估就越深入,但操作的復雜性和難度也隨之增加。這四個層面的評估是分級進行的,如果某個層面的評估結果是有效的,那么其結果可以為下一層面的評估所應用。不過有研究表明,這四個層面的聯系緊密性是不盡相同的。其中反應層面與其他三個層面的聯系最弱,與它們之間并無一致的關系,也就是說,當學員對培訓的反應較好時,并能不一定說明學員對知識和技能的掌握的情況較好,學員在培訓后的行為也不見得一定會有改進,也不能下結論說組織的效益會因此而提高。此外,學習層面與行為層面的聯系也不太緊密。
帕特里克培訓效果四級評估模型的優勢在于其分級評估的方式簡單實用,可以靈活地根據培訓項目的具體情況有選擇地進行不同層面的評估。但其分析手段以定性分析為主,定量分析較少,因而準確度會受一定
影響。
2 柯氏改良模型
柯克帕特里克培訓效果四級評估模型在實際的應用中存在一些不足之處,針對這些不足,學者喬治·阿爾利格(George Alliger)和伊麗莎白·杰納克(Elizabeth Janak)認為培訓是一個完整連續的過程,培訓效果的評估應該是一個完整培訓過程中重要的一個部分,而不只是作為一個提高組織績效的方法。根據這種看法,學者約翰·托普利斯(John Toplis),戴夫·沃利斯(Dave Wallis)和溫迪·方汀(Wendy Fountain)在1993年提出了柯氏模型的改良模型,與柯克帕特里克培訓效果四級評估模型相比,柯氏改良模型具有以下特點:具有較強的系統性,柯氏改良模型認為培訓效果評估作為培訓過程的一個重要環節,與其他各個環節密切相關。這一模型將培訓效果的評估放到整個培訓系統中來考慮,與柯氏模型相比,更具全局性。評估不僅限于培訓完成后,柯氏改良模型的評估在培訓開始前和培訓結束后都要進行,通過前后的對比使評估的結果更準確。在柯氏改良模型中,回顧處于比較重要的地位,培訓結束后的回顧與培訓計劃、業績評估、確定培訓相關度和評估培訓與業績的相關性等環節密切相關,是聯系這些環節的關鍵。
3 菲利浦斯的五層次評估模型endprint
菲利浦斯針對ROI模型在現實中操作的缺陷設計了ROI方法的運行方案,ROI法將培訓效果進行數量化評估。但這種方法的數據收集和貨幣化轉換都是具有很大的難度的,培訓收益的計算一方面要將非貨幣的數據向貨幣化轉換,另一方面還要確定收益的增加中有哪些是由培訓所引致的,這兩方面的工作都存在很大的難度。對于使用ROI法進行培訓效果評估的項目,要注意,盡量用最簡單和最省錢的方法確定和尋找評估所需的信息、并盡可能迅速地進行評估分析,以節省成本和節約時間。
4 CIPP模型與CIRO模型
與前面的模型相比,這兩個模型從全局的角度和全程的范圍來對培訓項目進行評估。CIPP模型由斯坦弗爾比姆于二十世紀六十年代提出,包括背景評估(C)、投入評估(I)、過程評估(P)和結果評估(P);CIRO模型由沃爾、伯德和雷克漢姆提出,包括背景評估(C)、投入評估(I)、過程評估(R)和產出評估(O),
可以看出,這兩個評估模型是基本類似的。兩個模型的頭兩個層次是完全相同的,第一個層次都是對培訓項目的開辦背景進行評估,第二個層次都是從投資等角度著手對培訓項目本身的可行性等內容進行評估。兩個第四個層次的名稱雖然不一致,但評估的內容基本相同,都是對培訓項目的目標結果進行衡量和解釋。CIPP模型側重于對培訓過程的監控和反饋,而CIRO模型則注重學員在培訓中和培訓后的反應,其所關注的內容不如CIPP模型那么全面。
除了上面提到的這些模型,此外國內外的模型還有滿意效用比(CVR)模型、技術匹配模型、成功案例模型、目標導向模型等等一系列的培訓評估模型,這些模型評估的對象往往不局限于培訓的效果,而是對整個培訓的過程都有所關注。
參考文獻
[1] 張志鴻,李俊慶,劉燕斌.現代培訓實務[M].北京:當代中國出版社,1998.
[2] 劉建榮.個人及組織因素對企業培訓效果影響的理論與實證研究[D].上海:華東師范大學,2005.
[3] 朱瑞娟.企業培訓效果評估方法研究[D].長沙:湖南大學,2004.
[4] 凌文輇,歐明臣.培訓效果的評價[J].北京:中國人力資源開發,2004,(1).
[5] 邢茂楷.發電企業培訓評估模型的探索與建立[D].保定:華北電力大學,2005.
[6] 朱華欣.有效培訓和培訓的有效性[D].蘇州:蘇州大學,2003.
作者簡介:孫笑航(1977—),男,吉林四平人,中航工業沈陽飛機設計研究所、沈陽航空航天大學工程師,碩士研究方向:企業管理。endprint
菲利浦斯針對ROI模型在現實中操作的缺陷設計了ROI方法的運行方案,ROI法將培訓效果進行數量化評估。但這種方法的數據收集和貨幣化轉換都是具有很大的難度的,培訓收益的計算一方面要將非貨幣的數據向貨幣化轉換,另一方面還要確定收益的增加中有哪些是由培訓所引致的,這兩方面的工作都存在很大的難度。對于使用ROI法進行培訓效果評估的項目,要注意,盡量用最簡單和最省錢的方法確定和尋找評估所需的信息、并盡可能迅速地進行評估分析,以節省成本和節約時間。
4 CIPP模型與CIRO模型
與前面的模型相比,這兩個模型從全局的角度和全程的范圍來對培訓項目進行評估。CIPP模型由斯坦弗爾比姆于二十世紀六十年代提出,包括背景評估(C)、投入評估(I)、過程評估(P)和結果評估(P);CIRO模型由沃爾、伯德和雷克漢姆提出,包括背景評估(C)、投入評估(I)、過程評估(R)和產出評估(O),
可以看出,這兩個評估模型是基本類似的。兩個模型的頭兩個層次是完全相同的,第一個層次都是對培訓項目的開辦背景進行評估,第二個層次都是從投資等角度著手對培訓項目本身的可行性等內容進行評估。兩個第四個層次的名稱雖然不一致,但評估的內容基本相同,都是對培訓項目的目標結果進行衡量和解釋。CIPP模型側重于對培訓過程的監控和反饋,而CIRO模型則注重學員在培訓中和培訓后的反應,其所關注的內容不如CIPP模型那么全面。
除了上面提到的這些模型,此外國內外的模型還有滿意效用比(CVR)模型、技術匹配模型、成功案例模型、目標導向模型等等一系列的培訓評估模型,這些模型評估的對象往往不局限于培訓的效果,而是對整個培訓的過程都有所關注。
參考文獻
[1] 張志鴻,李俊慶,劉燕斌.現代培訓實務[M].北京:當代中國出版社,1998.
[2] 劉建榮.個人及組織因素對企業培訓效果影響的理論與實證研究[D].上海:華東師范大學,2005.
[3] 朱瑞娟.企業培訓效果評估方法研究[D].長沙:湖南大學,2004.
[4] 凌文輇,歐明臣.培訓效果的評價[J].北京:中國人力資源開發,2004,(1).
[5] 邢茂楷.發電企業培訓評估模型的探索與建立[D].保定:華北電力大學,2005.
[6] 朱華欣.有效培訓和培訓的有效性[D].蘇州:蘇州大學,2003.
作者簡介:孫笑航(1977—),男,吉林四平人,中航工業沈陽飛機設計研究所、沈陽航空航天大學工程師,碩士研究方向:企業管理。endprint
菲利浦斯針對ROI模型在現實中操作的缺陷設計了ROI方法的運行方案,ROI法將培訓效果進行數量化評估。但這種方法的數據收集和貨幣化轉換都是具有很大的難度的,培訓收益的計算一方面要將非貨幣的數據向貨幣化轉換,另一方面還要確定收益的增加中有哪些是由培訓所引致的,這兩方面的工作都存在很大的難度。對于使用ROI法進行培訓效果評估的項目,要注意,盡量用最簡單和最省錢的方法確定和尋找評估所需的信息、并盡可能迅速地進行評估分析,以節省成本和節約時間。
4 CIPP模型與CIRO模型
與前面的模型相比,這兩個模型從全局的角度和全程的范圍來對培訓項目進行評估。CIPP模型由斯坦弗爾比姆于二十世紀六十年代提出,包括背景評估(C)、投入評估(I)、過程評估(P)和結果評估(P);CIRO模型由沃爾、伯德和雷克漢姆提出,包括背景評估(C)、投入評估(I)、過程評估(R)和產出評估(O),
可以看出,這兩個評估模型是基本類似的。兩個模型的頭兩個層次是完全相同的,第一個層次都是對培訓項目的開辦背景進行評估,第二個層次都是從投資等角度著手對培訓項目本身的可行性等內容進行評估。兩個第四個層次的名稱雖然不一致,但評估的內容基本相同,都是對培訓項目的目標結果進行衡量和解釋。CIPP模型側重于對培訓過程的監控和反饋,而CIRO模型則注重學員在培訓中和培訓后的反應,其所關注的內容不如CIPP模型那么全面。
除了上面提到的這些模型,此外國內外的模型還有滿意效用比(CVR)模型、技術匹配模型、成功案例模型、目標導向模型等等一系列的培訓評估模型,這些模型評估的對象往往不局限于培訓的效果,而是對整個培訓的過程都有所關注。
參考文獻
[1] 張志鴻,李俊慶,劉燕斌.現代培訓實務[M].北京:當代中國出版社,1998.
[2] 劉建榮.個人及組織因素對企業培訓效果影響的理論與實證研究[D].上海:華東師范大學,2005.
[3] 朱瑞娟.企業培訓效果評估方法研究[D].長沙:湖南大學,2004.
[4] 凌文輇,歐明臣.培訓效果的評價[J].北京:中國人力資源開發,2004,(1).
[5] 邢茂楷.發電企業培訓評估模型的探索與建立[D].保定:華北電力大學,2005.
[6] 朱華欣.有效培訓和培訓的有效性[D].蘇州:蘇州大學,2003.
作者簡介:孫笑航(1977—),男,吉林四平人,中航工業沈陽飛機設計研究所、沈陽航空航天大學工程師,碩士研究方向:企業管理。endprint