基于柯氏模型的高職教師培訓評價體系構建

聶偉進，汪衛平

(1.廈門大學教育研究院，福建廈門 361005；2.杭州師范大學教育學院，浙江杭州 311121)

引 言

加強職教師資培訓已成為全球性趨勢。如歐盟啟動的 “歐洲職業技能周”項目以及為提升職業教育教師專業發展的計劃項目提出的關鍵原則[1]，澳大利亞國家級職業教育培訓獎，馬來西亞、柬埔寨等發展國家也正在推動全國性的職教師資培訓項目。我國從2006年也開始實施職業院校教師素質提高計劃，并于2012年將高職教師培訓納入該計劃。在實施職業院校教師素體提升計劃中，從教育部到省級政府都已經開始重視對培訓效果的評價。但高職教師培訓評價的理論研究與實踐卻較為薄弱。2020年10月，中共中央國務院頒布的《深化新時代教育評價改革總體方案》對新時期的教育評價做出新要求。提到“改進結果評價，強化過程評價，探索增值評價，健全綜合評價”，“提高教育評價的科學性、專業性、客觀性。”

高職教師培訓評價要體現科學性和專業性，要“健全‘雙師型’教師評價標準，突出實踐技能水平和專業教學能力”。美國學者理查德.加德納提出的持續專業發展(Continuing professional development)應用于教師專業發展和培訓。因為該理論強調教師的專業發展有五個關鍵點是:確定個體的需求、規劃和開展發展活動、反思個體的學習、應用個體的學習、與他人分享個體的學習。所以這也意味著教師持續專業發展能彌補傳統教師培訓缺陷，通過系統性的培訓安排和評價來引導培訓體系的調整，還應注重教師在培訓過程的內在需求和知識經驗的積累[2]。

以職業院校教師素質提升計劃為代表的職教教師培訓評價工作，教育部與各省級政府均頒布實施意見和項目管理辦法，但都缺乏可操作的評價指標。在理論方面，關于高職師資培訓的研究還是集中在培訓體系建設，問題與對策探討，較少涉及對培訓效果的科學評價。僅有少數涉及到培訓效果評價，但其重點在于培訓有效性、績效評價等，忽視了教師作為主動學習個體對教師培訓政策的回應。因此，本文將基于教師持續專業發展的視角，以柯氏培訓評價模型為基礎，利用江蘇省高等職業教育教師培訓中心積累的培訓教師的調查問卷、培訓心得文本等數據，以及針對教師培訓研究與實務工作人員的專家意見，最終形成高職教師培訓評價指標體系，為后續高職教師培訓評價工作提供有益參考。

一、柯氏培訓項目評價模型的內容、發展及應用

柯氏培訓評價模型的提出者是原美國培訓與發展協會(ASTD)主席，威斯康辛大學榮休教授——Donald Kirkpatrick。他在1954年的博士論文中首次提出了培訓評價四層次模型，1959年在美國培訓與發展協會會刊上發表的系列文章使得這一模型收獲了諸多擁躉者，1994年出版的《評估培訓項目》(EvaluatingTrainingPrograms)使得該模型影響更為廣泛。1996年發表的論文對1954年的模型做進一步修正[3]。2005年和2007年分別出版的(Transferring Learning to Behavior)和(Implementing the Four Levels)則進一步補充了柯氏培訓評價模型。盡管后來也遭遇一些批評，但批評者們建構的評價模型只不過是在其基礎上做細節修改而已，本質上并沒有走出該模型的框架。如，Jack Phillips(Five Level ROI Model)以及Kaufman的五層次評價模型(Five Levels of Evaluation)。盡管還有其他培訓評價工具，但是柯氏四層次培訓評價模型無疑是最成功的，至今沒有其他工具能像它一樣獲得世界范圍認可，并被廣泛運用于企業、政府、公益組織、醫療衛生、教師等培訓領域[4]。所以Smidt 等人對過去十年使用柯氏評價模型的研究進行梳理，發現該模型的適用性最強[5]。

柯氏模型的核心框架是依次銜接的評價四層次。第一級是反應層(Reaction), 評價的被培訓者的滿意程度。反應評價是指受訓人員對培訓項目的印象如何，包括對講師和培訓科目、設施、方法、內容、自己收獲的大小等方面的看法。第二級是學習層(Learning)，是評價被培訓者的學習獲得程度，它是測量受訓人員對原理、技能、態度等培訓內容的理解和掌握程度。第三級是行為層(Behavior)，是評價被培訓者的知識運用程度，是指在培訓結束后的一段時間里，由受訓人員上級、同事、下屬或者客戶觀察他們的行為在培訓前后是否發生變化，是否在工作中運用了培訓中學到的知識。第四級是結果層(Result)，是評價培訓創出的經濟效益，效果的評價即判斷培訓是否能給企業的經營成果帶來具體而直接的貢獻，這一層次的評價上升到組織高度。

與其他領域相比，柯氏評價模型在教師培訓領域的影響絲毫不弱，但主要集中在基礎教育、普通高等教育，甚至是護理教育，較少涉及職業教育方面。Praslova關注到柯氏評價模型在高等教育的運用，側重于學習結果和項目評估方面[6]。卜彩麗[7]與陸少穎[8]也關注到柯氏評價模型對于教師培訓評價的應用。劉建銀與黃露則基于柯氏評價模型，試圖建立“國培計劃”評估的五層次模型[9]。僅有少數文獻涉及職業教育教師培訓項目的評價。例如，Ravicchio與Trentin對意大利職業教育教師培訓項目的評估研究[10]。國內部分學者探索基于柯氏培訓評價模型構建高職教師培訓的評價體系，但也局限于理論建構，沒有具體操作指標。林秉娟基于柯克帕特里克模型，構建了由4層次7方面構成的高職教師培訓的評價指標體系。其中包括受訓教師的個人感受、培訓結束后培訓機構頒發證書及評價、受訓教師教育理念的改變、知識體系的完善、實踐技能的提升、教育教學方法的改進、對學校教育教學的推動[11]。陳千誥雖然在柯氏模型(Kirkpatrick)之上建立了，由3階段7項指標24個主要觀測點構成的高職院校教師培訓評價體系，但在主要觀測點仍有問題[12]。

在對柯氏模型的繼承與發展中，Donald Kirkpatrick的子女繼續扛起該模型發展的大旗，成立了專門從事培訓評估的(Kirkpatrick Partners)公司，并在2010年對該模型進行了最新的一次完善(圖1)，形成了新柯氏評估模型(The New World Kirkpatrick Model)。這次的調整是針對批評者們指出的缺陷進行了補充。這表現在：在反應層新增了學員的學習參與程度和與工作的相關性兩個變量；學習層，他們新增了信心和承諾兩個變量。行為層的全部以結果層的部分，引入了一個新的機制——監督和調整，其目的在于針對第三級和四級評估過程中的各環節以及相應的評估方法和活動進行適當的監督和調整。Woodhouse[13]對美國醫療行業的培訓項目的評估，Subramain.Maran基于修正后的模型對美國營養學教育培訓項目效果進行評估，也都驗證了新模型的適用性[14]。本文認為基于最新的柯氏培訓評價模型，對當前高職教師培訓的評價有著極其重要的借鑒意義。

圖1 新柯氏四級培訓評價模型

二、基于柯氏模型的高職師資培訓評價體系

雖然殷蕾等人基于柯氏四層次評價模型和轉化學習理論，構建了包括培訓背景、培訓反映、培訓收獲三個一級指標的評價體系[15],但該模型忽略了高職教師“雙師型”的特點，只關注教學科研能力，專業技能的培訓效果無法得到有效評價。正如朱旭東等人指出，教師培訓的核心要素包含需求評價要素以及培訓效果評價要素。在培訓效果評價中，需要涉及到過程性評價、終結性評價、項目后評價[16]。

正如柯氏模型的擁躉者致力于評價框架的完善，高職教師培訓評價模型也不能依據在已經就被其創立者拋棄的舊模型之上。因此，本研究基于柯氏評價四層次模型的最新框架的闡釋，江蘇省高職教師培訓中心已有學員滿意度評價問卷和學員撰寫的培訓心得，從柯氏模型四個一級指構建原始的評價指標體系。為保證評價指標體系的科學與有效性，我們采用專家經驗評估法，邀請高職教師、高職教師發展中心負責人、高職院系領導、教師培訓基地工作人員、培訓基地負責人、教育學專家、職業教育研究專家、教師培訓研究共17位專家對初擬的指標體系進行直接評價。最終形成包含四個一級指標、19個二級指標的高職教師師資培訓評價指標體系(表1)。本文致力于建構的高職教師評價模型只精確到三級指標，文中僅展示具體測量題項的示例。后續研究將進一步探索可實際測量的題項。

表1 高職教師培訓評價的指標體系

(一)反應層：學員對培訓項目的回應

反應層是高職教師培訓評價的第一階段，它衡量的是參訓學員對培訓項目的滿意程度以及回應程度。當前已有的高職教師培訓效果調查問卷，就多是在滿意度這一層次上，僅關注學員對培訓是否滿意。新的柯氏模型中則有滿意度、參與度、相關度三個維度來衡量。

同伴閱讀就是委派五年級學生做“小老師”指導二年級學生閱讀。這些大哥哥大姐姐為了指導好弟弟妹妹，會事先認真備課，總結閱讀策略與方法，并把這些策略與方法深入淺出地講給弟弟妹妹。活動中，五年級學生的熱情很高，指導也非常耐心。二年級學生在哥哥姐姐的帶領下，閱讀的興趣提高了，閱讀能力也得到了提升。

第一是參與度。它指的是學員在培訓項目中的投入程度。學員在培訓過程中的投入程度影響著他們的培訓效果。“參與度”可以通過一些指標去衡量，例如學員出勤率、課程作業完成情況、課堂師生互動情況，生生互動等境況。這一維度可以通過日常課堂觀察和問卷調查方式進行衡量。

第二是關聯度。它指的是培訓內容與教師自身知識結構、工作內容的相關性。該維度考察的是學員感知到的培訓項目與自身的關聯性，關聯度越高越能激發學員學習投入的興趣。

第三是滿意度。它測量的是學員對培訓項目的總體評價。這其中又可分為更具體的硬件和軟件指標，例如，培訓基地師資情況、教學內容、學習氛圍、課程時間、學習環境、學習輔助環節等多維度的滿意度。

針對反應層的評價方式，培訓組織者可以通過書面考試、操作測試等方法來了解受訓人員在培訓前后，知識以及技能的掌握方面有多大程度的提高。如果因學員專業背景，學歷背景，年齡層次差異較大，可通過小組討論、小組展示、學員代表示范等方式組織。

而對于該層次的培訓科目和成績，學員的培訓總結和結業證書等，改變以往的只停放在培訓單位的做法，而是應該將其寄到學員所在單位，存入業務檔案，作為評優評先和職稱晉升的重要依據之一。

(二)學習層：學員在知識、技能、態度的變化

學習層主要評價學員在培訓項目中多大程度上實現了知識、技能、態度方面的提升。是目前最常見、也是最常用的一種評價方式。可以采用筆試、實地操作和工作模擬等方法來考查。培訓組織者可以通過書面考試、操作測試等方法來了解受訓人員在培訓前后，知識以及技能的掌握方面有多大程度的提高。本文借鑒新柯氏模型，加入了承諾的概念。因此在學習層主要有四個維度，分別是知識、技能、態度、承諾。

它們測量的層次不同。“知識”強調的是“我知道這個東西”(Iknowit)。“技能”強調的是“我現在就能做好”(Icandoitrightnow)。“態度”強調的是“我相信培訓內容在工作中是有用的”(Ibelievethiswillbeworthwhiletodoonthejob)。“自信”表達的是學員在參與培訓后對效果的自信狀態，即“我認為我能在工作中運用得到”(IthinkIcandoitonthejob)。而“承諾”表達的是學員想要將所學知識技能運用到工作中的情感，即“我打算在工作中實際運用”(Iintendtodoitonthejob)。

本研究建議通過培訓前后的知識技能增加的數值。常用方法可以是培訓前后的量表測量，以及實地觀察或者訪談。例如，可以通過最后一次課程上的問卷調查，而對于測量工具方面，我們認為要開發或者借鑒專門測試知識、技能、態度的量表或問卷。

(三)行為層：所學是否能運用到工作中

行為層是考查培訓效果的最重要的指標。它涉及的是學員在培訓中學到的知識、技能是否運用到實際工作中，及培訓知識的可遷移性等系列相關問題。行為的評價指在培訓結束后的一段時間里，由受訓人員的上級、同事、下屬或者客戶觀察他們的行為在培訓前后是否發生變化，是否在工作中運用了培訓中學到的知識。這個層次的評價可以包括受訓人員的主觀感覺、下屬和同事對其培訓前后行為變化的對比，以及受訓人員本人的自評。這通常需要借助于一系列的評價表來考察受訓人員培訓后在實際工作中行為的變化，以判斷所學知識、技能對實際工作的影響。

我們從知識運用深度、運用范圍、持續時間、自主專業發展行為等四個維度衡量教師在培訓過程中學習到的知識、技能，以及形成的情感態度價值觀能否真正運用到實際工作中。首先，“知識運用深度”指的是在培訓項目中學習到的知識與技能在實際工作中的發揮效果。即學員受到培訓的知識與技能能否真正運用到學校教學、科研、社會服務等領域中，并究竟能起到多大的作用。

“知識技能運用持續時間”測量的是學員在培訓中學到的知識，運用到實際工作中能維持多長時間，培訓效果在時間變化過程中的消退速度如何？這主要測量的是，參訓教師能否將所學知識與技能長時間地運用到工作中，而不僅僅是因為培訓帶來的短期激勵。

“知識運用范圍”指的是培訓項目中學習的知識與技能是否能夠突破個人，實現遷移，示范輻射，并向組織中的其他人進行知識擴散。這一指標主要用來衡量，教師培訓的知識技能更新能都對組織其他人形成學習效應，這些已經受過培訓的教師能對其他成員由較好示范與引領作用。

“自主專業發展”指的是學員參與培訓項目后，是否能養成促進自身專業化發展的學習習慣和行為。教師作為學員參與培訓單位的教學內容，對于自身能否形成終身學習和自主學習的理念和習慣，能否在回到原單位后仍然對自身教師專業發展有強烈的興趣。

(四)結果層：培訓項目對所在組織的影響

結果層的評價即判斷培訓是否能給企業的經營成果帶來具體而直接的貢獻，這一層次的評價上升到了組織的高度，它關注的是培訓項目能否給組織商業或環境兩方面帶來積極的外在影響，例如聲譽、商業收益等等。而且就正如柯氏模型指出的，這種培訓的效果應該從培訓基地和參訓學校來逐一分析。

對于教育事業單位來說，對組織層面的評價無法，也不能像商業單位一樣，以經濟效益進行衡量。這也正是當前高職師資培訓評價中最明顯的一個特征。因此，本文認為，高教師資培訓項目的評價，盡管需要考慮到培訓成本和回報之間的關系，但我們不能像公司一樣精確評價商業收益，或者只注重經濟思維的激勵。

對送訓基地而言，結果層評價是傳統意義的培訓項目評價內容。其維度包括，參訓單位的預期目標完成度、教學質量、科研產出、學生成長、學校聲譽等維度。“預期目標完成度”，是需要教師培訓部門負責人，基于對培訓前的目標設計與培訓后的總體效果，對整個培訓項目的一個總體評價分數。“教學質量”，指的是培訓項目給學校教學方面的提升效果，可以從課堂質量(師生互動頻次，互動質量)、學生評教分數、專業教研能力評價(教研課題獎項申報和教研論文撰寫)等維度衡量教學質量。“科研成果”指的是培訓項目給教師學術科研帶來的影響，可以從論文發表、課題獲批數、著作出版、專利獲批數等維度進行衡量。“社會服務維度”，指的是培訓項目給高職教師服務區域經濟社會發展能力帶來的影響，例如可以從教師服務產教融合的次數和質量來進行衡量。“學生成長”指的是教師培訓對學生成長帶來的影響，可以通過學生滿意度、學生成績(GPA)、畢業率、升學率來衡量。“學校聲譽”衡量的是教師培訓給學校整個組織帶來的聲譽提升效果，可以從學校排名、用人單位滿意度等指標來衡量。

同時，我們也應該要考核送培學校的培訓項目對組織自身影響，這是柯氏模型提出的一個換位思考的考察方式。對送培學校而言，高職師資培訓項目的評價，其維度涵蓋投入-收益的比例、政府考核等情況。“投入-收益比例”衡量的是本單位參與培訓高職教師學員投入的人力物力資源和所收獲的貨幣性收益。由于非貨幣收益難以量化，因此我們認為該指標可以作為一個可調節的模糊集指標。而“政府考核”則是培訓單位較為重要的評價指標，由于培訓工作與政府部門關系相當緊密，政府部門評價關系著培訓單位的經費和聲譽。一般認為，越是能夠提供高質量教師培訓項目的單位，政府的評價往往也越高。

三、關于評價指標體系的幾點說明

研究者需要再次重申的是，盡管我們采用了實證的方式構建了上述評價指標體系，但其本質依然仍是理論層面的探索，所以仍有以下幾點需進一步說明。

第一，強調教師在師資培訓評價中的作用。以教師知識結構和持續專業能力發展要素為核心基礎的評價工作，需發揮教師在績效評價的作用。第二，評價要重視參與者的互動。教師培訓的需求要素中，培訓基地要充分了解參訓教師的意愿，而他們所在單位也要與教師有良好溝通，使每位教師都能積極自愿參與教師培訓。對于第三方參與評價的介入，需要更審慎的態度。第三，以漸進方式推動評價工作，嘗試以行為層和結果層的信息反饋到前兩個層次，進而調整培訓工作。我們的建議是可以先在第一、二層進行評價，關注在培訓進行前、進行時，以及培訓短期內的效果。待時機成熟再推動更高層次評價。如果要涉及行為從或結果層評價，可從部分指標著手。但要注意結果追蹤，尤其是2-3年教師的長期表現，能離析出培訓的效果。從這一點來看，也需要培訓基地與送培學校之間有長期良好的溝通與合作。第四，每一階段評價方式可以有差異，也可由多種方式結合起來使用。還需要注意的是，要注重對培訓前的評價，了解評價需求以及學員基礎水平。第五，以基于證據的政策制定思路推進評價工作。當前高職師資培訓工作對已收集到的信息材料缺乏有效的分析，因而需要通過評價指標建立一套標準化的信息采集系統，形成高職教師培訓效果的數據庫。

最后，本研究的不足之處需未來深化。第一，新柯氏模型本身不足應得到正視。如該模型劃分的相銜接的層次，其內在邏輯具有一定因果關系。第二，后期應結合調查問卷以及部分教師培訓心得文本，驗證問卷的編制及測試情況、問卷的結構效度(判斷變量能否用于因子分析)、問卷的信效度檢驗(旨在了解量表是否具備可靠的穩定性)。第三，增加各級指標的權重計算模型，采用層次分析法(AHP)確定評價指標的權重，保證權重分配的客觀性和精確性(劃分層次評價結構、構建比較判斷矩陣、各層次排序和一致性檢驗)。第四，新柯氏模型中關于各層面的評價提到的諸多評價具體方法，大部分是可借鑒使用但還需要開發符合職教師資培訓評價的工具與方法，這是后續研究需要突破的點。