美國職業教育項目評估體系構建舉措與啟示

楊梓櫻 朱益明

大力發展職業教育，建立現代職業教育體系，是國家教育改革與發展的重要任務之一。2019年，國務院印發《國家職業教育改革實施方案》強調，要“加強職業教育辦學質量督導評價”和“建立健全職業教育質量評價和督導評估制度”，為進一步發展職業教育指明了方向。如何建立職業教育質量評價和督導評估制度，是一個非常重要的現實課題。美國職業教育發展歷史悠久且體系健全，其高度重視職業教育項目評估體系的構建。因此，學習和借鑒其體系構建的相關理念與舉措，將對我國相關工作的開展有所啟迪。

一、美國職業教育項目評估體系構建的背景

美國職業教育是一個由高中、社區學院、四年制大學以及各類社會培訓機構相互協調、統籌實施的完備體系；在高中階段并沒有專門的職業技術學校，而是通過職業教育課程實施職業教育；同樣，社區學院也為中學后學生提供職業技術教育課程與培訓。據統計，2016-2017年度，美國約有1.3萬所普通公立高中提供職業教育課程,有近0.6萬所中等后教育機構開設相關職業教育課程。美國高中階段參與職業教育課程學生人數為833.99萬人，高等教育階段為367.86萬人，參與社會培訓項目的人數為25.4萬人[1]。

美國聯邦政府每年也為職業教育投入大量資金，以項目形式支持職業教育高質量發展。“帕金斯法案IV”是美國政府為職業教育項目提供資金的法律保障，2017年為各類中學、大專和成人勞動力等職業教育項目提供的資金達到13億美元，覆蓋全美50個州。

盡管參與職業教育項目的學生人數眾多，并得到了國家、地方以及許多企業和行業的支持，但職業教育項目成本高昂的特點，使其比其他教育項目更容易受到政策制定者的關注和監督，這就要求不斷提高職業教育成效，并且最終通過學生成績以及就業情況予以體現。美國聯邦政府和各州政府，都希望了解什么樣的教育投資政策更有價值，希望將重點放在找出那些具有積極結果的項目上。從本質上講，政策制定者不再滿足于簡單地知曉教育資金流是否“起作用”，而且希望掌握項目如何以及為什么會起作用的關鍵要素，以便能更廣泛地復制和推廣這些具體要素[2]。

很顯然，建立科學的職業教育項目評估體系，是當今以結果為導向的美國職業教育的關鍵。沒有高質量的項目評估體系，職業教育項目將越來越難以證明其存在的合理性[3]。正是這種教育經費投入效果的實踐需求，導致了美國從聯邦政府到各州政府再到相關研究機構紛紛開展職業教育項目評估工作及其研究，由此產生了美國職業教育辦學質量評估體系。

二、美國職業教育項目評估體系構建的主要舉措

鑒于社會各方對職業教育項目實施效果的不了解甚至質疑，美國教育界對職業教育開展評估，嘗試建立職業教育項目評估體系，這種評估體系的建構主要體現在四個方面。

（一）立法強化評估

美國職業教育評估體系的構建離不開政府的立法保障。聯邦政府先后通過各項立法，確立了職業教育的問責制。在問責制中，除了要求各州定期提交年度計劃和實施方案以外，還強調通過評估審查方式，保障職業教育質量。

1.依托法律推動評估工作

1963年美國實施的《職業教育法》和1976年實施的《職業教育修正案》，兩者都要求各州向聯邦政府報告職業教育數據并要求進行項目評估。前者是早期批準聯邦政府向各州撥款建立職業教育項目的法律依據之一[4]，對州和地方發展職業教育的影響很大，其特別關注畢業生就業安置問題和雇主對職業教育畢業生的滿意度[5]。按照《職業教育法》的要求，各州必須提交一份職業教育五年計劃目標及其年度計劃，描述職業教育項目實踐和活動方案，以及使用和分配聯邦資金的標準。在符合聯邦準則的基礎下，各州實施自己的監測和評估過程[6]。1976年，職業教育法案修訂時，為了致力于擴展職業教育項目，提升職業教育項目的質量，進一步強調了評估，并將評估重點轉向管理和實踐改進。

2.將評估與問責結合

對美國職業教育發展產生最大影響力的立法是1984年通過的《卡爾·D·帕金斯職業教育改進法案》（簡稱“帕金斯I”），其保持了《職業教育法》中強調監測與評價的特點，但又突出了問責制，將評估與問責結合，更加強調職業教育質量。新法案規定，各州必須每5年進行一次職業教育項目評估，且各州可以選擇自己的評估方式。根據這項立法，州一級的評估工作包括以下組成部分：職業教育機構的內部自我審查評估；外部評審小組對職業教育機構及其項目進行現場考察評估；糾正評估中發現的不足與問題。

1990年，美國通過《卡爾·D·帕金斯職業與應用技術教育法案》（帕金斯II），1998年，通過《卡爾·D·帕金斯職業與技術教育法案》（帕金斯III），兩者都強調，職業教育發展必須包括更多指標和更多責任，并規定各州要建立職業教育評價制度，圍繞四個核心指標進行評價：基于國家標準的學生學業和職業成績；以畢業證書或中學后教育文憑衡量的課程完成情況；中學后教育、就業或參軍安置情況；學生就業項目和非傳統培訓完成度[7]。

2006年，《卡爾·D·帕金斯生涯與技術教育法案》（帕金斯IV）出臺，將“職業教育”（Vocational education）更名為“生涯和技術教育”（Career and Technical Education，簡稱CTE。本文在術語表達上，對職業教育與生涯和技術教育未作嚴格區分）。這種術語變化，體現了美國職業教育發展的新轉向：更加關注學術教育與技術教育融合，更加提倡中學和高等教育銜接的職業教育發展。這也導致了對職業教育評估和問責的新要求。《帕金斯法案IV》指出，生涯和技術教育項目要有更加嚴格的評估體系，要增加更多核心指標和問責措施。為此，其為各州和地方職業教育項目提出一些新的要求：要求各州每年提交一份綜合年度報告、一份學習項目計劃、5年的州職業教育發展計劃以及參與職業教育的中學階段和中學后階段學生核心績效指標的年度報告。

綜合年度報告是一份全面的年度報告，內容主要包括中學、成人、技術預科和高等教育項目的州招生數據；中學、大學和成人職業教育項目的問責數據和財務信息。該報告于每年12月31日提交至美國教育部，進而向國會報告全國范圍的職業教育發展數據。學習項目計劃盡管之前在《職業教育法》中提及過，但《帕金斯法案IV》強調的學習項目計劃，是指高中階段的職業教育課程需要與高等教育階段的課程相銜接，而且不能是簡單重復的課程設計。關于核心績效指標的年度報告需要涵蓋特殊人口、性別、種族和民族等類別信息，具體核心績效指標見表1。

表1 “帕金斯IV”的核心績效指標（學生）

為了鼓勵各州對職業教育開展問責，聯邦政府設立了專門的資助項目，用于資助定期上交問責報告且項目獲得批準的州和地方政府。同時聯邦政府也有權部分或全部收回對3年核心績效指標未達標州的資助。

總之，過去50多年來，美國十分注重以法律形式要求實施嚴格的職業教育評估，將評估與質量、改進、績效、問責等相結合。

（二）明確評估主體

眾所周知，美國教育制度是地方分權制，這同樣體現在職業教育及其項目評估中。美國的職業教育項目評價主體可以分為政府、院校、社會機構三類。

1.政府層面

聯邦政府、各州和地方政府都非常重視職業教育的質量問題，在對職業教育進行評估的過程中，聯邦政府各部門、各州、地方政府相互協調，共同介入到職業教育評估之中，包括調研、收集數據、開發評估指標、工具和框架等。

國家層面的評估主要由教育部總體把握。教育部依托全國數據總結職業教育發展現狀，并對未來趨勢作出客觀評判，合理設定評價指標和標準。在具體實施方式上，依據《帕金斯法案》的條款，聯邦政府建立獨立的評估機構，在全國范圍內對職業教育項目進行調研，持續追蹤教育對象，不斷整合全國職業教育項目各項信息。

州和地方政府依據各地具體情況自主設計職業教育項目發展的績效目標與評估指標。各州在聯邦法律要求下，研究本地區職業教育項目的投入、活動和產出，并開展與此相關的評估活動，包括審批職業教育受助對象、年度評估職業教育項目的有效性以及衡量學生的發展情況。

2.院校層面

院校層面的評估通常由各院校有步驟地適時自行開展和獨立完成。以職業教育為主體的美國社區學院為例，全美所有社區學院全部參加并完成了“社區學院參與度調查（CCSSE）”。CCSSE評價范式是一種科學的自我評估方式，既實行結果性評價，更注重過程性評價。評估的對象是學生，目的是通過監測學生學業成績和實踐情況來收集相關數據和資料，指導和協助學院及其決策者使用這些數據和資料實現內部監控，最終達到提高學生學習質量和學業成績，提升畢業率和就業率的目的。

高等教育領域的專家學者負責指導CCSSE的調查研究、數據分析和結果報告，不斷增強和提升社區學院的吸引力和競爭力。此外，為了保證院校評價成果的質量和價值，CCSSE評價過程接受有權威性、影響力的領導、專家、合作伙伴和其他重要代表的戰略和政策指導。

3.社會機構層面

隨著以外部同行評審為特征的質量認證機制的盛行，帶有行會性質的第三方質量評估組織成為代表學術權威決定教育質量的權力主體[8]。參與美國職業教育項目評價的社會機構來源廣泛，如各州生涯與技術教育聯盟（CTECS）、生涯與技術教育協會（ACTE）、全國評價治理委員會（NAGB）、全國職業能力測驗中心（NOCTI）、美國高校測驗（ACT）等。在對職業教育項目進行評估時，為了確保結果的科學性、有效性和獨立性，這些機構往往會成立獨立的顧問小組和評估執行小組，這些小組的成員通常來自于政府、高校、企業以及相關研究機構。

（三）制定評估指標與標準

帕金斯系列法案中提出的績效指標，是國家層面實施評估和建構評估指標體系的基礎，但還不足以真正評估職業教育項目的實施效果。為此，一些州為地方實施職業教育項目評估提供了更多的工具。例如，密蘇里州制定了一套共同的標準和質量指標，“旨在為當地學區建立、維持和評估優質職業教育項目提供指導”[9]。這些標準附有項目評估和改進工具，可以被當地的教育者用來評估他們的項目。

除了州和地方政府為當地職業教育項目評估做出的努力以外，美國一些社會機構也在尋求通過制定一套職業教育質量標準來豐富和落實職業教育評估。其中，應用范圍最廣的是美國教育部的“學習計劃框架”和美國職業教育協會制定的高質量職業教育質量框架。

1.美國教育部的“學習計劃框架”

美國教育部在2006年帕金斯法案IV的基礎上，要求各州和地方學區制定學習計劃，同時還通過一個大規模的技術援助項目，編制了一套更明確更細致的質量標準框架，擴大了法案中包含的職業教育學習計劃的要求。2010年，美國教育部公布了面向職業教育的學習計劃質量要素，希望“為各州提供一個有用的質量保證，以促進地方發展符合國會要求的職業教育學習計劃，促進帕金斯法案資助的職業教育項目改進”[10]。表2列出了學習計劃框架的10個要素和相關子要素。

表2 教育部學習計劃框架

隨著學習計劃框架的發布，美國教育部在全國范圍內進行了推廣應用工作，資助基于該框架的地方能力評估開發，幫助各州“向地方研究項目的開發人員提供技術援助，并審查州職業教育項目的批準流程”[11]。

2.高質量職業教育項目質量框架

美國職業和技術教育協會（Association for Career and Technical Education，簡稱ACTE）為了找出開展高質量職業教育活動的基本要素，開發了職業教育項目質量框架和相應的自我評估工具，用于監測和評價職業教育項目實施情況，“并將其用于識別和傳播職業教育最佳實踐模式”[12]。

ACTE在研制高質量職業教育項目質量框架及其評估工具方面，首先是尋找現有的關于高質量職業教育項目的文獻資料，這些文獻包括國家級發言、白皮書或文件；包括州級政策文件，幾乎每個州都開發了一些政策、評估工具或項目改進資源；還包括ACTE自身已經制定的框架。ACTE還與位于科羅拉多州丹佛市的聯邦政府資助的區域教育實驗室REL Central開展合作，在審查州政策文件的基礎上，共同深入研制質量框架。

2015年11月，ACTE發布了此項研究的成果即《定義高質量職業教育：高質量的職業教育項目框架》1.0版草案[13]。此后，ACTE又多次與州和地方職業教育管理人員、專家學者進行討論，不斷對該質量框架進行修改，先后發布了第二版和第三版草案。最后通過再次編輯使得整個語言標準化并確保要素之間的一致性，形成了項目框架4.0版本用于試點研究。該版本通過12個主要框架要素、105個標準來定義項目質量。12個要素包括：與標準一致的綜合課程；順序和鏈接；學生評估；有準備和有效的項目人員；參與教學；在獲取和公平；設施和設備；商業和社區伙伴關系；職業發展；職業和技術學生組織；以工作實踐為基礎的學習；數據和項目改進。為了將框架要素和標準轉變為完整的評估工具，研究人員開發了評分量表，范圍從“0”，表示根本沒有達到標準，到“3”表示在整個研究項目中全面實施的標準。以課程和評估這兩項要素為例，詳細標準見表3。

表3 高質量職業教育項目質量框架（課程和評估部分）

（四）嘗試多樣化的評估模型與方法

1.評估模型

1959年，Don Kirkpatrick開發了現在評估項目的首要模型——Kirkpatrick四級評估模型，見圖1。這一模型主要用于評估企業培訓項目，但也非常適用于教育領域的項目評估。模型包括四個層次：反應、學習、行為和結果。評估第一層級為反應，確定參與者是否對學習事件有利地作出反應，即他們是否喜歡或對項目感到滿意；第二個層級是學習，用于評估項目參與者是否獲得所需知識和技能；第三層級行為是一種長期的衡量標準，需要評估項目參與者在項目結束后是否真實地將他們的學習應用于真實情境中；第四層級結果用于衡量項目參與者完成項目后是否獲得了目標結果。

隨著時間的推移，四級評估模型在項目培訓的相關文獻和實踐中都取得了巨大進展，并且被其他評估者不斷擴展。例如，Jack Phillips在這四個層次的基礎上衡量投資回報率，并且增加了系統和流程兩個層級來完善模型。

Kirkpatrick模型的一個主要原則是在設計培訓項目時必須首先考慮期望的最終結果——即第四層級結果。然后，從這一點開始向前反推，確定導致這些結果的行為、改進這些行為的知識和技能，以及最好地傳遞這些信息的環境。這一原則對于職業教育項目評估來說特別關鍵，職業教育項目必須保持對預期項目結果的清晰關注，才能確定獲得這些結果的適當條件。

圖1 Kirkpatrick四級評估模型

2.評估方法

美國職業教育項目評估體系通常采用問卷調查與定量分析等多種評估方法來確保評估結果的有效性。在評估問責的過程中依托職業教育數據系統實現動態追蹤與深度分析。例如，美國國家教育統計中心設立了生涯與技術教育統計，致力于從已有的聯邦教育數據系統和其他聯邦數據系統（如美國人口普查局的人口普查數據、美國勞工部的青年縱向調查等）中抽取職業教育數據，以全面展示美國職業教育的發展情況，包括各級教育機構、項目、教育內容、參與者、教育成果等[14]。

美國職業教育發展的多元性、層次性的特點要求項目評估采用多樣化的方法，如實證案例研究、問卷調查法、文獻綜述法、數據分析法（國家縱向和橫向跨地區的數據庫分析、州和地方行政管理機構數據庫的分析）、專家小組等。例如，使用數據分析法研究中等與中等后職業教育階段學生參與職業教育的變化情況；通過問卷調查法進行用人單位參與情況與滿意度調查；專家小組對各州和地方職業教育項目評價中關于學術教育和技術教育整合情況的分析等。

三、美國職業教育項目評估體系構建的挑戰

盡管項目評估推動著美國職業教育的不斷改進和發展，提高了人才培養質量，增強了勞動競爭力。然而，目前美國在構建職業教育項目評估體系的道路上也遇到一些障礙。

（一）缺乏統一的國家標準

盡管立法中有職業教育績效指標（帕金斯核心績效指標），但這些指標往往是簡單的、程式化的，體現更多的是指導性作用，在時間運用上很困難。其他指標框架又往往不具有公信力，難以在全國范圍推廣。與此同時，美國職業教育系統具有多樣性和流動性的特點，不同州的職業教育標準不盡相同，使得數據的追蹤和衡量變得困難，尤其是遇到學生轉學或者提前修讀學分的情況。

（二）地方分權制的教育制度導致地方政策兼容性不夠

各州政府“因地制宜”構建最適合自身的教育項目質量評估與問責體系（包括職業教育），各州之間的兼容性不夠。不同的州，甚至在某些特定情況下，不同的學區或高等教育機構對學生學習項目有不同的定義。這意味著，在某些情況下，各州的數據并不具有真正的可比性，教育部不能直接簡單地合并各州的數據，因此無法迅速掌握整個國家的職業教育項目開展情況，使得在全國范圍內比較不同州之間職業教育項目質量變得很復雜。在實踐中，美國需要建立一套能夠跨區域、跨系統的統一可比的國家職業教育項目質量評價體系。

（三）績效指標數據的收集比預期要難得多

首先，并不是所有的受訪者都愿意參與調查，往往選擇參與調查的參與者都是喜歡這個項目并希望它成功。其次，能夠完成調查所有內容的人，都是最專注和最感興趣的個體，因此調查對項目效用的感覺時會對相關結果產生巨大影響。

四、對我國構建職業教育評估體系的啟示

改革開放以來，特別是黨的十九大以后，我國在職業教育發展中投入了巨大的人力、物力和財力，但由于政策制度、政府機制、體制、產業政策以及學校自身的原因，職業教育質量及其評估仍是一個廣為關注的問題，難以滿足社會和公眾對職業教育的期望和要求。建立一套客觀明確的職業教育評價體系，是衡量我國職業教育辦學質量與資金使用效率的需要。美國數十年構建職業教育項目評估體系的經驗，能夠為建立適合我國社會經濟發展的職業教育之路提供以下啟示。

（一）強化立法評估的法律地位

國家層面上，職業教育的頂層設計已經初步確立，產教融合正在全社會范圍內推進，職業教育迎來了快速發展的大好時機。高質量的職業教育發展離不開評估體系的支撐，美國帕金斯系列法案為此作出了良好的示范，然而我國1996年頒布的《職業教育法》未涉及評估內容，其他相關政策措施也未對評估細則作出量化地闡述。因此，我國應該盡快研究和建立職業教育的評估機制和體系，確定合理的指標和評價標準，完善監測與問責機制并以立法的形式向社會公開。評價職業教育成果不僅僅是統計培養技能型人才的數量，更重要的是關注職業教育在人才的質量、向生產力轉化程度以及推動產業發展與革新的成果等方面起到的作用。

除了國家層面，各地方政府應該根據各地區的產業結構、發展要求和人才需求狀況制訂相關的條例、制度和規定，通過評估推動職業教育更好地服務地方經濟。

（二）建立動態的評價指標

隨著以人工智能為代表的第四次工業革命來臨，以及全球技術革命、生產方式變革等巨大挑戰，我國對應用型人才的需求急劇增加，職業教育與產業發展必須密切聯系。因此，新時代下評價職業教育辦學質量必須跳出原有簡單通過學生成績、畢業率、就業率等指標來衡量的思路，可以參考美國指標選取的變遷（尤其是教育部學習設計框架中的具體元素），更多的聚焦于職業教育產教融合情況、課程設計、“雙師型”教師數量、實習實訓、職業生涯規劃、雇主滿意度等指標，尤其是要關注依據國家標準、行業標準對學生技術技能的評估。

指標的設計需要中央和地方的政府部門以及相關研究機構共同合作；在以往工作基礎上建立普適全國的職業教育評估指標，以及更豐富更有針對性的省域指標。

（三）實施多維度的分類評估

由于職業教育的內涵十分豐富，為避免使用單一指標所帶來的片面性，可以采用一套指標體系，立體地予以評估。例如：從學段維度出發，可分別考慮中等和高等階段職業教育；從地理維度出發，考慮不同區域（如，可劃分為東中西部地區，也可劃分為一線、二線城市，等等）的職業教育情況；從內容維度出發，針對職業教育各個方面，如職業教育頂層設計與政策、職業教育師資、職業教育課程體系等的情況來反映；從類型維度出發，要充分考慮職業教育的不同類型，如農林類、理工類、經管類等。通過這些維度的單一作用或綜合作用，可立體地反映職業教育的質量情況。

（四）搭建職業教育大數據系統

大數據時代的到來，使得決策日益基于數據和分析而作出，而并非基于經驗和直覺，這幾乎成為各行業的準則，職業教育也不例外。為了能夠持續評估職業教育的辦學質量、績效和發展趨勢，我國需要在國家層面搭建起一個完備的職業教育大數據系統。這一數據系統除了包含基本的職業教育數據（學校數、教師數、學生數、畢業率等）以外，還應該要求各省定期上傳省域內所有職業院校的評估報告。

這些數據應該向社會公開，通過社會監督的力量來促進職業教育高質量的發展。除了可公開數據以外，這一數據庫還應該包含對學校、教師、以及學生的動態追蹤數據，從學生入學一直追蹤到畢業后數年，建立完整的發展檔案，同時對接各類教育與就業數據，以幫助政府以及相關研究人員解決教育管理中的現實緊迫問題，將有限的資源用于支持高質量的教育項目，做出更準確的決策。

我國可由政府牽頭，依托高校、科研機構、企業等單位成立專門的職業教育數據研究基地，組建一個由職業教育管理人員、職業教育研究人員、職業教育評估與數據處理專家、雇主等組成的獨立咨詢小組，由他們分析、評估職業教育數據并為決策部門提供有高質量數據支撐的高水平咨詢報告。