基于效度分析的職業教育政策監測與評價體系

□董天鵝

教育的健康發展，需要“三駕馬車”共同推進，即先進的教育理念、完善的教育政策和有效的教育制度，三者缺一不可。其中，教育政策作為教育理念和教育實施的中介，已成為各國政府進行教育管理的重要手段之一。據不完全統計，改革開放以來我國所頒布實施的重要職業教育政策已有200多項，一方面，呈現出政策文本繁榮的現象，另一方面，職業教育實踐卻困難重重，即職業教育政策結果與理論目標產生偏離，這種落差不禁讓人們對職業教育政策的效度產生了懷疑。相比而言，世界銀行等國際組織通過實施監測與評價來調整并完善政策、提高政策成效，監測與評價已經成為教育政策過程中必不可少的管理工具，而職業教育政策監測與評價環節的缺失，正是嚴重影響我國職業教育政策績效目標實現的重要原因之一。因此，建立有效的、規范的、系統的職業教育政策監測與評價體系，是提高我國職業教育政策效度的關鍵環節。

一、概念界定

（一）效度

效度（Validity）是教育測量學概念，即有效性，是指所測量到的結果反映所想要考察內容的程度，測量結果與要考察的內容越吻合，則效度越高，反之，則效度越低。職業教育是促進我國就業和經濟發展、提高國家競爭力的主要途徑。在職業教育政策實施過程中，不管是職業教育法規、還是職業教育決定等都會產生積極影響，但關鍵問題在于多大程度上實現了預期目標。因此，職業教育政策效度就是黨和國家制定的職業教育方針、法律法規以及職業教育的實施意見等各項行動指南的實踐結果與預期目標之間的符合程度。

（二）職業教育政策監測與評價

1.職業教育政策監測。監測是指在政策的實施與開展過程中，政策實施機構系統地收集和分析有關政策的進展、政策預期目標的達成程度等信息的過程。通過收集有關指標的變化信息，幫助決策者對政策的動態了解，追蹤政策的實施情況，資源的分配情況和目標的達成情況等。監測主要回答以下六個問題：（1）政策是否按照計劃實施與推行？（2）政策的投入是否很好地瞄準了目標人群？（3）事先計劃的產出是否有效完成？（4）實踐結果是否與政策預期目標持續相關？（5）在實施政策結果的過程中，我們面對哪些問題、風險以及挑戰？（6）針對政策執行中的變化，需要作出哪些決策調整？[1]職業教育政策監測就是決策機構對職業教育政策制定及實施過程中的每一個環節收集和分析信息，通過比較實際效果和預期目標，監督職業教育政策的執行情況，以促進既定政策目標的實現。

2.職業教育政策評價。評價是對政策的設計、執行和結果進行客觀、系統的分析，目的是要確定政策是否對其受益者帶來了預期效果，具體是如何產生這些效果的，實施效率如何，以及項目的可持續性如何。主要回答以下四個問題：（1）政策結果產生的原因是什么？（2）政策實施對目標人群的具體貢獻是什么？（3）如何改善政策的實施結果？（4）從政策實施的過程中，可以獲得什么經驗或教訓？[2]職業教育政策評價就是決策機構對職業教育政策實施結束后收集到的信息進行分析和總結，以評價政策產生的影響和效果。

從以上解析中可以看出，一方面，監測與評價密不可分，監測為評價提供必要的信息和數據，評價則對監測信息進行價值判斷，但同時，監測與評價在分析問題的深度、內容、目標等方面又有著本質區別。監測回答的是教育政策的實施情況，是描述性的，而評價回答的是預期目標的實現情況，是因果關系。在一個完整的教育政策生命周期中，監測與評價兩者缺一不可。

二、職業教育政策效度分析

孟衛青在《教育政策分析的三維模式》中提出了政策分析的一般理論框架，即價值分析、內容分析、過程分析[3]。本文試從以上三方面來分析我國改革開放以來職業教育政策效度低下的現狀。

（一）職業教育政策價值效度分析

教育政策的價值分析主要回答“教育政策處理各種有沖突的教育利益訴求，或者分配有限的教育資源所遵循的價值準則是什么”[4]這一問題，即決策主體在制定教育政策時的價值取向。而教育決策主體的價值體系是一個非常復雜的系統，共分為元價值、隱價值和顯價值三種[5]。元價值就是超越一切價值的價值，是最基本的價值；隱價值是決策主體真實表現出的價值取向，往往會左右教育政策的執行；顯價值是公開的、顯露明顯的價值。對于職業教育來講，其元價值即為本體性價值，發展職業教育可以促進教育公平正義、實現人的全面發展、消除貧窮防止社會失調，這是所有政策制定者遵循的價值觀；隱價值實際上就是工具性價值，即政府通過職業教育短期內培養大量技術人才實現經濟利益的最大化，而從實踐角度，職業教育作為一種“二流教育”，周期長成本高，在資源有限的情況下，政府會將其邊緣化，在這種情況下，隱價值必然受到影響；同時，職業教育作為人才強國戰略的重要組成部分，政府必須高度重視，表現出顯價值，一方面，教育相關部門必定頒布大量的政策文本，但另一方面在實際的經費投入、就業制度等方面互相推卸責任。因此，在職業教育政策價值領域，為了追求效率、經濟利益而忽視公平、人本發展，即重工具價值輕本體價值，而規避責任又扭曲了職業教育政策的顯價值，出現了明顯的價值沖突。

（二）職業教育政策內容效度分析

教育政策的內容效度分析是將政策視為一種規范性文件或行動準則，對政策文本和背景、原因和結果進行分析[6]。在職業教育領域，由于理論主體的不成熟和信息的不充分，職業教育政策內容的科學性和系統性較低。因此，職業教育政策內容的效度有待于進一步提高。如在高職院校人才培養質量方面，《關于高等職業教育人才培養工作的若干意見》中指出，“高職教育培養擁護黨的基本路線，適應生產、建設、管理和服務第一線需要的，德、智、體、美全面發展的高等技術應用性專門人才”，“學生應在具備的基礎理論知識和專門知識的基礎上，重點掌握從事本專業領域實際工作的基本能力和基本技能”[7]。我們從中可以看出，在職業教育政策中，人才培養目標表述籠統，在文化和技能方面沒有更加細化的指標，時代性和地域性特征也不明顯。除此之外，在人才培養途徑方面，校企合作方式規定模糊，沒有明確合作雙方的權利和義務，最重要由于政府角色缺失而難以保證校企合作的正常運轉。同時，經過仔細核查，我們就會發現許多職業教育政策邏輯性差，關聯度不高，甚至有很多內容交叉重復。因此，職業教育政策內容在很多方面缺乏系統性、科學性，甚至有些地方會相沖突相矛盾。

（三）職業教育政策過程效度分析

教育政策過程分析主要回答“為了實現一定的政策目標，教育政策是怎樣形成的以及如何執行的”這一問題，涉及到從選擇政策問題到政策終結共七個階段[8]。在這些過程中，或多或少都存在著低效度問題：

首先，職業教育政策目標不明確，在多數職業教育法律條文中，目標多屬于“宣言式”表述，只是做了原則性規范，不管從實體上還是程序上操作性都很差，因此在實踐過程中很容易出現有法不依、執法不嚴的現象。

其次，職業教育政策實施方案缺乏科學性，決策者在界定政策問題后，緊接著要選擇政策實施方案，實施方案的確定必須根據我國職業教育自身特點，而我國職業教育相關政策在制定過程中缺乏實地調研，僅僅照搬西方國家優秀經驗，而且職業教育作為一種特殊教育類型，決策者在政策制定過程中并沒有綜合考慮社會各個利益團體的意見，科學性嚴重不足。

第三，職業教育政策執行效力不高，美國政策學家艾利森稱：“在達到政策目標的過程中，方案確定的功能只占10%，而其余的90%取決于有效的執行。”[9]職業教育政策的效度不僅取決于政策本身的科學性，跟主要的取決于政策執行過程中的行政效力問題，但由于職業教育政策在制定過程中并沒有廣泛調研征求意見，因此，職業教育政策不但執行不力，反而還會引起人們的不滿情緒。

最后，職業教育政策評估機制不完善，由于我國政策制定機構和評估組織合二為一，因此，我國的政策評估形同虛設，決策者在制定評估指標時只會注重外在成績，互相攀比政績，難以保證評估的真正價值。

三、職業教育政策監測與評價體系構建

從以上分析中可以看出，正是由于缺少監測與評價，導致我國職業教育政策價值效度、內容效度和過程效度低下的現象。因此，在職業教育政策制定過程中有效實施監測和評價是中國教育政策領域亟待解決的一個問題，而監測是評價的基礎、前提，選擇有效的職業教育政策監測模式將是建構職業教育政策監測與評價體系的關鍵所在。

（一）職業教育政策監測模式選擇

傳統的職業教育政策在制定和實施過程中采取的是線性模式（如圖1），即職業教育政策的制定往往是一次性的，政策執行即意味著政策制定的結束，往往是單向的，在政策的每一個環節沒有及時的反饋與調整，不重視教育實踐對教育政策本身的完善，缺乏連續監測，當然也就不免會出現低效度的問題。而世界發達國家在職業教育政策制定過程中采取的是周期循環模式（如圖2），螺旋上升的，即從甄別政策問題到形成方案再到政策過程都會納入監測范圍之內，監測會涉及到政策的每個環節、每項內容，它可以連續性地收集信息和反饋信息，給政策制定者、實施者提供決策依據。

圖1 線性模式

圖2 循環模式

（二）職業教育政策監測與評價體系構建

1.根據監測與評價目標確定指標體系。為了有效地實現職業教育政策的預期目標，不僅需要制定完善的政策執行計劃，更重要的是嚴格執行計劃。為了系統地測量與記錄政策運行過程中的具體信息，需要首先確定監測指標體系，監測指標是由一系列具有針對性、可信性、可跟蹤性及時效性的指標構成的。根據指標測量的用途，可將監測指標分為投入性指標、產出指標和結果指標[10]。投入指標主要是考察政策實施過程中所投入的人力、物力、財力資源是否按照預期規劃分配；產出指標主要是考察政策投入對政策覆蓋對象所產生的直接變化如福利等，即用來測量用于政策特定目標群體的資源是否落實到位；結果目標主要考察政策實施的滿意度，即分析政策對目標群體帶來的直接或間接影響以及政策目標的達成情況。其中，投入指標和產出指標屬于中間指標，結果指標屬于終期指標。中間指標測量的僅是政策的干預情況，是與政策實施息息相關的，而終期目標與政策目標有關，是用來測量政策目標的達成情況的。通過上述指標體系的建立，可以比較精確地監測政策活動，獲取大量政策執行情況的數據，為評價政策效果奠定基礎。

2.選擇恰當的評價模式。目前，國內外已經形成較為完備的教育政策評價模式，主要有參與式評價、邏輯框架法、成本效益分析等模式。參與式評價是通過充分考慮相關人員的廣泛參與，促進其對教育政策的認同感，提高其自我決策和發展能力，這種方法強調群眾基礎，能確保獲取資料的真實性，但群眾意見往往存在分歧，需要耗費大量時間去統一；邏輯框架法的基本假設是所有政策活動的投入、產出、目標等都能通過一定的方法量化，在使用該方法時，首先需要設計邏輯框架表，評價人員填入政策實施的實際情況，通過與預期目標對比發現問題，提出對策，但對指標設計要求非常高；成本效益分析是通過評價政策的成本和效益，來確定其評價效率問題的，這種方法可以對政策進行標準化評價，數據易得，但不能評價單一方案，只能同時比較兩個或多個方案。每種方法各有所長，決策機構可以根據評價目標、經費限制、時間要求等作出選擇，或將多種方法有機結合。

3.監測與評價資料的收集。對每一個監測指標而言都需要有精確的信息來源。相關政策監測信息主要有兩個獲取途徑：

第一，二手資料，即相關部門或單位已收集好的資料，如教育統計年鑒、政府機構的報告和數據庫。這種方式相對比較容易，人力、物力、財力成本相對較小，而且在信息統計過程中，有很多數據不是單個研究者調研所能獲得的，但二手資料的針對性、時效性、客觀性有待于進一步評估；

第二，實地調研，是監測資料獲取的重要途徑，一般來說，需要耗費大量的人力、物力、財力，但這個環節可以為監測提供數據支持，是必不可少的，主要涉及兩個方面：首先科學抽樣，根據監測目標選擇代表性樣本，然后進行質性與量化分析，這兩種方法各有利弊，可以起到互補作用，質性分析方法適合研究比較復雜或者富有爭議性的問題，深入分析問題產生的原因，樣本選擇不宜選擇過多；量化分析方法可以將問題數量化，結論準確，但不適用于復雜問題，因此，實際調研中應將兩種方法結合起來，揚長避短。

4.監測與評價報告撰寫。這一環節是整個職業教育政策監測與評價體系的落腳點，是對監測與評價的結果進行總結反饋的階段，也是對工作人員技術要求最高的一個階段。首先，對監測與評價資料數據進行統計匯總，歸類整理并存檔，以備政策調整的需要；其次，績效監測與評價，它的基本假設是職業教育政策可以產生預期結果，根據政策預期設計方案，這些結果指標是可以測量的，通過對這些指標的測量來衡量政策績效。通過績效監測與評價，可以明確哪些活動已經正常展開，哪些沒有按照計劃展開，預期結果在多大程度上展開，哪些地方做得好或者不好及其原因分析，這些信息可以用來幫助決策者調整政策的管理措施。因此，要確保績效監測與評價在政策過程中發揮應有的效果，還必須要設計一個學習和反饋系統，如通過績效監測定期發布監測信息；最后，撰寫監測與評價報告呈現結論，注意提出政策實施過程中存在的問題，并未后續的政策實施提供建設性的意見，以達到政策實施的方向、合理利用及配置資源，提高效率和效益等目的。

[1][2]UNDP，Handbook and Book of Planning，Monitoring and Evaluation for Development Results[EB/OL].http：//www.undp.org/eo/handbook.2009-09-28.

[3][4][6][8]孟衛青.教育政策分析的三維模式[J].教育科學研究，2008（21）：23-25.

[5]張社字.我國職業教育政策的效度分析[J].教育與職業，2008（32）：5.

[7]尚悅.遼寧省高等職業教育人才培養質量政策的內容分析[D].沈陽師范大學，2009：1.

[9]周建國，張俊峰.公共政策執行：偏差與對策[J].公共管理高層論壇，2006（02）：300.

[10]杜育紅.教育政策的監測與評價研究[M].北京：人民教育出版社，2011：163.