“元評價”體系在高職院校學業評估工作中的應用研究

《高職高專人才培養工作水平評估方案（試行）》的實施，使“以評促建、以評促改、以評、評建結合”成為引領職業教育發展的導向。然而在高等職業學校進入高質量階段的背景下，學業評價工作也面臨著提升質量的現實問題，如何監督評估活動的質量以及如何評價評估的質量成為亟待解決的問題。本文基于高職院校內涵式發展的背景下，針對“元評價”體系在學業評估中的應用進行了探索性研究。

一、高職院校學業評價中引入“元評價”體系的必要性

（一）“元評價”體系的應用是高職院校學業評價體系優化的方向

以促進高等職業教育優質發展為目標，《國家職業教育改革實施方案》（即“職教二十條”）由國務院于2019年發布。建立和完善職業教育質量評價體系的目標已經在文件中得到明確。“元評價”又被稱為“元評估”，它是針對評估活動和評估者表現的價值判斷，以提升評估品質的專業化發展產物。“元評價”的核心思想是將原始評價工作作為評價對象，在一定標準或原則的指導下，對評價的過程、技術方法和結論進行客觀分析和判斷。通過“元評價”體系，我們能夠發現原評價活動中存在的問題，并提供改進的方向和建議，使其更具規范性并充分發揮其積極作用。通過對評估系統和評估機制的評判，我們可以識別其優點和缺點，進一步完善和優化教育評價體系。因此，元評價作為高職學業評價的重要優化方向，可以全面了解評價的理論基礎、制度機制、評價元素和實施過程，確保學業評價的科學性和準確性。

（二）“元評價”體系能夠有效提升評價信度與效度

復雜的職業院校教學活動引發了對評價信度和效度的需求。評價方案的元評價旨在評估和分析評價方案實施過程中的各個環節，包括目標、主體、內容、程序、方式方法、技術、結果和反饋。通過實際情況分析和評判評價的合理性和科學性，發現并改進評價活動中的偏差，提升評價活動的信度和效度，確保評估工作科學準確。“元評價”體系的目的是使評價活動發揮積極作用，并避免負面影響。為此，評價者需要考慮評價方案是否清晰明確、是否符合目標需求、評價者是否具備專業背景、評價內容是否充實全面、評價程序是否嚴謹可操作、評價方式方法是否科學可行、評價技術是否準確可靠等因素。

（三）“元評價”體系的運用能有效實現問題的診斷和改進功能

在高職教育中，診斷和改進是提高實踐教學質量與層次的重要手段。其目的是通過了解工作現狀和工作目標之間的差距，找出問題所在，并通過相應的改進措施縮小差距，從而達到提高教育教學效果的目的。首先，“元評價”重視教學評價的理論基礎，探究評價的目標和價值取向，從而保證評估工作的科學性和正確性。其次，“元評價”關注制度機制的建設，包括評價依據、評價標準和評價流程等方面，促使評價具備規范性和可操作性。此外，“元評價”也強調對教學評價活動全過程的評價，從評價目的設定、數據收集、分析解讀到結果反饋等方面進行綜合考察，為改進教學評價提供有力支持。

二、高職學業評價引入“元評價”指標體系實施路徑

以“元評價”體系實施策略為視角，探討高職學業進行評價的組織機制、內容標準、技術方法和過程監管。在任何評估中，都需要按照基本的原則和要求來進行，通過研究以下方面，能提高估分的準確性、實效性，進一步優化高職學業的評價質量。

（一）建立教學“元評價”組織機制

1.建立和完善“元評價”組織機構

領導機構可由分管教學的副校長任領導小組組長，負責組織實施“元評價”工作。這樣的設計能夠賦予“元評價”組織結構一定的權威性和決策力，確保“元評價”工作的順利開展。

2.組建一支或多支高水平的“元評價”專家團隊

評價工作的有效開展和質量保障離不開評價專家的資質和實踐經驗。除從內部專家中抽取部分委員作為“元評價”評審專家外，高職院校還應邀請其他高校、科研機構等擁有豐富經驗和了解高職院校教學特性的專家，聯合組成專業“元評價”隊伍。此外，第三方評估專業評估人員也可聘請參與評估工作，從而保證了“元評價”過程和結果的準確客觀。

3.完善“元評價”相關制度

“元評價”體系的實施需要有明確的規則和準則，這就需要建立相關的“元評價”制度。通過制度對“元評價”體系的地位和作用作出明確規定，使其成為重要保障。同時，制度也為避免“元評價”工作的隨意性和臨時性，保證了“元評價”體系的實效性和可行性。通過健全的“元評價”制度，可以規范評價過程，提升評價的可信度和有效性，從而推動高職院校的教學質量提高。

（二）制定“元評價”的內容標準體系

制定“元評價”的內容標準體系是對教育評估本身進行評估和研究的重要工作。“元評價”需要考察評價方案、指標體系、實施過程和結論的科學性、有效性和可行性等方面。

1.對評價方案進行“元評價”

評價方案是指導和規范評價工作的重要依據，其科學性和完備性對評價順利進行起著關鍵作用。實施“元評價”需要評估評價方案的整體設計，包括完整性、目標描述的明確程度以及反映評價目的的能力等方面。還需要分析評價項目、觀測點的設計是否全面符合實際情況，評估標準的明確性、具體性和可操作性，以及周期安排的合理性等。

2.對評價指標體系的“元評價”

評價這一指標體系的“元評價”包括以下幾方面的內容：首先要結合本校教學的具體情況來評判指標設置的合理性。評價者應該分析所設指標是否能全面覆蓋教學質量的各個方面，如師資力量、教學內容、教學方法等。同時，還需要考慮到本校的特點和優勢，確保指標的設置與實際情況相符。其次，要評估指標構成的全面性。評價者需要檢查指標體系中是否有遺漏的指標，以確保所有關鍵因素都被考慮到。此外，評估標準描述的可測性，評價者需要仔細檢查每個指標的具體描述，確保其具備具體明確的特點。這樣可以避免引起評價者之間對指標的理解差異，保證評價結果的準確性。同時，還要評估量化標準是否客觀合理，為確保評審過程科學公正。

3.對評價實施過程進行“元評價”

評價實施過程是對收集到的信息和資料進行總結、綜合分析的過程，其真實性直接影響著評價結果的可靠性。因此，需要分析信息資料的獲取渠道的是否可靠、信息資料的是否完備，以及所選用的信息數據處理技術是否科學有效。發現不足之處即提出改進建議，以確保評價結果真實可靠。

4.對評價結論進行“元評價”

評價的結論為改進實際教學提供有效的建議和措施，對于職業院校教學改革至關重要。只有經過評判和修正，才能確保評價的成果能真正促進教學的發展。通過制定“元評價”的內容標準體系，可以確保對教育評估進行科學、全面和準確的評估和研究。這將有利于促進教學質量的提高，為學生的綜合素質培養提供更好的支持。“元評價”體系的有效實施是保證評價有效性的關鍵環節，只有經過評判和修正，才能確保評價的成果能真正促進教學的發展。

（三）運用多元有效的“元評價”技術方法

為確保評價結果準確客觀，在信息、資料、數據分析基礎上開展工作。常用方法有內容分析法、經驗總結法、評價信效度分析法等重要方法。

1.內容分析法

通過內容分析法，可以科學評價評價方案，并從多個角度進行綜合分析，以確保評價的質量和有效性。這種方法有助于決策者更好地了解和評估提供的材料，從而作出更明智的決策。在實際應用中，可以根據具體情況對內容分析法進行適當的擴展，以滿足對評價資料評判的需求。評價方案的科學性包括理論基礎是否扎實、研究方法是否科學等；可行性包括資源是否充足、可操作性等；指標體系的全面性和合理性是評估評價效果的重要標準之一；程序的設計規范性包括流程是否合理、數據采集和分析是否規范等；結論的客觀性和完整性包括結論的準確性、全面性等。

2.經驗總結法

它能夠全面概括和分析評價過程中的積極和消極經驗，為未來的學業評價工作提供指導和借鑒。通過系統收集和整理實踐經驗，并進行綜合性評估和歸納，經驗總結法能夠為決策者提供科學的參考依據。該方法的優勢在于從已有經驗中獲得啟示，減少重復犯錯，提高工作效率和質量。通過不斷擴充和完善經驗總結法，可以使其更加具體和智能化，為改進和創新提供更多有效的支持。因此，經驗總結法在學業評價工作中具有重要的應用價值，促進了知識積累和經驗傳承。通過不斷發展和運用這一方法，我們能夠更好地將實踐經驗轉化為實際行動和改進措施，推動評價工作不斷取得新的突破和進步。

3.信度分析法

信度分析法是一種常用的評價測量結果可靠性和穩定性的方法。在進行評價過程中，準確可靠的信息、資料和數據對于結論的可靠性至關重要。因此，借助信度分析法可以評估這些要素的信度，并從多個角度綜合考慮，保證鑒定結果的可靠、穩定。首先，信度分析法需要關注信息的準確性和可靠性。這包括收集數據的方法、數據的來源、數據的真實性等。只有確保信息的準確可靠，才能進一步評估測量結果的信度。其次，指標體系的科學性和全面性也是信度分析法的關注點。評價主體對指標體系的理解一致與否直接關系到評估結果的可靠性。在應用信度分析法時，還需綜合考慮各個要素之間的相互影響。比如，信息的準確性和可靠性可能會受到指標體系的科學性和全面性的影響，而學業評價主體對指標體系的把握和理解也會影響評估結果的可靠性。

4.效度分析法

效度分析是評估量表的重要步驟，它能幫助我們確定量表是否能夠準確地測量出所要測量的特性或功能的程度。內容效度分析和結構效度分析是常用的評估方法。內容效度分析通過專家的經驗判斷和問卷前測評估，幫助判斷評價結論是否符合目的和實際情況。結構效度分析則關注問卷設計是否科學合理，能否準確反映被評估對象的特點。通過這兩種方法，我們可以更好地評估評價的結果是否可靠有效，并為必要的改進提供基礎。除了以上兩種方法，還可以融入其他多種評價方法來進一步提高準確性和可靠性。通過實地考察分析法、深度訪談法和文獻查閱法等手段，對信息、資料進行再獲取，解決對某些資料、數據或結論的真實性質疑。通過進行效度分析，我們可以確保評價結論的真實性，并促進正確的決策制定。

（四）建立“元評價”的實施過程管理機制

教學質量的評價一直是一項重要的任務，而“元評價”作為其中的一個環節，至關重要。通過“元評價”體系，可以全面系統地了解實踐教學質量的現狀，發現問題所在，并采取相應的措施進行改進。然而，由于評價本身的復雜性，以及實施過程中的各種因素影響，“元評價”也存在一定程度的偏差。首先，制定實施規范是確保“元評價”準確性和有效性的關鍵。這些規范應該包括評價的內容、方法、指標體系等方面的要求，從而保證測評的全面性和準確性。同時，對不同的測評內容，也要考慮其特點和要求，制定相應的實施細則。為評價工作提供具體的操作指南。其次，建立巡視檢查制度對于提高評價工作質量也是非常重要的。巡視檢查人員應具備相關專業知識和豐富的經驗，能夠對評價工作進行全面的監督和指導，保證評估結果的可信度。

三、結論

高職院校需要建立高質量的教學評價機制來完善內部質量保證體系，以降低教學質量評價的偏差和缺陷并提高準確性。要充分認識“元評價”工作的重要性，對“元評價”工作的內涵、技術方法等進行深入研究，納入學校內部的質量保障體系，建立科學有效的教學質量元評價機制。同時，應規范與督查“元評價”活動過程，確保其有效性。建成這樣的體系，對于高職院校進一步提高教學質量具有十分重要的意義和作用。

[課題項目：2023年廣東省普通高校特色創新類項目“基于校企協同育人的高職課程真實性評價體系研究”，（項目編號：2023WTSCX217）。]

責任編輯 何麗華