評價管理或重于評價方法
——兼敘PISA測試的過程管理

● 徐士強

評價管理或重于評價方法
——兼敘PISA測試的過程管理

● 徐士強

評價方法是基礎，實施管理是保障，二者共同驅動預期評價目標的實現。輕視評價實施過程的管理，往往會導致評價預期目標的流產，再好的評價方法也發揮不出應有的效果。PISA測試在試題翻譯管理、抽樣管理和數據管理三個環節都制訂了嚴格周密的管理方法和程序，為加強評價過程的科學管理提供了借鑒。

教育評價；過程管理；PISA

一般來講，要提高評價的信度和效度，評價者既要選擇合適的評價方法，還要確保方法得到正確的實施，方法是基礎，實施是保障，二者共同驅動預期評價目標的實現。但是，在實際評價過程中，有的評價者往往特別注重方法的選擇和方案的設計，對評價實施過程的管理卻重視不夠，以致評價結果不理想，造成人力和經費的浪費，更嚴重的是導致評價預期目標的流產。那么，如何有效促進評價方法和評價方案的正確實施呢？筆者認為方法之一是在評價的關鍵環節和過程內加強科學管理，這一點，我們可以從PISA測試中得到應證。

一、試題翻譯管理

PISA實施10余年來，參與單位的范圍不斷擴大，參與測試的非英語國家（地區）越來越多，因此，PISA要面對不同國家（地區）使用不同語言的考生，給學生提供的考題必須翻譯成參考學生使用的語言文字。我們知道，一般的作品翻譯尚有一定難度，考試題目表述嚴謹、表意要準確，翻譯的難度更大。而試題翻譯質量高低，將直接影響到測試結果的真實性和可比較性。因此，PISA對試題翻譯提出了近乎苛刻的要求，它的翻譯要遵循以下程序：

●制定翻譯計劃，每次提交翻譯文本的時間節點都要嚴格按照計劃進行；

●參與單位要安排兩組人員背靠背翻譯兩個獨立的版本；

●兩份譯稿整合；

●請學科專家參加討論，根據本國學生的語言使用習慣進行修訂，主要是人名，地名的修訂；

●提交給PISA國際專業協作組織，該組織聘用通曉英文和參與國家(地區)語言的專家校對，提出修改意見；

●參與國家（地區）與PISA國際專業協作組織就修改的地方展開討論，直至雙方妥協確定；

●試題單元定稿；

●將試題單元按照國際組織統一的組合順序要求排成多套試題冊，試題冊要嚴格按照英文版格式排版，文字在每頁所處的位置都應與原文對應；

●將排定的試題本提交給國際組織做最后的格式檢查；

●試題本定稿。

問卷翻譯和修訂的程序同上。

正是有了如此規范、嚴格和細致的翻譯流程要求，才使得PISA的測試題盡可能的避免因語言轉換而帶來的理解障礙和歧義，從而最大限度地降低了因語言差異而帶來的測試結果的偏差。

二、抽樣管理

這次上海PISA測試結果剛剛公布時，有人質疑抽樣的科學性問題。美國教育部下設研究機構的一名官員馬克·施奈德在測試結果發布后，曾提出質疑，質疑上海測試樣本是否具有代表性?懷疑上海選擇了最好的學校或最好的學生來參加測試。[2]施奈德的質疑事實上并沒有發生。因為PISA有非常嚴格規范的抽樣要求。

PISA評價項目所提議的取樣設計為兩階段分層取樣：第一階段的取樣單元為含有15歲學生的個體學校，取樣之前，在取樣框架內的學校被內隱或外顯的分配到層，然后，以隨機抽樣的方式在每層抽取學校，各層之抽取率與各層學校多少及學校內的學生數量成比例。第二階段的取樣單元為樣本學校中的學生，從每一所樣本學校中等概率的抽取35名學生（底線為20個）。并且，在第一階段選取的學校中，學校參與率要達到85%，所選取考生的作答率要達到80%（底線為 50%），如果初始選取學校的作答率低于85%，那么，必須通過從候補學校中取樣來達到要求。

PISA要求每一個參測國家(地區)嚴格遵守抽樣原則和方法，上海的測試也不例外。上海在這一輪測試中，把所有15歲學生就讀的學校名單，由美國的WESTAT公司按照分布比例并考慮學校規模大小后，最終確認了152所學校；學生抽樣由上海PISA研究中心根據國際專業組織開發的PISA專用數據管理軟件，從每所學校隨機抽取35名學生，正是在這樣嚴格和規范的抽樣要求，PISA的測試結果能在世界上產生如此大的影響，才能對參與測量的國家和地區教育決策產生大的影響。前面提到的對上海的質疑，馬克·施奈德先生在去年年末結束對中國的一次教育科研訪問回國后說：在實地調查后，上海考試成績的準確性毋庸置疑，技術層面上控制得很好，不存在作弊問題。[3]

三、數據管理

PISA有詳盡的數據手冊，內有若干章節和附件。以2008年編制的試測數據管理手冊為例，該數據手冊包含六個章節，每個章節都描述了數據管理的某項任務，核心問題的改進情況以及規定的PISA程序。下圖是數據管理任務流程。

以下流程簡表僅僅是PISA數據管理的流程概要，事實上，每一個環節內，都有細致全面的數據管理任務和操作細則。比如在數據輸入上，PISA要求要盡可能多的輸入數據，以盡可能地排除信息對評價結果的干擾；數據提交，必須在預定的時間內完成。PISA希望通過嚴格的數據管理，盡可能保證數據真實地反應事實，以獲得可比性。

圖1 PISA數據管理流程

試題翻譯管理、抽樣管理和數據管理是PISA項目過程管理體系的重要環節。 PISA認為，測試數據的質量來源于抽樣、翻譯、測試過程（主要是試卷印刷、物流和考場管理）、評分、數據輸入和清理等過程。當然，除了PISA測試管理上的特別之處外，其在測試內容等其他方面也有很多獨到之處，它最大一個特點是從終身學習的角度來編制整個評價方案，所以測試題目跳出了具體學科和具體年級的局限，從更廣泛意義上的能力來評價15歲的學生具備的解決問題的能力，它不局限于在校學習的基于課程的已經掌握的單一知識，而是強調知識在不同情境中的應用和形成面對實際生活挑戰的能力。由于評估內容來源于學生生活的多方面，不僅僅是學校教育的成果，所以它測試的成績不能簡單用來分析教師教學的好壞或學校教育的成敗。但是這種評價是從未來社會對人的要求出發的所以評價的結果對于各個政府制定教育發展的決策具有重要的導向性作用。

透過PISA，我們可以看到，評價的過程管理與評價方法同樣重要，甚至當我們在評價方法的創造上陷入謎團時，不妨從管理的角度尋求新的突破。我們開展教育質量評價工作，不僅要注重評價方法本身的研究和選擇，而且要更加注重建立科學精細的評價過程管理體系，并將之作為保證教育評價預期目標實現的一個重要手段，這一點恰恰是我們目前教育評價工作比較薄弱的地方。

[1][2]陸璟，朱小虎.如何看待上海2009年PISA測評結果[J].上海教育科研，2011(1).

[3]Sam Dillon．Top Test Scores From Shanghai Stun Educators，The NewYork Times，2010/12/07.

徐士強/華東師范大學2010級博士研究生，上海市教科院普通教育研究所助理研究員

（責任編輯：張 斌）