國際大規模教育評價的經驗與趨勢

袁建林++劉紅云

近年來，大規模教育評價成為國際教育研究與實踐領域廣泛關注的問題。大規模教育評價是指通過抽取目標測試群體中的代表性樣本，對樣本學生進行學業成就和相關影響因素的分析，為監測不同國家（地區）的教育結果提供統一的量尺，并為教育政策的制定提供參考。當前國際上有影響力的大規模教育評價項目主要有：國際學生評價項目（Programme for International Student Assessment，PISA），國際數學與科學趨勢研究（Trend of International Mathematics and Science Study，TIMSS），國際成人能力評估項目（Programme for the International Assessment of Adult Competencies，PIAAC）等。PISA因具有評價理念先進、參與國家較多、評價流程設計完善等特點，是國際大規模教育評價的代表性項目。本文具體介紹PISA的主要經驗、做法以及發展的最新趨勢，以期為我國大規模教育評價提供借鑒。

PISA項目簡介

PISA由世界經濟合作組織（OECD）于1997年創立，主要基于一個共同的、國際性的框架測評學生的學業成就，以此監測各個國家（地區）教育系統的產出（Outcomes）[1]?；趪H統一的測量尺度，能在橫向維度反映一個國家該階段教育所處的相對位置，為教育政策的制定提供更加多元的參考途徑。PISA測評的對象是15歲左右的學生，主要測試內容領域是數學素養、閱讀素養、科學素養，測試每三年舉行一次，每次測試側重一個學科領域，三個主要內容領域9年完成一次循環測試。除了三個主要內容領域，PISA測試還會關注其他領域，比如問題解決、金融素養、合作問題解決、全球意識等。

PISA并不是第一個國際性的大規模學生成就測驗。在PISA開展之初，國際教育成就評價協會（IEA）、ETS等組織主持的大規模評價項目取得了豐富的成效。但是這些項目局限于部分學科的學業成就測評，由于早期參與國家的數量有限，在一定程度上限制了測驗的可比較性。更重要的是，這些項目都是以課程內容為基礎，不同國家的課程與教學的差異決定了評價框架只能建立在參與國課程的共同部分和基礎部分之上，忽略了課程與教學的多元化、個性化。PISA成功地吸取了這些項目的經驗，在其建立之初呈現以下幾個方面的特色[2]。（1）PISA根源于各國政府對自身教育監測的需要，基于實際數據與證據，為政府教育政策的制定提供參考。（2）PISA測評的周期性使得各國政府能定期監測核心領域的發展變化情況。（3）PISA測評對象是15歲左右的學生，該階段的學生臨近義務教育末期，監測該階段的學生學習結果反映了一個國家義務教育階段總的狀況，也反映了為適應未來學習與生活的學生對知識與技能的掌握情況。（4）PISA強調素養的測驗，而不是基于參與國課程與教學的共同部分和基礎部分設計測評框架，PISA認為這是其區別其他國際大規模教育評價的顯著特征。

PISA的主要經驗

1. 側重于考查適應未來所需的能力與素養

參與PISA測試的國家和地區課程目標、教學形態各異，PISA難以依據各國的課程標準定義測試的內容與框架，因此開創性地提出測試學生素養（Literacy）的評價理念。PISA從國家與社會人類資本發展的視角，認為未來公民應該掌握與個人、社會、經濟財富相關的知識、技能、能力以及其他屬性，其所測量的素養跨越學科、跨越國界，強調運用所學知識和技能，有效進行分析、推理、交流，在各種情境中解決和解釋問題[3]。PISA關于素養的測量較直觀地體現于內容領域的評價框架設計，比如PISA2015關于科學的素養框架應包括科學背景、科學知識、科學能力、科學態度四個方面，數學素養框架包括數學過程、數學內容、數學情境三個方面。PISA基于素養的測試理念不僅與選拔性的考試有本質區別，也與基于課程與教學標準達成的診斷性評價、形成性評價不同。PISA認為：現代經濟形態偏好于個體“能做什么”，而不是“知道什么”，評價學生的素養與此變革是相一致的[4]。

2. 關注影響學業成就的背景因素

學生的學業成就會受到家庭環境、學校環境的影響，也與學生自身的動機、態度、情感等因素緊密關聯，大規模教育評價一般會關注影響學業成就的背景因素。PISA開發了學生問卷、父母親問卷、校長問卷、教師問卷，調查影響學業成就的家庭背景、學習方法、學習環境、教學策略等因素。背景問卷中所包含的各種量表需要精心的設計和嚴格的測量學指標檢驗，基于量表的測量結果能提供各種指標反映學生身心發展情況，能提供反映家庭環境與學校環境現狀的各種指數。豐富的背景因素數據能用于研究各種因素與學業成就之間的關系，診斷、分析影響學業成就的原因，揭示學業成就差異與變化背后的潛在規律，為診斷教育現狀、改進教學績效、完善教育政策提供客觀的證據支撐。

3. 采用復雜的抽樣設計

出于測驗成本的考慮，大規模評價項目都會從測試目標總體中抽取代表性的樣本，通過樣本的測驗推論目標總體的情況。參與PISA測試的大部分國家都采用兩階段抽樣設計方案，第一階段采用PPS（Probability Proportional to Size）抽樣技術[5]，按照規模大小成比例抽取學校，每個國家至少抽取150所學校；第二階段在樣本學校內隨機抽取學生，每所學校抽取42名學生。PISA的分層抽樣設計提高了抽樣的效率，確保了樣表的代表性，能滿足特定國家不同的抽樣設計需要。此外，PISA的抽樣還體現在測試內容抽樣方面。大規模測驗需要足夠多的試題，以確保對測試內容的代表性，但每次測驗的時間有限，因此產生有限的測驗時間和寬泛的測試內容之間的矛盾。PISA主要采用不完全平衡矩陣抽樣組織題冊，將覆蓋學科領域的所有試題分成幾個小的題冊，每個小題冊經過等值處理后，讓每位學生接受其中一套小題冊的測試，以此減少每位學生需要測試的試題，同時確保對學生能力的準確估計。

4. 確保橫向與縱向的可比較性

PISA被世界各國廣泛認可的重要原因之一是它為各國教育之間的比較提供了統一的量尺，建立這種統一的量尺并不是讓所有參與測試的學生完成同一套試卷，它涉及較復雜的測驗設計和教育測量技術，即等值技術。為確保測驗內容的代表性，PISA采用矩陣抽樣技術組織測試題冊，這將導致不同的學生可能接受不同的試題測試。因此，在估計學生的能力之前，需要利用等值技術將不同題冊的試題標定到統一量尺上，即需要將項目的難度參數標定到同一尺度上，然后對學生的能力進行估計，當項目難度參數統一尺度之后，所估計的學生能力值也就具有可比性，確保了橫向層面各個國家（地區）測驗結果的可比性。在縱向層面，PISA主要采用在不同次測驗中錨定共同題的方法建立統一量尺，確保了不同次測驗分數之間的可比性，為各個國家（地區）分析不同年度學生成就的發展與變化情況提供了可能。這里僅簡要描述了PISA利用等值技術確保橫向層面各個國家之間和縱向層面同一國家不同次測驗之間可比性的基本原理，在PISA實際測試工作中，所采用的方法、過程與此相比更加復雜。

5. 確保測驗的公平性

參與PISA測試的國家語言、文化迥異，如果試題設計不當，學生很容易因為語言文化的差異造成對試題情境的理解偏差，從而導致測驗偏差。為確保測驗的公平性，PISA在試題情境設計時會考慮情境的通適性，設計的情境不能只適應于部分國家或部分文化語境；在試題翻譯時會多次來回翻譯，確保翻譯的準確性和跨文化環境的適應性。此外，PISA初步完成試題開發之后，會選取參與國（地區）的學生進行試測，根據試測結果分析試題特征以及試題特征在不同群體之間的表現差異[6]，檢驗項目的功能差異，確保學生分數變異僅體現自身能力水平的差異，不受其他無關因素的影響。根據統計分析的結果，PISA會進一步刪除、修訂表現較差的試題，確保試題對所有學生都公平。

6. 提供多元化的評價報告

由于系統性的評價設計和豐富的數據基礎，PISA能提供豐富、多元化的評價報告，主要有學科領域報告、國家報告和特定專題報告三大類。學科領域報告是PISA每次測驗的主要報告，該主報告會提供多種語言版本，描述每個學科領域學生平均表現、發展趨勢、不同水平表現、性別差異等，呈現各個學科領域在本次測驗的總體測驗結果[7]。國家報告描述參與測試的國家（地區）各測試領域的整體情況，總結學生在本次測驗中的相對位置，展示本國學生表現較好的方面和較差的方面。特定專題報告不固定形式、靈活多樣，有些是對某個特殊領域（比如問題解決、金融素養等）的整體測驗情況描述，有些是關于某個特定研究主題（比如ICT與學習表現的關系研究）的結果呈現[8]。此外，PISA的測試數據會完全公開，研究者可以依據自己研究需要，免費從PISA官方網站獲取所需的數據。

PISA基于技術的測評發展

從PISA已經開展的五次測驗來看，PISA的評價框架、測評內容、測評形式總體上保持相對穩定。但是近年來，隨著信息技術在教育測評領域中的應用，深刻變革了教育測評的理念、技術、方法，以核心素養研究為代表的教育目標反思思潮促進了教育測評領域對核心素養這類高階能力的測量研究。在此變革潮流中，PISA的發展與變化主要呈現以下兩方面特征。

1. PISA從紙筆測驗向基于技術的測驗轉變

PISA2009在閱讀素養的測評中首次嘗試利用計算機技術，被稱為數字化閱讀測評（Electronic Reading Assessment），主要基于計算機技術將閱讀內容數字化，提供交互式的、動態性的閱讀內容[9]。2012年，PISA基于計算機技術測量問題解決、數學素養、科學素養以及數字化中的閱讀，拓展了基于計算機的測量內容[10]。2015年，PISA首次將所有的測試轉變為基于計算機的測驗形式[11]，對于傳統的閱讀素養、數學素養、科學素養等，提供紙筆測驗和基于計算機的測驗兩種形式供參與國自行選擇，特別是，因為全面采用基于計算機的測驗形式，PISA2015在試測階段研究了基于計算機的測驗和紙筆測驗的等價性[12]，為測驗項目整體開展打下了基礎。

總體來看，PISA將傳統的紙筆測驗轉變為基于技術的測驗是PISA測驗形式發展變化的必然趨勢，這種轉變有其特定的原因：首先，與紙筆測驗相比，利用信息技術能構建交互性的、動態性的測試環境，豐富了測試內容的呈現方式，能提供PISA關于素養測驗所需的真實情境。其次，基于技術的測驗環境能完整捕獲學生解決問題的行為與操作過程，基于完整的過程數據能分析學生的問題解決過程，對深入分析學生思維過程、思維方式提供了更加直觀的證據，能滿足PISA關于測試學生運用所學知識、技能解決真實情境問題的需求。再次，參與PISA測試的學生數量眾多，語言文化差異顯著，傳統紙筆測驗的閱卷、評分工作成本較高、管理復雜，基于技術的測驗可以較容易地解決該問題。

2. 基于技術的高階能力測評

PISA基于技術測評高階能力是其發展變化的另一重要特征。這種發展趨勢與當前世界范圍內關于核心素養研究的熱潮緊密關聯。核心素養是指未來社會公民所需要的關鍵技能和必備品格，是一類包含知識、技能、態度、價值的高階能力。在這場教育目標反思思潮中，教育測量與評價領域不可回避的問題是——如何測量這類結構復雜、高度抽象的高階能力。PISA2015采用“人機交互”的方式測量了學生的合作問題解決能力，為核心素養這類高階技能的測量提供了新的測評策略。PISA的具體做法包括：定義能力框架、設計包含嵌入式試題的測驗任務、獲取學生完成任務過程中在項目上的反應、依據測量模型推斷學生的能力。以下結合PISA2015釋放的樣題解釋其測評的原理。

（1）合作問題解決能力測評框架。PISA2015合作問題解決能力包含“合作”和“問題解決”兩個維度，其中合作維度是合作問題解決能力的主線，提出了三種核心的合作問題解決能力，包括“建立與維持共享的理解”“采取合適的行動解決問題”和“建立與維持團隊組織”。問題解決維度主要包括：探究與理解、表征與形成、計劃與執行、監控與反饋。三種核心的合作問題解決能力和四個個體問題解決過程交叉形成了包含12類技能的矩陣（見表1），矩陣中的每個單元格代表一類技能[13]。

（2）測驗過程。PISA2015“人機交互”測驗模式是指人與代理（測試任務中設計的虛擬搭檔）進行對話合作解決問題的過程，圖1為PISA2015釋放樣題的某個界面。界面左邊是學生與代理之間的對話區域，在該區域上邊是合作的成員之間的對話歷史記錄，下邊是根據當前對話進程提供的一些選項，被測學生可以選擇其中某個選項作出對合作搭檔的反應，合作成員會根據學生的選項自動作出反應；界面的右邊是任務區域，在該區域學生為完成任務可以進行各項操作，任務的進程與會話的進程同步。

（3）測量原理。“人機交互”測驗模式主要采用會話代理技術，合作成員之間的對話流程與路徑事先需要精心設計，對話流程是一個有固定分支路徑和多個節點的交互過程，如圖2所示。每個對話節點相當于一個試題（Item），對應于操作性定義框架中的某種技能。對參與測試學生的合作問題解決能力的測量體現于學生在每個節點上所作出的不同反應，也就是選擇的不同選項，類似于傳統測驗對某個試題的作答，作為推論合作問題解決能力的直接證據。在獲取學生對測驗項目的反應模式之后，采用IRT（Item Response Theory，項目反應理論）模型估計學生合作問題解決能力的得分。