現(xiàn)代教育測量理論在教育測量評價(jià)中的應(yīng)用

廖樹山　陳錦琪　劉迪

【摘 要】本文針對廣西教育測量評價(jià)中存在的教學(xué)評價(jià)失真、命題參數(shù)失據(jù)、評卷質(zhì)量失準(zhǔn)等問題，提出現(xiàn)代教育測量理論的應(yīng)用思路，主要從建立大規(guī)模教育考試命題參照體系、為大規(guī)模教育考試的考后分析提供數(shù)據(jù)、參與大規(guī)模教育考試的評卷質(zhì)量監(jiān)控等三方面論述現(xiàn)代教育測量理論在大規(guī)模教育考試中的具體應(yīng)用。

【關(guān)鍵詞】現(xiàn)代教育測量理論 大規(guī)模教育考試 數(shù)據(jù) 教育評價(jià)

【中圖分類號】G? 【文獻(xiàn)標(biāo)識碼】A

【文章編號】0450-9889（2020）38-0053-04

隨著高考、省級和市級的學(xué)業(yè)水平考試等大規(guī)模教育考試普遍采用無紙化閱卷，考后往往形成海量的應(yīng)答數(shù)據(jù)，通過合理的方式進(jìn)行計(jì)算、分析這些數(shù)據(jù)，對教學(xué)評價(jià)和命題質(zhì)量評價(jià)都有重要的意義。因此，采取適合的教育測量手段進(jìn)行數(shù)據(jù)分析，使結(jié)果科學(xué)、有效、令人信服，是教育從業(yè)者十分關(guān)注的問題。長期以來，廣西基礎(chǔ)教育領(lǐng)域采用的教育測量技術(shù)都限于經(jīng)典測量理論，測量的結(jié)果存在教學(xué)評價(jià)失真、命題參數(shù)失據(jù)、評卷質(zhì)量失準(zhǔn)等問題。筆者及所在團(tuán)隊(duì)引入現(xiàn)代教育測量理論，通過滾動(dòng)提升發(fā)展的模式，研發(fā)出數(shù)據(jù)分析系統(tǒng)，在廣西普通高中學(xué)業(yè)水平考試和市級初中學(xué)業(yè)水平考試等大規(guī)模教育考試中展開應(yīng)用，為大規(guī)模教育考試的命題建立參照體系，為考后分析提供動(dòng)態(tài)數(shù)據(jù)，為評卷質(zhì)量監(jiān)控提供新的技術(shù)手段。

一、廣西教育測量評價(jià)中存在的主要問題

教育測量在教育評價(jià)中的地位是基礎(chǔ)性的。長期以來，作為欠發(fā)達(dá)地區(qū)的廣西及其所轄設(shè)區(qū)市，在教育評價(jià)中采用的教育測量技術(shù)都限于經(jīng)典測量理論（CTT），并且基本上以真分?jǐn)?shù)的識別為主，即簡單地以原始分、平均分、最高分、優(yōu)秀率、低分率等為測量依據(jù)。這種測量的最大優(yōu)點(diǎn)是簡單明了、淺顯易懂，但也存在較大的問題。

（一）教學(xué)評價(jià)失真

簡單的真分?jǐn)?shù)比較，不能真實(shí)完整反映教學(xué)效果，以此進(jìn)行的教學(xué)評價(jià)，本身就存在理論缺陷。例如，不同試卷的總分、最高分、區(qū)分度不同，就無法用真分?jǐn)?shù)來比較不同學(xué)科之間的教學(xué)水平，同樣也無法比較不同年級相同科目之間的教學(xué)水平。但實(shí)踐中這種評價(jià)常常被教育管理者引用，極易引起教師群體的反感，甚至成為不穩(wěn)定的因素。

（二）命題參數(shù)失據(jù)

由于 CTT 不能從根本上解決試題參數(shù)依賴特定被試樣本的問題，區(qū)分度數(shù)據(jù)只能簡單地反映一個(gè)區(qū)分結(jié)果，不能準(zhǔn)確地反映具體區(qū)分的考生層次群體。如果僅僅依靠 CTT 參數(shù)指導(dǎo)大規(guī)模教育考試的命題，實(shí)測的結(jié)果往往與預(yù)設(shè)存在很大差異，進(jìn)而嚴(yán)重影響命題質(zhì)量。

（三）評卷質(zhì)量失準(zhǔn)

當(dāng)前廣西各類大規(guī)模教育考試在評分細(xì)則設(shè)定環(huán)節(jié)，其質(zhì)量控制唯一可以依靠的是試評專家的經(jīng)驗(yàn)。由于試評的樣本極為有限，評卷專家也不可能保證對每一個(gè)細(xì)節(jié)都有持續(xù)正確的預(yù)判，因而評分細(xì)則帶有隱患。高利害大規(guī)模教育考試的結(jié)果，對考生、家長和社會(huì)的影響不言而喻。沒有經(jīng)過數(shù)據(jù)檢驗(yàn)的評分細(xì)則，沒有數(shù)據(jù)圖像支撐的評卷過程監(jiān)測，評卷質(zhì)量是讓基礎(chǔ)教育界嚴(yán)重顧慮的。

隨著無紙化閱卷的全面普及，大規(guī)模教育考試數(shù)據(jù)采集難度已經(jīng)大大降低，這為解決上述問題提供了大數(shù)據(jù)的基礎(chǔ)。依托大型數(shù)據(jù)庫的分析技術(shù)，用現(xiàn)代教育測量理論對各類數(shù)據(jù)進(jìn)行定量分析，無疑是解決上述問題最直接、最有效的手段。

二、現(xiàn)代教育測量理論的應(yīng)用思路

現(xiàn)代教育測量理論，以概化理論（GT）和項(xiàng)目反應(yīng)理論（IRT）為代表，在發(fā)達(dá)國家的應(yīng)用始于 20 世紀(jì) 50 年代，70、80 年代發(fā)展至高峰，并形成了大量的成果。托福、雅思和 PISA 考試就是依托這些理論來設(shè)計(jì)的，具有較高的權(quán)威性。我國大約于 20 世紀(jì) 90 年代引入現(xiàn)代教育測量理論，教育部基礎(chǔ)教育質(zhì)量監(jiān)測中心、上海教育考試院、華東師范大學(xué)、江西師范大學(xué)等都對該理論進(jìn)行了研究，而作為欠發(fā)達(dá)地區(qū)的廣西在這一領(lǐng)域的研究水平較為落后。

2013 年初開始，筆者對現(xiàn)代教育測量理論展開系統(tǒng)的研究。通過比較，筆者發(fā)現(xiàn)該理論在廣西的應(yīng)用之所以落后，受制于三個(gè)因素：一是理論水平低。廣西是欠發(fā)達(dá)地區(qū)，對外交流有限，新理論傳播緩慢、接受程度低;二是研究水平低。欠發(fā)達(dá)地區(qū)整體教研水平有限，對于晦澀難懂、涉及數(shù)學(xué)公式繁雜的現(xiàn)代教育測量理論，絕大多數(shù)教育從業(yè)者無法理解，甚至聽不懂其對測量結(jié)果的解釋;三是技術(shù)水平低。現(xiàn)代教育測量理論的數(shù)據(jù)演算軟件工具復(fù)雜，操作困難，遠(yuǎn)遠(yuǎn)超過欠發(fā)達(dá)地區(qū)一般教師和教育管理者的信息技術(shù)水平，由于無法演算出結(jié)果，理論也就無法落地。

為此，筆者對現(xiàn)代教育測量理論在廣西大規(guī)模教育考試中的應(yīng)用設(shè)計(jì)了如下思路。

第一，以技術(shù)突破為前導(dǎo)。通過研發(fā)現(xiàn)代教育測量理論的軟件系統(tǒng)工具，將數(shù)據(jù)演算的操作難度降低，低至具有數(shù)據(jù)庫基礎(chǔ)的教師都能夠操作的水平，使這一理論具備大規(guī)模使用與推廣的可能性。

第二，采用滾動(dòng)提升發(fā)展模式。即在試驗(yàn)中成熟，成熟之后逐步推廣和重復(fù)試驗(yàn)。這一模式主要包括三個(gè)方面的內(nèi)涵：一是應(yīng)用的考試規(guī)模從小至大，涉及的學(xué)科由少至多，在實(shí)踐中不斷驗(yàn)證理論的科學(xué)性與可操作性。例如，先從市級期末質(zhì)量抽測考試的單一學(xué)科開展應(yīng)用，逐步拓展到多學(xué)科。取得成功后，再應(yīng)用于市級學(xué)業(yè)水平考試。在技術(shù)相對成熟后，拓展至自治區(qū)普通高中學(xué)業(yè)水平考試。二是應(yīng)用的考試屬性從低利害逐步擴(kuò)展到高利害，不斷在真實(shí)數(shù)據(jù)的情境中提升應(yīng)用水平以及分析與解釋數(shù)據(jù)的水平。先在影響較小的范圍內(nèi)測試，取得經(jīng)驗(yàn)并獲得一線教師認(rèn)可后，逐步向與教學(xué)評估相關(guān)的考試展開，再逐步延伸到自治區(qū)級的相關(guān)考試中。數(shù)據(jù)分析的結(jié)果，最初應(yīng)用于單一試題的分析，逐步拓展至全卷的定量評估;最初用于考后的數(shù)據(jù)檢驗(yàn)，逐步拓展為全面的分析、評估與預(yù)測。三是應(yīng)用的領(lǐng)域從試卷分析發(fā)展至命題指導(dǎo)，再延伸至評卷監(jiān)控，逐步提升應(yīng)用難度、應(yīng)用的時(shí)效性以及大規(guī)模教育考試的參與程度。

第三，在實(shí)踐中不斷豐富與發(fā)展理論。創(chuàng)新大數(shù)據(jù)背景下現(xiàn)代教育測量的理論建構(gòu)，特別關(guān)注“數(shù)據(jù)挖掘”在數(shù)據(jù)分析與解釋方面的新思路與新方案。

三、現(xiàn)代教育測量理論在大規(guī)模教育考試中的具體應(yīng)用

通過自主研發(fā)，筆者搭建起符合廣西大規(guī)模教育考試需求的現(xiàn)代教育測量理論數(shù)據(jù)分析平臺。依托這一平臺，生成了概化理論與項(xiàng)目反應(yīng)理論的數(shù)據(jù)及數(shù)據(jù)圖像。在實(shí)踐中，筆者不對理論本身的復(fù)雜數(shù)學(xué)公式進(jìn)行過于煩瑣的解釋，不對實(shí)現(xiàn)這一理論的軟件算法進(jìn)行過于細(xì)節(jié)的描述，重點(diǎn)在于用通俗易懂的方式解讀和分析生成的數(shù)據(jù)，特別是數(shù)據(jù)圖像，探討所生成的分析結(jié)果在不同領(lǐng)域的效能，進(jìn)而在考試命題、質(zhì)量分析、評卷監(jiān)控三個(gè)領(lǐng)域進(jìn)行系統(tǒng)而深入的研究與應(yīng)用。

（一）為大規(guī)模教育考試命題建立參照體系

既往大規(guī)模教育考試的試題參數(shù)，是新一輪次考試命題的重要參考。但經(jīng)典測量理論下，真分?jǐn)?shù)提供的參數(shù)，如難度、區(qū)分度、標(biāo)準(zhǔn)差等，事實(shí)上是有較大缺陷的。首先，試題參數(shù)對考生樣本具有群體依賴性，如試題難度值取決于考生群體水平，如果水平高，試題難度系數(shù)值就高，反之則難度系數(shù)值低，更換一組考生，就會(huì)得到完全不同的數(shù)據(jù)，因此并不是真實(shí)的“試題難度”;其次，得到的試題參數(shù)是靜態(tài)數(shù)據(jù)，如區(qū)分度，只能獲得針對全樣本的單一數(shù)據(jù)，無法分辨具體的能力層次群體區(qū)分程度，也無法分辨區(qū)分的強(qiáng)度。使用現(xiàn)代教育測量理論的數(shù)據(jù)分析系統(tǒng)后，這些問題都得到有效的解決。

圖 1 為某次考試某道試題的三參數(shù)項(xiàng)目特征曲線圖。圖中橫坐標(biāo)表示被試考生的能力參數(shù)，縱坐標(biāo)表示被試考生正答該題的概率。一般來說，考生能力越強(qiáng)，正答的概率就越高。圖 1 顯示，正答概率 0.5 時(shí)，對應(yīng)的能力為 -0.02，該數(shù)據(jù)為本題的難度，數(shù)值越大說明試題難度越大。圖中曲線拐點(diǎn)處的斜率，為本題區(qū)分度，數(shù)值越大說明題目對被試的區(qū)分程度越高。當(dāng)能力參數(shù)無限小時(shí)，被試正答的概率就是猜測度，它的數(shù)值越大，說明猜對此題的概率越高。圖 2 為同一試題的項(xiàng)目信息曲線，它非常明顯地揭示了試題區(qū)分考生能力的具體層次以及區(qū)分的強(qiáng)度（信息量）。

通過筆者研發(fā)的數(shù)據(jù)分析系統(tǒng)軟件，可以繪制試卷中的每一道試題的項(xiàng)目反應(yīng)曲線與項(xiàng)目信息曲線，結(jié)合命題雙向細(xì)目表的預(yù)設(shè)，即可建立試題完整的參數(shù)表，進(jìn)而形成全卷的參數(shù)體系，為后續(xù)的命題提供參照。以某市某學(xué)科初中學(xué)業(yè)水平考試為例，在使用該參數(shù)體系前后，考生實(shí)測分?jǐn)?shù)分布圖（圖 3）出現(xiàn)了積極變化。前一年的分?jǐn)?shù)分布曲線出現(xiàn)了“雙峰”的異常情況，顯示試題的難度及區(qū)分度的預(yù)設(shè)不盡合理。第二年，借助現(xiàn)代教育測量理論參照體系改進(jìn)命題，分?jǐn)?shù)分布曲線得到明顯的改善，呈現(xiàn)為負(fù)偏態(tài)狀，這是標(biāo)準(zhǔn)參照考試較為理想的曲線模型。

（二）為大規(guī)模教育考試的考后分析提供數(shù)據(jù)

如前所述，由于經(jīng)典測量理論對考生樣本的依賴性，不同年份之間的考試數(shù)據(jù)缺乏可比性。并且學(xué)業(yè)水平考試采取等級制，考生能力、分?jǐn)?shù)與等級之間的關(guān)系復(fù)雜，采用原有的技術(shù)手段根本無法進(jìn)行測量，這就給試卷質(zhì)量分析與教育質(zhì)量分析增加了難度。引入現(xiàn)代教育測量理論后，這些問題可以得到有效的解決。

圖 4 為某市初中學(xué)業(yè)水平考試中某科目的考生分?jǐn)?shù)、能力、等級分布散點(diǎn)圖。橫坐標(biāo)為考生分?jǐn)?shù)，縱坐標(biāo)為三參數(shù)模型計(jì)算出的考生能力值，圖中用不同灰度的圓，表示該考生根據(jù)真分?jǐn)?shù)換算得到的等級。考生的“能力值”，是通過現(xiàn)代教育測量理論，根據(jù)考生在每一道試題上的反應(yīng)，通過一系列復(fù)雜的算法擬合推演計(jì)算出來的，是最接近考生能力真實(shí)狀況的數(shù)據(jù)。

圖 4 揭示考生成績與能力的分布整體上呈線性回歸，說明試卷命制是較為成功的，具體表現(xiàn)為考生能力強(qiáng)則成績高，反之亦然。同時(shí)，等級與成績及能力之間的分布基本合理，為考試決策的信度提供了積極支持。作為一份滿分僅有 60 分的試卷，圖像顯示此卷較好地達(dá)成命題目標(biāo)。作為檢測一個(gè)設(shè)區(qū)市該學(xué)科教學(xué)質(zhì)量的考試，數(shù)據(jù)圖像也顯示教學(xué)的方向正確，今后應(yīng)當(dāng)堅(jiān)持。與此同時(shí)，圖像也揭示了教學(xué)中的不足：E 等考生的成績與能力分布較為散亂，表現(xiàn)為學(xué)習(xí)困難學(xué)生的困難點(diǎn)繁雜，啟示教學(xué)中需要多樣的手段，才能實(shí)現(xiàn)該部分學(xué)生成績的提高。

圖 5 為同次考試各個(gè)試題的項(xiàng)目反應(yīng)曲線。圖像顯示全卷的三個(gè)特點(diǎn)：一是該卷的試題對不同能力層次的學(xué)生都實(shí)現(xiàn)了區(qū)分，符合命題的常規(guī)要求;二是主要區(qū)分段集中于能力值為 1～-2 區(qū)間，顯示試題整體難度不高，與命題的預(yù)設(shè)相符。三是猜測度大于 0.2 的試題占有一定比例，送分題稍多，需要今后改進(jìn)。

圖 4、圖 5 僅是筆者質(zhì)量分析的一個(gè)片段，通過現(xiàn)代教育測量理論演算與繪制的數(shù)據(jù)圖像，大幅度地增加了試卷分析的數(shù)據(jù)內(nèi)涵，與真分?jǐn)?shù)分析形成了良好的相互檢測關(guān)系。近幾年，筆者對市級各項(xiàng)考試及廣西普通高中學(xué)業(yè)水平考試等大規(guī)模教育考試的數(shù)據(jù)進(jìn)行處理，得出相應(yīng)的參數(shù)與數(shù)據(jù)圖像，提供給對應(yīng)的質(zhì)量分析組，這些數(shù)據(jù)在質(zhì)量分析中得以應(yīng)用，并取得良好的效果。

（三）參與大規(guī)模教育考試的評卷質(zhì)量監(jiān)控

由于缺乏好的技術(shù)手段，當(dāng)前廣西多數(shù)大規(guī)模教育考試評卷的評分細(xì)則制訂環(huán)節(jié)無法實(shí)現(xiàn)質(zhì)量監(jiān)控。評分細(xì)則中隱含的問題，在大面積評卷前往往無法發(fā)現(xiàn)，對評卷質(zhì)量構(gòu)成嚴(yán)重威脅。筆者在市級初中學(xué)業(yè)水平考試和廣西普通高中學(xué)業(yè)水平考試的質(zhì)量監(jiān)測工作中，逐步摸索引進(jìn)現(xiàn)代教育測量理論進(jìn)行相關(guān)的監(jiān)控，取得積極效果。

例如，某次考試某個(gè)學(xué)科評分細(xì)則文本確定后，評試組開展小范圍試評。筆者及時(shí)收集了試評數(shù)據(jù)，用數(shù)據(jù)分析系統(tǒng)進(jìn)行演算，生成該題的多級項(xiàng)目特征曲線圖（見圖 6）。

圖 6 中橫坐標(biāo)是表示被試考生能力的參數(shù)，縱坐標(biāo)是被試得到具體分值的概率。一般來說，考生能力越強(qiáng)，得高分的概率就越高。本題的基本形態(tài)與此符合，即隨著學(xué)生能力的由低至高，最可能得到的分?jǐn)?shù)開始逐步上升。其中 0 分與 1 分、1 分與 2 分的分界是清晰的，但 3 分分界點(diǎn)不明確，由 2 分直接跨越到 4 分。筆者推斷評分細(xì)則設(shè)計(jì)有問題，緊急通知試評組。試評組通過論證發(fā)現(xiàn)，該題的評分細(xì)則中，0 分、1 分、2 分與滿分的含義明確，但 3 分的含義不明確，從而直接造成了圖示的結(jié)果。經(jīng)過試評組對評分細(xì)則的改進(jìn)，相關(guān)問題得到有效解決，為公平評卷打下良好基礎(chǔ)。

在正式評卷階段，筆者同樣依托大數(shù)據(jù)分析系統(tǒng)對評卷實(shí)施質(zhì)量監(jiān)控。例如某次考試，正式評卷進(jìn)展到第一天下午時(shí)，某個(gè)學(xué)科的某道試題的評分分布圖呈圖 7 左圖的態(tài)勢。該圖中，橫坐標(biāo)為該小題的分?jǐn)?shù)，縱坐標(biāo)為得此分?jǐn)?shù)考生占已評試卷的比率，不同的曲線，代表不同設(shè)區(qū)市評卷點(diǎn)當(dāng)前評分的狀況。圖 7 中的左圖顯示，0 分與 1 分各評卷點(diǎn)大體相似，2 分與 3 分卻出現(xiàn)重大差異，14 個(gè)評卷點(diǎn)的趨勢完全不同。這說明，一份試卷應(yīng)當(dāng)打 2 分還是 3 分，各評卷點(diǎn)都有自己的主張，評卷標(biāo)準(zhǔn)不統(tǒng)一。根據(jù)這一數(shù)據(jù)分析結(jié)果，筆者暫停了該題的評卷進(jìn)程，通過緊急會(huì)商擬定調(diào)整補(bǔ)救方案，再通知各設(shè)區(qū)市評卷組執(zhí)行。經(jīng)過調(diào)整，最終評卷分?jǐn)?shù)分布圖如圖 7 中的右圖，最大限度地對評卷差錯(cuò)進(jìn)行了彌補(bǔ)。

隨著研究的逐步深入，筆者嘗試將相關(guān)成果拓展到更廣泛的應(yīng)用領(lǐng)域。由于現(xiàn)代教育測量理論可以通過學(xué)生應(yīng)答反應(yīng)測量學(xué)生的能力值，從而在分?jǐn)?shù)之外增加了一個(gè)對學(xué)生學(xué)習(xí)情況進(jìn)行分析評估的數(shù)據(jù)。筆者通過將這一數(shù)據(jù)與執(zhí)教教師共享，共同分析學(xué)校學(xué)生群體的能力主要區(qū)間值，以及在項(xiàng)目曲線中該能力區(qū)段的共性特點(diǎn)，以此形成學(xué)生能力的判斷。由于項(xiàng)目反應(yīng)理論所計(jì)算出的能力值本身具有獨(dú)立性，擺脫了群體依賴，可以對不同年齡段的學(xué)生進(jìn)行橫向比較，從而更有效地幫助學(xué)校準(zhǔn)確掌握學(xué)生學(xué)習(xí)現(xiàn)狀，為教學(xué)提供重要的參考數(shù)據(jù)。筆者也把相應(yīng)的測量技術(shù)應(yīng)用于學(xué)校的命題質(zhì)量評估，并通過評估數(shù)據(jù)對命題教師進(jìn)行指導(dǎo)。顯然，現(xiàn)代教育測量理論更加精準(zhǔn)、更加有說服力，被越來越多教師所理解并接受，教師命題水平也因此得到提升。

【參考文獻(xiàn)】

[1]雷新勇.大規(guī)模教育考試的命題與評價(jià)[M].上海：華東師范大學(xué)出版社，2006.

【基金項(xiàng)目】廣西教育科學(xué)“十三五”規(guī)劃2019年度廣西招生考試院研究專項(xiàng)課題“普通高中學(xué)業(yè)水平考試合格性考試‘分散評卷、集中監(jiān)控質(zhì)量保證體系研究”（2019ZJY046）。

【作者簡介】廖樹山（1971— ），男，漢族，籍貫廣東梅州，學(xué)士，高級教師，現(xiàn)就職于柳州市教育科學(xué)研究所，研究方向?yàn)橹袑W(xué)地理教學(xué)、教育測量與評價(jià);陳錦琪（1991— ），男，漢族，籍貫廣西梧州，碩士，現(xiàn)就職于柳州高級中學(xué)，研究方向?yàn)榻逃郎y量與評價(jià);劉 迪（1988— ），女，漢族，籍貫湖北恩施，碩士，現(xiàn)就職于廣西招生考試院，研究方向?yàn)槠胀ǜ咧袑W(xué)業(yè)水平考試政策。

（責(zé)編 王悅之）