研發測評工具是評價過程的關鍵一環

●張麗

?

研發測評工具是評價過程的關鍵一環

●張麗

對教育質量進行綜合評價涉及到兩個關鍵問題，一是評價什么，二是怎么評價。怎么評價直接指向了測評工具的研發。測評工具的科學性、可信性、有效性決定了我們收集的數據是否能反映測評對象的真實情況，因此，測評工具的研發是整個教育質量評價過程中至關重要的一環。征，確定學生在這些特質上達到的水平。鑒于三者的區別，對于中小學教育質量綜合評價指標框架中涉及的五大內容20個關鍵指標，不同的指標適用不同的測評工具（具體見左表）。區別于傳統的學科考試類測驗，為了實現對教育質量的診斷功能，學業成就測驗和量表、問卷工具一般是配套研發、施測、分析。

常用測評工具

目前國際上教育質量評價項目中測評工具主要有學業成就測驗和量表、問卷工具。在我國，《教育部關于推進中小學教育質量綜合評價改革的意見》（教基二［2013］2號文件）明確指出，“主要通過測試和問卷調查等方法進行評價，輔之以必要的現場觀察、個別訪談、資料查閱等。”其中學業成就測驗一般以課程內容為基礎，測查學生在接受一段時間的課程學習后達到的效果。學業成就測驗的實施是為了了解學生學習后所達到的水平，對學生學習的長短板有明確的認識。

量表是對事物特質用不同的規則分配數字等級，從而實現定量化測量的測評工具，后期進行數據分析。問卷也是對人的行為和態度、背景信息進行測量，沒有量表那么嚴格的規范，不一定是選擇某個等級分數，選項的設計和作答要求更加多樣化，后期通過選項百分比統計、選項比率的差異分析等進行數據分析。

評價內容品德發展水平學業發展水平身心發展水平關鍵指標行為習慣公民素養人格品質理想信念知識技能學科思想方法實踐能力創新意識身體形態機能健康生活方式審美修養情緒行為調控人際溝通好奇心求知欲愛好特長潛能發展學習時間課業質量課業難度學習壓力適用的測評工具量表量表量表量表學業成就測驗問卷量表量表問卷問卷問卷量表量表量表問卷量表問卷問卷問卷量表興趣特長養成學業負擔狀況

學業成就測驗和量表、問卷工具在教育質量

綜合評價的運用中，主要是測查學生學習、心理、行為等特

流程整體設計初步編制模擬測試目標為測評工具研發提供思路和方向編寫可供選擇的題目模擬真實測評，發現工具存在的問題以便修改通過修訂確保工具的信度、效度、區分度、難度等達到目標要求修訂與質量分析正式形成實現測評工具的標準化具體內容確定工具研發的目的、測評的對象、測評的內容、測評方法和工具類型、構建工具研發團隊收集相關資料、確定題目類型、編寫題目找到能代表正式測評對象的樣本，按正式測評的要求實施初步編制的測評工具根據模擬測試中收集的作答信息和對測試數據的分析，對初步編制的工具題目進行篩選和修改（模擬測試和修訂的過程可能需要反復），并得到測評工具的質量分析結果對修訂好的題目進行排列組合，形成題本，并編寫測評工具實施操作手冊

測評工具的研發流程

教育質量綜合評價測評工具的研發有一套標準化的流程，每個環節都會影響到其他環節，標準化的命題流程是為了保證工具的質量，只有各個環節都操作規范，才能從整體上確保測評工具的可信性和有效性。測評工具的一般研發流程如下表。

一是學業成就測驗。其一，確定測驗框架。依據《國家義務教育質量監測方案》（國教督辦［2015］4號）中對監測內容的要求“測查學生掌握知識、技能的程度和分析解決問題的能力”，在這種新要求下，對學生學業成就的測評將涉及到學生的知識、技能、能力三個方面。對于不同學科的測評，知識維度需要依據學科課程標準，根據標準中的課程目標與內容確定考查的知識點；技能維度將運用布魯姆教育目標分類學中的認知向度，界定不同認知水平，如識記、理解、應用等；能力維度則將運用多元智能理論，界定語言、數理邏輯、空間、人際等多種能力。因此，對學生學業成就的測評不再是二維的，而應該是三維的，傳統上用于測驗框架制定的雙向細目表將被多向細目表所取代。在多向細目表中，將要考查的知識、技能、能力編制成列聯表，并規定好各項目的比例。

其次，編寫測驗題目、組成題本。根據多向細目表，確定好不同內容和認識水平對應的題目類型，利用收集到的資料（如閱讀的文本材料、圖片等）編寫各類型的具體題目。目前，為了較好地覆蓋課程內容，并且避免學生作答過多題目，要將編寫的題目組合成多個題本，學生只需要完成一個題本，通過矩陣抽樣技術實現對學生作答不同題目但分數可比的目標。

其三，審讀與模擬測試。題本編制好后，邀請學科專家、教研員、教師對多向細目表、題本進行審讀，考查題本測查的內容與測評目標的一致性，題目的具體內容是否適合測評對象、表達上可否優化等，根據審讀的意見對題目進行初步修改。之后選取有代表性的學生進行測評，記錄學生作答的時間、疑問等信息，并可在學生作答完畢后進一步訪談，了解學生作答的思路和適合性。

其四，修訂與標準化。對模擬測試收集到的數據進行分析，明確各題目的難度、區分度，結合觀察和訪談收集到的信息，對題目進行篩選和修改，最終形成正式題本。標準化實施還需規定測驗實施的過程（如指導語、對學生疑問的解答等）、評分標準。

二是量表、問卷。其一，確定量表、問卷編制的目的和框架。量表、問卷編制的目的應與教育質量綜合評價的目的契合，目的的確定是內容選取的基礎，要明確量表、問卷的用途和實施的對象。根據具體目的，建立量表、問卷編制的對應框架。框架中的內容往往需要從抽象概念到具體可操作的測量點的層層具體化。將抽象的心理行為特質可操作化定義非常重要，其準確性和科學性直接決定著是否可檢測到目標特質。面對一個抽象的心理行為特質，一般需要查閱相關文獻，建構其理論結構，再結合教育教學實際情況，選取有代表性的測評點。

其二，編制題目。在確定的量表、問卷框架基礎上，對應各個測評點，選取具體的行為、態度、事實，編制成各個題目。對于不同內容的測評，在題目類型、表達方式、作答方式上都會不同。如對學生公民素養的測評，最后量表、問卷的題目可能會指向學生面對某一情境具體的態度、行為等，而不是直接讓學生選擇自己的素養水平。針對學生綜合素質的評價，在編制題目時，要特別避免編寫帶有傾向性或者能顯而易見做出選擇的題目。此外，量表、問卷編制中還涉及到指導語的編寫，指導語既要讓測評對象明白在測評什么，不會對其造成不良影響，不要有所顧忌，同時也要提醒對方按照實際情況作答，保證答案的真實性。

其三，模擬測試。通過模擬測試，可以了解到學生作答的時間、學生在作答過程中的疑問、題目表達是否產生歧義、指導語是否明晰等等。同時模擬測試收集到數據仍然可以統計分析出題目選項分布是否合理、信效度是否達標。

其四，修訂并形成正式量表、問卷。針對模擬測試后發現的問題，對量表、問卷題目進行修訂，可能會刪除個別題目、修改題干表述、修改題目選項，特別要注意題目選項之間存在重疊的情況，最終形成正式的量表、問卷。同樣，量表、問卷也需要編寫相應的操作手冊。

三點思考

測評工具的編制需要多學科專家協作。在編制教育質量綜合評價測評工具時，特別是學生學業成就測驗的編制，既需要對學科教學非常了解的學科專家，又需要掌握測評理論和技術的測量專家。學科專家需要負責測驗多向細目表的建構、題目的命制和修改、相關材料的收集，而測量專家需要設計題本的安排、處理數據、分析測驗的質量、規范測驗的標準化實施流程。

測評工具的編制需要測量新技術的介入。目前，在國際大型教育測評項目中，科學先進的測量技術已經得到了很好的運用。如矩陣抽樣技術，將編制的題目分派到不同題本中，學生只需要完成其中一個題本，仍然可以完整反應學生學業水平。項目反應理論也越來越多的運用到對工具質量的分析中。這些測量技術有效提高了測評結果的科學性、準確性和時效性。

測評工具的編制需要和數據分析相結合。在研發測評工具時，還需要思考將進行哪些數據分析，希望得到什么樣的結果等問題。有些題目只是需要呈現各個選項的百分比，有些題目需要針對不同人群進行方差分析，有些題目需要合成一個指數以便做進一步的分析等等。不同的數據分析需求會影響到題目設計的類型。

張麗

成都市教育科學研究院督導監測評估研究所教研員

（責任編輯曾憲波）