基于課程標準的數學學科能力評價研究
——以某學區七年級測試工具開發及實施為例

郭 衎，曹 鵬，楊 凡，劉金花

（北京師范大學 數學科學學院，北京 100875）

基于課程標準的數學學科能力評價研究
——以某學區七年級測試工具開發及實施為例

郭 衎，曹 鵬，楊 凡，劉金花

（北京師范大學 數學科學學院，北京 100875）

基于學科內容和學科能力的二維評價工具不僅是國際研究的主流趨勢，也是中國教育改革與發展的實際需求．以7年級測試工具的開發和實施為例，介紹基于課程標準的數學學科能力評價的二維框架（內容維度及能力維度）、評價過程（命題組卷、訪談測試、小規模預測及正式測試）、技術指標（難度、區分度、信度、效度等）及結果反饋形式（學區、學校、學生等）．總結了學科能力測試在內容參照、知識選取、能力導向、命題過程和結果呈現等方面有異于一般的學業考試和能力測試．

數學學科能力；教育評價；內容維度；能力維度

1 前 言

教育的目的是促進學生的發展，而能力發展是學生發展的主要標志與核心內容．具體到學科教學，自然就需要發展學生的學科能力．林崇德指出：學科能力是能力與特定學科的有機結合，是能力在特定學科中的具體體現[1]．美國數學教師協會早在1989年提出了數學學科核心能力的思想，并在2000年發布的《學校數學教育的原則和標準》中提出了5大數學能力[2]，2010年《美國統一州核心課程標準》也提出：理解、推理、質疑、建模等8項能力目標，并鼓勵以此開發統一的全方位的學生表現評價體系[3～4]；澳大利亞的數學課標在具體內容標準描述之前都會對所應達到的能力水平做明確說明，包括：理解、熟練性、問題解決、推理[5～6]；德國學科能力測試也基于其國家教育標準[7～8]和能力表現水平的二維框架[9]．此外，國際知名大型學生測評項目PISA（Program for International Student Assessment）和TIMSS（Trends in International Mathematics and Science Study）也都不約而同的使用了學科內容和學科能力（認知、素養）的測試框架[10]．環顧國際先進實踐經驗不難看出，以學科內容和學科能力構建二維模型已成為學業水平評價的主要方向．

2013年6月，教育部發文推進中小學教育質量綜合評價改革，指出學業發展水平應主要考查學生對各學科課程標準所要求內容的掌握情況，并從知識技能、思想方法、實踐能力、創新意識等關鍵性指標進行評價．同年11月，十八屆三中全會《決定》提到深化教育領域綜合改革，推行初高中學業水平考試和綜合素質評價，探索招考相對分離．由此可見，設計科學、實施客觀、結構多維的學生評價不僅僅是國際主流趨勢，更是中國深化教育改革和推進教育發展的實際需求．

然而現實中針對具體學科的學生評價理論和技術發展緩慢[11]，實踐層面則更是缺乏理論指導和技術支持，測試的命題和評價工作大多依靠主導教師的經驗，試題質量和評價結果也基本沒有經過科學檢驗及分析．通過以某學區7年級數學學科能力測試工具的開發及實施為例，探索更為科學合理的評價測試方法，希望為數學教育評價研究與實踐工作提供的參考與借鑒．

2 測試結構

2.1 測試形式

常見的評價測試形式有：在線測試（或計算機輔助測試）、紙筆作答和訪談觀察．訪談觀察法適用于一對一或小規模評價，通過實地觀察和互動交流能夠全方面地了解教學效果并給出評價分析，多用于課堂教學效果評價和學生案例研究[12]；計算機輔助測試將題庫、組卷、答卷、評分、記錄等環節信息化處理，使得測試過程更加方便和科學．但考慮到測試學區的客觀情況和測試規模，這里還是采用最常見的紙筆測試形式．設計測試時間為90分鐘，學生在答題紙上完成答卷．

在日常教學的考試中，教師經常采用選擇型測試（如選擇題、判斷題），因為這種題型耗時較短、易于批改且評價結果方便量化記錄和表達．但通常教師自編的選擇型題目往往集中于對知識點記憶與理解的考查，缺乏推理過程，而且學生作答可能存在猜測成分或“選項技巧”，對學生思維過程和真實學習效果的考查效果不佳．

測試采用的題型為填空題和解答題，不使用選擇題．試題數量為18道，其中填空題10道，解答題8道，部分填空題和解答題有多個小空（問），實際測試題量為28小題．

2.2 內容維度

測試內容的選擇與確定是測試工具的開發需要考慮的最基本問題．測試以《義務教育數學課程標準（2011年版）》（以下簡稱“課程標準”）為依據，兼顧測試學區中考大綱和教材．“課程標準”將教學內容劃分為數與代數、圖形與幾何、統計與概率、綜合與實踐，從測試內容來說，應從數與代數、圖形與幾何、統計與概率3個方面進行考查．總體設計選擇了函數、方程與不等式、圖形的性質、統計與概率這4個模塊重點考查，由于該學區7年級采用人教版新教材，并未學習一次函數相關內容，所以只考查方程與不等式、圖形的性質、統計與概率（詳見表1）．

表1 數學能力測試內容維度具體內容

2.3 能力維度

能力維度主要包括學習理解、實踐應用、創造遷移3個一級指標，每個一級指標下又分為3個二級指標（詳見表2）．

學習理解能力．指學生在數學學習過程中：能夠及時、順利、準確提取的數學知識；能夠用多種表征方式概括數學知識，并在多種表征方式之間進行自由的轉換；能夠建立數學知識之間的橫向和縱向的聯系，發展、完善知識網絡；能夠順利完成獲得數學知識的數學推理．

實踐應用能力．指學生在數學學習過程中：能夠在數學情境中把實際信息與相關知識進行對應，根據數學的規律和原理完成數學運算類任務和作圖類任務；能夠結合實際問題情境把實際信息與相關知識進行對應，利用數學知識解決現實的問題，并建立數學模型解決實際問題．

創新遷移能力．指學生在數學學習過程中：能夠對新穎的數學方法有創造性的體會和認識；能夠展開想象，積極猜想，進行合情推理；對數學學習過程中的不同的解決問題方法進行批判性思考，并給出個人的評價；能夠從已有知識和技能出發，通過合情推理主動建立相關知識之間的聯系，以及對未知的問題進行深入地探索．

表2 數學能力測試能力維度具體內容

“課程標準”用4個行為動詞對結果目標進行描述，分別為：了解、理解、掌握、運用，在該學區的中考大綱也使用了類似的行為動詞對考試內容進行能力劃分，但大部分知識點的要求低于課標中的表述．另外，4個行為動詞難以清晰地界定開，這里使用的“三分法”相比課標的“四分法”更加易于操作．

3 測試與評分

3.1 命題與組卷

內容維度和能力維度的交叉形成了二維的命題框架（雙向細目表），兩者的交點標定了題目的內容特征及能力要求，從而為編制或篩選題目提供依據．

首先是進行內容維度和能力維度的講解培訓，然后向數學教育碩士、一線教師、教研員廣泛征集題目，并通過命題小組多次篩選、討論、協商組成一套1.5～2倍于正式測試題量的預測試卷，通過訪談測試和預測試刪減、調整題目，最終形成正式測試卷．

3.2 訪談測試

訪談測試又被稱為“出聲思維”，是讓做題者口述做題時的想法、思路及解題過程，通常每道題需要訪問6名考生（2性別×好中差3類），以充分了解每類學生對于試題的理解是否符合出題者的意圖，試題表述是否存在歧義等．

3.3 小規模預測

同樣選取比較有代表性的考生通過類似正式測試的紙筆作答形式作為預測．由于預測試卷比正式測試的題量大，同時也為使每道題都獲得完整的反饋信息，所以小規模預測試的時間較長，保證每個學生都能充分作答所有題．操作時，可以將試卷做均衡處理（分AB卷，調整題目順序，防止排在后面的題目學生沒有認真作答），在條件允許的情況下也可以適當增加預測試考生人數．

通過小規模預測，可估計題目的難度、區分度等，篩選題目組成最終測試卷，并進一步優化試題表述及評價標準．

3.4 正式測試

正式測試采用分層隨機抽樣的方法，根據該學區提供的學校分組名單，從3個組中隨機抽取3～4所學校，共11所學校，在學校內部再采用隨機抽樣的方法分年級從每個班級中抽取5～6名學生參加正式測試．

3.5 評 分

在填空題評分中，若考生作答與答案相同，則該空記1分，否則為0分．在解答題評分中，采用多級評分法分步給分．

最終采用經典測量理論（CTT）和項目反應理論（IRT）兩種方法計算參測者得分．CTT得分主要用來檢測試題的難度、區分度、信效度等指標；而IRT得分則用來呈現參測學生在各方面的能力表現．

4 技術指標

技術指標主要包含兩大類：一類是針對題目的指標，包括難度、區分度，另一類是測試總體的指標，包括信度和效度．

4.1 難 度

試題難度常常被定義為通過率或得分率，該定義下難度值越大，實際難度越低．

就填空題而言，只區分對錯，難度值用答對人數的百分比表示：

其中，N為全體考生人數，R為答對該題的人數．

就解答題而言，評分并非只有對、錯兩種結果，而是從0分至滿分的多種可能，應以下式計算難度值：

難度值參考范圍：P<0.3難；0.30.85容易．經計算，試題難度分布合理，且每類題的前兩題難度值均在0.7以上，便于考生做題時快速進入狀態．

4.2 區 分 度

常用的區分度計算方法包括鑒別指數、點二列相關系數、二列相關系數、積差相關系數等，測試使用鑒別指數（D）來計算區分度：

鑒別指數值參考范圍[13]：D>0.4很好；0.30

4.3 信 度

信度是衡量測試質量高低的重要指標．簡單的說，信度就是測試結果穩定性的程度，即（不同的施測者使用）某測量工具反復測量考生的某一特質，結果間的一致性．

在測試中，對信度的考查包括評分者信度和測試的整體信度．

4.3.1 評分者信度

評分者信度（scorerreliability）是指多個評分者給同批答卷進行評分的一致性程度．測試的解答題部分需要學生書寫解答過程，評分者根據解答情況分步給分，因此，對這類題目評分的準確把握是對試卷信度的保障．

閱卷組由20名數學教育方向的研究生及一線教師組成．首先，對閱卷組成員進行培訓，保證每個閱卷者都能準確理解評分標準．其次，進行集體出聲預評，抽取10份試卷，閱卷組集體評分，并對評分標準理解不一致的地方進行討論，保證每個閱卷者對分步評分的把控一致．最后，再抽取10份試卷，閱卷者兩兩分組評分后計算評分一致性系數：

保證評分一致性系數在90%以上，再由閱卷者獨立閱卷．期間，閱卷組長還會抽檢10%的試卷．

4.3.2 整體信度

測試使用內部一致性來衡量試卷的整體信度．

內部一致性也稱為同質性信度（homogeneity reliability），是指測試內部所有題目間的一致性程度．在教育測量中一般使用克龍巴赫α系數來刻畫內部一致性，若Cronbach α系數≥0.70，可視為信度良好[14]．

經計算，7年級測試卷的內部一致性系數為0.866，表明測試卷具有良好的信度．

4.4 效 度

效度是指測試實際能測出所需要的能力特質的程度，效度是相對于測量目的而言的，因此在衡量測試效度前要明確測量目的．2006年出版的美國權威教科書《教育測量》指出，效度檢驗是對自己提出的觀點收集證據進行證明的過程[15]．

4.4.1 內容效度

評估內容效度的常用方法是專家評議法，請專家判斷測試內容是否恰當．

測試通過以下方法來保證內容效度：首先，請數學教學論專家及該區的教研員把關測試框架及指標體系；其次，在測試結構和指標體系的基礎上編制雙向細目表，依據細目表命題；最后，在命題、試測、評標商定的過程中邀請一線教師、教研員、數學教育專家、教育測量專家參與，并根據修改意見不斷完善試題和評價標準．

4.4.2 結構效度

因子分析法是探索和驗證測試結構的有效方法[16]．在測試前，已經對試卷有了詳細的設計方案（內容維度、能力維度）；測試實施后，分別采用探索性因子分析（EFA）和驗證性因子分析[17]（CFA）兩種方法檢驗結果效度．

從內容維度和能力維度對試題進行因子分析，結果顯示試卷的結構效度良好：每個題目的因子載荷均高于截斷值[18]，擬合指數（CFI）和Tucker-Lewis指數（TLI）均在0.9以上，近似誤差均方根（RMSEA）估計值在良好（0.05～0.08）范圍內，標準化殘差均方根（SRMR）小于0.08，模型擬合良好[19]．

5 結果呈現

5.1 分數轉化

填空題使用的是單參數RASCH模型，解答題使用分步計分模型，并通過CONQUEST軟件對數據進行估計，再使用多維RASCH模型對內容維度（方程與不等式、圖形的性質、統計與概率）和能力維度（學習理解、實踐應用、創造遷移）進行估計．

軟件默認的輸出分數為標準分（又稱為Z分數），是將原始分與測試群體評教分之差除以標準差得到的商數，該值不受原始測量單位的影響，具有可比性和可加性．Z分數的群體均分為0，正負表示原始分在平均分之上或之下，絕對值表示原始分與平均分之間的距離．相較原始分，Z分數能夠真實反映一個分數距離平均數的相對標準距離．

由于Z分數會出現負值和小數，讓人在閱讀時常常造成困難和誤解，美國測量學家McCall建議將Z分數擴大10倍再加50轉化為T分數[20]，以消除負號和小數．但由于T分數在0～100之間，均值為50，標準差為10，有一半人在50分以下，容易被當成百分制的分數，并產生有80%以上學生不及格的誤解．

測試選用的是美國大學入學考試委員會使用的標準分——CEEB分數：

該分數的均分為500，標準差為100，形式上不容易造成誤解．此外，國際學生評估項目（Program for International Student Assessment，簡稱PISA）及國際數學和科學趨勢研究（The Trends in International Mathematics and Science Study，簡稱TIMSS）的報告中均采用了此標準分．

由于試題分內容維度和能力維度，所以反饋結果豐富，下文分別以學區、學校及學生個人舉例，呈現部分結果．

5.2 學區結果反饋

從圖1可以得到很多信息，最上方的一條為整個學區考生的學科能力估計值的分布情況，可以知道本次測試的最高分、最低分及整體的平均水平．另外，還可以看出，學校2的均分較高且學生能力相對集中；雖然學校3的平均分也不錯，但是學生兩極分化嚴重：前75%的學生得分優于均分較高的學校4和學校6，后25%的學生成績較差，甚至還有全區的最低分．

圖1 某區各學校學科能力估計值的分布情況

5.3 學校結果反饋

通過圖2可以發現，雖然學校5的平均分比學區的平均分低，但是從內容維度看：方程與不等式、概率與統計的差距并不大；從能力維度看：學習理解和實踐應用的差距也較小．學校5和學區總體差距較大的是圖形與幾何及創造遷移能力，反觀學校5內部最高分與最低分兩個學生情況，最大的差異也同樣出現在圖形與幾何及創造遷移能力，所以，學校5在今后的數學教學中尤其應注意不同學生這兩點的發展均衡問題．

圖2 學校5各維度得分與學區總體水平比較雷達圖

5.4 學生個人結果反饋

學生個人結果的反饋能夠讓學生了解更多的細節信息，如表3所示，該考生已經進入學區前10%的行列，而且在某些維度上已經達到前5%的水平．根據這份反饋表格，該考生可以知道在今后的學習中，應該更加注重創造遷移能力的發展同時也應多花些精力在統計與概率的學習上．

表3 學生個人各維度得分情況

6 總 結

作為數學學科能力測試，主要在以下方面有別于一般的學業考試和能力測試：

第一，基于課程標準．一般的能力測試常會落腳于智力測驗或能力傾向測試，其中涉及數學能力的模塊包括數感、抽象推理、空間關系理解等，這類測試適用范圍廣，但沒有明確的背景知識要求，無法滿足學科能力測試的要求．數學課程標準為能力維度的劃分提供了良好的參照，同時也為能力與學科的有機結合構建了理想的橋梁，使得能力、內容的二維評價框架有據可依．

第二，選取核心知識．傳統的學業考試是在某一學習階段完成后的終結性測試，目的是檢測學生對所學知識點的掌握情況．整個中學階段的知識復雜繁多，即便具體到某個年級，知識點也較多，不可能單憑一份試卷準確測量．學科能力測試并不試圖覆蓋全部知識點，而是根據整體設計，選取核心知識模塊（如函數、方程與不等式、圖形的性質、統計與概率），再根據特定年級的教學內容在對應知識模塊下選取核心知識點進行考查．這樣不僅提高了一份試題對核心知識點檢測的準確性，同時也為跨年級比較提供了途徑．

第三，重視能力指向．常規的學業考試注重知識點的檢測，而忽視學科能力的考查．學科能力測試內容維度與能力維度并重，包括學習理解、實踐應用、創造遷移3個一級指標及9個二級指標．如學習理解，偏重學生對教材知識再現、理解的能力，而實踐應用技能則偏重考查學生利用所學知識合情推理、簡單問題解決的能力．所以，學科能力測試不但可以檢索學生對核心知識的掌握情況，還能夠了解學生在某知識上的能力發展情況，方便教師因材施教．

第四，命題過程嚴格．通常的學業考試往往由出題教師根據自身經驗命題，對試題難度的把控也是依據對測試對象的主觀了解．而學科能力測試有規范設計的命題框架，從命題、選題、試題研磨、組卷等每一環節都有質量監控措施，還會有預測甚至多輪預測以優化試題和評價標準．

第五，評價結果豐富．傳統學業考試的結果通常只有總分及排名，考生無法詳細了解問題所在．學科能力測試的結果包括總的能力估計值、不同內容維度上的得分還有不能能力維度上的得分，考試可以明確了解自己在核心知識上的欠缺以及具體能力的不足．此外，學科能力測試結果為標準分，消除了整體試卷難度變化對得分的影響，為得追蹤得分研究學生能力發展提供了科學的依據．

致謝：對北京市育英學校郭轉娜，中國人民大學附屬中學王立東，北京師范大學第二附屬中學王西辭、郭方奇，北京教育學院陳鵬舉、劉曉婷，天津師范大學秦華，北京一零一中學賈思雨等教師在測試工具研制工作中的貢獻，在此一并表示感謝！

[1] 林崇德．論學科能力的建構[J]．北京師范大學學報（社會科學版），1997，（1）：5-12．

[2] 全美數學教師理事會．美國學校數學教育的原則和標準[M]．北京：人民教育出版社，2004．

[3] 曹一鳴，王立東，Cobb P．美國統一州核心課程標準高中數學部分述評[J]．數學教育學報，2010，19（5）：8-11．

[4] 吳立寶，曹一鳴．初中數學課程內容分布的國際比較研究[J]．教育學報，2013，（2）：29-36．

[5] 康玥媛，曹一鳴，Clarke D．中、澳、芬數學課程標準中內容分布的比較研究[J]．教育學報，2012，（1）：62-66．

[6] 董連春，Stephens M．澳大利亞全國統一高中數學課程標準評述[J]．數學教育學報，2013，22（4）：16-20．

[7] 曹一鳴，代欽，王光明．十三國數學課程標準評介（高中卷）[M]．北京：北京師范大學出版社，2013．

[8] 曹一鳴．十三國數學課程標準評介（小學初中卷）[M]．北京：北京師范大學出版社，2012．

[9] 徐斌艷．旨在診斷與改進教學的數學學科能力測評分析——來自德國的實踐[J]．全球教育展望，2011，（12）：78-83．

[10] 劉曉玫，陳娟．PISA與TIMSS中有關數學評價的比較分析[J]．外國教育研究，2007，（2）：77-80．

[11] 汪賢澤．基于課程標準的學業成就評價程序研究[D]．華東師范大學，2008．

[12] 王立東，王西辭，曹一鳴．數學課堂教學中的學生評價研究——基于兩位教師課堂錄像的編碼分析[J]．數學教育學報，2011，20（5）：37-40．

[13] Ebel R L. Essentials of Educational Measurement [M]. Prentice-Hall, Inc, 1972.

[14] Nummally J. Psychometric Theory [M]. New York: McGraw Hill, 1978.

[15] Brennan R L. Educational Measurement. ACE/Praeger Series on Higher Education [M]. Greenwood Pub Group, 2006.

[16] 戴海崎，張峰，陳雪楓．心理與教育測量[M]．廣州：暨南大學出版社，2011．

[17] Brown T A. Confirmatory Factor Analysis for Applied Research [M]. Guilford Press, 2006.

[18] Ford J, Maccallum R, Tait M. The Application of Exploratory Factor Analysis in Applied Psychology: A Critical Review and Analysis [J]. Personal Psychology, 1986, (39): 291-314.

[19] Browne M W, Cudeck R. Alternative Ways of Assessing Model Fit [J]. Sociological Methods & Research, 1992, 21(2): 230-258.

[20] Mccall W A. Measurement: A Revision of How to Measure Education [M]. Macmillan, 1939.

Researcher Assessment of Mathematics Competence Based on Curriculum Standards——Take the Development and Application of Testing Tools for Grade 7 Students as an Example

GUO Kan, CAO Peng, YANG Fan, LIU Jin-hua
(School of Mathematical Sciences, Beijing Normal University, Beijing 100875, China)

The 2-dimensionalassessment modeled signed by content and dimension is not only the main trend of international studies, but an important requirement of educational reform and development in Chinese well. By taking the development and application of testing tools for grade 7 students as an example, this present article introduces the testing framework, evaluation process, technical indexes and feedback forms of the assessment of mathematics competence based on curriculum standards. This article also compares the differences between the assessment of mathematics competence and ordinary school work exam or ability test.

mathematics competence; educational assessment; content dimension; ability dimension

G40-03

：A

：1004–9894（2015）02–0017–05

[責任編校：周學智]

2014–12–26

國家自然科學基金——用于多級評分認知診斷的統計模型研究（11171029）

郭衎（1988—），男，江蘇揚州人，博士研究生，主要從事數學教育及教育測量與評價研究．