高考試題難度預估研究

任子朝，佟 威，趙 軒，陳 昂

?

高考試題難度預估研究

任子朝，佟 威，趙 軒，陳 昂

（教育部考試中心，北京 100084）

高考由于其高利害性和敏感性，不能通過考前試測預先掌握試題難度，只能在命題過程中依靠命題人員主觀預估確定試題的難度．在命題人員對每個試題進行難度預估后，可以采用各種統計方法對預估值進行數據處理，例如求預估難度與實測難度的相關系數，計算每人預估的平均差異，計算預估值的標準差等．根據數據處理的結果，確定對預估值與實測值的擬合程度和每個命題人員的預估精度，從而在以后的年份科學地利用預估數據預測高考試題的實測難度．

高考；預估難度；實測難度；統計分析

1 問題提出

《普通高等學校招生全國統一考試大綱》對高考提出了明確的測量指標要求：“高考應具有較高的信度、效度，必要的區分度和適當的難度．”[1]高考由于其高利害性和敏感性，不能通過考前試測的方法來掌握試題難度．但由于難度是考生和中學教師最關注的統計指標之一，對錄取和中學教學都有重要的影響，所以在考前預估試題難度，以便及時在命題中進行相應調整就顯得尤為重要．這里以2017年高考數學試題難度預估數據和實考的統計數據為基礎，討論高考試題難度預估的策略，對預估數據進行統計分析的方法及對預估值的合理利用．

2 研究設計和數據分析

2.1 命題教師預估

以高考數學學科為例，試題定稿后，每個命題教師對高考Ⅰ、Ⅱ、Ⅲ卷文、理科共6套試卷進行難度預估，逐個估計每個試題的難度．命題教師估計的基礎包括往年類似試題的難度統計數據，當年試題與往年試題的區別，當年考生的平均水平等．隨后進行兩項統計，一是把所有教師在每個試題的預估值進行平均，得出該題全體教師預估的平均難度；二是把每個教師在一份試卷預估的每個試題難度進行加權平均，得出該教師對該份試卷的預估難度．因保密原因，隱去每個教師的姓名，只以編號代替．每個教師都對6套試卷的138個試題進行了難度預估．

2.2 對命題教師預估數據的分析處理

高考結束以后，對考生數據進行系統抽樣和計算分析，得出當年6套試卷的實考數據．將教師預估數據和實考數據進行對比分析．在表1中，將教師預估難度的平均值與實測統計值進行比較，用平均值減去實測統計值，差值為負說明預估值低于實測值，差值為正說明預估值高于實測值．

（1）計算每個教師預估值高于或低于實測值的試題數量．

圖1中零點水平線以上柱體表示6套試卷中該名教師預估得分率大于實測得分率的試題數量；零點水平線以下柱體表示該名教師預估得分率小于實測得分率的試題數量．例如第一位教師的估計有78個試題過高，60個試題過低．從圖1中可以看出，預估值大于實測值的試題數量平均為77.5個，小于實測值的試題數量平均為60.5個，平均多出17個試題，說明專家對學生能力的判斷總體偏高．

（2）將每個教師估計的誤差值相加，計算每個教師的平均差異．

圖2中柱體表示命題專家平均每道試題預估得分率大于實測得分率的值．由于是計算誤差值的代數和，所以存在誤差值正負相抵的問題．從中依然可以看出，所有教師的估計平均值都高于實測值．

（3）將每個教師估計的誤差值的絕對值相加，計算每個教師的平均差異．

圖3中柱體表示命題專家每道試題預估得分率與實測得分率之差的絕對值的平均數．由于是計算誤差值的絕對值的和，所以不存在誤差值正負相抵的問題．絕對值差可以用來量化描述命題專家預估得分率與實測得分率的相近程度，即預估的穩定程度．從中可以看出圖2差異值最大的教師，在圖3中的差異值較小，說明該教師的預估雖然總體偏高，但其誤差值的絕對值的和較小，即預估的穩定性較好．

（4）求每個教師估計值與實測值的相關系數，判斷每個教師預估值與實測值的擬合程度．求全體教師估計平均值與實測值的相關系數，并與每個教師進行比較．判斷教師預估平均值的擬合程度．

從表2可以看出，每個教師的預估值與實測值的相關系數都大于0.7，說明其相關性很高，即教師對試題難易的感知與實測結果吻合度較高．教師的平均值與實測值的相關最高，說明全體教師的平均預估結果好于每個教師的預估結果．

（5）考察教師每個試題預估值的標準差．表1中的標準差是全體教師預估值的標準差，從表1中可以看出，教師預估值與實測值差異大的試題其預估值的標準差不一定大，但標準差大的試題其預估值與實測值差異都比較大．例如，全國III卷理科數學的第1題、第10題的預估與實際差異非常大，但是預估值的標準差相對較小；全國III卷理科數學第5題、第12題的預估標準差較大，其預估值與實測值的差異也較大，這可能是因為這些試題比較新穎，教師對其與考生水平的吻合程度估計不準，教師間的認識分歧較大，所以造成了預估值的標準差較大．因此在進行難度預估時，應特別關注預估值標準差較大的試題．

（7）計算教師在每一道題上的平均預估難度與實測難度的差異（如圖4、圖5所示）．

圖5把6套試卷的所有題目進行編號并按照實測值從低到高排列；將每道試題對應的教師平均預估難度畫成曲線圖．可以看出，在試題實測值較低的部分，教師平均預估值整體偏高，說明教師對較難試題的預估偏容易；在試題實測值較高的部分，教師平均預估值整體偏低，說明教師對較易試題的預估偏難；在實測值較為適中的中間段，教師平均預估值較為準確．

（8）計算教師預估的試卷難度值與實測試卷難度值的差距（如表3、表4所示）．

表1 2017年專家預估難度（全國Ⅲ卷理科）

圖1 2017年專家預估與實測難度差異的分值對比

圖2 2017年專家預估與實測難度平均差異對比

圖3 2017年專家預估與實測難度平均絕對差對比

表2 每個命題教師預估值與實測值的相關性分析

圖4 教師預估平均值與實測難度散點圖

圖5 教師平均預估難度與實測難度關系

表3 教師整卷難度預估

表4 教師整卷難度預估均值與整卷實測難度對比

教師對全國Ⅰ、Ⅲ卷理科預估值與實測值偏差較小，對全國Ⅰ卷理科和全國Ⅲ卷理科的估計誤差分別為0.01和0.02，達到了相當高的估計精度．在其余幾套試卷上，例如全國Ⅱ卷理科，預估誤差較大，而且教師間的估計值的波動性也較高，因此在今后預估時，對標準差比較大的情況應該特別關注，及時進行討論、調整．整體而言，教師的整卷預估難度高于實測值，說明教師對學生總體水平的預估偏高．

3 結論和思考

（1）全體教師的預估值和實測值都是顯著相關，但總體偏高．應在今后每年的命題中更多積累數據，關注各年教師估計偏高的平均值，在以后的命題中，對教師預估值進行相應的調整和修正．

（2）教師預估難度時，教師間預測的穩定性存在差異．有三分之一左右老師的預測穩定程度較高，即他們的預估更準，應更多關注他們的預估值．

（3）預估值標準差大的題目，預估數據與實測數據差別相對較大．應該特別關注標準差大的題目，對預估值標準差較大的題目，應組織全組討論預估情況，集體確定更加準確的預估值．

（4）兩組之間預估值沒有顯著差異，可能是經過交叉互審，已經對題目非常熟悉．應該在第一輪交叉互審時預估難度，及時調整．

（5）研究試題難度預估值和試卷難度預估值之間的關系，注重研究試卷整體難度預估的方法和規律．

（6）在當年的命題工作中將預估與實測難度的差異對比結果反饋給命題專家，根據統計結果進行難度預估的調整，并結合具體試題對難度評判的標準進行討論和校正，發揮集體智慧，共同討論難度預估的合理性與準確性問題．

[1] 教育部考試中心．普通高等學校招生全國統一考試大綱（理科）[M]．北京：高等教育出版社，2017：1．

Research on Estimate of College Entrance Examination Difficulty Level

REN Zi-zhao, TONG Wei, ZHAO Xuan, CHEN Ang

(National Education Examinations Authority, Beijing 100084, China)

Because of its interest concern and sensitivity, it was accessible the difficulty level could be determined by the subjective estimate of item writing staff, rather than mastering the difficulty value in advance prior the examination. After the item writing staff estimated the difficulty level of the tests, it was accessible the estimate value could be digitally processed by statistical approach, for instance, calculating the coefficient between estimated and actual difficulty value, calculating the average difference of per capita estimates and calculating the standard deviation of estimated value. According to the digitally processed results, the fitting degree of estimate value and actual value and the estimate precision for each item writing staff, could be determined. Therefore, the actual difficulty level of College Entrance Examination could be estimated scientifically by the data in the following years.

College Entrance Examination; estimate difficulty level; actual difficulty level; statistical analysis

2018–06–28

國家教育考試科研規劃2017年度課題——新高考不分文理科后的數學命題研究（GJK2017005）

任子朝（1961—），男，北京人，教育部考試中心研究員，主要從事數學教育、教育測量研究．

G632.0

A

1004–9894（2018）05–0013–04

任子朝，佟威，趙軒，等．高考試題難度預估研究[J]．數學教育學報，2018，27（5）：13-16．

[責任編校：周學智、陳雋]