圖形分析法在高考試題評價中的應用研究

任子朝，趙 軒，關丹丹，徐奉先

圖形分析法在高考試題評價中的應用研究

任子朝，趙 軒，關丹丹，徐奉先

（教育部考試中心，北京 100084）

對試題、試卷的難度、區分功能一般都是運用數值進行量化評價，應用圖形分析法對評價數據進行直觀展示將有助于公眾和命題人員理解評價數據的含義，同時更進一步深化對數據的理解．分數分布直方圖能夠反映考生的分布情況．各批次考生成績分布圖能展示試題對各層次考生的區分情況．試題難度分布圖能夠深入揭示試題對總分在哪個分數段的考生區分良好．不同組別考生成績分布圖可以了解各組別考生的得分情況和考生分數的走勢．不同年份試題難度對比圖可以比較年度間試題的水平和變化情況．

高考；試題評價；圖形分析；難度；區分度

1 問題提出

2020年初，教育部考試中心發布中國高考評價體系[1]，高考的核心功能是立德樹人，服務選才，引導教學．立足于服務國家，服務高校選才這一基本點，高考要為國家和高校選拔出符合要求的新生，高考要進一步探索和完善評價人才的方法，保證適宜的考試區分度[2]．《國務院辦公廳關于新時代推進普通高中育人方式改革的指導意見》指出，科學設置試題難度，命題要符合相應學業質量標準，體現不同考試功能．建立命題評估制度，提高命題質量[3]．試題的難度和區分度、試卷的難度和區分功能是衡量試題、試卷質量的重要指標，這些指標都是通過數值進行衡量，依據統計數據進行量化評價[4–6]．但如何向公眾展示試題的評價結論，如何給命題人員解釋數據分析結果，幫助公眾和命題人員更直觀地理解試題的難度、區分度等指標及其意義，是值得深入探討的問題．進一步分析，經常會有這樣的情況，兩個試題具有相同的難度或區分度，但對不同層次的考生區分功能完全不同．

據此，研究聚焦在兩個問題，一是如何直觀地展示考試數據分析結果及其意義；二是對統計數據相同的試題，如何展示其對不同層次考生的區分功能．此外，還分析和研究了利用圖形分析評價高考試題的方法，通過圖形呈現評價結果，將會更加直觀有效地展示高考試題對于不同能力水平考生的難度、區分度情況，將更有助于公眾和命題專家獲得直觀形象，更深入理解統計數據的意義，也能更好地將統計數據應用于試題評價和改進考試命題．

研究的基礎是試題和試卷的難度．對二分法計分的試題，即只有答對和答錯兩種可能結果的試題，如數學試卷中的選擇題和填空題，試題難度以通過率計算

式中為試題難度，為答對該題的考生數，為考生總數．

對非二分法計分試題，即在零分到滿分之間有多種可能的結果，如數學試卷中的解答題，試題難度以下面公式計算

2 分數分布直方圖

分數分布直方圖是將考生的分數按一定的分數段，分段統計各分數段的人數和百分比，然后以總分為橫坐標，各分數段的百分比為縱坐標繪制成矩形圖形．分數分布直方圖全面反映了考生的總體分布情況、分布的峰值和偏度、離散程度、各分數段考生的比例．高考統計中是以15分為一個分數段，圖1和圖2是2019年全國I卷理科數學和文科數學的分數分布直方圖．

圖1 2019年全國I卷理科數學分數分布直方圖

圖2 2019年全國I卷文科數學分數分布直方圖

2019年全國I卷理科數學試卷的難度為0.556，文科數學試卷的難度為0.462，即為平均數．中數都為75．通過分數分布直方圖可以看出各分數段考生的比例，理科考生呈負偏態分布，峰值較高，眾數分數段為[90, 105)，高水平考生的比例較高．文科考生呈正態分布，考生的分布比理科考生更為分散，峰值較低，眾數分數段為[75, 90)，低水平考生的比例較高．兩卷比較，理科數學試卷得分率比文科數學試卷更高，比文科試卷容易．分析多年的統計數據，當整卷難度在0.4~0.5時，考生成績呈正態分布．當整卷難度值大于0.5時，試卷就呈負偏態分布，即顯示試卷整體偏易．通過直方圖展示考生群體的分布情況，比單純的平均分、標準差等數值更為詳實、真切、生動．

3 不同批次考生成績分布圖

因為中國高校分批次錄取，為發揮功能選拔，區分不同批次水平的學生，高考試題難度應該有相應的層次，體現出與錄取要求相對應的難度差異，從而實現有效區分不同層次學生的目的．因為中國高考是分省錄取，沒有全國統一的錄取分數線，所以，研究選取2019年使用全國Ⅰ卷X省的理科數學考試數據，對每個試題的難度按照一批、二批、高職高專3個類別進行分層統計，以題號為橫坐標，分別計算各批次考生在該題目的平均得分率（也即對該批次考生的試題難度），以此作為縱坐標，繪制成圖（見圖3）．

圖3 2019年X省不同批次理科數學試題難度分布

界定兩個批次之間考生在每個題目得分率小于0.1視為差異不明顯，大于等于0.1視為有明顯差異．圖3中SXZJ是指各批次考生分別在理科數學整卷的得分率．從圖3可以看出，除第1和9題，其它各題在3個批次考生得分率都有明顯的差異，試題可以分為4類．

第一類，全體考生在該題都沒有明顯差異．此類試題只有第1和9題，分值比例為6.7%．兩題的難度分別為0.968和0.942．這是因為第1題是起始題，其功能不是為了區分和選拔，而是為了穩定考生情緒，使考生形成良好的作答心態，迅速進入答題狀態，所以每年試卷的第1題都很容易．而第9題作為在此位置的試題屬于偏易的試題，該題考查等差數列的通項公式和前項和的計算，統計結果顯示，考生對該部分知識和方法掌握很好，而試題偏易．

第二類是對全體考生都有良好區分度的試題．這類試題包括第4、6、15、19、23題，此類試題分值比例為21.3%．（因為第22、23題為選做題，考生從兩題中選擇一題作答，所以兩題的分值折半計算，每題分值計為5分）

第三類是對基礎水平的考生具有良好區分度的試題．這類試題包括第2、3、5、7、8、11、13、14、17、18、22題．此類試題分值比例為46%．

第四類是對高水平考生具有良好區分度的試題．這類試題包括第10、12、16、20、21題．此類試題分值比例為26%．

根據以上分析，理科數學試卷中單純區分基礎水平考生的試題接近半數，再加上對全體考生都能良好區分的試題，比例接近70%，所以考生打好基礎非常重要．圖3通過圖形直觀形象地呈現每道試題針對3個不同批次考生的得分率差異，并且得分率呈現遞增的趨勢，對各層次考生的區分良好，更便于公眾和命題人員理解和研究．

4 試題難度分布圖

通過圖3可以看出試題對不同批次考生的區分情況，但該題具體是對數學總分在哪個分數段的考生進行區分，從圖中并不能看出，這就要借助于試題的難度分布圖．試題的難度分布圖是以考生的數學學科總分為橫坐標，以該總分的考生在該題的得分率為縱坐標繪制的曲線圖．在上述4類試題中，每類選取一題進行分析．并增加了第14題的圖形，以便與第13題進行對比研究．

從圖4可以看出，第1題對總分在45分以下的考生有一定的區分度，總分在45分以上的考生都能得滿分，所以該題主要區分低水平的考生，對高水平考生的區分不夠明顯，主要是起到穩定考生情緒的作用．

圖4 第1題難度分布

從圖5可以看出，第6題的難度分布曲線比較平緩，對各分數段的考生區分良好．

圖5 第6題難度分布

從圖6可以看出，第13題對總分在85分以下的考生區分良好，總分在85以上的考生在該題都能得滿分，所以該題主要區分基礎水平的考生．

圖6 第13題難度分布

試卷的第13題和14題的難度基本相同，分別是0.774和0.765，但兩題卻在區分考生的層次上存在差異．從圖6可以看出，第13題對總分在20—85分的考試區分良好，而從圖7可以看出，第14題的區分效果比較平均，基本對各分數段的考生區分功能相同，這一點也可以從圖3得到印證．這說明難度數值相同的試題對不同層次的考生區分功能存在差異，而試題難度分布圖可以很好地展示這些差異．

圖7 第14題難度分布

從圖8可以看出，在第20題，總分在100分以下的考生得分率都在20%以下，對總分在100分以上的高水平考生區分良好．

圖8 第20題難度分布

5 不同組別考生成績分布圖

為更加深入地分析一個試題對不同層次考生的區分情況和試題質量，對選擇題需要了解各干擾選項的迷惑功能，對解答題需要了解各個得分點設置是否合理、對考生的區分是否顯著．為此設計了不同組別考生成績分布圖．將考生從低到高平均分為5個組，建立坐標系，橫坐標為考生群體從低到高的5組，對選擇題，縱坐標是每組考生在每個選項的得分率；對解答題，縱坐標為得到某一分數的考生累積比例，這樣可以繪制有多條曲線的折線圖．利用折線圖，對于選擇題，可以分析每個組的考生在每個選項的得分情況以及考生得分的走勢．對解答題，可以分析考生在該題每一個分數段的得分情況．因為對于得分率比較高的選擇題，該折線圖就是接近頂端的曲線，對于填空題就是兩條相對應的曲線，圖形都比較簡單，所以研究只選擇上文中的第6題和20題做出圖形，同時增加了對第18題的圖形分析．

5.1 選擇題

根據條件概率估計，對于0/1計分題目，如對選擇題進行選項分析，可直觀看出不同能力水平的考生對各個選項選擇的情況及變化趨勢．對于單選題，該題有幾個選項就有幾條折線；對于多選題而言，則有幾種選項組合就有幾條折線．理想的模式是，正確選項的選擇率隨著考生水平的提高呈單調遞增趨勢，即曲線呈上升趨勢；干擾選項的選擇率則呈單調遞減趨勢，即曲線呈下降趨勢[7]．

圖9中標*號的是正確選項，P代表未答考生．從圖9可以看出，隨著考生水平的提高，選擇正確選項的人數比例逐漸提高，第1組考生答對的概率在0.2左右，而第5組考生答對的概率達到0.9以上．同時，隨著考生水平的提高，選擇錯誤選項的考生概率逐步下降，在最高水平的第5組，選擇錯誤選項的概率在0.1以下．在各干擾選項中，B選項的曲線下降較快，區分功能最為顯著．

圖9 第6題選項分布

5.2 解答題

對于多級計分的解答題，可觀察隨著考生能力水平的遞增，考生在每一得分點的得分情況和變化趨勢．該題有幾個得分點就有幾條折線．在分數點過多時，可以進行簡化，選擇幾個關鍵的得分點繪制分數折線．理想的狀態是，所有可能的得分點的累積百分比折線都是隨著考生水平的提高呈單調遞增趨勢，不同得分點的累積百分比折線之間疏密程度比較均衡，特別是沒有交叉的情況．

第19題滿分12分，為使圖形更加清晰，以2分為一個步長單位，圖10中標示了6條曲線．最上面的2分線為隨著考生能力水平的遞增得分等于和超過2分的累積比例變化趨勢，最下面的12分線為隨著考生能力水平的遞增得分等于12分的比例變化趨勢．從圖10各得分線的斜率可以看出，2分線對于中低段的考生區分較好，4分線和6分線對于所有的考生都有較好的區分度，8分線對中高水平的考生有較好的區分度，10分和12分線對高分段特別是拔尖的考生具有很好的區分度．不同得分線之間間距比較大，說明該題不同得分點的分值設計是合理的，能夠很好地將不同思維層次的考生區分開來．

圖10 第19題成績分布

第20題滿分12分，從圖11可以看出，2分線對所有考生都有良好的區分，4分線、6分線、8分線僅能區分高分段考生，而10分線和12分線的區分效果不很明顯，因此需要對考生的層次進行進一步地加細分類，考察這樣的難題對高水平考生的區分效果．

圖11 第20題成績分布

從以上分析可以看出，不同組別考生成績分布圖與試題難度分布圖是有關聯的，特別是對選擇題，關聯性更強．而對解答題，不同組別考生成績分布圖則更為精細，反映的信息更多、更為詳細、也更加全面．

6 不同年份試題難度對比圖

這里對壓軸題等難題的區分效果進行了重點研究，在前面分批次的基礎上，將高水平考生的層次進一步加細．中國正在進行重點高校建設，在高考錄取時也是分批次的，清華北大是提前批次，其次是985高校、一批、二批、高職高專．以此為基礎，以X省為例，將考生劃分為群體1到群體5這5個類別進行分析．同時進行了年度間的比較，選取2017—2019年的高考數據，對高考理科數學壓軸題分批次、跨年度的試題難度變化及層次差別進行更深入的分析研究．

對于清華北大、985高校這樣的高水平大學，高考試題要想達到有效選拔高水平學生的目的，必須設置個別難度較大的題目，俗稱“壓軸題”．壓軸題的試題難度設置是否符合命題人員的預期，對高水平學生的難度梯度和區分情況如何，是重點關注的問題．

在老高考中，因為數學試卷中設置了兩個選做題，考生從中選擇一題作答，而且為便于考生選擇，這兩個試題放置在試卷的最后．雖然兩題的位置在最后，但其難度并不是最難的，而是屬于中檔水平．因此第20、21題才是名副其實的“壓軸題”．下面是第20、21題的統計圖，其中全體考生是指全體考生在該題的得分率．從圖12、圖13可以得到如下的結論．

圖12 2017—2019年X省高考理科數學第20題不同批次難度分布

6.1 試題區分作用分析

2017、2018、2019年，第20、21題作為兩個壓軸題對不同批次的考生都有非常好的區分，所有批次之間考生得分率的差異都大于0.1；一批和二批之間的得分率差值大于0.2；2018年在試卷整體偏易的情況下，一批和二批考生得分率差值大于0.3，2019年清北和985兩批考生在20和21題上得分率差值都達到了0.3以上，達到了區分高水平考生的目的．

圖13 2017—2019年X省高考理科數學第21題不同批次難度分布

6.2 年度之間不同批次難度差異分析

第20題：2017年試題整體比2018、2019年試題容易，對于清北和985考生2017和2018兩年在20題的難度差異不大．對于一批、二批和高職高專考生，2017年難度和2018、2019年難度有一定的差異．

第21題：3年難度總體差別不大，2018年略容易．對于985考生，3年難度稍微有差異，2017年985考生作答該題的平均難度為0.74，2018年的平均難度為0.82，2019年平均難度為0.59，其它批次差別不大．

通過分析可以發現，2019年壓軸的第20和21題，雖然其難度分別為0.138和0.183，屬于難題，但不同批次的考生得分差異明顯，特別是對高水平高校的考生具有良好的區分度．因此對試題的評價應將難度和區分度結合起來進行，不同難度的試題發揮對不同層次考生的區分和選拔作用．

7 結語

以考試統計數據為基礎，描繪了各種統計圖形，探討了圖形分析法在高考試題評價中的應用．通過以上分析可以看出，利用圖形分析的方法可以很好地解決研究中提出的兩個問題，一是直觀地展示考試數據分析結果及其意義；二是對統計數據相同的試題，展示其對不同層次考生的區分功能．

（1）利用圖形分析法對試題、試卷統計數據進行深入分析，可以更直觀、更形象地展示試題、試卷的功能和作用，同時可以更細致、更詳實地揭示試題、試卷的功能和作用，使公眾和命題人員更便捷、更深入地了解試題的難度、區分度、區分考生的能力和層次，更有效、充分發揮統計數據對考試命題和試題評價的作用．

（2）考生分數分布直方圖可以更為直觀地展示全體考生的整體分布，展示分數分布的偏度、峰度和各分數段的人數百分比，反映試卷的質量和難度，同時也可以使教育者了解考生的整體分布和水平．

（3）不同批次考生成績分布圖、試題難度分布圖反映了試題的難度和各層次考生的得分情況．特別是通過試題難度分布圖，可以分析難度值相同的試題對不同層次考生的區分功能．有利于對試題難度的分析和控制，同時有利于在教學過程中，針對不同層次的考生進行因材施教．

（4）不同組別考生成績分布圖反映了試題的區分功能，同時反映了對各層次考生的區分情況．基于條件概率（不同水平考生條件下）的統計特征圖形分析更加直觀和有意義，為評價試題質量提供了更加豐富的手段和視角．對于過難的題目、過易的題目或者區分度過低的題目，圖形分析法能夠更容易地幫助公眾、命題人員、分數使用人員找到題目的問題所在．基于條件概率估計給出的題目統計特征圖形，外形上雖然與項目反應理論中的項目反應曲線相似，但不依賴于任何數學模型，原理簡單，圖形直觀，可以廣泛應用．

（5）數學試卷的壓軸題雖然偏難，但清華北大、985高校、一批、二批錄取的考生在兩個壓軸題的得分率差別較大，對高層次的考生區分顯著，在高考選拔高水平考生中發揮重要的作用．

[1] 萬玉鳳．教育部考試中心發布《中國高考評價體系》[N]．中國教育報，2020–01–08（1）．

[2] 教育部考試中心．中國高考評價體系[M]．北京：人民教育出版社，2019：11．

[3] 國務院辦公廳．關于新時代推進普通高中育人方式改革的指導意見[EB/OL]．（2019–09–02）[2019–10–11]．https://zhuanlan.zhihu.com/p/80842215.

[4] 任子朝，陳昂，黃熙彤，等．高考數學新題型試卷質量分析研究[J]．數學教育學報，2019，28（1）：1–7．

[5] 任子朝，佟威，趙軒．高考試題難度預估研究[J]．數學教育學報，2018，27（5）：13–16．

[6] 任子朝，佟威，趙軒．高考試題難度預估的校準與改進研究[J]．數學教育學報，2019，28（6）：1–4．

[7] 楊志明．提高選擇題區分度的若干方法[J]．教育測量與評價，2017（2）：5–10．

The Use of Graphics in Evaluating and Representing Quality of Items from College Entrance Examinations

REN Zi-zhao, ZHAO Xuan, GUAN Dan-dan, XU feng-xian

(National Education Examinations Authority, Beijing 100084, China)

The difficulty and discrimination of testing items are evaluated and represented using numerical values. The visual display of items qualities from high-stake test like college entrance examinations through graphics has advantages for public and item developers to understand the testing quality related to item difficulty and discrimination. Score distribution histograms reflect the distribution of the examinees. The score distribution chart of different batches of examinees can help us understand the distinctions between each test item for each level of examinee. The difficulty distribution chart of the test items can reveal in-depth information about the discrimination of examinees in different range of overall test scores. The score distribution chart of different groups of examinees can help us understand the scores of each group of examinees and the trend of their scores. The comparison chart of test difficulty in different years helps us compare the level and change of test items across years.

college entrance examination; item quality; graphics; difficulty; discrimination

G632.0

A

1004–9894（2021）01–0037–05

任子朝，趙軒，關丹丹，等．圖形分析法在高考試題評價中的應用研究[J]．數學教育學報，2021，30（1）：37-41．

2020–12–20

國家教育考試科研規劃2019年度課題——新高考開放性試題研究（GJK2019011）

任子朝（1961—），男，北京人，研究員，主要從事數學教育、教育測量研究．

[責任編校：周學智、陳雋]