Rasch模型在英語試題質量分析的應用

何必凱

摘 要：運用Rasch模型對一份高中英語學業測試試卷進行質量分析，從試題難度，難度與學生能力匹配及試卷區分度來評估試題質量。結果表明，試卷整體信效度較高，能較好對學生的英語能力進行測試。最后進行學業診斷分析并提出教學建議。

關鍵詞：Rasch模型;試題質量分析;學業診斷

中圖分類號：G4 ? ? 文獻標識碼：A ? ? ?doi：10.19311/j.cnki.1672-3198.2021.20.078

經典測量理論框架下，題目難度的評價方法比較簡單，一般以題目的正確率（客觀題）、得分率（主觀題）來表示。但這種難度存在如下問題：難度指標與實際意義相悖。正確率、得分率的理論取值在[0，1]之間，該值越高，代表題目越簡單;該值越低代表題目越難。難度系數的絕對值與其代表的含義相悖，因此，正確率、得分率等通過率指標更應稱為“容易”度。

難度的計算受學生群體的能力分布影響。通過率受學生群體總體水平的影響，同一題目，在整體水平較高的學校，通過率高，則可能被判定為簡單題;在整體水平較差的學校，通過率低，卻又可能被判定為難題。即便是同一群體，不同時間段得到的通過率也不是穩定的。因此，通過率僅可作為參考，不能作為評價題目難度的指標。

本研究引入Rasch模型進行題目難度估計，該模型有跨群體、跨情境的穩定性，解決了經典測量理論框架下以通過率作為難度指標的弊端。

1 難度

Rasch模型將題目平均難度設定為0，題目難度分布在[-∞，+∞]之間。以0為中心，可以將題目難度劃分為5個等級，難度在（3，1]之間稱為難題，難度在（1，-1]之間稱為中等題，難度在（-1，-3]之間稱為簡單題，難度大于等于3的難題、難度低于-3的簡單題均稱為極端難度題目，如表1所示。統計結果顯示簡單題、中等題占總題數的79%難度配比比較合理，但存在4道極端難題。

從不同題型來看，聽力題、單選、情境和完形題以中、低難度為主，難題較少;閱讀理解和基礎知識應用以中、高難度題目為主，簡單題較少。

Rasch模型通過擬合指數評價題目、數據的質量，最常用的指標為Infit MNSQ，該指標的理論最佳取值為1，當Infit MNSQ為1，代表實際數據與Rasch模型的預測完全相同。一般認為擬合指數取值在[0.7，1.3]之間時，題目與數據擬合較好，未出現數據與理論假設嚴重不符的情況。因此，擬合指標可以用來評價在一次考試過程中單個題目的質量，若擬合指數超出相關理論建議的范圍，則認為該題對整個測評的貢獻不大，質量較差。本次數據分析，發現有4個題目擬合指數大于1.3，占總題目數的5%。進一步分析后發現，這些題目均為難題，其中閱讀理解2個題目、聽力1個題目、單選和1個題目。主要原因是有難度題容易出現猜測答題的情況，猜測答題，尤其是那些猜對題目答案的被試，實際作答情況與模型預測不符，最終導致不擬合。

2 難度與學生能力匹配度

Rasch模型將題目難度和學生能力統一在同一個量尺上，實現了學生能力與題目難度的直接比較。基于這一特征繪制的題目難度——學生能力分布圖可以非常直觀得反應整套試卷難度與學生能力的匹配程度。本次測試的題目——學生分布圖如圖1所示。

圖形從左向右分成三個區域，左側“Measr”列稱為Rasch量尺，即衡量題目難度和學生能力的一把“尺子”。該尺子的刻度與傳統意義上的尺子不同，其參照點0點在尺子的中間。Rasch模型將所有題目的平均難度設定為0。中間的“Students”列代表學生，以“*”和“.”表示，每個“*”代表3名學生，低于三人時用“.”表示。分布位置越往上，代表能力水平越高，反之則代表能力水平越低。右側的“Items”列代表題目，分布位置越往上，代表難度越高，反之則代表難度越低。

從圖形上看，本次考試以中等和簡單題目為主，但是也有4道極端難題（66、68、70、75）和較簡單題目（5題）。

學生能力主要分布在[-2，3]之間，題目難度分布在[-2.5，2.5]之間。試卷難度相較于學生整體能力偏簡單。但是本套試卷又存在4道極端難度題，這在一定程度上影響了本次測試對這一群體的評價精度;對于難度在[-3.-1]之間的題目，沒有相對應的學生，這些題目對學生總體來講過于簡單，沒能在診斷中起到足夠的作用。在后續的試卷修訂過程中，可以考慮對極端難度題的替換;同時在整卷中選擇一些中等題目，替換為過于簡單的題目，以提高對高水平學生的診斷效果。

基礎教育階段考試的目的除了對學生進行診斷外，還希望將學生劃分為不同能力等級，以滿足升學、分層教學等需求。因此，對試卷區分學生的能力“試卷的區分度”評價也是本次數據分析的內容之一。本次測試，通過Rasch的分隔系數、分割信度等指標來評價試卷的這一特性。

Rasch模型通過被試分隔系數（Person Separation Index）、分隔信度（Person Separation Reliability， PSR）和分隔指數（Strata）評價測量精度。分隔指數表示試卷可以將學生區分為幾個有顯著差異的組別，Strata=（4*PSI+1）/3，當PSI=2時，Strata=3，即量表可以將被試區分為高分、中分、低分三組;同時，PSR應高于0.8。本次測驗的PSI=3.49，Strata=5.0，PSR=0.92，說明本次測驗雖然有部分題目難度設置不合理，但因題目總數較大，仍可起到區分不同英語水平學生的作用，具備一定的測量精度。

3 學業診斷

Rasch模型的基本原理認為被試正確作答題目的概率可以用個體能力θ與該題目難度δ的一個簡單函數來表示。

Pni1=e（θn-δi）1+e（θn-δi）