應用項目反應理論分析大學英語聽力試題

范思穎 武天琪

【摘要】項目反應理論可通過測試各個項目反應曲線分析項目區分度、難度、猜測度等項目參數，從而為測試項目的編制和篩選提供數據基礎和理論框架。本研究用項目反應理論分析西安交通大學2013年大學英語考試聽力試題，發現該項目難度中等，題目的區分度比較理想，聽力理解水平較低的考生僅憑猜測而答對的概率在正常范圍內。但也個別項目提供的信息量不足、質量不高。因此，對質量較低的題項，應提高區分度 、改善試題對聽力能力的貢獻大小等方法提高命題質量。

【關鍵詞】項目反應理論;英語聽力試題;項目參數

【作者簡介】范思穎，武天琪，西安交通大學外國語學院。

一、引言

項目反應理論（IRT）是心理與教育測量理論的新發展，其理論應用的意義主要在于可以指導測驗項目的編制和篩選。理論通過測試各個項目反應曲線分析項目區分度、難度、猜測度等項目參數，從而為項目的編制和篩選提供數據基礎和理論框架。

本研究以西安交通大學2013年大學英語考試為例展示項目反應理論在試題質量評價中的應用。本研究數據來自西安交通大學2013年大學英語考試結果，本次考試試卷結構如表1所示。本次考試包含A級和B級兩套試卷，其中A級和B級的聽力和閱讀一樣，詞匯不一樣。本研究抽取A級與B級944份學生試卷作為樣本，只涉及試卷聽力部分客觀題的分析，題目數為25個。

二、試題分析

1.單維性假設檢驗。單維性假設檢驗是指測驗只測量被試的某一種潛在特質，可以忽略其他潛在特質對測驗結果的影響。單維性假設檢驗的主要方法是因素分析法。對考試結果進行因素分析，當抽取的第一個公共因素的特征根值明顯大于第二特征根值的3倍或以上，則認為測驗符合單維性條件。對于詞匯部分題目的KMO檢驗值為0.88，大于0.7，說明題目適合進行因子分析。對題目的因子維度分析中我們采用主成分分析法，因子提取標準為特征值大于1。

從提取的因子解釋的總方差可以看出，第一個因子解釋的方差占總方差的16.640%，而第二個因子解釋的方差僅占5.169%，抽取的第一個公共因素解釋變異大于第二個公共因素解釋變異的3倍，可以認為本次英語聽力測試的維度是單維的。

2.試題信度檢驗。測試信度主要指測量的一致性程度。克隆巴赫系數（Cronbach’s alpha）是心理或教育測試中最常用的信度評估工具，它依據一定公式估量測驗內部的一致性，作為信度的指標。通常克隆巴赫系數的值在0和1之間，如果系數不超過0.6，一般認為內部一致性信度不足;達到0.7-0.8表明測試具有相當的信度;達到0.8-0.9表明測試信度非常好。根據SPSS的分析結果，克隆巴赫系數為0.784，表明本次測試聽力客觀題的信度可以接受。

3.項目分析。在 IRT中，將任一個項目參數 、考生能力值與考生對題目的答對率以一個指數函數來表示，再根據每個人在每道題目上的回答情況，直接估計題目的參數和考生能力值 。這種做法的好處， 是將題目的難度值與考生的能力值都放在同一個量尺上， 有助于理解考生能力與其在各個題目上答對率的關系。本研究采用 IRT 模型，使用 BILOG-MG3.0軟件對西安交通大學2013年大學英語考試聽力部分做項目分析。

BILOG-MG3.0首先輸出聽力項目的經典測量項目分析指標： 難度（答對百分比）和區分度（分別以項目和總分之間的皮爾遜相關系數和點雙列相關系數表示）。軟件提示，所有項目的區分度（皮爾遜相關系數為和點雙列相關系數均大于0.1）比較理想。第二步輸出項目參數估計值以及單維性檢驗中項目對單因子的負荷值，即項目對聽力理解的貢獻大小 。

整體來講， 聽力項目的平均區分度為0.956 ，標準差為0.188;平均難度為0.442， 標準差為0.578;平均猜測度為 0.348，標準差為0.082。所有項目的區分度都在0.5以上;難度較大的試題為第2、3、4、13題。也就是說， 西安交通大學2013 年大學英語考試聽力項目的難度中等，題目的區分度比較理想。而聽力理解水平較低的考生憑猜測而答對的概率為34.8%。由于本研究中學生作答數據為只用01表示對錯的兩級答案，聽力理解項目猜測度在正常范圍內。

參數估計表明，幾乎所有的聽力項目的參數指標都非常理想，難度、區分度和猜測度等指標大都符合要求。通過項目特征曲線，發現第23題和第1題的項目特征曲線都比較吻合理論曲線，但第23題區分度明顯比第1題大。信息函數曲線則可以進一步驗證試題質量的好壞。例如，ITEM0023最大信息量約為0.86，質量良好;而ITEM0001最大信息量則低于0.25，質量較差。

三、結論

本研究運用IRT方法并結合具體試題對西安交通大學2013年大學英語考試聽力理解項目質量進行了分析，發現該項目難度中等，題目的區分度比較理想，聽力理解水平較低的考生僅憑猜測而答對的概率在正常范圍內。但也個別項目提供的信息量不足、質量不高。因此，應該對項目質量較低的題目， 可試情況分別采用提高區分度 、改善試題對聽力能力的貢獻大小等方法提高命題質量。

參考文獻：

[1]黃銳，虞秋玲.項目反應理論在聽力測試中應用的案例研究——以2006年英語專業四級聽力試題為例[J].集美大學學報（哲學社會科學版），2009，12，3.

[2]彭康洲，李清華.應用IRT模型分析TEM 4聽力理解項目的質量[J].外語教學理論與實踐，2009，3.

[3]趙守盈，石艷梅，朱丹.項目反應理論在大規模選拔性考試試題質量評價中的應用[J].教育學報，2013，9，1.