摘要: 大學(xué)英語試題庫測試系統(tǒng)數(shù)據(jù)分析是大學(xué)英語教學(xué)和科研工作中的一項重要內(nèi)容,通過分析試卷的易度值,或者難度系數(shù)、區(qū)分度和正態(tài)性檢驗,可以了解命題質(zhì)量和教學(xué)效果,為試題庫科學(xué)地篩選、補充、修訂和配置試題提供科學(xué)準確的數(shù)據(jù)參考。本研究以三級快速閱讀試題的難度、區(qū)分度、正態(tài)性分布分析為例對試卷信度和效度進行分析。
關(guān)鍵詞: 大學(xué)英語 三級快速閱讀題 難度 區(qū)分度 正態(tài)性分布
1.引言
大學(xué)英語試題庫測試系統(tǒng)數(shù)據(jù)分析是大學(xué)英語教學(xué)和科研工作中的一項重要內(nèi)容,通過分析試卷的易度值(facility value),或者難度系數(shù)(coefficient of difficulty)、區(qū)分度(dipartite degree)和正態(tài)性檢驗(test of normality),可以了解出題質(zhì)量和教學(xué)效果。它既可以作為教學(xué)評估的手段,其本身又是教學(xué)研究的一個重要方面,對提高教學(xué)質(zhì)量具有十分重要的指導(dǎo)意義。
2.研究的依據(jù)
所謂題庫就是以一定的教育測量理論為依據(jù),按照一定的規(guī)范編制,收集的有相當(dāng)數(shù)量和較高質(zhì)量、附有試題性能參數(shù)、并經(jīng)過分類編碼的大批題目的科學(xué)集合,其理論基礎(chǔ)主要來自于經(jīng)典測量理論。這種理論經(jīng)過幾十年的實踐發(fā)展得已相當(dāng)成熟,應(yīng)用十分廣泛。
在試題庫建設(shè)中,不進行題目分析,不分析試題的信度、效度,就不能科學(xué)地篩選、補充、修訂和配置試題。效度的關(guān)鍵就在于試題設(shè)計的科學(xué)性,即真正按照考試大綱的要求把最典型、最富代表性的內(nèi)容編入試卷,并做到題量合理,比例適當(dāng),內(nèi)容與形式統(tǒng)一,使試題的難度適合測試者的實際水平。
為了了解題目的信度和效度,我們必須掌握試題的易度值、區(qū)分度,并對試題進行正態(tài)性檢驗。
2.1易度值(或難度系數(shù))
所謂易度值,就是指題目的難易程度,或說測試的難易程度,常以試題的平均正確率作為易度值的指標。難度系數(shù)與易度值成反比例關(guān)系。
易度值P在0至1之間。P>0.8時,試題太易;P<0.2時,試題太難。一份試卷應(yīng)該由不同難度按一定比例組成。一般地說,P>0.8、P<0.2的試題各占10%;P=0.2—0.4和P=0.6—0.8的試題各占20%;P=0.4—0.6的中等難度試題應(yīng)占60%。整套試卷平均易度值在0.4—0.6之間。
(1)客觀性試題易度值P(這時也稱通過率)計算公式:P=K/N(K為答對該題的人數(shù),N為參加測驗的總?cè)藬?shù))(2)主觀性試題難度P計算公式:P=X/M(X為試題平均得分;M為試題滿分)(3)適用于主、客觀試題的計算公式:P=(PH+PL)/2(PH、PL分別為試題針對高分組和低分組考生的難度值)。在大群體標準化中,多采用第三個計算公式。具體步驟為:①將考生的總分由高至低排列;②從最高分開始向下取全部試卷的27%作為高分組;③從最低分開始向上取全部試卷的27%作為低分組;④按上面的公式計算。
2.2區(qū)分度
所謂區(qū)分度是指測驗對考生實際水平的區(qū)分程度或鑒賞能力。它是題目質(zhì)量和測驗質(zhì)量的一個重要指標。一般要求試題的區(qū)分度在0.3以上。
區(qū)分度D在-1至+1之間。D≥0.4時,說明該題目能起到很好的區(qū)分作用;D≤0.2時,說明該題目的區(qū)分性很差。D值為負數(shù)時,說明試題或答案有問題。
(1)客觀性試題區(qū)分度D的計算公式為D=PH-PL(PH、PL分別為試題高分組和低分組考生的難度值)。(2)主觀試題(非選擇題)區(qū)分度D的計算公式為D=(XH-XL)/N(H-L)(XH表示接受測驗的高分段學(xué)生的總得分數(shù),XL表示接受測驗的低分段學(xué)生的總得分數(shù),N表示接受測驗的學(xué)生總數(shù),H表示該題的最高得分,L表示該題的最低得分)。
整個試卷的區(qū)分度,是所有試題區(qū)分度的平均值。
2.3成績分布的正態(tài)性檢驗
計算出來的區(qū)分度界于0.30-0.39之間,或高于0.39,就表明同質(zhì)考生的考試成績分布符合正態(tài)分布。具體指標如下:

3.研究的方法步驟
本次數(shù)據(jù)分析的樣本為某高校大學(xué)英語三級快速閱讀試題,參加測試的學(xué)生人數(shù)為1249人,全部在讀大學(xué)英語三級課程,學(xué)習(xí)者來自人文社科、經(jīng)濟管理、機械工程、材料工程等多個專業(yè)。測試題為客觀性試題,全文927個單詞,要求學(xué)習(xí)者在15分鐘之內(nèi)讀完,并對于文章相關(guān)的十個句子作出正確、錯誤或信息缺失的判斷。本次研究所采用的計算公式為:P=K/N(P為該試題易度值,K為答對該題的人數(shù),N為參加測驗的總?cè)藬?shù))。D=PH-PL(D為該試題區(qū)分度,PH、PL分別為試題高分組和低分組考生的難度值)。經(jīng)計算后得到的題目錯誤率、區(qū)分度、難度系數(shù)統(tǒng)計表如下所示:

從經(jīng)典教育測量理論來分析,在此次測試的快速閱讀試題中,難度系數(shù)在0.2到0.4的試題所占比例為10%,接近理想數(shù)據(jù)。難度系數(shù)大于0.8的試題所占比值為10%,這個數(shù)據(jù)也是符合預(yù)期的。但是難度系數(shù)小于0.2的試題所占比例為60%,這個比例過大,致使試題整體難度降低。難度系數(shù)在0.6到0.8的試題所占比例為零,而在理想命題狀態(tài)下,此期望數(shù)值應(yīng)為20%。特別是難度系數(shù)在0.4到0.6之間的試題所占比例僅為20%,遠遠低于60%這個期望數(shù)據(jù)值。全部試題難度系數(shù)的平均值僅為0.289,也遠低于0.4到0.6這個期望系數(shù)區(qū)間。數(shù)據(jù)顯示,此次快速閱讀試題偏簡單,在試題庫中應(yīng)屬于大學(xué)英語二級到三級之間難度的試題。
從區(qū)分度數(shù)據(jù)分析,此次測試題中區(qū)分度大于等于0.4的試題占全部試題的90%,這些試題區(qū)分度非常良好,可以在試題庫中予以留用。但是有10%的試題區(qū)分度如需繼續(xù)留用,必須予以修改。具體而言,快速閱讀試題中的第10小題的題干“President Bush has signed into law an emergency spending plan”就是幾乎照搬原文最后一句話:“President Bush has signed into law a 40,000 dollar emergency spending plan.”學(xué)習(xí)者在不理解文章意思的情況下也可以找到上述信息。從命題角度而言,可以適當(dāng)增加這個題目的信息承載量,更好地測試學(xué)習(xí)者對文章的理解程度。
從試題的錯誤率分析,此次快速閱讀測試題中第二小題和第三小題的錯誤率是最高的。而這兩個小題的答案都是“Not Given”,也就是說在文章中找不到題干中的信息,是信息缺失類試題。這類試題往往具備這樣的特征:題干中的某些內(nèi)容在原文中沒有提及;或者題干中涉及的范圍小于原文的范圍,也就是更具體;題干是某人的主觀思想(目標、目的、想法、愿望、保證、發(fā)誓),而原文陳述的是事實。以第二小題為例,“There were children in the day-care center of the World Trade Center when the terrorist attacks took place.”這正是主觀思想,而不是文章陳述的事實內(nèi)容。因此,信息缺失類快速閱讀試題不僅能測試學(xué)習(xí)者的理解能力,還能測試學(xué)習(xí)者的邏輯思維能力,應(yīng)當(dāng)配置在大學(xué)英語試題庫當(dāng)中。
4.結(jié)論
我們認為,出擬試題,組建題庫只是一個載體。在題庫建設(shè)過程中,要進行一系列教學(xué)改革的研究,并藉此加強教學(xué)管理,規(guī)范教師的教學(xué)行為,提高教學(xué)質(zhì)量。而對大學(xué)英語測試系統(tǒng)進行多角度數(shù)據(jù)分析與研究正是教學(xué)改革的一個方面,它能夠幫助教師了解教學(xué)水平,提高命題質(zhì)量,從而提高教學(xué)水平。可以從以下三點總結(jié)此項研究的深刻意義。其一,大學(xué)英語試題庫測試系統(tǒng)數(shù)據(jù)分析可以幫助提供每套試題易度值等相關(guān)參數(shù),從而了解出題質(zhì)量。其二,分析得到的數(shù)據(jù)可以幫助教師了解教學(xué)效果,特別是發(fā)現(xiàn)教學(xué)中的薄弱環(huán)節(jié),從而有的放矢地進行教學(xué)。其三,分析得到的數(shù)據(jù)是大學(xué)英語教師進行教改、科研不可多得的參考依據(jù)。
參考文獻:
[1]勵景編著.考試命題與試卷分析[M].浙江寧波出版社,2002.
[2]白曉明,陳國明,葉成華等編著.考試命題與試卷分析[M].浙江寧波出版社,2003.
[3]汪美瓊.大學(xué)英語試卷分析探析[J].青海師專學(xué)報(教育科學(xué)),2008,58卷第2期.
[4]曾凡貴編著.大學(xué)英語教學(xué)與研究[M].湖南大學(xué)出版社,2004.