理論知識與業(yè)務規(guī)范試卷分析與質量評價

楊琨++顏石

摘 要：選用目前比較通用的難度、區(qū)分度和信度進行試卷分析，并對單選題干擾項進行分析。結果表明，考試成績總體分布比較合理。試卷四個題型難度比較適中，平均難度為0.55。試卷中大部分區(qū)分度在良好以上，能夠很好比較高分段和低分段考生對知識掌握的程度，并且對各類型題目的成績和總成績具有統(tǒng)計學差異。該次考試信度系數(shù)為0.67，表明該次考試成績可靠性較高，考分能夠較真實反映考生對天氣預報業(yè)務理論知識和業(yè)務規(guī)范的掌握情況。

關鍵詞：難度 區(qū)分度 信度 試卷分析

中圖分類號：G64 文獻標識碼：A 文章編號：1674-098X（2016）11（a）-0120-04

從2006年開始，全國氣象行業(yè)職業(yè)技能競賽已常態(tài)化，氣象行業(yè)天氣預報職業(yè)技能競賽從2007年起每兩年舉辦一次。各省（自治區(qū)、直轄市）氣象主管部門也紛紛將定期組織開展轄區(qū)內氣象行業(yè)天氣預報職業(yè)技能競賽作為一項重點工作[1]。這種常態(tài)化的競賽活動，一方面培養(yǎng)鍛煉了天氣預報員業(yè)務素質和基本技能，提高了天氣預報業(yè)務水平，提升了氣象預報預測能力，營造了人才成長與發(fā)展的良好氛圍，樹立學理論、長技能的正氣；但另一方面，在籌備本省業(yè)務技能比賽的過程中各類試卷的編制工作量大，試題的水平參差不齊。因此，如何高效、公平地分析評價試卷質量，提高考試的質量也就成為了當前各級氣象業(yè)務管理部門特別關注的課題。

1 資料與方法

1.1 資料來源

選擇參加第五屆湖南省氣象行業(yè)天氣預報職業(yè)技能競賽理論知識與業(yè)務規(guī)范考試的全體選手的試卷，共54份進行分析。

1.2 試卷概況

該次考試為閉卷考試，滿分為85分。考試按照以往競賽慣例有填空題、單選題、多選題、簡答題等四種題型，共71道題。

1.3 閱卷方式

根據(jù)預先確定的標準答案和評卷標準，采用流水作業(yè)的方式進行閱卷，試卷中考生姓名、單位均作密封處理。

1.4 研究方法

選用難度、區(qū)分度和信度[2-3]進行試卷分析，并對單選題干擾項進行分析。

1.4.1 難度

難度是指反映試題難易程度的重要指標，即參加考試的全體考生在該題的平均得分率，用難度系數(shù)P表示。各小題的難度是以考生在該題的得分來衡量的一個相對量度（見表1）。

1.4.2 區(qū)分度

區(qū)分度是反映試題對高水平考生和低水平考生區(qū)分能力的一個指標。一般是選取成績優(yōu)秀的考生和成績比較低的考生進行對比，分別計算各類型題目的成績和總成績，再進行統(tǒng)計分析，以比較不同水平考生的在各類型題目的成績和總成績是否有統(tǒng)計學差異，從而判斷該試題是否有區(qū)分度。

1.4.3 信度

信度是試卷客觀性及考試結果準確性的一種反映。目前最常用的信度計算方法是克龍巴赫（Cronbach）系數(shù)法[7]，計算公式為：，式中，為信度系統(tǒng)；k為試題數(shù)；S2為試題總得分的方差；Si2為第i道題得分的方差。

1.4.4 單選題干擾性指標分析

對于單選題，一般是由題干和若干可選答案共同組成，而可選答案中只有一個是正確答案；其余的稱為干擾性答案。如果一個試題的某個干擾性答案不被或很少被考生選擇，則表明這個干擾性答案不具備干擾性作用，需要改換或修改它，以完善試題。如果所有干擾性答案都被選過，且被選的頻數(shù)大體相等則表明該干擾性答案干擾性強，試題質量高[8]。

2 結果與分析

2.1 試卷成績分布

第五屆湖南省氣象行業(yè)天氣預報職業(yè)技能競賽理論知識與業(yè)務規(guī)范試卷各題型分值情況見表2。

理論知識與業(yè)務規(guī)范考試是氣象行業(yè)天氣預報職業(yè)技能競賽所設置的一個單項中的一部分。該次考試試卷滿分為85分，最高分69.5分，最低分22.5分，平均成績47.1分，中位數(shù)為48.75分，全距為47分。人均失分率是用各題的人均失分數(shù)除以該題的滿分數(shù)計算得來。由表1可看到，簡答題的失分率最高，達到35.04%，單選題失分率最低，為13.51%，四種類型題的失分率相差較大。

第五屆湖南省氣象行業(yè)天氣預報職業(yè)技能競賽理論知識與業(yè)務規(guī)范考試成績分段統(tǒng)計見表2，成績分布直方圖見圖1。從表3和圖1可以看出，考試成績總體分布比較合理。

2.2 試題難度

在計算試題的難度時，單選題、多選題以客觀題方式計算，填空題、簡答題以主觀題進行計算。試題的難度系數(shù)和各題的實際難度成反比，即難度系數(shù)越小，試題越難，如P<0.3，該題屬于難題；難度系數(shù)越大，試題就越簡單，如果0.90≤P<1，則表明該題屬于易題。

各題的考試結果歸類見表4。統(tǒng)計得出，在填空題共30題，其中第12題答對的幾率很高，因為這題考查的知識點比較簡單，不足以考查考生對理論知識的掌握程度，下次考試出題應該盡量不采用。第5、16、19、29題是難題，答對的人數(shù)分別是10、20、6、4人，大多數(shù)考生對這四題考查的知識點掌握得不好。另外，稍易題有4道，適中題有19道，稍難題有2道。

單選題共24題，其中第20題是答對的幾率很高，這題考查的是西風指數(shù)的定義，是比較基礎的試題，考生都掌握得很好。第10、18、22題是難題，答對人數(shù)分別是8、7、3人，大多數(shù)考生對這部分內容掌握得不好。另外，稍易題有3道，適中題有15道，稍難題有2道。

多選題12題，其中第2、9、10題是難題，答對人數(shù)分別是12、14、13人。第2題考查的是可見光云圖識別的知識點，說明考生對于這知識點掌握不好。第9、10題考查的是強對流天氣分析與預報的知識點，說明考生對強對流天氣技術方面的知識掌握得不好。另外，稍易題有1道，適中題有8道。

簡答題共5題，其中，適中題有4道，稍難題有1道。問答題的總體難度比較合適。

該試卷的四個題型的難度計算見表5。從表5中可以看到，試卷的四個題型的難度比較適中，平均難度為0.55。

2.3 試題區(qū)分度分析

試題區(qū)分度是判斷試題質量的重要指標，主要用于表明試題區(qū)分考生水平的程度。區(qū)分度通常用D表示，D的取值范圍在-1～+1之間，值越大區(qū)分度越好。美國測驗專家艾貝爾提出的鑒別指數(shù)：0.40以上為優(yōu)良，0.30～0.39為合格，0.20～0.29為尚可，但需修改，0.19以下為差，應該淘汰[9]。

對客觀性試題而言[10]，其試題區(qū)分度的計算公式為，其中PH、PL分別為高、低分段考生的難度系數(shù)。高分段和低分段的分段方法為：將全體考生按照總分從高到低排序，取總分最高的27%考生定為高分段考生，取總分最低的27%考生定為低分段考生，小數(shù)部分四舍五入。然后分別計算高分段考答對某題百分比和低分段考生答對某題的百分比，再將兩者相減即可得到區(qū)分度。

對主觀性試題而言[10]，某試題區(qū)分度的計算公式為：其中，AH為高分段考生考試的平均分；為低分段考生考試的平均分；T為試題的滿分。各題的區(qū)分度分布情況見表6，各類題型的區(qū)分度見表7。

從表6和表7可以看出，單選題和多選題的區(qū)分度一般，這可能是由于考生在作答把握不大的客觀題時會隨意猜測，造成區(qū)分度差別不大。單選題的7個小題區(qū)分度小于0.2，其中難題3個，稍易題2個，說明由于難題難度太大，高分段考生得分率不高，而稍易題又比較簡單，低分段考生得分率高，造成這兩類題區(qū)分度差。第9題難度適中，但區(qū)分度為0，說明此題質量不好，應淘汰。多選題的4個小題區(qū)分度小于0.2，其中難題1個，難度適中題3個，說明考生在完成多選題時會隨意猜測。

從四種題型來看，簡答題的區(qū)分度大于0.4，評價為優(yōu)，填空題的區(qū)分度在0.30～0.39，歸類為良好；單選題和多選題的區(qū)分度在0.20～0.29，評價為一般，試卷整體的區(qū)分度為0.31，總評價為良好。由此得出試卷中大部分區(qū)分度在良好以上，能夠很好判斷出高分段和低分段考生對考查的知識點掌握的程度，同時說明對各類型題目的成績和總成績差異有統(tǒng)計學意義。

在進行試卷分析時，綜合分析試題的難度和區(qū)分度，可避免僅依據(jù)難度或區(qū)分度來評價試題質量的片面性和局限性。參照文獻[5-6]，綜合應用P值和D值來評價試題質量。其中，P≥0.4，D≥0.2定義為優(yōu)秀題，即難度較易，且能將中低水平的考區(qū)分開來；P<0.4，D≥0.2為良好題，即難度大，能夠將優(yōu)秀考生區(qū)分開來；P≥0.4，D<0.2為一般題，即難度較易，不同水平的考生都能回答；P<0.4，D<0.2為差題，即難度大，但不能區(qū)分不同水平的考生。通過綜合分析每道試題的難度和區(qū)分度，評價為優(yōu)秀的試題分值為60.5分，占全試卷比例為71.18%，評價為差的試題分值為8分，占全試卷比例為0.94%，說明該試卷試題具有較高的質量。

2.4 試卷信度

試卷信度主要用于反映試卷客觀性及考試結果可信度，試卷的信度越大，說明考分越能真實反映考生的實際水平，信度接近零時，說明考分不可信，有很大的偶然性。一般認為[11-12]，克龍巴赫α系數(shù)<0.3，不可信；0.3≤α<0.4，勉強可信；0.4≤α<0.5，可信；0.5≤α<0.9，很可信；α≥0.9，十分可信。通過統(tǒng)計分析，該次考試信度系數(shù)為0.67，表明該次考試成績可靠性較高，考分能夠較真實反映考生的天氣預報業(yè)務理論知識和業(yè)務規(guī)范水平。

2.5 單選題干擾性指標分析

對單選題干擾項被選情況進行統(tǒng)計分析，發(fā)現(xiàn)共有9個小題出現(xiàn)了干擾性選項未被選擇過的情況，其中第5題有兩個干擾項未被選擇過，說明這些選項未起到干擾作用，應進行修改。

總體分析表明，試卷能夠準確反映考生對天氣預報業(yè)務理論知識和業(yè)務規(guī)范掌握水平，試卷分析研究中發(fā)現(xiàn)的問題將為以后的天氣預報業(yè)務理論知識和業(yè)務規(guī)范學習及考試命題提供重要的參考依據(jù)。

3 結語

考試成績是衡量考生對知識學習掌握情況的一個質量指標，通過對考試成績和試卷進行分析，獲得反饋信息，可以發(fā)現(xiàn)命題及組卷中的問題，對于評價規(guī)范命題和針對性的學習等都具有現(xiàn)實指導意義。今后可通過繼續(xù)進行各次考試的試卷分析，獲得試題質量信息來對題目進行修改和取舍，不斷改進和完善已經(jīng)建立的試題集，更好地發(fā)揮考試對理論知識學習過程的調控，保證學習質量穩(wěn)定。

參考文獻

[1] 余勇.解放思想，科學發(fā)展，努力開創(chuàng)廣東氣象工作新書面[J].廣東氣象，2008，30（1）：1-3.

[2] 許志光，金仁鉉.試卷質量分析的數(shù)理統(tǒng)計方法[J].吉林師范大學學報：自然科學版，2003（2）：50-51.

[3] 馬江山，梁莉芳.用數(shù)理統(tǒng)計方法進行試卷分析[J].上饒師范學院學報，2002，22（6）：10-13.

[4] 張云松.綜合評價試卷質量分析方法[J].數(shù)理統(tǒng)計與管理，2009（28）：133-134.

[5] 孫寶志，金魁和.教學與評價實用技術[M].沈陽：遼寧科學技術出版社，1992.

[6] 張旭東，賈書花，李凱，等.組織學與胚胎學課程期末考試試卷分析與評價[J].醫(yī)學教育探索，2009，8（9）：1166-1169.

[7] 劉新平，劉存?zhèn)b.教育統(tǒng)計與測評導論[M].北京：科學出版社，2003.

[8] 李秀昌，孫健，周喆，等.可自動實現(xiàn)試卷分析和試題分析的EXCEL表[J].科技創(chuàng)新導報，2012，28：51.

[9] 黃光楊.教育測量與評價[M].上海：華東師范出版社，2007.

[10] 左秀鳳，劉雋，楊莉.生物化學檢驗試卷分析與質量評價[J].河南職工醫(yī)學院學報，2012，24（3）：359-362.

[11] 崔慧林，王澎，張巖波，等.組織學與胚胎學考試有效性分析[J].醫(yī)學教育，2011，13（8）：699-702.

[12] 項軍平.運用Excel進行英語試題項目分析和信度分析[J].民族論壇，2007（8）：52-53.