無紙化考試質量的量化分析研究

摘要：根據統計學、教育計量學的成熟理論和無紙化考試的特點，提出一套無紙化考試分析方法，包括試題和試卷難度、區分度分析法，試卷信度和效度分析法，并結合實際應用，給出算法的編程實現方法。

關鍵詞：無紙化考試；考試分析；區分度；信度；效度

中圖分類號：TP391文獻標識碼：A文章編號：1009-3044(2008)36-2682-02

Research of Quantitative Analysis on No-Paper Examination Quality

ZHANG Dong-sheng， ZHENG Wen-kui

(Computer Center of Henan University， Kaifeng 475000， China)

Abstract: Follow the classical theory of statistics and edumetrics and the characteristic of No-Paper Examination， this paper bring forward a list of Analysis method on No-Paper Examination， include Analysis method of difficulty， discrimination， reliability and validity， and moreover gave the programming way.

Key words: No-Paper Examination; examination analysis; discrimination; reliability; validity

1 引言

考試是通過命題測試來評價教學目的是否達到的一種方法，是教學過程中的重要環節，是反映和評估教學質量的重要手段。但人們往往只重視考試成績，忽視或未能對考試工作本身進行深入的分析。考試分析的內涵主要是運用教育測量學、統計學原理和方法對考試工作和結果進行一系列科學分析與評估，進而實現考試的功能。具體內容包括：考試成績分析、試題質量分析和試卷質量分析。考試分析不僅可以揭示教與學的情況，還可以發現試卷命題及組卷中的問題，對于正確評價教學、規范考試、改進教學工作等都具有現實指導意義。

無紙化考試一般基于存儲在計算機中的一定類型和較大數量試題組成的題庫，根據考試對象、目的和要求，按照一定策略和算法組成試卷，并通過計算機系統實現對應試者的測試。對于無紙化考試的分析，往往存在著試題、試卷和考生眾多，分析對象復雜，數據量龐大等特點和難點。必須通過有效的分析方法和工具才能高效、準確地實現無紙化考試的分析。

考試分析返回的結果有三個方面的意義：指導下一周期的教學活動；重新界定試題的難度與區分度，修改、刪除不當試題；評定試卷的信度與效度，評估組卷策略與算法。

2 考試分析的內容與指標

考試分析主要包括三個方面的定量分析：一是考試成績分析，二是試題分析，三是試卷分析。考試成績分析主要包括分數分布情況、最值、均值、及格率和標準差等統計學指標；試題分析主要包括試題難度和區分度；試卷分析主要包括試卷的信度與效度。

成績分析是考試分析內容的重要組成部分，由于在教學實踐中應用廣泛，研究者也多有涉及，本文不再贅述。下面談談試題和試卷的分析內容。

2.1 試題分析

1）難度分析：

一般通過難度系數標定試題難度。客觀題第i題的難度系數Pi定義為：

式中Ri為第i題的正答人數，Ni為抽中該題的總人數。

主觀題第i題的難度系數Pi定義為：

式中Si為抽中第i題全體考生所得的算術平均值，Si為該題的滿分分值。

難度系數越趨近于0，難度就越小；難度系數越趨近于1，難度就越大。P≤0.3表示試題難度較低；0.3＜P＜0.7表示試題難度適中；P≥0.7表示試題難度過高。

2）區分度分析：

試題區分度是指試題對學生實際水平的區分程度或鑒別能力。區分度高的試題能對不同知識水平和能力的學生加以區分，使能力高的學生得高分，能力低的學生得低分；區分度低的試題則不能對學生的能力進行有效的鑒別，使水平高和水平低的學生得分相差不大或無規律可循。

試題區分度的計算方法為：首先把抽到該題的全體學生的得分由高到低排序，前27%的學生作為高分組，后27%的學生作為低分組，分別計算第i題高分組學生的平均成績xik和低分組學生的平均成績xil，設第i題滿分為wi，則第i題區分度di定義為：

一般認為，di>0.4的試題區分度為“很好”；0.2≤di≤0.4的試題區分度為“良好”；di <0.2的試題區分度為“較差”。

2.2 試卷分析

與試題分析類似，試卷分析也包括難度和區分度指標，分析方法相近。下面介紹試卷的信度與效度分析方法。

1）信度分析：

試卷的信度指標用來衡量試卷的可靠性與穩定性。信度高說明考生分數不易受偶然因素的影響而產生誤差，考生分數可以比較真實地反映考生的實際水平。

試卷信度的計算方法有多種，對于無紙化考試系統，適合采用同質性信度計算法。計算公式為：

式中B表示試卷的信度，n表示試題總數，si表示第i題分得的標準差，si2表示第i題得分的方差，s2表示試卷得分方差。其中：

m表示考生人數，xij表示第j個考生第i題的分數，xi表示全部考生第i題的平均分xj表示第j個考生的試卷得數，x 表示全體考生的試卷平均分。一般認為，B<0.5的試卷信度較差，0.5≤B≤0.8的試卷信度良好，B>0.8的試卷信度很好。

2）效度分析：

試卷效度是衡量考試結果對考試目標實現程度的指標，反映了考試的準確性和有效性。試卷的效度可以通過試卷的平均區分度來衡量：

其中R表示試卷效度，di表示第i題的區分度，n表示試題總數。一般認為R≥0.4的試卷才可以有效地實現考試目標。提高考試的效度需注意兩個方面的問題：一是考試的目標要明確，是要考核學生對基礎知識的掌握，還是要考核學生應用知識進行推理判斷的能力，或是兩者兼而有之；二是試題的設計要能有效地體現考試目標，客觀性試題一般用來考核學生對基礎知識的掌握，非客觀性試題則用來考核學生應用知識進行推理判斷的能力。

3 分析系統的設計與實現

1）把握題庫結構與組卷方法：

進行考試分析必須首先掌握題庫情況和組卷方法。無紙化考試的試卷類型，一般包括客觀題與主觀題兩部分。以我們已經實現的VB程序設計課程試卷為例，包括5個大題，分別為單項選擇、雙項選擇、填空、代碼填充和編程。前4個大題由考試系統自動判分，第5大題由教師通過考試系統人工評分。客觀題試題庫結構為：試題庫表（試題編號，題干，備選項，答案，分值，知識點ID，得分，難度，區分度）。其中的難度和區分度值，由擬題教師建庫時預估，考試分析后修正。

2）分析方法：

在進行考試分析時，前4題按客觀題分析，第5題按主觀題分析。

由于一個試題可能隨機地分布于多份試卷中，所以先按試題編號對每一道試題進行難度和區分度分析，所得結果替換當前值。并列出與當前值區別較大的試題，以便查找原因。

按照前述算法，分別分析每份試卷的信度和效度，最后根據每份試卷被抽取次數的加權平均值，得出本次考試的信度和效度。

3）實現技術：

具體的編程實現，有兩種方法：一是利用高級程序設計語言，通過ADO技術調用試題庫編程實現各種分析；二是將考試數據導出到Excel工作表中，利用Visual Basic for Microsoft Excel，在VB程序中直接調用Excel單元格進行各種分析。

4 結語

本文所討論的分析算法，系根據統計學和教育計量學中的成熟理論與我們實際運用相結合而得出的。事實上，分析方法有許多，如，可以運用試題特征曲線(Item Charateristie Curve)同時查看多個試題難度、區分度、猜測率等指標并進行分析比較；另外還可以通過尋找試題的誤差方差來分析試題偏差，檢測試題質量。

在具體的實現方法上，由于我們對雙項選擇題的判分方法比較復雜（選對兩項得滿分，選對一項得一半分，選錯一項不得分），因此感覺對雙項選擇題的分析偏差較大，敬請專家同行指導。

參考文獻：

[1] 李勇，宋曉霞.通用試卷分析系統的設計與實現[J].中國教育信息化，2008(4):55-57.

[2] 張敏強.教育測量學[M].北京:人民教育出版社，1997.

[3] 王青青，鹿瑾，蔣海明.基于ASP的網絡教學系統的設計與實現[J].現代計算機，2008(5):158-160.

[4] 李述剛.試題庫質量評價指標及應用[J]. 新疆醫科大學學報，2005(12):1198-1201.

注：“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文。”