計算機自適應測試中c分層法的層數研究

包佃清 (連云港師范高等?？茖W校計算機系，江蘇 連云港 222006)

計算機自適應測試中c分層法的層數研究

包佃清 (連云港師范高等專科學校計算機系，江蘇 連云港 222006)

根據CAT(計算機自適應測試，Computerized Adaptive Testing)試驗所需的模型結合國內外現有可操作性的選題策略，采用c分層法進行計算機模擬試驗。通過模擬測試長度最大值分別為30、60、90的不同情況下測試結果，可以發現在8個評價指標下c分層法最佳分層數為10。

選題策略；邏輯斯蒂；自適應測試；蒙特卡洛

近年來項目反應理論(Item Response Theory,IRT)逐漸被嘗試應用到從業人員測試工作中來。自適應測試比常規測試具有更高的效率，它可以用比常規測試更少的試題量而獲得可與之相比或更好的測試效果。有試驗表明，在同等測量精確度的條件下，自適應測試可縮短40%～60%的測試長度[1]。因此自適應測試系統在從業人員能力測試中有很好的應用前景。計算機自適應測試(Computerized Adaptive Testing，CAT)中的關鍵技術之一就是選題策略。常用的選題策略有a分層法、b分層法、c分層法、最大信息量法、K-L信息量法等，從文獻[2]中可知，采用3參數邏輯斯蒂模型(3PLM)在選題策略上建議采用c分層法[2]。下面，筆者對計算機自適應測試中c分層法的層數進行了研究。

1 3PLM模型及c分層法

c分層法的基本思想是把題庫分成若干組，每組按b分層法分為若干層，把每組的相同層依次組合成子題庫，進行實測時，依次從子題庫中抽取試題[3]。

筆者討論了在相同的試驗環境下，采用c分層法時，不同的搜索層數是否影響試驗結果。根據已有的文獻資料及以往的試驗分析結果，決定采用3PLM模型:

(1)

式中，D=1.702；a表示試題的區分度；b表示難度系數；c是猜測系數；pi(θ)表示能力為θ的考生答對區分度為a、難度系數為b、猜測系數為c的題目的概率。

2 試驗方法

應用蒙特卡洛方法首先應該生成模擬參數。為了計算方便，假設2個條件：①所有試題記分方式為1/0；②采用3PLM模型的特征曲線。模擬參數生成步驟[4]如下：

1)參數ai生成12個服從U=(1,0)分布的隨機數ra(1),ra(2),…,ra(12)，令：

則ai=exp(lnai)，若ailt;0.2，則放棄生成該參數。

2)參數bi生成12個服從U=(1,0)分布的隨機數rb(1),rb(2),…,rb(12)，令：

3)參數ci生成的隨機數服從U=(1,0)分布，其中i=1,2,…,m,m為題庫試題數，這樣就產生了m對參數(ai,bi,ci)。同理，對每個θa生成12個服從U=(1,0)分布的隨機數rθ(1),rθ(2),…,rθ(12)，令：

其中，a=1,2,…,N,N是受測人數。如此反復，直到所有的試題全部生成。

試驗研究的是定長測試，其終止條件是當測試內容、時間及長度達到預先設定的條件時，則終止。這種方法的優點是條件易于掌握和實現，且可對每個測驗項目的使用率作較精確的統計。

3 試驗結果

針對最長測試長度不超過30、60、90的3種情況進行試驗，下稱試驗1、試驗2和試驗3。

常用的評價指標有[5]測驗效率E、測驗偏差Bias、測驗標準誤差MSE、試題曝光均勻度Chi指標、測驗重疊率R、平均測驗長度avgL、最大長度maxL、最短長度minL等。

試驗用蒙特卡洛方法模擬試題數量為 2000 的3參數試題庫，模擬1000受測者，子題庫k個，k(3，4,…,22)進行逐層搜索，分別進行試驗1、試驗2和試驗3，并分析8個評價指標，討論每種情況下的最佳搜索層數，試驗結果見表1、表2和表3。

表1 最長測試長度不超過30的試驗結果

表2 最長測試長度不超過60的試驗結果

表3 最長測試長度不超過90的試驗結果

在c分層法下由試驗數據得出，在相同的受測者和相同的題庫容量下，平均測驗長度分別為24.5、35.7和39，說明測試收斂程度較好；Bias值分別為-0.0252～0.0216、-0.036～0.03156和-0.0372～0.01272，除了試驗2指標幅度偏大外基本呈正態分布；測驗效率E符合預期，具有良好的測驗效率，其他指標均正常。

可以看出3個試驗均在搜索層數3～22范圍內，根據8個評價指標得出在c分層法下搜索層數最佳值為10層。

[1]余勝泉,何克抗.網絡題庫系統的設計與實現[J].中國遠程教育,2000，9(3):53-57.

[2] 包佃清.3PLM下計算機自適應選題策略比較[J]. 淮海工學院學報(自然科學版),2010,19(2):20-23.

[3] WANG Fen-su. Applieation of componential IRT model for diagnostie test inastandard conformante learning system[J].Advaneed Learning Technologies,2006,16(8): 237-241.

[4] 尹漢明.基于ASP.net的《預防醫學》CAT系統的研究與實現[D].南昌: 江西師范大學, 2006.

[5] 王茜娟.按c分層不定長CAT研究與實現[D].南昌: 江西師范大學, 2004.

[編輯] 洪云飛

10.3969/j.issn.1673-1409.2011.07.024

TP301.4

A

1673-1409(2011)07-0068-02

2011-05-15

江蘇省“十一五”現代教育技術研究課題(2010-R-17736)。

包佃清，男，碩士，講師，現主要從事軟件工程、信息技術、計算機輔助教育等方面的教學與研究工作。