基于不同參數模型的項目參數估計結果的比較

鄒麗華

(大連教育學院 學習質量監測中心， 遼寧 大連 116021)

?

基于不同參數模型的項目參數估計結果的比較

鄒麗華①

(大連教育學院 學習質量監測中心， 遼寧 大連 116021)

參數估計是項目反應理論應用和發展的前提。本研究采用項目反應理論，使用PARSCALE4.1 軟件，選擇兩參數和三參數羅杰斯蒂(Logistic)混合模型對某年區域初中畢業生中考物理測驗成績進行項目參數估計，發現不同參數的項目參數估計結果在不同程度上存在差異。

項目參數估計；能力參數估計；羅杰斯蒂模型

教育測量是評價教育結果的重要方法，教育測量不僅包括對考試結果的評價分析，也包括對試題試卷質量的評價分析。近年來，國內開始采用經典測量理論和項目反應理論聯合使用，對測量數據進行精細分析。與經典測量理論相比，項目反應理論的優勢在于，它可以計算出項目參數(試題難度、區分度)，還可以預估出考生能力參數；并且項目參數和能力參數彼此相互獨立，即考生能力參數的估計不受所選用試題的影響，試題難度和區分度的估計也不受考生樣本的影響，但項目參數的估值往往受到不同參數選擇個數的影響。研究人員以某年初中畢業生中考物理學科成績為例，分別用二參數羅杰斯蒂(Logistic)混合模型和三參數羅杰斯蒂(Logistic)混合模型對項目參數和考生能力參數進行參數估計，進而比較兩種參數估計對項目難度和區分度結果的影響。

大連市初中畢業生學業考試物理試卷承擔著畢業與選拔兩種功能。本研究選擇某一年大連市市內五區考生中考物理考試成績，該試卷包括選擇題、填空題、計算題、簡答題和綜合題五種題型，共31道題目，試卷滿分值為90分。根據經典測驗理論分析，測驗Alpha信度系數0.920，物理試卷信度達到非常理想的程度。

一、項目反應理論常用的羅杰斯蒂模型

建立在潛在特質理論基礎上的項目反應理論，通過建立考生作答反應與題目特征量及能力水平間關系的非線性模型，估計被試的能力水平和題目參數，同時也定義了信息函數。從數學角度看，項目反應理論用含有未知參數的數學模型表示被試答對項目的可能性，是建立在概率的基礎之上。通常把試題難度、區分度、猜測系數稱為項目參數，把被試的潛在特質稱為能力參數。常見的模型有多級計分模型、等級模型、稱名模型，通常采用的是二值計分的單參數、二參數和三參數Logistic模型?，F以二值計分的三參數Logistic模型來說明項目反應理論。

項目反應理論三參數的模型(3PLM)為：

題目參數估計結果，項目難度估值一般在-3至+3之間；項目區分度一般大于零，原則上估值越大越好；項目猜測度越小，項目質量越好。根據項目參數估計的結果，就可以在此基礎上分析項目質量及對題目進行篩選。項目難度是項目篩選的參考指標，但是難度值的高低并不是單個項目取舍的依據。分析者應考慮作為所選測驗項目整體構成的難度分布與測驗所要求的難度分布是否擬合，并以此作為取舍的原則。項目區分度和猜測度是單個項目取舍的依據，項目區分度一般不小于0.50，否則就應考慮刪除，項目猜測度最大一般不應超過0.25。[1]

二、不同參數模型項目參數擬合結果的比較

研究中采用項目分析軟件PARSCALE4.1對不同考生的能力值和項目參數值進行估計，選用的是二參數混合模型(二參數Logistic模型和分步評分模型)和三參數混合模型(三參數Logistic模型和分步評分模型)。用邊際極大似然法估計項目的難度、區分度和猜測度；對能力估計時采用牛頓極大似然估計法(MLE)估計和后驗期望估計(EAP)。

用PARSCALE4.1軟件和選取Logistic混合模型對項目參數進行估計時，-2loglikelihood值是擬合統計量，表示模型和數據的擬合程度。這是一個相對統計量，用于模型比較，值越小擬合越好。最終二參數擬合統計量為698930.776，三參數為720646.935，顯然是二參數模型與數據擬合的結果要比三參數的好。

1．單選題

中考物理選擇題分為單項選擇題和多項選擇題，猜測度的估計是針對單選題而言的。物理單選題的特點是在題目中給出四個選項，其中只有一個正確選項。分別用二參數和三參數模型對單選題進行項目參數估值，結果見表1所示。

表1 單選題二參數混合模型與三參數混合模型項目參數估值的結果

由表1可知，同一道題不同參數模型估計的難度、區分度均有差異。同一道試題二參數的難度估值小于三參數的難度估值，項目難度估值相差較大。例如，第3題二參數的難度估值是-2.236，三參數的難度估值為-0.916。除了第1題和第6題，其他試題區分度估值，二參數的均小于三參數的。再例如，第8題二參數區分度估值為0.877，三參數區分度估值為1.233。說明猜測度的估計對題目難度和區分度參數估計有較大影響。從猜測度估值角度看，c值小于0.25有兩個題目(第5、9題)，c值為0的有兩道題(第1、6題)，c值大于0.25的有五道試題(第2、3、4、7、8題)。試題猜測度小，說明考生在該試題上不容易猜對。

2．多項選擇題及主觀題

多項選擇題的特點是在題目給定的四個選項中選擇正確的選項，正確選項可能不止一個。如果考生選擇了錯誤選項，不給分；如果只選擇了部分正確選項，就給試題滿分的一半分；如果全選對了，就給滿分。對多項選擇題、主觀題分別用二參數混合模型與三參數混合模型進行項目參數估計，結果見表2所示。

表2 多選題、主觀題在二參數混合模型與三參數混合模型項目參數估值的結果

由表2可知，同一道題不同參數混合模型計算的難度估值有差異，二參數的難度估值小于三參數的難度估值，項目難度估值相差約為0.70，而試題區分度估值幾乎沒有差異，二參數與三參數相差不大于0.126。例如，第23題二參數的難度估值是-0.968，三參數的難度估值為-0.307；二參數區分度估值為0.502，三參數區分度估值為0.491。這說明對試題猜測度參數的估計，對試題難度估值有均衡影響，而對試題區分度幾乎沒有影響。由表2還可知，第10、11、12、31題的區分度在二參數和三參數混合模型的估值中均小于0.50，表明該試題對考生能力的區分功能不強。

三、思考與建議

1.中考物理項目參數擬合應選擇二參數混合模型。從二參數模型與三參數模型的相關統計結果看，二參數與三參數難度值(b)的點二列相關系數為0.8662，區分度的點二列相關系數為0.7396。相對統計量的相關程度不高。建議在試題全部是客觀題時，選擇三參數的羅杰斯特混合模型為佳，否則要選擇二參數混合模型為好,以保證估計結果的準確性。

2.中考物理命題應以考查能力立意為主，更好地體現中考的選拔功能。從考生能力預估與原始得分的結果看，將原始得分與2PL模型能力參數估值進行相關分析，相關系數為0.9693，相關程度比較高，表明考生物理得分能很好地代表學生的物理學業能力。中考學科測試雖然是兼顧水平和選拔兩種測試功能，但中考物理考試基本上屬于能力測試，死記硬背不得分。

[1] 戴海琦.基于項目反應理論的測驗編制方法研究[J].考試研究，2006(4)：31-44.

[責任編輯：知然]

On Comparison of Estimates of Project Parameters from Different Parameter Models

ZOU Li-hua

(StudyQualityMonitoringCenter,DalianEducationUniversity,Dalian, 116021,China)

Parameter estimate is the premise of the application and development of project reaction theory. The study adopts project reaction theory, uses the software of PARSCALE 4.1, chooses two-parameter and three-parameter Logistic mixed model to estimate project parameters in terms of junior middle school graduates’ physics test results of one region, finding that differences of various degrees exist as far as parameter estimate results of different parameter projects are concerned.

project parameter estimate; ability parameter estimate; Logistic model

2016-06-22

遼寧省“十三五”教育科學規劃課題“區域初中畢業生物理成就差異的實證研究”(JG16CB324)

鄒麗華(1963- )，女，吉林吉林人，教授。

G632.479

A

1008-388X(2016)03-0075-03