對(duì)群體水平直接估計(jì)法的探討

【摘 要】群體水平直接估計(jì)法作為一種全新的IRT群體估計(jì)方法，即能克服CTT在群體估計(jì)的困難，又能有效改善IRT對(duì)群體的估計(jì)。目前應(yīng)用有困難，但卻是一種值得引起廣泛關(guān)注的新方法。

【關(guān)鍵詞】群體水平直接估計(jì)法；IRT

一、研究背景

伴隨著我國(guó)基礎(chǔ)教育的發(fā)展，全面提高教育質(zhì)量成為我國(guó)教育改革與發(fā)展的核心任務(wù)?！秶?guó)家中長(zhǎng)期教育改革和發(fā)展規(guī)劃綱要（2010～2020年）》中提到：“國(guó)運(yùn)興衰，系于教育”。我國(guó)基礎(chǔ)教育在實(shí)現(xiàn)義務(wù)教育發(fā)展階段后，在基礎(chǔ)教育質(zhì)量評(píng)價(jià)、檢測(cè)和監(jiān)控的研究及實(shí)踐方面已進(jìn)入了新的發(fā)展階段（耿申，2011）。當(dāng)前我國(guó)尚未開(kāi)展針對(duì)整體學(xué)生發(fā)展的地區(qū)性大型評(píng)估，缺乏有效方法是重要原因。目前已開(kāi)始深入研究PISA、TIMSS、NAEP、TASA和PIRIS等國(guó)際大型測(cè)試，努力探索出適合我國(guó)國(guó)情的教育質(zhì)量監(jiān)控體系和方法。

二、含義與現(xiàn)狀

群體水平評(píng)估是指針對(duì)由一定數(shù)量個(gè)人所組成的單位、團(tuán)體組織進(jìn)行的評(píng)估（蔡艷，丁樹(shù)良，涂冬波，戴海琦，2012）。過(guò)去衡量學(xué)生、教師、學(xué)校的教育發(fā)展水平大多依據(jù)學(xué)校升學(xué)率和學(xué)生成績(jī)（吳志華，王紅艷，王曉丹，2011），多建立在經(jīng)典測(cè)驗(yàn)理論（Classical Test Theory，CTT）基礎(chǔ)上。但群體人數(shù)會(huì)直接影響群體估計(jì)（Tate King，1994），而且在大型評(píng)估中，評(píng)估工具往往較大題量構(gòu)成，遠(yuǎn)大于學(xué)生一次測(cè)試能夠接受的題量，這個(gè)矛盾常出現(xiàn)在實(shí)際工作中。而另一種項(xiàng)目反應(yīng)理論（Item Response Theory，IRT）可以克服這一困難。IRT的估計(jì)也受到樣本大小的影響。很多研究結(jié)果也表明：運(yùn)用IRT對(duì)測(cè)驗(yàn)結(jié)果進(jìn)行分析時(shí)，若將群體人數(shù)控制在一定范圍內(nèi)，不需要大量試題也能保證估計(jì)的精確度（吳國(guó)華，1990）。基于IRT作群體評(píng)估時(shí)，獲得考生的個(gè)體領(lǐng)域分?jǐn)?shù)后將組內(nèi)個(gè)體的個(gè)體領(lǐng)域分?jǐn)?shù)平均，以此獲得該組個(gè)體的群體領(lǐng)域分?jǐn)?shù)，即平均所有個(gè)體在各題上的P（ ）值作為群體能力的指標(biāo)。該方法類(lèi)似CTT的求均值，會(huì)受到群體數(shù)量和題數(shù)的影響。還有另一種方法，先獲得群體內(nèi)個(gè)體在各題的正確作答概率，利用正確作答概率估計(jì)出群體水平，又稱(chēng)為群體水平直接估計(jì)法。蔡艷（2010）使用該方法英語(yǔ)閱讀問(wèn)題解決能力評(píng)估及認(rèn)知診斷，僅用20題，且每題10人作答，每人答一題。

三、問(wèn)題與展望

近年來(lái)國(guó)際大型考試的題量多少直接體現(xiàn)在預(yù)定的測(cè)試時(shí)間。PIRLS2006研究團(tuán)隊(duì)認(rèn)為，需要近7個(gè)小時(shí)才能完整測(cè)試一名學(xué)生在兩種不同閱讀目的下所進(jìn)行的閱讀活動(dòng)，但鑒于實(shí)際情況，PIRLS將測(cè)試時(shí)間規(guī)定為80分鐘；NAEP對(duì)學(xué)生答題時(shí)間精確至每一道題，兩種形式的閱讀評(píng)價(jià)試卷總耗時(shí)均為50分鐘（楊清，2012）；PISA測(cè)驗(yàn)有若干個(gè)試題冊(cè)，每名學(xué)生樣本只要求作答其中的一套，測(cè)驗(yàn)題量一直保持在130題以上（蘇洪雨，2008）。在心理健康評(píng)定使用較多各類(lèi)心理健康量表里，SCL-90有90個(gè)項(xiàng)目；由王極盛主編的《中國(guó)中學(xué)生心理素質(zhì)量表》有50個(gè)項(xiàng)目（王極盛，1997）；《大學(xué)生人格健康調(diào)查量表》（UPI）有56個(gè)計(jì)分項(xiàng)。辛濤（辛濤，謝敏，2010，2011）研究表明，實(shí)踐中當(dāng)總題量確定時(shí)，為了較精確地估計(jì)群體領(lǐng)域分?jǐn)?shù)，每個(gè)題本中的項(xiàng)目數(shù)≥25較為合適；在保證精確性的前提下節(jié)約編題成本，每個(gè)題本的題數(shù)不可超過(guò)60；從編題成本和估計(jì)精確性角度考慮，題本項(xiàng)目數(shù)在30左右較為合適，最好不低于30（“基礎(chǔ)教育教學(xué)質(zhì)量監(jiān)測(cè)系統(tǒng)”項(xiàng)目組，2009）。在題量會(huì)大于20的實(shí)際工作中，群體水平直接估計(jì)法效果如何還有待探索。

現(xiàn)有研究也表明題量、項(xiàng)目難度和區(qū)分度、群體大小、群體內(nèi)個(gè)體能力分布會(huì)影響群體水平能力估計(jì)的精確性和穩(wěn)定性以及群體能力認(rèn)知診斷。作為一種全新且有效的方法，雖在實(shí)際工作普遍應(yīng)用還有距離。經(jīng)過(guò)一段探索和發(fā)展，相信它會(huì)有助于我國(guó)教育事業(yè)的進(jìn)步。

參考文獻(xiàn)

[1]“基礎(chǔ)教育教學(xué)質(zhì)量監(jiān)測(cè)系統(tǒng)”項(xiàng)目組.IRT下題量與被試量對(duì)參數(shù)估計(jì)模擬返真性能的影響[J].中國(guó)考試（研究版）.2009（6）：3～10

[2]Tate，R.L.，King，F(xiàn)..Factors Which Influence Precision of School‐Level IRT Ability Estimates[J].Journal of Educational Measurement.1994，31（1）：1～15

[3]蔡艷，丁樹(shù)良，涂冬波，戴海琦.群體水平IRT模型及其應(yīng)用——兼與IRT的比較[J].心理科學(xué).2012，35（006）：1497～1501

[4]耿申.基礎(chǔ)教育質(zhì)量監(jiān)控：回歸“質(zhì)”的評(píng)價(jià)——中國(guó)教育學(xué)會(huì)基礎(chǔ)教育評(píng)價(jià)專(zhuān)業(yè)委員會(huì)2011年專(zhuān)題研討會(huì)述評(píng)[J].中小學(xué)管理.2011（6）：20～25

[5]蘇洪雨.PISA：數(shù)學(xué)素養(yǎng)測(cè)試題的設(shè)計(jì)和研發(fā)過(guò)程[J].教學(xué)與管理.2008（5）：49～51

[6]王極盛.中國(guó)中學(xué)生心理素質(zhì)量表的編制及其標(biāo)準(zhǔn)化[J].社會(huì)心理科學(xué).1997（4）：21～25

[7]吳國(guó)華.樣組大小和測(cè)驗(yàn)長(zhǎng)度對(duì)于考生能力估計(jì)的影響[J].南京師大學(xué)報(bào)（社會(huì)科學(xué)版）.1990（1）：106～108

[8]吳志華，王紅艷，王曉丹.大規(guī)模教育評(píng)估的興起，問(wèn)題與發(fā)展——加拿大教育評(píng)估的啟示[J].外國(guó)中小學(xué)教育.2011，（8）002