汪文義,宋麗紅,陳 平,丁樹良,程 艷
(1.江西師范大學(xué)計算機(jī)信息工程學(xué)院,南昌 330022;2.江西師范大學(xué)初等教育學(xué)院,南昌 330022;3.北京師范大學(xué)中國基礎(chǔ)教育質(zhì)量監(jiān)測協(xié)同創(chuàng)新中心,北京 100875)
?
認(rèn)知診斷測驗(yàn)的屬性分類一致性和分類準(zhǔn)確性指標(biāo)*
汪文義1,宋麗紅2,陳平3,丁樹良1,程艷1
(1.江西師范大學(xué)計算機(jī)信息工程學(xué)院,南昌 330022;2.江西師范大學(xué)初等教育學(xué)院,南昌 330022;3.北京師范大學(xué)中國基礎(chǔ)教育質(zhì)量監(jiān)測協(xié)同創(chuàng)新中心,北京 100875)
摘要:分類一致性和分類準(zhǔn)確性是衡量考試信效度的兩個重要評價指標(biāo)。基于項(xiàng)目反應(yīng)理論下分類一致性和分類準(zhǔn)確性指標(biāo),提出認(rèn)知診斷測驗(yàn)的屬性(模式)分類一致性和分類準(zhǔn)確性指標(biāo),討論分類一致性指標(biāo)、分類準(zhǔn)確性指標(biāo)與屬性估計誤差之間的關(guān)系,并由屬性掌握概率的估計標(biāo)準(zhǔn)誤推導(dǎo)出屬性分類準(zhǔn)確性的上限。結(jié)果顯示:屬性(模式)分類一致性可準(zhǔn)確估計重測一致性;分類準(zhǔn)確性指標(biāo)計算簡單,可準(zhǔn)確估計認(rèn)知診斷測驗(yàn)的判準(zhǔn)率。
關(guān)鍵詞:分類一致性;分類準(zhǔn)確性;屬性經(jīng)驗(yàn)信度;屬性α信度;確定性輸入噪聲與門模型
1引言
在認(rèn)知診斷評估領(lǐng)域中,診斷測驗(yàn)的信效度是一個較新的研究領(lǐng)域。認(rèn)知診斷主要是在離散潛在空間對被試分類,連續(xù)潛在空間下信度評估方法不能直接應(yīng)用于診斷測驗(yàn)(Henson,2005;Roussos et al.,2007)。因此,診斷分?jǐn)?shù)信度常常沒有報告,屬性分類結(jié)果的可信度就無從得知(Templin & Bradshaw,2013)。

總之,已有診斷測驗(yàn)的信度和效度評價方法,主要基于模擬的方法、α系數(shù)、相關(guān)系數(shù)或僅給出模式分類指標(biāo)等。……