認(rèn)知診斷測驗(yàn)的屬性分類一致性和分類準(zhǔn)確性指標(biāo)*

汪文義，宋麗紅，陳　平，丁樹良，程　艷

(1.江西師范大學(xué)計算機(jī)信息工程學(xué)院，南昌 330022；2.江西師范大學(xué)初等教育學(xué)院，南昌 330022；3.北京師范大學(xué)中國基礎(chǔ)教育質(zhì)量監(jiān)測協(xié)同創(chuàng)新中心，北京 100875)

?

認(rèn)知診斷測驗(yàn)的屬性分類一致性和分類準(zhǔn)確性指標(biāo)*

汪文義1，宋麗紅2，陳平3，丁樹良1，程艷1

(1.江西師范大學(xué)計算機(jī)信息工程學(xué)院，南昌 330022；2.江西師范大學(xué)初等教育學(xué)院，南昌 330022；3.北京師范大學(xué)中國基礎(chǔ)教育質(zhì)量監(jiān)測協(xié)同創(chuàng)新中心，北京 100875)

摘要：分類一致性和分類準(zhǔn)確性是衡量考試信效度的兩個重要評價指標(biāo)。基于項(xiàng)目反應(yīng)理論下分類一致性和分類準(zhǔn)確性指標(biāo)，提出認(rèn)知診斷測驗(yàn)的屬性(模式)分類一致性和分類準(zhǔn)確性指標(biāo)，討論分類一致性指標(biāo)、分類準(zhǔn)確性指標(biāo)與屬性估計誤差之間的關(guān)系，并由屬性掌握概率的估計標(biāo)準(zhǔn)誤推導(dǎo)出屬性分類準(zhǔn)確性的上限。結(jié)果顯示：屬性(模式)分類一致性可準(zhǔn)確估計重測一致性；分類準(zhǔn)確性指標(biāo)計算簡單，可準(zhǔn)確估計認(rèn)知診斷測驗(yàn)的判準(zhǔn)率。

關(guān)鍵詞：分類一致性；分類準(zhǔn)確性；屬性經(jīng)驗(yàn)信度；屬性α信度；確定性輸入噪聲與門模型

1引言

在認(rèn)知診斷評估領(lǐng)域中，診斷測驗(yàn)的信效度是一個較新的研究領(lǐng)域。認(rèn)知診斷主要是在離散潛在空間對被試分類，連續(xù)潛在空間下信度評估方法不能直接應(yīng)用于診斷測驗(yàn)(Henson，2005；Roussos et al.，2007)。因此，診斷分?jǐn)?shù)信度常常沒有報告，屬性分類結(jié)果的可信度就無從得知(Templin & Bradshaw，2013)。

總之，已有診斷測驗(yàn)的信度和效度評價方法，主要基于模擬的方法、α系數(shù)、相關(guān)系數(shù)或僅給出模式分類指標(biāo)等。……