分步增值評分——提高主觀題評分質(zhì)量的有效方法

劉斯佳，張建新

(1.中國科學(xué)院心理研究所，北京100101;2.中國科學(xué)院大學(xué)，北京100049)

1 問題的提出

1.1 主觀題評分中存在的問題

主觀題包括簡答題、論述題、應(yīng)用題、作文題等。相對客觀題，主觀題能更為真實(shí)地反映考生的能力，因此被廣泛運(yùn)用于人員選拔考試和語言類考試中，對人員的錄用和篩選具有重要的現(xiàn)實(shí)意義。然而，主觀題評分的客觀性和有效性卻不容樂觀(關(guān)丹丹，2008)。前期研究發(fā)現(xiàn)甚至某國家級考試論述題依然存在評分員寬嚴(yán)程度異常的現(xiàn)象(李中權(quán)，孫曉敏，張厚粲，張立松，2008)。作文題作為一種復(fù)雜主觀題型，其誤差控制問題相較其他類型的主觀題型更為棘手，也更早受到研究者關(guān)注(劉遠(yuǎn)我，張厚粲，1998)。有研究發(fā)現(xiàn)，評分員對作文評分寬嚴(yán)程度同樣存在著顯著差異(劉紅云，陳閱，駱方，王云峰，2010)。

主觀題評分的信度受到許多因素影響，包括題目難度、評分程序復(fù)雜程度、評分者間差異等等。有作者指出評分者誤差復(fù)雜性最高(王博，卞冉，車宏生，王蓉，2012)。評分者因?yàn)椴荒芎芎玫卣莆赵u分標(biāo)準(zhǔn)，造成他們在評分過程中認(rèn)知負(fù)荷過大，對不同等級評分標(biāo)準(zhǔn)認(rèn)識模糊，從而擴(kuò)大了評分誤差;另一方面，為了減少認(rèn)知負(fù)荷，評分者可能形成保守的打分策略，使考生評分結(jié)果難以進(jìn)行區(qū)分(Gilfert ＆Harada，1992)。王博等(2012)對某大型人事考試評分分析中，首次描述了保守現(xiàn)象的“習(xí)得”過程。可以預(yù)見的是，作文的評分過程可能存在更為嚴(yán)重的失真現(xiàn)象。因此，在有效評價主觀評分誤差的基礎(chǔ)上，有必要通過優(yōu)化評分流程來降低作文評分的誤差程度。……