分步增值評分——提高主觀題評分質量的有效方法

劉斯佳，張建新

(1.中國科學院心理研究所，北京100101;2.中國科學院大學，北京100049)

1 問題的提出

1.1 主觀題評分中存在的問題

主觀題包括簡答題、論述題、應用題、作文題等。相對客觀題，主觀題能更為真實地反映考生的能力，因此被廣泛運用于人員選拔考試和語言類考試中，對人員的錄用和篩選具有重要的現實意義。然而，主觀題評分的客觀性和有效性卻不容樂觀(關丹丹，2008)。前期研究發現甚至某國家級考試論述題依然存在評分員寬嚴程度異常的現象(李中權，孫曉敏，張厚粲，張立松，2008)。作文題作為一種復雜主觀題型，其誤差控制問題相較其他類型的主觀題型更為棘手，也更早受到研究者關注(劉遠我，張厚粲，1998)。有研究發現，評分員對作文評分寬嚴程度同樣存在著顯著差異(劉紅云，陳閱，駱方，王云峰，2010)。

主觀題評分的信度受到許多因素影響，包括題目難度、評分程序復雜程度、評分者間差異等等。有作者指出評分者誤差復雜性最高(王博，卞冉，車宏生，王蓉，2012)。評分者因為不能很好地掌握評分標準，造成他們在評分過程中認知負荷過大，對不同等級評分標準認識模糊，從而擴大了評分誤差;另一方面，為了減少認知負荷，評分者可能形成保守的打分策略，使考生評分結果難以進行區分(Gilfert ＆Harada，1992)。王博等(2012)對某大型人事考試評分分析中，首次描述了保守現象的“習得”過程。可以預見的是，作文的評分過程可能存在更為嚴重的失真現象。因此，在有效評價主觀評分誤差的基礎上，有必要通過優化評分流程來降低作文評分的誤差程度。……