命題管理者控制試題難度的方法

章奎

1 控制試題難度的意義

中國是一個考試大國，特別是國家教育考試，事關(guān)廣大人民群眾的切實利益，事關(guān)社會的和諧和穩(wěn)定，黨中央和各級人民政府高度重視，社會高度關(guān)注。而社會對考試關(guān)注的重點(diǎn)，往往會聚焦在考試難度上，所以對試題難度的有效控制是考試管理層和業(yè)務(wù)層共同肩負(fù)的重任。合適、穩(wěn)定的試題難度，可以保證考試的穩(wěn)定性和連續(xù)性，符合考試的本質(zhì)和滿足考試的功能需要。目前，我國各級考試管理部門對試題難度的相關(guān)理論研究都很深入，這對我國大規(guī)模考試質(zhì)量的保證起到了積極的、重要的作用。

2 控制試題難度所面臨的困難

在大規(guī)模考試的現(xiàn)實中，由于真正試題難度值的取得只有在全樣本的考試成績數(shù)據(jù)獲得后才能實現(xiàn)，所以在考試前，對試題難度的控制，只是停留在預(yù)估或預(yù)測的層面，很難有一個客觀、具體的標(biāo)準(zhǔn)來幫助考試管理層及考試業(yè)務(wù)層來確定試題難度，這就給試題難度的控制帶來了困難。

就對試題難度的預(yù)估來說，由于缺乏一個客觀、具體的衡量標(biāo)準(zhǔn)，預(yù)估只能依靠命題者的經(jīng)驗，并且只能靠考試的結(jié)果來佐證這樣的經(jīng)驗正確與否。對考試管理層來說，以往“有經(jīng)驗的”命題者就是他們能夠控制試題難度的重要因素，他們會對這些“有經(jīng)驗的”命題者產(chǎn)生過度依賴，覺得只有依靠他們，才能將試題難度控制在理想的范圍內(nèi)。這樣的依賴，其結(jié)果就會導(dǎo)致在對命題人員的挑選上，命題管理層不愿意擴(kuò)大挑選范圍，總是局限在這些多次參加過命題的“有經(jīng)驗的”的人員中；二是導(dǎo)致在命題的管理上，很難做到指導(dǎo)、商榷和評價。這不但使得標(biāo)準(zhǔn)化的命題管理流程，特別是制度建設(shè)與制度執(zhí)行不能完全得到落實，而對試題難度的控制也不能真正落到實處。

對命題者來說，預(yù)估是基于他們自身對大規(guī)模考試本身的了解程度和對考生基本情況的了解程度上，當(dāng)然，也基于他們以往預(yù)估的準(zhǔn)確程度上。但這些都只能是命題者自身的主觀感覺。在命題中，一旦學(xué)科命題組中出現(xiàn)有分歧的判斷意見，到底誰對誰錯，很難由一方說服另一方。最后，即使是學(xué)科命題組形成意見比較一致的判斷，其準(zhǔn)確程度如何，命題人員自己也沒有足夠的把握。他們往往和命題管理層一樣，每次命題后，都膽戰(zhàn)心驚地等待著考試結(jié)果，等待著通過的實際數(shù)據(jù)，和社會的反響來驗證他們的判斷。

3 試題難度校準(zhǔn)系統(tǒng)

要解決試題難度控制問題，就是要解決預(yù)估正確程度的客觀評價問題，以及對預(yù)估產(chǎn)生的偏差如何進(jìn)行校準(zhǔn)問題。為此，本研究試圖尋求一種可以幫助命題者校準(zhǔn)試題難度判斷偏差的方法，通過反復(fù)論證和實驗，開發(fā)出一套試題難度校準(zhǔn)系統(tǒng)。

該系統(tǒng)假設(shè)即將要進(jìn)行的考試與最近一次同類考試，其規(guī)模相對穩(wěn)定，考試內(nèi)容相對穩(wěn)定（相關(guān)的教學(xué)要求和考試標(biāo)準(zhǔn)沒有大幅度的調(diào)整），考生狀況相對穩(wěn)定，對將要參加此次考試的考生來說，用最近一次同類考試的試題來對他們進(jìn)行考試，得出的難度值將基本一致。通過這樣的假設(shè)，可以對命題者對最近一次同類考試的難度判斷情況，來分析他們對將要進(jìn)行的大規(guī)模考試試題難度的預(yù)估的準(zhǔn)確程度。使得對預(yù)估的評價有了一個科學(xué)、客觀的依據(jù)。

具體做法是，在命題前，要求每位命題者在不知曉實際試題難度值的情況下，對最近一次考試試卷進(jìn)行試題難度估測，并把估測數(shù)據(jù)錄入軟件中。錄入時，命題者可以隨時調(diào)整對試題難度的判斷，直到自己認(rèn)為比較準(zhǔn)確時，可以查看和打印分析報告。軟件自動對每位命題者的試題難度判斷情況進(jìn)行詳細(xì)分析，從整卷難度、試卷難度分布以及每個小題偏差情況三個方面分別作出具體評價。

當(dāng)命題者通過系統(tǒng)發(fā)覺自己的判斷偏差較大時，系統(tǒng)可以幫助命題者對判斷進(jìn)行校準(zhǔn)。軟件通過醒目的紅色或綠色直方圖，顯示每一小題的判斷偏高或偏低情況以及偏差的大小情況，在命題者腦海中留下深刻印象。而命題者絕不會機(jī)械地將自己的判斷值改正為實際數(shù)值，相反地，他們會自動地對照試卷，分析各試題在這樣的大規(guī)模考試下，其難度值應(yīng)該是怎樣的一個范圍。同時，他們會總結(jié)出最近一次考試試題中的同類知識點(diǎn)，以及這些知識點(diǎn)的同類考試要求、同類題型等在這樣的大規(guī)模考試中會是什么樣的難度。通過一次次的加深印象，命題者最終會對試題的難度判斷形成深刻的感性認(rèn)識，當(dāng)他們面對具體的試題時，不再覺得判斷難度無據(jù)可依，在他們腦海里會自動呈現(xiàn)鮮明的判斷印象，可以準(zhǔn)確地反映出試題的難度值。

在經(jīng)過反復(fù)的校準(zhǔn)后，當(dāng)命題者認(rèn)為自己的判斷已基本準(zhǔn)確時，對他們還要進(jìn)行再次測試，直至他們的判斷偏差真正得到校準(zhǔn)后，才讓他們正式進(jìn)入命題。實踐證明，這樣的校準(zhǔn)時間只需要1～2天。

在審題環(huán)節(jié)，命題管理者還要通過系統(tǒng)對所選試題的預(yù)估難度值進(jìn)行再次分析，對學(xué)科命題小組內(nèi)估測差異較大的題目進(jìn)行篩選，供審題時決定是否淘汰這些題目，以更有效地控制試題難度。

表1顯示的對30位命題人員按學(xué)科分成5個測試組，在命題前首次測試試題難度值的統(tǒng)計數(shù)據(jù)。表中“無偏差題數(shù)”為判斷的難度值與實際難度值相等的題數(shù)；“無偏差率”為無偏差題數(shù)占總題數(shù)的百分比；“顯著偏差題數(shù)”為判斷的難度值與實際難度值之差≥0.2的題數(shù)；“顯著偏差率”為顯著偏差題數(shù)占總題數(shù)的百分比。

表1 測試組經(jīng)系統(tǒng)校準(zhǔn)前判斷偏差統(tǒng)計表

表2 測試組經(jīng)系統(tǒng)校準(zhǔn)后判斷偏差統(tǒng)計表

表3 測試組對試題難度預(yù)估值與實際值偏差統(tǒng)計表

表2命題人員經(jīng)過系統(tǒng)對其判斷進(jìn)行多次校準(zhǔn)后，在正式進(jìn)入命題前的測試數(shù)據(jù)。

表3顯示是正式命題成卷后，各學(xué)科組對試題難度的預(yù)估與考試后實際得出的試題難度數(shù)據(jù)比較。

通過以上統(tǒng)計數(shù)據(jù)可以看出：經(jīng)過軟件校準(zhǔn)后，命題者對試題難度的判斷偏差率可降低到3%～5%，而顯著偏差則完全可以杜絕；命題者對試題難度預(yù)估的總偏差率與校準(zhǔn)后對試題難度判斷總偏差率基本一致。說明通過系統(tǒng)可以將命題者的試題難度判斷偏差校準(zhǔn)到比較準(zhǔn)確的程度，可以有效地控制試題難度。

4 結(jié)論

試題難度校準(zhǔn)系統(tǒng)為考試管理層或考試業(yè)務(wù)層有效控制試題難度提供了一個工具，其有效性還待做更進(jìn)一步的檢驗。

[1]李光明.落實《剛要》精神促進(jìn)高考與基礎(chǔ)教育協(xié)調(diào)發(fā)展[J].中國考試，2012（1）.