馬秀誼 方苑 吳成兵
摘 要 題庫建設是教育考試走向專業化、規范化的主要途徑,也是目前國際先進考試評價機構的主要工作模式。建立高質量的題庫能夠確保大規模教育考試具有較高命題質量,從而達到穩定的測試目標,這也是省級教育考試機構建設高中學業水平測試題庫的現實需求。但是題庫建設是一項復雜、系統的工程,首先要明晰題庫的內涵和功能,明確題庫建設的性質;其次,在遵循科學性、保密性、有效性的原則下,提出具有可行性的建設框架;最后,要有配套的工作保障機制,加強隊伍建設,轉變工作機制等。
關鍵詞 普通高中 學業水平測試 題庫建設
黨的十八屆三中全會對考試招生制度改革作出全面部署,2014年,《國務院關于深化考試招生制度改革的實施意見》明確提出要“加強題庫建設”,“完善高中學業水平考試”,其中要求“創造條件為有需要的學生提供同一科目參加兩次考試的機會”。這就給教育考試機構提出了更高的要求。根據問題導向的思路,需要教育考試機構有效解決“同一科目一年兩考”、確保考試成績公平、可信,題庫建設給我們提供了解決問題的思路。本文主要就題庫建設中面臨的問題作出分析,重點探索題庫建設運行管理機制,提出“一中心、三配套”的建設框架,嘗試回答“題庫是什么” “如何建設題庫”,進一步探索省級教育考試機構建立學業水平測試題庫的有效途徑。
一、對學業水平測試題庫建設的認識
1.基于標準的高中學業水平測試
在建設題庫之前,首先應該明確題庫的性質,明確題庫儲存何種性質的試題,考試的功能為何,同時還要明確考試測量的范圍和能力目標要求,以及題庫的使用對象等。為此,需要我們對高中學業水平測試有清楚的認識。一般來講,高中學業水平測試與語數外科目考試、綜合素質評價共同構成完整的普通高中學生綜合評價體系,是高考方案的重要組成部分。就其考試性質而言,是一項標準參照性考試,是以某種既定的標準為參照系進行解釋的考試。
主要目的是評價學生經過相當時間學習后,學生學業所能達到的水平,通常這種水平以等第表示。為此,在題庫建設中要緊緊圍繞“標準”考試的性質,要有“標準意識”,為題庫建設做好頂層設計,例如,在試題入庫階段要基于學業標準意識開展命題工作,否則遴選入庫的試題不符合學業水平測試的測試目的,系統化生成廢題,會給題庫建設工作帶來嚴重后果。
2.題庫的內涵和功能
從國外來看,關于題庫建設和應用較為廣泛,例如SAT、ACT等考試。但在國內題庫建設的研究和應用上,偏重于理論研究,且存在一定認識誤區。如許多研究者將一定數量和范圍征集的試題集稱為題庫。實質上,國內關于題庫建設的大量探討,更多意義上是卷庫的集成,并非真正意義上的題庫。題庫實質上是按照一定的教育測量理論,在計算機系統中實現的試題和試卷的集合,它是嚴格遵循教育測量理論,在精確的數學模型基礎上建立起來的教育測量工具。題庫并不是簡單地將某一科目的試題簡單地收集存入計算機,這種作法,充其量只是一個習題集或者試卷庫,是題目堆積的倉庫,并不是真正意義上的題庫。完整意義上的題庫,除了具有錄入存儲試題的功能外,還應具備智能組卷、分析反饋等功能。
3.現代教育測量理論和技術的引入
題庫建設總是在一定的測量理論指導下進行的。測量理論不同,題庫建設的方法、試題的參數與代碼系統以及選題組卷系統也會不同。題庫建設離不開現代教育測量技術的支持,具體指經典測量理論(CTT)和項目反應理論(IRT)。學界關于二者的比較早有明確論述,這里不作具體闡述。現有研究表明,基于CTT的等值方法只能實現不同試卷之間的等值,可用于建設“試卷庫”,而基于IRT的等值方法可以更好地滿足大規模題庫建設的需要。但是目前項目反應理論(IRT)的研究仍偏重于理論,較少應用于大規模高利害性教育考試項目。而且其假設條件要求嚴格,對測驗條件要求較嚴格,這些條件不滿足就會影響測試的精準性。
此外,關于試測工作。一般來講,在題庫建設過程中都要求只有經過試測的試題才能進入題庫,然而,由于國內大規模教育考試的安全要求,試測環節的保密工作給考試的組織實施帶來較大困擾,很難滿足實施嚴格意義的試測。題庫是否需要經過試測以取得相應的指標屬性,值得深入思考。如果是為了提高試題的質量和滿足評價的需要,可以僅對部分試題(錨題庫)方式進行試測和校準。
二、題庫運行的設計規劃
基于以上分析,本文認為學業水平測試題庫應遵循科學性、保密性、有效性的基本原則,在明確題庫性質基礎上,重點建設“一中心,三配套”,具體指以命題管理系統為中心,安全系統、維護系統、評價系統三大配套系統。
1.基本原則
(1)重視題庫建設的科學性。題庫建設應以科學的教育測量理論為指導,遵循題庫建設的規律和內在要求,充分吸收和利用國內外題庫建設的先進經驗,注重研究論證,重點攻關試測、等值等關鍵技術。
(2)突出題庫建設的保密性。安全保密是命題工作的高壓線,在建設規范和標準、管理與使用等各個環節都應嚴格制定符合國家保密要求的操作流程,確保題庫安全運行。
(3)強調題庫建設的有效性。有效性是發揮題庫效益的必然要求,題庫建設應在保持科學性的前提下,突出有效性,避免資源、財力浪費。應在廣泛調研和嚴格論證的基礎上,制定分階段的實施目標,以部分學科為試點,逐步推進題庫建設有序實施。
2.命題管理系統
題庫管理系統是指選題和組卷的軟件系統,其作為整個題庫建設的核心,是否高效發揮作用決定著題庫建設的成敗。題庫模式下的命題管理應包括三個方面:一是高效的試題入庫標準和工作機制;二是有效的試題分類管理;三是科學的組卷策略。為了保證題庫的有效運行,除了題庫中試題的質量和數量有保證外,試題如何分類編碼管理尤為重要。試題經過檢查合格后準備入庫,入庫前必須對每一道試題進行編碼,以保證試題有效存儲和方便提取。
鑒于高中學業水平測試有著相對穩定的課程標準、考試說明,本文認為比較有效的一種分類法可以根據考試說明最低級別的知識點進行分類管理,如從利用方便的角度,可以知識點的關鍵字段分類管理試題,但是鑒于學業水平測試的測試性質,還應添加試題的測試能力表述,為后期評價系統的開發應用做好準備。對入庫試題進行具體屬性標記,應包括三類內容。一是試題內容,包括試題及參考答案、分值等;二是自然內容,包括試題來源(年份、創作來源),試題上次使用時間和使用次數,這兩個參數主要是用來控制試題的曝光度;三是統計內容,包括試題描述性統計分析指標,具體指難度、區分度。雖然短期時間內,部分技術指標無法發揮作用,但是在題庫建設中要考慮到長遠發展的需要,為今后改革發展留足空間。除此之外,科學的組卷策略、便捷的試題錄入系統和安全的遠程征題系統也應納入考慮范疇之內。
3.維護系統
高效維護題庫,提高試題的使用效率,避免出現大量的廢題,是高質量題庫的重要特征和重要保障。維護題庫的運行,主要包括兩個環節,有效補充新題和改造“廢題”。
(1)補充新試題。一般來講,保持一定數量的試題是維護題庫運轉的重要前提。具體保持多少題量,沒有一個定論,應該根據考試的性質、題庫的使用模式、組卷數量等來決定。如果今后學業水平測試采用的是機考方式,同時組卷量較大的情況下,試題量應越大越好。但是鑒于學測目前仍然采用紙筆化測試,一次測試只使用一份試卷,初期題庫建設可以保持5~6倍,同時要更加注重試題的質量。另外,需要注意的是補充新題要突出結構性、有層次有重點。首先,對于題型、知識點較為穩定,且試題情境與時事政策關聯不大的,可以先行、重點命制。其次,根據先難后易原則,優先補充相對較難命制的試題。
(2)改造“廢題”。廢題產生原因有諸多因素,例如經常不被選用,或者情境材料過于陳舊等,不可避免會產生無效試題,維護題庫的目的就是要把廢題控制在一定水平上,防止出現系統化廢題。主要做法:一是嚴把入庫關,制定嚴格的試題入庫標準;二是建立“廢題庫”,采取改編、剔除等手段把廢題量控制在一定水平上。
從更長遠的角度看,必須在安排命題工作時遵循這樣的原則:核心內容要多,邊緣內容要有,以此最大限度地減少因政策調整、課標修訂、教材重編等上層因素造成的試題過時問題。總之,題庫的建設和維護是動態過程,要做到維護題庫和考試改革發展同步、補充試題與考試同步、命題技術與題庫技術發展同步。
4.安全系統
使用題庫工作模式,能較好地提高命題質量和保持考試難度的穩定性。但與封閉式命題模式相比較,鑒于其作為大規模考試具有高利害性,其安全性仍有很大隱憂。主要有三方面:一是題庫試題的曝光率。這也是題庫建設過程中不可避免的一個問題,主要指試題的重復使用問題,應主要根據考試性質、考試的厲害關系綜合考慮。對于學業水平測試而言,基本原則應是盡量避免重復使用,或者少使用。試題的重復使用會嚴重影響到考試效果,以及產生的不真實考試數據會給后期的考試評價帶來誤判。二是人為盜竊和不可抗拒原因導致的數據丟失等。可以采取嚴格管理制度,做好題庫數據的備份,予以解決。
5.評價系統
考試結果的統計與分析既是科學化考試流程和題庫建設中的一個重要步驟,也是促進考試走向科學化、規范化必不可少的手段。通過對考試結果的分析與利用,一方面可以建立嚴格的考試質量控制體系,及時發現考試中的問題,進而提高試卷和考試的質量。另一方面,基于考試結果的大量數據,可以研發針對地區、學校、個人的多層次評價報告。基于學校、地區的評價報告可以側重對教育教學的反饋,服務基層教育單位;基于考生個體的評價報告,嘗試從傳統的分數報告轉變為多維度的成績報告,這也是今后題庫建設中重點突破的領域。
三、建立高效率題庫的重要保障和機制
1.加強隊伍建設,打造協作合力
建設題庫不僅需要學科命題專家,更加需要教育測量理論的指導和計算機技術的支持,同時還有大量的管理工作。所以,必須建立一支由學科命題專家、教育測量專家、命題管理人員與計算機技術人員組成的專門隊伍。
學科命題專家發揮著核心作用,決定著題庫建設的成敗。其職責主要是提供符合要求的高質量試題,并根據要求對學科試題進行專門的維護;教育測量學專家的職責在于解決試測、等值等題庫建設中的技術難題,起著題庫建設“規劃師”的角色;命題管理人員也要實行專業化,題庫管理環節多,日常維護任務多,要求復雜,這就需要熟悉命題業務的專門人員;計算機人員主要是為題庫建設提供技術研發支持,該項任務可以委托給合作的相關技術研發公司完成。
2.轉變工作模式,提升管理效率
題庫模式下的命題工作意味著工作模式的質變,也對命題組織和管理提出了更高的要求,需要重新打造整個的命題管理流程,建立適應題庫運作的命題工作機制和管理模式,包括培訓、征題、審題、試題入庫、題庫維護等階段。為保證各環節工作順暢,需要重點做好兩方面工作:一是建立并完善各環節工作的質量標準和工作規范,例如試題入庫質量標準;二是做好日常題庫管理和技術研發并重。題庫的管理和維護應是一個動態過程,日常管理應注重題庫運作的規范性和有效性;技術研發應側重解決等值技術等技術難題,關注題庫發展的前沿技術。
學業水平測試題庫建設是一個工作量龐大、要求極高的系統工程,需要理清思路,周密規劃,分階段實施,同時需要明確今后工作的方向,重點突破。一是在技術層面,積極探索和研究項目反應理論(IRT)在題庫建設中的實際效用;二是安全方面,根據考試性質的需要制定各個環節的安全解決方案。總之,在教育測量學理論指導下,邊學習、邊研究、邊建設,爭取逐步取得階段性成果,探索題庫式命題和大規模運用題庫的技術手段,最終實現完全依托題庫來命題與考試的工作模式,進一步推動考試評價工作向縱深發展。
參考文獻
[1] 顧海根.心理與教育測量[M].北京:北京大學出版社,2008.
[2] 李光明,關丹丹.關于題庫建設的若干問題的思考[J].中國考試,2014(9).
[3] 高升.題庫建設中的試題沉積問題及其應對策略分析[J].中國考試,2010(3).
【責任編輯 關燕云】