課程內容標準與試卷一致性分析工具的比較研究

王政

摘 要：比較韋伯模式、SEC模式、成功模式的框架與分析過程，分析國外一致性分析工具優缺點和適用情況，提出國外的一致性分析模式的使用建議。

關鍵詞：分析工具; 一致性; 比較研究

中圖分類號：G40-011.8 ? ? ? ? ?文獻標識碼：A ? ?文章編號：1006-3315（2019）06-153-001

教育行政部門規定課程內容標準是教材編寫，教學實施以及考試評價的依據。目前我國現行的教材是一綱多本的情況，即以教育部頒發的課程標準為依據，編寫適合不同地區的教材。以往研究大多關注教學實施的過程，對不同版本的教材研究成果也頗為豐富，但對試卷是否很好的符合課程標準的檢驗工具的研究相對較少，國外的一致性檢驗工具如SEC模式、韋伯模式是為了檢驗與之對應國家的試卷一致性水平而開發的，與國內試卷的結構、認知水平差異較大，直接套用會帶來較大的誤差。因此一致性分析工具的本土化和開發適合本國國情的分析工具是十分必要的。

1.Webb模式

Webb即韋伯模式是美國學者諾曼·韋伯于上世紀90年代提出的一致性檢驗工具。韋伯模式是最早的一致性檢驗工具，不得不說韋伯模式之后的一致性分析工具都不同程度的受到了韋伯模式的影響。韋伯建議使用金字塔模型，從上到下分別為：學習領域、主題目標、底層為具體目標。韋伯將一致性分為五個方面，分別是：內容的集中性，公平與公正，年級和年齡的吻合性，教學意義，評價系統的適用性。該模式從知識主題和認知要求兩個維度描述一致性。經過發展，韋伯將重心放在了知識層面的一致性，并提出以下四個維度：知識廣度，知識深度，知識種類和知識分布平衡性。

知識廣度衡量試卷中所有知識范疇和知識門類與標準所要求的知識范疇和門類是否一致。知識深度衡量試卷與標準中知識的程度和目標是否一致。知識種類衡量試卷中要求的學習范疇和標準中的學習范疇的一致性程度。知識分布的平衡性衡量試卷中具體項目是否分布合理。每一個維度的一致性根據內容標準的評價，都分為完全一致，基本一致以及不一致。

韋伯模式的好處是能夠對試卷所考察到的所有知識做出定性分析，但韋伯模式也有局限性。利用韋伯模式檢驗分值在60分以上，且選擇題居多的試卷得出的一致性結果信度較好。而國內的考試，尤其是高中物理等理科的試卷結構會與韋伯模式出現“水土不服”的情況。有研究者提出調整試卷結構，使之符合韋伯模式，但改變試卷結構則會降低一致性檢驗的信度與效度。

2.SEC模式

SEC模式（Survey of the Enacted Curriculum）是安德魯·帕特和約翰·史密在韋伯模式的基礎上開發的實踐課程調查模式。安德魯·帕特認為知識深度的一致性能夠全面分析評價和課程標準的一致性。他們二人通過構建知識種類×認識水平的二維矩陣，分別對課程內容標準和試卷內容進行編碼，統計各個知識點在課程標準和試卷中出現的次數和認知要求，并做歸一化處理，比較兩個二維矩陣的一致性程度而得出結論。安德魯·帕特以自己的名字命名了一致性系數即帕特系數。帕特系數的計算公式為

其中，X表示一個單元中的評價比例，Y表示另一個單元中的評價比例。這里X表示課程標準二維矩陣中每個元素所占比例，Y表示試卷二維矩陣每個元素所占比例。一致性系數從0～1表述完全不一致到完全一致。一般認為一致性系數和一致性程度成正比，一致性系數越大，試卷和課程標準符合的就越好，反之則一致性程度越差。SEC模式能夠量化一致性程度，解決了韋伯模式僅能定性描述一致性的弊端。SEC一致性分析模式適用的范圍廣，但SEC模式也有不足之處。在對課程內容標準編碼時，編碼者的意見較為統一，因此內部一致性較高，保證了對課程標準編碼的信度。但編碼者對同一道試題的解讀則會出現分歧，SEC模式的關鍵在于構建知識主題×認知水平的二維矩陣，而對試卷編碼的誤差會被帕特系數的計算公式放大，得出不準確的結果。因此利用SEC模式檢驗試卷與課程標準的一致性時，必須保證編碼者對試卷編碼的內部一致性，得出結果才有意義。

3.Achieve模式

Achieve模式也叫作成功模式。Achieve模式由美國非營利性教育研究組織Achieve的負責人羅伯特和斯萊特發明。Achieve模式的檢驗步驟概括為以下三個步驟：第一步，檢查試卷題目與課程內容標準的匹配程度，主要是集中在知識目標和認知水平兩個方面。第二步，對試卷題目的挑戰性進行判斷，包括每個題目的挑戰性和試卷整體的挑戰性判斷。第三步，判斷試卷的平衡性，即課程內容標準中的知識點是否在試卷中命中試題。Achieve模式的三步走分別從向心性，均衡性和挑戰性描述了一致性水平。

鑒于Achieve模式的微觀性質，Achieve模式分析的維度更多，結果更加綜合，對于測試編制問卷，課程內容標準的編寫均有指導意義。但該模式的一致性分析結果還停留在定性的描述分析結果上，人們只能從分析結果上得到大體的有關一致性的認識，而不能通過分析結果進行橫向比較和縱向比較。

以上是國外應用比較廣泛的一致性分析工具，每個模式各有側重，適用于不同的情況。韋伯模式對于知識的一致性分析較為全面，但更加注重知識層面的考察，忽略了課程標準中體驗性課程與實踐性課程的一致性分析。它對于樣本的試卷結構要求特殊，恰好國內的考試形式與韋伯模式的使用條件符合的不夠好。SEC一致性分析模式是唯一能夠將一致性量化統計的工具，因此利用SEC模式得出的一致性研究結果有較強的說服力，但SEC模式是以知識點出現的次數為變量進行統計的，頻數的大小難以反映試卷考察的知識深度與知識平衡性。Achieve模式是最新的一致性檢驗工具，但其終究沒有擺脫對統計結果的定性描述，因此一致性檢驗工具的本土化是新的研究方向。