【摘要】本文通過對李筱菊教授提出的考點效度的概念介紹,分析其對于完形填空尤其是高考完形填空的重要意義,并運用其操作方法對2009-2011年普通高等學校招生全國統一考試(英語卷)完形填空的考點效度作一具體分析和比對,以期從語言測試效度的角度對最新近三年高考英語完形填空的命題質量作一評估。
【關鍵詞】考點效度;完形填空;高考英語;命題質量
考點效度(testpoint validity)是我國語言測試研究領域的著名學者李筱菊教授在其著作《語言測試科學與藝術》(湖南教育出版社,1997)中提出的一個創見性的概念。考點效度同內容效度、結構效度、反撥效度一樣,都是對語言測試的題型在效度方面所提出的質量要求。不同的是,它主要針對完形填空和短文改錯等一類綜合考點單技能類型提出的。對于完形填空而言,考點效度指命題者在命題時對所刪除項目的考查分析和取舍,以盡量提高所刪除項目的考點層次,這種補全能力的完形填空題正是語言運用能力的綜合表現。鑒于完形填空題型的獨特作用和在高考英語卷分值的重要性,對其的考點效度分析即是對完形填空題在考點刪除的合理性方面提出效度要求。
一、考點效度的基本內容
所謂考點效度,就是命題人命題時應該對所要刪除的項目進行考查分析和選擇取舍,不僅要提高刪除項目的考點層次,并要在解剖文章的過程中融入語言知識和語法考查,充分體現和利用完形填空題語境功能和綜合特點,旨在能充分考查出受試者的綜合運用語言知識的能力。因此,對其進行考點效度分析是保證完形填空題的效度要求的最好指標。從另一個角度講,在高考完形填空題的其他效度不好操作的情況下,考點效度分析幾乎成為對其試題質量監控的唯一手段。
二、對高考完形填空題進行考點效度分析的必要性
最早的完形填空題是定距刪詞完形填空(定距,就是固定每數至第n個詞就刪掉,n一般是在5至10之間定的一個數。)一方面,在材料相同和受試者都相同的情況下,從不同的地點開始刪詞會使試題產生不同的難度,當然受試者所得的分數也不同;另一方面,這種隨機的定距刪詞很可能刪去了文章中上下文所必須的人名,地名,數字等。于是,人們根據情況詞距可長可短,形成了合理刪詞題型。為了用一定的科學的操作機制加以控制,李筱菊教授提出了完形填空的考點效度概念。她認為,完形填空題型的刪詞必須體現該題型的文章特征和綜合特點,著重考查考生語言綜合運用能力而非低級的離散的語言點或者基礎語法。要做到這些,必須在命題時減少考介詞,小詞,單詞,基礎語法和時態等離散的單一考點,著力使題目考點的制約范圍盡可能地寬,層次盡可能地高,也就是努力提高試題的效度。如果拿市面上的一些完形填空的練習試題,用李筱菊教授提出的考點層次分析法來進行統計,對每個空缺分析一下,不難發現,絕大多數完形填空題目都屬于低層次,超出句子層次達到語篇層次的很少。從統計學的角度分析完形填空題考點的語境層次分布,可以有效檢驗該題的命題質量。好的完形填空題,其中相當一部分題目也必然達到句子層次。而測試高級水平的試題,大部分應達到語篇層次的考查。
三、如何進行完形填空考點效度分析
經實驗證明,完形填空題換了具體刪的詞,得出的結果就不一樣。正是因為它們考的能力,不同人們運用語言的能力根本不是什么單一的能力。因此合理刪詞優于隨機定距刪詞,有必要考慮每個刪除項目的考點,對這些考點有所選擇。因此,完形填空考點效度的概念也由此提出。
(1)考點層次。李筱菊教授認為,完形填空題中這個起制約作用的語境——考點層次,可以有從小到大的四類不同的層次:W:單詞層次。這是最低的層次。P:詞組層次。S:句子層次。包括考查助動詞,關系代詞,連詞或副詞的考查。D:語篇層次。對所空缺的詞的決定光看其所在的句子還不行,還需要在語篇層次上考慮才能決定。很明顯,D層次的考點的題目顯然比W層次的考點的題目更能測試出受試者運用語言的真正能力;高層次考點能考查到低層次考點所不能考查到的知識。即考點層次越高意味著其效度越高。
(2)焦點因素。李還認為考點層次還和考點因素的側重(焦點因素)有關系。考點的焦點因素一般分三個范疇:語法因素(G),慣用搭配(C),意義因素(M)。每個考點有著刻意要考的因素,也就是焦點因素,還可能另有附帶要考的因素。但一般而言,低層次的考點往往側重考語法,而高層次的考點更側重考查意義。焦點為考意義的題目可以同時考查到語法,而焦點為考語法的題目無法同時考意義。
(3)考點效度分析的操作方法。具體來說,李筱菊教授的考點效度分析是這樣進行的:首先按照題號依次分析確定各題的考點層次和焦點因素。然后從小大大的各題號為橫坐標,從低到高四個層次(W到D)為縱坐標,畫出該完形填空的考點效度分析圖,同時在各題號下標出該題所考的焦點因素。這樣從圖中就可以反映該題各個考點的分布態勢。最后統計出各考點層次的數目,及它們在考點層次總數中所占比例。以此來對該題的考點效度和命題質量做出評估。
四、對2009-2011高考英語全國卷試題(NMET’09-11)的考點效度分析
統計調查顯示,2009年高考英語卷完形填空20道題目中,達到語篇層次的高檔題目有10道,占總數的50%,達到句子層次的中檔題目有8道,占總數的40%,達到詞組層次的中低檔題目有2道,占總數的10%。這應該是比較合理的。從各考點的焦點因素來看,把對意義的考查當做側重點的有15道題,占到絕大部分(75%),慣用搭配和語法作為考查焦點的分別占15%和10%。且對語法作為焦點進行考查的考點檔次也很高。09年高考英語完形填空題的命題從語言測試的角度看還是比較成功的,各層次分配比較合理,態勢相對合理。但有部分題目雖考查語篇層次解題,綜合能力不被用到就可以解題(如:第39,43題)。命題人應盡量不能讓受試人在文章中直接找到答案。另外,考查語篇層次的題目可以再提高,試題的考點效度就更高了。
統計結果顯示,在20道題中,達到語篇層次和句子層次的題目各9題,占總數的45%;達到詞組層次的有2題,占總數的10%。通篇文章也沒有一個考點僅考單詞層次。從這一結果看,中高檔層次一共占90%,總體上分布合理,由于高檔題目與中檔題目數量相當,語篇層次的考題應有所增加。從各焦點因素看,把對意義的考查當做側重點的有13道題,占到(65%),較之09年有所下降。慣用搭配作為焦點考查2道占10%。語法作為考查焦點的題有5道,比例占四分之一,可以適當減少。總體而言,2010年較2009年題目稍容易,考意義的層次比09年下降了10%。該題可提高各考點層次分配比例,使分配態勢更有區分度。
統計結果顯示,在20道題中,達到語篇層次的高檔題目有11道,占總數的55%,達到句子層次的中檔題目有8道,占40%,達到詞組層次的中低檔題目有1道,占5%,通篇文章也沒有一個考點僅考單詞層次。這道題中達到高檔層次的題目占到總數的一半以上,這應該是很理想了。從各考點的焦點因素來看,把對意義的考查當做側重點占到絕大部分(95%),慣用搭配作為考查焦點只有1道占5%,沒有一道題目是考查語法的。通過分析可以看出,考點層次上看,該題層次分明,分配合理;但由于焦點因素過多的考查了意義,忽略了慣用搭配和語法的考查,使2011年完形填空題難度大大加深。
五、結語
通過對比分析2009-2011三年的高考完形填空,可以看出,09年考點效度較為合理;2010年的考點效度也比較令人滿意,然而題目可適當增加意義的考查同時減少語法的考查;2011年考點效度須稍稍改進,題目難度應降低一些,適當減少意義作為焦點的考查比例。在各焦點因素分配比例上還有值得努力之處,以期望今后的歷年高考完形填空的考點效度呈現更為良好而平穩的走向和態勢。誠然,僅從考點效度這一角度還不能完全反映該題命題質量的全貌。完形填空題的其他要求如對母本材料的語言,體裁的要求,對答案選擇項、干擾項的設計,考點檔次和考點答對率等方面的要求等等。這些當需另外考證,本文不在考證之列。
參考文獻:
[1]Oller,J. W. Jr. 1976. Evidenee for a Genera1 Language Proficiency.
Faetor:An Expectancy Grammar.Die Neueren Sprachen 75:165-174.
[2]李筱菊.《語言測試科學與藝術》[M].湖南教育出版社,1997.
[3]李紹山.語言測試的反撥作用與語言測試設計[J].外語界,2005(3).
[4]桂詩春.語言測試:新技術與新理論[J].外語教學與研究,1989(3).
[5]周長銀.98高考完形填空考點效度分析[J].外語教學與研究,1999(4).
作者單位:廣西師范大學外國語學院