英語專業八級考試之短文改錯的考點效度分析

鄒

（廣西師范大學，廣西 桂林 541006）

英語專業八級考試之短文改錯的考點效度分析

（廣西師范大學，廣西 桂林 541006）

本文采用了層次分析法、焦點因素和考點覆蓋分析表等方法，分析了 2004年英語專業八級考試大綱改革后的2005年到2011年共七年的短文改錯試題的效度。分析得出，這七年的專八短文改錯試題所處的層次較高，焦點因素以語法和意義為主，考點分布較為合理，是具有較高且較為穩定效度的試題，達到了檢測學生能自由靈活運用語言知識的能力，尤其是在實際語境及語用中學生能發現錯誤并加以改正的目的。

英語專業八級考試；短文改錯；效度

1 .引言

全國高校英語專業八級考試（TEM8），也稱“專八”，向來被認為是考察全國綜合性大學英語專業學生的英語語言綜合運用能力最高等級的考試。這是“一種測試應試者單項和綜合語言能力的尺度參照性水平考試”。（《高校英語專業八級考試大綱（2004年新版）》，下文簡稱“專八考綱”）專八考綱中明確了TEM8的目的是“檢查（《高等學校英語專業高年級英語教學大綱》）的執行情況，特別是大綱所規定的八級水平所要達到的綜合語言技能和交際能力，藉以促進大綱的進一步貫徹，提高教學質量。”

TEM8自1991年起由中國大陸教育部實行以來，短文改錯是歷年專八中的必考題型。專八考綱對這一部分試題的要求是學生“能運用語法、詞匯、修辭等語言知識識別所給短文內的語病并提出改正方法。”該試題的測試目實為檢測學生能自由靈活運用語言知識的能力，尤其是在實際語境及語用中學生能發現錯誤并加以改正。

此類試題的考點效度雖也受到人們的關注，但對此研究的人卻不多，實證研究更是少之又少。尤其是針對專八考試中短文改錯試題的考點效度的研究更是鳳毛翎角。在此文中，筆者采用李筱菊提出的層次分析法、焦點因素和考點項目表對TEM8考綱改革后2005年到2011年共七年的TEM8短文改錯試題進行考點效度的分析。

2 .短文改錯試題的理論依據

短文改錯屬于綜合考點單技能試題，也成C類試題。C類試題是奧勒（Oller）為代表的UCH論者首創的，他們提出的單一能力假說（UCH或UTH）是此類試題的理論依據，根據他們的觀點，人運用語言并不是針對某些項目專用某種能力，語言運用的過程是多種語言技能一起協調協作的結果。針對短文改錯試題來說，即學生要發現文章紕漏的內容并給予更正，不僅涉及到學生對單一語法和詞匯知識的掌握情況，還與其對語篇結構的把握能力以及對語言知識的積極運用汲汲相關。

按Canale和Swain（1980）提出的語言交際能力理論框架來分析短文改錯考查的不僅是語法能力，而且至少還考查了社會語言能力和話語表達能力。李威等（1993）進行的實驗用因素分析方法證明短文改錯不只考查了英語知識層次的內容，也考了英語閱讀能力。他們的實驗結論與上述觀點是一致的。所以，就整體而言，短文改錯是一種考查語篇水平上語言能力的綜合性試題類型。（楊鐘琳，1994）

劉建達和楊滿珍（2001）使用了定量和定性研究方法得出結論，成段改錯測試的能力已超出語法知識的范圍；成段改錯可以測試到考生在詞、短語、句子、及語篇各個層次上的知識。

同屬于 C類試題的還有完形填空試題，他們都是以單一能力假說作為理論基礎。兩者有共同點亦有不同之處。共同點在于兩者的理論依據一致，均可使用層次分析法驗證考點效度，命題要求部分相同；不同點則在于“成段改錯基本上是以語碼（形式）為核心的試題，而完形填空應該以信息（意義）為核心。也就是說，完形填空試題測試的主要是對意義的理解，而成段改錯測試的是意義的準確表達，包括準確性和得體性（李筱菊1997：324）”。

3 .試題分析

本文對2004年改革后（即2005年至今）的七份TEM8試卷進行效度分析主要采用李筱菊提出的層次分析法和考點覆蓋分析表來作為切入點。

3.1 層次分析法

層次分析法原用于分析完形填空的考點效度，以得知完形填空試題的質量。因為完形填空和成段改錯同屬于 C類試題，持有相同的理論依據，且兩者存在許多相同之處，故層次分析法亦可用于TEM8短文改錯試題的考點效度分析。此方法就是將2005—2011年TEM8歷年考試真題的錯誤按語篇D、句子S、詞組P、單詞W四個層次分成四類并統計其考點錯誤頻數制作成表（見表 1）。這四個層次的劃分依據即為，找出此錯誤并能正確改正需要受試者考慮多廣的上下文才能做出決定，換言之，對錯誤點進行增刪改補的行為受什么層次語境的制約。語篇層次的劃分標準是由句際間的意思決定此題目的改法，且本文中采用“句子”狹義的概念，以句末標點結束為一個句子；句子層次是在一個句子的范圍之內就可以決定錯誤點所在；詞組層次則是以固定搭配或者詞組間常見的組合為依據進行改錯；單詞層次考單詞的拼寫、詞法變位、構詞法、詞性、詞義、詞匯辨析等。

因為考點層次和考點因素的側重有關系，筆者還從考點因素角度將每道題其歸類為三個范疇，即語法因素G、慣用搭配因素C以及意義因素M，題目側重于考哪個因素，該因素則為此題的焦點因素。

表1 TEM8考點層次和焦點因素分析表

從該表的縱向來看，一方面，在每一年的短文改錯試題中，即使焦點因素是語法的頻率很高，此題依然可以實現較高的考點層次，也就是說，題目的焦點因素為 M，但解決此題仍需要在理解整個句子甚至兩三個句子的意思才能改對。這也體現了 TEM8考試短文改錯的測試目的，即考察學生的語法和詞匯知識在語境中的綜合運用能力。10年的真題就是典型的例子，該年短文改錯中以語法為焦點的題目占到了70%，但處在語篇和句子層次中的題目能占到90%，出題者確實在提高題目的考點層次上下足了功夫。這種情況的出現說明了雖然成段改錯試題是以語碼（形式）為核心的試題，但這并不妨礙其具有良好的效度。另一方面，2005—11年TEM8短文改錯試題普遍以語篇和句子層次的題目為主導，這類題平均占題目總量的70%。從這點看，TEM8的短文改錯更側重評估學生的綜合語言能力，這和它的測試目的是一致的，同時也突出了這一高級別考試的特點。此外，題目層次越高，直接決定了整道的試題效度越高。所以，有理由相信，TEM8短文改錯試題具有很好的效度。

從該表的橫向來看，一方面，2004年TEM8改革后到2011年間，處于語篇和句子層次的題目的總量趨于一個穩定的狀態，即此試題的效度也保持在一定的高度。語篇層次的題目每年為1道左右，句子層次的題目則保持在6道左右。在總題目量和文章字數不增加的情況下，TEM8短文改錯試題的難度基本保持不變，沒有出現“大難大易”現象，這防止了不公平現象的發生，也有利于維持 TEM8的權威性。另一方面，以語法為考點因素的題目仍在總題量中占一定的數量，而且也持一個穩定的狀態，一直保持在平均每年有4道。這不僅是因為成段改錯試題是以語碼（形式）為核心的試題，所以決定了側重考準確性的試題的存在，而且筆者認為，因為 TEM8中無單項語法題，在短文改錯試題中保留一定數量對語法知識考察的題目對整套 TEM8試題來說是一種平衡，是科學合理的。

3.2 考點覆蓋分析表

考點覆蓋分析表可以用于分析此部分試題的考點覆蓋是否合理，把歷年考試放在一起，還可以看出數年來考點的分布情況，找到每年的必考考點和高頻考點，就可以知道TEM8短文改錯試題的側重考點。李筱菊（1996）曾用該考點覆蓋分析表分析1985年和1988年高等學校招生英語考試（MET：Matriculation English Test）中語法填空和完形填空這兩道考語法的大題的考點分布情況。鑒于該表的語法覆蓋面較全，但不是針對短文改錯設計的，筆者將此表略加改動，改良后制作成TEM8短文改錯的考點覆蓋分析表（見附錄）。

在新表中可看出 TEM8短文改錯試題的兩個特點。第一，涉及到一些低層次考點的語法點在 TEM8短文改錯試題中出現的頻率很低，甚至為零，如名詞的單復數、時態、疑問句型和主謂一致等等。在 TEM8需要涵蓋全面的英語綜合能力這一考試中，這些考點的低頻率和不存在是符合要求的，且也為了保證這種級別的考試的高效度。第二，一些每年必考考點和高頻考點也體現了題目高層次這一要求。連詞及連接語、固定搭配、詞匯及其他、介詞和冠詞等都是歷年TEM8中高頻考點，這些錯誤類型“和ST6（英語專業3～4年級學習者語料庫）中學生的寫作中所犯的錯誤類型顯著相關”（劉會鐲，2010），這也就說明了這些錯誤類型都是英語專業高年級學生在寫作中常犯的典型錯誤類型。因此，“從內容覆蓋面方面來說，TEM8短文改錯的內容效度相對較高”（劉會鐲，2010）。

但是從綜合各年的情況來看，此部分試題的考點分布仍有不合理之處：有些年份的考題在同一個考點的考察上過于密集。如2008年的短文改錯中，第1、7、8、9題考察的都是短語的固定搭配，而且這四題中就有三道都是有關介詞的選擇，這也是為什么在 TEM8考點層次和焦點因素分析表（即表1）中2008年短語層次和搭配為焦點因素的個數突兀于歷年的數據；再如2011年試題中，第2、5、6、7題考察的都是詞義辨析，除了第2題是名詞的辨析外，其他三道都是形容詞的辨析。這樣在同一年份的同一考題中如此密集的集中在一個考點上，會造成一定程度的偏頗，不利于保證效度的穩定。

附錄

[1] 高等英語專業八級考試大綱修訂小組編. 高等英語專業八級考試大綱（2004年新版）[Z]. 上海：上海外語教育出版社，2004.

[2] 韓景峰. 專八成段改錯的效度分析[J]. 忻州師范學院學報，2007，（6）.

[3] 李彬彬. TEM8之校對與改錯成績分析及其解題策略[J]. 懷化學院學報，2007，（8）.

[4] 李莜菊. 語言測試科學與藝術[M]. 長沙：湖南教育出版社，1997.

[5] 李玉英. 淺談TEM8中Proofreading考項的反思性教學[J]. 江西師范大學學報，2007，（4）.

[6] 劉會鐲. 基于語料庫的TEM8短文改錯內容效度分析[D]. 武漢科技大學，2010.

[7] 劉建達，楊滿珍. What Does Proofreading Test？[J].現代外語，2001，（2）.

[8] 婁喜祥. 英語專業八級新舊版短文改錯題信度與效度研究[J].牡丹江師范學院學報，2007，（3）.

G424.74

A

1008-7427（2012）09-0143-02

2012-06-01