大學英語四級完形測試的個案研究

馬炳軍，楊曉麗

（1.阜陽師范學院 外國語學院，安徽 阜陽 236041；2.太和縣第九中學，安徽 太和 236600）

完形填空作為一種測試手段廣泛地應用于中學入學考試（SSEE），全國高考（NMET），大學英語四（CET-4）、六級考試（CET-6），英語專業四（TEM-4）、八級考試（TEM-8）等。另外，完形填空也常用于其它各種測試，如課堂測試、校級測試或是縣/市級統考等。在中國最有影響力的測試是全國高考,其次是大學英語四級考試。完形填空作為英語四級考試的一部分，被安排在試卷的第五項，共20道題，要求考生用15分鐘完成，該題型被考生視為難度最大的題目。因此，對完形填空測試進行分析研究是非常重要的。本文介紹有關完形填空的定義、特點及其研究背景，重點對“2011年（12月）大學英語四級考試完形填空”的命題效度進行定性研究。

一、研究背景

國外對完形填空的研究已有60多年的歷史，國內對完形填空的研究也有20多年了。那么，什么是完形填空？ 完形填空英語為‘cloze’,而‘cloze’一詞源于格式塔心理學里的‘closure’。格式塔心理學反對將人的經歷分解成零碎的、微小的元素，其主要原理是：只對部分進行分析是不能理解整體的；格式塔理論主張整體與部分在一個特定的結構模式中相互作用。一個恰到好處的格式塔便是一個‘cloze form’（完整形式）， 于是產生了 ‘cloze’（完形）。亨寧將‘cloze’定義為［1］：“完形填空測試要求考生完成一段語篇，其中有一定比例的單詞或短語已被刪除。詞語刪除率一般介于5-10詞之間。”

事實上，根據格式塔心理學的基本原理，應該采用自上而下(top-down method)的方法來理解整個語篇，也就是先整體，后細節的分析。在一個特定語言的完形測試中，一篇文章就是整個話語，都有自己的內容、組織方式和語言特點。盡管完形中有一定比例的單詞或短語被刪除，但利用某些相關的上下文線索仍然可以恢復完整。當然，有些方法如推理、推論和分析也頗有幫助。隨著語言測試的發展,完形填空的發展經歷了三個階段：“前科學時期，心理結構主義時期和綜合社會語言學時期”［2］。第一階段，即前科學時期，語法翻譯法占主導地位，因此翻譯在語言測試中被廣泛使用。當時，語言學還是規約的。第二階段，從20世紀50年代到60年代，有人提出了一些理論如結構主義語言學，心理測試學和聽說法。1953年，泰勒發明了一種新的測試項目即完形填空，泰勒第一次在《新聞大學》上發表文章,介紹了這種新的測試方式：完形填空測試法。但直到20世紀60年代初，隨著語言理論和語言測試飛速發展，他的理論才成為眾人關注的焦點。從此，一個新的課題與一種新的測試方法（完形填空）一起出現了。20 世紀 70 年代，奧勒（1972）［3］在《現代語言》雜志上發表了英語作為第二語言熟練程度的完形填空的評分方法和難度級別，又在次年的《語言科學》上發表了語用語言測試方法［4］。奧勒等人在那段時間大力倡導和推動這樣一種語言測試，并將其推進到了一個新的階段。因此，大量的測試專家表現出了極大的興趣，并采用完形填空作為測試的一部分用來測量語言學習者的綜合能力和閱讀理解能力。第三階段，即綜合社會語言學時期，斯波斯基也將其稱為心理社會語言學時代。語言學理論以社會語言學和功能語言學著稱，在語言學領域廣受歡迎。20世紀80年代至今，有很多新的理論，如安德魯·D·科恩（1980）［5］發表了他的學術專著《課堂語言能力測試》，他認為考生可以依靠他們的語言知識，話語知識和社會知識完成填空。與此同時，1978年以來，奧爾德森·J·C［6］也一直在研究完形填空程序，完形測試和閱讀評估，他的完形填空測試研究非常富有成效。

20世紀80年代至20世紀90年代，布朗·J·D在十年間進行了一系列固定比例刪字和合理的固定比例刪字的完形填空測試研究，以及什么使完形填空變難和自然完形填空的特點。然而，希諾福蒂斯 （1980）［7］研究出了替代方法和替代完形填空程序。他將這些研究發表在J·W奧勒和K·帕金斯書中的關于語言測試的研究中。馬倫［8］的比率可靠性和口語能力評估以及毛拉寧［9］語義完形填空也對完形填空測試和語言測試做出了巨大貢獻。1980至1990期間，世界著名語言測試學者巴赫曼·L·F也對完形填空測試產生了巨大的影響。他的研究廣泛地涉及到了很多領域，如“完形填空測試成績的形狀結構”［10］，“固定比例和意向刪字的完形填空的性能”［11］，“語言測試的基本注意事項”［12］，等等。許多研究表明，部分專家已經涉及到了完形填空測試的信度和效度，越來越多的人從事研究完形填空過程、完形填空測試和閱讀評估、固定比例和合理的固定比例刪字、替代方法和評分方法、完形填空測試的反饋效應以及分級和閱讀評估等課題。但卻很少有人對具體的完形項目進行評估。

中國學者自20世紀90年代開始這項研究，顯然比西方學者晚很多，但也有20多年的歷史了。早期的研究主要集中在實用研究上。喻愛菊是中國第一個研究完形填空測試的人，喻（1990）［13］做了一個調查：觀察多項選擇的答案是否對完形填空產生影響，喻對中國考生進行測試，發現了多項選擇和完形填空之間的優點和缺點。后來徐昂（1998）［14］對完形填空信度與效度進行了研究，周長銀（1999）［15］對高考英語完形項目考點效度進行了研究。陳曉扣（2011）［16］進行了“關于這兩個因素（測試點層次和推理）在難度，區分度和效度上的作用的詳細研究，以建立一個明智、科學的方法來設計英語完形填空”。聶建中和趙秀紅（2005）［17］對高考英語完形填空項目測試點的有效性進行了定性研究并為進一步改進提出了一些建議。陳曉扣和李紹山（2006）［18］指出完形研究方法有待加強，這在當時并不是很有效。他們還試圖研究英語專業四級完形項目的結構效度，在研究該項目研究過程中，產生了計算結構效度的系數公式（CVI=CTTP/TTTP2）。

完形項目可廣泛的應用于英語教學，如萬方（2001）［19］等人建議，應在課堂教學中使用完形填空測試。有些人如楊桂英（1999）［20］從話語方面，完形填空項目，閱讀理解，以及在教學過程中將完形填空應用于大學閱讀理解的可能性進行了討論。呂長竑（2004）［21］和湯聞勵（2005）［22］探索了在教學中在話語層次上完形填空測試和詞匯習得/學習之間的關系。

越來越多的中國學者，如夏郁芹，趙冰（2002）［23］等做完形填空測試時十分關心學習者的策略和技巧，并將其研究轉移到了英語四級完形填空命題及其功能，以及回答的策略和技巧上。謝期繁（2005）［24］根據廣東省試卷研究了高考英語完形填空測試的評估和啟示。另一個研究高考英語完形填空策略和技巧的流派一直在試圖破解這一難題來克服完形填空測試的困難，如王華，王靜（2003）［25］等。他們都沒有十分成功地解決受到嚴重困擾的中國學習者。由此可見，發現建構效度的特征和解決完形填空的有效性上還有很長的路要走，因為它受到許多因素制約，如認知策略、記憶策略、情感策略和社會策略。除劉潤清外，在中國的語言測試研究中，廣東外語外貿大學有一支研究團隊包括李筱菊，曾用強，齊露霞和蔡宏文等人。李筱菊，曾用強等對中國的語言測試尤其是完形填空做出了很多的貢獻。曾永強還做了很多關于廣東高考語言測試的改革的研究工作，同時創造了他自己處理完形填空測試的有效途徑［26］。

大多數中國的完形填空測試研究工作采取從三個不同方面如研究背景，研究方法和結果的定量研究。大多數完形填空測試的文章涉及定量研究、定性研究或兩者的結合。目前的研究揭示了中國的完形填空研究水平需要進一步提高，研究方法必須進一步完善。在中國完形填空測試研究存在的第三個問題是，他們大多缺乏系統性，局限于領域的可靠性，有效性，困難和偏見。第四個問題是目前研究的狹隘性，即缺乏廣度和深度。實證研究任重而道遠。目前的研究大部分屬于文獻研究和回答問題的技能學習，測試方法也存在著一定的問題。

二、大學英語四級完形的效度個案分析

基于對國內外的研究，本文將分析大學英語四級（見2011年12月大學英語四級真題試卷）中的完形填空。下面是該試卷中的完形填空（答案選項略）：

Employers fear they will be unable to recruit students with the skills they need as the economic recovery kicks in,a new survey.

Nearly half of the organizations told researchers they were already struggling to findwith skills in science,technology,engineering and maths（STEM）even more companies expect to experienceof employees with STEM skills in the next three years.

The Confederation of British Industry694 businesses and organizations across the public andsectors,which together employ 2.4 million people.

The survey found that young people would improve their job prospectsthey studied business,maths,English and physics or chemistry at A-level.The A-levels that employersleast are psychology and sociology.And while many employers don't insist on adegree subject.A third prefers to hire those with a STEM-related subject.

根據大學英語四級考試大綱要求，完形填空項目是CET-4的一部分。英語四級完形填空是從段落長度在200至500字或是段落長度275至500字中設定20個空，要求考生15分鐘內完成。選擇的材料通常是考生熟悉的主題。每個空包含4個不同的選項，這將需要考生在全面理解整個語篇的基礎上，選擇最佳答案，以恢復空白處在形式和意義上的完整，空缺處包括實詞和虛詞。“完形填空測試的目的是測試語言學習者運用語言的綜合能力，”包括“語法概念，詞匯的用法和話語理解”［26］。

就完形填空研究現狀而言，李筱菊（1997）［27］指出：“中國的完形填空研究與國外研究相比，很奇怪的是中國最常用，但最少研究，而外國人很少使用但研究最多”。除了那些解決問題的策略以及答題技巧和分析，很少見到對完形填空測試真正的評估。因此，讓我們以“2011年12月大學英語四級真題”中的完形填空測試項目來討論和分析命題情況。

該完形填空的內容是關于“雇主需要技巧熟練的大學生”。全文共286個單詞，單詞量差不多是一個平均數。為了使考生對語篇有一定的解，并引導考生準確地了解主旨，前2-3行通常是不允許設空的，但這篇完形違背這樣的規則，即前3行設了空。按格式塔理論，最后一句，也不允許設空，但卻設了空，也是違背設空原則的。綜觀全文發現，本完形測試點中20個空，有五個“名詞”，七個“動詞”，三個“形容詞”，三個“連詞”，一個“代詞”和一個“介詞”。該完形的典型特征是考察詞力，因為許多測試點屬于同義詞辨析，以考察考生詞匯量。

陳曉扣（2001）將測試點分為四個不同的層次即“詞匯層面，短語層面，句子層面和語篇層面”。在詞匯層面，測試者可不參照上下文確定最佳選擇。文中有17個空屬于詞匯層面，3個屬于短語層面，即第73題、76題和、79題。在這個層面上，必須注意該空之前或之后的搭配，其主要目的是測試考生的知識。事實上，這樣的固定短語測試對考生的技能沒有很好的測試效果，因為他們在填空時不需要猜測、思考或作出任何推論。第三個層次是句子層面，表明測試者可以在一個特定的句子解決這個問題。相對而言，句子層面的填空更難。第四層是話語層面，指的是根據語篇或上下文線索恢復刪除，而不是在一個句子層面上解決問題。很明顯，這篇完形填空只達到句子層面的難度，即題目偏易。在測試類型方面，有成績測試、能力測試、診斷測試和能力傾向測試。在中國成績測試最常見，如高中入學考試，高考或研究生考試等都屬于成績測試，成績測試又稱水平測試，因為它也測試學生解決問題和分析問題的能力。水平測試是基于一個特定的課程或教學，如美國托福，英國雅思和中國的EFT，CET-4和CET-6以及TEM-4和TEM-8。

通常情況下，測試水平確定的完形填空測試的效度。換句話說，檢測水平越高，有效性就越好。該完形檢測處在較低的水平，所以效度不可避免地降低了。一個完形填空通常由三部分組成：語法水平、短語的水平和語義水平。基礎測試點測試的初級知識，檢查語法的概念和結構，中級水平測試短語搭配，高水平測試語義。最高層次可覆蓋的其余各層次，而較低的層次不能覆蓋較高的層次。每個空前所空的字數差異很大，請參閱下表。

表1 大學英語四級完形設空情況一覽表（2011年12月）

根據格式塔理論，每5至11個單詞刪除一詞或短語，但該完形是6至23個單詞之間，考查項有一半超過11詞，其中3項超過20詞，分別間隔23個，23個和21個詞，顯然，這三個空過于簡單了。其中7個設空間隔在13和18個單詞之間，也偏易。其余設空間隔都在6到11詞之間，根據格式塔心理學，這是正常設空。研究發現，50%的設空不規范，難度系數過小。設空如此地不合規則，其命題原則與測試目的自然會遭到質疑。眾所周知，完形填空應遵循的原則是每4個，6個或8個單詞刪除一個的方式。顯然，這種英語四級完形填空命題是違背這項原則的，這樣效度就低了。設空必須控制在5到11個單詞之間才是正常的設計。5個字距難度系數過大，但11個字距似乎又太易。這個完形填空項目平均詞距為13個單詞，這也是違背刪減原則的。按規定集合名詞，技術單詞，數字，日期等不能設空，命題這方面沒有問題。材料的選擇也是挺好的，因為它是原創，符合規定。在詞類方面，10個詞類出現的頻次差異很大（如表2所示），這是不合乎要求的：

表2 大學英語四級完形填空10大詞類出現的頻次（2011年12月）

正如表2所示，該完形填空出現的詞類只有二分之一，這說明命題人員命題的任意性，也有可能是材料選擇的不當。對于全國性的正式考試來說，這種命題不夠嚴謹、也不夠科學。

命題有些是顯性的，有些是隱性的。我們看到的是13個空屬于單詞層面，3個短語層面和4個句子層面。這就是說，超過2/3的題目目的是測試大學生的單詞和知識。只有1/6的測試點是試圖測試考生的能力或技巧。我們看不到命題人的命題理念、命題原則以及命題計劃等，但是我們可以通過分析，判斷命題人沒有嚴格按照命題原則去做。總之，內容效度好時，表面效度似乎更容易，該完形填空主要測試的是考生的詞匯量。我們沒有辦法討論關聯效度，因為我們無法拿另一個測試做比較。研究分析表明，雖然這篇完形填空是建立在一些語言理論和語言學習理論基礎上的，但建構效度是相當薄弱的。該完形填空的優點是比起語法規則或概念，它更加強調詞匯。

信度是一個理想測試非常重要的特征，這主要是指測量的一致性。在此，我們不能進一步討論該完形填空測試的信度，因為我們沒有辦法組織兩次在相同的背景下同樣的測試。至于構卷效度，該語篇顯然沒有拼寫錯誤，這不會影響到考生的感受。四級考試的指令相當細致，監考人員也不需要多做解釋，尤其是完形填空部分。

三、教學啟示

大學英語四級完形填空測試有助于任課教師找出相關教學中存在的問題，如既要教詞匯又要教句法結構和語篇。通過對CET-4、CET-6真題中完形填空的研究，可以在平時課堂診斷性測試時，避免命題的盲目性，增強命題的針對性，有利于發現學生學習過程中薄弱點，以便找到有效解決策略。英語四、六級考試是大學英語教學的指揮棒，從某種程度上說，考什么決定教什么，該試卷上完形命題只能把英語教師引向重詞匯教學，輕句法和語篇教學。但是頻繁的考前模擬訓練將耗費大量的教學時間和學習時間，這將導致英語教師無法在規定的時間內完成大綱規定的教學內容。這樣會削弱學生的思維發展，導致高分低能。最后，教師花費大量的時間準備模擬測試，而不是去設法完成教學任務。漸漸地，教師將迷失自己，找不到課堂教學目標，在語言輸入和輸出方面都達不到提高學生的語言能力和交際能力的目標。另外，這還會導致英語教師一味地強調做題的準確性，而不是表達流暢性。這是嚴重違背最終教學目標的，即使學生能夠自由和全面地使用語言。

總之，文中重點論述了大學英語四級完形與高考英語完形填空項目的重要性。回顧了完形填空的起源和完形填空測試發展的三個階段，同時回顧了60多年來完形填空測試在國外的發展與20多年來完形填空測試在我國國內的發展狀況；比較了我國和西方國家在完形填空測試上的研究的異同；分析了2011年大學英語四級完形填空測試的有效性，可靠性，實用性等；從積極和消極兩個方面分析了大學英語四級考試中完形填空的反饋作用。建議大學英語教師的教學應遵循大學英語教學大綱，而不是僅僅依靠大學英語的歷年真題；建議大學英語四級考試最好進行大幅度的改革：建議要么完善完形填空的命題效度，要么廢除完形填空，用翻譯等其它題型代之，以解決完形填空對教學與學習的長期困擾。

［1］Henning G.A guide to language testing:Development,evaluation and research［M］.Foreign Language Teaching and Research Press&Heinle/Thomson Learning Asia,2001.

［2］Spolsky,B.Measured words:the development of objective language testing［M］.Oxford:Oxford University Press,1995:

［3］Oller J W Scoring methods and difficulty levels for cloze tests of proficiency in English as a second language ［J］.Modern Language Journal,1972(56):151-58.

［4］Oller J W.Pragmatic language testing［J］.Language Sciences,1973(28):7-12.

［5］Alderson J C.Native and non-native speaker performance on cloze tests［J］.Language Learning,1980(30):59-76.

［6］Alderson J C.The cloze procedure and proficiency in English as a foreign language［J］.In J.W.Oller Jr.(ed.).Issues in Language Testing Research.Rowley,MA:Newbury House,1983,13(2),:219.

［7］Hinofotis F B.Cloze as an alternative method of ESL placement and proficiency testing.In J.W.Oller&K.Perkins,(Eds.),Research in language testing.Rowley,MA:Newbury House,1980:121-128.

［8］Mullen K A.Evaluating writing proficiency in ESL［J］.In Oller Jr.,J.W.,Perkins,K.(Eds.).Research in Language Testing［C］.Newbury House Publishers Incorporated,MA,1980:160-170.

［9］Mauranen A.The semantic cloze:an approach to testing EFL reading［R］35,423-430.Paper presented at TESOL convention,Chicago,March,1988.

［10］Bachman L.The trait structure of cloze test scores.TESOL Quarterly,1982(16):61-70.

［11］Bachman L F.Performance on cloze tests with fixed-ratio and rational deletions.TESOL Quarterly,1985,19(3):112-133.

［12］Bachman L F.Fundamental considerations in language testing.Oxford:Oxford University Press;Shanghai:Shanghai Foreign Language Education Press,1990.

［13］喻愛菊.多項選擇答案對Cloze Test的影響［J］.外語教學與研究,1990(1)19-26.

［14］徐昂.多項選擇填空與傳統完形填空信度和效度之研究［J］.外語與外語教學,1998(2):25-27.

［15］周長銀.高考英語完形填空題的考點效度分析［J］.外語與外語教學,1998/1999(4):32-34.

［16］陳曉扣.論英語測試完形填空試題［J］.解放軍外國語學院學報,2001(3):72-75.

［17］聶建中,趙秀紅.高考英語完形填空的考點效度分析［J］.教育理論與實踐,2005(3):54-56.

［18］陳曉扣,李紹山.TEM-4完形填空測試結構效度研究［J］.現代外語,2006(1)71-77.

［19］萬方.利用完形填空提高綜合語言能力的嘗試與探索［J］.瀘州醫學院學報,2001(4):358-359.

［20］楊桂英.完形填空與語篇概念［J］.青島大學師范學院學報,1999(2):65-66.

［21］呂長竑.詞匯量與語言綜合能力、詞匯深度知識之關系［J］.外語教學與研究,2004(2):116-122.

［22］湯聞勵.英語詞語搭配能力與英語輸出的質量［J］.外語教學與研究,2005(4):45-48.

［23］夏郁芹,趙冰.大學英語四級考試完形填空題解題策略［J］.蘭州石化職業技術學院學報,2002(4):20-22.

［24］謝期繁.2005年高考英語廣東卷完形填空評析與啟示［J］.高中,2005(7/8):29-30.

［25］王華,王靜.完形填空測試與命題［J］.宿州師專學報,2003(4)106-107.

［26］2011 年大學英語四級考試筆試大綱［EB/OL］.［2012-01-07］.http://wenku.baidu.com/view/156d7606de80d4d8d15a4f47.html.

［27］李筱菊.語言測試的科學與藝術［J］.北京:外語教學與研究出版社,1997:234-260.