楊宏波 辜向東
(重慶大學城市科技學院,重慶,402167;重慶大學,重慶,400044)
《國之考
——中國大學英語考試的社會和教育效應》述評
楊宏波 辜向東
(重慶大學城市科技學院,重慶,402167;重慶大學,重慶,400044)
Garner,M.&D.Y.Huang.2014.Testing a Nation—The Social and Educational Impact of the College English Test in China.Bern:Peter Lang.ISBN:978-3-0343-1704-7.pp.■+235.
測試作為一種重要的評估方式,不僅考查考生的知識和能力,而且會對測試利益相關者產生預期或者非預期的效應。washback和impact兩個詞均有效應的意思,前者通常指測試對教師和學生以及他們的教與學產生的效應,即反撥效應(Alderson &Wall 1993);后者主要指測試對個人、教育系統乃至社會產生的效應,即測試效應。反撥效應是測試效應的一部分(Bachman &Palmer 1996)。上世紀90年代以來,反撥效應得到語言測試界的廣泛關注。近年研究者的注意力逐漸延伸到測試所處的教育、社會、文化和政治環境?!秶肌袊髮W英語考試的社會和教育效應》是語言測試領域第一部針對我國大學英語四、六級考試(以下簡稱CET)的測試效應進行實證研究的學術專著。該書不只局限于反撥效應分析,更重要的是對課堂之外的社會和教育效應進行了全面的研究,不僅為測試效應研究提供了實證依據,而且還針對測試效應提出了理論框架。它在研究內容、方法和理論構建等方面填補了國內語言測試效應研究領域的一些空白。
本書主要報告了中國教育文化背景下CET對不同測試利益相關者(如教師、學生、教育機構和政府機構等)的社會和教育效應。全書共分為六部分。
第一部分為引言,交代了研究源起和一些關鍵術語的定義,如效應、考試使用、風險等,并提出四個研究問題:(1)CET測試結果是如何使用的?(2)為什么CET測試結果這樣使用?(3)這些使用的效應如何?(4)為什么會產生這些效應?作者以CET測試結果的使用為出發點探討測試結果使用產生的效應,并探究相關的影響因素。
第二部分(第1和第2章)主要交代研究背景并對相關文獻進行回顧。其中第1章從宏觀上介紹了中國的教育結構體系、教育政策改革與發展、中國英語教學與測試的發展,也從微觀上描述了大學英語教學的興起與發展改革,并對CET進行了介紹。第2章從教育領域和語言測試領域兩方面回顧了測試效應相關的理論研究和實證研究。作者發現無論在教育還是語言測試領域,關于測試效應的討論總體集中于測試在教育、社會文化方面的積極或消極效應。
第三部分(第3章)主要報告本書的研究方法。研究對象包括CET的不同利益相關者,其中學生樣本包含不同教育水平的學生。數據收集采用定性研究方法——以面對面訪談為主,輔之以觀察法、文獻分析法和郵件訪談。
第四部分(第4~7章)報道研究結果。主要圍繞四個話題進行:CET測試結果的使用(第4章)、CET對教與學(第5章)、對學生的道德行為(作弊行為)(第6章)以及測試參與者對CET公平性的認識(第7章)產生的效應。
第4章主要報道了教育部門(教育部和大學)和用人單位(雇主和政府機構)如何使用CET的測試結果以及產生了何種效應。本章勾勒出社會和教育背景下CET測試結果使用的全景圖,用實證數據證明了CET測試結果的使用有時超出了測試預期的教育用途范圍,因此測試的風險不斷增加,測試對其利益相關者產生的效應也不斷增強。
第5章闡述CET對教學產生的反撥效應,主要包括兩個方面。第一方面作者重點從學生和教師的角度探討CET備考對大學英語教與學產生的效應?;卮饍蓚€研究問題:CET如何對大學英語教與學產生效應?其影響因素是什么?前者屬于反撥效應多重屬性的范疇,后者屬于參與反撥效應過程的潛在因素。本章主要涉及反撥效應的方向和強度。參與反撥效應過程的潛在因素具有復雜性,包括考試因素、個體因素和環境因素(辜向東等2014)。本章涉及個體因素(教師和學生)和環境因素(如社會環境、教育系統等)。第二方面,作者通過對不同測試利益相關者的訪談實證數據,在一定程度上證明CET對大學生非語言課程的學習產生負面反撥效應的論斷不成立。
第6章主要報道CET對學生道德行為(作弊)產生的效應。本章將測試的作弊行為這一話題置于我國的社會和教育背景下,分析了CET作弊的原因和手段,總結如何防止作弊行為并討論了作弊的影響。作者認為CET作弊行為不是一個簡單的現象,需要在更廣泛的背景中進行研究。
第7章探討了對CET測試公平性的認識及其影響因素。本章結合我國特定的社會、文化背景來探討不同CET測試利益相關者對測試公平性的認識,包括學生、教師、考試管理者、CET考試委員會委員等。作者引入組織公平理論(Organizational Justice Theories)的兩個維度——分配公平和程序公平來分析測試公平性的五個方面:測試內容、學習機會、考試實施過程(學校監考政策及作弊現象)、對考生報考條件的限制及考試結果的使用。受我國特定的社會文化——“關系”——的影響,考試利益相關者認為測試是中國最公平的選拔和競爭方式。而測試的風險性、接受教育和就業的平等機會是影響測試公平性的主要因素。由于測試公平性具有主觀性、相對性的特點,而且對CET公平性的認識受另一項大規模、高風險考試——高考的影響。作為參照,本章對比分析了CET與高考的測試利益相關者對測試公平性的認識。
第五部分(第8章)首次提出了測試效應的理論框架,即測試效應發生模式。主要包括“效應引入方”、“效應媒介”、“效應接受方”和“效應環境”。效應引入方主要是指測試(結果)使用者,“效應媒介”指測試本身。“效應接受方”包括考生、教師、學校等?!靶h境”是指效應發生的環境,包括教育、社會、文化等環境。效應接受方對效應媒介和效應引入方具有反作用。作者還以此為框架,探究了測試效應產生的機制。
第六部分為研究結論,作者對前幾章所述內容進行簡要總結,探討本研究的意義和價值。此外,附錄提供了研究工具(學生調查問卷和訪談列表),樣本明細(樣本課堂觀察記錄、樣本學校大學英語教學計劃、訪談數據樣本分析、學生面對面訪談中提到的英語學習策略和內容樣本、CET作文樣本)、各種有用的背景信息(研究對象的信息、CET考試真題、招聘信息),以及詳細的訪談數據分析樣本等。
本書具有以下幾點特色:第一,宏觀與微觀相結合,內容豐富全面。在宏觀上,作者首先對測試使用進行研究,在測試使用與測試效應之間搭建了橋梁,然后在微觀上研究測試使用對教與學、學生道德行為及對測試公平性的認識產生的效應。既包括行為又涉及認識和態度,既研究學生又涉及教師等其他測試重要利益相關者,既包括語言學習又涉及非語言學習。
第二,理論與實踐相結合,實證研究推動理論的發展或對理論進行驗證。本書通過大量實證研究數據分析,提出了測試效應的理論分析框架,并以此框架為依據,探究了測試效應產生的機制。此外,作者通過數據分析為現有論斷提供了實證依據。例如第4章全面檢驗測試結果如何被使用,證明了測試結果的使用有時超出了測試預期的教育用途范圍。第5章用實證數據在一定程度上證明CET對大學生非語言課程的學習產生負面反撥效應的論斷不成立。
第三,研究方法和研究內容新穎。在研究方法上,該書第一次采用大量訪談數據對CET的測試效應進行研究,并選用非傳統的定性研究數據,如課程計劃、博客、照片和媒體報道。此外還以觀察(課堂觀察、CET考點觀察、校園招聘會觀察),郵件訪談和文本分析為輔助方法。在研究內容上,第一次對CET考生的道德行為及非語言課程學習做了系統深入的實證研究,并在社會文化背景下探討考試利益相關者對CET測試公平性的認識。此外作者引入社會學理論中的“資本”概念來解釋語言測試效應現象,體現了跨學科的思維模式。
然而,本書也存在一些局限:其一,數據收集與分析方面,本書沒有將其他一些主要群體如學生家長、教材出版商以及培訓機構納入研究對象。研究中也沒有參考目前常用的測試效應分析方法,例如通過對教師和學生一定時期內有規律的日志或日記來分析CET的社會和教育效應(辜向東、張正川、劉曉華2014)。此外數據分析方法主要采用定性分析方法,作者幾乎沒有把非定量的文獻材料轉化為定量數據,作為定性研究數據進一步的驗證。
其二,部分章節分析角度比較單一。例如第6章研究CET對學生的道德行為——作弊行為產生的效應的切入點相對比較單一,得出的結論比較籠統。正如作者在本章小結所言:應該在更廣泛的背景下從跨學科的角度進行研究,并將考試的社會文化考慮進來。筆者認為可以從心理學、社會學、經濟學等學科的理論為切入點進行研究。如研究作弊行為的心理反應及道德心理、作弊的文化趨勢、作弊的成本等。此外,第7章涉及了不同群體考試參與者對考試公平性的認識,沒有對同一群體的不同類別參與者對考試公平性的認識進行進一步分析。
其三,個別章節內部結構編排有些不合理,例如第7章作者將測試公平性的四個不同方面(考試內容學習機會的公平性、考試實施過程、對考生報考條件的限制、對考試結果的使用)糅合在一個小標題“CET作為一種選擇的方法”之下,似乎突出了測試結果使用方面的公平性,而淡化了其他三個方面,有以點概面之嫌。
此外,書中沒有涉及一些重要的相關文獻,例如Byczkiewicz(2004)的“對考試和競爭中的作弊或欺騙的電影描述”。該文通過分析三個與作弊相關的電影的例子,對教育背景中產生的道德問題進行調查并詳細討論合理行為、公平和正義的概念。另外,缺乏對個別重要概念的解釋和說明,例如第7章作者沒有對公平性的涵義做出說明,概念不清晰。
Messick(1989)認為測試效應是測試效度的一個重要組成部分??梢妼y試效應進行研究是評估一項測試的重要方面。CET是中國乃至全球最大規模且風險極高的一項全國性考試,可能由于研究周期長、操作難度大和投入多等原因,目前還沒有對CET反撥效應以外的測試效應進行系統探討的文獻。因此迫切需要《國之考》這樣一部學術專著來填補這一空缺。盡管存在一些不足,但是瑕不掩瑜。該書是語言測試文獻中又一重要學術成果,對從事語言測試領域的學者具有重要的借鑒意義,為相關政策制定者、考試開發者、研究者及教學工作者提供了啟示和建議,為其他國家或地區類似的研究提供了有益的參考。
Alderson,J.C.&D.Wall.1993.Does washback exist?[J].Applied Linguistics(14):115-29.
Bachman,L.&A.Palmer.1996.Language Testing in Practice[M].Oxford:Oxford University Press.
Byczkiewicz.V.2004.Filmic portrayals of cheating or fraud in examinations and competitions[J].Language Assessment Quarterly(2&3):195-204.
Messick,S.1989.Validity[A].In R.L.Linn(ed.).Educational Measurement(3rd ed.)[C].New York:Macmillan.13-103.
辜向東等2014.大學英語四、六級考試反撥效應歷時研究(上、下)[M].成都:四川大學出版社.
辜向東、張正川、劉曉華.2014.改革后的CET對學生課外英語學習過程的反撥效應實證研究——基于學生的學習日志[J].解放軍外國語學院學報(5):32-39.
(責任編輯 甄鳳超)
楊宏波,重慶大學城市科技學院人文學院講師。主要研究方向為語言測試。電子郵箱:yanghongbo311@sina.com
辜向東,重慶大學語言認知及語言應用研究基地主任、重慶大學外國語學院教授、博導、劍橋大學外語考試部顧問。主要研究方向為語言測試、語言教學和教師發展。電子郵箱:xiangdonggu@263.net
*本文為國家社科基金重點項目“基于證據的四六級、雅思、托福考試效度對比研究”(編號14AYY010)的部分研究成果。