民航英語口語測試對英語學習反撥效應的實證研究

曹佳,王愛國

摘 要 通過課堂觀察、問卷調查和面對面訪談的方法，從4個維度進行定量與定性相結合的分析研究，旨在探討中國民航飛行人員英語能力測試口語面試對學生英語學習的反撥效應。結果表明，口語能力面試對學生英語學習所產生的主要是正面反撥效應，其中，對民航專業英語學習的反撥效應顯著，對通用英語學習的反撥效應較弱。

關鍵詞 民航飛行人員；英語口語測試；英語學習；反撥效應

中圖分類號 G712 文獻標識碼 A 文章編號 1008-3219（2012）05-0023-05

一、研究背景

中國民航飛行人員英語能力測試（Pilots English Proficiency Examination of CAAC，PEPEC）用于評估飛行人員的基礎英語能力及在正常和非正常無線電通話中基本的語言交際能力，對被測試人的英語能力進行評估，其中4級為工作級，5、6級為專家級。

測試的最后一部分是口語能力面試（Oral Proficiency Interv- iew，OPI），主要測試被測試人的口頭語言運用能力及語言的綜合表達能力。從語言的發音、結構、詞匯、流暢程度、理解能力以及應對能力等六個方面，對被測試人的英語能力從6級到1級進行評估。這是一種基于計算機視頻的、面試員與被測試人之間的半直接考試，即面試員與被測試人以電腦為媒介進行視頻和發音連線，從而完成口語考試任務[1]。OPI測試分為：準備階段、等級初評階段、等級評定階段以及結束階段。面試員根據不同測試階段的測試要求，進行由淺入深的提問。該測試分值占PEPEC總成績的30%（4級）或40%（5、6級），考試時間約為15分鐘。

由于PEPEC是大規模高風險考試，以及OPI所占的分數權重，必然會對學生英語學習產生明顯的反撥效應。民航英語口語測試作為專門用途英語（ESP）測試的一個分支，國內外在這個領域的研究并不多見，更沒有人對中國民航飛行人員英語能力測試口語能力面試進行過研究。因此，本文從語言學習者角度對口語能力面試進行反撥效應實證研究，從而深入了解該項測試與學生英語學習的關系。

二、研究理據

反撥效應（Backwash Effect）是指測試對教與學的影響[2]。在語言學界，不同學者用不同的術語表示測試與教學的關系，如基于測量的教學[3]、后果效度[4]、系統效度[5]、考試影響[6]、課程連結[7]等。由于在學術文獻中使用頻率最高的術語是反撥效應，為了保證研究的連貫性和嚴謹性，本文采用這一表達方式。

有關反撥效應的理論模式，Alderson和Wall[8]的反撥效應假設和Hughes[9]的反撥效應模式運用得最為廣泛?；谏鲜隼碚?，創建OPI反撥效應研究基本理論模型：參與者（教師、學生等）對該考試的態度，教師的教學過程和學生的學習過程以及結果（教師的教學效果和學生的學習效果）。

三、研究方法

（一）研究問題

結合上述理論模型及民航英語口語測試與學生英語學習的關系，提出四個研究問題：學生對OPI的了解程度；OPI對學生的學習態度產生的主要影響；OPI對學生英語學習反撥效應的性質和強度；備考課程對學生參加OPI起的作用。其中問題1、2涉及OPI對學生學習態度的反撥效應，問題3、4涉及OPI對學生學習行為的反撥效應。

（二）研究對象

個案學校為中國民航大學，被試為飛行學院大三2個班的養成飛行員。由于在出國飛行訓練前，要對這些學生進行民航專業英語培訓，并且在培訓期結束前要參加PEPEC考試，因此他們對該測試的認識和態度是最直接、真實和重要的數據。被試人員共56名，均為男生，年齡為20~22歲，其中22人通過大學英語四級考試，且所有的學生都沒有參加過PEPEC考試。

（三）研究工具

采用多種研究手段，包括課堂觀察、問卷調查、面對面訪談，定量研究與定性研究相結合。首先進行課堂觀察，調查課堂教學情況并為學生的具體學習行為提供細節性信息；其次通過問卷調查從學生對OPI的了解程度、對OPI各項措施的態度、OPI對學生英語學習的反撥效應及對備考課程的評價四個維度進行分析；最后，通過面對面訪談對得出的數據進行分析和驗證。

1.課堂觀察

研究中的課堂觀察是前期觀察，目的是調查OPI是否對學生的學習內容及學習行為產生影響。主要包括：教師的教學內容和教學方法；課堂上教學時間的分配；備考資料的使用；訓練的語言技能；學生民航專業英語（主要是無線電陸空通話）和通用英語的學習；學生的反饋等。

OPI備考課程由一位教師承擔，共持續8周。在2011年4月~5月間共進行6課時的課堂觀察與記錄。為保證信度和效度以及后續研究，在課堂觀察時采用現場做筆記并現場錄音的方法。

2.問卷調查

問卷調查是本研究的主要研究手段，以上述理論模型為基礎，根據國內外實證研究的主要結論，以及專家同行的觀點和建議，設計OPI反撥效應問卷調查表。為避免非預測性問題和歧義，在作為樣本發放之前，進行了試測，由6名學生完成。根據試測的數據結果和反饋建議，對其進行修改，形成最終的調查問卷。該調查問卷由兩部分構成：第一部分為被試的個人基本信息；第二部分為OPI對被試的反撥效應調查，共18題，均采用李克特式（Likert Scale）五級量表。問卷一次性發放給學生，被試自愿完成，共收回有效問卷54份。

3.面對面訪談

面對面訪談是輔助研究工具，目的是對收集的數據進行定性解釋，并盡可能提供精確和細節性信息。訪談在問卷調查之后進行，選取完成調查問卷的10名學生。主要包括兩方面內容：學生對OPI的態度以及OPI對學生英語學習的影響。為使訪談自然、順利進行，沒有進行錄音，采取現場做筆記的方法。

四、研究結果與討論

表1、2、3、4是問卷中18個問題涉及的四個不同方面的人數比例、得分平均值和標準差，以下各表都按平均值從高到低排列而成。

（一）學生對OPI的熟悉程度

表1數據顯示，大多數學生對OPI的測試內容和測試程序都有不同程度的了解，測試對這兩項的反撥效應較弱。評分標準和測試題型兩項的平均值最高，標準差最低，說明測試對這兩項的反撥效應較強，特別是評分標準一項，對其不了解的學生比例37%（25.9%+11.1%），高于對其了解的學生比例33.4%（3.7%+29.7%）。

有三個主要原因解釋以上現象：第一，PEPEC實行的時間比較短，學生對其組成部分OPI測試的了解程度不夠；第二，學生對測試內容、測試程序比較了解與講授OPI課程的教師在課堂上反復強調密切相關；第三，學生認為評分標準與他們的測試關聯度不大，一部分學生認為只有教師才應該去關心該問題。

（二）學生對OPI測試標準的態度

表2數據顯示，大多數學生認可OPI測試的必要性，說明它對學生有顯著的反撥效應。根據與題項的相符程度，排在前三位的分別是：OPI分數所占PEPEC分數的比例很合理，能準確反映英語口語能力，考察的6方面內容很合理。OPI在工作級（即4級）占PEPEC分數比例為30%，在專家級（即5、6級）占40%。它體現了專門用途英語測試的重要特點：真實性。語言測試中的真實性是指受試者在測試中使用目標語完成測試任務與其在現實生活中使用語言進行交際活動的相似程度，也就是語言測試與語言交際的一致程度[8]。所以，OPI是在真實或接近于真實的語境中，通過完成實際任務，測試考生運用語言的能力，其特點是實用性和交互性強，因此，大多數學生認為能準確反映其英語口語能力。

對于喜歡OPI的測試形式，即基于計算機視頻的半直接考試選項，學生的態度各異。從平均值和標準差顯示的數據看，該項對學生有很強的反撥效應?？傮w而言，學生的態度分為兩種：大多數學生認為就傳統的面試型考試而言，機助英語口語考試具有顯而易見的優勢，由于有過類似測試的培訓或經歷，這種形式在一定程度上能緩解心理緊張因素，比較公正；但是，另一部分學生認為他們更喜歡傳統的與考官面對面形式的口試，因為面對計算機，表達效果不夠真實自然，而且增加了他們考試的焦慮感。

（三）OPI對學生英語學習的反撥效應

從表3可以看出，OPI測試對學生英語學習影響的整體性質是正面的，該項的平均值最高，證明對學生的英語學習有顯著的積極反撥效應。積極的反撥效應是指考試能對教學和學習產生有利的影響，這種有利影響是指測試能“反映和鼓勵良好的課堂實踐”[9]。

關于OPI測試對學生英語學習的反撥效應，表3數據顯示，OPI對學生的無線電陸空通話口語、聽力學習反撥效應較強，而對通用英語（EGP）口語、聽力學習反撥效應較弱。OPI屬于專門用途英語測試，體現了與通用英語測試的區別。二者的區別就是專業針對性：ESP測試中，受試者的專業知識和語言水平共同影響測試成績；而EGP測試中，影響受試者測試成績的主要是其語言水平。ESP測試的專業針對性直接影響其結構效度的定義和對測試分數的解釋[10]。在陸空通話中，管制員與飛行員使用的是一種有別于任何生活語言的專業語言。對這種專業語言特性掌握和理解的程度如何、對這種專業語言使用的熟練程度如何直接關系到陸空通話質量的高低。而通話的每一句話都是在傳達有關的指令，必須要做到百分之百準確，因為通話質量達不到要求所產生的任何差錯和誤解都會給飛行安全埋下事故隱患[11]。因而，OPI測試既評估被測試人的通用英語能力，同時，也是對其民航專業英語（以無線電陸空通話為基礎）能力的測試。

從學生的訪談了解到，在英語學習的五項基本技能中，他們認為口語能力是提高得最慢的一項，這也與陳紀梁、陶偉的研究一致[12]。而且，通用英語口語和聽力又是民航專業英語口語和聽力的基礎，所以，大多數學生認為OPI測試對其英語學習有正面反撥效應。同時，該測試還是一種高風險測試，因為測試的準確性關系到飛行安全，測試成績關系到飛行員工作崗位的高低或有無[13]。而且，反撥效應的程度和類型會因考試風險高低程度而發生變化[14]。因此，學生認為測試對英語學習造成了很大的影響。

（四）學生對備考課程的評價

有關備考訓練作用一項的平均值和標準差的數據說明，大多數學生對備考課程持肯定態度，測試對此項的反撥效應不明顯。在前期的課堂觀察中，發現講授OPI的教師教學態度認真、內容充實。在第一次課首先對OPI進行了整體介紹，包括測試內容、題型、程序及評分標準，并對學生詳細講述了該測試主要從六個方面對被測試人的語言能力進行考察。在以后的課堂教學中，基本按照OPI考試的四個階段（即準備階段、等級初評階段、等級評定階段以及結束階段）所涉及到的內容，以專題的形式分別進行介紹。課堂活動的主要形式包括：回答問題、小組討論、口頭陳述、情景對話。接受訪談的部分學生認為：一方面，飛行學院的教學非常重視學生的英語口語訓練，從大一開始就開設外教的口語課，大二時開始開設民航專業英語口語課，所以，一些學生認為自己的英語水平比較高，不需要進行備考訓練；另一方面，英語口語能力的提高是一個長期的過程，而OPI又是一項水平測試，一部分學生認為不可能通過短期的培訓使英語口語提升一個層次，但是另一部分學生認為備考課程確實幫助他們提升了民航專業英語口語能力。

關于教師的敬業精神、教學策略的數據表明，測試對這兩項有一定的反撥效應，大多數學生都給予了充分的肯定對于教學效果一項，在4個題目數據中平均值最高，標準差較低，說明測試影響了教師在備考課程上的教學效果，大多數學生認為對英語口語學習有正面反撥效應，備考課程確實對自己的口語學習有促進。但是，由于OPI的權重，整個備考過程產生了一定的學習焦慮。

對本研究的定量和定性數據分析表明，OPI對學生英語學習的反撥效應比預見的要復雜，但是，整體而言，產生的是正面反撥效應。其中，對學生的學習態度反撥效應較強，對學生的學習行為反撥效應較弱。具體表現為以下四點：第一，大多數學生對OPI測試有不同程度的了解，對評分標準和測試題型兩項的反撥效應顯著；第二，OPI測試的必要性及測試的形式兩項對學生有顯著的反撥效應；第三，OPI測試對學生的英語學習有正面反撥效應，其中，對民航專業英語學習（主要是無線電陸空通話英語學習）有很強的反撥效應，而對通用英語學習的反撥效應較弱；第四，大多數學生對備考課程持肯定態度，對此項的反撥效應不明顯，對于該課程教師的教學效果卻有顯著的反撥效應。

總之，口語能力面試為飛行員英語能力的自我評價提供了一個客觀、公正的手段，有利于其發現自己的優勢和不足，并意識到英語交流的重要性，使其在常規及非常規情景中與管制員的對話進行靈活的轉換，保持對話的互動性。

參考文獻：

[1]中國民用航空局飛行標準司.中國民航飛行人員語言能力考試大綱[Z]，2010-01-20.

[2]Alderson，J.C.& Wall，C.Does Washback Exist? [J].Applied Linguistics，1993 (2): 115-129.

[3]Popham，W.J.The Merits of Measurement-driven Instruction [J].Phi Delta Kappa，1987(68): 679-682.

[4]Messick，D.E.Meaning and Values in Test Validation: The Science and Ethics of Assessment [J].Educational Research，1989(18): 5-11.

[5]Fredericksen，J.R.and Collins，A.A Systems Approach to Educational Testing [J].Educational Researcher，1989(18): 27-32.

[6]Baker，E.Alternative Assessment and National Policy.Paper Presented at the National Research Symposium on Limited English Proficient Students'''' Issues: Focus on Evaluation and Measurement.Washington，D.C，1991.

[7]Andrews，S.The Washback Effect of Examinations-Its Impact upon Curriculum Innovation.Paper Pres- ented at the 19th International JALT Conference.Sonic City，Omiya，Japan，1993.

[8]Hughes，A.Testing for Language Teachers [M].Cambridge: Cambridge University Press，1989.

[9]Bachman，L.F.and Palmer，A.Language Testing in Practice [M].Oxford: Oxford University Press，1996.

[10]Bailey，K.M.Working for Washb- ack: A Review of the Washback Concept in Language Testing [J].Language Testing，1996(3):257-279.

[11]黃大勇.ESP測試的特征、存在依據和設計原理[J].考試研究，2007(3): 66-75.

[12]王愛國.陸空通話與飛行安全[J].中國民用航空，2006（1）：69-70.

[13]陳紀梁，陶偉.談大學英語口語考試及其反撥作用[J].山東外語教學，2001(1): 82-84.

[14]黃大勇，吳土星，張永忠.民航英語測試的特征和設計原理[J].中國民航飛行學院學報，2008（3）：18-25.

An Empirical Study of Washback Effect of Aviation English Oral Test on Students'''' English Learning

——A Case Study of OPI

CAO Jia，WANG Aiguo

(School of Foreign Languages，Civil Aviation University of China，Tianjin 300300, China)

AbstractAs a branch of ESP testing，Oral Proficiency Interview (OPI) is a high stakes test，so it has an impact on students'''' English learning.This paper aims to explore its washback effect on students'''' English learning in four dimensions.The research employs various methodological techniques such as classroom observations，questionnaires and interviews to collect both qualitative and quantitative data.The findings show that OPI mainly exerts positive washback effect on students'''' English learning，and it generates more intensive washback effect on aviation English learning，but EGP learning has received weak washback effect.

Key wordscivil aviation flight personnel; OPI; English learning; washback effect