BEC口試的信度評估

　　摘 要：口語考試的主觀性給提高口試信度帶來了很大的難度。BEC口試以其設(shè)計(jì)的標(biāo)準(zhǔn)化和實(shí)施的規(guī)范化在亞太地區(qū)獲得了良好的聲譽(yù)。從BEC口試的形式、結(jié)構(gòu)、實(shí)施過程、評分標(biāo)準(zhǔn)等方面對BEC口試的信度做了較為詳細(xì)的分析和評價(jià)，希望為外語教師和測試專業(yè)人員開發(fā)高質(zhì)量的口試提供有益的啟示。
　　關(guān)鍵詞：信度；BEC口試；口試設(shè)計(jì)；口試實(shí)施
　　
　　一、引言
　　近年來，英語口語能力的測量受到越來越多的關(guān)注。如何提高口試的信度是口試設(shè)計(jì)與實(shí)施的難點(diǎn)，也是口試研究的焦點(diǎn)之一。筆者認(rèn)為由劍橋大學(xué)考試委員會（University of Cambridge Examinations Syndicate，簡稱UNCLES）開發(fā)的BEC考試可以給我們提供許多可以借鑒的做法。
　　BEC考試的全稱為劍橋商務(wù)英語證書考試（Cambridge Business English Certificates），在我國實(shí)施已有十余年。此考試的目的在于測量考生在商務(wù)環(huán)境下的英語交際能力，每個(gè)級別都包含筆試（聽力、閱讀、寫作）和口試。本文將分析UNCLES為提高BEC口試信度而采用的各種方法和舉措。
　　二、BEC口試的特征與實(shí)施
　　1.口試長度
　　從理論上講，考試越長，其信度就越高。然而，在實(shí)際操作時(shí)，考試的長度是受可行性因素制約的。在2002年3月BEC考試修改之前，BEC初、中、高三個(gè)等級的口試長度分別是10、12和14分鐘。修改之后，各級口試均增加了2分鐘，這樣雖然增加了考試成本，但是可以采集到更長的話語樣本。由此改動可以看出UNCLES在提高信度上所作出的努力。鑒于BEC考生人數(shù)眾多、培養(yǎng)高質(zhì)量考官隊(duì)伍的難度以及費(fèi)用等方面的現(xiàn)實(shí)因素，這樣的口試長度是切合實(shí)際的。
　　2.口試形式
　　BEC三個(gè)級別的口試都采用面對面的直接考試形式，由兩個(gè)考官同時(shí)測試兩個(gè)考生，主考官（interlocutor）主持口試，副考官（assessor）不參與交際，專事評分。二對二的形式除有利于效度之外，對提高信度有以下益處：
　　（1）與考生單個(gè)應(yīng)考的方法相比，增加了互動的形式，使考官能夠采集到更多種類的話語樣本。
　　（2）朋友或同學(xué)結(jié)伴應(yīng)試可以減少考試帶來的緊張感，口試的氣氛會輕松許多。考生不必自始至終以低人一等的身份同權(quán)威人物講話，相反，考官可以扮演相對被動的角色，而讓考生以較為自然的方式更自由地交談。考生會使用他們在現(xiàn)實(shí)生活中多數(shù)對話場景里使用的正常語言。
　　（3）雙人評分可以減少冗長、乏味的面談所帶來的壓力和疲勞。對一個(gè)考官來講，同時(shí)完成發(fā)出指令、參與交際和評分的多重任務(wù)，難度相當(dāng)之大。雙人評分可以使主考官集中精力主持口試、副主考則給出細(xì)致的單項(xiàng)分，這樣考官主持口試的表現(xiàn)會更穩(wěn)定，評分也會更準(zhǔn)確。
　　3．口試結(jié)構(gòu)
　　BEC口試每個(gè)級別都包含三個(gè)獨(dú)立的部分，每個(gè)部分都涉及不同的交互形式，旨在引發(fā)不同形式的話語。
　　第一部分是提問（Interview），交互形式為考官←→考生，考官向考生提問，引發(fā)簡要的、事實(shí)性的個(gè)人信息。這一部分測試的重點(diǎn)是：自我介紹，談?wù)摷彝ァ酆谩⒐ぷ鞯仍掝}，表達(dá)同意、不同意、喜好等方面的簡單功能。第二部分為個(gè)人簡短陳述（Individual mini-presentations），主考官給每個(gè)考生分配一張任務(wù)卡，考生根據(jù)自己選定的話題做一個(gè)連續(xù)的陳述，然后由考官或另一位考生提一個(gè)相關(guān)的問題。這一部分的交互形式為考生←→考生+考官。這種個(gè)人陳述題型的交互程度較低，但優(yōu)點(diǎn)是可以采集到較長的話語樣本，可以測量考生的語篇能力，即表達(dá)的連貫性、邏輯性以及準(zhǔn)確性、得體性等。第三部分是合作任務(wù)（Collaboration task and follow-up questions），主要是由兩位考生按照主考官描述的情景和所給的提示進(jìn)行討論，然后主考官提出一兩個(gè)相關(guān)問題以擴(kuò)展討論，并給說話較少的考生更多的發(fā)言機(jī)會。這一部分互動程度最高，互動形式為考生←→考生，考官←→考生。這里測量考生運(yùn)用功能性語言和策略進(jìn)行得體交際的能力。
　　可以看出，口試的每一部分都是一個(gè)“新的開始”（fresh start），都采用不同的題型，使用不同的互動形式，測量口語能力的不同方面，這種多部分的結(jié)構(gòu)設(shè)計(jì)確保了考生語言行為采樣的廣度和多樣化，起到了提高口試信度的作用。
　　4.可選試題
　　由于全體考生不能在同一時(shí)間參加考試，口試題目必須保密。如果考生在考試前獲得了有關(guān)口試題目的信息，他們的分?jǐn)?shù)便會偏離其真實(shí)能力，造成測量的不準(zhǔn)確。
　　這種保密工作總是需要不小的人力投入。UNCLES的措施是：提供多套可選的題目，要求考官在每場口試時(shí)都盡量使用多種不同的試題。這樣就沒有必要阻止已完成口試的考生向其他考生“泄題”，因?yàn)樗麄兣龅酵瑯涌碱}的可能性極小。這種做法的好處在于不用封閉備考考生，他們不必在備考室滯留。這樣既減少了口試組織者監(jiān)考方面的麻煩，也防止考生因等待過久而產(chǎn)生疲勞和焦慮。但是設(shè)計(jì)多套難度對等的題目，對出題者的專業(yè)水平要求很高，且需要較大的人力財(cái)力的投入，另外也給考官的評分增加了一定的難度。使用多套可選題目是否會影響考生答案的可比性，或者造成其口試表現(xiàn)的差異呢？UNCLES聲明，他們的研究顯示多套考題的使用沒有給考生的口試表現(xiàn)帶來顯著的影響。
　　5.考官指令（interlocutor frame）
　　主考官在主持口試即發(fā)出指示、分派任務(wù)時(shí)必需嚴(yán)格遵照“考官指令”。主考官不可以隨意以自己的方式講話。當(dāng)考生出現(xiàn)理解困難時(shí)，考官可使用備用問題（back-up questions）。“考官指令”使口試過程規(guī)范化，使每個(gè)考生都得到公平的、同等的對待。嚴(yán)格遵守“考官指令”可以避免任務(wù)焦點(diǎn)的轉(zhuǎn)移和任務(wù)難度的變化。
　　三、BEC口試的評分程序
　　BEC口試中兩位考官都參與評分，主考官打總體分，副考官打分項(xiàng)分。兩名考官從不同的角度、彼此獨(dú)立地評判考生的表現(xiàn)。按照規(guī)定，他們不相互商量，不受同伴判斷的影響。
　　由于主考官的主要責(zé)任是主持口試和參與交際，所以按要求他（她）不必關(guān)注考生話語的某些特定方面，只需根據(jù)考生整體表現(xiàn)的有效程度給出一個(gè)總體分?jǐn)?shù)（0~5分）。副考官的任務(wù)則是仔細(xì)傾聽，并按照4個(gè)詳細(xì)的分項(xiàng)評分標(biāo)準(zhǔn)（analytical scales）打出4個(gè)分?jǐn)?shù)（0~5分）。這4個(gè)分項(xiàng)標(biāo)準(zhǔn)是：（1）語法與詞匯：即語法與詞匯形式的廣度、精確度和得體程度；（2）語篇處理：即話語的連貫性、深度以及與主題的相關(guān)性；（3）語音語調(diào)：考生話語的流利及標(biāo)準(zhǔn)。在考試允許的范圍內(nèi)使考生保持良好的心理狀態(tài)，雙人、獨(dú)立評分以及總體、分項(xiàng)評分的結(jié)合可以有效地提高評分信度。
　　四、結(jié)束語
　　考試從本身來講并無“好”“壞”之分，“最好”的考試是不存在的（Bachman，6）。我們在動手設(shè)計(jì)考試之前，應(yīng)該對有關(guān)具體情況有一個(gè)全面的了解。口試的設(shè)計(jì)和實(shí)施是權(quán)衡各種因素并做積極妥協(xié)的過程。
　　BEC口試在考試設(shè)計(jì)、開發(fā)和實(shí)施等諸多方面為我們提供了很好的啟示，筆者希望本文的討論有助于語言教師們設(shè)計(jì)出符合各自具體情況的高質(zhì)量的口試。
　　參考文獻(xiàn)：
　　［1］Bachman，Lyle F and Pal