Versant英語口語測試：特點分析及其啟示

程蒙蒙

Versant英語口語測試：特點分析及其啟示

程蒙蒙

Versant英語口語測試（The Versant English Test）是一種測試非英語母語成年英語學習者口語能力的計算機輔助口語考試，也是世界上第一個使用語音識別和處理技術的全自動口語考試。本文首先從考試界面和流程、試題和題型、成績報告三個方面分析了Versant英語口語測試的特點，然后對Versant英語口語測試自動評分技術做出闡述，最后介紹了此考試系統在研發過程中所做的效度驗證及其他相關研究。希望能夠為努力提升自己英語口語水平的廣大英語學習者帶來一定幫助，并對國內的計算機輔助英語口語測試的研發有所啟示。

Versant英語口語測試；計算機輔助測試；測試特點；口語自動評分；效度驗證

Versant英語口語測試（The Versant English Test）是一種測試非英語母語成年英語學習者口語能力的計算機輔助口語考試，也是世界上第一個使用語音識別和處理技術的全自動口語考試。該考試通過電話或計算機實施，并由計算機進行自動評分。Versant英語口語測試原名為PhonePass，是Or?dinate公司的專利產品。2002年PhonePass更名為PhonePass SET-10。在2003年Harcourt評價公司收購Ordinate公司后，PhonePass SET-10于2005年正式更名為The Versant English Test。2008年1月Pearson PLC收購Harcourt評價公司，Versant英語口語測試正式成為Pearson集團的產品。[1]目前，全球多個學術、商業和政府組織在使用Versant英語口語測試對求職者、雇員、學生或國際助教的英語口語能力進行評估，并應用于入學、招聘或職位安排方面的決策。

1 測試特點分析

1.1 界面和流程

1.1.1 基本情況

Versant英語口語測試時間為15分鐘，考試可以通過電話或計算機實施。通過電話實施的考試同時需要一頁紙質試卷的支持。試卷包含關于考試實施和流程的介紹，例如：如何撥號，如何輸入準考證號，如何握話筒，口語指導語、例題，以及第一部分朗讀試題。[2]根據不同國家和地區的情況，紙制試卷可以由考生在考前固定時間段上網下載，或采取由考務人員發給考生的形式。考生撥打電話開始考試，系統要求考生利用電話撥號鍵盤輸入準考證號，然后說出自己的名字。電話中傳出的口試教師指導語同時在試卷上顯示。由于考試號碼一次有效，考試過程中考生不能掛斷電話，否則考試中斷且不能重考。

通過計算機實施的Versant英語口語測試是基于網絡傳輸的計算機輔助考試。客戶端計算機需要有網絡連接，并需要從Versant網站下載安裝Ver?sant計算機傳輸測試軟件。考試過程中，耳機中傳出的口試教師指導語在計算機屏幕上同時顯示。

1.1.2 特點分析

從各種渠道的宣傳資料來看，考試的便利性是Versant英語口語測試的最大賣點。Versant英語口語測試宣稱只要通電話的地方就可以進行考試，考生可以自由選擇考試時間和地點，這也就是說考生在家中、在辦公室、甚至在電話亭中都可以參加考試。但實際上，由于考試的實施還需要紙質試卷的支持，考生需要在考前的固定時限里上網下載試卷，獲取考試號并打印試卷。因而，要進行考試，僅有電話連接是不夠的，考試順利完成還需要計算機、網絡連接甚至打印機的支持。在中國，依然采取的是考生去固定考點參加考試的方式，紙質試卷由考務人員打出并發給考生。

此外，由于考試號碼一次有效，當線路故障或聲音質量不好時，需要與監考老師聯系，確認故障并做出調整安排。這也說明，Versant英語口語測試并未實現其宣傳的隨時隨地進行考試。Versant英語口語測試雖然不是高利害考試，但由于成績會用于入學、招聘或職位安排方面的決定，若考生自行進行考試，由于設備或信號問題造成的考試中斷必然會對考生造成一定的影響。

通過計算機實施的Versant英語口語測試與通過電話實施的考試相似，同樣需要網絡連接，只不過紙質測試頁上面的內容通過計算機屏幕，與耳機中的口語考試教師指導語同步顯示。

1.2 試題和題型

1.2.1 基本情況[2]

Versant英語口語測試分為6個部分，共63道試題。

第一部分：朗讀。根據指導語提示朗讀紙質試卷或計算機屏幕上給出的3組（每組4個句子）共12個句子中的8個句子，提示朗讀的句子以隨機順序出現（見圖1）。

第二部分：復讀。要求考生重復聽到16個句子，句子長度在3～15個單詞，難度逐句增長。如Bi?ology requries study.It’s supposed to rain tomorrow,isn’t it?

第三部分：回答簡短問題。共24個問題，多為基本常識問題或關于時間、順序、數字、詞匯內容或邏輯的簡單推理問題。此部分問題不涉及英美文化、地理、歷史或社會關系等方面內容。如What season comes before spring?What is frozen water called?Does a tree usually have fewer trunks or branches?

第四部分：句子構建。要求考生將聽到的3個短語組成句子并讀出。每個試題給出的3個短語在語法和時態方面已做出變化，考生在組織句子時只需考慮短語的排列順序，而不需做語法和時態的變化。句子構建共10個問題。如Ralph/this photo?graph/could convince。

圖1 Versant英語口語測試朗讀樣題

第五部分：復述故事。考生聽到3個故事，每個故事約為30～90個單詞，包含2～5個句子；要求考生將聽到的故事復述出來，要包含故事的情景、人物和結局（見圖2）。

第六部分：開放性問題。考生聽到2個問題，考生被要求說出觀點并做出闡述。問題多為詢問家庭生活或考生的喜好和選擇。如Do you think tele?vision has had a positive or negative effect on family life?Please explain.

1.2.2 特點分析

Versant英語口語測試具有真實性強的特點。多達540名來自不同地域和社會階層的美國人參與考試試題的錄音制作；每套試題的聲音輸入選取了不同的具有代表性的美式英語口語，并在地域分布和男女性別方面做出平衡，從而保證考生在Versant英語口語測試中聽到的聲音場景貼近日常生活、學習和工作中的真實場景，符合語言真實性的要求。[2]

Versant英語口語測試體現了聽說過程自主性的特點。Versant英語口語測試建立在Levelt聽說模型（圖3）的基礎上，要求考生能夠“快速、輕松地理解聲音輸入，同時產出實時、恰當的對話”。在輸入并產出的過程中，自主性發揮了至關重要的作用，保證了說話者快速理解聽到的內容，快速組建句子并做出回答，而不需特意進行語言學代碼分析。[2]基于上述考試構想，Versant英語口語測試采取聽說綜合測試的方式，并利用短時間（共15分鐘）、大題量（共63道題）的方式實現聽說過程的自主性。然而，從一些評論文章[3]和英語學習者的反饋[4]來看，短時間、大題量且沒有熱身問題的考試形式很容易增加考生的焦慮情緒。

圖2 Versant英語口語測試復述故事樣題

圖3 Levelt聽說模型

1.3 成績報告

1.3.1 基本情況[5]

Versant英語口語測試采取計算機自動評分，在通常情況下，在考試結束幾分鐘以后，考生就可以在網上獲得詳細的成績報告。Versant英語口語測試成績報告單包含總體分數和4個分項技能分數。分項技能分數分別為：句子掌握、詞匯、流利度、發音。總分和分項分均采取20～80分制（見圖4）。

圖4 Versant英語口語測試成績報告單

Versant英語口語測試成績報告還給出關于總分的解釋和考生的聽說能力總體描述，4個分項技能的具體描述，和對應的考生現階段的能力水平描述。

Versant英語口語測試4項分項分數可以歸為談話內容和產出方式兩大類。句子掌握和詞匯屬于談話內容，流利度和發音屬于產出方式。此考試官方效度報告表明，關于談話內容和產出方式的分類來自Carroll 1961年提出的語言表現分為知識掌握和控制能力的分類，Carroll在1986年將控制能力稱為自動性，即不用考慮應該使用何種語言知識便能夠進行流利交流的能力。[5]Versant英語口語測試任務認為談話內容和產出方式同等重要，因而句子掌握和詞匯的分項分，與流利度和發音的分項分權重相同。

基于“歐洲語言學習、教學、評量共同框架”（CEFR）的能力描述和對來自東亞、中東、南美、歐洲的22個國家、年齡在12～65歲的大規模考生聲音樣本評分，成績報告單給出獲得某總體分數的考生在聽力、口語產出、口語互動、語言質量、策略和技能5項分技能方面在一般情況下能夠完成的任務。此部分信息針對獲此總體分數的考生群體在一般情況下的表現，個體考生的差異體現在4項分項技能分數對應的考生目前能力描述。

Versant英語口語測試成績報告單還針對考生現階段的能力水平提出下一步的改進方案。成績單最后報告考生成績在其他語言能力量表上的對應，如CEFR量表、TOEFL口語成績、TOEFL總分、TOEIC成績。

1.3.2 特點分析

Versant英語口語測試成績單不僅從三個維度（總體分數和4項分項技能分數的能力描述、基于CEFR量表的考生的5項分項技能能力描述、考生分數在其他語言水平量表上的對應）對考生的分數和能力做出詳細詮釋，還為考生提供了詳細的改進方案，體現了“為了學習的評價”理念。此外，考生還可以在Versant英語口語測試官方網站找到更為詳細的Versant英語成績分數與CEFR的對應和能力描述。

2 口語考試自動評分技術

自動評分技術是Versant英語口語測試的最大創新之處。口語題目采取自動評分有兩大優勢：其一，跟評分教師相比，自動評分系統不受非語言因素的影響，如考生外表、性格、口音、肢體語言等，因而比人工評分更為客觀。自動評分的結果不僅能夠真實地反應語言能力，也更具普遍性，即無論測試發生在哪里，最后結果都相同。其二，自動評分能夠保證單一語言特性的獨立分析，而不受其他方面語言特征的影響，避免了評分教師受到“判斷轉移”的影響。

Versant英語口語測試采用Ordinate技術進行自動評分。Ordinate技術經多年語音識別、統計模型、語言學、測試理論方面的研究，不僅可以識別單詞，還可以定位和分析相關音段、音節和短語，并利用統計模型對英語母語和非母語的英語口語表現進行評價。Versant英語口語測試口語部分通過試測收集用于訓練語音識別器的語音樣本，從而建立口語部分自動評分模型。首先，采用口語評分員對用于訓練語音識別器的語音樣本的內容、詞匯、語言運用、發音、流利性和重音等特征進行打分。其次，語音識別系統對上述特征做出評判，并與口語評分員的評判進行比較，從而建立評分模型，并對評分員就下一份考生口語做答如何評分做出預測。對于簡短問答題型，Ordinate評分系統對考生單詞準確性、發音、流利度和語法做出評判；對于更長，更復雜的做答，評分系統還會對詞匯使用廣度以及內容方面做出評判。[6]

在Versant英語口語測試的63道試題中，目前有54道用于自動評分。每部分的第一道試題為練習試題，不計入總分。3道復述故事的試題不計分；最后兩道開放問答題也不計入總分，但考生的作答會被保留下來“供相關授權人員審核”。目前，對于朗讀、復述、回答問題等可控制的口語試題，計算機語音識別自動評分技術相對比較成熟，這也是Ver?sant英語口語測試在很短的時間之內就可以為考生提供成績報告的主要原因。然而，Versant英語口語測試6類試題中，能夠考查到語篇運用能力的復述故事和開放問答題并不參與評分，在追求考試高效和為考生提供便利的同時，如何平衡與效度和真實性的關系，是值得思考的一個問題。

3 效度驗證及相關研究

Versant英語口語測試進行了兩次大規模的效度驗證。第一次效度驗證（PhonePass和SET-10階段）在超過4 000人的群體（包括英語母語的人群和非英語母語人群）中進行。其中英語為母語的標準參照組，包括775名具有美國地域代表性、18～50歲，男女比例為40∶60，18%為非裔美國人，是有讀寫能力的成年人。英語為非母語的標準參照組由3500多名考生中選出的514名分層隨機樣本組成，能夠反映包括阿拉伯語、漢語、西班牙語、日本語、法語、韓語、意大利語、泰語等超過40多種語言的考生人群，年齡介于17～79歲，男女比例為50∶50。由于Versant英語口語測試代替了之前的PhonePass和SET-10，Pearson公司進行了二次效度驗證。其中英語為母語的標準參照組包括775名成年人，66%來自美國、34%來自其他國家，年齡介于18～75歲，男女比例為45∶55。英語為非母語的標準參照組包括來自亞洲、歐洲和南美的603名考生，年齡介于12～56歲，男女比例為38∶62。根據效度驗證報告，Versant英語口語測試與之前的PhonePass版本考試相關高達0.98（n=200）。

Versant英語口語測試的效度驗證報告表明，自動評分與人工評分相關程度極高。總體分數相關高達0.97；關于談話內容的分項技能分數人機評分相關略高于關于產出方式的分項技能分數人機評分相關。

Versant英語口語測試分數與CEFR相關為0.88，與TOEFL iBT口語考試相關為0.75，與IELTS口語考試相關為0.77。

Versant英語口語測試科研發展團隊還進行若干與口語考試相關的研究，主要有：口語考試理論與應用研究、考試實用性研究、電話實施的考試與計算機實施的考試對比研究、計算機輔助考試研究、應用Ordinate技術的新產品研發等。[7]

4 結語

Versant英語口語測試作為國際性的計算機輔助英語口語考試，在考試形式、試題內容、考務實施、后臺技術、科研支持等方面均具有其獨特之處。其基于網絡傳輸的計算機輔助測試形式，以及采取語音識別和處理技術的口語自動評分方式，對我國英語口語的測試和評價有著特別的借鑒作用。計算機輔助口語測試是口語測試發展的新方向，國內外考試機構在這一領域都非常重視，投入了大量的人力物力進行研究和實踐。與此同時，在保證測試效度的前提下，如何采用現代化的技術手段改造英語測試也成為各考試與評價機構競爭的重要領域。目前，我國已有一些計算機輔助英語口語考試項目，如PETS低級別計算機輔助口語考試和一些省級口語考試，但由于其尚未形成規模并依然采取人工評分的方式，總體來說和國際先進水平還有一定差距。因此，追蹤國際上先進的語言測試技術，進行我國自己的計算機輔助英語口語測試的研究和開發，是利用先進技術提升考試層次，使我國語言測試向現代化邁進的必然趨勢，也是每個語言測試工作者的必盡職責。

[1]Versant for English.(n.d.)Retrieved from December 12,2010,from http://edu.gter.net.bbs/thread-614487-1-1.html.

[2]Ordinate.Versant English Test:Test Description&Validation Summary.Retrieved from December 12,2010,from www.ordinate.com/technology/VersantEnglishvalidation.pdf.2011a.

[3]Chun,C.W.Comments on“Evaluation of the Usefulness of the Versant for English Test:A Response”:The author responds,Lan?guage Assessment Quarterly,2008，5(2),168-172.

[4]Versant for English.(n.d.)Retrieved from December 12,2010,from http://edu.gter.net.bbs/thread-614487-1-1.html.

[5]Versant.Score report.Retrieved from December 12,2010,from www.ordinate.com/SAMPLE-SCORE-REPORT-VET-WATER?MARK.pdf.2010.

[6]Versant.Versant English Test:Test Description and Validation Summary.Retrieved from December 12,2010,from www.ordinate.com/TEST-DESCRIPTION-VALIDATION-SUMMARY.pdf.2010.

[7]Ordinate.Featured Research Papers and Presentations.Retrieved from December 12,2010,from www.ordinate.com/technology/re?search/jsp.2011b.

An Analysis of The Versant English Test

CHENG Mengmeng

The Versant English Test is a computer-assisted spoken English test for non-native English adult speakers.It is also the first automatic spoken English test using speech processing technology and the advanced science of linguistics.To offer some helps to those who want to increase their spoken English skills,as well as some insights to our own research of computer-assisted spoken English tests,this essay analyzes the strengths and weaknesses of The Versant English Test in the aspects of test interface and procedure,test and item types,as well as score reports.It also investigates the automatic scoring techniques used in The Versant English Test,and introduces its relevant studies,such as reliability study,validity study,etc.

The Versant English Test;Computer-Assisted Tests;Test Characteristics;Automatic Scoring;Validity Study

G405

A

1005-8427(2012)08-0052-6

教育部考試中心