在線英語寫作測評系統iWrite 2.0應用個案評估

李丹云

摘 要 基于英語語言測試理論，試圖分析和評估國內某著名在線英語寫作測評系統iWrite 2.0在某高校新生入學英語摸底水平考試中所表現的優勢及不足。設計啟用一份半封閉調查問卷，用以收集測試使用者的反饋信息，進行測試有用性分析。

關鍵詞 iWrite 2.0；在線英語寫作測評系統；大學英語；無紙化在線考試

中圖分類號：H319 文獻標識碼：B

文章編號：1671-489X（2018）23-0026-03

Abstract This article aims to evaluate the iWrite2.0 Online English Writing Assessment System in a case study. It addresses the advan-tages and disadvantages from six aspects based on language test theories. By utilizing a semi-open questionnaire， the study collects the feedback from test users and conducts a usefulness analysis.

Key words iWrite2.0； online English writing assessment system； college English； paperless online examination

1 前言

測試在中國教育體制中扮演著舉足輕重的角色，在英語作為外語（EFL）的中國，英語測試的重要性尤其突出。語言測試學者Bachman和Palmer指出，考試評估中有六大要素能有助實現測試效果最佳化，即測試效度、信度、真實性、互通性、影響和實用性[1]。本文試圖依據這六大要素，評估在線英語寫作測評系統iWrite 2.0在某高校新生入學英語摸底水平考試中所表現的優勢及不足。

2 測試目的及任務

該測試作為海南某醫學院校2017級大一新生入學摸底測試，于新生入學后的第二個周末進行。在該校目前的課程計劃中，大學英語是26個醫學門類專業學生大一和大二階段的必修課程。由于醫學學科體系龐大且極具專業性，學生層次差異較大，英語差異化分級教學需求明顯。因此，對入學新生進行英語水平摸底考試，對于后續兩年的英語分級教學意義重大，對于部分學生來說屬于高風險考試（high-

stakes test）。此次寫作任務為在規定的時間內（30分鐘）完成80個單詞左右反饋性寫作，測試學生就某一話題進行比較或對比的寫作技能，滿分20分。原題如下：

Directions： Please write a short composition of at least 80 words on one of the topics below.

1）Compare your high school life and college life.

2）Compare your experiences before and after giving up a bad habit.

3）Contrast an active student with a passive student.

4）Two views of your parents： before and after you left them for college.

5）Two ways of losing weight： one healthy， the other dangerous.

3 分析和評估

測試效度（Test Validity） 測試效度指的是基于考試分數所做出的解讀的意義性和恰當性[1]。它是一個動態過程，在該過程中能基于測試參加者的分數不斷獲得證據來分析和評估被測者的能力，測試開發者能根據測試任務的特點來決定測試任務和目標測試者真實語境任務的相關性。此外，一個有效的測試能使得測試設計者解讀出測試任務多大程度上能調動被測者的語言能力。目前，大部分寫作測試仍然采取整體打分（holistic scoring）和單項打分（analytical scoring）結合的方式。單項通常基于語言、內容、篇章結構和技術規范這四項指標進行評分。如批改網（https：//www.pigai.org/）的寫作系統默認設置就是如此，該在線寫作系統由整體評分和四個單項分根據不同權重構成[2]。

首先，本文基于目的性原則，以臨床醫學專業（醫學院校的主導專業）首批被試者234人為對象，抽樣10位學生的作文，對寫作分數相近的學生分成五組進行初步比較，結果發現其試卷總分差距最大者竟然有42分；其次，將寫作最高分作文與試卷總分最高者的作文進行對比；最后基于寫作得分均為12分（及格分）的兩份樣文進行對比分析。顯而易見，能從多次對比分析中發現語言點、內容相關度以及篇章結構方面的巨大差異。

隨后對全部考生（234人）的試卷總分和各單項分之間（聽力理解、閱讀理解、詞匯和結構、寫作）以及各單項分之間進行Pearson相關系數分析。Pearson相關系數可以用來反饋兩個變量之間的關聯程度，以r值體現，介于-1和1之間，r值的絕對值越大，說明二者越相關。統計結果發現，寫作任務與總分之間相關性較差（r=0.393，n=234，p=.000），而聽力、閱讀和詞匯結構與總分的相關性較好（r=0.832，r=0.861，r=0.838，respectively），具體如表1所示。

測試信度（Test Reliability） Bachman & Palmer認為有四大變量能導致信度的不確定性，即被試者、評分、試題以及測試具體執行[1]，因此又依次稱之為學生信度、測試者信度、測試執行信度和測試信度。

1）學生信度（Student Reliability）。學生信度是指因學生突發疾病、勞累、焦慮或者其他與學生本人有關的因素而導致的非正常發揮。此次入學摸底考試是大一新生入校后的第一次全校性的大規模集體考試，且時間安排在入學后的第二個周末，學生剛剛結束高強度的軍訓，有理由相信學生的身體素質并非處于最佳狀態；另一方面，他們得知此次考試有可能關系后續的英語分級，可能產生不同程度的焦慮。因此，鑒于身體素質、心理焦慮和準備時間不足、電腦操作技能缺乏訓練等多重因素，學生信度一定程度上受損。

2）測試者信度（Test User Reliability）。Brown和Abeywickrama將測試者信度分為兩類：測試使用者本人內部信度（Intra-rater Reliability）和不同測試使用者之間的信度（也稱組間信度，Inter-rater Reliability）[3]。電腦在線協作考試系統能夠達到很高的內部信度，因為機器本身不會感到身體疲倦，可以快速高效工作。更重要的是，評分過程中不會出現前后評分標準浮動等主觀因素而影響結果，這是教師人為評卷無法企及的優勢。

另一方面需要重視人機間評閱的信度分析，雖然過程棘手，但是意義重大。鑒于操作實踐技巧和背后依托的評分標準復雜，尤其是該系統還處于嘗試階段，作為測試使用者不能忽視技術可能帶來的隱患。初步整體評估發現，系統對于大部分學生的作文自動給出的反饋都是較為粗略且語言結構極其相似的評價意見，對于非常明顯的語言錯誤并未識別，更無從談及提出具體糾正建議。所謂權重和評分準則，都是機器基于人為設置的計算模型進行分析得出的結果，需要測試開發平臺技術人員對測試使用者進行專業、科學的培訓，才能發揮該系統的最大效用。

3）測試執行信度（Test Administration Reliability）。

根據教師反饋，此次測試在所有參與教師的大力合作下有序進行。實驗室的所有電腦均經過升級檢測，狀態良好；學生和教師均提前進行了不同程度的電腦操作培訓，相關考試信息也提前通知到位，據此可以判斷測試執行信度較高。

4）測試信度（Test Reliability）。iWrite系統是一個基于互聯網的在線寫作評判平臺，由外語教學與研究出版社聯合北京外國語大學中國外語與教育研究中心梁茂成教授及其研究團隊于2015年研發設計而成，具有語料庫、二語寫作、機器學習以及自然語言處理等語言學術研究支撐[4]。據稱該計算模型是由人工評閱后的作文語料庫建構的，比如谷歌詞簇統計語料庫（Google Ngram）、英國國家語料庫（BNC），以及國內的大學英語四六級考試和英語專業八級考試語料庫等。但是官方數據和此次測試的真實效果之間的差異仍需要更多的個案分析來進一步研究和證實。

真實性（Authenticity） Brown和Abeywickrama在探討寫作測試題型時，提出四種常見寫作任務：比較與對比型、提出問題—解決問題型、支持與反對意見型、因果關系型[3]。此次寫作任務是從iWrite 2.0題庫中挑選出來，符合第一類比較與對比題型，滿足題型真實性要求。另外，話題選擇也與學生真實經歷、世界知識緊密相關，有助于學生在測試環境之外獲得素材，一定程度上提高了測試的真實性。

然而，不足之處在于此次寫作任務也有可能對學生的閱讀理解能力提出了挑戰。一個列舉五個話題的清單，對于在考場壓力下，30分鐘內完成一個段落寫作，這就需要學生快速閱讀理解、判斷篩選、做出決策、完成語言寫作等一系列反應，才能高效完成寫作任務，這考驗的不僅僅是英語寫作能力，也涉及選擇策略、時間分配等認知策略問題，超出了寫作測試的范圍。鑒于此，可以判斷測試結果不一定能完全真實地反映學生的實際寫作水平，因而測試真實性有所受損。

互通性（Interactiveness） 正如Bachman & Palmer書中所言，測試互通性的核心在于目的語中五個要素的參與程度，即測試開發者需要考慮該測試多大程度上調動了被試者的語言知識、元認知策略、話題知識、個人特點和情感機制，以達到測試目的。其中，比較微妙的方面是情感機制問題[1]。部分測試使用者認為，有些話題或許會給學生帶來強烈的情感反應甚至不適，如戒掉某種壞習慣，描述一個被動的學生，減肥經歷，等等。大家普遍認同這些話題情感上并非愉悅。綜上所述，該寫作任務的題型設置整體互動性較好，但是在話題選擇上可以更加細致和人性化，最大限度上幫助學生發揮真實寫作能力。

影響（Impact）

1）測試對學生的影響。測試具有一定目的性，且測試結果不論在個人層面還是學校層面，都會產生一定的影響。Bachman & Palmer認為測試對被試者都會產生一定的積極反撥作用[1]。學生利用電腦在線進行測試，雖然與他們以往的傳統紙質筆試體驗有很大不同，帶來一定的不便，但這些經歷也提高了他們的電腦操作技能，提高了他們對于在線網絡學習和考試的意識。據教師反饋，他們很高興看到學生對無紙化在線考試的極大熱情和積極主動性，并沒有他們之前所預測的反感和敵視情緒出現，這也是此次考試帶來的喜人信號。

在技術發展日新月異的時代，“computer literacy”“media literacy”應該是新世紀各階段學生應具備的基本素質，只有具備了電腦、網絡以及新媒體意識和基本操作技能，才能夠不被冠以新世紀“文盲”的稱號。

2）對教師的影響。對測試使用者的最大影響在于教師極大地改變了對在線寫作系統的認知和操作。iWrite 2.0系統是2018年新開發的在線平臺，資源豐富多樣，可供教師組合利用，以前繁重復雜的找題、組合排版、校對、定稿過程幾乎不存在了，教師似乎得到了解放，出題似乎只在鼠標“點擊”之間。

本文并不否認在線寫作系統所具有的優勢，也承認其快捷、方便、高效，但是必須肯定一個前提，即技術應該掌握在有能力且合適的人手里，這樣才能最大限度地發揮出技術的優勢。因此，對教師進行足夠且高質量的業務培訓是必不可少的。需要重點強調的是，應該更多涉及針對測試任務、測試目的要素之間的邏輯關系和匹配程度的專門培訓，讓教師明白無誤地理解如何有效匹配考試目的和測試題目。這種軟技能培訓比平臺操作“硬技能”更重要，也更迫切。

3）對學校的影響。從整個學校層面來說，舉行如此大規模的全校性摸底考試，既有好處，也有不利之處。常言道：“欲速則不達。”在第一次使用無紙化在線考試系統的大前提下，因為時間、技術、認識等局限，很多教師也對在如此倉促的時間內對全校大一新生統一進行摸底測試的必要性持保留意見。

實用性（Practicality） 測試實用性是指制定考試標準、實施測試和考試評分所需要的資源總量，通常包括一些具體行政事務。iWrite 2.0系統是一個為英語教學服務的商用英語測試平臺，由學校購買并安裝至各實驗室電腦系統。整體而言，該平臺用戶友好，操作簡單，環境友好，實用高效。但若要對1743名大一新生同時進行測試，顯然也是不現實的。因此，被試者分成八個不同批次，在四個半天的周末輪流進行摸底測試，外語部全體工作人員（45人左右）都參加了監考。由此可見，該測試還是耗費了相當多的人力資源，還包括前期的教師培訓等工作。

4 結語

總體而言，iWrite 2.0在線寫作測評系統在此次入學摸底測試中發揮了很大的積極作用，其優勢在于較強的機器評閱內部信度，互通性較好，較為簡便的實操性，對學生和教師都帶來一定的積極反撥作用。然而，由于測試效度、試題信度以及真實性的局限性，該系統還有改進的空間，尤其在人機組間信度分析、來自學生的真實反饋，以及被試者對寫作系統給出的評價意見吸收成效的跟蹤調查研究，都有望成為接下來的研究課題。

參開文獻

[1]Bachman L F， Palmer A S. Language testing in prac-tice： Designing and developing useful language tests[M].Oxford， UK： Cambridge University Press，1996.

[2]Bai L， Hu G. In the face of fallible AWE feedback： How do students respond？[J].Educational Psychology，2017，37（1）：67-81.

[3]Brown H D， Abeywickrama P. Language Assessment： Principles and Classroom Practices[M].2nd ed. White Plains， NY： Pearson Education，2010.

[4]李艷玲，田夏春.iWrite 2.0在線英語作文評分信度研究[J].現代教育技術，2018（2）：75-80.