自動作文評分系統對大學生英語寫作能力的影響實證研究

宋毅寧

[摘 要]將自動作文評分系統與寫作教學進行整合是大學英語教學改革的一大著力點與突破口，通過實證研究探討以批改網為代表的本土化自動作文評分系統對大學生寫作能力的影響。教學實驗結果表明，該系統不僅能從整體上提高大學生的寫作水平，還能對除篇章結構之外的三個分項維度產生積極影響，尤其是詞匯和句子的分項成績提高極為顯著，而其影響程度與大學生的英語水平成負相關。

[關鍵詞]自動作文評分系統;大學英語寫作教學;寫作能力;實證研究

[中圖分類號] H319 [文獻標識碼] A [文章編號] 2095-3437（2019）10-0132-03

大學英語作為大學生的一門必修基礎課程是我國高等教育的一個重要組成部分，隨著“互聯網+”理念的深入人心和人工智能及云技術的普及，傳統的大學英語教學模式已越來越無法適應和滿足“數字化原生代”學生的學習需求。在英語聽、說、讀、寫、譯五項基本技能中，寫作存在的問題尤為突出。很多院校不僅沒有開設獨立的寫作課，沒有專門的寫作教材，缺乏開展寫作訓練的軟硬件條件，師生比例也極為懸殊。教師教學任務過于繁重必然會導致寫作訓練不足。教師反饋不及時、不充分等問題，會挫傷學生的寫作積極性，影響學生寫作能力的發展。國家教育部2007年公布的《大學英語課程教學要求（試行）》中明確提出高等學校應當充分利用多媒體、網絡技術發展帶來的契機，改進原來的以教師講授為主的單一課堂教學模式。新的教學模式應以現代信息技術特別是網絡技術為支撐，使英語教學朝著個性化學習、不受時間和地點限制的學習、主動學習的方向發展。

在大數據時代的背景下，將現代信息技術與寫作教學進行有機整合成為大學英語教學改革的著力點和突破口， 將自動作文評分系統融入寫作教學成為新的研究趨勢。

一、自動作文評分系統概述

自動作文評分系統 （Automated Essay Scoring System， AESS）是建立在建構主義理論、形成性評價理論和過程寫作法理論之上的利用計算機技術對作文進行評估和計分的系統 （Shermis & Burstein， 2003）。國外自動作文評分系統的發展主要經歷了兩個階段：第一階段從20世紀60年代到20世紀末，主要用于大規模水平考試的作文評分，典型代表有Page Essay Grade （PEG），Intelligent Essay Assessor （IEA），Electronic Essay Rater （E-rater），Criterion，Intellimetric，Bayesian Essay Test Scoring System （BETSS）等。第二階段始于21世紀初，自動作文評分系統被逐漸應用于課程的形成性評價之中，除了自動評分之外，還具備了對作文進行錯誤分析﹑維度分析﹑個性化反饋﹑寫作輔助等功能，主要代表有My Access！， Criterion， Writing Roadmap （WRM）等（唐錦蘭、吳一安，2012）。

國外的自動作文評分系統主要針對英語本族語使用者，并不適用于以英語為外語的學習者。近幾年來以梁茂成（2005），李亞男（2006），曹亦薇、楊晨（2007），葛詩利、陳瀟瀟（2007），蔣學清、蔡靜、唐錦蘭（2011）等為代表的國內學者對自動作文評分系統進行了研究，部分學者甚至對研制適合于中國英語學習者實際情況的自動作文評分系統進行了有益的嘗試。目前國內自主研發的本土化自動作文評分系統主要有高等教育出版社和清華大學開發的體驗英語寫作教學資源平臺，北京詞網科技有限公司開發的批改網，杭州增慧網絡科技有限公司旗下的冰果網等。

本研究所依托的自動作文評分系統批改網基于語料庫語言學、人工智能和計算機云技術，其運作理念是將作文從詞匯、句子、篇章結構、內容相關四個維度與批改網建立的英語本族語語料庫做對比，通過一定的算法形成分數和評語。在學生界面上，學生提交作文后系統會給出整體評分、分項評分、綜合評語、按句點評和詳盡的體檢報告。除了完成教師發布的寫作任務外，學生還可以進行作文自測，參與作文PK，登錄寫作聯盟、寫作論壇等板塊進行自主學習。在教師界面上，教師可以進行班級管理，發布寫作任務。寫作任務完成后可以得到包括分數分布、錯誤統計、數據比對、維度分析、薄弱點分析等的診斷報告，還可以推薦優秀作文供學生學習鑒賞。學生提交的作文達到一定數量后教師還可以開通個人網站，上傳各類寫作資源供學生瀏覽下載。

二、研究設計

（一）研究目的和研究問題

本研究是將自動作文評分系統融入大學英語寫作教學的一項實證研究，具體研究問題包括：自動作文評分系統在寫作教學中的應用對大學生的整體寫作能力有何影響？自動作文評分系統在寫作教學中的應用對大學生的分項寫作能力有何影響？自動作文評分系統在寫作教學中的應用對不同英語水平的大學生在寫作能力上的影響有何差異？

（二）研究對象

本研究的研究對象是華北地區某高校非英語專業一年級隨機抽樣的某個自然班的38名學生，其中男生24人，女生14人。為了探究自動作文評分系統對不同水平的大學生的影響，研究者依據學生的高考英語成績、大學英語一次期末考試成績及一次英語寫作測驗成績這3項成績均值，進一步將該班學生按英語水平分為高、中、低3組，其中高分組12人，中分組13人，低分組13人。該班學生由研究者本人授課，教學實驗歷時5個月。

（三）研究的方法和工具

根據研究問題的實際情況，本研究主要采用了基于教學實驗的量化研究方法，主要的研究工具包括在批改網上完成的實驗的前后兩次測試成績和數據分析軟件SPSS17.0。

（四）數據收集

本次教學實驗采用量化研究中的準實驗研究設計，共分為以下3個階段。

1.前測階段

在師生注冊并生成班級信息之后，研究者組織學生在計算機房進行了本次實驗的前測。要求學生以My View on Online Shopping為題在40分鐘內完成一篇120至150詞的議論文，滿分15分，打分公式為大學英語四級打分公式。同時教師開啟相似度檢驗，禁止粘貼、百寶箱、顯示排名等功能。

2.實驗階段

實驗期間研究者每3到4周向參與實驗的學生發布一次寫作任務，作文題目都是從學生正在學習的《新標準大學英語2》中每單元的主題提煉而來，寫作要求與前測保持一致，限期1周完成。

正式寫作前，研究者在課堂上組織學生進行寫前準備，采用頭腦風暴、提問法、擬提綱等方法幫助學生積極投入寫作活動。正式寫作時，學生可根據系統提供的反饋信息反復修改并多次提交。研究者在作文提交時間截止后登錄批改網查看提交情況，適當添加人工評閱意見，并根據系統提供的診斷報告對作文整體情況進行講評。

3.后測階段

4次寫作練習結束后，在計算機房進行了本次實驗的后測，要求學生在40分鐘內就“Never go out there to see what happens，go out there to make something happen.”這句名言展開論述，具體寫作要求仍然與前測保持一致。為了減少多次寫作練習后學生寫作成績自然提高所造成的影響，后測的作文難度要稍大于前測的。

三、研究結果及其分析

（一）自動作文評分系統的應用對大學生整體和分項的寫作能力的影響

批改網評分采用整體評分和分項評分相結合的混合評分方法，分項評分分別從詞匯﹑句子﹑篇章結構﹑內容相關4個維度來進行，各個維度的得分加權后構成整體評分。為了回答前2個研究問題，研究者運用SPSS17.0對實驗數據進行描述性統計分析和獨立樣本T檢驗，縱向比較實驗前后測的總分及各維度分數。

由表2數據可知，參與實驗的學生后測成績均值比前測提高了1.316，達到了統計意義上的非常顯著性差異（P<.01），這說明自動作文評分系統融入教學有效提高了大學生的整體寫作水平。

表3數據顯示，4個分項維度中有3個維度的前后測結果達到了統計學意義上的非常顯著性差異（P<.01），其中成績提高幅度最大的是句子層面，其次是詞匯層面、內容相關層面，篇章結構層面不但沒有提高反而出現了小幅下降。

據研究者分析，學生在句子和詞匯層面的顯著進步主要是由于以下幾方面的原因：一是系統自帶語法和詞匯檢測功能，在按句點評中會通過各類標簽有針對性地指出句子中的語法錯誤、拼寫錯誤、標點符號錯誤、中式英語等，以便于學生在修改過程中有的放矢、穩步提高，也會鞭策學生在寫作中更加注意表層語言的精準表達。二是學生在批改網寫作時可借助系統自帶的類似在線詞典的“百寶箱”功能查看單詞拼寫、釋義、同義詞、例句等，這種方便快捷的寫作輔助工具對于單詞量匱乏且沒有養成查閱紙質詞典習慣的學生大有裨益。

研究數據中令研究者頗為訝異的是學生在內容相關維度取得了極高的分數，有些甚至達到了滿分。研究者嘗試聯系批改網的技術人員以了解該項維度的評分機制，但相關人員以內部機密為由未能予以確切說明。研究者轉而從其他功能著手分析，發現批改網于2016年下半年新增了跑題檢驗功能，該功能是通過關鍵詞匹配法，抽取教師上傳范文中或者相同題目下學生作文中的關鍵詞，計算出與學生作文中的關鍵詞的匹配度，從而判斷作文有沒有跑題。跑題與內容相關是一組相反的概念，據研究者推測內容相關維度極有可能是遵循同樣的原理，但僅憑關鍵詞來判斷作文內容是否切題未免有失偏頗，該項評判標準的信度和效度尚待科學驗證。

篇章結構層面是4個維度中唯一不升反降的，雖然其下降幅度沒有達到顯著水平（P>.01），但也說明了自動評分系統在提高學生謀篇布局能力上的不足。一方面，批改網對作文的反饋重于遣詞造句方面，對篇章結構的反饋極少且十分寬泛;另一方面，后測作文在難度上要稍高于前幾次，這導致很多學生作文結構松散，條理不清，分數偏低。

（二）自動作文評分系統的應用對不同英語水平的大學生寫作能力的影響

為了進一步判定自動作文評分系統對英語水平高、中、低3組的影響程度，研究者運用SPSS17.0分別對這3組的前后測成績進行獨立樣本T檢驗。

表4數據說明，這3組的后測成績與前測成績相比均有不同程度的提高，其中低分組在3個組中進步最大，后測比前測均值高出1.577，達到統計學意義上的非常顯著（P<.01）;中分組進步幅度次之，均值提高了1.346，達到了非常顯著性差異（P<.01）;高分組后測比前測均值只高出0.625，雖然進步幅度達到了顯著性差異（P<.05），但在3個組中差異最小。由此可以得出初步結論，自動作文評分系統應用于寫作教學對不同英語水平大學生的寫作能力都有積極影響，寫作成績提高幅度低分組>中分組>高分組，這說明其影響程度與大學生的英語水平呈負相關。究其原因，研究者認為主要是由于低分組學生在詞匯和句子層面犯的錯誤較多，易于被系統識別反饋，從而做出有效修改;而高分組學生的表層語言錯誤較少，作文思想內容和篇章結構本身就難以在短期內提高，系統提供的幫助也較少。而且低分組學生往往字跡潦草，卷面凌亂，在線寫作則能有效規避此類問題引起的失分。

四、結語

本研究是對自動作文評分系統介入大學英語寫作教學進行的初步探索。與以往偏重于組間對比實驗的研究不同的是，本研究著重探討系統對學生分項寫作能力的影響以及對不同英語水平學生影響的差異，這也是本研究的創新之處。在量化研究基礎上，本研究發現該系統能從整體和分項維度上提高大學生的寫作水平，尤其是在詞匯和句子維度提高顯著，而對學生的影響程度與其英語水平成負相關。由于研究周期較短，實驗對象數量較少，本研究還存在許多有待完善的地方。如何將該研究繼續向縱深推進，建立一個個性化、智能化、交互式、數字化的寫作平臺，最終服務于提升大學生寫作興趣和寫作水平的終極目標將是研究者下一步的研究課題。

[ 參 考 文 獻 ]

[1] 吳一安，唐錦蘭.融入自動評價系統的英語寫作實驗教學對高校英語教師的影響研究[J]. 外語電化教學，2012（2）：3-10.

[2] 梁茂成. 中國學生英語作文自動評分模型的構建[M]. 北京： 外語教學與研究出版社，2011.

[3] 梁茂成，文秋芳. 國外作文自動評分系統評述及啟示[J]. 外語電化教學，2007（5）： 18-24.

[4] 李亞男. 漢語作為第二語言測試的作文自動評分研究[D]. 北京：北京語言大學， 2006.

[5] 曹亦薇，楊晨. 使用潛語義分析的漢語作文自動評分研究[J]. 考試研究，2007（1）：63-71.

[6] 葛詩利，陳瀟瀟. 國外自動作文評分技術研究[J].外語電化教學， 2007（5）：25-29.

[7] 蔣學清，蔡靜，唐錦蘭. 探析自動作文評價系統對大學生英語寫作能力發展的影響[J]. 山東外語教學，2011（6）： 36-43.

[8] 莫函蓓. 新媒體時代大學生應用寫作行為的嬗變及策略[J].大學教育，2017（6）： 103-104+108.

[9] 孫宏兵. 動態評價理論在非專業大學英語寫作教學中的應用[J]. 大學教育，2018（4）： 100-101+118.

[責任編輯：龐丹丹]