大數(shù)據(jù)背景下商務(wù)英語寫作人工與機器評分的實證研究

劉寧

摘要隨著大數(shù)據(jù)發(fā)展的瞬息萬變，基于語料庫的寫作軟件已經(jīng)開始顛覆了傳統(tǒng)寫作的教學(xué)模式。本研究的重點是一種通用的作文自動評分系統(tǒng)，叫作“作文自動評分”（Automated Essay Scoring，簡寫AES），它是基于語料庫進行寫作的機器評分，已經(jīng)被國內(nèi)眾多高校采用。本研究將側(cè)重于商務(wù)英語寫作教學(xué)中教師評分與機器反饋的比較，同時，詳細分析了國內(nèi)外關(guān)于AES的一些研究，目的是調(diào)查高職院校商務(wù)英語寫作課使用AES評分錯誤與教師評分錯誤是否存在差異，是否會呈現(xiàn)具體差異；學(xué)生對教師評分使用AES的態(tài)度和意見。

關(guān)鍵詞 大數(shù)據(jù) 商務(wù)英語寫作 機器評分

中圖分類號：G642.47文獻標(biāo)識碼：ADOI：10.16400/j.cnki.kjdk.2021.17.013

An Empirical Study on Manual and Machine Scoring of Business English Writing in the Context of Big Data

LIU Ning

（Guangzhou City Construction College， Guangzhou， Guangdong 510925）

AbstractWith the rapid development of big data， corpus based writing software has begun to subvert the traditional teaching mode of writing. The focus of this study is a general composition automatic scoring system， called "automated essay scoring" （abbreviated AES）， which is a corpus based machine scoring system and has been adopted by many domestic universities. This study will focus on the comparison of teacher scoring and machine feedback in Business English writing teaching. Meanwhile， it analyzes some domestic and foreign studies on AES in detail. The purpose is toinvestigate whetherthereis anydifferencebetween the errorsofAESscoring andteacherscoringinBusiness English writing class in higher vocational colleges， and whether there will be specific differences； Students’ attitudes and opinions on the use of AES in teacher scoring.

Keywordsbig data； business English writing； machine scoring

寫作是將交際能力和語言知識與某些文化維度、認知和知識社會學(xué)相結(jié)合的過程。[1]商務(wù)英語專業(yè)作為高職院校的一門常見專業(yè)，是專業(yè)英語的一種，它要求學(xué)生能夠掌握接近于以英語為母語的人的英語書面和口頭技能進行商務(wù)和外貿(mào)工作。商務(wù)英語寫作作為專業(yè)基礎(chǔ)課之一，其寫作形式和表達方式具有獨特的特點，其教學(xué)方法提出了有別于普通寫作課更高的要求。學(xué)生需要能夠獨立處理各種外貿(mào)突發(fā)事件相關(guān)的函電，處理外貿(mào)訂單和發(fā)貨等工作。在真實的商務(wù)和外貿(mào)場景中，商務(wù)英語寫作將是與同事和客戶溝通的一種極其重要的手段。如何引導(dǎo)學(xué)生掌握商務(wù)英語寫作的專業(yè)格式和表達方式，以及學(xué)會避免寫作中因文化差異引起的一些誤解，是商務(wù)英語寫作課程教學(xué)的重點。高職院校商務(wù)英語專業(yè)的大部分學(xué)生對自己的專業(yè)充滿熱情，但是由于學(xué)生英語基礎(chǔ)薄弱，他們尤其害怕做英語寫作任務(wù)，往往選擇被動地對待寫作。同時，教師有批改作文的壓力，評價反饋時差大。

1理論基礎(chǔ)

1.1自動作文評分（AES）

自動作文評分（AES）是一個大規(guī)模的基于語料庫的計算機化系統(tǒng)，可以立即糾正所寫的文章，提供即時反饋，并對反饋進行分類。AES是指通過計算機評分產(chǎn)生的書寫反饋，是一種根據(jù)人工智能、正常語言模塊、語言處理和計算機技術(shù)相關(guān)語義分析產(chǎn)生評分的評分工具。[1]一個完善的AES系統(tǒng)可以為大規(guī)模評分提供許多好處，如特異性、寫作質(zhì)量的提高、可管理性、一致性、評分報告和評分速度；節(jié)省成本，操作方便。[2]作為我國語言智力評估關(guān)鍵技術(shù)和應(yīng)用的代表，Pigai被廣泛應(yīng)用于大學(xué)、高職院校、中小學(xué)等教育機構(gòu)。Pigai的處理原理是比較學(xué)生作文與標(biāo)準(zhǔn)語料庫之間的距離，通過一定的算法以數(shù)字和注釋的形式計算錯誤。該技術(shù)已獲得國內(nèi)發(fā)明專利（專利號：ZL2012 10049982.4）。根據(jù)Pigai （www. com）主頁上的數(shù)據(jù)，AES已對超過5億篇文章進行了評分，采用AES機器評分法、教師修正評分法和同伴評分法三種方式進行評價。

1.2商務(wù)英語寫作教學(xué)的理論框架

過程教學(xué)法是一種以學(xué)生為中心，教師輔助的教學(xué)方法。在商務(wù)英語寫作中，由于商務(wù)英語的詞匯和句型比普通英語知識更難，學(xué)生的學(xué)習(xí)要求需要教師的幫助來提高。過程寫作法可以讓學(xué)生在不斷深入挖掘?qū)懽鲉栴}的同時，提高英語思維能力和寫作能力。寫作過程和寫作內(nèi)容一樣重要，寫作的有效性取決于寫作的過程。注意寫作過程可以幫助學(xué)生養(yǎng)成自我糾錯的寫作習(xí)慣，遵循語言習(xí)得的規(guī)律。一篇好的作文是在寫作的過程中產(chǎn)生的，這意味著錯誤是不斷被修改的。教師對寫作過程進行指導(dǎo)，學(xué)生合作完成任務(wù)；過程教學(xué)法將在今后的寫作教學(xué)中發(fā)揮重要作用。[3]

1.3 AES評分的研究背景

AES的實施可以是一種有效的輔助教學(xué)方式，根據(jù)對比初步數(shù)據(jù)與教師單獨的評價指導(dǎo)相比，AES可以提高寫作能力。[4]AES評閱的處理速度取決于AES服務(wù)器與語料庫的接觸頻率，在網(wǎng)上提交論文時，分?jǐn)?shù)反饋的時間大約是2分鐘，這是一個令人印象深刻的原始處理速度。AES評分服務(wù)器每秒可以處理三篇論文；教師評分的校正水平高于AES評分。[5]另外，從整個作文的反饋及其性質(zhì)來看，AES的評分與教師的評分相同或更高。即時反饋和評分一致性是AES評分相對于人工評分的兩個優(yōu)點；AES評分反饋的準(zhǔn)確性和有效性并不總是能令人滿意的。[6]從表1國內(nèi)關(guān)于AES評分的研究示例可以看出，AES評分應(yīng)用在大學(xué)英語課程應(yīng)用較多。在尋找前人研究的過程中，以商務(wù)英語課程為基礎(chǔ)的AES研究較少。盡管AES評分有其優(yōu)點，但AES評分存在的缺點是AES技術(shù)的一個真正的困境。AES的準(zhǔn)確性和流暢性似乎是該系統(tǒng)的代表性特征；相反，AES評分不能評價文章的結(jié)構(gòu)和內(nèi)容是否與主題相關(guān)，因為它不能具有與人類相同的思維方式。AES系統(tǒng)可以與文章的長度密切相關(guān)，而不是提供有效的修辭控制的內(nèi)容；AES的算法需要比現(xiàn)有的更關(guān)注重要的語言標(biāo)記，以確保AES評分適合于分析評分，從而使語法特征和用法的評分更加可靠。[7]教師在課堂AES整合中起著核心作用，評價AES的屬性或考慮AES體系對學(xué)生寫作的影響應(yīng)考慮教學(xué)環(huán)境；為保證AES的有效性，教師應(yīng)考慮教學(xué)方法，AES評分的使用應(yīng)與教師的寫作指導(dǎo)相結(jié)合。AES得分出現(xiàn)低于老師評分，由AES和教師評分呈現(xiàn)出顯著差異的詳細得分，這些發(fā)現(xiàn)表明，教師老師評分的得分高于AES得分。[8]崔總結(jié)了在英語寫作中實施AES評分的三點。首先，教師需要對AES評分持開放的態(tài)度，技術(shù)的更新會為教學(xué)帶來方便；其次，教師積極引導(dǎo)學(xué)生也是很重要的，教師應(yīng)鼓勵學(xué)生在寫作中使用AES評分；再次，教師需要熟練掌握AES評分的具體功能，教師可以參與其他教師的培訓(xùn)或?qū)W習(xí)。[9]AES評分?jǐn)?shù)據(jù)庫可以連續(xù)積累簡單的表達方式和句型，但商務(wù)英語寫作的表達是基于真實的商務(wù)情境，這是AES評分的難點。另一方面，中國與其他國家的文化差異和表達方式的不同是ASE在處理商務(wù)交際寫作時遇到的兩個障礙，錯誤的信息或不一致的表達會引起溝通者之間的誤解和矛盾，會影響商務(wù)活動的正常進行。

2研究設(shè)計

2.1研究問題

（1）AES系統(tǒng)評分中的作文錯誤與商務(wù)英語寫作老師評分中的作文錯誤是否有區(qū)別？如果有，這些錯誤之間的具體區(qū)別是什么？

（2）使用AES評分法的商務(wù)英語學(xué)生和使用傳統(tǒng)的教師評分法的商務(wù)英語學(xué)生對AES評分的態(tài)度和觀點是怎樣的？

2.2研究對象

本研究選取了我國某高職院校商務(wù)英語專業(yè)的一年級學(xué)生160名，均有十年英語學(xué)習(xí)經(jīng)驗。參與者的平均年齡約為19歲，英語水平為中級英語學(xué)習(xí)者。老師會根據(jù)分班測試的結(jié)果將受試者分成兩組，實驗組80人，對照組80人。實驗組選擇AES作為計算機寫作輔助評分，對照組選擇傳統(tǒng)論文寫作和教師評分。兩組商務(wù)英語寫作的授課老師是一樣的，教學(xué)內(nèi)容和教學(xué)過程的設(shè)計也是一樣的。

2.3實驗過程

實驗組和對照組的教學(xué)過程和教學(xué)內(nèi)容會保持一致，之后進行語言分班測試、寫作測試和問卷調(diào)查。參與者將參加英語統(tǒng)一分班考試，并根據(jù)分班考試安排上課。為保證分班英語考試的效度和信度，教師將選擇中國權(quán)威的國家英語考試作為考試內(nèi)容，如2018年大學(xué)英語四級考試真題。在寫作測試后，所有研究對象將會填寫一份問卷。

在商務(wù)英語寫作課上，實驗組將使用AES作為每一篇寫作和評分工具，對照組將使用傳統(tǒng)的紙筆寫作和老師評分的方式。在10周的商務(wù)英語寫作教學(xué)后，將進行寫作測試。在本研究的寫作測試之初，教師將設(shè)計一個常見的商務(wù)情境，用過程寫作的方法學(xué)習(xí)如何在現(xiàn)實生活和商務(wù)世界的正式場合維護個人和集體利益進行投訴。老師將用一篇新聞作為導(dǎo)入，一位消費者花了66萬元買了一輛梅賽德斯-奔馳，不幸的是，汽車發(fā)動機出現(xiàn)了漏油現(xiàn)象。老師將介紹商務(wù)情境下的投訴信的例子，并分析其格式和有用的表達。最后，老師將安排本研究商務(wù)情境下投訴信的寫作測試，寫作背景如下。

你是藍天公司的市場部經(jīng)理周曉娜，你的公司收到一批500箱黃色純棉t恤的貨物，但貨物上有各種不同的污漬。經(jīng)你方詳細檢查，損壞是由于賣方的不當(dāng)包裝造成，你方損失慘重。現(xiàn)寫一封120到150字的投訴信給快樂服裝公司的銷售經(jīng)理凱西·格林，要求對方調(diào)查此事，并盡快解決這起事故。

實驗組將使用AES系統(tǒng)- pigai進行數(shù)字化寫作。在寫作過程中，參與者不能使用AES的修改工具，寫作完成后立即提交。教師登錄AES導(dǎo)出作文錯誤分析的原始數(shù)據(jù)。對照組采用傳統(tǒng)的紙筆方式進行寫作測試，由老師對作文進行評分，并對錯誤和分?jǐn)?shù)進行分類和分析。寫作測試完成后，參與者將回答一份問卷。自變量為AES系統(tǒng)評分中的作文錯誤和商務(wù)英語寫作教師評分中的作文錯誤，因變量為這兩種評分方法的差異。研究測試后，教師將收集160篇商務(wù)英語寫作的論文修改錯誤并進行分析，80篇論文采用AES分析功能進行評分，80篇作文將由教師評分。同時，問卷調(diào)查采用問卷星（https：//www.wjx.cn/）進行，使用SPSS進行頻率分析，總結(jié)實驗組和對照組對AES和傳統(tǒng)寫作的看法和意見。

3結(jié)果與分析

根據(jù)評分?jǐn)?shù)據(jù)比較結(jié)果（表2），AES評分是高于教師評分，兩種方法之間是具備相關(guān)性的。根據(jù)問卷的結(jié)果，可以預(yù)期AES的優(yōu)點是評分速度快，評分和更正錯誤會在幾秒鐘內(nèi)呈現(xiàn)出來。學(xué)生可以根據(jù)這樣的優(yōu)勢及時對寫作進行批改，并在批改過程中加強寫作。教師評分讓學(xué)生在寫作的真實環(huán)境中得到批改，但批改的時間無疑是不可能在幾秒鐘內(nèi)做到的，這被稱為教師評分的最大困難。

通過對AES和教師評分的誤差分析，得出教師評分和AES評分之間的相關(guān)性和差異；具體評分細節(jié)分析結(jié)果如表3所示，表3中列出的錯誤類型是商務(wù)英語寫作糾正中常見的錯誤評分維度。

從調(diào)查問卷的分析結(jié)果可得知，實驗組對AES持積極態(tài)度，AES可以在幾秒鐘內(nèi)完成作文評分，89%的被試表示AES加強了商務(wù)英語寫作的個人積極意愿，78%的被試更喜歡AES的糾正功能，他們可以多次糾正寫作以獲得高分。對照組對老師的評分有積極的態(tài)度，教師評分可能可以激發(fā)81%的參與者對商務(wù)英語寫作的興趣，80%的參與者可能已經(jīng)很好地掌握了商務(wù)英語寫作的格式。因此，采取AES與教師評分相結(jié)合的教學(xué)方式是比較妥當(dāng)?shù)模ū?）。

4結(jié)論

AES不能代替教師，它是教師的“智能助手”。根據(jù)前人的研究綜述，可以預(yù)計AES的錯誤可能與教師評分的錯誤有顯著差異。在商務(wù)英語寫作課程中，當(dāng)使用AES進行論文修改時，教師需要結(jié)合自己的反饋來調(diào)整機器反饋。AES的優(yōu)點是毋庸置疑的，但是由于商務(wù)英語課程的特殊性，教師需要對機器評測進行一些糾錯和指導(dǎo)。AES評分是一個“冰冷的”人機互動的過程，當(dāng)AES結(jié)束評分時，錯誤只會以字母的形式顯示在計算機屏幕上，并要求學(xué)生修改，不需要溝通。教師評分是老師和學(xué)生在課堂上面對面、融入感情的交流，教師反饋的鼓勵詞可以幫助學(xué)生提高商務(wù)英語寫作的有效性。在進一步的研究中，本研究將繼續(xù)對寫作課的觀察，融合了學(xué)生寫作態(tài)度的寫作也是商務(wù)英語寫作教學(xué)的重要組成部分。

參考文獻

[1]Stevenson，M. A critical interpretative synthesis： The integration of automatedwritingevaluationintoclassroomwritinginstruction[J]. Computers and Composition，2016（42）：1-16.

[2]Elliot， N.， & Williamson， D. M. Assessing writing special issue： Assessing writing with automated scoring systems[J].Assessing Writing，2013（18）：1-6.

[3]Graham， S.， & Sandmel， K.The process writing approach： A metaanalysis [J]. The Journal of Educational Research， 2011 （104）： 396-407.

[4]Palermo，C.，& Thomson， M. M. Teacher implementation of self-regulated strategy development with an automated writing evaluation system： Effects on the argumentative writing performance of middle school students[J].Contemporary Educational Psychology，2018（54）： 255-270.

[5]Shermis，M.D.，Mzumara， H.R.，Olson， J.， &Harrington，S.On-line grading of student essays： PEG goes on the world wide web[J].Assessment & Evaluation in Higher Education， 2001（26）： 247-259.

[6]Liu， S.， & Kunnan， A. J. Investigating the application of automated writing evaluation to Chinese undergraduate English majors： A case study of Write To Learn[J].Calico Journal，2016（33）：71.

[7]Weigle，S.C.Englishlanguagelearnersandautomatedscoringofes- says： Critical considerations[J].Assessing Writing， 2013（18）： 85-99.

[8]Stevenson， M. A critical interpretative synthesis： The integration of automated writing evaluation into classroom writing instruction[J]. Computers and Composition，2016（42）：1-16.

[9]Choi，J.The impactofautomated essay scoring（AES）forimproving english language learner’s essay writing[J].ProQuest Dissertations Publishing，2010.

[10]江穎，金躍強，王茜.大數(shù)據(jù)方法對非英語專業(yè)學(xué)生英語寫作動機及水平的影響研究——以“句酷批改網(wǎng)”為例[J].當(dāng)代教育理論與實踐，2019，011（002）：142-146.

[11]鐘歆.基于作文自動評分系統(tǒng)的高職學(xué)生英語寫作自我效能感研究[J].長沙通信職業(yè)技術(shù)學(xué)院學(xué)報，2017，016（004）：64-67

[12]陳艷.句酷批改網(wǎng)對不同水平高職英語學(xué)習(xí)者寫作能力的影響研究[J].長沙航空職業(yè)技術(shù)學(xué)院學(xué)報，2017，017（004）：34-39.

[13]李霞，鐘蘭鳳.作文自動評價系統(tǒng)在大學(xué)英語寫作教學(xué)中的實證研究——以句酷批改網(wǎng)為例[J].教學(xué)研究，2017，040（001）：57-61.