句酷批改網對不同水平高職英語學習者寫作能力的影響研究

陳 艷

句酷批改網對不同水平高職英語學習者寫作能力的影響研究

陳 艷

（南通航運職業技術學院，江蘇 南通 226010）

句酷批改網目前正被國內眾多高校推廣和使用。以定量定性相結合的研究方法對江蘇某一高職院校不同寫作水平的英語學習者為研究對象，試探句酷寫作對其英語寫作綜合能力是否產生作用及具體方面的影響。研究結果顯示，寫作低水平組的高職學生在句酷寫作后綜合成績呈顯著狀態，其中在準確和流利度上有明顯提高而復雜度上變化不大；寫作高水平高職生的綜合成績無顯著變化，但在準確度上有顯著改變。

句酷批改網；高職；英語寫作；不同水平；寫作反饋

作為一項綜合性產出技能，寫作反映個人的思維能力，也反映個人在認知語言和運用語言能力基礎上的語言交際能力。傳統的英語寫作教學由于課時少，大部分課堂時間都用于寫作講解，真正寫作操練的時間嚴重不足；另一方面，作文批改耗時耗力，教師批改作文幾乎都是采用一次性評價，而且時效還不能得到保證。如此下來，缺少充分的寫作訓練和及時有效的寫作反饋，學習者的寫作積極性在一定程度上會受到挫傷。隨著現代化科技的蓬勃發展，計算機和網絡技術開始廣泛應用于外語教學，作文自動評價系統應運而生。句酷批改網就是國內一個典型的網絡寫作與評改平臺，其以反饋、調控、改進為目的，通過改善寫作教學活動、監控寫作過程等來輔助英語寫作教學，彌補傳統寫作耗時、低效等缺陷,將教師從繁重的教學任務中解放出來，無需再將精力耗費在單詞拼寫、標點符號和語法等基礎知識的糾錯上，而是可以更有效地進行語篇構建、句際銜接和內容構思等方面的指導；同時由于不受時空限制的特點，有利于學習者及時有效的得到反饋信息并能促使其從“要我寫”到“我要寫”的轉變[1]，一定程度上有效提高自主學習能力和英語寫作能力。

一、自動作文評分系統的研究現狀

自動作文評分（Automated Essay Scoring，簡稱AES）系統在國外始于1966年，但真正實際應用卻在1999年。AES基于計算機技術的評分系統，用于對作文文本進行客觀評估與判分。國外成熟的AES系統按照其先后出現順序分別是PEG、IEA和E-rater。其中PEG偏重表層結構而忽視語義[2]，缺乏對學習者指導意義的反饋[3]。IEA 是基于潛在語義分析技術上開發而成，評分系統既可以評價文本內容的質量，也可評價和反饋文本所涉及語法、文體及寫作機制，甚至能發現是否有抄襲現象，但IEA更關注文本內容相關特征。如果說前兩個系統分別側重語言形式和作文內容的話，E-rater則兼顧文本內容和形式。E-rater 于2005年起應用于托福考試評分，與專家評分的一致率約為97%[4]。上述三種自動作文評價系統適用于英語為本族語的寫作評價與反饋，對中國英語學習者的寫作適用性并不強[5]。

句酷批改網由北京詞網科技有限公司開發以來很快得到國內眾多高校的廣泛支持與應用。作為一款基于語料庫和云計算的本土化的在線自動作文批改系統，通過計算學生作文和標準語料庫之間的距離及時生成作文分數、評語及內容分析[6]。句酷網從多維度點評作文，學生通過“原文點評”和“按句點評”可以自由切換。在“原文點評”界面，學生能看到作文總分、班級排名以及詞匯、句子、篇章結構和內容相關分；在“按句點評”界面，看到文章每句話的詳細批改，此外平臺還提供學習提示、拓展辨析、推薦表達、閃光詞語、大小寫錯誤等評價功能。學生根據批改提示，按照要求一一修改，可多次修改至自己滿意為止，“成長軌跡”詳細記錄學生每次提交后的分數及寫作分數變化趨勢圖，以便其及時了解自己的寫作水平及發展情況。

國外自動作文評分系統的研究一般是由系統開發公司提供[7]，研究結果認為系統對提高學生成績具有積極意義，但研究較少應用于課堂教學，且研究對象多限于英語是本族語的中小學生。國內這方面的研究主要體現在兩處：一是關于在線英語寫作自動評價系統應用研究的述評，如工作原理、實例分析[5],自動評分模型[8]等；二是關于系統應用于教學活動的過程和結果研究。后一種基本都采用對照班、實驗班前后寫作分數相比較的方式，證明運用自動評分系統的班級寫作水平比未使用的有顯著性提高[7]。以寫作者水平為分組條件來研究系統對其影響的研究并不多見。楊玲[9]以Writing Roadmap 2.0為在線作文評分系統，測試其對高水平英語寫作者能力訓練的結果時發現，該系統對高水平學習者的幫助并不明顯，以此來推測該系統對低水平學習者有效。黃紹瑩，張荔[10]探索自動作文評分系統對本科院校高低兩個水平的學生是否產生影響，結果發現句酷寫作對兩組被試的英語能力都產生了影響。國內關于系統對占全國大學生近一半的高職生在自動作文評分系統應用的反饋尤其是不同水平的高職生在寫作成效反饋方面的研究卻不多見。自動評價系統對高職英語寫作者的影響如何？不同水平的高職英語學習者在使用該系統后的反饋是否有所區別？如果有，表現在哪些方面？本文旨在以句酷批改網為寫作平臺，對自動評價系統在高職英語學習者寫作上的這些問題試作初步探討。

二、研究方法

（一）研究問題與受試對象

以“句酷寫作能否促進高職生英語寫作能力的發展？”“句酷寫作對不同英語寫作水平的高職生是否產生差異？”“不同英語寫作水平的高職生對句酷寫作的評價是否一致？”這三個問題為主要研究內容，在某高職院交通工程系三個平行班的132名學生中遴選出兩組不同英語寫作水平的學生作為被試對象，以前測寫作成績為分組標準，將成績較高的前32名定為高水平寫作組，較低的后32名定為低水平寫作組。對兩組前測寫作成績進行獨立樣本t檢驗時發現，兩組寫作能力存在顯著性差異（t=25.6 , p＜ 0.05），符合實驗開展的前提條件。

（二）研究方案

本次實驗歷時15周，期間筆者組織高低寫作水平的兩組成員先后完成5次寫作任務，寫作內容源于學生的日常生活和學習方面，字數不少于150字。實驗開始前，對句酷寫作平臺的信息作必要的簡介，要求學生注冊、登陸了解具體的操作步驟及提示說明。

實驗開始時，兩組學生按要求在30分鐘內完成一篇命題作文（用于實驗的作文均來自于四級真題庫），旨在了解學生句酷寫作前的成績并擬將其與期末的后測成績相比較。實驗期間，兩組成員先后完成了另外三篇寫作任務。每次任務都在規定的時間內（如15天）在批改網上直接完成并提交，根據句酷的及時反饋不少于3-4次的修改。學期結束時，兩組成員完成一次后測。前后測均在課堂規定的時間內完成，在登陸句酷網后按要求寫作后直接提交。

實驗期間，筆者將從這四個方面探索高低組寫作水平是否發生變化：1）準確度，用錯誤數量/篇章長度*100來表示文章的準確度[11]；2）流利度，限時寫作的篇章長度反映流利度[12]，即可參照句酷網頁面上自動顯示的每篇文章寫作字數來體現；3）復雜度，篇章中句法的復雜度一般用T-unit 長度表示；4）綜合度，采用句酷平臺上自動顯示的寫作成績。

（三）研究工具

本實驗的研究工具涉及定量研究的前后測、問卷調查和定性研究的期末訪談。其中用于定量研究所收集的所有數據均使用數據分析軟件SPSS 21.0來分析并生成相應結果。

前測與后測為準確測出句酷網寫作平臺能否促進高職生英語寫作水平的提高和句酷寫作是否對不同水平的高職生寫作能力產生差異作用，高低水平兩組受試者在實驗開始與結束時均參加一次測試，教師在句酷平臺上設置四級評分準則，滿分15分。

問卷調查為進一步了解高低水平兩組在實驗前后對句酷寫作及其反饋是否有效的不同評價和態度，在完成所有寫作任務后筆者對84名受試者進行問卷調查，收回84份問卷且全部有效。問卷調查的內容涵蓋總體評價、具體表現和看法及建議三方面，共十題，每題在述評之后有五個評價等級可供選擇，數值1-5分別表示“完全不同意、不同意、不確定、同意、完全同意”。問卷內容具體如下：結束本學期的句酷平臺英語寫作后，我對該課程的總體感覺滿意；我認為句酷寫作的新模式有助于我的英語寫作學習；我認為句酷寫作的任務量大；我認為句酷寫作的任務難度高；我認為句酷寫作有助于我語法知識的完善；句酷寫作學習活動有助于我英語詞匯量的擴充；句酷寫作使我在寫作時更關心文章的內容；句酷寫作學習活動讓我開始關注文章的段落銜接和整體組織；新模式的學習活動能幫助我自主學習能力的培養；我期待句酷寫作活動在以后的英語學習中能繼續開展下去。

教學實驗完成時從高低水平的兩組中分別隨機選取4名受試學生進行訪談，以此來補充了解受試學生對句酷寫作的看法和態度。訪談內容涉及三點：傳統的教師批改作文模式與句酷英語寫作和及時評改模式，你更傾向于哪種？請說明原因；在句酷英語寫作專項學習期間，你認為新方法使你受益還是受挫？為什么？你認為如何才能讓這種句酷英語寫作模式的效用發揮到更大程度？請參照本人參與新模式的切身感受談談個人體驗，并提出建議。

三、研究結果與分析

（一）實驗結果與分析

（1）實驗前后配對樣本t檢驗結果及分析。配對樣本t檢驗的目的在于通過對高低水平兩組前后兩次成績的自我對比，檢驗這種寫作方法對各小組配對總體的均值是否產生作用，配對分析結果如表1（為方便列表，以下圖表中統計采用數字1、2分別代表高、低水平組）：

表2是兩個水平小組前后測寫作成績的配對樣本t檢驗的結果。結合表1的描述性統計分析結果，高水平組前、后測的均分分別是10.85、11.54；低水平組前后測的均分分別是6.91、9.38。表2顯示，高水平組前后測的均分差距是-0.69，雙尾檢測結果是0.311，未呈顯著水平；低水平組前后測的均分差距是-2.46，雙尾檢測結果是0.000，呈顯著水平。也就是說，經過一學期的以句酷批改網平臺為依托的英語寫作訓練，低水平組進步明顯，均分上升2.46分，高水平小組雖有較小幅度進步，但變化不顯著。顯而易見，低水平組在這次句酷英語寫作中的運用效果顯著。

表4從涵蓋英語寫作過程具體衡量指標的準確、流利、復雜等三個評價維度對高水平組前后測寫作中各項數據的變化進行補充說明。綜合表3，高分組在前后測中各項數據發生了變化，依次是：準確度從1.67變到1.53，流利度從189變為192，復雜度由12.13變為12.18。如表4所示，高分組學生在準確度（t=3.98, p＜0.05) 的前后測差異呈顯著性狀態，而在流利度（t=-2.36, p＜0.05)和復雜度（t=-.67, p＞0.05）上無顯著性變化。從準確度在前后測的分數序列平均值中也能看出，準確數值最大，是0.10，表明受試學生在準確度上取得的進步最大。

表5是低水平組在前后測各項數據的配對樣本t檢驗結果。如圖所示，低分組學生在準確度（t=-6.6, p＜0.05) 和流利度（t=-20.17, p＜0.05)的前后測差異都呈顯著性狀態，而在復雜度（t=-5.2,p＞.05）上未呈顯著差異。由表3可見，低分組在前后測各項指標也發生了變化，準確度由3.64變成3.36，流利度由133.33變成166.83，復雜度由10.59變成10.76，其中變化最大的分別是流利度和準確度，變化最小的是復雜度。

從表3、4、5中可知，高低水平組的學生在前后測的統計結果中表現各有其特點。高水平組的學生在使用句酷寫作一學期后效果并不顯著，唯一變化的是準確度。高水平組學生在寫作方面起點高，句酷評價又較偏重語言表層結構如語法、單詞拼寫、標點符號等的指導，對結構和內容方面的反饋不夠具體，這組學生在流利度和復雜度上無法得到提升也是顯而易見的結果。至于高水平組在準確度上有顯著變化，那是由于這部分學生平時寫作中更關注文章的內容和結構而對細微之處如單詞的正確拼寫略有忽視，句酷網對單詞拼寫的及時糾錯功能一定程度上能引起高水平學生對這些細節之處的注意，故一學期后正確率有顯著性的變化。

表1 高水平、低水平小組前后測成績描述性統計

表2 高低水平組前后測寫作綜合成績配對樣本t檢驗

表3 高低水平小組前后測各項指標的描述性統計（均值數據）

表4 高水平組前后測英語寫作各項成績配對樣本t檢驗

表5 低水平組前后測英語寫作各項成績配對樣本t檢驗

與高水平組相比，低水平組的變化顯著，主要表現在準確度和流利度上。句酷平臺傾向于語言淺層結構評價的特點能幫助他們注意到這些平時容易忽略的一個個小問題，也就是語言學習基礎方面的問題，這部分學生在不斷被提醒、多次修改后寫作的準確性進步明顯。其次，低水平組學生的流利度在實驗后也得到了顯著的提高。與高水平組起點高的特點有別，這組學生在語言的流利度上有欠缺，所以有足夠的上升空間。在需要用目的語表達思想時，他們擴展成自己的中介語來滿足需要[1]。而在復雜度方面的進步要比在準確度和流利度上花費更多的時間，低分組學生無法在一學期內就能在復雜度上取得顯著性變化。

（二）問卷調查結果與分析

實驗后問卷調查的結果統計如表6所示。卷中題1-4和題10是關于受試者對句酷寫作的總體滿意度和有效性的評價。從這五道題選擇的均值來看，低水平組選擇的分值普遍都是高于高水平組，尤其以AN1、AN2和AN10明顯，差距約為0.8，低水平組大多數成員在這三項上都是選擇了選擇“同意”或“完全同意”，表明低分組對句酷寫作的過程和成效性上表示肯定，也表達出繼續學習句酷寫作的期待。與題1、2 和10相比，題3和4的均值略低些，這部分受試者在肯定其效果外也認可了任務的難度和任務量。問卷AN5-AN9這五道題是關于句酷寫作是否在語法、詞匯、內容和段落等方面產生效用。從低水平組的均值看，這次實驗對他們語法知識的補充、詞匯量的擴大和內容的豐富都有幫助，但是在段落銜接和整體組織上沒能達到預計目標（均值僅2.93）。與低水平組選擇的結果相比而言，高水平組每項都偏低的均值表現出對句酷寫作提高寫作能力這一點并不完全認同，選項中只有AN6的均值稍微偏高些，這與配對樣本t檢驗中的結果相符，即高水平組成員在句酷寫作中詞匯方面有一定程度的進步。

（三）訪談結果與分析

實驗后期的訪談旨在用于完善定性研究的結果。就第一個問題，傳統教學模式與句酷寫作模式中更傾向于哪個，低水平組的被訪學生都選擇句酷寫作，他們認為英語寫作水平無法提高的一個關鍵之處就是基礎知識不夠牢固，句酷平臺及時反饋能刺激他們及時改正錯誤，不斷的修改，重新激起英語學習的信心。高水平組認為句酷寫作無法幫助他們細化段落關系、整體布局等方面的問題，僅在詞匯糾錯上有一定作用。

關于第二個問題，低水平組訪談者一致認為受益不少。無論是詞匯、語法知識點，還是標點符號，這些細小的錯誤能及時得到反饋，經常性的練習也能促使自己開始意識這些語言表層結構的問題，課后會做一些知識點的補充學習。高水平組認為句酷寫作中有時評價不夠靈活，也不夠具體，無法滿足他們深層次學習的要求。

表6 問卷調查結果的統計性分析

第三個問題，關于如何能讓句酷英語寫作這種新模式發揮到最佳處，低水平組表示句酷平臺除了對基本語言點的必要提醒和剖析之外，能否提供一些句法復雜性的基本處理知識。高水平組則建議，句酷平臺多增加一些篇章內容、構造方面的內容，如篇章框架的搭建、句際關系的處理、思想內容優化方面的指導等。綜上所述，高低水平組對句酷寫作的反饋因其自身水平的原因而各不相同，但都肯定其反饋及時、提供基礎語言講解等優點，建議多增補些與語篇宏觀方面的內容。

四、結束語

對本次實驗的所有研究結果進行綜述時發現：句酷網可提高高職學生的寫作能力，但對不同水平的高職學生作用各不相同。低水平學生在詞匯、語法等語言表層結構的學習上得到顯著性提高，但在句法復雜度上未見明顯效果；高水平學生在詞匯的完善方面有顯著效果，但在流利、復雜度上未見成效。不同水平的學生因其水平差異，對句酷的反饋效果和需求也不一樣。本次實驗因時間有限、取樣數量和范圍都偏小而存在局限性，唯愿對句酷寫作在不同水平高職學生寫作能力的影響研究方面起到拋磚引玉之效。

[1] 楊曉瓊, 戴運財. 基于批改網的大學英語自主寫作教學模式實踐研究[J]. 外語電化教學外語界，2015，(3):17-22.

[2] Kukich K. Beyond Automated Essay Scoring (J).IEEE Intelligent Systems, 2000(5):27-31.

[3] 陳瀟瀟，葛詩利. 自動作文評分研究綜述[J]. 解放軍外國語學院學報， 2008(9): 78-83.

[4] 唐錦蘭，吳一安. 在線英語寫作自動評價系統應用研究述評[J]. 外語教學與研究，2011，(3)：273-282.

[5] 蔣艷，馬武林. 中國英語寫作教學智能導師系統成就與挑戰——以句酷批改網為例[J]. 電化教育研究，2013，(7): 76-81.

[6] 蔣學清, 蔣靜, 唐錦蘭. 探析自動作文評價系統對大學生英語寫作能力發展的影響[J]. 山東外語教學，2011，(6):36-42.

[7] 陳鳳，一項關于句酷批改網在大學英語寫作教學中的應用研究[J].東華理工大學學報（社會科學版），2014，(6)：173-177.

[8] 梁茂成. 中國學生英語作文自動評分模型的構建[D]. 南京：南京大學，2005.

[9] 楊玲. 作文自動評價系統在高水平學生英語寫作學習中的應用[J].現代教育技術，2013,（5）：73-77.

[10] 黃紹瑩, 張荔枝. 自動作文評閱系統對不同水平學習者英語寫作能力的影響[J].外語與翻譯，2015，(4):70-76.

[11] Chandler, J. The efficacy of various kinds of error feedback for improvement in the accuracy and fluency of L2 student writing [J].Journal of Second Language Writing,2003,(12):301-329.

[12] Gregg, N., Coleman, C, Davis, M, et at. 2007. Timed essay writing: implications for high-stakes tests [J].Journal of Learning Disabilities,2007,40(4):306-318.

An Empirical Study of “Pigai.org” Software’s Effect on Different-level Students in English Writing at Vocational Colleges

CHEN Yan
(Nantong Vocational & Technical Shipping College, Nantong Jiangsu226010)

The pigai.org software is being widely applied in many universities and higher vocational colleges in China. By employing both qualitative and quantitative methods and with the subjects of differentlevel students in English writing at a vocational college, the study attempts to investigate whether the new approach is feasible and effective for both groups. It is found that there is great improvement in low-level writing abilities especially on accuracy and fluency when students of this group are conducted. When highlevel students are concerned, there is no improvement in their comprehensive writing except the only significant difference in accuracy.

www.pigai.org; higher vocational colleges; English writing; different -level; writing feedback

H319

A

1671-9654(2017)04-0034-06

10.13829/j.cnki.issn.1671-9654.2017.04.009

2017-09-12

陳艷(1977- )，女，江蘇如東人，副教授，文學碩士，研究方向為英語語言學、英語語言應用學。

本文為2015年教育部職業院校外語類專業教學指導委員會“基于大數據的高職英語寫作教學創新研究課題‘基于大數據的高職英語寫作教學中體裁教學法的運用研究’”（編號：GZGZ5414-15）階段性研究成果。

［編校：楊 琴］