反饋方式對寫作修改過程及質量的影響研究

白 云，王俊菊

(山東大學 外國語學院，山東 濟南 250100)

一、引 言

反饋是英語寫作教學中至關重要的環節，也是寫作研究中的持續熱點，傳統上以教師反饋為主要形式。近年來隨著自動作文評分技術的開發與完善，基于網絡的系統反饋在教學中得到越來越廣泛的應用。而學生根據不同形式的反饋所做的修改，與提高作文質量和學生寫作水平密切相關。

20世紀90年代以來，教師反饋對修改的影響成為研究熱點，研究大致分為三類：一是探討書面反饋的特征和范圍，以證實教師反饋的有效性和可行性；二是關注學生的修改類型、修改策略和修改質量，旨在發現反饋和寫作水平的關系；三是考查學生對教師反饋的態度和感受，分析學習者對各類反饋的接受程度。其中王俊菊[1]24-30和楊苗[2]293-301發現，在重視教師權威的教學環境中，學生更愿意接受教師反饋來修改作文，極少就反饋內容與教師進行互動。

有大量研究關注了評分系統反饋在二語寫作課堂中的應用，主要集中在三方面：一是關注計算機系統評分與人工評分的一致性，從而證實其作為測試工具的效度和信度[3]66-78；二是關注系統反饋對學生修改的影響，指出可使學生關注更大的寫作模塊，以進行大規模修改[4]217-235；三是研究自動反饋對作文質量的影響[5]51-65。國內研究探討評分系統對學生寫作能力產生的影響[6]53-59，最新研究聚焦系統反饋對修改的影響[7]45-49[8]81-88，分別關注在線修改的行為、過程和成果，對新的反饋方式下的修改行為和信念進行探討。

亦有學者開展了教師反饋和系統反饋的對比研究[9]1-17，發現教師能提供更多高質量的反饋，而系統反饋有冗長多余之嫌。周一書[10]87-96認為教師反饋能明顯增強學生的篇章布局能力，而同伴反饋和網絡反饋能提高學生的語言表達能力和寫作興趣。周麗[11]26-29則發現系統反饋對學生的句法能力提高有顯著作用。

不難發現，前人研究多是比較教師反饋和系統反饋的性質、類別及學生的接受程度，較少涉及不同反饋方式對二語學習者修改過程的影響。其次，大多數研究關注教師的書面反饋，缺少針對以計算機和網絡為介質的教師在線反饋的研究。鑒于此，本研究旨在對比教師在線反饋和系統即時反饋對英語寫作修改過程和修改成果的影響，主要探討如下問題：

(1)教師反饋和系統反饋對學生的作文修改過程中的修改目標、修改范圍、修改行為、修改動機等方面有何影響？

二、研究方法

本研究的受試者是一所綜合性大學的大一學生，其英語水平相當，入學時英語分級考試的總分及作文得分均相近。研究者所教授的兩個平行班分別接受教師反饋和系統反饋，從每班各選30人，作為教師反饋組和系統反饋組。

研究數據分別來自教師反饋、系統反饋、修改記錄和訪談。教師反饋是教師針對學生網上提交的作文所做出的在線反饋；系統反饋是批改網通過計算學生作文和標準語料庫之間的差異，即時生成的作文得分和每句話的修改建議；修改記錄包括學生每一稿所做的具體改動和作文的文本質量要素；而訪談為半結構式的，內容包括學生對每一稿具體修改過程的反思，修改時的心理活動及對不同反饋方式的態度及認識。

本研究選用一次寫作練習作為研究素材。要求學生就目前年輕人大多依賴父母來照看小孩這一社會現象發表自己的見解，并闡明將來自己的做法。長度要求為120—180詞，作文題目自擬。

兩組作文的布置、提交、反饋和修改均在網上進行。針對系統反饋組，研究者先在網上布置好作文題目，只規定兩節課后是提交的最后期限而不限定學生的提交次數。學生將初稿提交到評分系統后，系統會即時給出分數和針對每句話的修改建議。學生可根據反饋對初稿修改后再提交，可多稿修改，直到對自己的作文滿意為止。對于教師反饋組，教師使用批改網的教師批改功能，對學生提交的作文進行在線批改，提供對單詞拼寫、語句表達、銜接連貫和篇章結構等的修改建議，并對整篇文章給出評語，之后學生進行在線修改并提交。評分系統可保存學生所有稿次的作文和每一稿的修改記錄。點擊除第一稿外的所有作文，會以不同顏色顯示出添加、刪除和替換的內容。

在修改完成后，研究者對學生分別進行訪談。參照每一稿的修改記錄，詢問每處修改的心理活動以及對反饋的接受和感知。每位學生的訪談時長為10到30分鐘。為方便分析，研究者對所有訪談進行了全程錄音。

布魯姆教學目標分類理論的發展從1956年的1.0版本——金字塔形狀(識記、理解、應用、分析、綜合和評估)到2001年由布魯姆的學生Anderson等人提出的2.0版本——金字塔形狀(識記、領會、運用、分析、評價和創造)。布魯姆將教育目標劃分為認知領域、情感領域和操作領域，共同構成教育目標體系。認知領域的教育目標可分為從低到高的六個層次：即識記→領會(理解)→運用→分析→評價→創造，學生的思維由低階思維能力向高階思維能力發展，教育目標從基礎目標向高級目標發展(圖1)[5]。

本研究的數據分析包括對修改進行標記、衡量文本質量、用社科統計軟件包SPSS處理數據和對訪談錄音進行轉寫并分析四部分。

研究者對學生所做的每一次修改進行標記。本研究使用多維度的分類框架，參照Stevenson，et al.[12]201-233的研究，將在線修改按修改目標、修改范圍、修改行為和修改動機等四個維度進行分類(見表1)。

表1 在線修改的多維度分類體系

修改目標包括內容修改、語言修改和校訂修改(typing revisions)。其中的校訂修改是在線修改所特有的類型，如當寫作者本來掌握某個單詞的拼寫，卻無意中擊錯了鍵，隨后對之進行的修改就屬于校訂修改。校訂修改與拼寫修改容易混淆，辨別標準為校訂錯誤是失誤，而拼寫錯誤是錯誤。修改范圍分為單詞及以下、短語、句子(如句子的時態、語態)和篇章(如句群、段落)等層面。修改行為維度，參照Faigley & Witte[13]95-108的分類體系，共有增加、刪除、替代、移位和其他五類。修改動機分為反饋引發和自我修改。具體標記時，除校訂修改不做修改行為的標記外，每次修改均在各維度上進行標記。

此外，為消除不同作文長度對修改數據的影響，對以上四個維度的修改次數進行標準化，計算出修改頻次。采用Stevenson，et al.[12]201-233的計算方法，即修改頻次指每一百個單詞的平均修改次數，為總修改次數除以終稿的總單詞數再乘以一百。

對統計出的各維度修改頻次和文本質量數據，用SPSS17.0進行處理，主要采用獨立樣本t檢驗和配對樣本t檢驗兩種方法。

分析訪談數據是采用Yin[17]176-232的質性數據分析方案，包括數據的編輯、分解、再匯編、解析、得出結論等步驟，最終歸納出學生修改策略的特點。

三、結果與討論

數據分析顯示，教師在線反饋和系統即時反饋對學生的修改過程和修改質量都產生了不同程度的影響，具體涉及修改目標、修改范圍、修改行為、修改動機和文本質量等方面。

(一)修改目標

獨立樣本t檢驗結果顯示，兩組在內容修改上存在顯著差異(t=3.530，P<0.05)。教師反饋組的內容修改顯著高于系統反饋組(MD=0.940)(見表2)。這主要是由兩種反饋的特點所決定，評分系統“在內容、銜接、篇章和結構方面僅有總體評價，沒有針對性地提供詳細的反饋和修改建議”[18]43，導致該組受試未做任何內容修改(M=0.00)；而教師反饋更注重作文內容的補充和完善。兩組在語言修改上未顯示出顯著差異，說明兩種反饋引發的語言層面的修改基本相當。而在校訂修改上有顯著差異(t=-2.280，P<0.05)。教師反饋組的校訂修改顯著低于系統反饋組(MD=-1.169)。Stevenson，et al.[12]201-233的研究發現，在計算機寫作過程中產生大量鍵入錯誤，校訂修改占總修改的比例接近60%。本研究訪談中，學生稱鍵入錯誤為“手殘”打錯的詞，如將their打成thire，將because打成becasue。由于學生熟悉紙筆寫作而缺乏在線寫作的經驗，導致即使會拼寫的單詞也常出現鍵入錯誤。雖然兩組受試均大量出現鍵入錯誤，但系統自動反饋對空格、縮進等格式和單詞拼寫的要求精準、反饋迅速，且做出相應修改后評分會有提高，學生都會依據反饋進行校訂修改；而教師因需關注語言、內容和結構等各方面，實際操作中又常有時間的限制，很難對所有的鍵入錯誤做出反饋，因此教師反饋組的校訂修改明顯少于系統反饋組。

表2 修改目標的獨立樣本t檢驗結果

注：*在 0.05 水平上有顯著意義，下同。

(二)修改范圍

兩種反饋方式在修改范圍維度上也存在明顯差異(見表3)。首先在單詞及以下層面的修改上有顯著差異(t=-2.589，P<0.05)。教師反饋組的單詞及以下修改顯著低于系統反饋組(MD=-2.470)。這一結果與鐘彩順[8]81-88的發現類似，在基于自動反饋的修改中，“學習者有效修改的幅度很小。學習者大多只會關注單詞拼寫、措辭和簡單語法等層面，無法深入語篇和內容。”這也支持了趙蔚彬[19]2的研究結論，在線寫作中的“修改決策大多發生在個別單詞內部，少有對詞組和句子的改動”。鑒于目前的自動評分系統對語法層面的反饋較多，加之大量的對鍵入錯誤的反饋，不難理解系統反饋組的小范圍修改顯著增多。

表3 修改范圍的獨立樣本t檢驗結果

其次兩組在短語層面的修改無顯著差異，而對句子(t=4.198，P<0.05)和篇章(t=2.331，P<0.05)的修改有顯著差異。教師反饋組中較大范圍的修改顯著高于系統反饋組，分別為句子修改(MD=0.927)和篇章修改(MD=0.419)。這可能是因為教師反饋更多地涉及內容完整，謀篇布局和語篇連貫等方面，學生就會嘗試在這些方面進行修改。

(三)修改行為

兩組的“增加”行為有顯著差異(t=4.777，P<0.05)。教師反饋組的增加顯著多于系統反饋組(MD=1.290)(見表4)。如前所述，教師反饋組的內容修改和大范圍修改較多，導致增加行為相應增多。兩組的替代也有顯著差異(t=-2.762，P<0.05)。教師反饋組的替代顯著少于系統反饋組(MD=-1.722)。且系統反饋組的替代，因不涉及內容修改，所以均為不改變意義的替代。這一結果支持了Stevenson，et al.[12]201-233的結論，在母語和外語的修改中，替代均為最常用的修改動作。

表4 修改行為的獨立樣本t檢驗結果

(四)修改動機

兩組中反饋引發的修改無統計學上的差異，而自我修改存在顯著差異(t=2.555，P<0.05)。教師反饋組的自我修改顯著多于系統反饋組(MD=0.444)(見表5)。原因可能是教師反饋比系統反饋更具有啟發性，更能引導學生主動發現問題并解決問題；其次，學生受益于系統即時反饋的便捷性，每次修改的范圍較小，短時間內多次提交，以驗證自己修改是否正確；而基于教師反饋的修改，因為人工批改在時間上相對滯后，時效性不好，學生對作文修改后常會通讀全文，發現新問題會自發進行修改。可見教師反饋更能培養學生自發修改、自主學習的意識。

表5 修改動機的獨立樣本t檢驗結果

(五)文本質量

反饋方式對修改成果的影響具體體現在作文文本質量的變化上。本研究首先使用獨立樣本t檢驗，比較兩組終稿的文本質量，發現各項指標均無顯著差異。這表明雖然介入不同形式的反饋，學生修改后的終稿的文本質量并無顯著差異。

然后使用配對樣本t檢驗，對兩組各自的初稿和終稿的文本質量進行比較，考察在修改前后是否有顯著性差異；如有差異，在哪些質量要素上存在差異。如表6所示，通過比較教師反饋組的初稿和終稿，發現14項質量要素中有多項呈現明顯差異。結果顯示，文本質量在總詞數、動詞數、動詞短語和詞匯豐富度等要素上存在顯著差異。

表6 教師反饋組初終稿的文本質量配對樣本t檢驗結果

其中，初稿和終稿的總詞數有顯著差異(t=-3.510，P<0.05)。初稿總詞數顯著低于終稿詞數(MD=-24.100)。這表明教師反饋組的終稿長度明顯增加，而文本長度是檢測作文流利性的重要指標，這就說明基于教師反饋的修改使作文流利性有所增加。兩稿的動詞數和動詞短語也有顯著差異，分別為(t=-2.294，P<0.05)和(t=-2.466，P<0.05)。詞匯豐富度亦有顯著差異(t=-2.429，P<0.05)，初稿顯著低于終稿(MD=-0.171)。詞匯豐富度是衡量詞匯復雜性的一個重要指標，這表明終稿的詞匯復雜性顯著提高。

此外，系統反饋組的初稿和終稿的文本質量在總詞數、學術詞匯占比和平均詞長等方面呈現顯著差異(見表7)。

表7 系統反饋組初終稿的文本質量配對樣本t檢驗結果

初稿和終稿的總詞數有顯著差異(t=4.106，P<0.05)，初稿總詞數多于終稿詞數(MD=2.900)。系統反饋組的終稿長度不升反降，這可能是因為本組的修改集中于單詞及以下，而在反復修改不成功時，學生常采用回避策略，刪除修改不成功的表達以提高分數。

學術詞匯占比也有顯著差異(t=-3.015，P<0.05)，初稿的學術詞匯占比顯著低于終稿(MD=-0.005)。訪談發現，學生修改時傾向于用大詞、長詞來替代常用詞匯，如用atavistic affection替代every generation is closer來表示“隔代親”，認為這樣作文顯得高大上，更容易得高分。這不僅導致學術詞匯占比的顯著增加，還使初稿的平均詞長顯著低于終稿(MD=-0.030)，說明終稿使用的長詞明顯增多。而平均詞長也是詞匯復雜性的一個指標，表明系統反饋引發的修改對提高詞匯復雜性亦有幫助。

以上結果與胡學文[7]45-49的結論不盡相同。他發現基于系統反饋的修改，使作文長度、低頻詞匯使用、詞匯豐富度、平均詞長、從句數量等指標均有顯著提高，但對平均句長不產生明顯影響。周麗[11]26-29則發現系統反饋后的修改對句法流利度和復雜度有提高，而對其他句法能力的影響不顯著。上述研究結果間的差異可能是由于實驗設計不同造成，時間跨度不一致、語言產出評價標準不統一[20]161-184等都會導致結論缺乏可比性，需要更統一、更深入的研究。

四、結 論

本研究通過對比教師反饋組和系統反饋組的在線修改過程和成果，發現兩種反饋方式對修改過程的影響體現在不同維度，對文本質量的影響也不盡相同。主要包括：教師反饋引發更多的內容修改，系統反饋導致較多的校訂修改，而兩種反饋在語言修改上并無顯著差異；教師反饋帶來更多的整體修改，而系統反饋更集中于單詞及以下層面的局部修改；教師反饋導致更多的增加，而系統反饋組使用更多的替代；教師反饋引發更多的自我修改。此外，修改后的文本質量，教師反饋組的終稿在總詞數、動詞數、動詞短語和詞匯豐富度等要素上有顯著提高，而系統反饋組在學術詞匯占比和平均詞長等方面大幅增長。

上述發現表明，如何把教師反饋和系統反饋進行融合以達到最佳的反饋效果，是值得進一步探索與實踐的課題。首先，在反饋時機上，可嘗試先教師、后系統的反饋方式。教師反饋會帶來較大范圍、注重內容的修改，也更能培養學生自主修改的意識，之后的系統反饋則幫助學生進行語言層面的小范圍修改。其次，可采用系統全批、教師精批精講的模式。在師生比例過大的情況下，利用自動評分系統即時反饋的特點，對每位學生的每一稿做出即時、公正的反饋；教師則可以選取有代表性的作文，進行精批和精講，提高作文批改和講評的效率。最后，充分利用評分系統提供的資源來促進寫作教學，比如利用系統提供的作文相似度檢測，可有效防止學生的抄襲行為；利用共性分析的功能，可找出學生普遍存在的問題進行講評和練習；利用每篇作文的體檢報告，可提出針對性的修改建議。

本研究只考察了兩種反饋方式對一篇作文修改的影響，未來可對多篇作文的修改過程進行歷時的研究；亦可增加受試樣本，進行更大規模的系統研究。

[1] 王俊菊.總體態度、反饋類型和糾錯種類——對大學英語教師作文書面反饋的探討[J].國外外語教學，2006(3).

[2] 楊苗.中國英語寫作課教師反饋和同儕反饋對比研究[J].現代外語，2006(3).

[3] Li，Z.，Link，S.，Ma，H.，Yang，H.& Hegelheimer，V.The role of automated writing evaluation holistic scores in the ESL classroom [J].System，2014(44).

[4] Tuzi，F.The impact of e-feedback on the revisions of L2 writers in an academic writing course [J].ComputersandComposition，2004(21).

[5] Stevenson，M.& Phakiti，A.The effects of computer-generated feedback on the quality of writing [J].AssessingWriting，2014(19).

[6] 唐錦蘭，吳一安.寫作自動評價系統在大學英語教學中的應用研究[J].外語與外語教學，2012(4).

[7] 胡學文.在線作文自我修改對大學生英語寫作結果的影響[J].外語電化教學，2015(5).

[8] 鐘彩順.基于在線自動反饋的自主寫作修改研究[J].解放軍外國語學院學報，2015(4).

[9] Dikli，S.& Bleyle，S.Automated essay scoring feedback for second language writers：How does it compare to instructor feedback [J].AssessingWriting，2014(22).

[10] 周一書.大學英語寫作反饋方式的對比研究[J].外語界，2013(3).

[11] 周麗.英語在線寫作平臺對大學生寫作句法能力的影響[J].外語電化教學，2015(9).

[12] Stevenson，M.，Schoonen，R.& de Glopper，K.Revising in two languages：A multi-dimensional comparison of online writing revisions in L1 and FL [J].JournalofSecondLanguageWriting，2006(15).

[13] Faigley，L.& Witte，S.Measuring the effects of revisions on text structure [A].In R.Beach & L.S.Bridwell(eds.).New directions in composition research [C].New York：Guilford Press，1984.

[14] 劉兵，王奕凱，Zhang，J.L.任務類型對在線英語寫作任務準備和產出的影響[J].現代外語，2017(1).

[15] 梁茂成.大規模考試英語作文自動評分系統的研制[M].北京：高等教育出版社，2012.

[16] Laufer，B.& Nation，I.S.P.Vocabulary Size and Use：Lexical Richness in L2 Written Production [J].AppliedLinguistics，1995(16).

[17] Yin，R.K.Qualitative Research from Start to Finish [M].New York：The Guilford Press，2011.

[18] 張荔，盛越.自動作文評閱系統反饋效果個案研究[J].外語電化教學，2015(5).

[19] 趙蔚彬.英語寫作修改模型 [M].開封：河南大學出版社，2007.

[20] Ferris，D.R.& Roberts，B.Error feedback in L2 writing classes：How explicit does it need to be [J].JournalofSecondLanguageWriting，2001(10).