基于同伴互評的專業英語寫作評價研究*

王　靖　馬志強　許曉群　龍琴琴

（江南大學 教育信息化研究中心，江蘇無錫 214122）

?

基于同伴互評的專業英語寫作評價研究*

王靖馬志強許曉群龍琴琴

（江南大學 教育信息化研究中心，江蘇無錫 214122）

摘要：文章將同伴互評用于教育技術“專業英語”課程寫作評價，分析評語類型、評語采納、認可程度之間的關系。文章對通過兩輪同伴互評活動所得的749條評語進行了編碼分類，并利用AMOS軟件分析了同伴互評觀察變量間的因果模型，得出：分析和修改兩種評語類型顯著影響認可程度；認可程度與評語采納之間有顯著的因果關系；當評語呈現修改導向時，該評語更易被學生采納。探究不同類型的評語對學生“專業英語”論文寫作素養能力的影響、對評語類型進行適當引導的干預研究等，均為后續研究提供了可能。

關鍵詞：專業英語；同伴互評；寫作評價

引言

近年來，高等教育評價逐漸由強調學生對知識的記憶轉向強調學生完成復雜任務、進行高階思維的能力［1］，隨之而來的是評價方式的多樣化［2］。同伴互評作為一種新興的形成性評價方式，要求學習者對共處同一學習環境的同伴的作品質量或學業表現進行評價［3］。已有研究表明，同伴互評能夠促進學生高階思維的形成以及認知的重構［4］，并能解決高等教育中學生作業、作品多樣化而教師反饋不足的現實問題。基于此，近年來同伴互評成為了高等教育研究中的熱點話題［5］。

在英語寫作教學中，評價處于核心地位［6］。對于大學“專業英語”這樣一種同時具備專業屬性及英語屬性的課程，其任務之一便是培養學生結合專業知識、對專業話題進行英文寫作的能力。而對這種能力的評價，是大學“專業英語”教學及研究所關注的重要話題。

縱觀以往相關同伴互評的研究，從評價內容的角度，寫作是同伴互評關注的熱點，并以大學英語寫作實證居多［7］。從涉及學段的角度，Marjo等［8］曾在2010年對SSCI檢索期刊過去17年來發表的26篇典型的高水平同伴互評實證論文進行了研究，指出這26篇文章中有25篇是在高等教育環境中開展的。盡管迄今為止沒有同伴互評開展的學段比例數據，但從近幾年相關文獻的闡述中可以看出，高等教育仍然是同伴互評研究涉及的主要學段。從研究本體的角度，以往對同伴互評的研究多聚焦于兩個方面：①功能方面，研究重點放在作為一種教學方式和評價方式的同伴互評對學生在特定領域內技能提升的影響。如Hwang等［9］研究了基于同伴互評的游戲開發活動對提升小學六年級學生科學課程學業成績、學習動機、問題解決能力的影響，得出了同伴互評對上述因素起正向作用的結論。②機制方面，研究重點放在同伴互評應如何開展才能更大程度地促進學生學習，關注互評的流程、互評中的干預策略、互評借助的技術工具等。

在運用、研究同伴互評的過程中，研究者逐漸發現，不同評語類型對學生的學業成績具有不同影響。如Cheng等［10］通過研究在線同伴互評對提升本科生寫作能力的作用，提出認知、情感、元認知三種類型的評語對學生寫作水平具有不同的影響。而作為一種形成性評價方式，學業成績僅僅是評價需要考量的結果因素之一；而與其同等重要的過程因素，是同伴給出的評語。本研究針對教育技術“專業英語”課程開展同伴互評研究，并對評語類型、評語采納、認可程度之間的關系進行了具體探索。

一　研究設計

1 研究問題

本研究圍繞三個基本問題展開，在“專業英語”課程同伴互評中：

①評語類型是否對認可程度有影響？

②認可程度是否對評語采納有影響？

③評語類型是否對評語采納有影響？

2 研究樣本

本研究涉及的樣本為江蘇省J大學教育技術系的55名大三學生，這些學生選修了“專業英語”課程。該課程借助學院網絡教學平臺，采用課堂教學與平臺答疑評價反饋相結合的方式開展。任課教師在學期中期向學生布置論文作業，要求學生結合教育技術專業知識，就“媒體對學習的作用”這一教育技術經典話題展開論述。

3 研究工具

（1）論文評價框架

本研究開展了兩輪同伴互評活動：

①學生在第一次完成論文之后，將其上傳到網絡教學平臺。隨后，教師對論文進行隨機分組，分組原則為：每位學生將收到3～4份其他同學的論文，根據論文評價框架（如表1所示），對這些論文進行在線評價，給出評語。第一輪同伴互評完成之后，每位學生結合同伴的評語，對自己的論文進行線下修改。

②學生在第二次完成論文之后，進行第二輪同伴互評及論文修改，分組原則及論文評價框架同上，但本次評價于線下完成。

兩輪同伴互評活動共進行了6周時間，使用的論文評價框架是在第一次作業完成之后，在課堂上經師生共同討論得出。

表1　論文評價框架

（2）評語編碼框架

兩輪同伴互評活動結束后，研究者對收集到的749條評語進行編碼，從這些評語的特征出發，選用了Van等［11］開發的同伴互評評語編碼框架。該框架涉及7類評語——從評語反饋功能的視角，包括分析、評價、解釋、修改；從評語反饋著眼點的視角，包括內容、結構、風格。這7類評語的具體內涵，將在后文“模型變量內涵”中進行闡述。

（3）模型構建軟件

本研究涉及的模型構建軟件為SPSS 17.0和AMOS 17.0。其中，SPSS 17.0主要用于數據的基本描述性統計，AMOS 17.0則用于模型的描繪與評估。

二　模型理論架構

1 模型變量內涵

本研究采用結構方程模型分析法，構建了變量間的因果模型，其包含的變量均為觀察變量，分別為：評語類型、評語采納、認可程度。在對模型進行構建之初，研究者對這些變量的內涵進行了界定。如前所述，本研究選用了Van等開發的同伴互評評語編碼框架，該框架涉及7種評語類型。結合“專業英語”課程，本研究將這些評語類型界定為：

①分析：評語對“這段話說的是什么，各句是如何組合在一起的”進行闡述；

②評價：評語對“這段話是否符合英語寫作規范”進行直接點評；

③解釋：評語對“這段話為什么錯了，為什么要這樣修改”進行闡述；

④修改：評語直接提出完善論文的具體建議；

⑤內容：評語針對論文的觀點進行評價；

⑥結構：評語針對論文的段落結構、行文邏輯進行評價；

⑦風格：評語對論文的語法、拼寫、排版進行評價。

除上述評語類型外，進入因果模型的變量還有評語采納和認可程度。本研究將評語采納分為完全采納、部分采納、不采納等3個檔次，分別對應同伴互評完成后每位學生修改自己的論文時，完全、部分、沒有按照相應評語進行修改。認可程度是指在被評者心目中，每一條評語對于自己提升論文寫作水平的重要程度，分為完全不重要、不太重要、一般、比較重要、非常重要等5個檔次。

2 模型變量間關系

已有研究指出，何種類型的評語能夠使學習者獲益是同伴互評中值得探討的話題［12］。有些類型的評語因其某些特性，較其它類型的評語更易被學生采納［13］，而學生對評語的認可程度往往決定了其對評語的采納程度［14］。本研究將7種評語類型作為外源潛變量的觀察變量，將評語采納、認可程度作為內生潛變量的觀察變量，同時將認可程度作為評語類型和評語采納的中介變量，構建了同伴互評觀察變量間的因果模型（以下簡稱因果模型），如圖1所示。

圖1　同伴互評觀察變量間的因果模型

圖2　同伴互評觀察變量因果關系呈現的模型

三　模型分析結果

1 評語類型與認可程度的關系

因果模型結果顯示了各評語類型對認可程度的模型估計值、標準化模型估計值、顯著性水平P值，如表2所示。可以看出，從評語反饋功能的角度，分析和修改兩種評語類型均與認可程度在0.05水平上有顯著的因果關系（P值分別為0.046、0011），而對于其它評語類型及認可程度，未得出顯著的因果關系。

表2　評語類型與認可程度的關系

2 認可程度與評語采納的關系

在因果模型分析結果中，認可程度對評語采納的影響在0.001水平上有顯著的因果關系，即認可程度顯著影響評語采納（回歸系數為0.184）。

3 評語類型與評語采納的關系

因果模型同時給出了各評語類型與評語采納的關系，在預設的因果關系路徑中，只有“修改→評語采納”的因果路徑在0.01和0.05水平上呈現出了顯著性（P值為0.005），如表3所示。

表3　評語類型與評語采納的關系

4 同伴互評因果模型

綜上所述，在同伴互評中，觀察變量因果關系呈現的模型如圖2所示。其中，箭頭表示存在顯著的因果關系，并由因指向果；各數字為標準化模型估計值，即標準化的回歸系數。在該模型中，內生潛變量的觀察變量為認可程度和評語采納，外源潛變量的觀察變量為分析和修改兩種評語類型。誤差變異量及外源變量間的共變關系因其意義不大，故均未在模型中展示。

四　結論與討論

如前所述，本研究旨在分析三個基本問題：①評語類型是否對認可程度有影響？②認可程度是否對評語采納有影響？③評語類型是否對評語采納有影響？

對于第一個研究問題，本研究得出結論：同伴給出的評語越具有分析和修改的屬性，就越容易得到被評學生的認可。結合以往的研究，這一研究結論與Gielen等［15］的觀點一致，即認為伴有詳細分析、解讀的評論更易提升學生的寫作水平。結合本研究所依托的課程來看，若評語能夠體現出清晰的功能導向尤其是分析和修改的導向，就通常能夠得到學生的認可。究其原因，可能在于大三學生更想直接獲得如何提升自己“專業英文”論文寫作水平的啟示，而這種啟示多來源于分析和修改兩種評語類型。

對于第二個研究問題，本研究得出結論：越容易被學生認可的評語，越容易在修改時被學生采納。從以往研究來看，這一研究結論和Van等［16］得出的結論相同。

對于第三個研究問題，本研究得出結論：當評語呈現修改導向時，該評語更易被采納；而同樣被學生認可的分析類型，卻不易被學生采納。這一研究結論同樣出現在了Hewitt等［17］的研究中，他認為那些針對文章中存在的問題所提出具體建議的評語更易被采納。結合本研究所依托的課程來看，分析類評語大多針對段落與主旨、觀點與論證展開，這些地方通常在成文之后不易修改，且大多分析類評語本身并未指出明確的修改方向。而通過這些分析類評語，被評學生對自身的論文雖能獲得更為深入的認知，但卻不知具體從何著手來完善既有作品。正因為如此，分析類型沒有對評語采納產生顯著因果關系便成當然之事。

此外，統觀整個模型，內容、結構、風格三種評語類型對認可程度及評語采納均未產生顯著影響，Van等［18］的研究同樣得出了此結論：諸如針對文章結構提出的評語不易引起注意，因為這些評語對于學生修改文章不太具有操作性。結合本研究所依托的課程來看，“專業英語”本身屬于專業課程，其作業成績直接決定了學生的績點高低，使得學生更關注那些能夠提升自己專業英文寫作水平的評語，尤其是那些能夠直接著手修改、對下一輪英語作業成績提升有直接啟示的評語。

在對評語類型、評語采納、認可程度進行整體分析之后，后續的研究將主要從以下兩個方面著手：①不同類型的評語對學生“專業英語”論文寫作素養能力的影響。本研究從采納及認可的視角，考量了評語類型的作用，但互評反饋對被評者的意義不只是如此；學生“專業英語”寫作素養和評語類型之間是否存在一定的聯系，有待進一步考察。②對評語類型進行適當引導的干預研究。當得出某些類型的評語較易受到學生的認可與采納后，在開展同伴互評時需要對評語類型加以適當引導，以驗證這些評語類型在不同學習情境下對學生的影響。

參考文獻

［1］Gikandi J W， Morrow D， Davis N E. Online formative assessment in higher education： A review of the literature［J］. Computers & Education， 2011，（6）：2333-2351.

［2］David J N， Debra M D. Formative assessment and self-regulated learning： A model and seven principles of good feedback practice［J］. Studies in Higher Education， 2006，（2）：199-218.

［3］Topping K J. Peer assessment［J］. Theory into Practice， 2009，（1）：20-27.

［4］Fu Y Y， Chun P W. Different identity revelation models in an online peer-assessment learning environment： Effects on perceptions towards assessors， classroom climate and learning activities［J］. Computers & Education， 2011，（5）：2167-2177.

［5］［8］Marjo V Z， Dominique S， Jeroen V M. Effective peer assessment process： Research findings and future directions［J］. Learning and Instruction， 2010，（20）：270-279.

［6］牟金江.SMART原則下的高中英語寫作教學與評價［J］.課程·教材·教法，2011，（5）：60-64.

［7］高婷婷.教師指導下的同伴互評機制在高中寫作教學中的實證研究［D］.錦州：渤海大學，2014：5.

［9］Hwang G J， Hung C M， Chen N S. Improving learning achievements， motivations and problem-solving skills through a peer assessment-based game development approach［J］. Educational Technology Research & Development， 2014，（4）：129-145.

［10］Cheng K H， Liang J C， Tsai， C C. Examining the role of feedback messages in undergraduate students’ writing performance during an online peer assessment activity［J］. The Internet and Higher Education， 2015，（25）：78-84.

［11］［14］［16］Van D P， Van D B， Admiraal W F， et al. The nature， reception， and use of online peer feedback in higher education［J］. Computers & Education， 2008，（6）：1804-1817.

［12］Nelson M M， Schunn C D. The nature of feedback： How different types of peer feedback affect writing performance［J］. Instructional Science， 2009，（4）：375-401.

［13］Cheng K H， Hou H T， Wu S Y. Exploring students’ emotional responses and participation in an online peer assessment activity： A case study［J］. Interactive Learning Environments， 2014，（3）：271-287.

［15］Gielen S， Peeters E， Dochy F， et al. Improving the effectiveness of peer feedback for learning［J］. Learning and Instruction， 2010，（4）：304-315.

［17］Hewitt B L. Characteristics of interactive oral and computer-mediated peer group talk and its influence on revision［J］. Computers and Composition， 2000，（3）：265-288.

［18］Van D B， Admiraal W F， Pilot A. Design principles and outcomes of peer assessment in higher education［J］. Studies in Higher Education， 2006，（3）：341-356.

編輯：小米

Study of Assessing Professional English Writing based on Peer Assessment

WANG JingMA Zhi-qiangXU Xiao-qunLONG Qin-qin

（Research Center of Educational Informatization， Jiangnan University， Wuxi， Jiangsu， China 214122）

Abstract：Peer assessment was applied to educational technology “professional English” course， during which the link between the assessment type， assessment acceptance， recognition degree was analyzed. 749 feedbacks from two rounds of peer assessment were coded and a variable causal model was built by AMOS software. The key findings were that the revision and analysis types feedbacks significantly influenced recognition degree， which had a significant relationship with assessment acceptance. The feedbacks were more easily accepted which presented modification-oriented characterisitc. The appropriately guided intervention on assessment type will be researched in order to explore the influence of different types of feedbacks on students’ writing literacy， providing possibility for further study.

Keywords：professional English； peer assessment； writing assessment

【中圖分類號】G40-057

【文獻標識碼】A 【論文編號】1009—8097（2016）05—0077—06 【DOI】10.3969/j.issn.1009-8097.2016.05.012

*基金項目：本文為國家社會科學基金“十二五”規劃2014年度教育學青年課題“基于同伴互評的在線學習評價機制設計與應用研究”（項目編號：CCA140151）的階段性研究成果。

作者簡介：王靖，副教授，博士，研究方向為學習科學與技術、數字化學習與認知，郵箱為jing850902@sina.com 。

收稿日期：2015年11月7日