網絡協作學習個體貢獻度評價的設計與應用*

馬志強 閆雪靜 張紅英

?

網絡協作學習個體貢獻度評價的設計與應用*

馬志強 閆雪靜 張紅英

（江南大學 教育信息化研究中心，江蘇無錫 214122）

在網絡協作學習中，教師通常會根據小組協作成果給予每個組員統一的分數，這種以小組為單位的評價方式并未考慮組員在協作過程中的個體貢獻程度。而缺乏個體貢獻度評價可能會導致積極成員逐漸減少投入，進而產生“搭便車”等消極協作學習行為。文章通過設計自主與同伴互評（Self-Assessment and Peer-Assessment，SAPA）來評價學習者在網絡協作學習過程與成果中的個體貢獻度，采用量化與質性相結合的方法來探索SAPA設計的原則和策略，并分析學習者的學習經歷及其對評價的看法。結果表明，SAPA方法能夠幫助學習者明確個體責任，促進群體成員共同分擔小組任務。研究意義在于進一步確認：個體貢獻評價分數的構成比例，學習者對評價過程的自主反思以及避免“互惠效應”的多重策略對設計SAPA具有重要價值。

網絡協作學習；個體貢獻度；自主評價；同伴互評；學習評價

在網絡協作學習中，教師和學習者需要確認每個參與者在協作學習過程及成果中的個體貢獻程度[1]，因為缺乏對個體貢獻的評價可能導致社會懈怠和“搭便車”現象[2]。然而，由于協作學習過程持續時間較長且多發生于課外，因此教師很難監控學習者在線與離線學習的全過程并據此確認每個參與者的具體貢獻[3][4]。鑒于教師評價的困難，研究者Chen開始引入SAPA的方式來評定個體貢獻度[5]。然而，目前關于SAPA設計原則與具體策略等問題尚待進一步探索。因此，本研究設計SAPA來評價學習者在網絡協作學習過程與成果中的個體貢獻度，旨在探索SAPA設計的原則和策略，并分析學習者對評價工具與方法的感知和態度。

一 理論框架

本研究構建理論框架的目的在于形成并發展個體貢獻度評價的原則與策略，包括網絡協作學習與個體貢獻度評價、自主評價與同伴互評以及SAPA評價與“互惠效應”三部分。

1 網絡協作學習與個體貢獻度評價

在網絡協作學習中，個體責任和積極的相互依賴是保障協作學習績效的基本要素[6][7]。其中，個體責任強調每個成員均需對小組的績效做出自身的貢獻[8]。保障個體責任要求小組內部明確劃分組內任務，并監督任務的執行情況。而積極的相互依賴是指學習者個人目標的達成有賴于同他人相互協作[9]，這就意味著學習者之間需要建立相互信任且富有凝聚力的依賴關系。

個體貢獻度評價聚焦于評估每個學習者對小組任務的投入程度與完成質量，對于保持組員的個體責任、促進組內相互依賴具有重要價值[10]：一方面，個體貢獻度評價能夠評估每個成員對小組任務貢獻的質量和數量，并把結果反饋給所有的小組成員。整個評價反饋過程有助于督促組員反思自身貢獻，積極承擔個體責任[11]。另一方面，個體貢獻度評價有助于小組內部核查成員對協作任務的執行情況，建立相互信任關系，從而保障小組成員之間的相互依賴[12]。因此，在協作學習中，個體貢獻度評價對于促進協作學習中的個體責任和相互依賴、保障學習績效具有重要價值。

2 自主評價與同伴互評

目前，眾多研究者開始采用自主評價與同伴互評相結合的方法，來評價協作學習中的個體貢獻度[13]。其中，自主評價是指學生對自己的學習過程和成果質量進行反思與判斷[14]，并通過學習者自主監控學習過程與結果來實現評價目的[15]；同伴互評是一種學習者評價其他同伴的作品水平、價值或質量的評價方法[16]，可以借助同伴的觀察與分析，來對教師難以監控的協作過程進行全方位評價。自主評價與同伴互評通常結合在一起使用[17]，而這兩種方法的結合有助于對比自評和互評得分來判斷并干預不合理的評價結果[18]。

3 SAPA評價與“互惠效應”

在目前的SAPA評價實踐中，“互惠效應”是一個經常被研究者提及的問題?！盎セ菪笔侵笇W習者之間因社會關系而導致不合理的評分，它可能導致出現友誼分數（導致評分過高）、默契分數（導致組內分數趨于一致），進而對評價的公平性產生消極影響。已有研究表明，匿名評價和隨機分組是避免“互惠效應”的重要策略——匿名評價是指在同伴互評中，評價者與被評價者保持雙向匿名，使用匿名評價可以消除同伴之間對于社會關系的顧慮，改善評價的公平性[19]；隨機分組則可以避免學習者按照社會關系分組而影響評價的公平性。

綜上所述，SAPA是協作學習中個體貢獻度評價的重要方法。目前，基于自評與互評的個體貢獻度評價往往側重于小組作品或協作學習過程的單一維度，研究者迫切需要一種綜合的設計方法來同時評價學習者在小組協作學習過程與成果中的個體貢獻度。同時，研究者還應探索如何使用自評和互評，來促進學生積極參與評價過程并避免“互惠效應”的影響[20]。本研究就是基于上述研究目的而展開的。

二 研究設計

1 研究背景

本研究的研究對象是東南某高校教育技術學專業與小學教育專業的119名學生（含36名男生和83名女生）。這些學生之前都參加過2～3門混合式課程，已經擁有網絡協作學習的經驗。本研究依托的是“多媒體課件開發”線上、線下混合式課程：在線上學習階段，學習者通過協作學習來形成小組的多媒體課件設計方案。119名學習者被隨機分成27個小組，小組成員通過網絡學習系統協作完成課件設計方案，并提交至學習系統；各小組需要在兩周內完成設計方案并在線提交。在線下階段，任課教師為學生講解SAPA貢獻度評價的目的與方法，并引導學生熟悉評價流程與工具。

2 評價設計原則和策略

基于已有研究文獻，本研究形成了支持個體貢獻度評價設計的具體指導原則與策略，如表1所示。主要設計原則包括：①個體貢獻度評價應同時考察學習者在協作學習過程與結果中的貢獻；②學習者應參與評價過程并對評價負責；③評價應盡可能公平合理。

3 SAPA的設計流程

為了保證學習者有機會改進個體貢獻度，本研究設計并實施了兩輪SAPA活動。在每輪活動中，教師和學生會提前討論并確定個體貢獻度評價標準，小組成員需要依據形成的評價標準對協作學習過程和結果中每個成員的個體貢獻度進行自主評價和同伴互評，即每個學生的個體貢獻度分數由自己以及3～4個同伴進行評價。評價者需要給出個體貢獻度的排序等級分數（1～5，采取匿名且同一指標下分數不能重復）和評語。之后，教師通過評價工具整合小組分數和個體貢獻度分數來計算最終的個人分數。最終確定的個體貢獻度評價標準包括五個子維度：①小組討論的貢獻程度；②資料檢索和整理的貢獻；③小組任務組織和協調的貢獻；④小組成員不同意見的態度；⑤小組成果的反思與改進。

整個研究實施兩輪SAPA和兩輪修改——第一次提交作品，實施SAPA，修改后提交；第二次實施SAPA，第二次修改提交。在每一輪中，老師和助教首先給每組學生評分和修改小組作品的建議。小組成員完成自主和同伴互評，并給出個體貢獻度的分數和評論。每個學生的貢獻由3～4個小組同伴和自己進行評定。最后，通過整合小組成果和個體貢獻度分數來計算個人得分。

表1 個體貢獻度評價設計原則與策略

4 評價工具

為了將個體貢獻度和與小組成果分數整合到個人最終成績中，本研究采用Strijbos等[25]開發的分數轉換工具。如圖1所示，小組分數由教師給出，自評和互評的分數由個人與組員依照個人貢獻按照等級1～5分給出。按照公式（1）、（2），分別計算自評分數與互評分數比值（SA comp.PA）和個人最終得分。

公式（1） 公式（2）

5 研究問題與研究方法

本研究重點關注個體貢獻度評價的設計原則和策略，旨在解答以下問題：在網絡協作學習中，學生對SAPA個體貢獻度評價的感知與態度是什么？

圍繞上述問題，本研究主要采用量化與質性相結合的混合式研究方法[26]，并采用問卷調查法來收集量化研究數據。問卷調查旨在獲取學生對個體貢獻度評價的感知，包括15個李克特量表形式的選擇問題，從1（非常不同意）到5（非常同意）。具體問題維度包括：①對協作評價過程與結果的感知；②對評價參與程度的感知；③對評價公平程度的感知。

本研究共發放119份問卷，其中有效問卷100份，問卷調查結果采用李克特量表中4（同意）、5（非常同意）的百分比來呈現，具體結果如表2所示。質性材料分析主要針對半開放式訪談和學生的反思日志。筆者閱讀了半開放訪談轉錄文本和反思日志內容，首先標注與SAPA評價原則和策略相關的句子和段落。隨后，本研究采用Corbin等[27]提出的編碼方法將標注內容進一步歸納和分類成共同的主題。研究結果部分將同時呈現量化與質性分析的結果[28]。

表2 個體貢獻度評價調查問卷結果（n=100）

三 研究結果

1 參與者對協作評價過程與結果的感知

參與者認為在小組協作學習中進行個體貢獻度評價是非常有必要的。Q1顯示67%的參與者同意使用個體貢獻度評價。參與者認為個體貢獻度評價有助于小組成員明確劃分個人責任，并保障團隊成員分擔小組任務。贊同Q1的參與者解釋說：“在這門課程中，我們花了很多時間討論和分配小組任務，這使得個人的責任更加清晰和明確?！薄拔艺J為SAPA能夠幫助我們評價每個小組成員在協作過程中的貢獻。你在小組任務中貢獻得越多，得分就越高。這個評價鼓勵我們平均分配小組任務，并增加個人投入度?！?/p>

最終的評價分數應謹慎處理小組作品與個體貢獻度分數的比例。個體貢獻度評價的作用在于當一個或多個小組成員沒有積極投入小組任務時，教師可以通過個體貢獻度分數來調節個人的最終分數[29]。Q4的結果表明，大多數學生認可（72％贊同）最終的分數應該整合小組分數和個體貢獻度分數。然而，參與者認為應該控制個體貢獻度分數與小組作品分數的比例。一名參與者提到：“評價應該鼓勵團隊合作而不是個人努力。如果個體貢獻度評分所占比例太大，我們可能會更多地關注個體貢獻而不是集體任務。在我看來，個人貢獻度分數和小組作品分數的比例應該是3:7?！?/p>

以往的研究強調網絡協作學習中的個體貢獻度評價可以增強個人責任感，避免協作學習中的“搭便車”和協作懈怠等問題[30]。然而，個體貢獻度評價可能會同時產生負面影響——如果學生認識到個人努力的重要性大于小組任務，他們可能會減少對小組任務的貢獻，反而更多地關注個人貢獻，這可能會影響組內相互依賴的協作關系。因此，后續評價研究與實踐應謹慎處理小組作品與個體貢獻度分數的構成比例。

2 參與者對評價過程參與的感知

Q7得到了80%參與者的認可，說明參與者認為他們應當參與評價標準的制定。對于評價標準的討論可以幫助小組成員理解小組任務的具體要求。一名參與者認為：“我們討論了哪些方面的投入會影響小組任務的質量，以及如何去評價這些方面。對評價標準的討論，幫助我們明確了在小組任務中應當做什么?！?/p>

在個體貢獻度評價中，自主評價的主要作用是提供了自主反思的機會，而非提供準確的評價分數。本研究中的SA/PA比值為1.65，而SA/PA＞1表示一個人自評分數高于同伴互評給出的分數[31]，這說明參與者可能在自主評價中高估了自身對于小組的貢獻。Topping[32]認為，關注努力而非成果的自主評價是不可靠的。Sluijsmans等人認為自評可能會促使學生在同伴評價和評語的幫助下進行自主反思[33]。在本研究中，參與者認識到了自主反思的價值。如一位學生在反思日志中提到：“當我發現自評分數低于同伴互評分數，我會閱讀同伴的反饋，并反思是否高估了自己?！?/p>

3 學習者對評價公平的感知

在SAPA中，隨機分組和匿名評價對于避免互惠效應有重要的作用（Q11：78%贊同，Q12：66%贊同）。如一名參與者提到：“在匿名評價中，我可以根據小組成員的實際貢獻給出分數而不用考慮我們的關系。如果是實名評價，我可能會給每個成員一樣的分數。隨機分組使我不能和熟悉的同學合作，但也讓我在評分時顧忌較少。”不過，隨機分組是一把“雙刃劍”。學生與相對陌生的小組成員協作，可能會避免出現友誼分數或默契分數，但彼此陌生的成員組成的小組凝聚力較弱。一名參與者提到：“在隨機分的產生的小組中，由于小組成員之間彼此不熟悉，我們很難相互協作?！贝送猓瑐€體貢獻度評價中的排序評分策略也需進一步改進。Sluijsmans等[34]指出，排序評分策略可能會阻止學生給予不合理的分數。但在本研究中，一名參與者認為：“排序評分強制我們必須給小組成員不同的分數，如果我不能區分兩個同伴的貢獻程度，那么給他們不同的排序就是不公平的?！币虼耍趥€體貢獻度評價中，后續應探索更加靈活的排序評分策略，排序評分應允許學生給出相同的排序，以便參與者對貢獻相似的學生給出一致的評分。

四 小結

本研究認為，自主評價和同伴互評是評價網絡協作學習過程和結果中個體貢獻的可行方法，其可以促進小組成員合理分配小組協作學習任務。研究結果表明，個體貢獻度評價分數的構成比例、學習者對自評過程的自主反思以及避免“互惠效應”的多重策略對SAPA至關重要。本研究的主要意義在于形成了網絡協作學習個體貢獻度評價的設計原則與策略。希望通過本項研究，研究人員和教師在協作學習中可以依據個體貢獻為小組成員給出公平合理的分數，并采用評價來改進小組協作過程和結果。

本研究存在一定的不足之處：①本次個體貢獻度評價活動僅持續了3個月，而個體貢獻度評價的效果需要更長時間來評估?；诖?，后續研究將會采用更多輪次和更長時間來驗證個體貢獻評價對協作學習之長期效果的影響。②本研究缺乏足夠的時間幫助學生提升同伴評價技能。同伴評價是一項復雜的技能，應通過培訓和實踐來提升，而這需要一定的時間積累。基于此，后續研究將通過更長時間的培訓和實踐來發展參與者的同伴評價技能。

[1][3][14][15][16][17]Miles L. Assessing contributions to group assignments[J]. Assessment & Evaluation in Higher Education, 2004, (6):751-768.

[2][4][16][13][20][29][30][31][34]Sluijsmans D M A, Strijbos J W. Flexible peer assessment formats to acknowledge individual contributions during (web-based) collaborative learning[M]. E-collaborative Knowledge Construction: Learning from Computer-supported and Virtual Environments. IGI Global, 2010:139-161.

[5]Chen C. The implementation and evaluation of a mobile self-and peer-assessment system[J]. Computers & Education, 2010, (1):229-236.

[6][7][10]Le H, Janssen J, Wubbels T. Collaborative learning practices: Teacher and student perceived obstacles to effective student collaboration [J]. Cambridge Journal of Education, 2018, 48(1):1-20.

[8]Sluijsmans D, Dochy F, Moerkerke G. Creating a learning environment by using self-, peer- and co-assessment[J]. Learning Environments Research, 1998, 1(3):293-319.

[9]Xu C, Zheng Y, Hu H, et al. Exploring individual contributions during online collaborative discussions[J]. Journal of Computers in Education, 2016, (4): 395-411.

[11]Popov V, Brinkman D, Biemans H J A, et al. Multicultural student group work in higher education: An explorative case study on challenges as perceived by students [J]. International Journal of Intercultural Relations, 2012,(2):302-317.

[12][33]Sluijsmans D M A, Strijbos J W, Watering G A. Designing flexible and fair peer-assessment formats to award individual contributions in group-based learning[C]. 12th Biennial EARLI Conference for Research on Learning and Instruction (EARLI 2012), 2007:131-154.

[18]Gupta M L. Enhancing student performance through cooperative learning in physical sciences[J]. Assessment & Evaluation in Higher Education, 2004, (1):63-73.

[19]Chen Y C, Tsai C C. An educational research course facilitated by online peer assessment[J]. Innovations in Education and Teaching International, 2009, (1):105-117.

[21][22][23][25]Strijbos J W, Sluijsmans D. Unravelling peer assessment: Methodological, functional, and conceptual developments[J]. Learning & Instruction, 2010, (4):265-269.

[24]Kili? D. An examination of using self-, peer-, and teacher-assessment in higher education: A case study in teacher education [J]. Higher Education Studies, 2016, (1):136.

[26][28](美)約翰·W.克雷斯威爾著.游宇,陳福平譯.混合方法研究導論[M].上海:格致出版社,2015:4、152.

[27](美)朱麗葉M.科賓,安塞爾姆L.施特勞斯著,朱光明譯.質性研究的基礎:形成扎根理論的程序與方法（第3版）[M].重慶:重慶大學出版社,2015:169-174.

[32]Topping K. Self and peer assessment in school and university: Reliability, validity and utility [M]. Optimising New Modes of Assessment: In Search of Qualities and Standards. Springer Netherlands, 2003: 55-87.

The Design and Applied of Assessing Individual Contribution in Web-based Collaborative Learning

MA Zhi-qiang YAN Xue-jing ZHANG Hong-ying

In a collaborative learning environment, teachers usually give each group member a unified score based on team collaboration results. This group-based evaluation method does not consider the individual contribution of team members in collaboration process. While the lack of evaluation on individual efforts may lead the active members to reduce their investment gradually, which in turn results in the negatively collaborative learning behaviour of free-riding. In this article, self-assessment and peer-assessment (SAPA) was designed for evaluating individual contribution in the process and product of web-based collaborative learning, and further the design principle and strategy of SAPA were explored through the method of combing quantification and qualitative. In addition, students’ learning experience and their opinion on evaluation were analyzed. Results showed that the SAPA method could help students to clarify the individual responsibility and promote group members to share group task. The significance of the research was to identify that the proportion of individual contribution score, the learners’ independent reflection on evaluation process and the multiple strategies for avoiding “reciprocity effects” were crucial for the design of SAPA.

web-based collaborative learning; individual contribution; self-assessment; peer assessment; learning assessment

G40-057

A

1009—8097（2018）10—0087—07

10.3969/j.issn.1009-8097.2018.10.013

本文為國家社科基金教育學青年項目“在線協作學習投入分析與評價研究”（項目編號：CCA180257）的階段性研究成果。

馬志強，博士，副教授，研究方向為計算機支持的協作學習、在線學習評價、學習分析，郵箱為mzq1213@qq.com。

2018年4月27日

編輯：小西