促進學習的評價：在線開放課程中同伴互評投入度研究

李紅霞 趙呈領 疏鳳芳 黃琰 上超望

[摘? ?要] 后疫情時代，提質增效是在線開放課程內涵式發展的重要抓手。重申促進學習的評價，強調學習者的深度參與，探究學習者參與同伴互評的特點及現存問題具有重要的現實意義。文章基于國內一門在線開放課程，采用學習分析技術從結構化與非結構化數據入手，分析在線開放課程同伴互評過程中學習者的投入度，并進一步探究同伴互評投入度與學習績效的關系。研究結果表明，在線開放課程中學習者同伴互評的行為投入及認知投入不高，但是參與同伴互評能夠識別更有動力通過課程的學習者，且其認知投入度能夠預測其學習績效?；贔BM（學習行為模型）模型提出促進同伴互評投入度的兩階段干預策略，從而提高學習者參與同伴互評的投入度，并為教師及平臺提供更具針對性的策略建議。

[關鍵詞] 在線開放課程; 同伴互評; 認知投入; 行為投入

一、問題的提出

學習評價是在線學習質量提升的關鍵和核心[1]，不評估學生是否已經學習，也不給學生反饋，等于單向的信息轉儲或廣播，而不是教育[2]。然而，在線開放課程在實踐中，其學習評價存在諸多亟待解決的問題。在線開放課程由于其開放、免費、大規模的特性，造成學習者背景紛繁復雜，規模較大，教師學習評價工作負擔較重[3]。于是，在逐漸流行的眾包理念的影響下，同伴互評成為在線開放課程平臺普遍采用的評價方式[4-5]。在深化教育教學改革的新形勢下，著力發展學生的核心素養、發揮學習評價的導向作用，研究者更加強調促進學習的評價（Assessment for Learning），強調學生的主動參與，目的在于促進學生學習的成功[6]。布萊克和威廉姆指出，同伴互評作為促進學習的評價時，其主要問題不僅是關注學生評價的可靠性和可信度，更關切促進學生有效學習的發生[7]。同伴互評過程中學習者的高投入度是其進行有意義學習的基礎，因此，探究在線開放課程中同伴互評的投入度有著非常重大的意義。然而，現階段，大部分學者都關注同伴互評的可行性與可靠性[7-8]，尚未有研究基于促進學習評價的新取向對我國在線開放課程環境中學習者參與同伴互評的特點進行深入分析。盡管在傳統課堂及SPOC等小型課程環境中，多項研究證實同伴互評作為促進學習的評價的有效性[9-11]，但是在線開放課程環境與傳統課堂及小規模的SPOC存在本質不同[12-14]。綜上可知，在線開放課程環境下，同伴互評投入度的現存問題及其與學習績效的關系是值得我們研究的。因此，本研究以中國大學MOOC平臺中的一門課程為例，探究在線開放課程中同伴互評投入度的特點及存在的問題，厘清同伴互評投入度與學習績效的關系，力求為在線開放課程學習評價及教學質量的提升提供策略建議。

二、研究方法與過程

（一）研究背景

1. 課程的基本情況

本文的數據來源于中國大學MOOC平臺中的X課程。課程持續時間為8周。該課程報名的學員中有中小學教師、大學生、中學生，還有大量的數學愛好者、軟件愛好者。選課人數共有4639人。在已知性別中，男生672人，占35%;女生1222人，占65%。已知年齡的人數有979人，平均年齡約32歲。在所有參與者中，748人有分數，占總人數的16.53%。其中，170人成績合格，合格率為3.66%;113人成績優秀，優秀率為2.45%。參與測試的人數有619人，參與論壇的人數有421人，參與作業提交的人數有360人，參與期末考試的人數有311人。

2. 同伴互評情況

整期課程共包括5次同伴互評。在課程的每一講結束之后，要求學習者依據教學內容制作相關的課件，在規定的時間內提交到平臺，然后按照規定時間進行同伴互評。在同伴互評之前，教師提供具體的評分標準。互評作業的開始時間和截止日期會告知學習者。系統隨機匹配評價者與作業，每位學習者至少評價5份作業。學習者在評價時既提供評價分數，也提供反饋文本。同伴互評作業占總分數的50%。學習者提交作業后不參與互評將直接影響作業成績。

（二）操作性定義

學習投入被用來衡量學習者為達到學習目標而在學習過程中持續努力的程度。中國大學MOOC平臺記錄學習者在同伴互評過程中留下的多種學習痕跡。通過收集這些日志數據并進行數據過濾與篩選，行為投入最終選定了參與同伴互評次數、同伴互評份數、均評等3個行為參與指標。參與同伴互評次數是指學習者在整個課程學習期間參與同伴互評的次數;同伴互評份數是指學習者在參與活動時所有評價作業的頻數;均評是指學習者平均每次參與同伴互評時評價作業的頻數，等于互評份數除以參與次數。認知投入是一種內隱性及過程性的心理努力程度。學習者在反饋文本的撰寫過程中，涉及高階的認知技能，如審查、總結、澄清、診斷錯誤的知識以及自我反思等。不同類型反饋文本需要學習者付出不同的認知努力。Nelson和Schunn將反饋分為認知性反饋和情感性反饋，并認為學習者撰寫認知性反饋比情感性反饋要付出更多的認知努力[15]。Usher 和 Barak基于先前文獻及歸納總結法把反饋內容分為四種類型，依據學習者在提供反饋時認知努力程度從低到高依次為情感型（包括正向反饋和負向反饋）、陳述型、核實型、加工型（包括提供信息和提出建議兩類）[16]。Tseng和 Tsai在研究中將反饋文本分為情感型反饋、認知型評論和元認知評論[17]。本研究綜合多項研究，評論被編碼為情感、認知和無關三種類型，見表1。反饋文本的質量是其認知投入導致的結果，認知投入度借助反饋文本的質量可視化呈現。因此，本研究通過對反饋文本的質量進行分析，從而測量學習者的同伴互評認知投入度。情感性反饋提供簡短而普遍的贊美或批評，與學習內容無關，表明學習者在認知方面付出的努力較少，即認定學習者認知投入水平較低;認知性評語中的直接修正和個人觀點需要學習者具備分析能力和中等認知能力，因此，認定為中等認知投入;指導建議及能力評估需要學習者運用分析、評價、創造等高認知活動，因此，被認定為高水平的認知投入。無關類型的反饋未涉及任何學習內容，因此，被認定為無認知投入。

（三）研究方法及數據分析

本研究通過后臺日志共收集13張表。首先，采用R語言對前期數據進行清洗（即處理原始數據中的噪聲數據、無關數據、缺失值、臟數據、孤立點等），使用唯一的ID號識別學習者，連接多張表，通過對7144條數據進行分析，共提取了364位學習者所有行為投入的測量指標。其次，為了測量學習者的認知投入度，采用內容分析法，基于表1的編碼框架對研究所收集的反饋文本進行編碼。為了保證內容分析的信度，研究者邀請兩位熟悉編碼框架的研究生對反饋內容進行編碼。內容分析以一條評語為分析單位，每條評語根據其主要含義，被歸為一個類別。具體過程如下：（1）編碼前培訓，編碼人員充分理解編碼規則以及具體的示例;（2）預編碼，從討論帖中隨機挑選200條反饋文本，兩位編碼人員分別進行編碼，編碼完成后對兩位編碼者的一致性系數（Cohen Kappa 值）進行計算，一致性系數為0.79，說明內容分析結果是可信的;（3）正式編碼，兩位編碼者分別對剩余的反饋文本進行編碼。最后，采用定量分析的方法，使用SPSS及Origin軟件進行描述性統計分析，計算學習者的行為投入及認知投入水平，通過Mann-Whitney U檢驗及層次多元回歸分析探究學習者同伴互評投入度與學習績效的關系，多維度、多層次驗證在線開放課程環境下同伴互評作為促進學習的評價的有效性。

三、研究結果與討論

（一）在線開放課程同伴互評投入度分析

1. 行為投入

參與次數。每次參與作業互評的人數如圖1所示。可知第一次參與互評人數略高于后面的互評人數，但是總體趨于穩定。參與互評的人數僅占注冊課程人數的3.08%～4.07%。共242人參與同伴互評。其中，僅參與1次作業互評的人數為51人，參與2次的人數為35人，參與3次的人數為27人，參與4次的人數為46人，參與5次的人數為83人。

學習者的互評份數散點圖如圖2所示。可知散點集中在頻率40以下。由表2可知，學習者互評份數的平均值為25.13，均評為7.41，平臺要求學習者每次參與互評至少評價5份作業，因此，可知大部分學習者完成了學習任務。由圖2中可知，三位學習者總評份數達到150份，平均每次評價作業頻數達到30份。通過對三位學習者打分及反饋文本進行分析，三位學習者所給出的分數均為“10分”，且評語字數較短，均為“很好”“好”等積極情感性評語，未針對學習者的作品給出評價，未涉及任何認知性的參與。由此可知，學習者評價的份數越多，并不意味著學習者就認真參與了互評，還有學習者在做“欺騙系統”的事情。所以，課程平臺在系統設計時，不僅應該設置參與互評份數的最低閾值，同時也應該設置最高閾值，降低學習者隨意評價的概率，也有助于產生有價值的反饋評語。

2. 認知投入

該課程中共收集反饋文本7704條，剔除887條未給出任何信息的反饋文本、709條自我評價反饋文本，本研究只對6108條反饋文本進行分析。

從課程層面出發（見表3），學習者在整個課程中給出的情感性反饋文本共3171條，占總數的51.91%;認知類反饋文本總數達2273條，占總數的37.21%;無關類的反饋文本有664條，占總數的10.87%。在情感類反饋文本中，支持類反饋文本較多，通過仔細分析此類反饋文本，發現學習者往往直接反饋作品的總體情況，如“好”“優秀”“點贊”等。在認知類評價中，直接指出作品的正誤和評估作品所反映出學習者能力的兩類反饋文本所占比例較大，分別為14.67%和10.64%。學習者表達個人觀點（6.97%）和提出建議的反饋文本（4.93%）所占比例較少。

為了更進一步了解在線開放課程中學習者參與同伴互評的情況，本研究將其與SPOC環境中同伴互評的參與情況進行對比分析。其中，研究1與研究2與本研究采用的內容編碼框架一致。研究2與研究1相似，均為SPOC情境。

由表3可知，在線開放課程情境中學習者更喜歡給出情感類的評價，而傳統課堂情境中學習者提供的多為認知類的評價。不管在哪種情境中，學習者都不喜歡給出消極的評價，更喜歡用積極性的語言來評價同伴的作品。在認知類評語中，傳統課堂中學習者傾向于給出指導建議類評語（不僅指出作品的優劣勢，還給出修改建議）。然而，在線開放課程情境中學習者傾向于給出直接修正性的評語，即直接指出作品的正誤，但是并未給出修改建議。因此，可知在線開放課程中同伴互評認知投入度不高。雖然學習者積極完成評價任務，但是學習者并未深度參與到評價中。

為了探究學習者的認知參與度是否與作業內容相關，由于每次作業收集的反饋文本數量不同，所以并未直接對反饋文本類型的頻數進行比較，而是比較不同類型反饋文本所占的百分比。從圖3可知（橫坐標表示不同類型的反饋文本），不同作業中，學習者提供的反饋文本類型分布相似，表明在線開放課程情境中，學習者的認知投入度并沒有在不同作業中表現出差異，即學習者的認知投入度沒有受到作業內容的影響。

為了探究學習者的認知投入度隨時間是如何演化的，本文借助上述計算方法獲取學習者每次互評提供的不同反饋文本類型百分比，觀察其在5周內的認知投入度演化的均值趨勢。如圖4所示，橫坐標表示反饋文本類型，縱坐標表示百分比。隨著課程的進行，學習者提供的情感性反饋逐步增加，從50.47%到63.77%;無關反饋也逐步增加，從12.43%到18.19%。反之，學習者提供的認知反饋逐步降低。

（二）同伴互評投入度與學習績效的關系探究

1. 參與者與未參與者學習績效的差異性分析

為了分析參與同伴互評與未參與同伴互評的學習者之間的學習績效差異，本研究比較了參與同伴互評（提供反饋）的243名學習者與未參與互評（未提供反饋，但是收到反饋）的121位學習者的平時測驗和期末成績（知識掌握程度）、論壇成績（社交參與情況）、作業成績（知識應用能力）之間是否存在差異，由圖5、圖6、圖7、圖8可知，因變量不符合正態分布。因此，本研究采用單樣本wilcoxon符號秩和檢驗，使用Mann-Whitney U檢驗判斷參與同伴互評與未參與同伴互評的學習者在學習績效上是否存在差異。

Mann-Whitney U檢驗結果顯示，參與同伴互評與未參與同伴互評的學習者在測驗成績（M0=130.57，M1=208.36;U=8417.50，Z=-6.649，p=0.00）、論壇參與度（M0=114.70，M1=216.26;U=6498.00，Z=-9.067，p=0.00）、作業成績（M0=92.10，M1=227.51;U=3763.00，Z=-11.587，p=0.00）、期末成績（M0=124.75，M1=211.26;U=3763.00，Z=-7.508，p=0.00）上均存在顯著不同。平均而言，參與同伴互評的學習者測驗成績更高，論壇活躍度更高，期末考試成績更高，作業質量更好，課程的完成度更高，課程通過率更高。

2. 學習者同伴互評投入度與學習績效的關系探究

為了探究同伴互評投入度與學習績效的關系，采用層次多元回歸分析方法。在第一層，兩個控制變量，即參與次數和評價份數，被輸入回歸方程。在第二層中輸入學習者提供及收到情感類型反饋的比例（PGE、PRE）、學習者提供及收到認知類型反饋的比例（PGC、PRC）、學習者提供及收到無關類型反饋的比例（PGO、PRO）。各階層內采取逐步輸入法，結果見表4。發現兩個階層能夠有效預測因變量學習績效51.2%的變異量（F=41.957，p=0.00），已調整后的R2表示仍有46.6%的解釋力，表明這些變量對因變量的預測力較高。其中，學習者收到的無關反饋能夠顯著預測其最終成績（Beta=-0.653，t=-8.233，p=0.00），即學習者收到的無關反饋越多，其成績越低。其次，學習者提供的認知反饋能夠顯著預測學習者的最終成績（Beta=0.202，t=2.547，p=0.013），即傾向于提供認知類反饋的學習者，其學習績效越高。最后，學習者提供的情感類反饋對學習績效沒有預測作用;學習者收到的情感類型及認知類型的反饋對作業績效也沒有預測作用。

四、研究結論

（一）參與同伴互評的人數不多，但參與者行為表現積極

研究結果顯示，在線開放課程中參與同伴互評的人數約占實際參與課程總人數的三分之一，這與Formanek M的研究結果[13]相近。第一次參與互評人數略高于后面的互評人數，但是整個課程中每次參與互評的人數總體趨于穩定，Formanek M的研究同樣顯示了類似的結果。這表明，本研究結果基本反映了在線開放課程環境下學習者同伴互評行為投入度不高的事實。但值得注意的是，當學習者在突破零參與之后，開始參與同伴互評，其行為投入較為積極，大部分學習者完成了基本學習任務，達到了淺層參與（完成規定的評價任務，撰寫了最簡單的評語）。因此，如何促進學習者從零參與到第一次參與，需要教學者通過教學策略等促進學習者參與一次同伴互評，這是同伴互評促進學習發生的關鍵所在。

（二）同伴互評認知投入度不高，且與SPOC情境存在差異

學習者在同伴互評過程中提供的反饋多為積極情感性評價，認知性反饋提供較少。這表明，學習者的認知投入深度還不夠。認知性評價需要學習者認知投入較高，是學習者在情感類評價的基礎上進行深度的批判性反思和認知了解，最終直接指出作品正誤、表達評價者的個人觀點、給出作品如何修改的意見或建議。認知類評價的產生需要學習者在掌握基礎知識及技能的基礎上，通過將同伴作品所體現的知識技能與自己認知領域的知識技能進行比較分析，構建自己的認知價值體系，進而形成自我思想沉淀及認知特點，這對學習者的認知提出了很高要求。

與在線開放課程情境中的同伴互評認知投入度相比，SPOC情境中學習者提供了更高比例的認知類型反饋，且認知類型反饋中不僅指出了學習者作品的正誤，還給出了解釋。一方面的原因可能在于在線開放課程中學習者自由度較高、背景迥異、高度的匿名性、教師監管力度不大、學習者感知的約束規范較少、較高的心理安全等造成學習者的態度不端正;另一方面的原因可能是學習者的感知同伴意識不強，互惠意識欠缺。因此，學習者給出的反饋常常是簡短的情感類反饋，認知性反饋也僅僅直接指出作品的正誤。

（三）隨著課程學習的深入，認知類反饋逐漸減少，情感類及無關類型增加

隨著課程的進行，學習者可能產生疲倦期，新鮮感降低，因此，認知投入度降低，采用最簡單的反饋來完成任務。無關類型的反饋增加，本研究中其他類型反饋指的是“作業未給出附件，無法評分”等。因此，無關反饋的增加也意味著學習者提交了較多“虛假作業”，并未實際完成作業。一方面可能是由于疲倦，另一方面可能是學習者在評價“虛假作業”時使他們對同伴互評產生負面看法，并影響學習者的學習表現。學習者在評價未提交作業的作品時，效仿減少認知付出及時間精力付出，嘗試提交虛假作業來獲取成績。

（四）參與同伴互評能夠識別出好的學習者

研究結果表明，平均而言，參與同伴互評的學習者測驗成績更高，論壇活躍度更高，期末考試成績更高，作業質量更好，課程的完成度更高，課程通過率更高。這與Comer等的的研究[19]相一致。先前研究表明，盡管同伴評分過程的可靠性和有效性有限，但它仍然能夠平均識別出好的學習者。M. Formanek等的研究表明，觀看了第一個視頻的研究者中僅14%通過課程考核，參加調查的學習者中僅33%通過課程考核，完成第一個測驗的學習者中僅有36%通過課程考核，但是參與同伴互評的學習者中89%通過課程考核，本研究中參與同伴互評的學習者67.9%通過了課程考核[13]。由此可知，參與同伴互評能夠識別出好的學習者。

（五）學習者的認知投入度能夠預測其學習績效

學習者在同伴互評過程中其投入度不同，學習績效也不同。第一，學習者收到的無關反饋越多，其成績越低。這一方面表明學習者收到的無關反饋可以預測其作業分數，Meek等的研究也證實了這一結果[10]。另一方面也表明，學習者互評的效度較為可靠，并不會給予感情分。對于質量較差的作業，學習者能夠及時識別并給出合理分數。第二，學習者提供的認知反饋顯著預測學習者的最終成績，即傾向于提供認知類反饋的學習者，其學習績效越高。這一方面是學習者提供認知類的反饋促進其知識建構與反思，在多次迭代的作業—提供反饋中學習者提升自身的知識掌握程度，從而提高績效，學習者互評在認知目標分類中屬于較高層次的認知活動，能夠有效促進在線情境中有意義學習的發生;另一方面的原因可能在于成績高的學習者傾向于提供認知類反饋，因為認知性評價是學習者評價中較高的一類。第三，學習者提供的情感類反饋對學習者的學習績效并沒有預測作用，先前的研究表明情感反饋的建設性作用，無論是積極的還是消極的，都是有限的，因為它們不涉及正在審查的工作的認知內容。最后，學習者收到的情感類型反饋及認知類型反饋對其作業績效也并沒有預測作用，造成這一結果的原因可能在于本研究中學習者的同伴互評并未涉及學習者基于同伴反饋意見的迭代修正，因此，同伴的反饋對于被評價者的影響不顯著。這一結果表明，在線開放課程情境中，當作業需要多次迭代修正時，采用同伴互評更能發揮其效用。

五、研究啟示

在線開放課程中學習者同伴互評投入度是其深度學習的基礎。因此，為教學實踐者在在線開放課程中有效地組織開展同伴互評、提高學習者的投入度提供切實可行的策略與建議，是保障學習質量和學習效果的重要措施。根據實踐數據分析結果及相應結論，基于Fogg教授提出的FBM（學習行為發生模型）模型[20]提出促進同伴互評投入度的兩階段干預策略。

第一階段：觸發的無效區（未參與的學習者）進行動機的干預。在線開放課程中學習者參與同伴互評的人數不多。部分學習者提交作業，但是并未參與互評，造成作業與評價人數不平衡，課程中有部分作業未獲得任何反饋，對學習者的學習體驗存在較大的負面影響，這從側面印證了學習者參與同伴互評的重要性。因此，如何切實有效地提高參與互評人數，是研究者及平臺實踐管理者亟須解決的問題。FBM行為模型表明學習同伴互評行為曲線的下方，由于學習者的動機和認知能力較低，是觸發的無效區，這時無論多么完美的任務驅動和環境設計都起不到理想的預期作用，干預的設計應該著重于提高學習者的動機和認知能力。因此，第一階段應針對觸發的無效期（即零參與的學習者）進行動機的干預。在同伴互評開始之前，教師應激勵學習者參與同伴互評，如通過描述同伴互評的學習價值，激發學習者的內部動機。設置一定的獎懲措施，如同伴互評表現與學習者成績掛鉤，從而誘發學習者的外部動機。

第二階段：觸發的有效區（參與同伴互評者）進行任務和環境的干預。在線開放課程中，學習者同伴互評認知投入度不高，且隨著課程學習的深入，學習者的認知投入度逐漸降低。引導學生在平臺中高效參與，獲得更高的在線學習效果，是教師要著重考慮的問題。根據FBM行為模型的理論指導，此時干預的設計應該著重于改善任務和環境的設計。首先，參與同伴互評能夠更及時地識別出有動力完成課程的學習者。在線學習環境下，保留學習痕跡及讓過程性分析變得可行，為教師掌握學習過程提供了有力支撐。因此，基于學習分析技術，對于完成第一次同伴互評的學習者給予相應的支持服務，助力其高效完成課程學習。其次，改善同伴互評任務設計，增加教師的及時反饋。為了提供評語質量，教師可以在互評之前不僅提供評價的量規，還應該采取特定的形式對學習者如何撰寫評語進行一定的培訓（如提供案例告知學習者什么類型的評語是有效的等），同時系統平臺應進行及時的監測（如限制評語的最低字數，對于提供認知類評語的學習者進行獎勵，對于提供單純情感類評語的學習者進行警示，對于收到無關類型評語的學習者進行及時的督查，提醒其認真完成作業或者按格式提交作品等）;增加被評價者對評語的反饋，提供有價值評語的學習者可以得到獎勵等，從多方面促進學習者深度參與同伴互評。最后，基于群體感知技術，設計開發基于群體感知的在線同伴互評系統，內嵌于在線開放課程平臺中，對用戶實施可視化反饋，彌補了在線同伴互評系統可視化反饋的缺陷[21]。一方面便于教師了解學習者的現狀，另一方面增強學習者在同伴互評中的感知能力，并促進學習者的協作學習交互，提高學習者的社會存在感，進而規范約束學習者的行為。

由于本研究后臺日志數據的部分缺失，所以本研究未涉及時間變量及學習者在課程學習中的其他行為數據。另外，同伴互評作為評價方式，我們關注其評價的信效度，這在先前的研究中得到檢驗;同伴互評作為學習方式，能夠提高學習者的知識理解水平并促進學習參與，本研究也證實了其有效性。但是，同伴互評作為一種特殊的生生及師生互動方式，在在線開放課程這個特殊的情境中（學習者社會存在感較弱，教師反饋不及時，學習者孤獨）[22]，同伴互評是否能夠為學習者提供情感性支持，增強其社會存在感，后續值得深入研究與探討。

[參考文獻]

[1] BENSON A D. Assessing participant learning in online environment[J]. New directions for adult & continuing L，education， 2003，（100）：69-78.

[2] SUEN H K. Peer assessment for Massive Open Online Courses（MOOCs）[J]. International review of research in open & distance learning，2014，15（3）：312-327.

[3] 楊九民，李麗，劉曉莉，朱芳芳，高姝睿，皮忠玲.在線開放課程中的交互設計及其應用現狀分析[J].電化教育研究，2018，39（11）：61-68.

[4] 鄭燕林，李盧一.超越大規模，追求大智慧：MOOC學習同伴評價的實施路徑選擇[J].電化教育研究，2015，36（9）：42-48.

[5] TOPPING K. Peer assessment between students in colleges and universities[J]. Review of educational research， 1998（3）：249-276.

[6] 莫景祺.重申“促進學習的評價”[J].基礎教育課程，2019（21）：53-56.

[7] ADMIRAAL W， HUISMAN B， MAARTEN V D V. Self- and peer assessment in massive open online courses[J]. International journal of higher education， 2014， 3（3）：119-128.

[8] 范逸洲，馮菲，劉玉，等.評價量規設計對慕課同伴互評有效性的影響研究[J].電化教育研究，2018 （11）：45-51.

[9] MCANDREW， PATRICK， SCANLON， et al. Open learning at a distance： lessons for struggling MOOCs[J]. Science， 2013，340（20）： 1450-1451.

[10] MEEK S E M， BLAKEMORE L， MRKS L. Is peer review an appropriate form of assessment in a MOOC？ Student participation and performance in formative peer review[J]. Assessment and evaluation in higher education， 2017，42（6）：1-14.

[11] XIONG Y， SUEN H K. Assessment approaches in massive open online courses： possibilities，challenges and future directions[J]. International review of education，2018，64：241-263.

[12] LU J， LAW N. Online peer assessment： effects of cognitive and affective feedback[J]. Instructional science，2012，40（2）：257-275.

[13] FORMANEK M， WENGER M C， BUXNER S R， et al. Insights about large-scale online peer assessment from an analysis of an astronomy MOOC[J]. Computers & education， 2017， 113：243-262.

[14] BART， HUISMAN， WILFRIED， et al. Peer assessment in MOOCs： the relationship between peer reviewers' ability and authors' essay performance[J]. British journal of educational technology，2018，49（1）：101-110.

[15] NELSON M M， SCHUNN C D. The nature of feedback： how different types of peer feedback affect writing performance[J]. Instructional science，2009，37（4）：375-401.

[16] USHER M， BARAK M. Peer assessment in a project-based engineering course： comparing between on-campus and online learning environments[J]. Assessment & evaluation in higher education，2017：745-759.

[17] TSENG S C，TSAI C C. On-line peer assessment and the role of the peer feedback： a study of high school computer course[J]. Computers & education，2007，49（4）：1161-1174.

[18] 馬志強，王靖，許曉群，龍琴琴.網絡同伴互評中反饋評語的類型與效果分析[J].電化教育研究，2016，37（1）：66-71.

[19] COMER， DENISE K， CLARK， CHARLOTTE R， CANELAS， DORIAN A. Writing to learn and learning to write across the disciplines： peer-to-peer writing in introductory-level MOOCs[J]. International review of research in open & distance learning， 2014， 15（5）：26.

[20] 殷寶媛，武法提.學習習慣在線干預的原理與模型設計[J].電化教育研究，2019，40（12）：72-79.

[21] 梁妙，鄭蘭琴.支持協作學習的覺知工具：研究現狀總結與思考[J].遠程教育雜志，2012，30（4）：30-39.

[22] 趙呈領，李紅霞，蔣志輝，黃琰.消除在線學習者倦?。航處熐楦兄С值挠绊懷芯縖J].中國電化教育，2018（2）：29-36.