慕課教學(xué)中同伴評價的搭架指導(dǎo)與干預(yù)

李萍

摘? ?要：慕課實現(xiàn)了教育資源共享的最大化，為混搭教學(xué)、學(xué)生個性化學(xué)習(xí)提供了良好的資源。慕課在推動教育改革和發(fā)展的同時，也衍生出一些問題，如學(xué)習(xí)時間增多、學(xué)生自主性不強(qiáng)、網(wǎng)絡(luò)環(huán)境和學(xué)習(xí)支持服務(wù)薄弱、學(xué)生個性化評價反饋缺乏等。同伴互評雖然解決了教師質(zhì)性反饋不足的問題，但其可靠性和有效性未得到一致認(rèn)可。文章圍繞同伴評閱反饋的質(zhì)量問題展開討論，提出搭架式干預(yù)指導(dǎo)，提高了學(xué)生評價的準(zhǔn)確性。

關(guān)鍵詞：慕課;同伴評價;搭架指導(dǎo)

中圖分類號：G434 文獻(xiàn)標(biāo)志碼：A 文章編號：1673-8454（2021）01-0036-04

一、引言

慕課突破傳統(tǒng)課堂教學(xué)的局限性，提高了學(xué)生受教育的機(jī)會，降低了成本。自由、免費(fèi)是學(xué)生選擇慕課的主要原因[1]。北京聯(lián)合大學(xué)針對14個校區(qū)3大類別學(xué)院，建設(shè)了4門大學(xué)英語慕課，有通用英語類、專門用途英語類和拓寬學(xué)生國際視野等課程，實踐證明效果良好，深受師生的歡迎[2]。國家免費(fèi)開放的英語類慕課有十幾門，涵蓋聽說、演講、寫作、文學(xué)經(jīng)典、跨文化交際等多個方面，既為教師開展混搭教學(xué)提供了良好的教學(xué)資料，又為學(xué)生擴(kuò)展知識視野提供了便捷的素材。豐富多樣的慕課從不同方面和角度推動了教育的改革和發(fā)展，成為促進(jìn)高等教育改革的重要推手。研究表明，慕課帶來教學(xué)質(zhì)量的改進(jìn)、種族歧視的降低、技術(shù)變革適應(yīng)性的提高、個性化學(xué)習(xí)的增強(qiáng)、及時反饋和學(xué)生合作的增多[3]。

慕課給新時代高等教育帶來便利的同時，也提出了許多挑戰(zhàn)。①學(xué)習(xí)時間增多。學(xué)生對此有不同的認(rèn)識，29%的學(xué)生認(rèn)為增加了學(xué)習(xí)負(fù)擔(dān)，而64%的學(xué)生認(rèn)為這種課程學(xué)習(xí)方式有收獲或有明顯收獲[4]。②學(xué)生自主性不強(qiáng)、粘性不足。學(xué)生缺乏自制力和良好的在線學(xué)習(xí)習(xí)慣，需要經(jīng)常督促和反復(fù)提示[5]。學(xué)習(xí)氛圍和面對面指導(dǎo)與約束力的缺失，導(dǎo)致學(xué)習(xí)積極性差[1]。③網(wǎng)絡(luò)環(huán)境和學(xué)習(xí)支持服務(wù)薄弱。外網(wǎng)登錄不暢、平臺使用界面不夠友好，影響學(xué)生使用網(wǎng)絡(luò)教學(xué)平臺的興趣與熱情[4]。我國現(xiàn)有多數(shù)慕課忽視必要的學(xué)習(xí)支持服務(wù)，學(xué)習(xí)支持服務(wù)水平整體薄弱。服務(wù)類型單一，不同類型課程之間助學(xué)比例差異大。討論區(qū)或論壇維護(hù)人員不足，教師與學(xué)生之間、學(xué)生與學(xué)生之間未實現(xiàn)真正的交互。④面對龐大的慕課學(xué)生群體，教師很難提供個性化的評價反饋。由于學(xué)生的規(guī)模較大，使慕課有成為單向信息轉(zhuǎn)移的風(fēng)險。需要用新穎的方法完成“教—學(xué)—評”和反饋的環(huán)節(jié)。對國內(nèi)14個MOOC平臺的研究發(fā)現(xiàn)，評價模式單一，機(jī)器評價高達(dá)90.8%。各學(xué)科評價方式有差異，文科課程偏重于同伴互評[6]。同伴互評雖然解決了教師質(zhì)性反饋不足的問題，但該辦法的可靠性和有效性未得到一致認(rèn)可。本文將圍繞同伴評閱反饋的質(zhì)量問題展開討論。

二、同伴評閱的發(fā)展

早在1998年，就有研究者提出同伴反饋，并將其視為教師評價學(xué)生成績的一種替代方式。尤其適用于真實的學(xué)習(xí)環(huán)境中，以及解決問題的活動中。在一些情況下，這種評價方式有高度的可靠性和有效性。雖然大部分人一致認(rèn)為，專家評閱反饋更有效，但處理得當(dāng)?shù)膶W(xué)生之間的輔導(dǎo)對學(xué)生雙方都有益。有研究發(fā)現(xiàn)，同伴反饋同樣有效，甚至有些情況下比教師反饋更有效。

慕課的相關(guān)實驗研究在2013年還很少開展。由于兩種授課環(huán)境不同，教師對學(xué)生的監(jiān)管、指導(dǎo)和評價均有差異。慕課學(xué)習(xí)者受到教師的監(jiān)管或面授非常有限，評價過程也不是教師評，而是以自評和同伴評為主。學(xué)生對同伴評閱的接受度在兩種環(huán)境中也有所不同。對慕課的學(xué)生態(tài)度研究發(fā)現(xiàn)，只有少數(shù)學(xué)生反對同伴評閱，認(rèn)為應(yīng)該由教師評閱。而Sluijsmans等人發(fā)現(xiàn)，只有19%的學(xué)生認(rèn)為在課堂環(huán)境中，學(xué)生能公正盡職地評價彼此[7]。這種差異源自慕課學(xué)習(xí)環(huán)境特有的理念之一，學(xué)習(xí)者特別開放地接受合作性任務(wù)[8]。

同伴評閱在兩種環(huán)境中使用的目的不同。在課堂教學(xué)中，同伴評閱不僅能提高學(xué)科知識學(xué)習(xí)，還會培養(yǎng)一些可遷移的技巧，如批判性分析、交流技能和團(tuán)隊合作能力。慕課采用同伴評閱的主要動力在于，能夠解決大規(guī)模學(xué)生評價反饋的問題，自評和互評可以解決數(shù)千人參與的復(fù)雜作業(yè)的評分[9]。

Coursera開設(shè)的《學(xué)術(shù)英語寫作》專項課程有44978人注冊學(xué)習(xí)[10]。注冊人數(shù)眾多，無法實現(xiàn)教師“一對一”評閱。此外，互評可以提高學(xué)生體驗，從而增加保持率，大多數(shù)文獻(xiàn)都關(guān)注到這一點。同伴評閱已不僅僅用來解決教師評閱不足的問題，還在某種程度上，成為增強(qiáng)學(xué)習(xí)氛圍、提高社交臨場感、提供助學(xué)支持的有利環(huán)節(jié)。

學(xué)生互評涉及到同伴匹配問題。以往文獻(xiàn)中有兩種研究方法，同伴能力相當(dāng)或不同，被稱為同質(zhì)匹配和異質(zhì)匹配。哪種類型對學(xué)生學(xué)習(xí)最有效還沒有一致的看法。校園學(xué)習(xí)的學(xué)生和在線學(xué)習(xí)的學(xué)生，在匹配的效果上有何不同也不明確。

Huisman等人的研究結(jié)果表明，同伴評閱者的能力和寫作者的作品成績正相關(guān)。相關(guān)只適用于中等及高等水平的寫作者，低等水平的寫作者與評閱人的能力不相關(guān)[9]。因此，對于寫作任務(wù)的同伴評閱分配，要考慮到寫作者的寫作水平。知識背景水平相近的學(xué)生開展互評;知識水平較高的學(xué)生可以評閱知識水平較低的學(xué)生，反之則不行[11]。

關(guān)于評閱質(zhì)量與評閱人能力的關(guān)系，通過對一門生物醫(yī)學(xué)慕課寫作互評的研究發(fā)現(xiàn)，書面摘要任務(wù)完成好的學(xué)生，評閱質(zhì)量高于其他人，更有可能評閱他人[8]。因此，有能力學(xué)生的同伴評閱參與度更高。

三、同伴評閱的可靠性和有效性

雖然解決了個性化反饋的問題，但仍存在一些質(zhì)疑。在認(rèn)識上，教育者對此未達(dá)成一致，學(xué)生的看法也不一致。

持否定態(tài)度的研究者認(rèn)為，它相當(dāng)于盲人給瞎子指路，外行指導(dǎo)外行。在慕課中，學(xué)生互評被認(rèn)為存在一些潛在問題，如反饋質(zhì)量參差不齊、缺少互惠感和社區(qū)存在感，以及質(zhì)量監(jiān)控與調(diào)控的缺失等。缺乏實證對互評的效果研究，反映出的是主觀認(rèn)識[12]。

對互評持肯定看法的研究者認(rèn)為，提供反饋的行為對參與者也有益，特別是高能力參與者尤其受益，他們往往更積極思考作業(yè)的目的和標(biāo)準(zhǔn)。評閱他人，為他們提供了進(jìn)一步深度思考的機(jī)會[9]。

學(xué)生的態(tài)度褒貶不一。研究表明，收到評價的學(xué)生對此往往也持有懷疑態(tài)度。如果可以選擇的話，大多數(shù)學(xué)生會選擇專家評閱。學(xué)生更愿意利用專家反饋來修改后續(xù)的作業(yè)。專家提出的改進(jìn)意見更詳細(xì)，評價規(guī)則更全面，較少使用贊揚(yáng)[12]。

雖然大多數(shù)評閱者和被評閱者對互評表示歡迎，但許多學(xué)生也表達(dá)了負(fù)面的感受，如同伴缺少資質(zhì)，給出的評價是負(fù)面的、批評的，打分不公正。覺得為他人評閱作業(yè)很難，也感到不安，消耗時間。評閱質(zhì)量差、同伴評閱不稱職或者評閱同行令他們感到不適。很多慕課學(xué)生對互評結(jié)果不滿，認(rèn)為有些學(xué)生不具備評判資格，有些很隨意，不參考教師的評分標(biāo)準(zhǔn)。

有些學(xué)生認(rèn)為，同伴評閱可以提高學(xué)習(xí)效果、增強(qiáng)學(xué)習(xí)動力、培養(yǎng)批判性思維和同理心（empathy）。提供反饋使學(xué)生能夠應(yīng)用所學(xué)知識，進(jìn)一步增強(qiáng)對知識點的理解。評閱時的評語如果有激勵性，寫作者和評閱者均感到受益。寫作者可以面對不同背景的評閱人，接受到更有價值的建議。評閱人看到別人的見解和觀點，也可以感受到作為評閱人的益處。

盡管很多學(xué)生喜歡同伴評閱練習(xí)，但相當(dāng)一部分學(xué)生持否定態(tài)度。學(xué)生對此態(tài)度也不一致[8]。

在慕課相關(guān)研究之前，有些案例中發(fā)現(xiàn)同伴評閱有高度的可靠性和有效性。研究發(fā)現(xiàn)，同伴評閱與教師評閱效果相當(dāng)，某些情況下，甚至更有效。雖然有研究表明同伴評分與教師評分強(qiáng)相關(guān)，但評閱者間信度差。通過對3門人文慕課研究發(fā)現(xiàn)，同伴評價間信度低，對周測和期末考試成績的預(yù)測信度低或中等[13]。

如何設(shè)計自我評價和同伴評價成為擁有大規(guī)模、多樣化學(xué)習(xí)群體慕課的挑戰(zhàn)。寫作這類具有創(chuàng)造性的領(lǐng)域無法以多項選擇題（MCQ）的形式提供有效評價和有用反饋。MCQ適用于數(shù)學(xué)、理科等客觀公式化的學(xué)習(xí)。目前，研究者正在開發(fā)統(tǒng)計系統(tǒng)，增加同伴評價的信度。 例如：加州大學(xué)洛杉磯分校使用的同伴評閱校準(zhǔn)軟件，可以根據(jù)教師對寫作任務(wù)的評分樣本，校準(zhǔn)學(xué)生評分，但只是終結(jié)性評價可以校準(zhǔn)，要求多名同伴評閱。以往研究還發(fā)現(xiàn)，慕課中序數(shù)型評分比基數(shù)型評分更穩(wěn)健。此外，edX自動寫作評分系統(tǒng)還不能預(yù)測復(fù)雜的寫作任務(wù)[12]。

四、同伴評閱的干預(yù)指導(dǎo)

慕課環(huán)境下的同伴評價處于相對無監(jiān)管、無控制、無技能狀態(tài)，因此信度和效度尤其重要。評價質(zhì)量的好壞根據(jù)兩種方式來操作：一是學(xué)生評價與專家評價的一致度;二是學(xué)生評價與學(xué)科認(rèn)可“好”的反饋特征相符合度[12]。

有效互評的關(guān)鍵要素是需要支持系統(tǒng)來提高學(xué)生反饋的有效性和可靠性，使得所有學(xué)生發(fā)出和收到的反饋是有用的。有效的指導(dǎo)和干預(yù)可以杜絕評價質(zhì)量低、評價不公正和缺乏有效建議等問題的出現(xiàn)，進(jìn)一步提高評價活動給雙方帶來的益處，避免該活動成為浪費(fèi)時間的無效負(fù)擔(dān)。

有效指導(dǎo)首先要給學(xué)生一個具有可操作性的評價標(biāo)準(zhǔn)。標(biāo)準(zhǔn)的制定方法為：與評價理論一致，同時還要征求專業(yè)領(lǐng)域?qū)＜业囊庖姡_保標(biāo)準(zhǔn)的科學(xué)合理。例如：科幻作品寫作慕課的寫作作業(yè)標(biāo)準(zhǔn)擬定，是在與該領(lǐng)域?qū)＜覐V泛協(xié)商的基礎(chǔ)上完成的，其中的專家包括科幻領(lǐng)域文稿代理人、編輯、作家，共7人，還參閱了寫作方面的書籍和視頻資料[12]。

評價量規(guī)的標(biāo)準(zhǔn)項應(yīng)為5個左右，太多會導(dǎo)致評價不集中或評價負(fù)擔(dān)過重。分項維度不宜過多，否則很難突出重點，且增加工作負(fù)擔(dān)。有些寫作性作業(yè)主觀性判斷很難避免，需要通過標(biāo)準(zhǔn)明確的說明來提高判斷可信性。當(dāng)為每一項評價指標(biāo)增加了具體的等級描述、每個等級得分的具體表現(xiàn)，評分者間信度及評分的準(zhǔn)確性便得到了顯著提高。此外，“說明”要采用描述性語言，避免使用判斷性語言，描述要簡潔清晰[14]。

在進(jìn)行質(zhì)性評價時，還需要一定的搭架式支持，提供多種手段來幫助學(xué)生評價。很多研究者認(rèn)為，指導(dǎo)學(xué)生評閱者關(guān)注量規(guī)的相關(guān)內(nèi)容，有助于提高評價的信度和效度。Scott Ashton 和 Randall S. Davies提出指導(dǎo)性兩步驟：①幫助學(xué)生理解每項問題。②針對主要問題，向?qū)W生提問相關(guān)的更進(jìn)一步的問題，幫助其將寫作理解轉(zhuǎn)化為數(shù)字分?jǐn)?shù)。如針對性問題、開頭句或提供質(zhì)性反饋副標(biāo)題性的問題。讓評閱人根據(jù)易理解的標(biāo)準(zhǔn)做出整體判斷，會增加信度和效度[12]。因此，提供反饋模板結(jié)構(gòu)是有益的。

僅僅提供評價量規(guī)給學(xué)生是不夠的，很難避免集中趨勢誤差。評分者對初級學(xué)者的評分寬容，對高級學(xué)習(xí)者的作業(yè)評分過度保守，這時往往會出現(xiàn)集中趨勢誤差。此外，對于一般學(xué)生評分者來說，評分檔拉不開。如專家對寫作總體質(zhì)量評分的高低分之間相差4分，而僅僅根據(jù)標(biāo)準(zhǔn)評分的學(xué)生，差值卻為0.3分[12]。因此，額外培訓(xùn)和支持系統(tǒng)將改善這類評價的問題。

慕課中的同伴評價得到指導(dǎo)，有助于區(qū)分不同水平學(xué)生的表現(xiàn)。有指導(dǎo)的量規(guī)干預(yù)能提高學(xué)生在某些評價項目上的準(zhǔn)確性[12]。干預(yù)貫穿評價的全過程，幫助學(xué)生理解同伴反饋過程是如何進(jìn)行的，以及為什么要進(jìn)行這一過程。在進(jìn)行反饋前，提供有效反饋的實例建模。Cousera平臺要求學(xué)生在評判其他學(xué)生的作業(yè)之前，首先要能夠正確評判一個用來訓(xùn)練的樣品作業(yè)，訓(xùn)練學(xué)生先對一個樣品作業(yè)進(jìn)行評判。該平臺還提供反饋評價指南，并在開始階段進(jìn)行監(jiān)控并提供反饋，幫助評價過程順暢進(jìn)行，同時還使用多人評閱，聚合反饋被評閱人的作業(yè)質(zhì)量[15]。要使互評結(jié)果具備可接受的信度，至少需要三個學(xué)生評分者，僅僅基于兩個評分者判分的互評結(jié)果相對不可靠。在綜合考量多個評分結(jié)果的前提下，該模式能夠為在線學(xué)習(xí)者提供可靠的最終得分[16]。此外，有研究者認(rèn)為，提高被評閱人對反饋的關(guān)注度，也會提高反饋的有效性。

還應(yīng)該培訓(xùn)學(xué)生使用反饋的能力。一種可行的辦法是細(xì)化評價內(nèi)容，讓學(xué)生對任務(wù)的不同方面（內(nèi)容、結(jié)構(gòu)、風(fēng)格等）加強(qiáng)認(rèn)識，激勵其提供更具體的修改意見。另一種辦法是提供搭架式指導(dǎo)[9]。在同伴評價反饋過程中，通過詳細(xì)的反饋模板，提供更有條理的指導(dǎo)。

為確保同伴評閱順利進(jìn)行，需明確規(guī)定獎懲措施。2013年秋季Coursera平臺上開設(shè)的《恐怖與反恐怖：理論實踐對比》慕課持續(xù)5周進(jìn)行5次小測、2次同伴評價，每人至少評閱他人5人次，并進(jìn)行自評，否則該作業(yè)扣掉20%成績作為懲罰[9]。

提供搭架式干預(yù)指導(dǎo)有利于學(xué)生正確評價，提高可信度和效度。但同時也存在一些問題，為大規(guī)模學(xué)生提供個性化監(jiān)管，需要消耗教師大量的時間和精力。因此，如何建立評價梯隊，緩解教師壓力，還需在今后的研究中繼續(xù)關(guān)注。

參考文獻(xiàn)：

[1]邱文教，趙光，雷威等.高校學(xué)生對慕課認(rèn)知情況與滿意度的實證研究[J].中國大學(xué)教學(xué)，2017（8）：87-91.

[2]張殿恩，王蘊(yùn)喆.“大學(xué)英語慕課”建設(shè)思路與體系結(jié)構(gòu)研究[J].黑龍江高教研究，2016（3）：144-147.

[3]Welsh， D. H. B.， & Dragusin， M. The new generation of massive open online course（MOOC） and entrepreneurship education[J]. Small Business Institute Journal， 2013（9）： 51-65.

[4]陳明，桑小雙.高校學(xué)生對混合教學(xué)模式改革課程認(rèn)知及滿意度的實證研究[J].現(xiàn)代遠(yuǎn)距離教育，2018（5）：57-64.

[5]黃德群.MOOCs環(huán)境下開展高校通識教育網(wǎng)絡(luò)課程選修的研究[J].中國教育信息化，2016（6）：14-18.

[6]趙宏，張亨國，鄭勤華，陳麗.中國MOOCs學(xué)習(xí)評價調(diào)查研究[J].中國電化教育，2017（9）：53-61.

[7]Sluijsmans， D. M. A.， G. Moerkerke， J. J. G. van Merri?nboer， and F. J. R. Dochy. Peer Assessment in Problem BasedLearning[J].Studies in Educational Evaluation，2001， 27 （2）： 153-173.

[8]Meeka， Sarah E.M.， Blakemore， Louise and Marksa， Leah.Is peer review an appropriate form of assessment in a MOOC？ Student participation and performance in formative peer review[J].Assessment & Evaluation in Higher Education， 2017，42（6）： 1000-1013.

[9]Huisman， Bart， Admiraal， Wilfried， van de Ven， Maarten， and Saab， Nadira. Peer assessment in MOOCs： The relationship between peer reviewers ability and authors essay performance[J]. British Journal of Educational Technology，2018，9（1）： 101-110.

[10]佚名. Coursera平臺資料[EB/OL].https：//www.coursera.org/specializations/academic-english，2019-7-25.

[11]許云紅，王如.MOOC背景下基于推薦機(jī)制的提高同伴互評效果的研究[J].現(xiàn)代遠(yuǎn)距離教育，2014（5）：17-21.

[12]Ashton， S.， Instructional Psychology and Technology， Brigham Young University， Provo， UT， USA Davies， Randall S. Using scaffolded rubrics to improve peer assessment in a MOOC writing course[J]. Distance Education，2015，36（3）：312-334.

[13]Admiraal， W.， B. Huisman， and M. Van de Ven.Self-and Peer Assessment in Massive Open Online Courses[J]. InternationalJournal of Higher Education，2014，3（3）： 119-128.

[14]范逸洲，馮菲，劉玉，汪瓊.評價量規(guī)設(shè)計對慕課同伴互評有效性的影響研究[J].電化教育研究，2018，39（11）：45-51.

[15]Ertmer， P. A.， Richardson， J. C.， Belland， B.， Camin， D.， Connolly， P.， Coulthard， G.， …Mong， C. Using peer feedback to enhance the quality of student online postings：An exploratory study[J]. Journal of Computer-Mediated Communication，2007，12（2）：412-433.

[16]羅恒，左明章，安東尼·魯賓遜.大規(guī)模開放在線學(xué)習(xí)學(xué)生互評效果實證研究[J].開放教育研究，2017，23（1）：75-83.

（編輯：王曉明）