大數據背景下MOOC教學評價的特征分析

☆王宏艷 阮士桂 張志輝

（東北師范大學，吉林長春130117）

大數據背景下MOOC教學評價的特征分析

☆王宏艷 阮士桂 張志輝

（東北師范大學，吉林長春130117）

大數據時代，以MOOC（Massive Open Online Course）為代表的在線教育正蓬勃發展，為傳統教育注入了新的生機與活力。無論是傳統教育還是MOOC教育，教學評價都是整個教育教學過程中不可或缺的一個重要環節，是評價教學效果的重要依據。較傳統教學評價，MOOC因網絡與信息技術的支持而顯得更為開放、多元與人性化。文章在相關文獻分析與總結的基礎上，結合作者在Coursera、Udacity等平臺的優質MOOC課程的學習體驗對MOOC教學評價特征加以探究，認為其具有以下特征：一是MOOC教學評價的多元性：評價主體多元、評價對象多元、評價方式多元、價值取向多元；二是MOOC教學評價的開放性：評價理念開放、評價過程開放；三是MOOC教學評價的人性化：評價標準人性化、評價反饋人性化。

大數據；MOOC；教學評價；特征

一、問題的提出

如今，一個大規模生產、分享和應用數據的時代（即大數據時代）正在開啟，人們的工作、學習以及思維方式也因大數據的到來而發生著改變。MOOC教育在大數據的推動下不斷突破和創新，革新了傳統的教育制度，MOOC教學評價在大數據的支持下趨于客觀和完善。在教育高度信息化的網絡時代，人們的學習方式也在邁向數字化，智能手機、平板電腦等各種便攜式移動終端是人們常用的學習工具，學習者在學習過程中會產生大量的數據來記錄他們的學習過程，大數據挖掘技術可以有效地跟蹤和記錄學習者的學習過程，從而為我們提供更加準確、客觀的教學評價。喻長志［1］指出：大數據將重新構建教學評價方式，由原來的“經驗式”評價轉變為“依據式”評價、由原來的單一維度評價轉變為多元性評價、由原來的結果性評價轉變為過程性評價，通過大數據的支持找出教學活動的規律。可見，在大數據技術的支持下，教學評價將會更加科學、準確。

近年來，MOOC（Massive Open Online Course）即“大規模在線開放課程”風起云涌，至今方興未艾，成為“地平線報告”預測的將在未來一年之內普及的技術，并且被認為是網絡學習的“下一個革新之舉”［2］。卡蘭·凱莫卡特認為MOOC是新型的網上大學［3］。在一次論壇上，有學者把MOOC為代表的網絡教育稱為“新”網絡教育［4］。從國內外學者對MOOC概念的界定可以看出，MOOC本身具有兩個顯著特征：一是開放共享（Open access），來自世界任一角落的人都能夠免費參與MOOC課程學習；二是可擴張性（Scalability），MOOC課堂是針對不確定的參與者來設計的，具有顯著的大規模性。

“大數據”是近年來信息技術領域比較流行的詞匯，一般認為其具有“4V”特征，即大量（Volume）、高速度（Velocity）、多樣化（Variety）和價值（Value）。MOOC與大數據具有密切的聯系，大數據背景下，MOOC將革新傳統教育體制、教學理念、教學方式以及教學評價等，本文主要探討基于大數據的MOOC教學評價。大數據時代，MOOC教學評價區別于傳統教學評價而具有自身的鮮明特征。由于MOOC學習者人數眾多，教師不可能像傳統課堂教學那樣事先對學習者特征進行分析，爾后根據學習者特點實施恰當的教學。所以，MOOC教學更需要對其教學評價進行精心的設計，MOOC教學評價貫穿整個教學過程，具有舉足輕重的作用。此外，由于在MOOC教學中師生、生生處于相對分離狀態，課程內容主要以視頻為學習載體，所以，又使得MOOC具有遠程教育的一些特征。因此，有必要對MOOC教學評價的特征進行分析。基于此，本文主要探討大數據背景下MOOC教學評價的特征，以期為我國MOOC教學評價提供一些有益的借鑒和啟示。

在MOOC教學評價相關文獻分析與總結的基礎上，結合作者自身對MOOC課程的學習體驗，認為大數據有助于重構MOOC教學評價體系，其特征主要體現在以下幾個方面（如圖1）。

圖1　大數據背景下MOOC教學評價的特征

二、大數據背景下的多元性MOOC教學評價

傳統教學中，一般教師作為評價主體、學生作為評價對象，評價方式通常采用單一的紙筆測驗，以終結性評價為主，分數是評價學生的唯一標準。不同于傳統教學，MOOC在大數據技術的支持下表現出多元性的特征。

1.評價主體多元

對MOOC學習效果的評價，其評價主體已不再僅僅是教師，還包括學生、校友等。MOOC學習平臺上，通過后臺大數據的分析與處理，加之不同主體對學習者的評價，有助于教師從不同渠道了解學生的學習情況，以便進一步改進教學。同時，也能夠使學生認識到自身存在的優點與不足，有助于學生的全面發展。

（1）教師作為評價主體。無論是傳統教學還是網絡教學，教師永遠是教學的一線工作者，其主導地位不可忽視與否認，MOOC教學亦不例外。在MOOC課程教學評價中，學習者數量眾多，大數據為MOOC學習者提供了更加新穎的評價方式：同伴互評和機器自動評閱，但教師也會參與其中，教師通過評價學生的作業可及時發現教學上存在的問題，進而采取一定的補救措施，有利于MOOC教學效果的提升。

（2）學生作為評價主體。在傳統的教學評價中，學生是評價的客體，是被評價的對象，他們對于評價的結果只能被動地接受，在一定程度上削弱了他們的主觀能動性，忽視了學習者的個性差異。相比之下，MOOC教學評價將學生納入評價活動中，強調學生也可以是評價的主體，評價形式為學生自評和同伴互評。比如：陳肖庚等在《MOOC的發展歷程與主要特征分析》一文中論述了同伴互評和學生自評這兩種MOOC課程評價方式的創新性與有效性。另外，祝智庭等學者也論述了Coursera平臺廣泛采用的自評和互評策略有效地促進了學習者的學習［5］。MOOC將學生這一主體元素引入教學評價后，既可以調動學生學習的積極性，也可以通過評價活動引導學生在評價過程中明確自己的定位，發現自身的不足，取人之長，補己之短，不斷完善自己，從中培養他們的自我反思及自我監控能力，使學生在評價過程中真正體現其主體性，成為學習的主人。

（3）校友作為評價主體。MOOC學習效果的評閱人員中較有特點的是校友參與其中。在《從OCW課堂到MOOC學堂：學習本源的回歸》一文中，張振虹等學者從學習者職業服務的角度論述了校友參與MOOC教學評價的益處。校友一般為各個領域出類拔萃的優秀人才，具有豐富的實踐經驗，是學校發展中極為重要的人力資源。因此，校友作為MOOC教學評價的主體，一方面有助于幫助學習者拓寬視野，豐富知識；另一方面還可以推動MOOC教學的發展。

2.評價對象多元

MOOC多元性的評價主體決定了其具有多元性的評價對象，通過多元對象的評價，可以從不同維度對MOOC作出綜合評價，各種評價結果有利于MOOC的后期改進與完善，從而進行更優化的設計。其對象的多元性主要體現在以下幾個方面。

第一，對學習者的評價。一方面，MOOC教學對學習者的學習過程給予高度關注，其教學評價以形成性評價為主。比如：在MOOC學習過程中，會對學習者參與學習活動的情況進行評價。可根據某個學習者在論壇發表的問題數以及提供解決方案的次數等信息來了解學習者主動參與課程學習的積極性、對知識的理解與掌握程度以及與他人合作學習的情況；另一方面，MOOC教學也會對學生的學習結果進行評價。比如：對學習者任務完成情況的關注。MOOC每周更新后一般會有相應的學習任務，學習者可通過“課程進度”欄目來查看自己的任務完成情況。

第二，對教師的評價。MOOC教學中教師的地位和作用發生了重大變化，教師成為學習活動的組織者、學習資源的設計者與開發者、學習過程的指導者，而不再是信息的主要傳遞者。因此，在MOOC教學中，對教師的評價可從教學活動的組織、學習資源的提供和對學生學習過程的指導等方面進行考察。

第三，對MOOC教學資源的評價。在MOOC學習過程中，教學資源是與學習者直接發生交互的對象，是開展MOOC教學的基礎。因此，有必要對其進行多方面（如教學設計的合理性、內容的完整性、媒體形式的多樣性、呈現形式的趣味性、使用的便利性等）的評價。

大數據擴大了教學評價的范圍［6］，MOOC教學評價的對象，除以上三種形式以外，還包括對教學媒體、教學環境、教學支持服務系統和教學管理系統等的綜合評價。

3.評價方式多元

一是MOOC課程評分方式多元化。相對于傳統課程，MOOC課程的評分方式在大數據的支持下做了新的嘗試，并取得了較好的效果。（1）同伴互評。對于MOOC課程，由于其“大規模（massive）”的特點，數量眾多的學習者同時參與一門課程的學習，導致其課程作業數量巨大，僅靠授課教師和助教團隊不可能完成作業的批改任務。為此，MOOC推出了同伴互評模式，這也是MOOC評價方式的創新之處。當然，該評價模式需要授課教師事先制定相關的評價指標和具體的評價細則，學生按照評價標準來互相批改作業。有研究表明，同學之間互相批改作業與教師批改作業的分數在統計意義上幾乎吻合［7］［8］。同伴互評不僅能夠提高學習者的參與熱情，而且學習者之間通過觀看彼此的作業，可以從中獲得新的啟發和靈感，進而拓寬自己的視野，能夠互相促進學習。（2）學生自評（self-assessment）。學生自評是MOOC平臺較有特色的評價模式之一。目前，MOOC平臺自我評價機制還不完善，但這種評價方式卻普遍受到學習者的喜愛。國外有研究［9］表明，MOOC課程學習參與者對學生自評模式持肯定態度，并希望MOOC制作商能夠提供自我評價工具，如小測驗、校驗表、自我評價標準等。（3）機器評價。機器評價是MOOC平臺研發的第三個評價模式。該評價模式主要針對客觀題（單選題和多選題）進行評閱，具有即時、自動反饋的特點，學習者提交課程作業以后，會得到即時的反饋，機器會自動為學習者打分，可以提高學習者的參與熱情。（4）校友評價。MOOC課程評價方式的第四個亮點就是校友參與到課程評價中來。有研究表明，已在工作崗位上的校友常常通過關注和評閱學習者的作業和期末試卷，挖掘到公司或部門需要的人才，并向他們發出邀請［10］。這也是對Moocers的一種肯定與激勵。從這點我們可以推測，MOOC學習者在未來的就業中可能會因為比其他求職者多一個砝碼進而增大成功的幾率。MOOC課程除了以上幾種常用的評價方式以外，還有教師評價、助教評價等，不同的評價方式都有其各自的特點和試用范圍。如對于理工學科而言，主要以客觀題為主，更多的是通過機器進行自動評閱；而對于人文學科，則多數為主觀題，主要采用同伴互評的方式。各種評價方式根據不同的學科特點，相互配合，交叉使用，優勢互補，有利于促進學習者的學習、提升學習效果。

二是MOOC課程考核方式多元化。本文在此處主要以Coursera平臺提供的《大數據與信息傳播》課程為例來說明MOOC課程考核方式的多元性特征。（1）基于視頻的嵌入式測試題。在Coursera平臺中，其MOOC課程教學視頻中引入了“內嵌式”測試功能，在視頻下方的進度條上會有相應的標記，當視頻播放到該標記時，系統會自動跳出測試題目，學習者只有答對了才可以繼續觀看視頻，當然學習者也可以選擇跳過（Skip）測試題而繼續觀看視頻。視頻中的小題目測試（In-Video Quizzes）以難度較低的客觀題為主，采用機器自動評分的方式，主要幫助學習者集中注意力、提升學習興趣、回顧章節的核心內容，檢測他們對基礎知識的理解與掌握程度。（2）每周作業。MOOC的課程更新周期一般為每周一次，課程更新后會有相應的作業（每周作業），學習者可根據自己的需要利用碎片化的時間進行學習，在規定的時間內提交作業即可。由于《大數據與信息傳播》這門課程偏向理論類，其每周作業的題型多為思考題（結合課程內容，分析相關問題），采用同伴互評的方式，鼓勵他們獨立思考、自由表達、各抒己見，并能夠與他人分享觀點，互相啟發，共同進步，充分激發他們的問題意識和進取精神，有利于學生批判性思維、創造力以及高階思維能力的培養。（3）期末考試。在此門課程中，期末考試的內容為：結合大數據與信息傳播的熱點問題，撰寫論述性文章。主要培養學生獨立撰寫論文的基本能力、體會科學研究的一般流程、感受嚴謹的學術態度、掌握全新的思考方式，從而提高他們學術研究的基本素養。當然，不同學科的課程會有不同的考核方式，但總體來說其考核方式趨向于多元性的特征，而不同于傳統課程單一的紙筆測驗。

4.價值取向多元

第一，為促進學生全面發展而評價。教學評價的最終目的是要促進學生的全面發展，MOOC教學評價亦沒有偏離這一重要取向。MOOC教學評價更多的是關注學生的主體發展、自我成長與進步。就MOOC而言，可以說，其教學評價更多地是一種促進學生發展的動力，而不僅僅是衡量學生學業成績的方式或手段。

第二，為了解學生學習需求而評價。無論是傳統課程還是MOOC課程，要想為學習者提供適合他們的資源與服務，首先要了解學習者的學習需求。MOOC教學同樣要滿足不同學習者內心深處的個性化學習需求，可通過多層面、多維度的綜合教學評價，了解并分析不同學習者的學習需求，之后為他們提供合適的學習資源與個性化服務，使學習者能從評價中感受到更多的尊重和認同，從而獲得前進的動力。

第三，為尊重學生個體差異而評價。每個學生都是獨立的個體，從教學設計的角度來講，要想使課程取得良好的效果，首先必須對課程受眾進行分析，即學習者特征分析。而對于MOOC課程而言，其學習者情況更為復雜，一方面，MOOC學習者人數眾多，無法與傳統班級授課制相比；另一方面，MOOC學習者種類繁多，根據其職業背景和學習目的，可將其分為在校大學生、中小學學生、教師、家長、以興趣為導向的學習者、以充實個人內涵為目的的學習者、促進職業發展的學習者等。此外，雖然MOOC主要面向高等教育，但MOOC學習者中也不乏有年齡較大或較小的學習者。所以，MOOC課堂無法像傳統課堂那樣分析學習者特征，可通過學習分析、教育數據挖掘、體態計算等技術對學習過程進行評價、追蹤預測和分析，以了解學習者的個體差異，從而為其提供個性化的學習服務、推送個性化的學習資源、制定個性化的學習方案。有研究［11］表明，MOOC的特征之一就是基于大數據的個性化服務，不同學習者的電腦后端會推算目前的學習狀況，然后推送相應的學習資源，因材施教。

三、大數據背景下的開放性MOOC教學評價

相對于傳統課堂較封閉的評價體系而言，MOOC在評價理念與評價過程兩方面表現出明顯的開放化特征。

1.評價理念開放

MOOC中的教與學本身是一個極為復雜的系統，因此，對MOOC進行教學評價難以用單一的評價理念或標準來評判每個教師和學生的行為，需視具體情況而定。MOOC教學評價的理念可用“一切為了學習者，為了一切學習者，為了學習者的一切”來形容，正是這一理念，使得MOOC教學評價強調豐富的評價內容、多樣化的評價渠道以及開放性的評價過程，通過網絡與信息技術的支持構建開放的MOOC教學評價，以全面促進學習者的發展。

2.評價過程開放

MOOC教學評價過程大致分為四個階段：評價設計、評價實施、評價分析和評價反饋。每一階段都有不同的任務，但卻都具有開放性的特征。首先，在評價設計階段，從評價目標的制定、評價主體的確定到評價方法的選擇，都非常重視其評價過程的開放性。比如：在MOOC網站上，任何MOOC學習者都可以任意瀏覽某一課程的課程簡介、課程評價方式等信息，注冊賬號以后會瀏覽到更為詳細的課程信息，從評價的角度來看，包括課程的評價標準、考核方式、評價方法以及評價細則等內容。其次，在評價實施階段，評價人員根據上一階段所形成的評價方案，利用各種評價手段，完成對MOOC教學的評價任務。在實施過程中，由于學習者也加入到了評價活動中，所以，其實施過程也是面向學習者開放的。最后，在評價分析和反饋階段，評價人員根據評價實施階段收集到的反映學習者學習過程的資料和數據進行歸納和分析，并將評價結果反饋給學習者。在這一過程中，其評價的數據和結果都是面向學習者開放的，學習者可以根據評價結果的反饋信息及時發現自身的不足，進一步加以改正。

四、大數據背景下的人性化MOOC教學評價

教育要充分體現以人為本，服務學生的理念。在MOOC教學評價中，真正地把作為主體的學習者放在了首位，在評價標準與評價反饋中呈現出了人性化的特征，為學習者提供了人性化的關懷。

1.評價標準人性化

MOOC課程評價標準體現了現代教學理念，以學生發展為本，尊重學生個體差異。主要體現在以下兩個方面。

一是MOOC課程作業評價標準人性化。一方面，MOOC課程作業評價標準不像傳統教學那樣預先設定好，而是在教學過程中逐漸生成的，且其評價標準不是一成不變的，它會隨著課程的深入、課程目標的設定以及來自學習者的反饋而不斷發展變化，會根據不同的情況適當調整。比如：在Coursera平臺的《大數據與信息傳播》一門課中，部分學生在討論區中反映互評分數不合理，對此，課程提供方做出了相應的改進與調整。此外，在課程作業內容設置方面，也會根據學習者的需求進行調整。另一方面，MOOC課程作業提交的截止日期一般為2-3周，時間比較充裕，而且即將到期的作業還會有郵箱提醒，學習者不必擔心錯過課程作業的提交時間。此外，對于客觀選擇題，學生提交以后，系統會自動評分。比如：在Coursera平臺的《數學之旅》一門課中，隨堂測驗部分的客觀題分單選和多選兩種，學生提交作業以后會看到每題的得分情況和相應習題解釋。

二是MOOC學分制度人性化。目前，已有社區學院和公立高等大學等院校宣布接受美國教育委員會認可的學分，將修讀MOOC項目課程取得的學分與修讀本校課程取得的學分予以同等程度的承認［12］。學分的取得是對學習者學習過程與學習結果的肯定與認可，MOOC部分項目與學分制度掛鉤，利用學分制與傳統教育接軌，體現了教育以人為本的理念。

2.評價反饋人性化

大數據時代的來臨，使得MOOC教學評價不僅測量學生對知識的掌握程度，還利用智能化評價手段對學習過程給予及時的反饋，利用可視化統計表單呈現給學習者真實的學習數據，督促學生及時的調整學習現狀［13］。反饋是網絡教學重要的互動環節，及時的反饋（Instant Feedback）是人性化教學的要求，也是情感關懷的體現。在基于網絡環境下的MOOC學習中，由于師生處于相對分離狀態，反饋的及時性就顯得極為重要。及時的反饋有助于學習者了解自己的學習情況，加深對問題的理解與掌握，為下一步學習打下良好的基礎，從而激發學習者進一步學習的愿望。此外，及時的反饋還能幫助學習者及時發現、糾正他們自身存在的問題與錯誤，從而調整學習計劃，有助于提高學習效率。相反，如果沒有反饋或反饋不及時，學習者無法得知或很久以后才得知自己的學習結果（如作業正確與否），那么，學習者就很難保持已有的學習熱情，學習興趣也會大大降低。所以，對于MOOC學習者來說，及時的反饋是非常重要、也是非常有必要的。

相對于傳統課程，MOOC課程的評價反饋是比較及時的。比如：Coursera為學習者提供多次自動測試機會，每次測試后學習者通過系統可以得到分數反饋。Udacity為學習者提供Submit Answer，可以及時在output中得到反饋答案［14］。在客觀題作業方面，一般采用機器自動評閱的方式，學習者提交作業以后，會立即得到反饋（直接看到評閱結果）；在主觀題方面，主要采用同伴互評的方式，雖然不能立即得到反饋，但其時間一般不超過兩周，學習者可以在相對較短的時間里得到反饋。

五、結束語

大數據時代，可以通過大數據技術對教師的教學行為和學生的學習行為進行量化與可視化。大數據的分析方法比較多，主要包括機器學習、數據挖掘、預測模型、數據的可視化、分組比較以及優化等［15］，通過對大數據處理與分析，可以關注學生微妙的變化，了解學生的需求，從而實現真正意義上的個性化教育。計算機技術與網絡通信技術的結合打破了時間、空間的界限，建立了開放型的MOOC網絡學習環境。與傳統的教學評價相比，由于網絡的非現實性，使得MOOC教學環境變得更為復雜，加之MOOC學習群體的特點，以及MOOC本身學習過程的特殊性，MOOC教學評價對于改進MOOC教學、提升MOOC教學質量便具有更為重要的意義。但目前國內多數MOOC網站的教學評價流于形式，其課程評價體系不完善、評價標準模糊、評價方法單一，不能對MOOC學習過程中師生、生生的在線行為進行精確的把握與分析，對MOOC教學過程的監控力度不夠；也較少有學者對MOOC教學評價進行系統的理論與實證研究。本文著重分析了大數據背景下MOOC教學評價的特征，以期能為我國MOOC教學評價提供有益的借鑒和參考。學習分析、教育數據挖掘、人工智能等前沿技術為MOOC教學評價的進一步研究提供了理論和技術支持，還需要我們進一步的研究和探索。

［1］喻長志.大數據時代教育的可能轉向［J］.江淮論壇，2013，（4）：188-192.

［2］顧小清，胡藝齡，蔡慧英.MOOCs的本土化訴求及其應對［J］.遠程教育雜志，2013，（5）：5-13.

［3］卡蘭·凱莫卡特.MOOC：新型的網上大學［J］.經濟導刊，2013，（Z5）：7.

［4］郭文革，陳麗，陳庚.互聯網基因與新、舊網絡教育——從MOOC談起［J］.北京大學教育評論，2013，（4）：179-190.

［5］祝智庭，閆寒冰，魏非.觀照MOOCs的開放教育正能量［J］.開放教育研究，2013，（6）：20-29.

［6］張燕南，趙中建.大數據時代思維方式對教育的啟示［J］.教育發展研究，2013，（21）：1-5.

［7］陳肖庚，王頂明.MOOC的發展歷程與主要特征分析［J］.現代教育技術，2013，（11）：6-11.

［8］Philip M.Sadler，Eddie Good.The Impact of Self-and Peer-Grading on Student Learning［OL］.http：//www.cfa.harvard.edu/ sed/staff/Sadler/articles/Sadler%20and%20Good%20EA.pdf.

［9］Cross S.Evaluation of the OLDS MOOC curriculum design course：Participant perspectives，expectations and experiences［J］. 2013.

［10］［12］張振虹，劉文，韓智.從OCW課堂到MOOC學堂：學習本源的回歸［J］.現代遠程教育研究，2013，（3）：22-29.

［11］郝丹.MOOC：顛覆與創新？——第4次“中國遠程教育青年學者論壇”綜述［J］.中國遠程教育，2013，（11）：5-17.

［13］王穎，張金磊，張寶輝.大規模網絡開放課程（MOOC）典型項目特征分析及啟示［J］.遠程教育雜志，2013，（4）：67-75.

［14］韓錫斌，葛文雙等.MOOC平臺與典型網絡教學平臺的比較研究［J］.中國電化教育，2014，（1）：61-68.

［15］張羽，李越.基于MOOCs大數據的學習分析和教育測量介紹［J］.清華大學教育研究，2013，（4）：22-26.

［編輯：鄭方林］

G434

A

1671-7503（2015）19-0019-05