基于MOOC平臺的互評質量控制的研究

張忠 宋繼紅 付笑晗

摘 要：近年來，隨著眾包的發展，對工作者的準確率估計越來越受到關注。而作為一種特殊的眾包形式，學生互評也被MOOC平臺（大規模開放式在線課程）廣泛應用。本篇文章研究MOOC課程中的在線互評機制，通過結合學生互評質量與學生的學習能力對其互評能力做出估計，以此設計互評分配算法。通過更精準地分配互評任務，得到更符合學生作業質量情況的互評結果。

關鍵詞：MOOC；推薦互評；眾包；質量控制；分配算法

中圖分類號：TP391 文獻標識碼：A

Abstract：In recent years，with the rapid development of crowd-sourcing，estimating the precision ratio of crowd workers has attracted more and more attention.As a special form of crowd-sourcing，peer grading has been used by most of Massive Open Online Courses （MOOCs）.This paper studies peer grading mechanism in MOOCs，and estimates students' peer grading ability through a combination of their peer assessment and study ability，so as to design an allocation algorithm and achieve more accurate results in compliance with students' works by means of more accurate assignments of peer assessment.

Keywords：MOOC；peer grading；crowd-sourcing；quality control；allocation algorithm

1 引言（Introduction）

近年來，隨著大型在線開放課程MOOC平臺的流行，使得越來越多的人可以通過觀看視頻的形式學習具有大學水平的在線課程。然而，新型互聯網科技雖然可以讓學生獲取視頻資源，同時也使得對學生給出的復雜的、開放式的作業進行評估和反饋的能力大大受限，例如數學證明、設計問題和文章等形式的作業[1]。相比較于學校中常規的課程，MOOC課程的規模是非常大的，每個課程通常超過20000名學生，因此，學生直接互評作業機制的引入勢在必行[2]。

同學間的互評之所以受到質疑和挑戰，是因為學生的知識和能力與教師存在很大的差距，因此把單純而隨機地通過給學生分配互評任務得到的互評評價結果作為課程的反饋在一定程度上會遭到學生的質疑。而在大規模的在線課程中，學生的能力、語言又不盡相同，這可能給學生的互評帶來新的挑戰[3]。因此，本文的主要思路是在沒有黃金標準[4]的條件下，結合學生以往的互評工作經驗對學生的評價能力進行估計，并設計互評分配算法。……