MOOC綜合評價方法及標準研究

摘要：文章緊扣MOOC的內涵與特點，在分析已有的網絡課程、多媒體教材等數字資源評價標準的基礎上，提出了MOOC的主觀評價與客觀評價相結合的綜合評價方法、評價標準以及客觀評價中各指標的計算公式，以期能對MOOC建設和評價提供更多的參考依據。

關鍵詞：MOOC；在線課程；評價方法；評價標準；課程建設

中圖分類號：G642 文獻標識碼：A 論文編號：1674-2117（2017）05-0099-04

研究背景

我國對數字媒體教材進行的技術質量規范最早可追溯到1990年11月17日，原國家教委辦公廳印發了《電視教材編制要求和技術質量試行標準》，其中對電視教材的質量標準及綜合評定給出了具體的規定。此后，又陸續頒發了多媒體教材、網絡課程、精品課程、視頻公開課的技術規范及評價標準，對各種媒體數字教材和資源的開發及應用起到了良好的推動作用。我軍這方面的工作起步稍晚，最早的數字教材技術規范是原總部機關于2000年9月26日印發的《電視教材技術規范》，其規范了電視教材的質量標準及綜合評價標準，以后也陸續制訂了多媒體教材、網絡課程等技術規范及評價標準，對我軍各種軍體教材和數字資源的開發及應用起到了較好的促進作用。軍事職業教育主管部門明確把在線教育為主的遠程教育作為軍事職業教育的主要手段，為規范軍事職業教育在線課程的建設，統一技術標準，指導課程教師及制作人員開發在線課程，實現全軍范圍內在線課程的應用共享，于2016年6月印發了《軍隊在線課程建設規范（試行）》，該規范對在線課程的定義、內容組成、技術指標、制作流程等進行了規范，是軍事職業教育在線課程設計、開發的基本依據，勢必會對軍隊以MOOC為主的在線課程建設起到規范和推動作用，這也促使軍隊在線課程建設規范的制訂工作走到了國家的前面。在制訂該規范時，鑒于軍事職業遠程在線教育還處于起步階段，為了鼓勵在線課程的建設，提高在線課程的參與性、積極性和主動性，在規范中暫沒有涉及在線課程的評價方法及標準，而國內未見MOOC建設規范及相關評價標準出臺，文章正是立足于此開展研究，探討了MOOC的合理評價方法和評價標準。

評價方法研究

《軍隊在線課程建設規范（試行）》提出，在線課程是指依托網絡教育平臺，按一定的教學目標、教學策略組織起來的，以微視頻為主要載體呈現知識點內容，在指定的教學周期內，將知識講授、學習體驗、互動研討、交互答疑、練習作業、考核評價等教學環節完整在線實現的課程（軍隊在線課程建設規范，2016）。同時認為，大規模開放在線課程（MOOC，慕課）就是一種典型的在線課程。

MOOC具有以下特點：①以“微視頻+在線隨堂測試”為基本教學單元的知識點組織和學習模式；②注重在線隨堂測試、作業、答疑、學習社區等手段，實現師生、生生的教學互動與研討；③基于“學習大數據”對學習行為進行分析、統計，支撐個性化學習與管理服務；④課程教學活動在統一和規范化的學習平臺中完成；⑤實現有組織的學習和自主學習的統一；⑥基于虛擬仿真、人工智能等技術的學習功能進行開發與應用；⑦提供證書與學分的獲取（軍隊在線課程建設規范，2016）。

從這一定義和特點可以看出，在線課程是教學資源，同時也是一種在線教學活動過程，不僅重視課程資源建設，還非常強調課程資源教學應用效果。為此，對其評價的方法要與現有的教學資源的評價有所區別。

縱觀國家、軍隊已有的教學資源評價標準，不外乎通過對其教育性、科學性、技術性、藝術性、效益性等方面進行評價，如在2006年軍隊下發的網絡課程技術規范中，通過教學性、可用性、技術性等3項1級指標及15項2級指標來評價網絡課程。2014年全軍微課評選標準，采用了教學內容、教學設計、內容呈現、編輯制作、效果效益等5項1級指標（無2級指標）來評價微課，詳細指標參見表1。

經分析研究，已有的評價標準中評價指標體系相對詳細、完整，能滿足相關教學資源進行主觀評價的要求。

但是，已有的評價方法和標準存在明顯不足：①人為因素影響標準把握。主觀評價依據人為主觀評分，具有一定的隨意性，標準不易準確把握。②評價指標中應用效果所占比例不高。應用效果指標評價比例多數占25%左右，且是依據模糊估計，缺乏對比性，準確性差。

針對已有的各種評選、評價標準的不足，筆者結合MOOC平臺開發經驗、MOOC建設以及在線開展教學組織的實際情況，提出了主觀評價與客觀評價相結合的綜合評價方法和評價標準。

1.主觀評價方法

主要針對課程的教學性、技術性方面，參考吸收國家及軍隊相關網絡課程、視頻公開課、微課等的評價方法和標準，優化調整，設計了教學設計、教學內容、教師講授、教學資源、設計規范、媒體展現、課程制作、平臺銜接8個技術指標，適用于專家、管理人員等人為主觀估分評價，減少了主觀評價所占分值比例，主觀評價分值占總分的50%，具體可參見下頁表2中1級指標教學性和技術性的相關內容，在此不贅述。

2.客觀評價方法

隨著技術的不斷進步，不論是美國的三大MOOC平臺，還是國內的中國大學MOOC、清華大學學堂在線MOOC等平臺以及國防科技大學面向全軍服務的“夢課”學習平臺，都能對學生學習行為、教師教學行為、課程資源情況等數據進行完整的記錄。為了彌補已有評價標準模糊人為估分的不足，針對MOOC建設質量和應用效果，完全可以依托在線教育平臺的統計分析功能，采取數據挖掘技術，依據適當的評價算法，自動得到每門課程的教學及應用效果數據，作為課程應用情況的定量評價依據，提升客觀評價分值所占比例，客觀評價分值占總分的50%。

假設有n門課程參與評價，第i門課程的應用效果評價指標和計算方法如下。

（1）指標一：注冊情況

此項分值滿分設置為6分，綜合考慮了課程注冊人數情況及課程點贊、踏踩方面的數據。計算公式為：ai/Max（a1，a2，…，an）×3+bi/（bi+ci）×3。

其中，ai為第i門課程注冊人數；bi為第i門課程點贊次數；ci為第i門課程踏踩次數。

（2）指標二：完成情況

此項分值滿分設置為6分，計算公式為：di/ai×6。

其中，di為第i門課程學習完成人數。

（3）指標三：交流交互

此項分值滿分設置為10分，綜合考慮了課程交流、教師回復以及教師主導交流等方面的數據。計算公式為：ei/Max（e1，e2，…，en）×3+fi/ei×2+fi/Max（f1，f2，…，fn）×2+gi/Max（g1，g2，…，gn）×3。

其中，ei為第i門課程交流交互數；fi為第i門課程教師回復數；gi為第i門課程教師主導交流數。

（4）指標四：作業測試

此項分值滿分設置為10分， 綜合考慮了課程隨堂測試準確率、教師作業布置和批改方面的數據。計算公式為：hi×3+ii/Max（i1，i2，…，in）×3+ji/Max（j1，j2，…，jn）×4。

其中，hi為第i門課程隨堂測試準確率；ii為第i門課程作業布置次數；ji為第i門課程作業批改次數。

（5）指標五：活躍指數

此項分值滿分設置為8分，計算公式為：。

其中，ki為第i門課程的點擊數。

（6）指標六：題庫建設

此項分值滿分設置為10分，綜合考慮了課程試題數量、平臺中所有課程題庫平均試題數量、試題題型分布、試題難度等方面的情況。計算公式為：IIF（li≥Avg（l1，l2，…，ln），3，li/Avg（l1，l2，…，ln）×3）+li/Max（l1，l2，…，ln）×2+mi+ni；

其中，li為第i門課程題庫試題數；Avg（l1，l2，…，ln）為所有參評課程題庫試題平均數。

mi為第i門課程題庫試題題型分布是否合理得分，最高得分為3分。筆者通過對大學本科課程結業考試、研究生入學考試、教師資格認證等幾十類上百種試卷進行分析研究，得出試題庫中選擇題、填空題、判斷題三種題型的試題數量分布比例為45∶30∶25為佳的結論，即計算時題庫題型分布比例越逼近此比例，得分越高。

ni為第i門課程題庫試題難易度設置是否合理得分，最高得分為2分，題庫試題平均難度合理值設置為0.7，越逼近此值，得分越高。

評價標準構建

筆者通過前面的分析與研究，構建了MOOC綜合評價方法和標準，評價標準分3項1級指標和14項2級指標，其中，教學性和技術性2項指標基于主觀評判，應用效果指標由教學平臺客觀計算得出，如上頁表2所示。

結語

鑒于以MOOC為主的在線課程建設已列入教育部、軍隊相關管理部門的任務規劃，而MOOC評價標準目前暫未檢索到。筆者在文中提出的評價標準中的6項客觀指標，是根據教育平臺中課程本身的數據以及與其他課程之間的相關數據進行對比分析統計，由平臺自動統計得出的，計算方法簡潔實用，客觀合理，可以作為MOOC教學效果評價的參考依據。筆者提出的MOOC綜合評價方法、評價標準及評價指標的計算方法已在面向全軍服務的“夢課”學習平臺中采用，通過實證研究與分析，具有一定的科學性和合理性。本研究提出的評價方法和標準也存在一些不足，如沒有考慮在線課程的學時數、課程受眾面等因素，值得進一步思考、探究、優化和完善。

參考文獻：

[1]軍隊在線課程建設規范（試行）[S].北京：訓練管理部軍事職業教育局，2016，6.

[2]現代遠程教育資源建設技術規范[S].北京：教育部，2001.

[3]國家級精品資源共享課建設技術要求[S].北京：教育部，2012.

作者簡介：敖永紅（1965—），男，重慶豐都人，碩士，高級工程師，碩士生導師，研究方向為計算機教育應用；何星霖（1987—），男，湖南衡陽人，學士，教育技術學研究生，研究方向為計算機教育應用；柯水洲（1992—），男，湖北綿陽人，碩士，高級工程師，研究方向為在線教育研究。