基于NLP的在線課程質量評價研究

摘要：隨著在線教育成為教學常態，教學質量受到全社會關注，而課程評價是課程質量的直接反饋，有效運用課程評價成為提升課程質量的突破口。以中國大學MOOC課程為研究對象，獲取課程評論數據，運用LDA主題模型對其進行主題提取，得到課程評價指標，使用熵權法確定指標權重，構建課程評價指標體系，并以一門課程為例，進行實證分析。結果顯示該評價指標體系可以對課程質量進行量化評價，對課程質量進行有效評價。

關鍵詞：在線評論；課程評價；文本分析；課程質量

一、前言

隨著教育數字化戰略的建設和發展，在線課程數量逐步增長，優質課程不斷涌現。在線學習的方式已經逐漸滲透于日常生活中，在線教育需求已經成為學習中不可回避的問題[1，2]。在線教學成為學生聽課的主要方式，在線課程質量則受到全社會的廣泛關注，如何評價在線課程質量變得尤為重要。本文通過對現有MOOC課程評價體系進行研究，參考教育部網絡課程評價標準，結合中國大學MOOC在線課程評論的文本數據，探索構建在線課程評價體系。

二、慕課質量評價研究現狀

許多專家學者對慕課課程質量評價進行過研究，形成了不同的MOOC質量評價模型，不同的MOOC質量評價體系，可以歸納為以下幾個方面：（1）基于在線課程評價標準的MOOC課程研究，如童小素等人在借鑒已有網絡課程評價標準的基礎上，運用文獻調查法和專家訪談法，構建MOOC質量評價指標體系，并確立各級指標權重[3]。岳進等人設計多層次MOOC評價指標體系，基于區間層次分析法和專家群決策方法，結合區間數理論與群決策方法構建MOOC適切性評價模型[4]。（2）基于學習者角度的MOOC課程評價研究，如劉穎等人基于學生視角，構建了信息素養MOOC教學質量評價體系，并分析學生視角下影響學術信息素養類課程教學質量的主要因素[5]。武家輝等人通過分析MOOC的含義、特點，提出教師表現MOOC教學評價體系、學生表現MOOC教學評價體系，教學視頻MOOC教學評價體系[6]。（3）基于文本大數據驅動進行的MOOC評價研究，如姚凱等人使用文本挖掘技術對“MOOC學院”社區論壇數據進行處理分析，在已有課程評價標準的基礎上建立新的課程評價體系，并運用基于Vague集的相似度量法建立MOOC評價模型[7]。張新香等人以“中國大學MOOC”網的在線評論文本為例，從學習者角度入手，提煉MOOC質量的影響因素，并基于灰色關聯分析對MOOC質量進行評判[8]。

從上述文獻分析中可以看出，雖然有不少學者對MOOC質量評價體系進行研究，但是各研究切入角度各不相同，尚未形成較為完善的利于MOOC質量控制的課程評價體系。本文以“中國大學MOOC”在線評論數據為研究對象，利用LDA主題模型對在線評論文本內容進行主題分析，提取出在線評論中蘊含的主題，以教育部網絡課程評價標準為藍本，構建MOOC課程評價指標體系。

三、指標體系構建

為構建課程評價指標體系，本文以在線課程為研究對象，獲取MOOC在線評論文本數據，運用文本挖掘的方法提取出在線評論中蘊含的主題，從而得到課程評價指標，使用熵權法獲取指標權重，構建課程評價指標體系，以一門課程為例，對課程評價指標體系進行分析。

（一） 文本采集

本文將“中國大學MOOC”在線評論數據為數據源，使用Python爬蟲技術進行文本采集。MOOC平臺在授開放課程數量多，課程覆蓋面廣，故本文選擇MOOC平臺開展研究。同時，Python爬蟲技術作為采集數據的優良方法，可以模擬人們瀏覽網頁的方式爬取數據，使用方便且高效，故本文編寫Python代碼爬取課程數據。

（二） 文本挖掘

從文本中提取出在線評論蘊含的主題，以此作為衡量課程質量的重要因素。在對已獲取的評論數據進行數據處理之后，利用LDA主題模型對在線評論文本內容進行的情感分析。

（三） MOOC評價指標體系構建

1. 確定MOOC評價指標

根據文本聚類提取出的指標，結合《教育部網絡課程評價標準》，參考目前已有的文獻資料，從用戶整體感知課程質量的角度出發，補充“用戶體驗”一個一級指標；從用戶感知課程界面呈現的角度，補充“課程視頻”一個一級指標；從用戶感知課程教師授課情況的角度出發，補充“教師教學”“教學風格”“教學方法”三個一級指標。最終建立了包含7個一級指標、35個二級指標的MOOC 綜合評價指標體系（如表1所示）。

2. 確定指標權重

使用熵值法確定評價體系各指標的權重。熵值法是一種客觀賦權的方法，根據各指標所含信息有序程度的差異性來確定指標權重，即通過計算指標的信息熵，根據指標的相對變化程度對系統整體的影響來決定指標的權重，相對變化程度大的指標具有較大的權重。具體的計算過程可以描述為以下幾個步驟：（1）構造原始數據集。（2）對原始數據作歸一化處理。（3）計算各指標的熵值。（4）計算各指標的權重。

在上述公式中，為待評價對象，每個對象有個指標，構造原始數據矩陣用表示。為歸一化之后的矩陣數據值。為各指標熵值。此外，若，則令。 為熵權系數，其值越大，則該指標代表的信息量越大，表示其對綜合評價的作用越大。根據熵值法計算課程評價指標體系的權重計算結果如表1所示。

（四）實證分析

以國家精品課程“C++程序設計”為例，獲取該課程全部在線評論數據作為實驗數據，完成課程評價，以此驗證課程評價指標體系的可用性。課程質量評分可以按照以下幾個步驟完成：

（1）獲取一門課程所有的評論數據，包括課程名稱、評分、評價數、評論、評價用戶、發表時間和評論點贊數；

（2）對評論數據進行文本處理，去除重復的評論數據、過濾不相關字符，并切分評論子；

（3）人工對評論子句進行指標標注，包括一級指標和二級指標；

（4）使用情感詞典的方法計算各評論子句情感得分；

（5）根據各評論子句的情感得分，統計該課程各級指標得分（課程各級指標得分情況如表2所示）；

（6）根據課程指標得分及指標權重計算課程得分，即將一級指標項下各二級指標得分與二級指標權重乘積相加，得到一級指標項的分數，進而將課程各一級指標得分與權重的乘積相加得到課程得分。

綜上可得，該課程“教學風格”項得分為0.148，“教師教學”項得分為8.637，“用戶體驗”項得分為0.470，“課程內容”項得分為0.492，“教學設計”項得分為0.127，“信息呈現”項得分為0.622，“教學方法”項得分為0.055，該課程總分為10.552。由課程評價結果可知，該課程評分整體偏高，是比較優秀的一門課程。

四、總結

本文通過文本分析的方法，提取課程在線評論數據中蘊含的課程評價指標，并使用熵權法確定各指標權重，構建課程評價指標體系。該課程評價體系對提高慕課課程質量的價值主要體現在以下三個方面：

一是服務教師角度：為優化課程服務質量提供參考。通過文本分析來挖掘用戶關注的重點，發現用戶的核心需求，為教師優化課程來滿足選課用戶的核心需求提供建議。

二是服務學生角度：幫助用戶選課前識別課程重要信息。協助用戶在信息不對稱的情況下做出合理決策，減少用戶的搜索成本，從而快速捕捉有用信息來選擇最優課程。

三是服務慕課平臺角度：輔助優化慕課平臺設計。為慕課平臺優化網站設計提供方案，可以將用戶關注的主題顯性地表現出來，提高用戶體驗，從而獲得良好的口碑。

本研究的局限性在于課程評論數據不能完全覆蓋評價課程質量的全部因素。在后續的研究中，將獲取更加廣泛的課程質量信息，更加精確地量化課程評價指標，對MOOC課程質量作出更準確的評價。

參考文獻

[1]本刊編輯部.2020中國教育研究前沿與熱點問題年度報告[J].教育研究，2021，42（03）：26-40.

[2]趙岑，王展碩.線上線下融合式學生工作的特征與實踐[J].高等教育研究，2021，42（11）：83-88.

[3]童小素，賈小軍.MOOC質量評價體系的構建探究[J].中國遠程教育，2017（05）：63-71+80.

[4]岳進，郭輝.基于區間層次分析法和專家群決策的MOOC適切性評價[J].電化教育研究，2019，40（03）：54-58.

[5]劉穎，吉久明，李楠，曾媛，李建霞，朱世琴，康健.學生視角下的MOOC課程教學質量評價體系構建研究——以學術信息素養類MOOC課程為例[J].圖書館雜志，2021，40（02）：95-103.

[6]武家輝.慕課教學評價體系的研究[J].教育現代化，2019，6（03）：38-40.

[7]姚凱，李思志，李艷紅，邱靜靜.MOOC評價模型研究[J].復旦教育論壇，2017，15（03）：65-71.

[8]張新香，段燕紅.基于學習者在線評論文本的MOOC質量評判——以“中國大學MOOC”網的在線評論文本為例[J].現代教育技術，2020，30（09）：56-63.

基金項目：2021年北京市教育委員會科研計劃項目“防疫應急狀態下高質量教學管理模式研究”（項目編號：SM202110038009）

（作者單位：首都經濟貿易大學管理工程學院）