基于MOOC的學(xué)習(xí)者學(xué)習(xí)效果評(píng)價(jià)模型的研究

黃慧

（三江學(xué)院計(jì)算機(jī)科學(xué)與工程學(xué)院，江蘇 南京 210012）

1 引言

新冠疫情自2020年在全球范圍內(nèi)暴發(fā)以來(lái)，一種新的教學(xué)模式――基于MOOC的在線學(xué)習(xí)在高校中被拉開(kāi)序幕。

基于MOOC，學(xué)習(xí)者的學(xué)習(xí)行為數(shù)據(jù)被逐一記錄下來(lái)，因此，在新的教學(xué)模式下，對(duì)學(xué)習(xí)者的學(xué)習(xí)評(píng)價(jià)也發(fā)生了根本的轉(zhuǎn)變。傳統(tǒng)的教學(xué)評(píng)價(jià)中，學(xué)習(xí)者的學(xué)習(xí)效果評(píng)價(jià)往往僅依賴于期末成績(jī)，是一種結(jié)果性的評(píng)價(jià)，缺乏全面性。然而，基于MOOC的在線學(xué)習(xí)，全面記錄了學(xué)習(xí)者的各項(xiàng)學(xué)習(xí)行為和學(xué)習(xí)過(guò)程，并形成了可供分析的學(xué)習(xí)數(shù)據(jù)，若將這些學(xué)習(xí)數(shù)據(jù)進(jìn)行采集整理，同時(shí)利用算法對(duì)數(shù)據(jù)進(jìn)行分析，從而產(chǎn)生對(duì)學(xué)習(xí)者學(xué)習(xí)效果的評(píng)價(jià)及建議，可促進(jìn)學(xué)習(xí)者學(xué)習(xí)的積極性，挖掘?qū)W習(xí)者的自身特性，從而實(shí)現(xiàn)因材施教。

近年來(lái)，基于MOOC的學(xué)習(xí)者學(xué)習(xí)效果評(píng)價(jià)，國(guó)外學(xué)者們展開(kāi)了較為深入的研究。文獻(xiàn)[1]指出，學(xué)習(xí)者學(xué)習(xí)效果的評(píng)價(jià)不應(yīng)局限于終結(jié)性的評(píng)價(jià)，還應(yīng)納入學(xué)生的學(xué)習(xí)行為數(shù)據(jù)，產(chǎn)生過(guò)程性評(píng)價(jià)。文獻(xiàn)[2]針對(duì)MOOC上學(xué)習(xí)者的滿意度和參與度兩項(xiàng)數(shù)據(jù)進(jìn)行分析，研究學(xué)習(xí)者的學(xué)習(xí)效果。為獲取更為客觀的學(xué)習(xí)效果評(píng)價(jià)，文獻(xiàn)[3]將視頻觀看情況、作業(yè)完成情況等納入評(píng)價(jià)體系。此外，其他學(xué)者也基于論壇、討論區(qū)等數(shù)據(jù)展開(kāi)了學(xué)習(xí)效果評(píng)價(jià)的研究[4-6]。同時(shí)，基于MOOC的學(xué)習(xí)效果評(píng)價(jià)也是國(guó)內(nèi)學(xué)者關(guān)注的熱點(diǎn)問(wèn)題，在該方面的研究取得了一定的成果，產(chǎn)生了深遠(yuǎn)的影響。文獻(xiàn)[7-8]分別從課程參與度、視頻觀看數(shù)據(jù)等分析學(xué)業(yè)成績(jī)與其相關(guān)的程度。文獻(xiàn)[9]針對(duì)學(xué)習(xí)者特征、學(xué)習(xí)動(dòng)機(jī)等多維度進(jìn)行分析，給出與學(xué)業(yè)成績(jī)相關(guān)的因素。

然而，學(xué)者們?cè)趯W(xué)習(xí)效果評(píng)價(jià)研究上大多基于MOOC學(xué)習(xí)行為的一種或某幾種行為數(shù)據(jù)，分析的結(jié)果往往具備一定的片面性。同時(shí)，對(duì)于每一項(xiàng)學(xué)習(xí)行為，其影響最終學(xué)業(yè)成績(jī)的多少以及權(quán)值如何，目前還缺乏一定的研究。

基于此，本文的工作主要包含兩方面：

（1）綜合分析學(xué)習(xí)者學(xué)習(xí)行為數(shù)據(jù)，通過(guò)分析不同類別的學(xué)習(xí)行為產(chǎn)生學(xué)習(xí)效果評(píng)價(jià)指標(biāo)權(quán)重，最終形成基于MOOC的學(xué)習(xí)效果評(píng)價(jià)模型；

（2）基于形成的MOOC學(xué)習(xí)效果評(píng)價(jià)模型，結(jié)合學(xué)生行為的主客觀數(shù)據(jù)，通過(guò)算法以及數(shù)據(jù)挖掘的手段，對(duì)學(xué)習(xí)者的學(xué)習(xí)過(guò)程進(jìn)行跟蹤分析，產(chǎn)生個(gè)性化、過(guò)程性評(píng)價(jià)及建議，從而實(shí)現(xiàn)因材施教。

2 研究過(guò)程

基于MOOC的學(xué)習(xí)者學(xué)習(xí)效果評(píng)價(jià)模型，將記錄學(xué)習(xí)者學(xué)習(xí)過(guò)程中所有的學(xué)習(xí)行為數(shù)據(jù)并設(shè)置權(quán)重，再通過(guò)算法分析，階段性地為學(xué)業(yè)完成困難者提出預(yù)警，為其他學(xué)習(xí)者提出合理化建議。從而最終對(duì)學(xué)習(xí)者形成客觀可靠的綜合性評(píng)價(jià)，促進(jìn)學(xué)生個(gè)性化的發(fā)展。

2.1 研究?jī)?nèi)容

（1）構(gòu)建適用于MOOC的學(xué)習(xí)效果評(píng)價(jià)模型。對(duì)學(xué)習(xí)者學(xué)習(xí)行為進(jìn)行分析歸類，產(chǎn)生相應(yīng)的指標(biāo)權(quán)重，最終形成評(píng)價(jià)模型。

（2）通過(guò)信息化手段，形成學(xué)習(xí)者發(fā)展性評(píng)價(jià)以及個(gè)性化學(xué)習(xí)建議。采用數(shù)據(jù)挖掘相關(guān)算法，對(duì)學(xué)習(xí)行為數(shù)據(jù)加以分析，形成可供教師和學(xué)習(xí)者參考的學(xué)習(xí)效果評(píng)價(jià)、建議及預(yù)警等，使得評(píng)價(jià)結(jié)果更具全面性和系統(tǒng)性。

（3）研究成果的應(yīng)用和評(píng)估。檢驗(yàn)研究所形成的MOOC學(xué)習(xí)效果評(píng)價(jià)模型的可操作性，不斷完善模型參數(shù)，更加全面、客觀地展示學(xué)生的學(xué)習(xí)效果和情況，為學(xué)習(xí)者個(gè)性化學(xué)習(xí)奠定良好的基礎(chǔ)。

2.2 研究思路和方法

研究思路為：以MOOC學(xué)習(xí)者的學(xué)習(xí)行為為研究對(duì)象，通過(guò)調(diào)研對(duì)學(xué)生者學(xué)習(xí)行為進(jìn)行分類，并設(shè)定不同的指標(biāo)權(quán)重，構(gòu)建適用于MOOC的學(xué)習(xí)效果評(píng)價(jià)模型；依據(jù)數(shù)據(jù)挖掘技術(shù)，對(duì)學(xué)習(xí)者學(xué)習(xí)行為數(shù)據(jù)進(jìn)行分析，形成學(xué)習(xí)者個(gè)性化、發(fā)展性的評(píng)價(jià)意見(jiàn)。具體研究方法包含數(shù)據(jù)準(zhǔn)備、模型建立、信息化分析以及應(yīng)用實(shí)踐，具體如下：

數(shù)據(jù)準(zhǔn)備：從中國(guó)大學(xué)MOOC平臺(tái)獲取學(xué)生的學(xué)習(xí)行為數(shù)據(jù)，采用數(shù)據(jù)清理方式將數(shù)據(jù)轉(zhuǎn)換為樣本數(shù)據(jù)集。

模型建立：采用討論、調(diào)研、比較的方式確定不同的學(xué)習(xí)行為的指標(biāo)權(quán)重，在此基礎(chǔ)上構(gòu)建學(xué)校效果評(píng)價(jià)模型。

信息化分析：采用數(shù)據(jù)挖掘算法等信息手段，對(duì)學(xué)習(xí)行為數(shù)據(jù)進(jìn)行分析，產(chǎn)生過(guò)程性評(píng)價(jià)，及時(shí)給出學(xué)習(xí)者相關(guān)學(xué)習(xí)建議及預(yù)警，實(shí)現(xiàn)有針對(duì)性的因材施教。

應(yīng)用實(shí)踐：將評(píng)價(jià)模型應(yīng)用于多門(mén)學(xué)科的實(shí)踐教學(xué)中，并不斷優(yōu)化模型參數(shù)，最終形成一個(gè)準(zhǔn)確性較高性能較好的評(píng)價(jià)模型，用于MOOC學(xué)習(xí)者學(xué)習(xí)效果評(píng)價(jià)。

2.3 研究框架

研究目標(biāo)為基于MOOC的學(xué)習(xí)者學(xué)習(xí)效果評(píng)價(jià)，在此基礎(chǔ)上，通過(guò)文獻(xiàn)研究和調(diào)研獲得基于MOOC的學(xué)習(xí)者學(xué)習(xí)效果評(píng)價(jià)研究現(xiàn)狀，通過(guò)學(xué)習(xí)行為分類及指標(biāo)權(quán)重、數(shù)據(jù)挖掘、模型迭代三種技術(shù)獲得基于MOOC的學(xué)習(xí)者學(xué)習(xí)效果評(píng)價(jià)模型，產(chǎn)生對(duì)學(xué)習(xí)者評(píng)價(jià)及建議的方法，再通過(guò)實(shí)踐教學(xué)，對(duì)模型進(jìn)行驗(yàn)證，優(yōu)化參數(shù)，從而產(chǎn)生合理的、客觀的學(xué)習(xí)效果評(píng)價(jià)方法。具體框架如圖1所示。

3 方法實(shí)現(xiàn)

方法實(shí)現(xiàn)由2部分組成：獲取最終評(píng)分以及產(chǎn)生學(xué)習(xí)評(píng)價(jià)。

3.1 獲取最終評(píng)分

首先，本文采用文獻(xiàn)[10]提出的“專家排序法”為MOOC上的各項(xiàng)行為產(chǎn)生權(quán)重。“專家排序法”具備易于操作、結(jié)果客觀可靠的特點(diǎn)在評(píng)價(jià)體系中被廣泛采用。專家排序法需先確定專家數(shù)P和評(píng)價(jià)的指標(biāo)個(gè)數(shù)I，然后由專家為每個(gè)指標(biāo)從1至I進(jìn)行排序，再根據(jù)公式（1）計(jì)算出每個(gè)指標(biāo)的權(quán)值：

其中，Wi為第i項(xiàng)指標(biāo)的權(quán)重值，sum(Sort)為該項(xiàng)權(quán)重排序值的總和。在MOOC中，學(xué)習(xí)行為指標(biāo)主要分為視頻觀看、作業(yè)、討論、測(cè)驗(yàn)以及期末考試。按照專家排序法以及公式（1），計(jì)算得到了這四項(xiàng)指標(biāo)的權(quán)重值，如表1所示。

圖1 基于MOOC的學(xué)習(xí)者學(xué)習(xí)效果評(píng)價(jià)框架

表1 學(xué)習(xí)行為指標(biāo)的權(quán)重值

每項(xiàng)學(xué)習(xí)行為總分為100分，說(shuō)明如下：

（1）視頻觀看

根據(jù)以往數(shù)據(jù)經(jīng)驗(yàn)，視頻觀看時(shí)間長(zhǎng)度與學(xué)習(xí)效果正相關(guān)。具體來(lái)說(shuō)，若學(xué)習(xí)者未觀看視頻，得分為0分；剩下學(xué)習(xí)者以視頻原時(shí)間長(zhǎng)度為基準(zhǔn)，觀看時(shí)長(zhǎng)等于原視頻長(zhǎng)度，得分為80分；觀看時(shí)長(zhǎng)超過(guò)原長(zhǎng)度25%以內(nèi)，得分為90分；觀看時(shí)長(zhǎng)超過(guò)原長(zhǎng)度25%以上，得分為100分；觀看時(shí)長(zhǎng)低于原長(zhǎng)度25%以內(nèi)，得分為60；觀看時(shí)長(zhǎng)低于原長(zhǎng)度25%以上，得分為40分。

（2）作業(yè)

作業(yè)分為教師批改和同伴互評(píng)兩種。通常，教師批改獲得的分值較為客觀；而同伴互評(píng)是指基于教師給定的評(píng)價(jià)標(biāo)準(zhǔn)，學(xué)習(xí)者的作業(yè)被分配至其他學(xué)習(xí)者進(jìn)行評(píng)價(jià)的一種方式。同伴互評(píng)具有一定的主觀性，為了獲得可靠的評(píng)分，本文采用文獻(xiàn)[11]中的基于訓(xùn)練的同伴互評(píng)推薦策略進(jìn)行評(píng)分，該策略中，先對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練，通過(guò)算法對(duì)每位學(xué)習(xí)者評(píng)價(jià)特征進(jìn)行分類，并將同類型的學(xué)習(xí)者作為推薦列表，教師根據(jù)列表選擇評(píng)價(jià)者的方式將互評(píng)者劃分為組，從而獲得更為客觀的評(píng)分?jǐn)?shù)據(jù)。

（3）討論

此項(xiàng)獲取的分值主要依賴于學(xué)習(xí)者討論參與度的情況。如課程設(shè)置了40個(gè)討論，學(xué)習(xí)者參與了其中10個(gè)討論，則討論參與度為25%。若討論參與度大于等于80%，得分為100分；討論參與度在60%~80%之間，得分為80分；討論參與度在40%~60%之間，得分為60分；討論參與度在10%~40%之間，得分為40分；討論參與度在0%~10%之間，得分為20分；未參與討論的學(xué)習(xí)者，得分為0分。

（4）測(cè)驗(yàn)

此項(xiàng)按照不同測(cè)驗(yàn)的重要程度劃分二級(jí)權(quán)重值，但二級(jí)權(quán)重值的和必須為1，總分仍為100分。

（5）期末考試

在MOOC中，每門(mén)課程設(shè)置了題庫(kù)，由系統(tǒng)隨機(jī)生成試題，每份試題的滿分值為100，根據(jù)學(xué)習(xí)者實(shí)際的考試成績(jī)得分。

學(xué)習(xí)者最終的評(píng)分由公式（2）獲得。

其中，Gradei表示第i位學(xué)生的最終評(píng)分，Itemj表示第i位學(xué)生的第j項(xiàng)學(xué)習(xí)行為指標(biāo)的得分，Wj表示第j項(xiàng)學(xué)習(xí)行為指標(biāo)的權(quán)重值。

3.2 產(chǎn)生學(xué)習(xí)評(píng)價(jià)

本小節(jié)使用數(shù)據(jù)挖掘相關(guān)算法對(duì)數(shù)據(jù)進(jìn)行分析，通過(guò)設(shè)置學(xué)習(xí)周期，為學(xué)習(xí)者評(píng)估學(xué)習(xí)效果，學(xué)習(xí)效果的評(píng)估如算法1所示。

算法1：

輸入：課程名，班級(jí)，時(shí)間段

輸出：評(píng)分，評(píng)價(jià)信息

1. Read Stu_Data into Student_Info;

2. DataClean();

3. FOREACH Student IN Student_Info

4. BEGIN

6.Generate_Suggestion(Student,G radei);

7.END

算法1中的1~2行先將MOOC中的學(xué)生數(shù)據(jù)讀入表Student_Info，并清洗表中的錯(cuò)誤以及冗余數(shù)據(jù)以備分析；算法的3~7行按照各項(xiàng)學(xué)習(xí)行為的權(quán)重設(shè)置，為每位學(xué)習(xí)者計(jì)算綜合得分，并產(chǎn)生個(gè)性化建議。

其中，Generate_Suggestion()算法基于數(shù)據(jù)挖掘中的回歸分析方法，找出學(xué)生得分與潛在因素如課程參與度、積極性、觀看視頻長(zhǎng)短等的關(guān)聯(lián)度，從而挖掘?qū)W生學(xué)習(xí)的特征，找出學(xué)業(yè)不佳的潛在因素，并提出預(yù)警。

算法2：Generate_Suggestion(Student,G radei)：

輸入：第i位學(xué)生信息，第i位學(xué)生的綜合成績(jī)

輸出：評(píng)價(jià)及建議信息

1. IF SCORE>80

2. Type=“學(xué)習(xí)積極者”;

3. ELSE IF SCORE>=60 AND SCORE<80

4. Type=“學(xué)習(xí)搖擺者”;

5. ELSE

6. Type=“學(xué)習(xí)預(yù)警者”;

7. IF TYPE=“學(xué)習(xí)預(yù)警者”

8. FOREACH I IN評(píng)分標(biāo)準(zhǔn)

9. BEGIN

10.IF I

11.BEGIN

12.RegressionAnalysis()

13.GetAdvice(評(píng)分)

14.END

15.END

算法2中的1~6行根據(jù)計(jì)算獲取得分，為學(xué)習(xí)者進(jìn)行分類，主要分為三類：學(xué)習(xí)積極者、學(xué)習(xí)搖擺者以及學(xué)習(xí)預(yù)警者。當(dāng)學(xué)習(xí)者為學(xué)習(xí)預(yù)警者類別時(shí)，則調(diào)用12行中的回歸分析算法分析每一項(xiàng)學(xué)習(xí)數(shù)據(jù)，并由13行根據(jù)評(píng)分給出學(xué)生學(xué)習(xí)建議。

3.3 應(yīng)用

將本文所提出方法在計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)2020級(jí)的數(shù)據(jù)庫(kù)原理與應(yīng)用課程進(jìn)行實(shí)驗(yàn)驗(yàn)證。該課程采用了混合式教學(xué)，16周課時(shí)，共有372人選課。該課程包含43個(gè)視頻共計(jì)336分鐘，設(shè)置測(cè)驗(yàn)和作業(yè)分別為9次，發(fā)布討論9個(gè)，期末考試1次。

組織學(xué)習(xí)者對(duì)課程進(jìn)行學(xué)習(xí)，學(xué)習(xí)過(guò)程中，實(shí)驗(yàn)中將學(xué)生按綜合成績(jī)分為A和B兩組，兩組同學(xué)成績(jī)相當(dāng)，A組學(xué)生采用2種方式進(jìn)行評(píng)價(jià)，方式1基于本文提出的學(xué)習(xí)效果評(píng)價(jià)模型進(jìn)行評(píng)價(jià)，以2周為一個(gè)周期，當(dāng)評(píng)價(jià)結(jié)果為學(xué)習(xí)預(yù)警者時(shí)，則及時(shí)反饋學(xué)習(xí)者近2周的學(xué)習(xí)評(píng)價(jià)以及給出算法生成的建議，同時(shí)對(duì)于學(xué)習(xí)積極者給出表彰。方式2采用傳統(tǒng)的方式即期末考試成績(jī)進(jìn)行評(píng)價(jià)。B組學(xué)生在學(xué)習(xí)過(guò)程中，不干預(yù)學(xué)生的學(xué)習(xí)行為，僅采用方式2進(jìn)行評(píng)價(jià)。為了驗(yàn)證實(shí)驗(yàn)效果，本文進(jìn)行了3次實(shí)驗(yàn)。

實(shí)驗(yàn)1：選取4~10周的學(xué)習(xí)行為數(shù)據(jù)，對(duì)學(xué)習(xí)者的學(xué)習(xí)效果進(jìn)行了分析，分析結(jié)果如表2所示。分析發(fā)現(xiàn)，對(duì)于A組學(xué)習(xí)者而言，隨著學(xué)習(xí)的深入，學(xué)習(xí)積極者呈現(xiàn)增長(zhǎng)趨勢(shì)，而學(xué)習(xí)預(yù)警者則逐步減少；而B(niǎo)組的結(jié)果有些不同，其中學(xué)習(xí)積極者變化不大，但學(xué)習(xí)預(yù)警者的比例逐漸增多，也意味著越來(lái)越多的學(xué)習(xí)搖擺者加入到這一行列。

表2 學(xué)習(xí)者學(xué)習(xí)效果比較

實(shí)驗(yàn)2：將A組學(xué)習(xí)者的兩種評(píng)價(jià)方式進(jìn)行比較，分析發(fā)現(xiàn)，兩種評(píng)價(jià)方式得到的評(píng)價(jià)結(jié)果存在一定的分值差，其中92%的學(xué)習(xí)者分值差集中在5~20分內(nèi)，少數(shù)學(xué)習(xí)者的分值差分布在兩端，比較結(jié)果如表3所示。

表3 A組學(xué)習(xí)者的兩種評(píng)價(jià)方式比較

實(shí)驗(yàn)3：對(duì)A組學(xué)習(xí)者進(jìn)行了問(wèn)卷調(diào)查，調(diào)查問(wèn)題主要涉及兩種評(píng)價(jià)方式哪種更為客觀，更接近本人的真實(shí)水平？調(diào)查結(jié)果顯示，絕大部分學(xué)習(xí)者更認(rèn)可方式1的評(píng)價(jià)方法，問(wèn)卷調(diào)查結(jié)果如表4所示。

表4 問(wèn)卷調(diào)查

實(shí)踐表明，本文所用方法能有效提高學(xué)習(xí)者學(xué)習(xí)效果，客觀反映了學(xué)習(xí)者的學(xué)習(xí)情況，體現(xiàn)了個(gè)性化學(xué)習(xí)的特征，為人才培養(yǎng)提供了理論依據(jù)及實(shí)踐路徑。

4 結(jié)語(yǔ)

本文基于MOOC，采集學(xué)習(xí)者所有學(xué)習(xí)行為數(shù)據(jù)，并通過(guò)權(quán)值以及數(shù)據(jù)挖掘算法對(duì)相關(guān)數(shù)據(jù)進(jìn)行分析，并對(duì)學(xué)習(xí)者產(chǎn)生個(gè)性化、發(fā)展性建議。實(shí)踐表明，本文提出的方法能有效提高學(xué)習(xí)者學(xué)習(xí)成績(jī)，更為全面、客觀地評(píng)價(jià)學(xué)習(xí)者的學(xué)習(xí)效果。