基于數(shù)據(jù)挖掘的開放教育在線學(xué)習(xí)者學(xué)業(yè)行為分析與成績預(yù)測

○王 娟 趙東偉 劉法倫 張祥龍 熊 煒

一、引言

開放教育是借助現(xiàn)代網(wǎng)絡(luò)信息技術(shù)面向社會成員開展的一種遠程網(wǎng)絡(luò)教育形式，誕生于1999年，其辦學(xué)主體為國家開放大學(xué)及各地開放大學(xué)（原為廣播電視大學(xué)），歷經(jīng)20多年的發(fā)展，現(xiàn)已成為我國高等教育的重要組成部分。開放教育的教育對象一直以來主要以在職社會成員為主。為了適應(yīng)在職學(xué)習(xí)者的學(xué)習(xí)規(guī)律與特點，國家開放大學(xué)于2015年秋季學(xué)期開始使用國家開放大學(xué)學(xué)習(xí)網(wǎng)（以下簡稱國開學(xué)習(xí)網(wǎng)）進行在線學(xué)習(xí)及教學(xué)活動。以山東開放大學(xué)為例，截至2021年春季學(xué)期，國開學(xué)習(xí)網(wǎng)山東分部注冊學(xué)習(xí)者人數(shù)超52萬人，在籍學(xué)習(xí)者人數(shù)超19萬人，注冊教師人數(shù)超3000人。這些數(shù)據(jù)都標(biāo)志著國開學(xué)習(xí)網(wǎng)已成為開放教育學(xué)習(xí)者在線學(xué)習(xí)活動及教師在線教學(xué)的主要平臺。然而，國開學(xué)習(xí)網(wǎng)在使用過程中也存在不少弊端，例如，其在分析學(xué)習(xí)者學(xué)習(xí)行為數(shù)據(jù)及教師教學(xué)行為數(shù)據(jù)方面的功能不強，導(dǎo)致無法及時為學(xué)習(xí)存在問題的學(xué)習(xí)者形成及時有效的反饋信息，使得學(xué)習(xí)者最終的學(xué)習(xí)效果不夠理想。

通過對國內(nèi)外相關(guān)文獻的研究發(fā)現(xiàn)，根據(jù)學(xué)習(xí)者的學(xué)習(xí)行為數(shù)據(jù)可進行學(xué)業(yè)分析及成績風(fēng)險預(yù)測，也可根據(jù)分析及預(yù)測結(jié)果進行教學(xué)干預(yù)，達到改善學(xué)習(xí)者學(xué)習(xí)效果的目的[1][2]；同時，據(jù)不完全統(tǒng)計，在相關(guān)研究文獻中，用教育數(shù)據(jù)挖掘的研究方法，對在線學(xué)習(xí)行為的分析研究對象大多集中在MOOC平臺、成人繼續(xù)教育平臺的在線學(xué)習(xí)者[3][4]?；陂_放教育學(xué)習(xí)者的在線學(xué)習(xí)行為的研究較少。為此，本研究在借鑒國內(nèi)外研究經(jīng)驗的基礎(chǔ)上，基于國開學(xué)習(xí)網(wǎng)平臺的課程數(shù)據(jù)，運用教育數(shù)據(jù)挖掘的研究方法，分析開放教育在線學(xué)習(xí)者學(xué)業(yè)行為與成績特點，并探索基于在線學(xué)習(xí)行為能有效預(yù)測在線學(xué)習(xí)者學(xué)業(yè)成績的算法模型，以期為開放教育管課教師了解學(xué)習(xí)者在線學(xué)習(xí)情況、學(xué)習(xí)者提高在線學(xué)習(xí)效果、管理者優(yōu)化教育決策提供有益的參考。

二、研究設(shè)計

本研究以某開放大學(xué)在國開學(xué)習(xí)網(wǎng)開展的一門思政課程為例，進行在線學(xué)習(xí)者學(xué)業(yè)分析，并試圖構(gòu)建學(xué)業(yè)成績預(yù)測模型，揭示可能蘊含的教學(xué)特征，以期提出可操作的教學(xué)干預(yù)措施。整體研究過程如下圖 1 所示[5][6]：①從國開學(xué)習(xí)網(wǎng)的報表系統(tǒng)采集學(xué)習(xí)者在線學(xué)習(xí)行為數(shù)據(jù)，并從國開學(xué)習(xí)網(wǎng)的Moodle平臺采集學(xué)習(xí)者的成績數(shù)據(jù)，然后使用Excel、SPSS、Python等工具進行在線學(xué)習(xí)行為數(shù)據(jù)和學(xué)業(yè)成績數(shù)據(jù)的預(yù)處理，包含數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)規(guī)約、數(shù)據(jù)歸一化和離散化四個步驟，篩選出輸入、輸出變量；②基于SPSS統(tǒng)計分析工具，采用Pearson、Spearman和Kendall等統(tǒng)計算法分析在線學(xué)習(xí)者學(xué)業(yè)行為與成績的相關(guān)性特點；③基于Python編程工具，借助神經(jīng)網(wǎng)絡(luò)、決策樹、K最近鄰、樸素貝葉斯、支持向量機等5種監(jiān)督分類算法進行學(xué)業(yè)成績的分類預(yù)測，并對各分類算法進行評估，確定最優(yōu)成績分類預(yù)測模型；④根據(jù)研究結(jié)果給出教學(xué)干預(yù)的建議，反饋教學(xué)過程。

圖1 整體研究過程

三、數(shù)據(jù)采集與預(yù)處理

首先，從國開學(xué)習(xí)網(wǎng)報表系統(tǒng)采集了學(xué)習(xí)者學(xué)習(xí)課程的行為數(shù)據(jù)，原始屬性包含學(xué)習(xí)者行為總數(shù)、瀏覽數(shù)、瀏覽活動數(shù)、瀏覽資源數(shù)、發(fā)帖數(shù)、回帖數(shù)等行為數(shù)據(jù)。然后從Moodle平臺采集了學(xué)習(xí)者取得的成績數(shù)據(jù)，原始屬性包含形成性考核成績（以下簡稱形考成績）、終結(jié)性考核成績（以下簡稱終考成績）和綜合成績。本研究重點分析學(xué)習(xí)者在線具體學(xué)習(xí)行為對成績的影響，所以已排除該課程雙及格要求對綜合成績的影響。

其次，對采集到的學(xué)習(xí)者學(xué)業(yè)行為數(shù)據(jù)和成績數(shù)據(jù)進行數(shù)據(jù)預(yù)處理，包含數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)規(guī)約、數(shù)據(jù)歸一化和離散化四個步驟。①數(shù)據(jù)清理：刪除明顯的缺失值數(shù)據(jù)或異常數(shù)據(jù)。例如，學(xué)習(xí)者因各種原因未參加或未完成學(xué)習(xí)任務(wù)，無完整的學(xué)習(xí)行為或成績數(shù)據(jù)。又如，輔導(dǎo)教師未按時提交學(xué)習(xí)者學(xué)習(xí)行為表現(xiàn)得分或批閱大作業(yè)，導(dǎo)致學(xué)習(xí)者終考成績數(shù)據(jù)缺失，這部分?jǐn)?shù)據(jù)的研究意義不大，需要在數(shù)據(jù)集中剔除。通過數(shù)據(jù)清理，具有研究價值的數(shù)據(jù)只有7065個（約占原數(shù)據(jù)集的60%）。②數(shù)據(jù)集成：根據(jù)學(xué)習(xí)者學(xué)號這一唯一關(guān)鍵值將同一學(xué)習(xí)者個體的學(xué)習(xí)行為數(shù)據(jù)與成績數(shù)據(jù)進行整合集成。③數(shù)據(jù)規(guī)約：為了更加明確地確定學(xué)習(xí)行為的具體影響因素，增加瀏覽其他信息數(shù)和行為動作數(shù)兩列數(shù)據(jù)，刪除行為總數(shù)、瀏覽數(shù)兩列數(shù)據(jù)，同時進行數(shù)據(jù)降維操作。因在7065個學(xué)習(xí)者數(shù)據(jù)中的發(fā)帖數(shù)（僅占1.3%）、回帖數(shù)（僅占0.02%）占比極少，而且學(xué)習(xí)者的發(fā)帖、回帖行為已在行為動作數(shù)中有所體現(xiàn)，所以刪除發(fā)帖數(shù)、回帖數(shù)兩列，最終確定的在線學(xué)習(xí)者學(xué)業(yè)行為指標(biāo)屬性集如表1所示。然后利用SPSS的箱線圖刪除數(shù)據(jù)的離群值，最終獲取5711個學(xué)習(xí)者數(shù)據(jù)樣本做進一步的研究。④數(shù)據(jù)歸一化和離散化：為了統(tǒng)一各項數(shù)據(jù)的衡量標(biāo)準(zhǔn)，避免數(shù)據(jù)類型和單位的影響，利用Phython編程工具[7]對數(shù)據(jù)進行歸一化處理，將數(shù)值取值范圍映射到[0，1]區(qū)間內(nèi)。同時，為了在學(xué)業(yè)成績預(yù)測中運用各種監(jiān)督分類算法，對所有的成績數(shù)據(jù)進行離散化處理，將≥60分的及格成績用1表示，將＜60分的不及格成績用0表示。

表1 在線學(xué)習(xí)者學(xué)業(yè)行為指標(biāo)屬性集

四、在線學(xué)習(xí)行為與學(xué)業(yè)成績的相關(guān)性分析

在數(shù)據(jù)采集與預(yù)處理的基礎(chǔ)上，本研究提取了如上表1所示的4項在線學(xué)習(xí)行為數(shù)據(jù)，3項學(xué)業(yè)成績數(shù)據(jù)，共計5711個學(xué)習(xí)者數(shù)據(jù)樣本進行在線學(xué)習(xí)行為與學(xué)業(yè)成績的相關(guān)性分析。根據(jù)數(shù)據(jù)的不同特點，一般來說，通常采用3個系數(shù)進行相關(guān)性的描述，分別為Pearson相關(guān)系數(shù)、Spearman相關(guān)系數(shù)和Kendall相關(guān)系數(shù)[8]。本研究采用SPSS統(tǒng)計分析工具對歸一化后的在線學(xué)習(xí)行為數(shù)據(jù)和學(xué)業(yè)成績數(shù)據(jù)進行Pearson相關(guān)性分析，并用Spearman相關(guān)系數(shù)和Kendall相關(guān)系數(shù)進行分析結(jié)果的驗證。Pearson相關(guān)分析法得到的相關(guān)系數(shù)矩陣如下表2所示。

表2 在線學(xué)習(xí)行為與學(xué)業(yè)成績相關(guān)系數(shù)矩陣

為了防止數(shù)據(jù)的不同特點影響分析結(jié)果，本研究繼續(xù)用Spearman相關(guān)系數(shù)和Kendall相關(guān)系數(shù)進行了上述相關(guān)性分析結(jié)果的驗證。Spearman相關(guān)系數(shù)和Kendall相關(guān)系數(shù)結(jié)果矩陣雖然在數(shù)值大小上與Pearson相關(guān)系數(shù)不同，但是得出的結(jié)論卻是一致的。所以，本研究將依據(jù)Pearson相關(guān)系數(shù)矩陣結(jié)果進行分析，通過上述結(jié)果矩陣可知，上述4項在線學(xué)習(xí)行為與各類成績之間均呈現(xiàn)相關(guān)關(guān)系。其中，①瀏覽活動數(shù)、行為動作數(shù)與形考成績的相關(guān)系數(shù)在0.7以上，說明這兩項學(xué)習(xí)行為與形考成績之間存在強相關(guān)性，瀏覽其他信息數(shù)與形考成績的相關(guān)系數(shù)在0.4—0.7之間，說明這項學(xué)習(xí)行為與形考成績之間存在顯著相關(guān)性，瀏覽資源數(shù)與形考成績的相關(guān)系數(shù)在0.4以下，說明這項學(xué)習(xí)行為與形考成績之間存在弱相關(guān)性。由此可見，瀏覽資源數(shù)對形考成績影響不大，而學(xué)習(xí)者通過參加作業(yè)、測驗等學(xué)習(xí)活動對形考成績的影響較大。②瀏覽活動數(shù)、瀏覽資源數(shù)、瀏覽其他信息數(shù)、行為動作數(shù)與終考成績的相關(guān)系統(tǒng)均在0.4以下，說明這4項學(xué)習(xí)行為均與終考成績之間存在弱相關(guān)性。這說明終考成績的取得與學(xué)習(xí)者本身的學(xué)習(xí)行為關(guān)系不大，受教師在線批閱行為的影響比較大。③瀏覽活動數(shù)、行為動作數(shù)與綜合成績的相關(guān)系統(tǒng)在0.4—0.7之間，說明這2項學(xué)習(xí)行為與綜合成績之間存在顯著相關(guān)性，瀏覽資源數(shù)、瀏覽其他信息數(shù)與綜合成績的相關(guān)系統(tǒng)在0.4以下，說明這2項學(xué)習(xí)行為與綜合成績之間存在弱相關(guān)性。如上表1所示，因綜合成績是形考成績與終考成績的加權(quán)平均值，相關(guān)性分析結(jié)果也表明各學(xué)習(xí)行為對綜合成績的影響是介于其對形考成績、終考成績的影響之間，所以分析結(jié)果是合理的。

五、學(xué)業(yè)成績的分類預(yù)測

數(shù)據(jù)挖掘常用的分類算法有：神經(jīng)網(wǎng)絡(luò)（ANN）、決策樹（DT）、K最近鄰（KNN）、樸素貝葉斯（NB）、支持向量機（SVC）等監(jiān)督分類算法[9]。本研究使用Python數(shù)據(jù)挖掘工具，采用上述五種分類算法進行學(xué)業(yè)成績的分類預(yù)測，并對各分類算法模型進行評估，確定最優(yōu)模型。具體思路：基于數(shù)據(jù)預(yù)處理的結(jié)果，將其中4項在線學(xué)習(xí)行為的歸一化數(shù)據(jù)作為輸入，離散化的形考成績、終考成績、綜合成績數(shù)據(jù)分別作為輸出，將5711個學(xué)習(xí)者數(shù)據(jù)樣本隨機分為訓(xùn)練集（70%）和測試集（30%），使用Python編程工具，采用不同分類算法實現(xiàn)了對形考成績、終考成績、綜合成績的分類預(yù)測。預(yù)測結(jié)果分別如下表3、表4、表5所示。

表3 不同分類算法的形考成績預(yù)測結(jié)果

表4 不同分類算法的終考成績預(yù)測結(jié)果

表5 不同分類算法的綜合成績預(yù)測結(jié)果

本研究選取了準(zhǔn)確率及宏平均計算方法得出的精確度、召回率、F1值等指標(biāo)，對上述5種算法模型進行評估。通過在線學(xué)習(xí)行為與學(xué)業(yè)成績的相關(guān)性分析，我們得知，瀏覽活動數(shù)、瀏覽資源數(shù)、瀏覽其他信息數(shù)、行為動作數(shù)四種學(xué)習(xí)行為與形考成績的相關(guān)性最強，與綜合成績的相關(guān)性次之，與終考成績（受教師主觀批閱行為的影響）的相關(guān)性最弱。上表3、4、5分別給出了使用5種不同的分類算法對形考成績、終考成績、綜合成績的預(yù)測結(jié)果。通過上述結(jié)果，我們發(fā)現(xiàn)，指標(biāo)之間相關(guān)性越強，預(yù)測分類效果越好，所以形考成績的預(yù)測效果最好，綜合成績次之，終考成績最差。

從形考成績的分類預(yù)測結(jié)果來看，K最近鄰（KNN）和支持向量機（SVC）的預(yù)測效果都不錯，準(zhǔn)確率均達到了0.91。從終考成績的預(yù)測結(jié)果來看，模型預(yù)測效果都不太理想，其中，部分算法對終考成績0（不及格）分類預(yù)測結(jié)果顯著不理想。例如：人工神經(jīng)網(wǎng)絡(luò)算法對測試樣本中不及格分類的預(yù)測準(zhǔn)確率為0，支持向量機（SVC）對測試樣本中不及格分類的預(yù)測表現(xiàn)也欠佳，召回率僅為0.27，F(xiàn)1值僅為0.37值，所以，在終考成績的預(yù)測方面，K最近鄰（KNN）算法模型最優(yōu)。從綜合成績的分類預(yù)測結(jié)果來看，K最近鄰（KNN）的各項預(yù)測指標(biāo)相比較而言都是最優(yōu)值。綜合來看，K最近鄰（KNN）算法得到的分類器性能在各類成績的預(yù)測中都表現(xiàn)較好。本研究將采用該算法構(gòu)建的模型進行學(xué)業(yè)成績預(yù)測，以便揭示在線學(xué)習(xí)者學(xué)業(yè)行為與成績之間的關(guān)系，盡早發(fā)現(xiàn)潛在風(fēng)險學(xué)習(xí)者，進行學(xué)業(yè)或教學(xué)提醒。

六、結(jié)論與建議

本研究基于國開學(xué)習(xí)網(wǎng)平臺的課程數(shù)據(jù)，首先采集了學(xué)習(xí)者學(xué)業(yè)行為數(shù)據(jù)和成績數(shù)據(jù)并對其進行了數(shù)據(jù)預(yù)處理；其次，運用Pearson、Spearman和Kendall等統(tǒng)計算法分析了在線學(xué)習(xí)者瀏覽活動數(shù)、瀏覽資源數(shù)、瀏覽其他信息數(shù)、行為動作數(shù)4項在線學(xué)習(xí)行為與形考、終考、綜合成績之間的相關(guān)關(guān)系；最后運用神經(jīng)網(wǎng)絡(luò)（ANN）、決策樹（DT）、K最近鄰（KNN）、樸素貝葉斯（NB）、支持向量機（SVC）等監(jiān)督分類算法進行了學(xué)業(yè)成績的分類預(yù)測，并對各分類算法模型進行了評估，確定了K最近鄰分類預(yù)測模型為最優(yōu)算法模型。主要結(jié)論及教學(xué)干預(yù)建議如下。

第一，在數(shù)據(jù)采集與預(yù)處理階段，我們發(fā)現(xiàn)約有40%的數(shù)據(jù)不具有研究價值。究其原因，從學(xué)習(xí)者角度來說，部分在線學(xué)習(xí)者的學(xué)習(xí)動機不強或者教師的教學(xué)指導(dǎo)不夠，導(dǎo)致學(xué)習(xí)者未按時或正確完成學(xué)習(xí)任務(wù)；從教師角度來說，部分輔導(dǎo)教師責(zé)任心不強或者業(yè)務(wù)不熟練，未按時在線提交學(xué)習(xí)者學(xué)習(xí)行為表現(xiàn)得分或批閱大作業(yè)，導(dǎo)致學(xué)習(xí)者成績數(shù)據(jù)的不完整。這就既要加強學(xué)習(xí)者的管理，提高學(xué)習(xí)者學(xué)習(xí)積極性，又要加強教師的管理，提高教學(xué)指導(dǎo)頻次與質(zhì)量，規(guī)范教學(xué)指導(dǎo)行為，改革教師工作量評價體系，切實提高教師的業(yè)務(wù)水平及責(zé)任心。同時，我們發(fā)現(xiàn)學(xué)習(xí)者在論壇的發(fā)帖、回帖數(shù)占比極少，說明學(xué)習(xí)者參與討論的積極性不高。并且，研究發(fā)現(xiàn)即使學(xué)習(xí)者存在論壇發(fā)帖、回帖行為，但是這部分學(xué)習(xí)者在論壇發(fā)表或回復(fù)的帖子基本屬于無效貼，說明學(xué)習(xí)者參與論壇討論的動機是被動的、功利的，對學(xué)業(yè)成績的影響幾乎微乎其微，這與遠程網(wǎng)絡(luò)教育對學(xué)習(xí)者學(xué)業(yè)表現(xiàn)的研究結(jié)果[10]一致。這就需要教學(xué)管理者對發(fā)帖、回帖的作用重新進行定位。

第二，在學(xué)習(xí)行為與學(xué)業(yè)成績的相關(guān)性分析方面，根據(jù)與形考、終考、綜合成績從強到弱的相關(guān)性，分別依次為瀏覽活動數(shù)、行為動作數(shù)、瀏覽其他信息數(shù)、瀏覽資源數(shù)，說明學(xué)習(xí)者更關(guān)注作業(yè)、測驗等結(jié)果性評價學(xué)習(xí)活動，對教學(xué)資源等過程性評價關(guān)注不高，但是學(xué)習(xí)的目的不僅僅為了獲取成績，還需要學(xué)習(xí)知識。這對教師制作的學(xué)習(xí)資源提出了更高的要求，教師需制作出更加高質(zhì)量的教學(xué)資源，提高學(xué)習(xí)者學(xué)習(xí)的興趣，激發(fā)學(xué)習(xí)者的學(xué)習(xí)動機；也對教師采取的課程評價方式提出了更高的要求，作業(yè)、測驗的難度須適中，并且與教學(xué)資源之間要有高度的匹配度；更對教師教學(xué)方式的創(chuàng)新提出了更高的要求，教師須創(chuàng)新在線教學(xué)設(shè)計，讓學(xué)習(xí)者學(xué)到有用的知識，實現(xiàn)教學(xué)目標(biāo)的要求。例如，在學(xué)習(xí)過程中，作業(yè)、測驗和教學(xué)資源之間加入適度的穿插，讓學(xué)習(xí)者在學(xué)習(xí)教學(xué)資源的過程中完成作業(yè)、測驗等學(xué)習(xí)活動。同時，本研究發(fā)現(xiàn)終考成績與4項在線學(xué)習(xí)行為的相關(guān)性都低于形考成績，因為終考成績除了受學(xué)習(xí)者學(xué)習(xí)行為的影響外，還受到教師教學(xué)行為的影響。這就要求教師須認真、按時批閱學(xué)習(xí)者提交的作業(yè)，避免影響學(xué)習(xí)者的成績。

第三，在學(xué)業(yè)成績的分類預(yù)測方面，綜合準(zhǔn)確率、精確度、召回率、F1值四種指標(biāo)，K最近鄰（KNN）算法得到的分類器的性能在各類成績的預(yù)測中優(yōu)于其他四類算法，通過采用K最近鄰（KNN）算法模型進行成績預(yù)測，可以較為準(zhǔn)確地揭示出在線學(xué)習(xí)者學(xué)業(yè)行為與成績之間的關(guān)系，發(fā)現(xiàn)潛在風(fēng)險學(xué)習(xí)者，提前進行學(xué)業(yè)或教學(xué)提醒。

七、研究局限與展望

本研究雖然運用教育數(shù)據(jù)挖掘技術(shù)對國開學(xué)習(xí)網(wǎng)在線學(xué)習(xí)者學(xué)業(yè)成績的分析與預(yù)測進行了探究，但仍存在局限性，后期還可以在以下幾個方面作進一步的研究。

1.受限于國開學(xué)習(xí)網(wǎng)在線學(xué)習(xí)行為數(shù)據(jù)的統(tǒng)計功能，目前只能采集到在線學(xué)習(xí)者瀏覽活動數(shù)、瀏覽資源數(shù)、瀏覽其他信息數(shù)、行為動作數(shù)4項學(xué)習(xí)行為，而且也不夠具體，在后續(xù)研究中可考慮運用更多的技術(shù)手段獲取開放教育在線學(xué)習(xí)者的更多學(xué)習(xí)行為進行綜合分析，以挖掘出更多關(guān)鍵信息。

2.本研究只選取了國開學(xué)習(xí)網(wǎng)一門課程數(shù)據(jù)進行研究分析，這門課程的考核形式不管是形考還是終考，都是在國開學(xué)習(xí)網(wǎng)平臺進行的。這是開放教育學(xué)習(xí)者多種考核形式中的一種類型，其他考核形式的課程，例如形考在國開學(xué)習(xí)網(wǎng)進行，終考采用機考或紙質(zhì)形式，并未在本研究范圍內(nèi)。后續(xù)可擴大研究范圍，例如，可對各種考核類型方式下的在線學(xué)習(xí)者學(xué)業(yè)行為及成績進行研究，提高普適性。

3.本研究只采用了神經(jīng)網(wǎng)絡(luò)（ANN）、決策樹（DT）、K最近鄰（KNN）、樸素貝葉斯（NB）、支持向量機（SVC）等5種監(jiān)督分類算法，在后續(xù)研究中，可對采用的算法優(yōu)化組合，達到更好的預(yù)測效果。