一種基于投票的ICT類課程學生在線學習成績預測模型

殷錫亮，張琳琳，羅 洋，楊興全，周德云

（1.哈爾濱職業技術學院 電子與信息工程學院，黑龍江 哈爾濱 150081；2.黑龍江交通職業技術學院 信息工程系，黑龍江 哈爾濱 150025；3.黑龍江職業學院 信息工程學院，黑龍江 哈爾濱 150070）

0 引言

2020 年初，各行各業因疫情受到不小影響。依據教育部“停課不停學”的指導意見，全國各高校普遍采用線上教學替代或補充線下教學的方式以開展教學活動，這一舉措為教學的順利開展提供了良好支撐。與線下教學相比，線上教學可獲得較好的教學效果［1-2］。然而，在線學習過程中，難免有學生因自律性差而導致學習效果不佳。針對這種情況，一種較好的途徑是利用在線教學平臺提供的學生學習過程數據，結合教學過程中進行的問答、測試等，設計學生學習預測模型。利用此模型，可以對預期學習效果不佳的學生進行提前預警，此外，還可對不同學生進行有的放矢地重點幫扶。

然而，近年來針對高等職業院校學生的在線學習預測模型研究少之又少。因此，本文通過對高職院校信息通訊技術（Information and Communication Technology，ICT）類課程的在線教學過程數據分析，提出了一種基于投票的學生在線學習成績預測模型，在學習過程的早期對學習效果不顯著的學生進行預警，從而幫助教師提高在線教學整體質量和效果。

1 相關工作

在線教學效果評估方法是近年來在線教學研究領域的重要方向之一。研究方向大致分為兩類：一類是對理論模型的研究，另一類是采用機器學習模型針對在線教學或學生學習效果給出具體指標。

廖卓凡等［3］提出一種雙循環互促的計算機專業課在線教學方法和評估設計框架。針對評估手段，采用高頻度低頻率作業與實驗配合自動化在線測試系統，隨之形成一個內循環，從而及時反饋教學效果。Hu 等［4］針對編程類課程提出一種多元學習評價模型，學習行為由數據流評估。數據流分為4 類，包括學習指導、理解創新、互動分享和學習支持。使用各項指標進行相關性分析，得到學習活動中生成的結構和非結構化的數據流，并將其作為參數體現在多元學習評估模型中，進而將結果可視化給學習者。從評價主體、評價內容和評價形式3 個維度對整個教學過程以及學生學習效果進行評價。根據在線教學平臺提供的數據，將學生分為3 種：①喜歡提問的學生；②喜歡回答問題的學生；③既不喜歡提問也不喜歡回答的學生。結合學生在線學習預測模型，建議教師或者教學管理者及時關注這類學生并進行必要干預。

郝翠萍［5］以“大學英語”為研究基礎，提出一種基于多元線性回歸的考試成績預測模型，分別以高考成績、平均成績、分級成績和期末卷面成績為特征自變量，以大學英語四級考試成績為目標變量，利用顯著性校驗剔除對目標變量影響較小的特征變量，最后利用3 個學期的期末考試成績對大學英語四級考試成績進行預測，獲得了較好效果。王濤濤等［6］使用“大學生就業指導”課程的在線學習數據，選擇討論區總帖子數量、總在線學習時間、同學評價、查看課程資源的次數、討論區回復帖子數量5 個特征作為自變量，使用二元邏輯回歸對學生該門課程的成績進行預測，準確率達77.3%。王改花等［7］以“現代教育技術”在線開放課程為研究對象，以學習時間跨度、平均在線學習停留時長、重復學習率、討論交流、學習筆記、期末考試成績為特征變量，并將該門課程總成績離散化為4 類，對學生該門課程的總成績進行分類預測。對比多種決策樹模型預測結果，對影響學生最終成績的因素進行分析。林青等［8］提出一種基于隨機森林的在線教學評估方法，使用其所在院校開設的《程序設計基礎》《大學計算機基礎》《線性代數》3 門課程的學生在線學習數據，選擇觀看網絡廣播視頻和PPT 時間、課堂問答、課后思考題、作業以及在線測試分數為特征變量，對學生最終學習成績進行分類預測。

此外，有研究人員針對學生的在線學習行為利用深度學習、計算機視覺等技術進行了更為細致的分析。文獻［9］提出一種基于眼動信號、音頻信號和視頻圖像的多模態情感識別方法，其核心是兩種新型的特征，一種稱為眼動坐標差特征，代表學習者的集中度，另一種稱為像素變化率序列，代表圖像切換速度。依據上述特征使用卷積神經網絡模型將在線學習者的在線學習情緒分為感興趣、高興、困惑和無聊4 類。李磊［10］基于人臉檢測和識別、頭部姿態估計、表情識別等計算機視覺技術，搭建面向在線教學效果評估的頭部姿態及表情識別系統，分析在線學習者的行為和情緒，根據檢測結果給出本次課程學員狀態的綜合評估結果。從理論角度出發，上述科學研究結果可用于發掘預測模型中的新特征。

然而，以上針對在線學習成績預測模型的實現方法都以普通本科教學為研究對象，且選擇課程面較窄，本文使用多種機器學習模型，以高職教學為研究對象，選取多門課程數據進行比對，提出一種新的基于投票的學生在線學習成績預測模型。

2 高等職業院校ICT類課程

課程是承載教學的基本單元，課程改革是目前高等職業教育改革的核心。高等職業院校專業課程教學與教學效果評估過程與普通本科院校存在明顯差異，例如強調能力培養、普遍采用過程性考核方法等。結合中國特色高水平職業院校建設要求，課程一般包含PPT、微課、教學視頻、試題庫、虛擬實訓平臺等多種教學資源。在教學過程中，教師會充分利用這些教學資源，提升教學效果。ICT 類課程開設于計算機、通信等專業，專業教師具備較高的信息技術素養，在利用多媒體等技術教學方面具有先天優勢。因此，在線上教學中，ICT 類課程教師可以充分地將在線教學平臺融入到教學過程［11］。

為深入貫徹“深化產教融合、校企合作”的根本任務，對接區域戰略性新興產業人才需求，依據行業崗位知識、能力、素質需求，對計算機、通信專業課程進行三維一體化的課程體系重構。其中，三維指對ICT 類課程進行三個維度的分割，第一個維度從知識層面分為基礎課、核心課和綜合課；第二個維度從技能層面分為信息技術（Information Technology，IT）工程師課程和通信技術（Communication Technology，CT）工程師課程；第三個維度從素質層面分為1+X 認證、企業初級認證和企業中級認證。一體化指以計算機網絡技術和移動通信技術專業為支撐，輻射相關專業并用類似模式形成一體化的ICT 集群。課程性質分為理論實踐結合和實踐課兩種。所有課程均配套相關的實訓軟件或平臺。由于ICT 類課程具備一定的共性，因此基于該類課程研究在線教學中學生的學習成績預測模型。ICT類課程體系如圖1所示。

3 基于投票的預測模型

3.1 投票模型

機器學習模型通常在訓練集上預測或者分類效果較好，而在測試集上效果較差，又或者在某一個數據集上效果較好，而更換另外一個數據集后性能變差。為了克服這種問題，集成學習應運而生，其原理是將多個弱學習器集成為一個強學習器，投票是集成學習中的一種，在金融［12］、商業［13］、醫學［14］、生態環境［15］、計算機科學［16］等領域均有較好的預測效果。投票模型框架如圖2所示。

Fig.2 Frame of voting model圖2 投票模型框架

投票模型一般分為硬投票和軟投票兩類。對于硬投票，其原理是首先統計集成模型中弱學習器的結果，然后選取票數最多的結果為最終結果；而軟投票是將若干分類器的平均結果作為最終的結果輸出，其中平均可以是算數平均值也可以是加權平均值［17-18］。該過程類似學生的學習過程，比如一個學生的論文提交給審稿人審閱，學術委員會根據不同審稿人的意見對學生論文的成績給予最終評定。因此，從理論角度出發，基于投票的集成學習在評估學生在線學習效果時具有可解釋性。

3.2 ICT類課程在線學習預測模型

對于ICT 類課程中的考試課程，教師往往需要對學生考試成績給出具體分數值，學習過程中，一般以學習進度（包括學生線上簽到、在線學習時長）、學習習慣（重復觀看視頻次數）、課堂互動（課堂問答）、平時成績（作業或任務完成情況）、項目測驗（階段性考核）等5 個方面衡量學生在線學習效果，記為特征向量x=［x1，x2，x3，x4，x5］。將最終考試成績記為y，因此可以建模為一個回歸問題。對于ICT類課程中的考查課程，只需要針對學生成績給出分級。在學習過程中，教師一般以出勤表現（學生線上簽到、在線學習時長）和課堂表現（課堂中任務完成情況、課后作業完成情況）衡量學生在線學習效果，記為特征向量xˉ=[x1，x2，x3，x4]。將最終考核成績記為yˉ∈[1，2，3，4，5]，與考試課程僅建模為回歸問題不同，考查課既可建立為回歸問題也可建立為分類問題。預測模型與回歸問題和分類問題無關，預測模型表達式為：

其中，n代表弱學習器的個數，wi代表第i個弱學習器的權重，fi代表第i個弱學習器的建模函數。當課程為考試課并且y<60 時或者當課程為考查課并且y=1 時，對學生進行學習預警。

4 應用實驗

4.1 實驗環境

本文實驗環境如表1所示。

Table 1 Experiment environment表1 實驗環境

4.2 實驗數據集

本文選取網絡技術應用、HCIA 進階2 門考試課，寬帶接入技術、Web 前端腳本技術、Python 程序設計3 門考查課程的在線教學過程數據為實驗數據集。其中，網絡技術應用是精品在線課，其余課程為一般課程。這些課程分別由3 個院校的5 名教師講授。有效參與在線學習的學生人數共計541 人。網絡技術應用與HCIA 進階課程較難，學生成績相對較差，不及格比例均超過20%。而另外3 門課程為考查課，學生成績相對較高，不及格學生占比低于0.5%。雖然考查課成績相對較高，預測模型對成績較差學生效果不顯著，但也可以作為教學過程中的輔助工具，引導學生取得更好的學習效果。5門課程的成績分布如圖3所示。

Fig.3 Distribution of the final academic achievements of different students in five courses圖3 5門課程的不同學生最終學習成績分布

4.3 實驗參數

對于回歸問題，分別使用線性回歸、決策樹、隨機森林、多層感知器、支持向量機回歸、K 近鄰、梯度提升、直方圖梯度提升等模型與投票模型進行比較。對于分類問題，分別使用邏輯回歸、決策樹、隨機森林、多層感知器、支持向量機、K 近鄰、梯度提升等模型與投票模型進行比較。投票由決策樹、隨機森林、梯度提升、支持向量機模型構成，選擇軟投票方法，權重選擇均勻分布。

首先使用最大最小化方法對特征向量進行預處理，然后使用交叉驗證法和格子搜索法分別尋找每個模型的超參數最優值，最后使用隨機抽樣法進行100 次實驗，取平均值作為每個模型的最終預測結果。實驗參數如表2所示。

Table 2 Experiment parameters表2 實驗參數

4.4 基于回歸模型的實驗結果

網絡技術課程有效在線學習學生人數為151 人，任課教師使用平時成績、學習進度、學習習慣、互動、章測試5個維度指標評測學生的在線學習過程情況，最后使用期末考試的方法測驗學生學習效果。在網絡技術課程數據集上，基于投票的預測模型的均方根誤差、絕對誤差和中值誤差分別為13.31、9.13 和6.7 分，其中只有中值誤差略高于隨機森林、決策樹和支持向量機模型，均方根誤差和絕對誤差均比其他模型低。使用線性回歸、決策樹、隨機森林、多層感知器、支持向量機、梯度提升、K 近鄰、直方圖梯度提升和投票模型構建的預測模型在網絡技術課程數據集上的誤差比較如圖4所示。

Fig.4 Comparison of prediction errors based on different machine learning model圖4 基于不同機器學習模型的預測誤差比較

此外，分別使用學習過程中的25%、50%、75%和100%進度數據對學生期末考試成績進行預測，得到基于投票的預測模型的誤差如表3所示。

Table 3 Prediction errors of prediction model based on voting under different learning rates表3 基于投票的預測模型在不同學習進度下的預測誤差

由表3 可知，基于投票的預測模型在不同學習進度條件下的誤差變化不大。使用網絡技術課程中的平時成績、學習進度、互動3 個特征維度進行最優模型參數搜索，再將模型用于HCIA 進階與光纖技術2 門課程數據集上。這兩門課程都采用課件學習、課堂活動和作業以評估學生平時在線學習效果，而在期末采用考試方式考核學生綜合學習效果。兩門課程共計有64 名學生有效參與在線學習，鑒于學生人數較少且教師采用相同的指標考核，將這兩門課合并進行預測。基于投票的預測模型的均方根誤差在10 分、12 分、14 分、16 分、18 分、20 分以內的概率分別為12%、29%、72%、86%、99%、100%。投票模型基于線性回歸、隨機森林、梯度提升3 種學習器集成，權重選擇均勻分布。各種預測模型的均方根誤差累積概率比較如圖5所示。

4.5 基于分類模型的實驗結果

對于Web 前端腳本技術，教師分別使用考勤、平時作業、答題、筆記和作品5 個維度衡量學生在線學習效果，對于Python 程序設計，教師分別使用出勤、作業、筆記、課堂表現4 個維度衡量學生在線學習效果。鑒于考勤中學生數據區分度較低，在本文實驗中將該維度特征剔除，使用剩余維度特征對學生期末成績給予分類預測。此外，由于學情因素，教師普遍采用鼓勵性的評估手段，在使用分類模型評估時會因為樣本不均衡導致性能下降。為了克服該因素，對此類課程均使用三分級制衡量學生最終成績。在進行模型訓練時，仍然采用邏輯回歸、決策樹、隨機森林、多層感知器、支持向量機、K 近鄰、梯度提升和投票共計8 種經典的分類模型進行比較。與上述回歸模型實驗方法類似，首先使用最大最小化方法對特征向量作預處理，然后使用交叉驗證法和格子搜索法分別尋找每個模型的超參數最優值，最后使用隨機抽樣法進行100 次實驗，取平均值作為每個模型的最終評估結果。圖6 展示了隨機測試中使用基于投票的預測模型在Python 程序設計課程數據集上的分類混淆矩陣。

Fig.6 Confusion matrix of prediction based on voting圖6 基于投票的預測混淆矩陣

在評估分類模型性能時，本文選擇準確率、加權平均召回率、加權平均精確率、加權平均F1 分數以及馬修斯系數共計5 項評估指標進行比較。在Web 前端腳本技術課程數據集的測試中，其測試集的各種分類評估指標對比如表4所示。

Table 4 Comparison of prediction metrics for classification model表4 分類模型預測指標對比表

通過分析表4 可知，Web 前端腳本技術和Python 程序設計兩門課程的成績分布相差較大，使用分類不均衡樣本構建的分類模型在評估測試集時性能較差，這意味著在構建考查課程的預測模型時需要預先進行數據清理，將類中的相近數據進行合并以使得數據分類更加均衡。此外，為了獲取更好的分類效果，教師應深度挖掘評估指標的內在關聯，或加入新的評估指標，如利用深度學習分析學生的學習態度或學習習慣。

綜上，基于投票的回歸預測模型在考試課及考查課上的預測結果優于使用分類預測模型在考查課上取得的預測結果。鑒于此，可以針對不同的課程選擇不同的弱學習器進行集成，且靈活性相對較高。

5 結語

線上教學將成為教學過程中不可或缺的一個有機組成部分。在高職ICT 類課程學生在線學習評估過程中，大多數教師采用了“過程性考核+期末考核”的方法。線上教學過程中，學生的學習自主性和自律性較差，根據學生在線學習數據提前預警，將起到非常重要的作用。因此，本文在過程性考核評價體系的基礎上，結合投票集成學習提出了一種效果更優的預測模型。通過對比仿真實驗可知，本文方法能夠獲得更低的預測誤差和相對較高的分類預測準確度。

下一步研究方向是結合深度學習模型對學生線上聽課過程的視頻進行分析，利用異常檢驗技術發現網絡學習欺詐行為、利用時間序列分析發現學習者的效率隨時間變化而變化的規律等，使得該預測模型能夠獲得更準確的預測結果。