基于增量學習算法的混合課程學生成績預測模型研究

羅楊洋　韓錫斌

[摘? ?要] 基于在線學習行為預測學生成績可以輔助教師動態掌握學情，制定差異化的教學策略，然而在混合課程中僅僅依據在線數據對學生成績進行預測難度很大，尚處于探索中。文章選取某高校2018秋季學期和2020春季學期的“高活躍型混合課程”學生在線行為數據，采用增量學習的隨機森林算法構建學生成績預測模型，研究發現：（1）增量學習隨機森林算法在混合課程樣本最多的數據集中，獲得預測結果準確率最高（75.1%）;（2）相較于批量學習隨機森林算法，增量學習算法在數據樣本量較多的數據集中預測結果準確率更高;（3）當樣本數量達到一定規模后，預測結果準確率波動減小、穩定性增強。本研究采用增量學習隨機森林算法預測混合課程中的學生成績，不僅取得了較好的預測準確率，而且解決了新增數據后模型的穩定性問題，將有助于模型的迭代優化，提高模型的通用性，以及可持續追蹤學生在不同學期的學習行為特征。

[關鍵詞] 學生成績預測; 混合課程; 增量學習算法; 隨機森林算法; 機器學習

[中圖分類號] G434? ? ? ? ? ? [文獻標志碼] A

[作者簡介] 羅楊洋（1989—），男，四川彭州人。博士研究生，主要從事高等教育和職業教育學習分析。E-mail：yy-luo17@mails.tsinghua.edu.cn。

一、引? ?言

結合了在線和面授教學優勢的混合課程已成為高等教育機構中廣為應用的教學形式。使用網絡教學平臺中記錄的學生學習過程數據，預測學生學習成績，輔助教師分析學情，制定教學策略，預警學生學習狀態是近年來混合課程研究領域的熱點[1]。然而混合課程的交互機制導致對學生成績進行預測是一項十分具有挑戰性的研究[2]。研究者在混合課程情境下構建學生成績預測模型涉及預測變量選擇、預測變量預處理、機器學習算法選擇、訓練樣本選擇等問題[3-4]。雖然已有研究通過收集一門混合課程中學生的在線學習數據，使用機器學習算法構建學習成績預測模型，并取得了可接受的預測結果準確率[5-7]，發現了對學習成績預測準確率較高的預測變量、預處理方法及機器學習算法。然而這些研究沒有討論訓練樣本的選擇問題。訓練樣本的數量及特征對機器學習算法，特別是增量學習算法構建的預測模型有顯著影響[8]。

另一方面，當前學者們提出的混合課程中學習成績預測模型都基于批量學習方式構建，這種方法有利于分析整個樣本中的整體特征，構建樣本的特征變量與結果變量之間的關系，但是得到的模型無法再接受新數據，不利于將已構建好的預測模型應用到其他課程[9]。相對于批量學習，增量學習方式的機器學習算法有望解決上述問題，且在完全在線課程的學習成績預測研究中已有應用[10]。本文旨在采用增量學習隨機森林算法，構建混合課程中的學生成績預測模型，比較增量學習和批量學習方式分類算法預測結果準確率的差異，分析混合課程中基于增量學習構建模型預測結果的穩定性。

二、文獻綜述

當前在混合課程情境下對學生成績的預測研究大多在一門課程中采用批量學習方式的機器學習算法，分析學生學習的整個歷史過程數據，構建學生成績預測模型[5-7]。在應用到實踐教學中時，批量學習算法構建的預測模型會因模型無法接收新數據而受到阻礙。雖有少量研究者嘗試使用增量學習方法構建學生成績預測模型，但還局限在完全在線課程中[10-11]。增量學習方法在訓練大量非平衡數據時會出現構建的預測模型結果準確率不穩定的問題，雖然已有研究探索了提升增量學習方法訓練非平衡樣本和大規模樣本（樣本數量大于1000）所獲預測模型結果穩定性和準確率的問題[8，12-13]，但數據樣本的特征及樣本的數量對增量方法構建預測模型產生的影響仍不清楚。本文研究在使用最新的增量學習方式的機器學習算法基礎上，分析混合課程情境下，利用學生學習過程數據構建學生成績預測模型時，學生樣本數量和樣本特征產生的影響。目前，使用增量學習方式的機器學習算法構建混合課程中的學生成績預測模型主要涉及兩個方面：混合課程學生成績預測研究和增量學習方式的算法在學生成績預測研究中的應用。

（一）混合課程學生成績預測研究進展

當前混合課程中預測學生的學習成績方法一般借鑒完全在線課程中的預測方法，即收集學生的歷史學習過程數據作為預測變量，收集學生的學習成績數據作為結果變量，通過機器學習的分類算法建立學習成績預測模型，進而采用預測模型預測學生未來的學習成績[4]。許多學者在混合課程中大多都基于隨機森林算法，使用一門課程中學生的學習行為數據構建學生成績預測模型[5-7]。然而這些研究中使用的機器學習算法以批量學習方式處理數據，批量學習是指在構建模型時將所有樣本一次性全部輸入[14]。這種方法有利于分析整個樣本中的整體特征，預測結果準確率較為穩定，而且有大量已實現的機器學習算法使用批量學習的數據處理方式，便于教育研究者直接應用，但是使用批量學習方式得到的預測模型無法再接收新數據[15]，從而影響模型的迭代優化。另一方面，一次性輸入學生的所有歷史學習過程數據構建學生成績預測模型的研究方式，也無法分析新增學生樣本對預測結果帶來的影響，不利于將已構建好的預測模型應用到其他課程，也不利于持續追蹤學生在不同學期的學習行為特征[9]。學習者在不同混合課程中并不會保持相同的學習行為特征，在本團隊以往的研究中發現，學生在不同類型的混合課程中，其學習行為數據對學習成績的預測準確率具有較大差異[16]。因此要發現一門混合課程中學生群體的個性化行為特征與學習成績的預測關系，需要使用該混合課程的數據不斷訓練學習成績預測模型。為此，當前亟須研究如何以增量學習數據處理方式的機器學習算法，在混合課程情境下構建學習成績預測模型。增量學習是每當有新的訓練數據輸入時，機器學習算法便根據新數據調整已構建模型的機器學習方法。與傳統學習方法最大的區別是增量學習方法不假設構建模型前就具有完備的訓練數據，訓練數據會在算法運行過程中隨時間推移不斷出現[17]。

批量學習與增量學習數據處理方式的機器學習算法構建模型過程差異如圖1所示。

綜上所述，當前在混合課程中基于學生在線行為預測學習成績的研究都是基于批量學習數據處理方式的機器學習算法構建預測模型，這種方法便于實現，能獲得所有樣本的整體特征，預測結果準確率較為穩定。然而這種方法也存在模型無法接收新數據，不利于模型的迭代優化，不利于將已構建好的預測模型應用到其他課程，也不利于持續追蹤學生在不同學期的學習行為特征的問題。相對于批量學習方式處理數據的機器學習算法，增量學習的方式有望解決上述問題，構建可持續追蹤學生學習過程的成績預測模型。

（二）增量學習方式在學生成績預測研究中的應用

增量學習方式的機器學習算法主要包含以下四種特征：（1） 可從新數據中提取知識;（2） 將數據加入到模型中學習時不需構建原始模型的原始數據;（3） 新數據中的知識不會覆蓋原始模型的知識;（4） 當新數據中包含的知識與原始模型沖突或超出原始模型時仍可被學習到新模型中[18]。通過增量學習方式生成的模型可根據新加入的訓練數據不斷擴展，代表了動態學習的技術。有研究者指出，隨著學生在各種網絡教學平臺中產生的學習過程數據不斷增長，學習者的學習過程不會中斷，無法斷言在某一時刻收集的數據能覆蓋該學習者的所有特征。批量學習方式的成績預測模型構建的是學習者在一段時間內，學習過程與學習結果的預測關系。研究者通常難以判斷這種預測關系在未來多長時間內有效，當前最成熟學習成績預測模型應用仍限于危機學生的分辨方面[19]。要充分發揮學生成績預測模型為師生教學決策帶來的輔助作用，構建動態分析學習者學習過程并預測學習結果的模型必不可少。研究者應用增量學習方式開展學生成績預測在少量完全在線教學案例中有過實踐，如Kulkarni & Ade的研究中對比了樸素貝葉斯、K星、IBK和K最鄰近算法，發現K最鄰近算法的預測結果準確率最高[11]。然而該研究中只對比了增量學習算法之間的預測結果準確率，增量算法與批量算法的預測結果準確率差異沒有對比。在Ade & Deshmukh的研究中發現增量學習算法對學生成績進行預測時結果準確率隨樣本增加而波動，且不會收斂到固定值，因此分析學生樣本特征對增量學習算法建模預測結果的影響也是需要研究的重要問題[20]。還有Sanchez-Santillan等人分析了使用增量學習算法構建了兩學期的學生成績的預測模型，在分別使用兩學期數據及兩學期數據合并三種數據集訓練的預測模型后發現，當其中一學期的預測結果準確率下降時會導致數據合并后的預測結果準確率下降[10]。

然而上述研究均在完全在線課程中開展，當前尚未發現有使用增量學習方式算法，分析混合課程中學生學習過程數據，預測學習成績的研究。增量學習方式能夠滿足教學場景中對學生動態、持續建模的需求，但使用增量學習算法預測混合課程中的學生成績仍面臨巨大挑戰。主要表現在兩個方面：（1）增量學習方式的算法面對非平衡數據時難以取得較好預測結果;（2）增量學習方式的算法存在預測結果準確率不穩定的問題，主要由新加入的數據特征沒有被算法識別引起[18]。該問題在近年來隨機森林算法的增量學習研究中取得了較大改善，為本研究奠定了基礎[8]。在混合課程使用中增量學習方式的算法構建學生成績預測模型還需分析樣本特征對預測結果的影響。

三、研究問題及研究方法

綜合前述文獻分析結果，提出以下研究問題：

研究問題1：使用增量學習與批量學習方式的算法構建的成績預測模型結果準確率有何差異？

研究問題2：混合課程中的樣本特征對增量學習構建的成績預測模型結果準確率有何影響？

在本團隊以往的研究中，收集了某大學2018年秋季學期的全部混合課程數據，依據學生行為聚類特征進行了混合課程分類，發現只有在“高活躍型混合課程”中使用批量學習方式的算法才可以獲得可接受的預測結果準確率[16]。“高活躍型混合課程”的特征是課程有50%以上學生的學習行為數據均值較高，標準差較大，線上學習的個性化水平較高，且每門課程所包含的學生數量大體相似。

本文在此基礎上進一步收集了同一所大學2020年春季學期的全部混合課程數據，依照本團隊以往研究的混合課程分類方法進行分類，使用增量學習方式，比較在不同規模數據集時，構建學習成績預測模型的結果，構建過程中同樣只選擇“高活躍型混合課程”中的數據進行比較。研究流程如圖2所示。

本文在構建模型時采用具有較高預測結果準確率的隨機森林算法，該算法批量學習方式的預測結果準確率得到多項研究的驗證[5-6，21-22]。為方便比較，同時采用了隨機森林的增量學習方式。據Genuer等人的研究，最新的隨機森林的增量學習方式OnRF包含了超參數，對非平衡數據可獲得較高的預測結果準確率，并且在Python上已被實現，可以直接使用[12]。相較于其他算法的增量學習方式，OnRF隨機森林算法近年來經過研究者們的不斷優化，在算法魯棒性、接收數據的非平衡性等方面有了較大提升[23]。

（一）研究對象和場景

根據研究團隊以往的數據采集和處理，某高校2018年秋季學期的“高活躍型混合課程中”有22門，包括2348名學生。所有學生采用優慕課R“綜合教學平臺V9”網絡教學平臺開展混合學習的線上部分。學生在選課系統中選擇混合課程后會被告知注意事項，包括學生使用該平臺出現問題，平臺支持的混合學習活動形式，平臺會記錄學生在登錄系統后發生的所有操作等。學生在每門混合課程結束后，教師會根據學生的線上、線下學習參與及課程最終測試結果為學生評分。本研究將百分制的學生評分轉換成了5個等級，轉換規則為學生成績為90～100分之間時將其劃分為A，學生成績為80～89分之間時將其劃分為B，學生成績為70～79分之間時將其劃分為C，學生成績為60～69分之間時將其劃分為D，以及最后學生成績在60分以下時將其劃分為F。

本研究將學生在網絡教學平臺上的在線學習行為作為學習過程，學生的最終成績作為學習結果。進而獲得用于構建學生成績預測模型的各變量（見表1）。

（二）研究方法和步驟

為對比增量學習方式在不同規模數據中的預測成效，比較增量學習和批量學習方式的預測結果準確率，本研究對收集的某高校2020年春季學期混合課程數據進行了分類處理，沿用Luo 等人提出的方法[16]，獲得了51門“高活躍型混合課程”，包含4840名學生（分類方法流程圖如圖3所示）。

在對2020年春季學期混合課程分類后，本研究對2020年春季學期“高活躍型混合課程”中的學生在線行為數據和學習成績進行了探索。通過學生在線行為數據預測學習成績的基礎是學生在線行為與學習成績具有相關關系。當同一課程中存在不同類型學生，但學生成績沒有顯著差異時，說明該課程中學生在線行為數據與學習成績數據沒有相關關系。在預處理時刪除所有此類課程。另外，結果變量中各等級成績的分布也會影響預測模型的結果準確率[24]。本文探索了兩學期“高活躍型混合課程”中各成績的學生人數占比（如圖4所示）。

從圖4中可知，2020年春季學期與2018年秋季學期相比，成績為A和B的學生人數占比變動較大，其中成績為A的學生占比上升了18.18%，成績為B的學生占比下降了10.65%。另外成績為C的學生占比下降了5.51%，成績為D和F的學生占比變動并未超過5%。

根據圖2所示的研究步驟，本文分別使用批量學習方式的隨機森林算法和增量學習方式的隨機森林算法對2018年秋季學期、2020年春季學期以及兩學期合并后的“高活躍型混合課程”學生數據建立成績預測模型。在構建預測模型過程中，采用超參數調試（Hyper-parameter Tuning）方法為隨機森林的兩種學習方法分別設定最優參數。使用交叉驗證方法分析隨機森林算法的兩種模型學習方法分別對三類數據集構建的預測模型。本文所分析的學生成績是5級定類變量，是一個多分類預測問題。因此，本文采用了適用于多分類預測問題的評價指標，采用指標包括平均準確率（Avg. Accuracy）、權重準確率（Weighted Accuracy）、平均查全率（Avg. Recall）、權重查全率（Weighted Recall），宏F1值以及權重F1值為評價指標[25]。另外，增量學習方式算法的預測準確率隨樣本輸入變化，本文采用平均預測準確率作為評價增量學習方式算法預測結果的指標。預測結果評價的計算公式見表2。

在表2中，i表示學生成績分類，分別是A、B、C、D、F，當i=A時，TPA表示預測結果為A，實際成績也為A的學生，TNA表示預測結果為非A時與真實結果也為非A的樣本數，FPA表示預測結果為A但真實結果為非A的樣本數，FNA表示預測結果為非A但真實結果為A的樣本數。最后使用三類數據集的測試集測試預測模型的預測結果準確率。

四、研究結果與討論

（一）隨機森林增量學習與批量學習方式構建的模型預測結果比較

為比較隨機森林的批量學習與增量學習方式在不同學期“高活躍型混合課程”中對學生成績的預測能力，本文記錄了兩種方式構建預測模型的評價指標和對測試集的預測結果準確率（見表3）。

從表3可知，在2018秋季學期的“高活躍型混合課程”中，批量學習方式隨機森林算法構建的學生成績預測模型結果獲得了較高準確率（72.3%），但是在2020春季學期的“高活躍型混合課程”中，其預測結果準確率（68.2%）并不如OnRF得到的預測結果的平均準確率（69.1%）。在兩學期數據合并后，OnRF表現出更優異的預測結果平均準確率，達到了75.1%。批量學習方式隨機森林算法的預測結果準確率則介于兩學期的預測結果準確率之間（70.3%）。可見，OnRF在學生樣本數量增加后構建的學生成績預測模型結果更加準確。

雖然本文中使用的OnRF方法預測結果準確率落后于Kulkarni & Ade所用的四種增量方法的準確率，但該研究中所用數據是完全在線課程數據，且其使用的數據特征包含學生的期中成績，因此該研究對學生成績的預測結果準確率都達到了89%以上[11]。在兩學期數據合并后的較多樣本中，本研究的預測結果準確率比Sanchez-Santillan等人的結果平均準確率提高了2.28%[10]。

相比同樣在混合課程情境下，使用批量學習方式隨機森林算法構建模型，預測學生成績的研究。本文選用的OnRF在使用單一學期的混合課程樣本數據構建預測模型時，預測結果準確率較低，但在樣本數據量增加后，預測結果準確率高于武法提等人所得結果準確率[5]。在模型應用和優化方面，本文使用的增量學習方式優于武法提等、Wu等研究者采用的批量學習方式隨機森林算法[5-6]。當不再有新數據出現時，增量學習方式可停止構建模型，并使用當前模型進行預測。因此，相較于批量學習方式的算法，在院校層面，增量學習方式更適用于構建過程性的學生學情監測系統，隨時分析學生學習狀態。在教師層面，增量學習方式構建的模型可幫助教師積累學生學習數據，為教師持續優化教學設計、教學方法和教學策略。在學生層面，增量學習方式更適于實現精準的過程性學生評價，分析學生在不同學習階段的特征，為學生變更學習策略、學習路徑持續提供幫助。

（二）樣本特征對增量學習方式構建的成績預測模型結果準確率影響

為分析在增量學習方式構建模型過程中對樣本的預測準確率變化，研究記錄了增量學習方式模型數據輸入后得到的預測結果準確率變化（如圖5所示）。增量學習方式算法在使用2018秋季學期的22門課程中學生樣本構建的預測模型得到的平均預測結果準確率較低（參考表3和圖4的結果），且對每門課程的預測結果準確率波動較大，直至22門課程的數據全部輸入也未能顯示出收斂的趨勢（預測準確率標準差為0.104）（如圖5所示）。

增量學習方式對2020年春季學期混合課程構建的預測模型不但平均準確率略高于批量學習方式（參考表3和圖4的結果），且在第41門課程數據輸入后預測準確率波動下降。經統計，前40門課程增量學習方式預測結果準確率標準差為0.077，最后11門課程預測結果準確率標準差為0.025。

為進一步分析增量學習方式輸入41門課程數據后預測結果準確率的變化情況，記錄了兩學期數據合并后（73門課程）使用增量學習方式所得預測結果準確率的變化（如圖5所示），結果發現前40門課程數據輸入時預測結果準確率標準差為0.087，后33門課程數據輸入時預測結果準確率標準差為0.018。可見在本文研究中，超過41門課程數據輸入后，可大幅降低增量學習方式的預測結果準確率波動。

Kulkarni & Ade的研究中，雖然獲得了較高的平均預測結果準確率，但是所有的增量學習方式的預測結果準確率都會隨樣本數量增加而逐步降低[11]。本文所得結果發現，當數據樣本量達到一定規模后，預測結果準確率逐步上升。Ade & Deshmukh的研究發現增量學習方式的預測結果準確率不會收斂到固定值[20]。本文結果同樣證實了該發現，且本文結果還發現在超過41門混合課程的數據后，預測結果準確率的波動會大幅度減小。另外相比Sanchez-Santillan 等人的研究[10]，在本文分析的三類混合課程數據中，樣本數量最大的預測模型取得了最好的預測結果準確率。

本文所用增量學習方式改進了采用混合課程學生樣本構建預測模型時，樣本數量增長引起預測結果不穩定的問題，與在完全在線課程中的研究結果類似，即數據量越多，預測結果準確率越高[8]。另外，本文中使用的三類數據集都是“高活躍型混合課程”，這類課程中學生的行為模式較為相似。Yang 等人指出，在增量學習過程中，局部數據集與整體數據集的相似性有助于增量學習方式的決策樹算法構建更準確的預測模型[26]。因此，可以認為本團隊以往對混合課程的提前分類使每門混合課程的學生行為數據特征都較為相似，提升了增量學習方式構建預測模型所得結果的平均準確率，減小了每次增加數據時所得預測結果準確率的波動。

五、研究結論及局限性

在混合課程中，持續分析學生的學習過程，預測學生學習成績并在不同學習階段為學生提供精準的個性化學習支持是混合教學研究中的重要問題。本文分析了在混合課程情境下，增量學習隨機森林算法與批量學習隨機森林算法在不同數量混合課程學生樣本中構建的預測結果準確率及預測結果準確率變化。研究發現：（1）增量學習隨機森林算法在混合課程樣本最多的數據集中可獲得最高預測結果準確率（75.1%）。（2）相較于批量學習隨機森林算法，增量學習隨機森林算法在數據樣本量較多的情況下預測結果準確率高于批量學習算法。（3）當樣本數量達到一定規模后，預測結果準確率波動減小，且每門混合課程的學生行為數據較為相似，也為提升預測結果平均準確率、減小預測結果準確率波動提供了幫助。

本研究中使用增量學習隨機森林算法在不同學生樣本數量規模中構建了學生成績預測模型，并且比較了增量學習與批量學習兩種方式構建學生成績預測模型的結果準確率。結果發現增量學習隨機森林算法在樣本數量較多時，預測結果準確率高于批量學習的隨機森林算法，且該方法可隨時接收新數據，不斷迭代和優化預測模型，相比批量學習方式在預測模型應用和對教學過程的持續分析有更大優勢。但是要使用增量學習方式構建預測結果準確率較穩定的模型需要使用更多的數據進行訓練，且數據樣本的局部特征需要與整體特征相似。

本研究結論從隨機森林算法和一所學校的混合課程中獲得，是否還存在結果更優的增量學習算法，更大數量規模的學生樣本中能否獲得收斂的預測結果準確率還有待進一步驗證。

[參考文獻]

[1] 孫眾，宋潔，駱力明.混合課程動態設計研究[J].電化教育研究，2017，38（7）：85-90，116.

[2] 田陽，陳鵬，黃榮懷，曾海軍.面向混合學習的多模態交互分析機制及優化策略[J].電化教育研究，2019，40（9）：67-74.

[3] BAKER R S. Challenges for the future of educational data mining： the baker learning analytics prizes[J]. Journal of educational data mining， 2019， 11（1）： 1-17.

[4] ROMERO C， VENTURA S. Educational data mining and learning analytics： an updated survey[J]. Wiley interdisciplinary reviews： data mining and knowledge discovery， 2020， 10（3）： e1355.

[5] 武法提，田浩.挖掘有意義學習行為特征：學習結果預測框架[J].開放教育研究，2019，25（6）：75-82.

[6] WU M， ZHAO H， YAN X， et al. Student achievement analysis and prediction based on the whole learning process[C]// 2020 15th International Conference on Computer Science & Education （ICCSE）. Delft： IEEE， 2020： 123-128.

[7] VAN GOIDSENHOVEN S， BOGDANOVA D， DEEVA G， et al. Predicting student success in a blended learning environment[C]// Proceedings of the Tenth International Conference on Learning Analytics & Knowledge. New York： ACM， 2020： 17-25.

[8] ZHONG Y， YANG H， ZHANG Y， et al. Online random forests regression with memories[J]. Knowledge-based systems， 2020（201）： 106058.

[9] KOTSIANTIS S， PATRIARCHEAS K， XENOS M. A combinational incremental ensemble of classifiers as a technique for predicting students' performance in distance education[J]. Knowledge-based systems， 2010， 23（6）： 529-535.

[10] SANCHEZ-SANTILLAN M， PAULE-RUIZ M P， CEREZO R， et al. Predicting students' performance： incremental interaction classifiers[C]// Proceedings of the Third （2016） ACM Conference on Learning@ Scale. New York： ACM， 2016： 217-220.

[11] KULKARNI P， ADE R. Prediction of student's performance based on incremental learning[J]. International journal of computer applications， 2014， 99（14）： 10-16.

[12] GENUER R， POGGI J M， TULEAU-MALOT C， et al. Random forests for big data[J]. Big data research， 2017， 9： 28-46.

[13] WU Y， CHEN Y， WANG L， et al. Large scale incremental learning[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach： IEEE， 2019： 374-382.

[14] ZHENG S， LU J J， GHASEMZADEH N， et al. Effective information extraction framework for heterogeneous clinical reports using online machine learning and controlled vocabularies[J]. JMIR medical informatics， 2017， 5（2）： e12.

[15] BORN A. Predicting students' assignment performance to personalize blended learning[D].? Munich：Ludwig Maximilian University of Munich，2017.

[16] LUO Y， CHEN N， HAN X. Students' online behavior patterns impact on final grades prediction in blended courses[C]// 2020 Ninth International Conference of Educational Innovation through Technology （EITT）. Porto： IEEE， 2020： 154-158.

[17] GENG X， SMITH-MILES K. Incremental Learning[J]. Encylopedia of biometrics， 2009（1）： 730-737

[18] POLIKAR R， UPDA L， UPDA S S， et al. Learn++： an incremental learning algorithm for supervised neural networks[J]. IEEE transactions on systems， man， and cybernetics， part C （applications and reviews）， 2001， 31（4）： 497-508.

[19] ASIAH M， ZULKARNAEN K N， SAFAAI D， et al. A review on predictive modeling technique for student academic performance monitoring[C]// MATEC Web of Conferences. Sibiu： EDP Sciences， 2019， 255： 03004.

[20] ADE R， DESHMUKH P R. Instance-based vs batch-based incremental learning approach for students classification[J]. International journal of computer applications， 2014， 106（3）.

[21] SHAHIRI A M， HUSAIN W. A review on predicting student's performance using data mining techniques[J]. Procedia computer science， 2015（72）： 414-422.

[22] NESPEREIRA C G， ELHARIRI E， EL-BENDARY N， et al. Machine learning based classification approach for predicting students performance in blended learning[C]// The 1st International Conference on Advanced Intelligent System and Informatics （AISI2015）， November 28-30， 2015， Beni Suef： Springer， Cham， 2016： 47-56.

[23] JIAN Y， YE M， MIN Y， et al. FORF-S： a novel classification technique for class imbalance problem[J]. IEEE access， 2020（8）： 218720-218728.

[24] RASCHKA S. Model evaluation， model selection， and algorithm selection in machine learning[EB/OL].（2018-11-10）[2021-05-20].https：//sebastianraschka.com/blog/2018/model-evaluation-selection-part4.html.

[25] SHMUELI B. Multiclass metrics made simple， part I： precision and recall[EB/OL]. （2019-07-02）[2021-05-20]. https：//towardsdatascience.com/multi-class-metrics-made-simple-part-i-precision-and-recall-9250280bddc2.

[26] YANG Q， GU Y， WU D. Survey of incremental learning[C]// 2019 Chinese Control And Decision Conference （CCDC）. Nanchang： IEEE， 2019： 399-404.