機器學習在學生成績預測中的應用

徐銘希

（南京市第十三中學，江蘇南京，210036）

1 研究背景

我國正處于實現中華民族的偉大復興的最關鍵時期。發展是是十分重要的，而科技是發展的前提，要想科技發展，教育是最重要最根本的。教育領域急需像人工智能這樣的尖端技術手段來注入活力。人與人之間的競爭隨著社會的發展、進步變得越來越激烈。每個人都為了自己的前途打拼，大家都在用功，不僅在成人的職場上，更在我們學生的校園里。這場競爭像一場競速賽，賽場上瞬息萬變，每一秒鐘都有人超越別人或被別人超越。同學們對于自身的定位沒有準確及時的把握，過高或過低估計自己的情況經常發生，平常學習的松懈可能會導致成績下滑而自己感覺不到，當真正意識到的時候，再想追趕，已經不容易了。同時科技的發展使得社會日新月異，每天都變得更好更方便，特別是計算機網絡方面，人工智能從上世紀五十年代崛起到現在成為生活中必不可少的一部分，讓我們看到了人工智能的巨大潛力和廣闊的發展前景。人工智能已經在許多領域里面得到了應用，它的每一次應用都會帶來前所未有的改變，本文將把人工智能領域機器學習方面的相關知識應用到教育領域中，通過一些模型來預測學生的學習成績，從而為學生的學習提供一定的指導。

2 研究方法

本次研究將采用多種機器學習算法對學生的成績進行預測，包括邏輯回歸、決策樹、隨機森林、xgboost。通過對各個模型的對比，最終選擇出一個最優的模型，并根據該最優模型為學生的學習提供一定的指導。下面我們介紹一下每個模型的原理及思想。

■2.1 邏輯回歸

邏輯回歸（Logistic Regression），又稱為對數幾率回歸，它是一種分類算法，可以處理二元或多元分類。該算法的核心思想體現在Sigmoid函數，如式（1）所示。該函數限定預測值的區間為[0,1]，這樣我們可以根據預測的值的大小與指定的閾值進行對比，大于該閾值為一類樣本，小于該閾值為另一類樣本。根據處理任務的不同，應采用不同的損失函數來對模型進行優化，其中在處理回歸任務時一般采用均方差損失函數；在處理分類任務時一般采用交叉熵損失函數。

■2.2 決策樹

決策樹（DT），該模型是在已知各種情況發生概率的基礎上，通過求取凈現值大于等于零的概率來評價項目的風險并判斷其可行性的決策分析方法。由于根據這種決策分析方法畫出圖形很像一棵樹，所以我們一般稱它為決策樹。一般來說，一棵決策樹包括一個根結點、許多內部結點和葉結點。葉結點代表決策結果，內部結點代表屬性測試，而根結點代表樣本全集。決策樹主要分為決策樹ID3、決策樹C4.5、CART這三種。決策樹的核心就在于如何去選擇一個最優的特征進行結點分裂，其中ID3采用信息增益作為度量，該度量傾向于特征值比較多的特征；于是C4.5算法在信息增益的基礎上引入了信息增益比作為衡量特征重要性的度量；但是信息增益比所涉及到的計算是非常大的，進而CART又引入了基尼指數這一新的度量方式，從而使得決策樹在計算特征重要性是只涉及平方運算，不再涉及耗時的對數運算，同時，CART決策樹在結點分裂時，只分裂為二叉樹，這樣也比較適合計算機的運算模式，能夠提高計算速度。

■2.3 隨機森林

隨機森林（RF），它是集成學習的一種。集成學習，是通過將多個單個學習器集合到一起使它們共同完成學習任務。它博采眾長，結合多個弱學習器組成了強學習器。如果個體學習器是同種的， 那么這個集成是同質的。如果個體學習器是不同種的，那么它是異質的。而根據個體學習器生成方式的不同可以將其分為兩大類。一種是串行化方法，這種方法具有很強的依賴關系，必須在個體學習設備之間串行生成，這種方法以Booke級數算法為代表；另一種是不存在強依賴關系的并行化方法，它可以在單個學習設備之間同時生成。它是用套袋系列算法來表示的。隨機森林是它的一個拓展變體，弱學習器采用CART決策樹，它的核心思想體現在“隨機”二字，即相對于傳統決策樹依次計算所有特征的重要性，隨機森林首先會隨機選擇一部分特征，然后在這些特征中再通過基尼指數選擇出最重要的特征作為分裂結點。該模型的特點是比較簡單易于實現，而且計算量相對比較小，是數據挖掘領域經常使用到的算法。

■2.4 xgboost

上文在介紹隨機森林時，有提到集成學習Boosting系列算法。Boost系列中一個比較典型的算法是GBDT（梯度提升樹），它也是一種表達能力比較強的算法。而xgboost可以看作是G B DT的一種優化版本。相對于G B DT，xgboost引入了一些新的特質，使得模型的訓練速度更快、更好的避免過擬合、有更強的擴展性等。如xgboost的弱學習器支持其它線性分類器（LR），它引入了一些正則化方法與采樣技術，可以更好的避免過擬合現象，它引入了“Shrinkage”思想，降低前一棵樹的學習效果，從而為后續的決策樹提供更多的學習空間；此外，xgboost還引入了特征并行的方法，大大提高了訓練速度。xgboost是當前機器學習領域的一個非常優秀的模型。

3 實驗過程

■3.1 實驗數據

本次研究中用到的數據集為xAPL-Educational Mining Dataset。它是一個多變量數據集，該數據集中樣本的屬性可以分為三個類別：人口統計學特征，如性別國籍等；學術背景屬性，如學習教育階段、分數段等；表現特征，如舉手次數、學習公開資料次數等。

■3.2 數據處理與探索

首先修正數據中一些列名大小寫的不規范。然后進行數據探索，查看標簽各個類別的數目，觀察發現各個類別的數量相對均衡；通過可視化工具作圖查看數據的分布，實驗數據為兩個學期的數據，經觀察我們發現學生在第二學期成績會更優秀、女生表現的比男生好、越高年級學生觀看學習資源越多等現象。通過PairGrid圖觀察數值型特征之間的關系，如圖1所示，可以發現女同學在學習方面表現的相對積極，如舉手次數、觀看學習資源次數等。

圖1

■3.3 模型構建

該部分分別采用了邏輯回歸、決策樹、隨機森林、Xgboost進行了實驗，并從各個指標觀察模型的性能。其中，各模型的準確率對比如表1所示。

表1

接下來我們應用網格搜索法對隨機森林與Xgboost進行參數調優，主要對弱學習器的個數、每一個葉子節點上樣本個數、樹的深度與學習率等參數進行調整。對參數調優后，隨機森林與Xgboost的準確率為表2所示。

表2

可以看到經過參數調優后，Xgboost模型的效果最好，準確率為81.94%。我們分別看一下由Xgboost得到的特征重要性（圖2）與由隨機森林得到的特征重要性（圖3）。

圖2

可以看到圖1中觀看學習資源次數、參與討論次數、看公告次數和舉手次數是最重要的特征；圖2中觀看學習資源次數、舉手次數、看公告次數和缺勤次數是最重要的特征，而參與討論的重要性僅次于它們。而性別特征與國籍特征對學生成績的影響不大。

圖3

4 總結

本文通過多個模型對學生成績進行預測，并對影響學生成績的各個因素進行了分析，根據實驗分析結果可以為學生、家長及老師提供一些意見與建議。后續我們可以收集更大量的、更多種類的數據，并采用更復雜的模型優化預測結果。在此基礎上，還可以針對模型結果為學生制定學習計劃，提出不同的建議，進為學生定制個性化作業，針對弱點劣勢查缺補漏。由此看來，機器學習在教育領域的應用前景光明，需要更多深入的研究來助其進一步發展。