一種自編碼組合優(yōu)化的成績(jī)預(yù)測(cè)模型

李松江 蘇瑀 王鵬 黃春雨

【摘 要】針對(duì)現(xiàn)有成績(jī)預(yù)測(cè)方法不能有效利用學(xué)生成績(jī)數(shù)據(jù)本質(zhì)特征的問題，提出一種自編碼組合優(yōu)化的成績(jī)預(yù)測(cè)模型。該模型采用邊緣降噪自編碼與堆棧稀疏自編碼組合優(yōu)化的混合式自編碼器（HSAE），從歷史成績(jī)數(shù)據(jù)與學(xué)生行為數(shù)據(jù)中，經(jīng)過無監(jiān)督的網(wǎng)絡(luò)訓(xùn)練，學(xué)習(xí)更具魯棒性和稀疏性的深層特征。在頂層連接BP神經(jīng)網(wǎng)絡(luò)，構(gòu)成HSAE-BP神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)學(xué)生成績(jī)預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明：所提出預(yù)測(cè)模型的預(yù)測(cè)準(zhǔn)確率相比其他未進(jìn)行特征學(xué)習(xí)的淺層預(yù)測(cè)模型都得到了較好的改善。

【關(guān)鍵詞】成績(jī)預(yù)測(cè);深度學(xué)習(xí);邊緣降噪自編碼;堆棧稀疏自編碼;特征學(xué)習(xí);BP神經(jīng)網(wǎng)絡(luò)

【中圖分類號(hào)】TP391 【文獻(xiàn)標(biāo)識(shí)碼】A 【文章編號(hào)】1674-0688（2019）10-0049-03

0 引言

學(xué)生成績(jī)預(yù)測(cè)已經(jīng)成為EDM（教育數(shù)據(jù)挖掘）領(lǐng)域的熱門研究方向之一[1]，有效的成績(jī)預(yù)測(cè)對(duì)全面提高教學(xué)質(zhì)量等方面有重要作用。近年來，針對(duì)學(xué)生成績(jī)預(yù)測(cè)的相關(guān)研究在國(guó)內(nèi)外取得了一定的成果。QH Do等人[2]結(jié)合學(xué)生標(biāo)準(zhǔn)化的考試成績(jī)及影響成績(jī)的外在因素，將布谷鳥搜索（Cooperative Cuckoo Search）與自適應(yīng)神經(jīng)網(wǎng)絡(luò)推理系統(tǒng)（ANFIS）進(jìn)行組合用于學(xué)生學(xué)業(yè)成績(jī)預(yù)測(cè)。羅永國(guó)[3]提出了一種改進(jìn)遺傳算法的BP神經(jīng)網(wǎng)絡(luò)建立學(xué)生成績(jī)預(yù)測(cè)模型。大多數(shù)成績(jī)預(yù)測(cè)模型主要集中在淺層學(xué)習(xí)中，很難從中提取影響學(xué)生成績(jī)的深層次特征，模型的泛化能力和魯棒性較差，影響預(yù)測(cè)的精度[4-6]。

本文將深度學(xué)習(xí)應(yīng)用到學(xué)生成績(jī)預(yù)測(cè)中，利用深度特征學(xué)習(xí)模型對(duì)歷史成績(jī)及學(xué)生行為等輸入數(shù)據(jù)進(jìn)行特征學(xué)習(xí)，學(xué)習(xí)到學(xué)生成績(jī)相關(guān)數(shù)據(jù)的深層特征，然后利用深層特征表達(dá)輸入BP神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)生成績(jī)預(yù)測(cè)。

1 基于HSAE的學(xué)生成績(jī)特征學(xué)習(xí)

學(xué)生成績(jī)受多方面因素的影響，人工設(shè)計(jì)特征過程復(fù)雜且容易出錯(cuò)，樣本本身分布不均等[7-8]。為防止這些影響因素導(dǎo)致的網(wǎng)絡(luò)魯棒性差、泛化能力弱等問題，同時(shí)為了更有效地利用學(xué)生成績(jī)和行為數(shù)據(jù)的本質(zhì)特性，自動(dòng)學(xué)習(xí)到有價(jià)值的特征表達(dá)代替原始輸入特征[9]。

由圖1可以看出，整個(gè)特征學(xué)習(xí)過程是將成績(jī)預(yù)測(cè)的影響因素輸入樣本數(shù)據(jù)、經(jīng)過第一層學(xué)習(xí)得到比輸入維數(shù)大的隱藏特征表達(dá)，再將經(jīng)過稀疏自編碼的多次學(xué)習(xí)得到其n階的特征并輸出，最后一層隱藏層的值即為深層學(xué)習(xí)的特征表達(dá)。

HSAE特征學(xué)習(xí)的整個(gè)過程是通過輸入影響成績(jī)的特征向量，經(jīng)過多個(gè)隱藏層的深度網(wǎng)絡(luò)結(jié)構(gòu)自動(dòng)學(xué)習(xí)得到深層表達(dá)的高維特征。由于HSAE具有邊緣降噪自編碼對(duì)噪聲干擾的魯棒性，又具有堆棧稀疏自編碼的稀疏性限制，因此能夠?qū)W習(xí)到更具有代表性和魯棒性的高維特征，將其代替預(yù)測(cè)模型的初始化輸入，可有效改善模型的泛化性能，提高學(xué)生成績(jī)預(yù)測(cè)精度。

2 學(xué)生成績(jī)預(yù)測(cè)模型構(gòu)建

在混合式自編碼的頂層連接一個(gè)BP神經(jīng)網(wǎng)絡(luò)模型來構(gòu)建HSAE-BP預(yù)測(cè)模型。將通過HSAE得到的深層特征表達(dá)輸入到BP神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，其預(yù)測(cè)流程框架如圖2所示。

預(yù)測(cè)框架主要包含3個(gè)部分：數(shù)據(jù)預(yù)處理、HSAE逐層訓(xùn)練和HSAE-BP預(yù)測(cè)，具體的預(yù)測(cè)流程如下。

（1）對(duì)采集到的異常數(shù)據(jù)進(jìn)行清洗，將所有的歷史成績(jī)數(shù)據(jù)和各行為指標(biāo)數(shù)據(jù)進(jìn)行歸一化處理。對(duì)所有樣本數(shù)據(jù)集進(jìn)行處理后，滿足預(yù)測(cè)模型的輸入輸出要求。

（2）將訓(xùn)練樣本集作為HSAE-BP預(yù)測(cè)模型的輸入，利用HSAE逐層進(jìn)行特征學(xué)習(xí)得到更深層次的特征表達(dá)，經(jīng)過有監(jiān)督預(yù)訓(xùn)練和無監(jiān)督微調(diào)使得預(yù)測(cè)模型達(dá)到最優(yōu)。

（3）將測(cè)試樣本集輸入至最優(yōu)的HSAE-BP預(yù)測(cè)模型中進(jìn)行學(xué)生成績(jī)預(yù)測(cè)，并根據(jù)預(yù)測(cè)結(jié)果對(duì)模型性能進(jìn)行評(píng)估。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)及參數(shù)設(shè)置

實(shí)驗(yàn)數(shù)據(jù)來源于吉林省某高校采集的真實(shí)學(xué)生成績(jī)數(shù)據(jù)和學(xué)生行為數(shù)據(jù)。本文選取2014年9月—2017年8月14級(jí)學(xué)生的歷史成績(jī)及行為數(shù)據(jù)作為樣本數(shù)據(jù)集，數(shù)據(jù)量約5 000條。對(duì)樣本數(shù)據(jù)集進(jìn)行數(shù)據(jù)重構(gòu)來產(chǎn)生輸入輸出向量（見表1）。選取90%的樣本數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)集，用于權(quán)重和網(wǎng)絡(luò)結(jié)構(gòu)的確定，10%的學(xué)生樣本數(shù)據(jù)集作為測(cè)試數(shù)據(jù)集對(duì)網(wǎng)絡(luò)性能進(jìn)行評(píng)價(jià)。

本文采用Python深度學(xué)習(xí)庫實(shí)現(xiàn)基于HSAE-BP的學(xué)生成績(jī)預(yù)測(cè)模型，從表1中可以看出本實(shí)驗(yàn)的輸入特征向量個(gè)數(shù)為9，輸出向量個(gè)數(shù)為1。HSAE模型包含一個(gè)邊緣降噪自編碼和3個(gè)稀疏自編碼構(gòu)成混合式自編碼器，BP神經(jīng)網(wǎng)絡(luò)模型包含了1個(gè)隱藏層、1個(gè)輸出層，模型參數(shù)設(shè)定為λ=1×10-4，γ=0.001，ρ=0.072，η為自適應(yīng)學(xué)習(xí)率[10-11]。

3.2 誤差評(píng)價(jià)指標(biāo)

為進(jìn)一步對(duì)所提出的預(yù)測(cè)模型的性能進(jìn)行評(píng)價(jià)，本文選用均方根誤差（RMSE）、平均絕對(duì)百分誤差（MAPE）這兩個(gè)性能指標(biāo)作為模型的評(píng)價(jià)標(biāo)準(zhǔn)。具體公式如下：

其中，N表示預(yù)測(cè)樣本數(shù)，yi表示真實(shí)數(shù)據(jù)，■i表示預(yù)測(cè)數(shù)據(jù)。

3.3 預(yù)測(cè)結(jié)果分析

為了更好地分析HSAE-BP深度學(xué)習(xí)模型的預(yù)測(cè)效果，本文從3個(gè)方面對(duì)該模型的有效性進(jìn)行驗(yàn)證。第一是通過學(xué)生真實(shí)成績(jī)和經(jīng)過BP神經(jīng)網(wǎng)絡(luò)、SAE-BP和HSAE-BP 3個(gè)模型的預(yù)測(cè)成績(jī)進(jìn)行對(duì)比，檢驗(yàn)?zāi)Ｐ偷臄M合程度;第二是對(duì)比BP神經(jīng)網(wǎng)絡(luò)、SAE-BP和HSAE-BP 3個(gè)模型的誤差，通過MAPE和RMSE來驗(yàn)證本文提出模型的有效性。

實(shí)驗(yàn)1：預(yù)測(cè)結(jié)果對(duì)比

使用相同的數(shù)據(jù)集將BP神經(jīng)網(wǎng)絡(luò)、SAE-BP和HSAE-BP 3個(gè)模型的預(yù)測(cè)成績(jī)與真實(shí)成績(jī)進(jìn)行對(duì)比，用來檢驗(yàn)?zāi)Ｐ偷挠行浴Ｓ捎趯W(xué)生樣本數(shù)較多，圖3中只隨機(jī)選擇了60個(gè)學(xué)生樣本數(shù)據(jù)集進(jìn)行成績(jī)預(yù)測(cè)所得預(yù)測(cè)值與實(shí)際成績(jī)值的分布對(duì)比圖。

從圖3中可以看出，在對(duì)實(shí)際學(xué)生成績(jī)的預(yù)測(cè)結(jié)果中，HSAE-BP模型的預(yù)測(cè)值與真實(shí)值之間的誤差相比其他兩個(gè)模型的誤差都要小，預(yù)測(cè)的學(xué)生成績(jī)可以在一定程度上擬合真實(shí)的學(xué)生成績(jī)數(shù)據(jù)，進(jìn)而充分驗(yàn)證了HSAE-BP在預(yù)測(cè)成績(jī)上的有效性。

實(shí)驗(yàn)2：誤差比較

本文采用BP神經(jīng)網(wǎng)絡(luò)模型，SAE-BP神經(jīng)網(wǎng)絡(luò)模型和本文提出的HSAE-BP模型進(jìn)行誤差對(duì)比實(shí)驗(yàn)，驗(yàn)證HSAE-BP模型的有效性。考慮到不同數(shù)據(jù)集可能引起預(yù)測(cè)模型誤差變化的問題，使用不同的數(shù)據(jù)集分別進(jìn)行模型預(yù)測(cè)性能對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果見表1。

從表1中可以看出，在不同的數(shù)據(jù)集下，不進(jìn)行深層特征學(xué)習(xí)的BP神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)性能受特征學(xué)習(xí)的影響波動(dòng)較大，相比加入SAE的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，其預(yù)測(cè)誤差相對(duì)較大，泛化能力較差，這說明SAE-BP神經(jīng)網(wǎng)絡(luò)模型可對(duì)輸入數(shù)據(jù)進(jìn)行有效提取。而本文提出的HSAE-BP模型相比前兩個(gè)算法在兩種數(shù)據(jù)集上取得了最好的預(yù)測(cè)效果，不同數(shù)據(jù)集中，MAPE的值最小為0.041 6，RMSE的值最小為12.48，相對(duì)于SAE-BP模型和不進(jìn)行深層特征學(xué)習(xí)的BP神經(jīng)網(wǎng)絡(luò)模型，誤差下降程度很大，且本方法的誤差能很好地控制在5%以內(nèi)，說明本文提出的對(duì)初始化輸入向量使用混合式自編碼器進(jìn)行特征提取，更好地提取更深層次的特征表達(dá)，能在一定程度上減小真實(shí)值與預(yù)測(cè)值誤差，提高了泛化能力，進(jìn)而提高了模型預(yù)測(cè)性能，充分驗(yàn)證了HSAE-BP在預(yù)測(cè)成績(jī)上的有效性。

4 結(jié)語

本文將深度學(xué)習(xí)引入學(xué)生成績(jī)預(yù)測(cè)領(lǐng)域，為更有效利用學(xué)生成績(jī)數(shù)據(jù)的本質(zhì)特征，采用邊緣降噪自編碼和堆棧稀疏自編碼組合優(yōu)化的混合式自編碼對(duì)特征進(jìn)行深度變換，實(shí)現(xiàn)自動(dòng)提取深層特征表達(dá)。在頂層加入BP神經(jīng)網(wǎng)絡(luò)，構(gòu)建深度學(xué)習(xí)預(yù)測(cè)模型（HSAE-BP）。實(shí)驗(yàn)結(jié)果表明：所提出模型具有較強(qiáng)自適應(yīng)學(xué)習(xí)能力，能夠?qū)W習(xí)更深層次的特征性能，泛化能力較強(qiáng)，其預(yù)測(cè)準(zhǔn)確率和時(shí)間復(fù)雜度相比傳統(tǒng)預(yù)測(cè)模型都得到了較好的改善。

參 考 文 獻(xiàn)

[1]Rocero C，Ventur S.Educational data mining：A review of the state of the art.IEEE Trans on Systems，Man and Cybemetics[J].Part C：Applications and Reviews，2010，40（6）：601-618.

[2]QH Do.A cooperative Cuckoo Search hierarchical adaptive neuro-fuzzy inference system approach for predicting student academic performance[J].Journal of Intelligent & Fuzzy Systems，2014（27）：2551–2561.

[3]羅永國(guó).基于改進(jìn)的遺傳算法的學(xué)生成績(jī)預(yù)測(cè)模型[J].科技通報(bào)，2012，28（10）：223-225.

[4]Huang W，Song G，Hong H，et al.Deep architecture for traffic flow prediction：deep belief networks with multitask learning[J].IEEE Transactions on Intelligent Transportation Systems，2014，15（5）：2191-2201.

[5]徐逸之，彭玲，林暉，等.基于棧式自編碼的上海地鐵短時(shí)流量預(yù)測(cè)[J].計(jì)算機(jī)工程與科學(xué)，2018，40（7）：1275-1280.

[6]Qu X，Kang X，Zhang C，et al.Short-Term Prediction of Wind Power Based on Deep Long Short-Term Memory[C].Power and Energy Engin-eering Conference（APPEEC）.Xian：IEEE，2016：1148-1152.

[7]吳潤(rùn)澤，包正睿，宋雪瑩，等.基于深度學(xué)習(xí)的電網(wǎng)短期負(fù)荷預(yù)測(cè)方法研究[J].現(xiàn)代電力，2018，35（2）：43-48.

[8]徐培，蔡小路，何文偉，等.基于深度自編碼網(wǎng)絡(luò)的運(yùn)動(dòng)目標(biāo)檢測(cè)[J].計(jì)算機(jī)應(yīng)用，2014，34（10）：2934-2937.

[9]袁非牛，章琳，史勁亭，等.自編碼神經(jīng)網(wǎng)絡(luò)理論及應(yīng)用綜述[J/OL].計(jì)算機(jī)學(xué)報(bào)，http：//kns.cnki.net/kcms/detail/11.1826.TP.20180921.1146.002.html，2018-12-21.

[10]Vincent P，Larochelle H，Bengio Y，et al.Extrac-ting and composing robust features with denoising autoen-coders[C].Proceedings of the 25th International Conference on Machine，2017：1001-1005.

[11]朱芳枚，趙力，梁瑞宇，等.面向中文語音情感識(shí)別的改進(jìn)棧式自編碼結(jié)構(gòu)[J].東南大學(xué)學(xué)報(bào)，2017，47（4）：631-636.