DKTwMF：一種融合多特征的知識追蹤模型

王 斌，盛宇軒，冀星昀

(中南大學 計算機學院，湖南 長沙 410083)

0 引 言

近年來，隨著在線教育逐漸被人們認可，慕課網、網易云課堂、Coursera和Khan Academy等大型在線開放式網絡課程(massive open online courses，MOOC)平臺由于其高質量的在線課程，吸引了全球范圍內的大量用戶注冊使用[1]。特別是在疫情防控期間，教育部要求在確保全體師生健康的基礎上做好“停課不停學”工作，各地高校利用各大MOOC平臺，開展了大規模的線上教學[2]。利用從這些平臺收集的數據，研究人員能夠深入了解學生的學習過程，進而為教師、學生提供個性化服務，這引發了對教育數據挖掘(educational data mining，EDM)的更多關注[3-5]。

知識追蹤是教育數據挖掘領域的一個重要研究課題[6-7]，其目標是隨著時間推移不斷對學生知識掌握狀態進行建模，通過估計學生的知識掌握程度[7]，預測學生在后續練習中的表現狀況。知識追蹤模型被廣泛應用于教育系統中，實現了學習評價的智能化，有助于推進個性化教育。知識追蹤的方法主要分為三類[8]。第一類是基于概率圖模型的知識追蹤，代表性模型是貝葉斯知識追蹤模型(Bayes knowledge tracing，BKT)[9-10]。該模型使用隱馬爾可夫模型(hidden Markov model，HMM)學習學生知識狀態，用一組二進制變量表示學生是否掌握相應的知識。BKT可以通過嚴格的公式推導得到學生知識掌握情況、下次作答的預測結果，具有很強的解釋性。但是由于該模型需要對各個知識單獨建模(即只保留了練習的相對順序)，模型不能充分考慮知識之間的相互作用。第二類是基于矩陣分解的知識追蹤，如概率矩陣分解(PMF)。該算法是推薦系統領域的經典算法之一，由于推薦領域與知識追蹤的相似性，部分學者將這一算法改進以用于知識追蹤領域。第三類是基于深度學習的知識追蹤。

2015年斯坦福大學的Piech等人[11]在NIPS上提出深度知識追蹤模型(deep knowledge tracing，DKT)。相比其他模型，DKT能夠利用學生的歷史作答數據挖掘出各個練習之間的隱藏聯系。與BKT相比，DKT首次出現便達到了25%的AUC增長[11]。盡管一些研究人員發現通過適當的擴展，BKT可以達到和DKT相近的性能[3]，相信通過適當擴展DKT性能仍能夠明顯提升。傳統的DKT模型只使用了知識點ID和作答結果作為模型的輸入，它并沒有考慮其他特征，如作答時間、作答次數、上次作答結果等。這些特征不僅表示了學生的作答行為，更為知識診斷提供了額外的信息，充分利用這些額外信息能夠更加準確地評估學生知識掌握情況。

文獻[12]提出一種基于手動選擇特征、離散化連續特征的方法來提升DKT模型效果。文獻[13]通過獲取學生能力，并以固定時間間隔將學生動態分配至具有相似能力的不同組別中，再將這些信息送入DKT中。但這些方法受到兩個方面的限制：(1)需要足夠的專業知識來理解數據。當對數據理解不足時，模型的構建可能會產生較大偏差；(2)當數據巨大時，方法費時費力。與DKT模型類似，另一種EERNN(exercise-enhanced recurrent neural network)模型[14]也是通過LSTM網絡來追蹤學生知識掌握的情況。不同的是，EERNN模型更加注重于充分利用題目當中的文本信息，以解決冷啟動問題。同時，該模型還引入了注意力機制，通過考慮題目之間的相似性來提升在學生未來表現預測中的準確性。除了上述三種基本方法外，近年來，基于知識圖譜的知識追蹤也在不斷發展[15]。

為了解決上述DKT模型中的問題，該文提出一種融合多特征的知識追蹤模型(deep knowledge tracing with multiple features，DKTwMF)。首先，提出基于鄰域互信息和隨機森林的混合特征選擇算法(neighborhood mutual information and random forest，NMIRF)，來提取巨大數據中的重要特征，然后將這些重要特征數據以及學生表現作為LSTM模型輸入對學生的知識水平進行建模。同時，當數據維度增大時，循環神經網絡的訓練代價相當昂貴，因此提出一種新的多特征編碼方案(multi-feature encoding，MFE)，通過使用交叉特征、one-hot編碼對多特征輸入進行編碼，兼顧了輸入數據維度和模型效果。之后，再通過自動編碼器(auto encoder，AE)對數據進行降維。

1 融合多特征的知識追蹤模型

1.1 模型架構

1.2 NMIRF混合特征選擇算法

單一的特征選擇算法都有各自的局限性，因此該文提出一種NMIRF混合特征選擇算法。如圖2所示，該算法首先使用方差選擇過濾法對所有變量進行初步篩選，計算各個變量之間的方差，然后根據閾值(一般使用0，即不存在變動的數據)，選擇方差大于閾值的特征,得到k個候選特征集合。然后，使用鄰域互信息算法對計算各個特征之間的相關性。由于教育數據集中存在分類數據(如知識點ID、題目ID等)和數值數據(如響應時間)，因此使用鄰域互信息能夠很好地計算k個特征之間的相關性。最后，結合特征相關性使用隨機森林對特征進行精選，得到該模塊的最終結果。

圖2 NMIRF混合特征選擇算法

評估變量特征重量性(variable importance measures，VIM)是隨機森林的一個重要特征，常規計算方法有兩種[16-17]：(1)基于基尼指數的評估方法；(2)基于袋外數據(out of bag sets，OOB)分類準確率的評估方法。當數據中同時包含連續變量和分類變量時，基于基尼指數的評估方法比基于OOB分類準確率的評估方法效果差，因此，該文使用基于袋外數據分類準確率的變量重要性度量，即袋外數據變量特征值發生擾動后的分類正確率與未發生擾動的分類正確率的平均減少量。變量特征x重要性計算公式如下：

(1)

在特征精選模塊，該文提出一種基于序列后向選擇法的混合特征選擇算法，即不斷從特征子集中刪除不重要的特征，直至達到截止條件。為更準確地評估變量的重要性，需要逐步剔除最不重要的變量，然后重新構建隨機森林，并在新的隨機森林上重新對待篩選特征子集中特征的重要性進行排序。數據集中可能存在相關性很高的特征，即使在其他變量(除待評估變量之外)特征不發生擾動的情況下，其他特征也可能對待評估變量特征重要性評估產生影響，因此該文結合相關性矩陣與隨機森林決定是否剔除該特征。具體特征精選算法描述如下：

(1)初始化待選擇特征子集U，使用鄰域互信息計算各個特征之間的相關性矩陣S。

(2)根據數據集構建包含M棵決策樹的隨機森林,初始化決策樹i=1。

(5)對于i=2，3，…，M，重復步驟(3)～(4)，計算特征x的重要性vimx。

(6)對待選擇特征子集U中的每個特征重復(3)～(5)，并對特征重要性進行排序。

(7)選擇特征重要性排序中最不重要的特征y，相關性矩陣中與特征y相關性高于閾值δ的特征集合W。如果集合W為空，更新待選擇特征子集U=U-y，跳轉至第(8)步；否則，對于W中任一特征，分別計算在使用U-W+w集合時隨機森林的袋外分數，最大袋外分數對應的特征記為w，更新待選擇特征子集U=U-W+w。

(8)根據新的特征子集重新構建隨機森林，重復步驟(2)～(7)，直到剩余兩個特征，確定最終特征子集。

1.3 MFE多特征編碼

由Piech等人提出的DKT模型只考慮了知識點ID和作答結果，該文考慮加入更多的特征作為神經網絡輸入，為此提出多特征編碼方案MFE(multi feature encoding)。通過對多個單獨特征的編碼進行拼接，從而構建模型的輸入。MFE方案中的多特征編碼構建公式如下：

C(st,ct)=st+[max(s)+1]*ct

(2)

vt=O(C(st,ct))⊕O(C(ft,ct))⊕O(ft)

(3)

其中，C()表示使用交叉特征，O()表示one-hot編碼，⊕表示將編碼結果進行拼接。公式(2)、公式(3)中st代表知識點ID，ct代表對應練習的作答結果(1表示作答正確，0表示作答錯誤)，ft代表通過特征工程模塊選取的重要特征對應的取值。

交叉特征是將兩個或多個特征通過一定規則編碼成一個特征的方法。例如，兩個單獨特征的交叉特征編碼方式如下：

C(f,g)=f+[max(F)+1]*g

(4)

C(g,f)=g+[max(G)+1]*f

(5)

式中，f、g分別表示需要編碼的兩個特征，F、G分別表示特征f、g的取值集合。文獻[18]中指出使用交叉特征相比使用單獨特征可以明顯提高模型性能。如圖3所示，假設知識點數為6種，作答結果為2種(正確/錯誤)。如果不使用交叉特征，神經網絡中每個隱藏節點與6+2個節點進行連接，對應6+2的連接權重。使用交叉特征神經網絡中每個隱藏節點與6*2個節點進行連接，此時對于每個知識都有單獨作答正確權重、作答錯誤權重與之對應，而不是所有知識點共用正確權重與錯誤權重。使用交叉特征而不是單獨特征的關鍵原因是：神經網絡中的權重不平衡，從而導致模型效果下降。

圖3 交叉特征

(6)

2 實驗與分析

2.1 數據集

為驗證DKTwMF模型的有效性，該文使用三個教育相關的公開數據集進行了對比實驗。這三個數據集分別來自不同的智能教育系統，每個系統都對學生練習的交互信息進行了記錄。

Assistments 2009-2010:Assistments是一個基于計算機的學習系統，可以同時評估學生的掌握水平和教師的授課水平。該文使用的數據集是從Assistments skill builder集合中收集的，這些集合是學生在類似的問題(同一個知識點)上不斷進行練習，直到能正確地回答n個連續的問題(其中n通常是3)。當系統認為學生掌握相應的技能后，學生通常不會重復練習同樣的技能。與其他數據集不同，該數據集中學生的作答記錄可能不連續，在實驗中，通過預處理，將所有屬于一個學生的記錄連接在一起。

KDD 2010：該數據集是ACM的知識發現和數據挖掘小組(knowledge discovery and data mining)在2010年發布的競賽題目使用的數據集。該次競賽以基于學生在線做題記錄，預測學生認知能力(學習成績)為目的。該數據集來自2005年至2009年卡內基學習認知診斷系統。數據集包含574名學生，437個知識點，809 694條學生作答記錄。與Assistments平臺不同的是，該平臺記錄了學生的詳細操作數據，學生的每一個行為都可能是評估學生知識的依據。使用數據集中的KC(knowledge component)作為知識點，對于多個KC組合的情況視為新的知識點。

OLI F2011：開放學習計劃(open learning initiative，OLI)是卡內基梅隆大學的一個計算機學習系統，該系統用于為在校學生提供在線課程。OLI系統在學生許可的情況下收集了學生課堂學習記錄和網絡學習數據。該文使用2011年秋季學期大學工程力學的數據作為實驗數據，包含335名學生，361 092條學生練習記錄。該系統詳細記錄了學生的操作情況，即學生在練習過程中的鼠標點擊、翻頁、保存等信息。實驗中對數據記錄進行了刪減，只保留了學生的最終作答記錄。

針對多知識點題目，不同的系統處理方法也不相同。其中，Assistments中的數據對于多知識點題目，會生成多條記錄。而KDD提供的數據只會生成一條記錄，系統采用KC(knowledge component)記錄題目關聯的知識點，知識點之間采用～～串聯起來。例如，題目Q1關聯了知識點k1、k2，題目Q2關聯了知識點k1。假設學生S1參與一次作答，其中Q1作答錯誤，Q2作答正確。

Assistments生成的記錄如表1所示，KDD生成的記錄如表2所示。

表1 Assistments記錄樣例

表2 KDD記錄樣例

2.2 評價指標

模型的評價標準采用AUC(area under the curve)，即ROC曲線線下面積。ROC曲線每個點反映模型對同一信號刺激的感受性，橫軸為負正類率(false positive rate，FPR)，縱軸為真正類率(true positive rate，TPR)。對于二分類問題，所有實例可以被劃分為正類、負類。這里將作答結果為正確的歸為正類，作答結果為錯誤的歸為負類，對應的FPR取值為FP/(FP+TN)，TPR取值為TP/(TP+FN)。

表3 二分類AUC指標

2.3 實驗對比方法

該文將數據中的學生隨機分成5組，依次取其中一組作為測試數據集進行實驗，最終使用五次實驗結果的平均值作為評價結果。通過五折交叉驗證得到的實驗數據更趨于穩定值，結果能夠更讓人信服。實驗使用TensorFlow中的LSTM Cell實現循環神經網絡模型，為消除其他因素的影響，各模型均采用Adam梯度下降算法，神經網絡包含200個隱藏神經元，dropout概率設置為0.4。為保證得到的是穩定性結果，實驗采用五折交叉的方式進行驗證，模型評價標準采用AUC[11]。實驗使用基本DKT作為基本模型，分別通過AE降維、NMIRF自動特征提取對模型進行擴充。一些研究人員發現通過適當的擴展，BKT可以達到和DKT相近的性能[3]，因此實驗也與BKT及其擴展模型進行比較。更具體的對比模型介紹如下：

DKT：該模型為基本模型，如文獻[11]所述，即只對skill ID和correct進行one-hot編碼，然后使用編碼數據對LSTM網絡進行訓練。

DKT+AE：在基本DKT模型的基礎上，使用自動編碼器對DKT模型的輸入進行預處理，降低輸入維度。

DKT+NMIRF：首先使用NMIRF算法對數據集進行篩選，然后將篩選后的多特征數據使用MFE編碼，最后使用編碼結果作為循環神經網絡輸入，并對網絡進行訓練。

DKTwMF：該文提出的模型，將經過NMIRF篩選的多特征數據使用MFE算法進行編碼，然后使用AE進行預處理，最后使用LSTM神經網絡進行訓練。

BKT：經典貝葉斯知識追蹤模型，該模型中知識一旦被掌握就不會遺忘。

BKT+F：在經典BKT模型的基礎上擴展了知識遺忘屬性，該模型中知識可以在掌握和未掌握之間相互轉化，該項擴展有助于對于同一知識的預測。

BKT+S：在經典BKT的基礎上擴展了技能發現。經典BKT對各知識點單獨建模，未對技能之間的交互進行建模，該模型將獨立的BKT相互關聯起來。

BKT+A：在經典BKT模型的基礎上擴展了學生潛在能力屬性，針對不同的學生設置個性化的猜測、失誤概率，該項擴展有助預測學生從一個知識到另外一個知識點的能力。

BKT+FSA：該模型同時擴展了知識遺忘、技能發現、潛在能力。

2.4 結果分析

本節對在不同數據集下，不同模型的AUC結果進行比較分析，目的在于通過實驗驗證DKTwMF模型效果。

對于Assistments數據集，各模型的AUC評價結果如圖4所示。

圖4 Assistments數據集AUC結果

從圖4中可以發現，基本BKT的AUC值僅有0.73，通過不同的擴展方式模型效果均得到了不同程度的提升；擴展知識遺忘之后的模型BKT+F達到了略優于基本DKT的效果，AUC值達到0.83；BKT+FSA由于過多參數導致該模型效果略差于BKT+F。從圖5中可以發現，通過加入多特征(DKT+NMIRF)、對輸入進行降維(DKT+AE)都能在一定程度上提升原模型DKT的效果；DKTwMF在Assistments數據集上達到了最優的結果0.867，達到所有模型中最優效果。

對于KDD數據集，各模型的AUC評價結果如圖5所示。

圖5 KDD數據集AUC結果

從圖5中可以發現，BKT在該數據集上僅達到0.62的AUC值，BKT+F相比基本BKT模型效果沒有明顯提升，擴展知識遺忘后AUC值僅增加0.01；在BKT系列模型中，BKT+FSA達到最好的預測效果，并且AUC值稍大于基本DKT模型；DKT模型的AUC值為0.79，在擴展多特征后DKT+NMIRF達到與BKT+FSA相當的預測效果。不同于Assistments數據集，在該數據集上DKTwMF模型相比基本DKT模型雖然沒有明顯的效果提升，但仍然達到了所有模型中的最優效果。

對于OLI數據集，各模型的AUC評價結果如圖6所示。

圖6 OLI數據集AUC結果

從圖6中可以發現，BKT系列模型中AUC值最好的是BKT+FSA，但是該模型仍不如未經改進的DKT模型。而DKTwMF模型的AUC值相比DKT模型又增加了0.04，DKTwMF模型相比BKT模型效果提升了11%。

通過上述實驗可以發現：對于BKT系列模型，針對不同數據集不同模型的表現效果大不相同，想要得到適合該數據集的BKT模型需要不斷的嘗試驗證。雖然BKT+FSA能夠達到不錯的效果，但是過多的參數可能導致效果下降(Assistments數據集)。對于DKT系列模型，可以發現通過加入多特征輸入、數據降維都可以在不同程度上提升模型效果。DKTwMF模型同時具備了這兩種優化方法，因此模型具有更高的AUC值、能夠更準確地預測學生表現情況。無論是多知識點生成多條記錄(Assistments)的場景，還是多知識點生成一條記錄(KDD)的場景，該模型均能達到不差于其他模型的表現。并且，相比于BKT系列模型，該模型不需要專家知識的指導就可以完成建模，建模效果優于一般手動選擇特征。綜上所述，該文提出的模型能夠智能、高效、準確地對學生知識水平進行建模。

3 結束語

相比其他知識追蹤方法，提出的模型主要有以下優點：(1)智能性。通過NMIRF自動對特征進行選擇，不需要專家的領域知識的指導。模型不需要知識之間的關系圖，模型中的神經網絡可以通過數據自動學習各知識之間聯系；(2)精準性。通過上述實驗證明，DKTwMF模型相比其他模型能夠更準確地對學生的知識掌握狀態進行建模；(3)高效性。DKTwMF模型采用NMIRF算法對特征進行自動選擇，大大節省了了手動特征選擇然后驗證的時間。同時，使用AE降低數據維度也能降低模型的訓練時間。但目前，DKTwMF模型也有以下不足：(1)由于模型采用深度學習的思想，需要大量數據對模型進行訓練，因此該模型不適用于少量數據的情況；(2)可解釋性不足。BKT模型采用概率的方式表示學生的知識掌握狀態，每個知識點都對應明確的函數表示，而神經網絡會自動學習神經元之間的相互作用，沒有明確的函數表明學生對每個知識的掌握程度。因此，針對這些不足，未來還有待進一步完善。