基于圖卷積網(wǎng)絡(luò)的認知診斷方法

黃佃寬

（廣東工業(yè)大學(xué) 計算機學(xué)院，廣州 510006）

0 引言

隨著人工智能和大數(shù)據(jù)的發(fā)展，更加智能化、個性化的服務(wù)成為智慧教育領(lǐng)域的重點研究方向。例如，試題推薦［1］、個性化學(xué)習(xí)路徑推薦［2］以及學(xué)生表現(xiàn)預(yù)測［3］等。這些服務(wù)所需的一項關(guān)鍵和基礎(chǔ)任務(wù)是有效、準確地量化學(xué)生真實的能力水平，以便為學(xué)生提供更便捷、直觀的個性化導(dǎo)學(xué)與自我評估，即認知診斷（Cognitive Diagnosis）［4］。

在教育心理學(xué)中，認知診斷的目的在于利用學(xué)生在學(xué)習(xí)過程中的做題記錄等信息，對學(xué)生能力進行建模，評估學(xué)生對于特定知識點的掌握程度。項目反映理論［5］（Item Response Theory，IRT）和DINA 模 型［6］（Deterministic Inputs，Noisy “Any” gate model）作為經(jīng)典的認知診斷模型在教育領(lǐng)域被廣泛使用。利用推薦領(lǐng)域的方法進行認知診斷也是熱門方向之一，如基于認知診斷的個性化試題推薦方法［7］將推薦領(lǐng)域的協(xié)同過濾方法［8］運用于認知診斷過程中，利用協(xié)同過濾良好的預(yù)測性能提升認知診斷的準確性。近年來，也有研究者嘗試使用循環(huán)神經(jīng)網(wǎng)絡(luò)（Neural Net，RNN）來建模學(xué)習(xí)過程，進而預(yù)測學(xué)生做題成績。這類基于神經(jīng)網(wǎng)絡(luò)的方法不需要像傳統(tǒng)認知診斷方法那樣手動設(shè)計交互函數(shù)［9］，并且能夠以非線性的方式建模學(xué)生與試題的交互過程，通常有很好的擬合能力，如Yang 等［10］提出的DKT 模型（Deep Knowledge Tracing）利用RNN 追蹤不同時刻學(xué)生的知識點掌握程度。但在以往對認知診斷的研究中，由于忽略了學(xué)生與試題的高階交互信息，導(dǎo)致對學(xué)生能力建模的準確性受到影響。而推薦領(lǐng)域的方法和基于神經(jīng)網(wǎng)絡(luò)的方法雖然在成績預(yù)測方面有不錯的表現(xiàn)，但其對于預(yù)測結(jié)果和學(xué)生能力模型沒有很好的可解釋性。

為了能更準確地診斷學(xué)生的能力水平，本文提出一種基于圖卷積網(wǎng)絡(luò)的認知診斷模型（Graph Convolutional Cognitive Diagnosis，GCCD）。主要貢獻包括：①提出一種建模學(xué)生能力的圖卷積算法，通過聚合高階相似學(xué)生的做題特征作為高階交互信息，對學(xué)生能力進行更準確的判斷；②使用神經(jīng)網(wǎng)絡(luò)非線性地擬合學(xué)生與試題的交互過程，并以此預(yù)測學(xué)生表現(xiàn)；③利用單調(diào)性假設(shè)保證認知診斷結(jié)果的可解釋性。

1 相關(guān)工作

1.1 認知診斷

教育心理學(xué)領(lǐng)域的學(xué)生認知診斷方法常用于診斷學(xué)生的知識點掌握程度以及預(yù)測學(xué)生的做題表現(xiàn)。其中，DINA 模型和IRT 模型是最經(jīng)典的兩種模型。DINA 是一種離散模型，采用二值向量表示學(xué)生是否掌握知識點以及試題是否包含知識點，其中試題所包含知識點的信息通常來自于一個知識點關(guān)聯(lián)矩陣Q［6］。相較而言，IRT 模型通過logistic 函數(shù)將學(xué)生或試題特征刻畫為一個連續(xù)的單維潛在特征，用于反映學(xué)生的綜合能力和試題難度。雖然傳統(tǒng)的認知診斷方法擁有較強的可解釋性，但這些方法的核心步驟為計算學(xué)生與試題特征的內(nèi)積或logistic 函數(shù)，無法很好地擬合學(xué)生與試題之間的復(fù)雜關(guān)系［4］，導(dǎo)致對學(xué)生表現(xiàn)結(jié)果的預(yù)測通常不夠準確。有研究將推薦系統(tǒng)領(lǐng)域的協(xié)同過濾方法運用于學(xué)生表現(xiàn)預(yù)測任務(wù)中，并取得了不錯的效果。在推薦領(lǐng)域，如Walker 等［12］提出的基于協(xié)同過濾的方法將學(xué)生和試題分別看作用戶與項目，并使用多維的潛在向量表示它們，將兩個向量的內(nèi)積作為預(yù)測的學(xué)生成績；朱天宇等［8］提出的PMF-CD 方法通過將概率矩陣分解與認知診斷相結(jié)合，融合學(xué)生間的共性與個性進行預(yù)測。這些方法都一定程度上實現(xiàn)了對學(xué)生成績的預(yù)測，但忽略了高階相似學(xué)生的做題特征，從而影響了認知診斷結(jié)果的準確性，并且將其運用于認知診斷領(lǐng)域時都存在可解釋性不足的問題，沒有合理的方式解釋潛在向量的數(shù)值含義。

1.2 圖卷積網(wǎng)絡(luò)

圖卷積網(wǎng)絡(luò)（Graph Convolutional Network，GCN）通常用于處理非歐空間數(shù)據(jù)，被廣泛應(yīng)用于以圖數(shù)據(jù)形式存儲的場景中。在一個圖數(shù)據(jù)中，節(jié)點的數(shù)據(jù)表示特征，圖的連接表示結(jié)構(gòu)。類似于卷積神經(jīng)網(wǎng)絡(luò)CNN 采用卷積的方式提取圖片中的特征，基于空間的圖卷積網(wǎng)絡(luò)可在非歐空間數(shù)據(jù)上采取卷積方式聚合鄰居節(jié)點的特征，使得每個節(jié)點都包含鄰居節(jié)點的特征信息，并通過多層的圖卷積提取圖的結(jié)構(gòu)特征［13］。Zhou 等［14］提出高階圖卷積網(wǎng)絡(luò)HAGCN，可通過多層的圖卷積聚合高階鄰居節(jié)點的信息，使得每個節(jié)點的語義更加豐富。近年來，有研究者將GCN 運用于推薦系統(tǒng)領(lǐng)域，例如圖卷積協(xié)同過濾方法NGCF［15］把用戶—項目的交互看作一個交互圖，通過將交互圖的交互協(xié)作信息編碼到嵌入過程，以提升協(xié)同過濾的預(yù)測效果。

2 基于圖卷積網(wǎng)絡(luò)的認知診斷模型

本文提出一種基于圖卷積網(wǎng)絡(luò)的認知診斷模型（Graph Convolutional Cognitive Diagnosis，GCCD），該模型將學(xué)生試題交互集成到學(xué)生與試題的向量化表示過程，利用學(xué)生試題交互圖中的高階交互信息構(gòu)建帶有交互信息的學(xué)生表示，將其視為學(xué)生能力向量，與知識點關(guān)聯(lián)向量結(jié)合后輸入到神經(jīng)交互層對學(xué)生做題過程進行非線性建模，用于預(yù)測學(xué)生的試題作答情況。GCCD 模型結(jié)構(gòu)如圖1所示。

2.1 學(xué)生能力建模

本文提出一種用于對學(xué)生能力建模的圖卷積算法，能夠捕獲高階相似學(xué)生的做題特征，更為準確地構(gòu)建學(xué)生能力向量。學(xué)生能力向量αs是學(xué)生對于知識點概念熟練程度的量化表示，具體定義為：

αs的維度與Qe相同，其中ask∈[0，1]，表示學(xué)生s對知識點k的掌握程度。本算法將學(xué)生向量與試題向量作為圖卷積網(wǎng)絡(luò)中的節(jié)點進行多層的聚合計算，通過歸一化求和的方式聚合每層的節(jié)點，使圖卷積中每個學(xué)生與試題節(jié)點都包含有過多階交互的節(jié)點信息。最終通過融合每層圖卷積的節(jié)點表示學(xué)生能力向量，聚合了多層交互信息的學(xué)生能力向量能更準確地反映學(xué)生能力情況。圖2 表示學(xué)生S2能力向量構(gòu)建過程。

在第一層，通過將做過相同試題的學(xué)生聚合，在第二層形成了該試題節(jié)點的表示，該試題節(jié)點包含這些學(xué)生的共同做題特征。之后層的節(jié)點以相同方式進行計算，其中圖卷積層數(shù)表示一個學(xué)生最遠可聚合到的學(xué)生或試題信息。通過多層的圖卷積運算后將每層的學(xué)生表示進行融合，可交互圖中高階的鄰居學(xué)生做題特征編碼到學(xué)生能力向量中。其中，每層的鄰居可被認為是相似學(xué)生（試題），因此聚合高階鄰居特征可看作一種協(xié)同過濾。GCCD 模型中的圖卷積計算定義為：

Fig.1 Structure of GCCD model圖1 GCCD模型結(jié)構(gòu)

Fig.2 Construction process od student s2 ability vector圖2 學(xué)生s2能力向量構(gòu)建過程

其中，l表示圖卷積的層數(shù)表示第l層的學(xué)生向量和試題向量，表示對稱歸一化項［13］，可避免學(xué)生向量與試題向量大小隨圖卷積運算而增大。經(jīng)過3層的圖卷積運算后，將每一層得到的學(xué)生向量融合起來作為學(xué)生能力向量：

其中，pl為圖卷積網(wǎng)絡(luò)中每層的參數(shù)，表示該層的權(quán)重。這里設(shè)置pl=1/(l+1)，表示越高層數(shù)的節(jié)點對模型的影響越小。由于結(jié)合了每一層的交互信息，可使最終融合得到的學(xué)生能力向量更為全面、有效。

2.2 學(xué)生做題得分預(yù)測

本文使用兩層全連接神經(jīng)網(wǎng)絡(luò)對學(xué)生試題交互過程進行建模，這種非線性建模方法相比傳統(tǒng)的認知診斷方法更能準確地模擬學(xué)生做題的復(fù)雜交互過程，從而更準確地預(yù)測學(xué)生做題情況。

將學(xué)生能力向量、知識點關(guān)聯(lián)向量及試題區(qū)分度3 個診斷因子組合作為神經(jīng)網(wǎng)絡(luò)的輸入，這三者組合能較為準確地量化不同難度試題中每個知識點對于學(xué)生的影響程度，充分利用學(xué)生的做題特征。將學(xué)生s的能力向量αs與試題e知識點關(guān)聯(lián)向量的對應(yīng)元素逐個相乘相加，再乘以試題區(qū)分度disc得到與學(xué)生能力向量維度相同的輸入x，這種組合方式可使x的每個維度都包含3 個診斷因子的特征信息，具體表示為：

接下來是兩個全連接層和一個輸出層，y 為最終預(yù)測的試題作答情況。由于神經(jīng)網(wǎng)絡(luò)黑箱的特性，對其每層的參數(shù)缺乏有效的可解釋性，不利于解釋認知診斷結(jié)果，對未來的試題推薦等工作會造成負面影響。因此，本文提出的GCCD 模型使用在IRT 模型和MIRT 模型中常用的單調(diào)性假設(shè)對神經(jīng)網(wǎng)絡(luò)進行限制［16］，即學(xué)生能力向量的每一個維度都是單調(diào)增加的。具體實現(xiàn)方法為：將全連接層的參數(shù)W1、W2和W3限制為正［17］。GCCD 損失函數(shù)為輸出y與做題記錄r之間的交叉熵，采用端到端的方式更新參數(shù)：

GCCD 模型在認知診斷過程中，將高階交互信息編碼到學(xué)生能力向量中，并使用神經(jīng)網(wǎng)絡(luò)進行作答情況預(yù)測，保證了診斷結(jié)果的有效性和合理性。

3 實驗與分析

為驗證GCCD 模型的效果，首先在學(xué)生成績預(yù)測能力上對GCCD 與基準方法進行比較，然后對所有方法認知診斷的合理性進行比較與評估，并使用一個學(xué)生案例來分析認知診斷結(jié)果。為了分析圖卷積網(wǎng)絡(luò)最適合的層數(shù)，最后進行了層數(shù)影響實驗。

3.1 數(shù)據(jù)集與訓(xùn)練設(shè)置

本實驗使用學(xué)生測驗數(shù)據(jù)集作為實驗數(shù)據(jù)，該數(shù)據(jù)采集自廣東某校在線編程實訓(xùn)平臺中2019-2020 年數(shù)據(jù)結(jié)構(gòu)課程期末考試與平時測驗的學(xué)生做題記錄。數(shù)據(jù)集包括491 名學(xué)生，98 道試題，28 個知識點，45 864 條學(xué)生交互記錄，平均每個試題包含1.92 個知識點。為有效地對學(xué)生能力進行預(yù)測，本模型將對每個學(xué)生的做題情況進行分割，其中80%的數(shù)據(jù)用于訓(xùn)練，20%的數(shù)據(jù)用于測試。本實驗將與認知領(lǐng)域的DINA、MIRT 方法以及推薦領(lǐng)域的KNN、PMF 方法進行比較，用于評估GCCD 模型的預(yù)測表現(xiàn)。

3.2 學(xué)生做題表現(xiàn)預(yù)測實驗

在實際教學(xué)中難以量化評估學(xué)生的真實知識掌握水平，導(dǎo)致認知診斷模型的效果很難被評估。而認知診斷結(jié)果是通過預(yù)測學(xué)生的做題表現(xiàn)得到的，因此本實驗借助預(yù)測學(xué)生的做題得分對各個模型進行間接評價。

本實驗采用準確率（Accuracy）、查準率（Precision）、召回率（Recall）、F1 值和均方根誤差（RMSE）評價做題情況預(yù)測的準確性，以及預(yù)測得分與實際得分的近似程度。其中，RMSE 計算公式為：

式中，rse表示學(xué)生s對于試題e的實際得分，yse表示預(yù)測的得分。Accuracy、Precision、Recall、F1 越高，RMSE 越小，表示對學(xué)生做題表現(xiàn)的預(yù)測效果越好。

本實驗采取多個領(lǐng)域的方法作為基準方法，包括認知診斷方法DINA、MIRT，K 近鄰方法KNN 以及矩陣分解方法PMF。在驗證GCCD 模型性能之前，實驗首先測試了單獨使用神經(jīng)網(wǎng)絡(luò)的模型GCCD_N 和單獨使用圖卷積網(wǎng)絡(luò)的模型GCCD_G 的性能，其結(jié)果可用于驗證圖卷積網(wǎng)絡(luò)的嵌入效果和神經(jīng)網(wǎng)絡(luò)的非線性擬合效果。

表1 展示了所有模型預(yù)測學(xué)生做題表現(xiàn)的實驗結(jié)果。從表中可以看出，GCCD 模型的表現(xiàn)優(yōu)于所有基準方法。其中，DINA 與PMF 方法都只能線性擬合學(xué)生能力向量，導(dǎo)致預(yù)測準確度低于GCCD 模型。對于單獨使用圖卷積網(wǎng)絡(luò)的模型GCCD_G，由于沒有利用知識點特征更新診斷因子，導(dǎo)致預(yù)測效果不理想。而單獨使用神經(jīng)網(wǎng)絡(luò)的模型GCCD_N 利用非線性方式建模做題過程，對于學(xué)生的做題表現(xiàn)有很好的預(yù)測能力，但由于沒有利用高階相似學(xué)生的做題特征，預(yù)測效果要差于GCCD。

Table 1 Prediction results of students' performance on the questions表1 學(xué)生做題表現(xiàn)預(yù)測結(jié)果

3.3 認知診斷可解釋性

本實驗為評估GCCD 模型認知診斷的合理性，采取一致度（Degree of Agreement，DOA）［18］作為評價指標(biāo)。在教育領(lǐng)域，一般認為如果學(xué)生x比學(xué)生y對于知識點概念k的掌握程度更高，說明學(xué)生x比學(xué)生y有更高的概率正確回答包含了知識點k的試題ek。一致度公式為：

其中，δ(αxk，αyk)=1 表明學(xué)生x相比y對知識點k的掌握程度更高，反之為0；Z=表 示x比y掌握程度高的知識點個數(shù)；J(e，x，y)=1 表示學(xué)生x和y都做過試題e，否則J=0。最后將所有一致度的均值作為評價指標(biāo)DOA∈[0，1]，DOA=0.5 說明模型的認知診斷結(jié)果與學(xué)生表現(xiàn)的預(yù)測結(jié)果沒有關(guān)聯(lián)，DOA值越大，說明兩者關(guān)聯(lián)性越強。

Fig.3 DOA of each model圖3 各個模型的DOA

將本文模型與3.2 節(jié)中設(shè)置的模型進行比較，同時本實驗新增了一個Random 方法，隨機預(yù)測所學(xué)知識點掌握程度為0 或1，用于更好地展示各個模型的性能。在PMF和MIRT 方法中，將潛在特征向量的維度大小設(shè)置成知識點概念的數(shù)量，用于模擬學(xué)生能力向量。由圖3 可知，GCCD 的DOA 在數(shù)據(jù)集上達到0.815，高于所有基準方法，證明了本模型診斷出的學(xué)生能力向量是合理的，保證了預(yù)測結(jié)果的可解釋性。

3.4 案例分析

為更好地說明認知診斷的可解釋性，抽取兩個學(xué)生部分知識點的認知診斷結(jié)果以及答題情況，如圖4 所示。試題e包含了順序棧、二叉樹的后序遍歷以及鏈式存儲3 個知識點。學(xué)生在知識點上的掌握程度αes∈［0，1］，αes越高，說明學(xué)生對該知識點掌握得越好。學(xué)生s1對3 個知識點的掌握程度較高，所以可正確作答試題e；而學(xué)生s2雖然熟悉哈夫曼樹、冒泡排序等知識點，但對二叉樹后序遍歷的掌握程度較差，因此未能正確作答試題e。熟悉無關(guān)的知識點對學(xué)生做題幫助不大，學(xué)生對于目標(biāo)試題中知識點集合的掌握程度越高，才越有可能正確作答試題。

Fig.4 Case of cognitive diagnosis圖4 認知診斷案例

4 結(jié)論與展望

本文設(shè)計了一種基于圖卷積網(wǎng)絡(luò)的認知診斷方法GCCD，用于學(xué)生能力診斷以及學(xué)生做題得分預(yù)測。該模型利用多層圖卷積網(wǎng)絡(luò)構(gòu)建的學(xué)生能力向量包含了學(xué)生試題的高階交互信息，使用神經(jīng)網(wǎng)絡(luò)非線性地建模學(xué)生做題過程，能在預(yù)測任務(wù)上有更好表現(xiàn)。通過在學(xué)生測試數(shù)據(jù)集上的實驗驗證了GCCD 模型的學(xué)生做題表現(xiàn)預(yù)測性能及認知診斷結(jié)果的可解釋性，并驗證了不同圖卷積層數(shù)對模型性能的影響。在未來的工作中，本模型仍有很多值得改進的地方，例如可根據(jù)認知診斷結(jié)果對學(xué)生進行試題推薦［19］，還可利用學(xué)習(xí)態(tài)勢、知識追蹤［20］等方法進一步提高對學(xué)生做題表現(xiàn)的預(yù)測準確度。