長尾分布下基于層內相似關系的認知診斷模型

中圖分類號：TP391 文獻標志碼：ADOI：10. 13705/j. issn. 1671-6841. 2023115

文章編號：1671-6841（2025）03-0035-07

Cognitive Diagnosis Model Based on Intra-layer Similarity with Long Tail Distribution

WANG Mian， ZHANG Yuhong，LIU Fei，BU Chenyang，HU Xuegang （School of Computer Science and Information Engineering，Hefei University of Technology，Hefei 230601，China）

Abstract：Most of currnt cognitive diagnostic models that existed in the past predominantly relied on abundant student response records for diagnosis. However， in reality， the interconnections among students'response records，items，and knowledge concepts exhibited a long-tail distribution. That meant that some students had a limited number of response records，and some items were covered by only a few knowledge concepts. This challenge was posed for model training. To address this issue，a cognitive diagnostic model based on intra-layer similarity relationships was proposed. Using a simple matching coefficient，the similarity coefficients of students，items，and knowledge concepts were calculated based on their response records.This process established intra-layer similarity relationships for students，items， and knowledge concepts. These intra-layer relationships were then utilized by the model，and a relational graph convolutional network was employed to propagate information from head nodes to tail nodes.This approach aimed to improve the sparsity of inter-layer relationships in the tail nodes.A diagnostic function that incorporated knowledge point representations was used for cognitive diagnosis.

Key words：cognitive diagnosis；long-tailed distribution；similarity； intra-layer relationships；graph convolutional networks

0 引言

近年來，人工智能技術應用于教育領域引起了廣泛關注。認知診斷是其中的重要任務之一，旨在根據學生做題記錄來評估學生對知識點的掌握情況，在教學評價和資源推薦等任務中具有重要作用[1-3] 。

近年來，認知診斷的相關研究取得了豐富的成果，其方法主要分為兩類。一類基于傳統概率模型如 IRT^[4] 、MIRT[5]等方法，使用習題難度、習題區分度和學生的熟練度模擬學生與習題的交互過程。確定性輸入、噪聲“與\"門模型（DINA）[6結合Q 矩陣和學生的答題記錄，對學生的認知狀態進行建模。然而，上述模型依賴于人工設計的交互函數，難以捕捉學生和習題之間的復雜交互關系。另一類基于深度學習方法，該類方法基于神經網絡，或建模學生和習題之間的交互關系或對學生習題知識點的圖結構進行表示，如CDGK[8]、RCD[9]。上述方法表明基于圖結構的認知診斷方法具有良好性能。

然而，上述模型的良好性能依賴于充分的數據，包括學生的做題記錄、習題和知識點的關聯關系等。在實際應用中，這種數據可能是不充分的，在圖結構中往往呈長尾分布。例如ASSIST2009—2010（簡稱ASSIST）數據集中，做題記錄多于平均數的學生僅占19% ，而做題記錄小于40題的學生卻占 45% 。此外，在ASSIST數據集中，關聯多個知識點的題目僅占17% ，而關聯單知識點的題目占 83% 。這種學生做題記錄少或知識點關聯信息少的節點被稱作學生尾節點或習題尾節點。顯然，長尾分布中的尾節點由于具有較少信息難以進行有效建模。如圖1所示，學生A和B分別作答4個和5個習題，而學生C僅作答2個習題，可認為A和B是頭節點而C是尾節點。顯然，具有較少做題信息的學生C的認知狀態診斷就變得困難。此外，習題和知識點中也同樣存在尾節點。總之，學生、習題和知識點之間關聯關系的長尾分布給已有的診斷方法帶來了挑戰。

針對數據中的長尾分布問題，本文提出了基于層內相似關系的認知診斷方法（intra-layersimilaritycognitivediagnosis，ISCD）。通過構建層內相似關系，將頭節點的信息傳遞給尾節點，緩解長尾分布現象，提高診斷精度。如圖1所示，通過構建學生A和C、B和C的相似關系（如圖1中弧線箭頭），將學生 的做題信息傳遞給做題記錄較少的學生C。本文主要貢獻如下。

1）針對認知診斷中學生-習題-知識點關聯圖中的長尾分布問題，提出通過構建層內相似關系來改善長尾，提高診斷性能。

2）在消融實驗中討論了當學生、習題和知識點節點多種長尾分布共存時，多個層間相似關系構建的必要性。

1相關工作

本節從兩個方面介紹了近兩年流行的認知診斷模型：基于神經網絡的認知診斷模型和基于圖的認知診斷模型。

1. 1 基于神經網絡的認知診斷

近年來，神經網絡被用于改進認知診斷中手工交互函數難以模擬學生和習題之間的交互問題。DIRT基于IRT進行改進，使用神經網絡來建模習題的文本以及習題和知識點之間的關系[10]。NCD 利用多層神經網絡對學生和習題進行建模，改進了以往人工設計的交互函數不能完全模擬學生和習題交互過程這一缺點，并經過單調性假設的驗證，證明了其可解釋性[7]。MGCD使用多層神經網絡對一組學生的認知狀態進行診斷，旨在挖掘群體對知識點的熟練度，并將群體的熟練度作為群體中個體的熟練度[1]。ECD使用層次注意網絡來挖掘情境和文化對學生的影響，然后聚合學生背景信息和學生的歷史認知狀態生成學生的外在因素特征，以增強對學生的認知狀態的診斷[12]。KSCD對每個學生的嵌入向量、習題的嵌入向量分別和知識嵌入向量相乘，得到學生知識掌握向量和習題對應知識難度向量，二者經過交互函數來預測學生答題表現[13] 。

1. 2 基于圖的認知診斷

圖神經網絡的優越性能在許多領域引起了廣泛關注。而認知診斷中由學生、習題、知識點間的關系構成三部圖[14]。因此基于圖認知的診斷方法成為研究的熱點之一。

GKT-CD基于圖結構，使用了一個門控GNN建模學生的學習過程，生成了學生的認知狀態，提高了模型性能[15]。RCD 構建了一個由三個局部圖組成的層次圖：學生-習題圖、習題-知識點圖和知識點依賴圖，并用GAT學習學生、習題和知識點的嵌入表示[9]，再基于多層神經網絡進行優化，提高了診斷的精度。MRCD考慮學生-習題交互的差異性將學生的作答記錄分為兩個圖進行建模，即正確作答交互圖和錯誤作答交互圖，利用圖對比學習解決了圖劃分導致的稀疏性并增強了學生和練習的學習[16]。但二者都沒有考慮同種實體之間的關系。

上述方法在圖建模中多聚焦在學生、習題和知識點的層間關系，較少關注層內關系。

2本文方法

給定學生、習題和知識點集合 \"，sN，E= ， ^N，M 和 T 分別是三個集合包含的數量。假設每個學生分別選擇了一些習題，而這些習題又包含某些知識點，由此構成一個三部圖，將學生作答習題、習題包含知識點的關系稱為層間關系，分別表示為 。實際應用中 R_se 和 R_ek 的稀疏性和不均衡性，導致學生、習題和知識點呈現長尾分布，存在頭節點和尾節點，從而給診斷帶來挑戰。本文的任務是在分布長尾條件下實現認知診斷。

本文方法的框架分為層內相似關系構建、融合關系的節點表示和診斷模型訓練三個步驟，如圖2所示。1）層內相似關系構建主要是構建層內節點間的相似關系，從而使得頭節點信息可以傳遞給其相似的尾節點。2）融合關系的節點模塊則是基于RGCN模型分別嵌入圖中的節點，如學生、習題和知識點[7]3）模型訓練則是在嵌入基礎上訓練診斷模型。

2.1 層內相似關系構建

本節針對三部圖中的長尾分布，提出了構建層內相似關系的方法來緩解尾節點的稀疏性問題。以學生節點為例，當一個學生頭節點（學生做了充分的習題）和一個學生尾節點（學生僅做了少量的習題）所做的習題中有較多相同題目，則認為兩個學生之間具有一定的相似性，尾節點學生有較大概率會做頭節點學生所做的習題。為此，通過構建頭節點和尾節點間的相似關系，使得頭節點關聯的習題信息可以傳遞給尾節點。

兩個學生的作答記錄相似，則這兩個學生被認為存在相似關系，我們把這些相同類型節點間的關系稱為層內相似關系。這里，采用簡單匹配系數[18]來計算兩個學生節點間的相似性，

其中： R_s1e 表示學生1的做題記錄集合； R_s2e 表示學生2的做題記錄集合。

根據式（1）計算任意兩個學生的相似矩陣，對相似性較大的兩個學生之間構建層間相似關系，以構建學生層內的關系圖。相似性閾值設置為 AVERAGE（±bw） ，其中： α 為手動調整的系數； ±bw 為式（1）計算的相似系數構成的矩陣。若Similarity（ ?s_a ， ，則在這兩個學生之間建立相似關系。

同理，可以基于習題間的相似性和知識點間的相似性，分別構建習題、知識點的層內相似關系。

2.2 融合關系的節點表示

針對三個類型的節點，考慮學生-習題和習題-知識點間關系的不同，基于RGCN對三類節點進行嵌入。下面以學生為例進行說明。

首先基于學生-習題二部圖，在隨機初始化向量基礎上，基于兩層堆疊的RGCN，通過聚合學生層內相似節點以及學生-習題的層間關聯節點進行向量迭代更新。聚合過程對鄰域信息進行歸一化，再求和累積，具體可表示為

其中： s_i^l+1 為神經網絡隱藏層的輸出；最終層的輸出為學生節點 s_i 的向量表示 E_s;N_i^r 表示節點 i 在關系r∈R 下的與鄰居節點的關系集合； n_j^（l） 為 s_i 的鄰居節點（包括學生和習題節點）； W_r 是個可訓練矩陣，表示 s_i 與鄰居節點的權重； W₀ 表示整合 l 層自身表示的權重； σ 表示激活函數，這里采用LeakyReLU

同理，基于學生-習題-知識點視圖獲取習題的向量 E_e ，基于習題 知識點視圖，獲取知識點的向量±bE_k

2.3 診斷模塊

基于學生、習題和知識點進行認知診斷建模，并基于預測結果的分類損失進行模型訓練。

首先，對學生向量和知識點向量進行融合以獲取學生認知狀態的向量，

其次，基于學生認知狀態來預測學生做題結果。若學生認知狀態超過習題所要求的知識點掌握情況，則預測學生答對，否則答錯。因此，利用學生的認知狀態和習題所要求的知識點掌握情況之間的交互作用來進行預測，

其中： ±bE_c 代表學生的認知狀態； E_e 代表習題所需要的知識點掌握情況。 W（?） 是一個池化層，對學生的認知狀態和習題進行降維； L（?） 是一個評分函數，用于將降維的學生認知狀態和習題轉化為具體的預測結果，實驗中采用一層全連接層。

最后，基于Adam優化的方法來訓練模型。模型的損失函數是真實得分 r 和預測得分 y 的交叉熵函數。具體來說， y 是ISCD模型預測的學生 s 作答習題 E 的成績， r 是學生 s 在習題 E 上的真實成績，因此，模型的損失表示為

3 實驗

在三個真實世界的數據集上進行了廣泛的實驗，以證明本文方法在數據長尾分布下的有效性。

3.1 數據集和對比算法

三個數據集的統計信息見表1，其中“—”表示該指標在數據集中不存在。

ASSIST（ASSISTments 2009—201Oskillbuilder）（https： // sites. google. com/site/assistmentsdata/home/20o9-201O-assistment-data/skill-builder-data-2009-2010）是由ASSISTments（在線智能導師系統）收集的宣傳數據集，其中包含2009—2010學年學生的回答記錄以及所包含的習題與知識點之間的關系，ASSIST不提供知識點之間的關系。本文將與習題交互記錄數量少于40的學生作為尾節點，余下學生作為頭節點。

Mooper（massive open online practice，MOOP）是一個大型在線開放實踐數據集，由國防科技大學信息系統工程重點實驗室貢獻[19]。Mooper來源于大規模開放在線實踐，包含了2018—2019年頭歌平臺（ht-tps：/www.educoder.net/）用戶在線實踐數據，其中用戶與實踐項目的輔助信息以知識圖譜形式組織。由于數據量大，很多習題并沒有對應的知識關聯，所以本文只選取了包含知識點的做題記錄進行實驗，并將做題數量少于10題的學生定義為尾節點。

JunYi（https：//pslcdatashop.web.cmu.edu/Data-setInfo？ datasetId =1198 ）來自在線學習平臺JunYi學院，該數據集收集了2012年10月—2015年1月的答題記錄。每個習題只包含一個知識點。它提供了由專家標記的知識點之間的關系[20] 。

將學生、習題和知識點的向量維度設置為 T，T 為知識點的個數。參照 RCD^[9] 的預處理操作處理未標注數據集的知識點之間的關系。RGCN層的最大堆疊層數為2，使用Adam優化器來優化模型參數，學習率為0.001，epoch設置為100。采用5-交叉驗證的方法獲取實驗結果，以 70% 的做題記錄作為訓練集， 30% 做題記錄作為測試集。考慮本文使用的數據集習題是客觀習題，習題的得分為0或1，分別表示不正確或正確答案。采用了ACC和AUC兩種二分類模型評價指標對預測性能進行評價。

為了驗證ISCD的有效性，選擇兩個傳統模型（IRT和DINA）、兩個神經網絡模型（NCD和RCD）作為基線。

IRT是一種典型的連續型認知診斷模型。通過對測試問題和學生的答案進行聯合建模來診斷測試參數以及學生的潛在能力[4]

DINA是經典的認知診斷模型之一，它將學生描述為多維知識掌握向量，并從學生現有的回答記錄中診斷學生的知識狀態[。

NCD是基于神經網絡的最早的CDM之一。它使用多個神經層來建模學習者和習題，并應用單調性假設來確保模型的可解釋性[7]

RCD將學習者、習題和概念表示為三個局部關系圖中的節點，構建了一個多層注意網絡來聚合圖中節點之間的關系和圖之間的關系[9]

KSCD利用學生做題記錄學習知識概念之間的關系并基于神經網絡獲取知識點向量的嵌入表示，再融合學生和知識點向量得到學生的認知狀態[13] 。

3.2 對比實驗

表2對比了本文方法與多個基線在三個數據集上的效果。表中ISCD-S表示僅對學生構建層內相似關系，習題和知識點不構建層內相似關系；ISCD-E和ISCD-K分別表示僅構建習題層內關系和知識點層內關系。由表2可得出1）＼～4）。

1）在基線中，基于圖的RCD和ISCD效果優于其他方法，表明基于圖結構學習學生、習題和知識點的策略是有效的，可以更好模擬學生-習題-知識點的復雜交互。

2）ISCD、ISCD-S、ISCD-E和ISCD-K模型的準確率在三個數據集上的表現均有提升，其中ISCD-S、ISCD-E在三個數據集上的ACC均優于上述基線模型，說明加入層內關系可以豐富圖的信息，提高診斷精度。

3）ISCD-S、ISCD-E和ISCD-K在三個數據集上大部分指標優于ISCD，表明增加層內關系可以更好地捕捉學生的認知狀態并提高預測準確性。

4）ISCD-S在三個數據集上的評價指標均優于ISCD-E和ISCE-K，表明增加學生層內關系比其他兩個層內關系更有效。因為ISCD-S可以獲取相似的學生認知狀態信息，盡管ISCD-E和ISCD-K增加了習題和知識點間的關系，但該關系作為鄰居通過疊加操作反映在學生狀態向量中。因此，相比ISCD-E和ISCD-K，ISCD-S對于整體的診斷精度提升更明顯。結果表明，ISCD系列模型在預測學生成績方面是有效的，同時考慮學生內部和層間交互關系可以進一步提高它們的性能。

3.3 消融實驗

3.3.1建立多種層內關系的有效性為了進一步驗證學生、習題和知識點層內關系同時添加的必要性，進行了診斷實驗，結果見表3。Mooper-S表示原Mooper數據集中僅學生具有長尾分布，習題和知識點不具有長尾分布；Mooper-SK表示在原Mooper數據集對增加了部分無知識點關聯記錄的習題，從而使得學生和知識點同時存在長尾分布；ASSIST-SE表示原ASSIST數據集中學生和習題同時具有長尾分布。ISCD-SE表示對學生、習題構建層內相似關系；ISCD-SK表示對學生、知識點構建層內相似關系；ISCD-SEK表示對學生、習題、知識點構建層內相似關系；ISCD-EK表示對習題、知識點構建層內相似關系。

1）當學生存在尾節點時，加入學生的層內關系有效。Mooper-S數據中僅學生存在長尾分布，習題和知識點不存在長尾分布。與ISCD相比，ISCD-S在Mooper-S數據集上的ACC提升了 2.09% ，在尾節點診斷的ACC提高了 2.88% ，表明針對學生尾節點，增加學生頭節點和尾節點間的相似關系，能將頭節點的做題信息傳遞給尾節點，從而提高精度。ASSIST-SE數據集學生和習題同時存在長尾，與ISCD比，ISCD-S在ASSIST-SE數據集上全體學生的ACC提升了 2.75% ，尾節點ACC提高了 6.76% 。表明當學生存在長尾分布時，增加學生節點的層內相似關系是有效的。

2）當僅學生長尾，習題知識點不存在長尾時，僅增加習題的層內關系也能提升效果，但沒有僅增加學生層內關系提升明顯。在Mooper-S數據集上，與ISCD比，ISCD-E尾節點ACC提升了 0.68% ，而ISCD-S提升了 2.88% 。這是由于習題間的層內關系在RGCN過程中，通過層內關系聚合了更多的習題信息到學生節點上，從而緩解了學生尾節點的稀疏性。

3）當僅學生長尾，習題和知識點不長尾時，增加多個層內關系提升效果不明顯。ISCD-SE與ISCD-S相比，ISCD-SE比ISCD-S全體學生的ACC僅提升了 0.70% ，在尾節點 ACC 僅提升了 0.29% ，提升幅度較小。表明了多個層內關系之間的疊加中具有信息重疊，難以獲取明顯提升。

在ASSIST-SE 和在 Mooper-SK 數據集上分別為學生、習題長尾，學生、知識點長尾，ISCD-SE、ISCD-SK分別在這兩個數據集上緩解學生和習題長尾、學生和知識點長尾的效果相較于ISCD-S在Mooper-S上緩解學生長尾的效果有著類似的優勢和結論，限于篇幅，不再贅述。

3.3.2不同建立層內關系方法及參數分析考慮潛在相似關系具有多樣性，我們嘗試用不同的相似度函數來建立層內相似關系，以驗證診斷結果與層內關系建立方式及規模的相關性。為此，對比了簡單匹配系數（SMC）、余弦相似度、Jaccard系數三個相似度計算方法隨閾值變化的情況，如表4所示。

1）Jaccard相似系數用于比較有限樣本集之間的相似性與差異性[21]。Jaccard 系數值越大，樣本相似度越高。給定兩個學生做題集合 _A，B ， Jaccard系數定義為 A 與 交集的大小與 A 與 并集的大小的比值，定義為 其中： A 為學生1的做題集合； 為學生2的做題集合。

2）余弦相似度把學生做題的記錄作為向量，計算學生之間的余弦相似度，定義為

根據表4的結果可得出結論 。

1）隨著相似性閾值調整系數 α 增加，層內關系數量減小，尾節點的同類鄰居節點數量也減小。當α 在0.7時，其性能最佳。 α 過小時，則會增加過多的相似關系，其中可能包含了噪聲；而當 α 過大時，則僅能增加少量相似關系。尾節點無法充分獲得信息，導致診斷效果下降。

2）三個相似性關系計算方法隨閾值參數變化趨勢基本一致，且余弦相似度結果最好。

4結論

本文針對學生、習題和知識點的長尾分布，提出了一種基于層內相似關系的認知診斷方法ISCD。該方法通過增加學生與學生、習題與習題、知識點與知識點之間的層內相似關系實現尾節點的信息傳遞，從而緩解長尾分布帶來的挑戰。具體而言，本文首先計算了學生、習題和知識點之間的相似性，建立層內相似關系圖。然后，使用了一個關系圖卷積網絡來聚合頭節點的信息到尾節點和不同節點上的信息，生成學生、習題和知識點的表示。最終設計一個診斷函數來預測學生的表現。未來將進一步關注更合理的層間相似關系構建方法，以及知識點長尾分布情況下，如何提升診斷性能。

參考文獻：

[1] 胡學鋼，卜晨陽，劉菲，等．基于學生解題分析的認 知診斷研究[J]．計算機教育，2019（2）：50-52. HUXG，BUCY，LIUF，et al.Research on cognitive diagnosis based on students'problem solving analysis [J].Computer education，2019（2）：50-52.

[2] 胡學鋼，劉菲，卜晨陽．教育大數據中認知跟蹤模型 研究進展［J]．計算機研究與發展，2020，57（12）： 2523-2546. HUXG，LIUF，BUCY.Research advances onknowledge tracing models in educational big data[J]. Journal of computer research and development，2020，57（12）： 2523-2546.

[3] 郭陽，李全龍，李騏．基于學習者興趣挖掘的個性化 課程推薦方法［J]．鄭州大學學報（理學版），2021， 53（4）：77-82. GUO Y，LIQ L，LI Q. Personalized course recommendation based on learner interest mining[J].Journal of

[4」EMBRETSON S E，REISE S P. Item response theory [M]．New York： Psychology Press，2013.

[5]RECKASE M D. Multidimensional item response theory models[M]//Multidimensional Item Response Theory. New York： Springer Press，2009：79-112.

[6]DE LA TORRE J. DINA model and parameter estimation ： a didactic[J]. Journal of educational and behavioral statistics，2009，34（1）：115-130.

[7]WANG F，LIU Q，CHEN E H，et al.Neural cognitive diagnosis for intelligent education systems[C]//Proceedings of the AAAI Conference on Artificial Intelligence.Palo Alto： AAAI Press，2020： 6153-6161.

[8]WANG X P，HUANG C D，CAI JF，et al. Using knowledge concept aggregation towards accurate cognitive diagnosis[C]//Proceedings of the 30th ACM International Conference on Information amp; Knowledge Management. New York：ACM Press，2021： 2010-2019.

[9] GAO W B，LIU Q，HUANG Z Y，et al. RCD：relation map driven cognitive diagnosis for intelligent education systems[C]//Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York：ACM Press，2021：501-510.

[10] CHENG S，LIU Q，CHEN E H，et al. DIRT： deep learning enhanced item response theory for cognitive diagnosis[C]//Proceedings of the 28th ACM International Conference on Information and Knowledge Management. New York：ACM Press，2019：2397-2400.

[11]HUANG J，LIU Q，WANG F，et al. Group-level cognitive diagnosis：a multi-task learning perspectiveC]// IEEE International Conference on Data Mining. Piscataway：IEEE Press，2022：210-219.

[12] ZHOU Y Q，LIU Q，WU J Z，et al. Modeling contextaware features for cognitive diagnosis in student learning [C]//Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery amp; Data Mining. New York： ACM Press，2021： 2420-2428.

[13] MA H P，LI M W，WU L，et al. Knowledge-sensed cognitive diagnosis for intelligent education platforms[C]// Proceedings of the 31st ACM International Conference on Information amp; Knowledge Management. New York：ACM Press，2022：1451-1460.

[14] ZHANG C X，SONG D J，HUANG C，et al. Heterogeneous graph neural network[C]//Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. New York：ACM Press，2019： 793-803.