基于學(xué)科知識圖譜的智能化認(rèn)知診斷評估方法*

李 振 周東岱

基于學(xué)科知識圖譜的智能化認(rèn)知診斷評估方法*

李 振 周東岱

（東北師范大學(xué) 信息科學(xué)與技術(shù)學(xué)院，吉林長春 130117）

認(rèn)知診斷評估是新時代教育評價改革的重要著力點，而現(xiàn)有認(rèn)知診斷評估方法存在認(rèn)知模型構(gòu)建效率低、可解釋性差的問題，同時認(rèn)知測量模型也因缺乏語義化的認(rèn)知模型而導(dǎo)致精度不高。對此，文章提出基于學(xué)科知識圖譜的智能化認(rèn)知診斷評估（ICDA-SKG）方法，內(nèi)容包含學(xué)科知識圖譜和認(rèn)知測量模型兩個部分，其實現(xiàn)涉及學(xué)科知識點抽取、知識點語義關(guān)系識別、特征矩陣計算、認(rèn)知狀態(tài)評估四大關(guān)鍵技術(shù)。之后，文章采用算法模型對比實驗、實際應(yīng)用對比實驗，分別對表征認(rèn)知模型的學(xué)科知識圖譜和融入學(xué)科知識圖譜的認(rèn)知測量模型進(jìn)行了實驗驗證，結(jié)果表明：ICDA-SKG方法具有有效性和實用性。文章的研究成果可為智能化認(rèn)知診斷評估提供新思路，并為教育評價實踐提供方法指導(dǎo)。

學(xué)科知識圖譜；認(rèn)知診斷評估；人工智能；深度神經(jīng)網(wǎng)絡(luò)

2020年，中共中央、國務(wù)院印發(fā)《深化新時代教育評價改革總體方案》[1]，凸顯了教育評價在新時代教育事業(yè)發(fā)展中的重要地位。在新一輪教育評價改革的影響下，傳統(tǒng)的“以結(jié)果為導(dǎo)向的鑒定式評價”正逐漸轉(zhuǎn)向“為了改進(jìn)的診斷式評價”，以認(rèn)知診斷評估為代表的第三代測評理論引起了教育界的廣泛關(guān)注。認(rèn)知診斷評估（Cognitive Diagnostic Assessment，CDA）是指對學(xué)習(xí)者認(rèn)知過程、加工技能或知識結(jié)構(gòu)進(jìn)行診斷評估，可通過采集、分析學(xué)習(xí)者的測評數(shù)據(jù)，借助概率統(tǒng)計模型或機(jī)器學(xué)習(xí)算法，獲得學(xué)習(xí)者在問題解決過程中所用到的知識技能掌握狀態(tài)[2]。隨著深度學(xué)習(xí)、知識圖譜等人工智能技術(shù)的快速發(fā)展，智能化認(rèn)知診斷評估成為重要的教育評價方法。尤其是學(xué)科知識圖譜這種高效化、語義化、自動化的知識表征方式，為認(rèn)知診斷評估的智能化轉(zhuǎn)型帶來了新的發(fā)展契機(jī)，對于提高診斷評估的效率與精度具有重要意義。基于此，本研究從人工智能賦能教育評價的視角出發(fā)，研究基于學(xué)科知識圖譜的智能化認(rèn)知診斷評估方法，以期對認(rèn)知診斷評估的理論與實踐應(yīng)用有所助益。

一 認(rèn)知診斷評估方法的研究現(xiàn)狀

認(rèn)知診斷評估是認(rèn)知心理學(xué)和心理測量學(xué)相結(jié)合的產(chǎn)物，包括認(rèn)知模型和認(rèn)知測量模型[3]。

1 認(rèn)知模型的研究現(xiàn)狀

認(rèn)知模型是進(jìn)行認(rèn)知診斷評估的基礎(chǔ)，由認(rèn)知屬性及其關(guān)聯(lián)關(guān)系構(gòu)成。對于“認(rèn)知屬性”，不同研究者提出了不同的理解，如Nichols等[4]認(rèn)為認(rèn)知屬性是學(xué)習(xí)者完成某項學(xué)習(xí)任務(wù)時所需的知識技能，Leighton等[5]認(rèn)為認(rèn)知屬性是問題解決過程中所涉的陳述性或程序性知識。目前主流的觀點認(rèn)為，認(rèn)知屬性對應(yīng)于教育學(xué)中廣義的知識點[6]。

認(rèn)知屬性及其關(guān)聯(lián)關(guān)系的確立過程就是認(rèn)知模型的構(gòu)建過程，現(xiàn)有的認(rèn)知模型構(gòu)建方法大致可以分為兩大類：①人工構(gòu)建方法，即通過文獻(xiàn)分析法、口頭報告法、專家咨詢法等人工操作來構(gòu)建認(rèn)知模型。例如，王欣瑜[7]、康春花等[8]、蔡佳寶[9]等綜合應(yīng)用上述兩種或兩種以上的方法，分別構(gòu)建了兒童關(guān)鍵數(shù)學(xué)學(xué)力、小學(xué)數(shù)學(xué)圖形與幾何、高中概率與統(tǒng)計的認(rèn)知模型。該類方法主要依靠學(xué)科專家人工構(gòu)建，存在效率低、成本高、出錯率高的問題。②基于數(shù)據(jù)驅(qū)動的自動化/半自動化構(gòu)建方法，即利用學(xué)習(xí)者表現(xiàn)數(shù)據(jù)，通過機(jī)器學(xué)習(xí)或數(shù)據(jù)挖掘獲得數(shù)據(jù)中隱含的認(rèn)知屬性及其關(guān)系。例如，Koedinger等[10]提出基于學(xué)習(xí)因素分析的半自動化認(rèn)知模型構(gòu)建方法，Sun等[11]提出基于布爾矩陣分解的自動化認(rèn)知模型構(gòu)建方法。該類方法雖然能自動化或半自動化地構(gòu)建認(rèn)知模型，但存在可解釋性差的問題。

2 認(rèn)知測量模型的研究現(xiàn)狀

目前，國內(nèi)外研究者已經(jīng)開發(fā)出了100多種認(rèn)知測量模型，大致可以分為三大類：①潛在特質(zhì)模型，是指建立在項目反應(yīng)理論基礎(chǔ)上的認(rèn)知測量模型，如項目反應(yīng)理論（Item Response Theory，IRT）模型、多維項目反應(yīng)理論（Multidimensional Item Response Theory，MIRT）模型等[12]。該類模型的研究雖然起步較早，但僅能籠統(tǒng)地估計學(xué)習(xí)者的能力水平，尚不能評估學(xué)習(xí)者細(xì)粒度的認(rèn)知屬性掌握狀態(tài)。②潛在分類模型，其思路是利用測評數(shù)據(jù)對學(xué)習(xí)者的認(rèn)知模式進(jìn)行分類，如確定性輸入噪聲與門（Deterministic Input Noisy And gate，DINA）模型、噪聲輸入確定性與門模型（Noisy Inputs Deterministic And gate，NIDA）等[13]。該類模型以概率統(tǒng)計為基礎(chǔ)，需要事先確定模型的具體形式，然后采用最大似然估計、最大后驗概率估計或蒙特卡洛算法對模型參數(shù)進(jìn)行求解，容易導(dǎo)致預(yù)測精度低、擬合效果差的問題。③基于機(jī)器學(xué)習(xí)的認(rèn)知測量模型，主要采用分類、聚類等機(jī)器學(xué)習(xí)算法對學(xué)習(xí)者進(jìn)行認(rèn)知模式歸類，如基于譜聚類、支持向量機(jī)、人工神經(jīng)網(wǎng)絡(luò)的認(rèn)知測量模型等[14][15][16]。該類模型大多采用傳統(tǒng)的機(jī)器學(xué)習(xí)算法，存在過擬合、泛化能力差的問題。

梳理現(xiàn)有的認(rèn)知診斷評估方法研究成果，可以發(fā)現(xiàn)：認(rèn)知模型的構(gòu)建主要以人工構(gòu)建為主，雖然也有少量研究探討了基于數(shù)據(jù)驅(qū)動的自動化/半自動化構(gòu)建方法，但在可解釋性方面存在局限；認(rèn)知測量模型的研究開始由傳統(tǒng)的概率統(tǒng)計模型向人工智能方向轉(zhuǎn)變，但其診斷效果因缺乏語義化的認(rèn)知模型而導(dǎo)致精度不高。因此，如何構(gòu)建高效且具有語義的認(rèn)知模型并將其與認(rèn)知測量模型有機(jī)融合，是本研究要重點探討的問題。

二 基于學(xué)科知識圖譜的智能化認(rèn)知診斷評估方法

針對現(xiàn)有認(rèn)知診斷評估方法存在的上述問題，本研究提出基于學(xué)科知識圖譜的智能化認(rèn)知診斷評估（Intelligent Cognitive Diagnostic Assessment based on Subject Knowledge Graph，ICDA-SKG）方法，如圖1所示。ICDA-SKG方法采用學(xué)科知識圖譜來表征認(rèn)知模型，以解決現(xiàn)有認(rèn)知模型構(gòu)建效率低、可解釋性差的問題。在此基礎(chǔ)上，ICDA-SKG方法借助Q矩陣?yán)碚撝械奶卣骶仃囉嬎悖瑢W(xué)科知識圖譜融入認(rèn)知測量模型；同時，結(jié)合深度神經(jīng)網(wǎng)絡(luò)對學(xué)習(xí)者進(jìn)行認(rèn)知狀態(tài)評估，以提高認(rèn)知測量模型的診斷精度。ICDA-SKG方法的實現(xiàn)，涉及學(xué)科知識點抽取、知識點語義關(guān)系識別、特征矩陣計算、認(rèn)知狀態(tài)評估四大關(guān)鍵技術(shù)。

1 學(xué)科知識點抽取

學(xué)科知識點抽取可以轉(zhuǎn)化為自然語言處理中的序列標(biāo)注問題。目前，解決序列標(biāo)注問題的主流做法是融合雙向長短期記憶網(wǎng)絡(luò)（Bidirectional Long Short-Term Memory，BiLSTM）和條件隨機(jī)場（Conditional Random Field，CRF）進(jìn)行建模[17]。由于觸發(fā)詞（Trigger）在學(xué)科知識點抽取中的作用至關(guān)重要，故本研究提出融合觸發(fā)詞的BiLSTM-CRF模型，即Trigger-BiLSTM-CRF模型。

圖1 基于學(xué)科知識圖譜的智能化認(rèn)知診斷評估（ICDA-SKG）方法

（1）觸發(fā)詞分析與提取

課程標(biāo)準(zhǔn)、教學(xué)設(shè)計、電子教案等教學(xué)文檔在語言表達(dá)上通常采用“行為動詞+名詞或名詞短語”的形式，來描述知識技能的教學(xué)目標(biāo)和達(dá)成度，如“初步掌握函數(shù)概念”“初步形成利用函數(shù)認(rèn)識現(xiàn)實世界的能力”等。本研究結(jié)合布魯姆教育目標(biāo)分類學(xué)，從結(jié)果性目標(biāo)、體驗性目標(biāo)兩個方面分別提取表征知識技能目標(biāo)水平的行為動詞，以生成知識點的觸發(fā)詞表。

（2）模型的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

Trigger-BiLSTM-CRF模型可以形式化描述為：假設(shè)教學(xué)文本語料中的每個句子表示為(x, x, ..., x)，每個文本語句包含多個知識點(k, k, ..., k)，每個知識點k對應(yīng)若干觸發(fā)詞(t, t, ..., t)，已知模型的輸入為()，求解文本語句對應(yīng)的標(biāo)簽序列(y, y, ..., y)。

圖2 Trigger-LSTM-CRF模型的網(wǎng)絡(luò)結(jié)構(gòu)

Trigger-BiLSTM-CRF模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，包括三個部分：①觸發(fā)詞編碼。對于每條輸入數(shù)據(jù)()，首先采用深度學(xué)習(xí)中的BiLSTM網(wǎng)絡(luò)獲取每個詞的上下文特征表示，之后基于Attention機(jī)制計算觸發(fā)詞的權(quán)重，得到每個觸發(fā)詞的編碼向量g。②觸發(fā)詞語義匹配。通過共享向量空間的方式，獲取教學(xué)文本的句子編碼向量g，之后計算文本語句與觸發(fā)詞的語義匹配程度。③知識點序列標(biāo)注。基于文本語句和觸發(fā)詞的語義匹配度，通過BiLSTM網(wǎng)絡(luò)和CRF層進(jìn)行處理后，最終獲得每個文本語句的標(biāo)注結(jié)果。

2 知識點語義關(guān)系識別

知識點語義關(guān)系識別過程可以抽象描述為：對于給定的教學(xué)文本語句(x, x, ..., x)和句中已標(biāo)定的學(xué)科知識點e、e，預(yù)測兩個知識點之間存在各類語義關(guān)系的概率值。已有研究證實，文本語句中的局部特征能夠顯著提高語義關(guān)系分類的準(zhǔn)確性[18]。而卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）在提取局部特征方面具有顯著優(yōu)勢，因此本研究構(gòu)建了基于CNN的知識點語義關(guān)系識別模型，其結(jié)構(gòu)如圖3所示。

圖3 基于CNN的知識點語義關(guān)系識別模型結(jié)構(gòu)

①輸入層：用于接收文本數(shù)據(jù)，并將其轉(zhuǎn)化為特征矩陣。本層選用詞的嵌入特征、位置特征、詞性特征、知識點標(biāo)簽四類特征作為CNN的輸入，之后采用向量拼接法將這四類特征融合為特征矩陣T。

②卷積層：用于提取教學(xué)文本語句的局部上下文特征。本層采用多個大小為×的卷積核從特征矩陣T的第一行逐層向下移動，每個卷積核與矩陣區(qū)域進(jìn)行卷積運算，產(chǎn)生若干多尺度的特征圖(c, c, ..., c)。

③池化層：用于對特征圖進(jìn)行特征選擇和信息過濾。本層采用最大池化（Max Pooling）對特征圖進(jìn)行操作，得到表征語句整體語義特征的輸出向量。

④語義分類層：用于計算各類語義關(guān)系的概率分布。本層以池化層的輸出向量作為輸入，依次通過全連接層、歸一化指數(shù)函數(shù)Softmax對其進(jìn)行處理，最終得到每種語義關(guān)系的概率值。概率值用(?)表示，其中=1, 2, ..., ?R?表示語義關(guān)系類型，表示全連接層的輸出。

3 特征矩陣計算

認(rèn)知診斷評估的本質(zhì)是在認(rèn)知模型的基礎(chǔ)上進(jìn)行特征提取和模式識別[19]。其中，特征提取是指對Q矩陣?yán)碚摪目蛇_(dá)矩陣、縮減矩陣等進(jìn)行矩陣計算，其目標(biāo)是建立理想屬性掌握模式和理想反應(yīng)模式之間的對應(yīng)關(guān)系，具體過程如下：

①可達(dá)矩陣生成。可達(dá)矩陣表示認(rèn)知屬性之間的直接或間接關(guān)系，是一個維度為N×N的0-1矩陣。可達(dá)矩陣的行和列對應(yīng)學(xué)科知識圖譜的節(jié)點，矩陣中的元素表示節(jié)點之間是否有可達(dá)路徑，若有為1，否則為0。

②縮減矩陣生成。縮減矩陣是由符合認(rèn)知屬性關(guān)系的測試項目組成的矩陣，是一個維度為N×M的0-1矩陣（其中，“1”表示測試項目考察了認(rèn)知屬性，“0”則表示未考察）。縮減矩陣可由擴(kuò)張算法生成[20]。

③理想屬性掌握模式生成。理想屬性掌握模式是符合認(rèn)知屬性關(guān)系的所有掌握模式，是一個維度為(M+1)×N的0-1矩陣（其中，“1”表示掌握了認(rèn)知屬性，“0”則表示未掌握）。理想屬性掌握模式可由縮減矩陣進(jìn)行行列轉(zhuǎn)置后，再添加一行全零向量得到。

4 認(rèn)知狀態(tài)評估

認(rèn)知狀態(tài)評估是認(rèn)知測量模型的關(guān)鍵步驟，直接決定著認(rèn)知診斷評估結(jié)果的準(zhǔn)確性。由于深度神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的非線性擬合能力和自適應(yīng)學(xué)習(xí)能力，而且能與學(xué)科知識圖譜很好地融合，故本研究采用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行認(rèn)知狀態(tài)評估。

認(rèn)知狀態(tài)評估的網(wǎng)絡(luò)結(jié)構(gòu)包含輸入層、隱藏層和輸出層（見圖1）。其中，輸入層的神經(jīng)元數(shù)目由測驗項目數(shù)決定，隱藏層的神經(jīng)元數(shù)目初始值為2N+1（N為輸入層的神經(jīng)元數(shù)目），而輸出層的神經(jīng)元數(shù)目由認(rèn)知屬性個數(shù)決定。認(rèn)知狀態(tài)評估分兩個階段進(jìn)行：①在訓(xùn)練階段，輸入數(shù)據(jù)為學(xué)習(xí)者的理想反應(yīng)模式，輸出數(shù)據(jù)為相應(yīng)的理想屬性掌握模式。為避免深度神經(jīng)網(wǎng)絡(luò)的過擬合問題，隱藏層的神經(jīng)元采用Dropout算法進(jìn)行正則化處理。②在預(yù)測階段，深度神經(jīng)網(wǎng)絡(luò)首先將學(xué)習(xí)者的實際作答反應(yīng)轉(zhuǎn)換為二元數(shù)據(jù)（0表示答對，1表示答錯），并將其作為輸入數(shù)據(jù)；然后，利用上述訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)對學(xué)習(xí)者的實際作答數(shù)據(jù)進(jìn)行診斷，輸出學(xué)習(xí)者真實的認(rèn)知屬性掌握模式，即獲得學(xué)習(xí)者的認(rèn)知狀態(tài)。

三 基于學(xué)科知識圖譜的智能化認(rèn)知診斷評估方法的實驗驗證

為驗證ICDA-SKG方法的有效性和實用性，本研究通過算法模型對比實驗、實際應(yīng)用對比實驗，對表征認(rèn)知模型的學(xué)科知識圖譜和融入學(xué)科知識圖譜的認(rèn)知測量模型進(jìn)行了實驗驗證。

1 表征認(rèn)知模型的學(xué)科知識圖譜實驗驗證

（1）算法模型對比實驗

本實驗首先采集了七年級數(shù)學(xué)相關(guān)的電子課本、課程標(biāo)準(zhǔn)、知識點清單、教學(xué)設(shè)計、電子教案等教學(xué)文本數(shù)據(jù)；接著，聘請數(shù)學(xué)學(xué)科教師，采用BIO標(biāo)注模式（B表示首部，I表示中部或尾部，O表示非知識點），使用標(biāo)注工具Brat對數(shù)據(jù)進(jìn)行小樣本標(biāo)注，最終獲得31563條教學(xué)文本語料；然后，按照8:2的比例，將語料劃分為訓(xùn)練集和測試集；最后，采用Python語言進(jìn)行編程實現(xiàn)，選用準(zhǔn)確率、召回率、F1值對學(xué)科知識點抽取效果和知識點語義關(guān)系識別效果進(jìn)行模型對比，結(jié)果如圖4、圖5所示。

圖4顯示，在知識點抽取方面，與CRF、LSTM-CRF、BiLSTM-CRF三個主流模型相比，本研究提出的Trigger-BiLSTM-CRF模型在準(zhǔn)確率、召回率、F1值三個評價指標(biāo)上的效果值均為最高，這表明Trigger-BiLSTM-CRF模型能夠提升學(xué)科知識點的抽取效果。而圖5顯示，在知識點語義關(guān)系識別方面，以融入詞嵌入特征的模型為基線，依次融入位置特征、詞性特征和知識點標(biāo)簽后，知識點語義關(guān)系的識別效果分別提升了3.3%、0.7%、1.98%，這表明綜合融入教學(xué)文本特征的卷積神經(jīng)網(wǎng)絡(luò)能夠提升知識點語義關(guān)系的識別效果。

圖4 學(xué)科知識點抽取效果

圖5 知識點語義關(guān)系識別效果

（2）實際應(yīng)用對比實驗

本實驗采用多組隨機(jī)實驗，來驗證表征認(rèn)知模型的學(xué)科知識圖譜在構(gòu)建效率上的優(yōu)勢，每組均隨機(jī)選取10篇教學(xué)設(shè)計文檔進(jìn)行認(rèn)知模型的人機(jī)標(biāo)定效率對比實驗。考慮到人工構(gòu)建認(rèn)知模型需要消耗大量人力、物力，本實驗僅招募4名初中數(shù)學(xué)教師作為標(biāo)定人員來考察其人工標(biāo)定效率，并與ICDA-SKG方法中學(xué)科知識圖譜的構(gòu)建效率進(jìn)行對比，結(jié)果表明：當(dāng)認(rèn)知屬性（知識點）的數(shù)量少于8個時，人工標(biāo)定認(rèn)知屬性及其關(guān)系的平均用時為14min/篇，而ICDA-SKG方法生成認(rèn)知屬性子圖的平均時間為67.2s/篇；當(dāng)認(rèn)知屬性的數(shù)量超過8個時，人工標(biāo)定會受復(fù)雜語義關(guān)系的影響導(dǎo)致標(biāo)定精度和標(biāo)定效率明顯下降，而學(xué)科知識圖譜的標(biāo)定結(jié)果基本不受影響。由此可以證明，ICDA-SKG方法中的學(xué)科知識圖譜能夠顯著提高認(rèn)知模型的構(gòu)建效率。

2 融入學(xué)科知識圖譜的認(rèn)知測量模型實驗驗證

（1）算法模型對比實驗

本實驗采用云服務(wù)方式，將融入學(xué)科知識圖譜的認(rèn)知測量模型集成到電子書包中，選取長春市C中學(xué)七年級2個自然班的98名學(xué)生為實驗對象，其中A班為實驗組、有48人，B班為對照組、有50人，實驗周期為7周。

本實驗對A、B兩班為期7周的測評數(shù)據(jù)進(jìn)行采集，選用被試者操作特征曲線下的面積（Area Under the ROC Curve，AUC）作為認(rèn)知測量模型診斷效果的評價指標(biāo)。本實驗將融入學(xué)科知識圖譜的認(rèn)知測量（Cognitive Measurement integrated with Subject Knowledge Graph，CM-SKG）模型與IRT、MIRT、DINA、基于人工神經(jīng)網(wǎng)絡(luò)的認(rèn)知診斷（Cognitive Diagnosis based on Artificial Neural Network，CD-ANN）模型的預(yù)測精度進(jìn)行了對比實驗，結(jié)果如表1所示。

表1 認(rèn)知測量模型對比實驗結(jié)果

一般而言，當(dāng)0.5＜AUC＜0.7時，診斷效果的準(zhǔn)確性較低；當(dāng)0.7＜AUC＜0.9時，診斷結(jié)果具有參考價值。表1顯示，IRT、MIRT、DINA、CD-ANN、CM-SKG五種模型的AUC值都大于0.7，說明這五種模型的診斷結(jié)果都具有參考價值。具體來說，在AUC評估指標(biāo)下，CM-SKG對學(xué)習(xí)者認(rèn)知狀態(tài)的診斷效果最好，其次為CD-ANN、MIRT、IRT，DINA排最后。此實驗結(jié)果表明，ICDA-SKG方法中融入學(xué)科知識圖譜的認(rèn)知測量模型能夠有效提高診斷結(jié)果的精度。

（2）實際應(yīng)用對比實驗

本實驗采用前后測對比實驗法，對認(rèn)知測量模型的實際教學(xué)應(yīng)用效果進(jìn)行實證分析。在實驗過程中，本研究將第1周所得測評數(shù)據(jù)作為前測數(shù)據(jù)，將第2～7周所得測評數(shù)據(jù)作為后測數(shù)據(jù)。對照組和實驗組由同一教師進(jìn)行授課，授課內(nèi)容、授課進(jìn)度、授課時長、教學(xué)方法基本相同。每次課堂教學(xué)結(jié)束后，對照組采用未集成認(rèn)知測量功能的電子書包進(jìn)行隨堂測試；實驗組則采用集成認(rèn)知測量功能的電子書包進(jìn)行隨堂測試，并實時生成學(xué)情診斷報告。

實驗組和對照組的前后測結(jié)果如表2所示，可以看出：實驗組、對照組的前測平均成績分別為80.95、81.31，且=0.864＞0.05，表明兩組學(xué)生初始的學(xué)習(xí)水平相當(dāng)，無顯著性差異。在第3周后測中，相較于對照組的平均成績（M=82.59，SD=3.21），實驗組的平均成績（M=83.38，SD=3.67）略有提升，值初具統(tǒng)計學(xué)意義（=0.039＜0.05），說明認(rèn)知測量功能提供的反饋報告對實驗組開始產(chǎn)生影響；而從第4周開始，相較于對照組的平均成績（M=83.24，SD=3.42），實驗組的平均成績（M=84.82，SD=3.74）有了顯著提升，值具有高度統(tǒng)計學(xué)意義（=0.000＜0.01），說明認(rèn)知測量功能提供的反饋報告對實驗組產(chǎn)生了顯著影響。由此可知，ICDA-SKG方法中融入學(xué)科知識圖譜的認(rèn)知測量模型具有教學(xué)實用性，符合“為學(xué)習(xí)而測評”的理念，能夠發(fā)揮形成性評價的改進(jìn)作用。

表2 實驗組和對照組的前后測結(jié)果

通過上述算法模型對比實驗、實際應(yīng)用對比實驗，本研究發(fā)現(xiàn)：ICDA-SKG方法中的學(xué)科知識圖譜在保證學(xué)科知識點抽取效果與知識點語義關(guān)系識別效果的同時，能夠顯著提高認(rèn)知模型的構(gòu)建效率；融入學(xué)科知識圖譜的認(rèn)知測量模型能夠有效提高診斷結(jié)果的精度，且具有教學(xué)實用性。由此可見，本研究提出的ICDA-SKG方法具有有效性和實用性。

四 結(jié)語

教育評價事關(guān)教育發(fā)展方向，而智能技術(shù)賦能教育評價改革。利用智能技術(shù)構(gòu)建高效且精準(zhǔn)的認(rèn)知診斷評估方法，是智能時代深化教育評價改革的重要方向。本研究將學(xué)科知識圖譜引入認(rèn)知診斷評估，解決了現(xiàn)有認(rèn)知模型構(gòu)建效率低、可解釋性差的問題，且語義化的學(xué)科知識圖譜提升了認(rèn)知測量模型的精度；同時，通過算法模型對比實驗、實際應(yīng)用對比實驗，驗證了ICDA-SKG方法的有效性和實用性。但是，本研究構(gòu)建的ICDA-SKG方法中的學(xué)科知識圖譜仍是“面向?qū)W科知識”的價值取向，尚未很好地體現(xiàn)對學(xué)科能力、學(xué)科素養(yǎng)的關(guān)照。此外，本研究在實際應(yīng)用對比實驗中所用的樣本量很小，有待經(jīng)過大樣本數(shù)據(jù)的實證檢驗。基于此，后續(xù)研究將從學(xué)科核心素養(yǎng)入手，構(gòu)建相應(yīng)的素養(yǎng)圖譜、能力圖譜，實現(xiàn)對學(xué)習(xí)者多層次、全方位的認(rèn)知狀態(tài)評估，踐行“素養(yǎng)導(dǎo)向、能力為重”的學(xué)習(xí)評價新理念；同時，將擴(kuò)大實驗的樣本量，進(jìn)行更有力的實證分析和檢驗，以期為教育評價改革的智能化轉(zhuǎn)型提供更科學(xué)的方法支持。

[1]新華社.中共中央國務(wù)院印發(fā)《深化新時代教育評價改革總體方案》[OL].

[2]劉聲濤,戴海崎,周駿.新一代測驗理論——認(rèn)知診斷理論的源起與特征[J].心理學(xué)探新,2006,(4):73-77.

[3]丁樹良,毛萌萌,汪文義,等.教育認(rèn)知診斷測驗與認(rèn)知模型一致性的評估[J].心理學(xué)報,2012,(11):1535-1546.

[4]Nichols P D, Chipman S F, Brennan R L. Cognitively diagnostic assessment[M]. London: Routledge, 1995:575-603.

[5]Leighton J P, Gierl M J, Hunka S M. The attribute hierarchy method for cognitive assessment: A variation on Tatsuoka’s rule-space approach[J]. Journal of Educational Measurement, 2004,(3):205-237.

[6]黃宏濤,李世珍,李世玉,等.基于BP神經(jīng)網(wǎng)絡(luò)的認(rèn)知診斷方法在個性化教學(xué)中的應(yīng)用[J].中國遠(yuǎn)程教育,2019,(1):86-91.

[7]王欣瑜.基于認(rèn)知診斷的兒童數(shù)學(xué)學(xué)力結(jié)構(gòu)及測評研究[D].呼和浩特:內(nèi)蒙古師范大學(xué),2017:113-154.

[8]康春花,吳會云,陳婧,等.小學(xué)數(shù)學(xué)“圖形與幾何”認(rèn)知診斷測驗的編制[J].教育測量與評價(理論版),2015,(10):4-8、28.

[9]蔡佳寶.高三學(xué)生概率與統(tǒng)計學(xué)習(xí)的認(rèn)知診斷及其數(shù)據(jù)分析素養(yǎng)水平研究[D].武漢:華中師范大學(xué),2020:20-34.

[10]Koedinger K R, Stamper J C, McLaughlin E A, et al. Using data-driven discovery of better student models to improve student learning[A]. International Conference on Artificial Intelligence in Education[C]. Berlin: Springer, 2013:421-430.

[11]Sun Y, Ye S, Inoue S, et al. Alternating recursive method for q-matrix learning[A]. The 7th International Conference on Educational Data Mining[C]. London: JEDM, 2014:14-20.

[12]王鵬,孟維璇,朱干成,等.多維項目反應(yīng)理論補(bǔ)償性模型參數(shù)估計:基于廣義回歸神經(jīng)網(wǎng)絡(luò)集合[J].心理學(xué)探新,2019,(3):244-249.

[13]戴靜,顧小清,江波.殊途同歸:認(rèn)知診斷與知識追蹤——兩種主流學(xué)習(xí)者知識狀態(tài)建模方法的比較[J].現(xiàn)代教育技術(shù),2022,(4):88-98.

[14]Guo L, Yang J, Song N. Spectral clustering algorithm for cognitive diagnostic assessment[J]. Frontiers in Psychology, 2020,(11):1-28.

[15]Liu C, Cheng Y. An application of the support vector machine for attribute-by-attribute classification in cognitive diagnosis[J]. Applied Psychological Measurement, 2018,(1):58-72.

[16]Cui Y, Gierl M, Guo Q. Statistical classification for cognitive diagnostic assessment: An artificial neural network approach[J]. Educational Psychology, 2016,(6):1065-1082.

[17]Chen P, Lu Y, Zheng V W, et al. KnowEdu: A system to construct knowledge graph for education[J]. IEEE Access, 2018,(99):31553-31563.

[18]Zeng D, Liu K, Lai S, et al. Relation classification via convolutional deep neural network[A]. The 25th International Conference on Computational Linguistics: Technical Papers[C]. Dublin: Association for Computational Linguistics, 2014:2335-2344.

[19]黃宏濤,李世珍,李世玉,等.基于BP神經(jīng)網(wǎng)絡(luò)的認(rèn)知診斷方法在個性化教學(xué)中的應(yīng)用[J].中國遠(yuǎn)程教育,2019,(1):86-91.

[20]楊淑群,蔡聲鎮(zhèn),丁樹良,等.求解簡化Q矩陣的擴(kuò)張算法[J].蘭州大學(xué)學(xué)報(自然科學(xué)版),2008,(3):87-91、96.

An Intelligent Cognitive Diagnosis Assessment Method Based on Subject Knowledge Graph

LI Zhen ZHOU Dong-dai

Cognitive diagnostic assessment is an important focus of educational evaluation reform in the new era.However, the existing cognitive diagnostic assessment methods are faced with the problems of low constructional efficiency and poor interpretability in the cognitive model, and at the same time, the cognitive measurement model also has low accuracy due to the lack of semantic cognitive models. Therefore, an intelligent cognitive diagnosis assessment method based on subject knowledge graph, named ICDA-SKG, was proposed in this paper, which included two parts of subject knowledge graph and cognitive measurement model, and whose realization involved four key technologies of subject knowledge point extraction, knowledge point semantic relationship recognition, feature matrix calculation, and cognitive state evaluation. After that, this paper used the algorithm model comparison experiment and the practical application comparison experiment to verify the subject knowledge graph representing cognitive model and the cognitive measurement model integrating subject knowledge graph. The results showed that the ICDA-SKG method was effective and practical. The research of this paper could provide new ideas for intelligent cognitive diagnosis assessment, and offer method guidance for educational evaluation practice.

subject knowledge graph; cognitive diagnostic assessment; artificial intelligence; deep neural network

G40-057

A

1009—8097（2022）11—0118—09

10.3969/j.issn.1009-8097.2022.11.014

本文為國家自然科學(xué)基金項目“基于試題知識圖譜的學(xué)習(xí)者認(rèn)知診斷關(guān)鍵技術(shù)研究”（項目編號：62007005）、吉林省自然科學(xué)基金項目“融合知識圖譜與深度學(xué)習(xí)的個性化認(rèn)知診斷技術(shù)研究”（項目編號：YDZJ202201ZYTS421）、中國博士后科學(xué)基金第67批面上資助項目“面向自適應(yīng)學(xué)習(xí)的教育知識圖譜構(gòu)建及深度知識追蹤模型研究”（項目編號：2020M670827）的階段性研究成果。

李振，講師，博士，研究方向為教育大數(shù)據(jù)分析與應(yīng)用、個性化自適應(yīng)輔助學(xué)習(xí)等，郵箱為liz666@nenu.edu.cn。

2022年4月18日

編輯：小米