可信的端到端深度學(xué)生知識(shí)畫(huà)像建模方法

王士進(jìn) 吳金澤 張浩天 沙 晶 黃振亞 劉 淇

1 （認(rèn)知智能全國(guó)重點(diǎn)實(shí)驗(yàn)室（科大訊飛股份有限公司） 合肥 230088）

2 （科大訊飛股份有限公司 合肥 230088）

3 （大數(shù)據(jù)分析與應(yīng)用安徽省重點(diǎn)實(shí)驗(yàn)室（中國(guó)科學(xué)技術(shù)大學(xué)） 合肥 230027）（sjwang3@iflytek.com）

學(xué)生知識(shí)畫(huà)像建模是智能教育中的一個(gè)基礎(chǔ)的任務(wù).它旨在通過(guò)挖掘?qū)W生歷史記錄，對(duì)學(xué)生的知識(shí)狀態(tài)，即知識(shí)概念的掌握程度進(jìn)行推斷，從而在知識(shí)維度上構(gòu)建個(gè)性化的學(xué)生表示，即學(xué)生知識(shí)畫(huà)像.基于學(xué)生知識(shí)狀態(tài)表示，智能教育系統(tǒng)（intelligent education systems）能夠針對(duì)性地關(guān)注學(xué)生薄弱點(diǎn)為學(xué)生提供各種個(gè)性化的智能教育服務(wù).例如為學(xué)生推薦個(gè)性化的試題、教學(xué)視頻等學(xué)習(xí)資源以及為學(xué)生定制學(xué)習(xí)路徑，從而讓學(xué)生的學(xué)習(xí)過(guò)程減負(fù)增效[1-10].

現(xiàn)有的學(xué)生知識(shí)畫(huà)像建模任務(wù)及應(yīng)用中，往往使用知識(shí)追蹤（knowledge tracing, KT）類(lèi)方法[10]刻畫(huà)學(xué)生.知識(shí)追蹤方法通常首先定義一個(gè)學(xué)生知識(shí)狀態(tài)向量以表示學(xué)生在各個(gè)知識(shí)概念上的掌握程度，并基于學(xué)生每個(gè)時(shí)刻的表現(xiàn)預(yù)測(cè)目標(biāo)，優(yōu)化該隱式的知識(shí)狀態(tài)向量，使其可以動(dòng)態(tài)表征學(xué)生知識(shí)狀態(tài)變化趨勢(shì).特別是近年來(lái)，基于深度學(xué)習(xí)的方法已經(jīng)成功應(yīng)用到知識(shí)追蹤任務(wù)中，并且在學(xué)生未來(lái)答題表現(xiàn)預(yù)測(cè)目標(biāo)上獲得了成功[11].

然而知識(shí)追蹤方法的最終目標(biāo)是預(yù)測(cè)學(xué)生未來(lái)時(shí)刻的題目粒度上的作答得分.這造成了此類(lèi)方法的預(yù)測(cè)目標(biāo)與期望的衡量學(xué)生在知識(shí)概念上的掌握程度的知識(shí)畫(huà)像不一致的問(wèn)題[12-14]，最終導(dǎo)致了基于知識(shí)追蹤方法的學(xué)生知識(shí)狀態(tài)建模結(jié)果不可信，從而難以被應(yīng)用在面向?qū)W生知識(shí)畫(huà)像的智能教育場(chǎng)景與應(yīng)用中.

具體而言，現(xiàn)有方法在進(jìn)行學(xué)生知識(shí)畫(huà)像建模時(shí)的不一致問(wèn)題產(chǎn)生了不可信的預(yù)測(cè)，具體來(lái)說(shuō)現(xiàn)有方法具有2方面的不一致性：

1）時(shí)序不一致.知識(shí)追蹤方法通常就學(xué)生答題表現(xiàn)預(yù)測(cè)這一優(yōu)化目標(biāo)進(jìn)行優(yōu)化.模型關(guān)注的是預(yù)測(cè)學(xué)生下一時(shí)刻對(duì)某個(gè)題目的作答情況的即時(shí)能力，而學(xué)生知識(shí)畫(huà)像期望的是一種足以描述學(xué)生在未來(lái)一段時(shí)間內(nèi)表現(xiàn)的學(xué)生知識(shí)狀態(tài).這種時(shí)序上的不一致導(dǎo)致了預(yù)測(cè)結(jié)果的不可信.如圖1所示，學(xué)生在知識(shí)概念kc3（“減法的計(jì)算和應(yīng)用”）下一時(shí)刻作答錯(cuò)誤，然而隨后的作答連續(xù)正確.如果僅關(guān)注下一時(shí)刻的作答以評(píng)估學(xué)生知識(shí)概念上的掌握情況，將導(dǎo)致獲得不可信的知識(shí)狀態(tài).

Fig.1 Student knowledge portrait prediction圖1 學(xué)生知識(shí)畫(huà)像預(yù)測(cè)

2）預(yù)測(cè)粒度不一致.現(xiàn)有的知識(shí)追蹤方法通過(guò)對(duì)學(xué)生歷史答題記錄的挖掘和建模對(duì)未來(lái)時(shí)刻學(xué)生在某個(gè)試題q上的期望作答結(jié)果進(jìn)行準(zhǔn)確的預(yù)測(cè).在此過(guò)程中，知識(shí)追蹤方法將學(xué)生知識(shí)狀態(tài)建模為一種抽象的表示，并假設(shè)更準(zhǔn)確的試題作答預(yù)測(cè)與知識(shí)狀態(tài)表示的更好估計(jì)是一致的.然而題目粒度上的作答預(yù)測(cè)受題目選擇的影響較大，如圖1所示，選擇學(xué)生對(duì)知識(shí)概念kc3（“減法的計(jì)算和應(yīng)用”）中前2題的作答情況和后2題的作答情況估計(jì)學(xué)生該知識(shí)粒度的掌握程度會(huì)有明顯的差距[15].因此在題目粒度上進(jìn)行學(xué)生知識(shí)畫(huà)像建模難以獲得可信的估計(jì).與之對(duì)應(yīng)的學(xué)生知識(shí)畫(huà)像預(yù)測(cè)的目標(biāo)是建模學(xué)生對(duì)知識(shí)概念粒度的掌握度.如圖1所示，通過(guò)對(duì)學(xué)生歷史序列的建模，學(xué)生知識(shí)畫(huà)像預(yù)測(cè)方法被期望輸出學(xué)生對(duì)知識(shí)概念的掌握度估計(jì).該估計(jì)應(yīng)當(dāng)能夠衡量在短期內(nèi)學(xué)生在某知識(shí)概念kc相關(guān)題目{q1,q2,…}上整體的作答情況.例如，知識(shí)畫(huà)像方法對(duì)學(xué)生在kc1（“四則混合運(yùn)算”）的掌握度產(chǎn)生了較低的估計(jì)，這與真實(shí)記錄中學(xué)生在該知識(shí)概念上短期內(nèi)的較差的作答情況吻合；方法對(duì)kc2（“加法的計(jì)算和應(yīng)用”）上掌握度較高的估計(jì)也吻合了學(xué)生在該知識(shí)概念較好的未來(lái)作答情況，這種知識(shí)狀態(tài)的估計(jì)將更為可信和準(zhǔn)確.

針對(duì)上述問(wèn)題，本文提出了端到端深度學(xué)生知識(shí)畫(huà)像方法.本文首先針對(duì)現(xiàn)有方法在學(xué)生知識(shí)畫(huà)像預(yù)測(cè)時(shí)的目標(biāo)不一致的情況，構(gòu)建了時(shí)序、預(yù)測(cè)粒度一致的端到端學(xué)生知識(shí)掌握度預(yù)測(cè)目標(biāo).進(jìn)一步地，本文提出了一種深度知識(shí)畫(huà)像（deep knowledge portrait, DKP）模型.DKP模型包含3個(gè)主要模塊：1） 知識(shí)粒度交互表征模塊；2）知識(shí)狀態(tài)序列建模模塊；3）知識(shí)畫(huà)像預(yù)測(cè)模塊.具體而言，知識(shí)粒度交互表征模塊用于在知識(shí)粒度上描述學(xué)生的交互，以確保預(yù)測(cè)粒度的一致性.因此該模塊融合了更多的知識(shí)層面的試題表征，如知識(shí)概念、知識(shí)難度等表征，從而區(qū)分學(xué)生在不同知識(shí)概念上的作答交互.特別地，該模塊使用知識(shí)聚合策略融合與當(dāng)前練習(xí)知識(shí)相關(guān)的知識(shí)表征，從而引入知識(shí)之間的相關(guān)性.知識(shí)狀態(tài)序列建模模塊負(fù)責(zé)基于學(xué)生歷史作答序列，建模學(xué)生知識(shí)狀態(tài).本文使用雙向長(zhǎng)短時(shí)記憶（Bi-LSTM）網(wǎng)絡(luò)架構(gòu)以更好地捕捉學(xué)生作答時(shí)序的信息.知識(shí)畫(huà)像預(yù)測(cè)模塊端到端地對(duì)學(xué)生在某些知識(shí)概念上的掌握程度進(jìn)行預(yù)測(cè)，從而粒度一致地對(duì)學(xué)生知識(shí)狀態(tài)進(jìn)行估計(jì).為了增強(qiáng)對(duì)學(xué)生歷史狀態(tài)中與待畫(huà)像知識(shí)概念相關(guān)信息的關(guān)注，本文設(shè)計(jì)了一種多頭注意力池化層，基于多頭注意力機(jī)制有選擇地過(guò)濾歷史交互，為更相關(guān)的交互賦予更高的重要性.最終，DKP模型能夠端到端地對(duì)學(xué)生在某些知識(shí)概念的掌握度進(jìn)行預(yù)測(cè)，從而實(shí)現(xiàn)預(yù)測(cè)與任務(wù)目標(biāo)的一致性，產(chǎn)生可信、可解釋的學(xué)生知識(shí)畫(huà)像.本文在3個(gè)真實(shí)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明DKP在學(xué)生知識(shí)畫(huà)像預(yù)測(cè)任務(wù)中能夠獲得更加可信的學(xué)生知識(shí)畫(huà)像，在數(shù)據(jù)集上的各項(xiàng)指標(biāo)超過(guò)了目前最優(yōu)的方法.

1 相關(guān)工作

1.1 知識(shí)追蹤方法

20世紀(jì)90年代以來(lái)，知識(shí)追蹤（knowledge tracing, KT）成為了智能教育的一項(xiàng)基本任務(wù)，其目的是根據(jù)學(xué)生的歷史學(xué)習(xí)表現(xiàn)來(lái)追蹤學(xué)生的知識(shí)狀態(tài)[10].其中，基于貝葉斯知識(shí)追蹤（Bayesian knowledge tracing,BKT）的模型就是一類(lèi)代表性方法，也是第一類(lèi)被提出的知識(shí)追蹤模型[1].BKT利用隱馬爾可夫模型將學(xué)生的知識(shí)狀態(tài)表示為一組二值化的參數(shù).近年來(lái)，由于深度學(xué)習(xí)技術(shù)能夠?qū)?shù)據(jù)高效地建模和挖掘，深度學(xué)習(xí)技術(shù)被廣泛地應(yīng)用在各項(xiàng)方法中.其中，深度知識(shí)追蹤（deep knowledge tracing, DKT）首先將深度學(xué)習(xí)引入到知識(shí)追蹤任務(wù)中，DKT利用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）以及其變體建模學(xué)生答題記錄并更新學(xué)生的知識(shí)狀態(tài)表示[11].隨后DKT方法變體依次被提出，例如卷積知識(shí)追蹤（CKT）應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)（CNN）來(lái)模擬學(xué)生個(gè)性化學(xué)習(xí)過(guò)程[15].動(dòng)態(tài)鍵值網(wǎng)絡(luò)（DKVMN）被引入追蹤和記憶學(xué)生能力變化[16].基于注意力機(jī)制的知識(shí)追蹤（SAKT, AKT）方法引入了注意力機(jī)制建模學(xué)生學(xué)習(xí)過(guò)程[17-18].基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)追蹤（GKT）應(yīng)用圖神經(jīng)網(wǎng)絡(luò)（GNN）方法來(lái)建模知識(shí)概念之間的關(guān)系[19-20].學(xué)習(xí)過(guò)程一致的知識(shí)追蹤（LPKT）考慮到學(xué)生學(xué)習(xí)過(guò)程中的記憶和遺忘因素來(lái)建模學(xué)生學(xué)習(xí)過(guò)程中知識(shí)狀態(tài)的變化趨勢(shì)[14].此外一些知識(shí)追蹤方法也致力于引入更多額外信息增強(qiáng)學(xué)生表現(xiàn)預(yù)測(cè)的效果，如試題表征[21]、難度屬性[22]，知識(shí)關(guān)系等[23].然而現(xiàn)有的知識(shí)追蹤方法大多關(guān)注學(xué)生在題目上的得分，這與對(duì)學(xué)生知識(shí)概念掌握程度的估計(jì)的目標(biāo)不一致，導(dǎo)致了產(chǎn)生了不可信的學(xué)生畫(huà)像.

1.2 用戶(hù)建模

用戶(hù)建模是一項(xiàng)基本任務(wù)，它旨在通過(guò)分析用戶(hù)顯式的行為數(shù)據(jù)，推斷出用戶(hù)難以觀察的隱式畫(huà)像特征，如能力、偏好、習(xí)慣、傾向等[24].用戶(hù)建模任務(wù)廣泛地應(yīng)用在各個(gè)領(lǐng)域中，通過(guò)建模用戶(hù)準(zhǔn)確的畫(huà)像，從而為下游任務(wù)提供豐富的信息.近年來(lái)，研究者們基于深度神經(jīng)網(wǎng)絡(luò)對(duì)用戶(hù)建模來(lái)推斷用戶(hù)的視覺(jué)能力[25]、律師的專(zhuān)業(yè)性[26]、游戲中玩家競(jìng)爭(zhēng)力[27]、以及用戶(hù)的在飲食、社交、旅游、新聞檢索等各門(mén)類(lèi)的偏好[28].但與其他領(lǐng)域中用戶(hù)畫(huà)像往往作為一個(gè)隱式的信息用于下游任務(wù)推斷不同，教育領(lǐng)域的學(xué)生知識(shí)畫(huà)像成為了重要的期望輸出，并且對(duì)其可信性要求更加嚴(yán)苛.但是現(xiàn)有工作往往沒(méi)有保持學(xué)生知識(shí)畫(huà)像的任務(wù)目標(biāo)與方法目標(biāo)的一致性，也難以輸出可信的學(xué)生知識(shí)畫(huà)像，這阻礙了其在智能教育實(shí)際場(chǎng)景中的應(yīng)用.

2 模型與方法

本文提出了用于學(xué)生知識(shí)概念掌握度預(yù)測(cè)的DKP模型，DKP 模型框架如圖2所示.在本節(jié)首先形式化了學(xué)生知識(shí)畫(huà)像預(yù)測(cè)任務(wù)與目標(biāo).然后詳細(xì)介紹DKP 細(xì)節(jié)，包括知識(shí)粒度交互表征模塊、知識(shí)狀態(tài)序列建模模塊，以及知識(shí)畫(huà)像預(yù)測(cè)模塊.

2.1 問(wèn)題定義

在介紹具體的模型設(shè)計(jì)之前，本文首先針對(duì)現(xiàn)有方法與學(xué)生知識(shí)畫(huà)像預(yù)測(cè)目標(biāo)的不一致的情況，為學(xué)生知識(shí)畫(huà)像任務(wù)構(gòu)建了時(shí)序、預(yù)測(cè)粒度一致的端到端的學(xué)生知識(shí)掌握度預(yù)測(cè)目標(biāo).在一個(gè)智能教育系統(tǒng)中，學(xué)生集合為S，題目集合為Q，知識(shí)集合為KC.學(xué)生對(duì)試題作答形成了學(xué)習(xí)記錄R={(q1,kc1,a1),(q2,kc2,a2),...,(qt,kct,at)}.每個(gè)時(shí)刻t的學(xué)習(xí)記錄為一個(gè)三元組(q,kc,a)，表示了某學(xué)生在屬于知識(shí)概念kc的題目q上的交互，其中作答結(jié)果為a.本文的目標(biāo)是構(gòu)建知識(shí)粒度的學(xué)生知識(shí)畫(huà)像模型M，針對(duì)待預(yù)測(cè)知識(shí)概念kcp，輸出預(yù)測(cè)結(jié)果r∈{0,1}，其中1表示學(xué)生完全掌握該知識(shí)，0表示學(xué)生不完全掌握該知識(shí)，將r與衡量學(xué)生知識(shí)概念掌握度的真實(shí)畫(huà)像y（真實(shí)畫(huà)像的構(gòu)建將在3.2.2節(jié)畫(huà)像場(chǎng)景構(gòu)建詳細(xì)介紹）進(jìn)行擬合，即實(shí)現(xiàn)minF(r,y).最終實(shí)現(xiàn)對(duì)學(xué)生在某個(gè)知識(shí)概念上的掌握度進(jìn)行端到端的推斷，并保持與真實(shí)畫(huà)像的一致，以吻合其未來(lái)一段時(shí)間的表現(xiàn)情況，從而獲得可信的學(xué)生知識(shí)畫(huà)像.

2.2 知識(shí)粒度交互表征模塊

學(xué)生的學(xué)習(xí)過(guò)程由相對(duì)獨(dú)立的學(xué)生-題目交互組成.正如前文所提到的，僅關(guān)注題目粒度上的特征與交互，忽略了學(xué)生在知識(shí)粒度上的表現(xiàn)將導(dǎo)致產(chǎn)生不可信的結(jié)果.為了更好地利用題目的特征，并在知識(shí)粒度上對(duì)學(xué)生掌握度進(jìn)行刻畫(huà)，本文設(shè)計(jì)了知識(shí)粒度交互表征模塊，基于學(xué)生交互生成良好的表示作為后續(xù)算法層的輸入，并保障預(yù)測(cè)與知識(shí)畫(huà)像的一致性.

學(xué)生知識(shí)畫(huà)像預(yù)測(cè)的目標(biāo)是獲取學(xué)生在某些知識(shí)概念上的掌握程度，因此建模的表征需要更加關(guān)注題目在知識(shí)層面的信息，從而有效地區(qū)分不同的知識(shí)在概念上的交互.因此本文使用包括題目的難度dq、題目所屬的知識(shí)概念kc、對(duì)應(yīng)知識(shí)概念的難度dk，以及交互的結(jié)果a等特征進(jìn)行交互建模.特別是與現(xiàn)有方法使用one-hot向量表示不同的類(lèi)型或元素的表示方法不同，本文使用信息更稠密的嵌入向量表示來(lái)表征特征.具體而言，如圖2所示，對(duì)于題目的知識(shí)概念，本文首先隨機(jī)初始化一個(gè)嵌入矩陣EK∈RK×d，其中d為嵌入向量的維度.任意一個(gè)知識(shí)概念kci均可以用某一行向量kcei對(duì)應(yīng)地表征.眾所周知的是，知識(shí)概念之間存在著廣泛的聯(lián)系，而不是孤立的存在[29]，在學(xué)生進(jìn)行題目交互時(shí)，與該題目對(duì)應(yīng)的知識(shí)概念相關(guān)的知識(shí)概念的掌握程度往往也會(huì)影響學(xué)生的表現(xiàn).為了建模知識(shí)概念之間的關(guān)聯(lián)，本文使用了一個(gè)嵌入矩陣RK∈RK×K，其中每行代表了某個(gè)知識(shí)概念與其他知識(shí)概念之間的相關(guān)性.本文直接使用了知識(shí)之間的關(guān)聯(lián)構(gòu)造了關(guān)系矩陣增強(qiáng)知識(shí)之間的相關(guān)性，以啟發(fā)式地構(gòu)建知識(shí)關(guān)聯(lián).在更復(fù)雜的場(chǎng)景中，可以將知識(shí)點(diǎn)構(gòu)造為有向或無(wú)向的圖結(jié)構(gòu)，進(jìn)一步采用圖神經(jīng)網(wǎng)絡(luò)的方法，獲得更具表達(dá)性的知識(shí)表征.本文關(guān)注的重點(diǎn)是進(jìn)行端到端的學(xué)生的序列建模以獲得可信的學(xué)生知識(shí)畫(huà)像，因此采用了直觀的方法進(jìn)行知識(shí)相關(guān)性的建模.最終基于知識(shí)相關(guān)性獲得了綜合的知識(shí)概念表征：

對(duì)于題目難度，本文采用了經(jīng)典測(cè)量理論中的項(xiàng)目難度分析方法[30-31]：

其中Si是訓(xùn)練集中回答了題目qi的學(xué)生集合，ai==1表示回答正確的樣本，λ為預(yù)定義的難度級(jí)別標(biāo)準(zhǔn).類(lèi)似地，對(duì)于知識(shí)概念難度，遵循相似的計(jì)算方法：

其中Si是訓(xùn)練集中作答了知識(shí)概念kci的學(xué)生集合，ai==1表示回答正確的樣本，λ為預(yù)定義的難度級(jí)別標(biāo)準(zhǔn).基于式（2）（3），本文在題目和知識(shí)概念粒度上均統(tǒng)計(jì)了平均得分率并基于難度級(jí)別將其劃分為多個(gè)難度級(jí)別，以用于后續(xù)的特征向量化.

進(jìn)一步地，本文隨機(jī)初始化嵌入矩陣EDQ∈RD×d，EDK∈RD×d對(duì)題目難度以及知識(shí)概念難度分別表示為dqei,dkei；還隨機(jī)初始化了嵌入矩陣ER∈R2×d，對(duì)作答結(jié)果{0，1}表示為向量aei.最后將上述交互特征組合后輸入多層感知機(jī)（multi-layer perceptron, MLP），獲得每次交互的表征向量x，計(jì)算方式為：

其中W1∈R4d×d是MLP的權(quán)重矩陣，b1∈Rd是對(duì)應(yīng)的偏差項(xiàng).通過(guò)該交互表征模塊，本文考慮了一次交互過(guò)程中的重要特征，從而能夠更好地區(qū)分學(xué)生在不同知識(shí)概念上練習(xí)的行為.同時(shí)利用了嵌入向量表示，增強(qiáng)了各個(gè)特征的表達(dá)能力.經(jīng)過(guò)訓(xùn)練，本文提出的方法可以獲得更加精準(zhǔn)有效的交互表征.

2.3 知識(shí)狀態(tài)序列建模模塊

基于交互表征模塊輸出的學(xué)生知識(shí)粒度上的表征序列，該模塊旨在挖掘知識(shí)粒度上的學(xué)生知識(shí)狀態(tài)變化，以保持預(yù)測(cè)粒度的一致性.特別是，學(xué)生的學(xué)習(xí)是一個(gè)動(dòng)態(tài)的過(guò)程，學(xué)生在這個(gè)過(guò)程中逐漸熟練掌握或遺忘某些知識(shí)，因此學(xué)生的知識(shí)狀態(tài)會(huì)隨著學(xué)生與題目的交互動(dòng)態(tài)地變化.如圖2所示，本文提出的DKP模型使用循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)學(xué)生知識(shí)狀態(tài)進(jìn)行建模.具體地，本文采用了長(zhǎng)短時(shí)記憶（LSTM）進(jìn)行學(xué)生狀態(tài)建模.基于交互表征模塊中建模的某時(shí)刻學(xué)生交互輸入xt，學(xué)生知識(shí)狀態(tài)的具體計(jì)算公式為：

其中Wi,Wf,Wo,Wc∈R2d×d是權(quán)重矩陣，bi,bf,bo,bc∈Rd是偏差項(xiàng).隱層參數(shù)ht被視為學(xué)生的知識(shí)狀態(tài)，并被持續(xù)地更新和計(jì)算.傳統(tǒng)的知識(shí)追蹤場(chǎng)景中，模型關(guān)注連續(xù)時(shí)刻學(xué)生的表現(xiàn)，因此通常使用單向的網(wǎng)絡(luò)進(jìn)行連續(xù)單步推斷和擬合，同時(shí)保障未來(lái)信息的不可見(jiàn).然而，學(xué)生知識(shí)畫(huà)像預(yù)測(cè)任務(wù)傾向于一種靜態(tài)的序列預(yù)測(cè)任務(wù)，雖然學(xué)生作答過(guò)程中的知識(shí)狀態(tài)是動(dòng)態(tài)變化的，但是在學(xué)生知識(shí)畫(huà)像階段，學(xué)生過(guò)去的所有序列均是可見(jiàn)的.同時(shí)，不同于表現(xiàn)預(yù)測(cè)中預(yù)測(cè)點(diǎn)通常是連續(xù)的，真實(shí)場(chǎng)景中學(xué)生掌握度預(yù)測(cè)的預(yù)測(cè)點(diǎn)通常是離散的，智能應(yīng)用往往在學(xué)生經(jīng)過(guò)一段時(shí)間的學(xué)習(xí)后對(duì)學(xué)生掌握度進(jìn)行階段性推斷并生成學(xué)生知識(shí)畫(huà)像.基于學(xué)生知識(shí)畫(huà)像的場(chǎng)景時(shí)序，不同于使用單向的LSTM進(jìn)行動(dòng)態(tài)的訓(xùn)練，本文的DKP使用一種雙向雙層的LSTM從而在畫(huà)像前對(duì)學(xué)生的歷史序列進(jìn)行雙向建模，避免了歷史作答信息的過(guò)度遺忘，更好地捕捉作答的時(shí)序信息，增強(qiáng)學(xué)生知識(shí)狀態(tài)的可信性.具體而言，如圖2所示，本文使用的雙向LSTM包含了2 個(gè)獨(dú)立的LSTM結(jié)構(gòu)，如式5所示.2 個(gè)LSTM分別使用正向的輸入序列和反向后的輸入序列作為輸入，最終通過(guò)拼接2 個(gè)LSTM結(jié)構(gòu)的輸出，獲得雙向LSTM的輸出隱層參數(shù).

2.4 知識(shí)畫(huà)像預(yù)測(cè)模塊

與傳統(tǒng)知識(shí)追蹤任務(wù)對(duì)題目粒度的擬合和預(yù)測(cè)不同，本文關(guān)注的學(xué)生知識(shí)畫(huà)像預(yù)測(cè)任務(wù)是面向?qū)W生歷史交互序列，對(duì)知識(shí)粒度上學(xué)生掌握情況的推斷，從而獲得可信的知識(shí)狀態(tài).在對(duì)不同的知識(shí)概念進(jìn)行畫(huà)像時(shí)，對(duì)學(xué)生歷史狀態(tài)的關(guān)注是不同的，具體來(lái)說(shuō)與當(dāng)前被預(yù)測(cè)知識(shí)概念kcp更相關(guān)的知識(shí)概念以及交互記錄更應(yīng)該被關(guān)注以增強(qiáng)畫(huà)像的可信性.因此，在知識(shí)畫(huà)像預(yù)測(cè)模塊中，本文設(shè)計(jì)了一個(gè)多頭注意力池化層，從而選擇出在學(xué)生歷史中更加重要的交互，以構(gòu)建最終的知識(shí)狀態(tài)表征向量.

具體而言，學(xué)生知識(shí)狀態(tài)序列建模模塊生成了包含了學(xué)生在每個(gè)交互時(shí)刻的知識(shí)狀態(tài)向量的歷史狀態(tài)矩陣H=（h0,h1,…）.基于待預(yù)測(cè)的知識(shí)概念向量，本文使用多頭注意力機(jī)制對(duì)學(xué)生知識(shí)狀態(tài)進(jìn)行聚合.首先該模塊計(jì)算知識(shí)狀態(tài)向量與待預(yù)測(cè)知識(shí)概念向量之間的相似度：

其中Wn∈Rnd×d是一個(gè)映射矩陣.當(dāng)n＞1時(shí)，該池化層將使用多頭注意力衡量知識(shí)狀態(tài)與待預(yù)測(cè)知識(shí)概念之間的相關(guān)性.Wa∈Rd×1將高維的相似表征映射為一個(gè)衡量相似度的標(biāo)量.多頭注意力機(jī)制為與待預(yù)測(cè)知識(shí)概念更相關(guān)的知識(shí)狀態(tài)賦予更高的權(quán)重，并通過(guò)將學(xué)生各個(gè)時(shí)刻的知識(shí)狀態(tài)進(jìn)行加權(quán)融合，計(jì)算出最終的學(xué)生知識(shí)狀態(tài)表征hattn：

最后本文通過(guò)將加權(quán)后的學(xué)生知識(shí)狀態(tài)表征與待預(yù)測(cè)知識(shí)概念表征拼接后輸入另一個(gè)MLP中計(jì)算學(xué)生某個(gè)知識(shí)概念上的畫(huà)像值：

類(lèi)似地，其中W2∈R2d×d是一個(gè)權(quán)重矩陣，b2∈Rd是一個(gè)偏差項(xiàng).基于該模塊，由于使用了顯式的知識(shí)概念信息的輸入，并在知識(shí)粒度上對(duì)受關(guān)注的信息賦予了注意力，模型最終能夠端到端輸出對(duì)應(yīng)知識(shí)概念的預(yù)測(cè)結(jié)果，增強(qiáng)了輸出的可解釋性，最終生成可信的學(xué)生知識(shí)畫(huà)像.

為了在時(shí)序、預(yù)測(cè)粒度一致的先驗(yàn)下訓(xùn)練DKP中的所有參數(shù)和隨機(jī)初始化的表征向量，本文基于端到端的學(xué)生知識(shí)掌握度預(yù)測(cè)目標(biāo)，使用預(yù)測(cè)知識(shí)概念畫(huà)像r與真實(shí)畫(huà)像y（真實(shí)畫(huà)像的相似構(gòu)建將在3.2.2節(jié)畫(huà)像場(chǎng)景構(gòu)建詳細(xì)介紹）之間的交叉熵對(duì)數(shù)損失作為目標(biāo)函數(shù)，目標(biāo)函數(shù)表示：

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集

為了驗(yàn)證本文提出的DKP模型的有效性，本文選取了3個(gè)真實(shí)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，這3個(gè)數(shù)據(jù)集的具體介紹為：

1）Assist①https://sites.google.com/site/assistmentsdata/數(shù)據(jù)集收集自在線教輔平臺(tái)ASSISTments數(shù)據(jù)，包含的平臺(tái)用戶(hù)的數(shù)學(xué)答題日志來(lái)自4 217名學(xué)生，屬于124個(gè)知識(shí)點(diǎn)上的26 687個(gè)題目上的總計(jì)401 756條交互記錄.平均每個(gè)學(xué)生的交互記錄長(zhǎng)度約為95.

2）JunYi①https://pslcdatashop.web.cmu.edu/Files?datasetId=1198數(shù)據(jù)集收集自基于可汗學(xué)院發(fā)布的開(kāi)源代碼和2012年建立的在線學(xué)習(xí)平臺(tái)Junyi Academy中的答題日志.該數(shù)據(jù)集包含來(lái)自247 606名學(xué)生，屬于39個(gè)知識(shí)概念的720個(gè)題目上的總計(jì)25 925 992條學(xué)習(xí)交互記錄.平均每個(gè)學(xué)生的學(xué)習(xí)交互記錄長(zhǎng)度約為104.

3）MATH數(shù)據(jù)集來(lái)自于某知名智能教育企業(yè)在線學(xué)習(xí)數(shù)據(jù)，該數(shù)據(jù)集收集了2019—2022年初中學(xué)生的在線答題記錄.該數(shù)據(jù)集包含來(lái)自16 661名學(xué)生，屬于1 427個(gè)知識(shí)概念的49 853個(gè)題目上的總計(jì)4 319 270條學(xué)習(xí)交互記錄.平均每個(gè)學(xué)生的學(xué)習(xí)交互記錄長(zhǎng)度約為259.

3.2 實(shí)驗(yàn)設(shè)置

3.2.1 數(shù)據(jù)劃分

在所有的數(shù)據(jù)集上，本文按答題時(shí)序?qū)⒚總€(gè)學(xué)生的答題日志組成一條序列數(shù)據(jù).進(jìn)一步地，本文隨機(jī)地將90%的序列作為訓(xùn)練集，10%的序列作為測(cè)試集.針對(duì)訓(xùn)練集，本文采用了標(biāo)準(zhǔn)的5折交叉驗(yàn)證進(jìn)行模型訓(xùn)練和驗(yàn)證.所有的超參數(shù)都是在訓(xùn)練集上學(xué)習(xí)，在驗(yàn)證集上表現(xiàn)最好的模型被用來(lái)評(píng)估測(cè)試集.

3.2.2 畫(huà)像場(chǎng)景構(gòu)建

本文關(guān)注學(xué)生知識(shí)畫(huà)像場(chǎng)景對(duì)學(xué)生在各個(gè)知識(shí)概念上畫(huà)像的效果，因此在進(jìn)行基于學(xué)生知識(shí)畫(huà)像預(yù)測(cè)任務(wù)的訓(xùn)練以及學(xué)生知識(shí)掌握度預(yù)測(cè)時(shí)需構(gòu)建可信的學(xué)生真實(shí)畫(huà)像.本文首先按照答題的時(shí)間順序?qū)W(xué)生的所有學(xué)習(xí)交互記錄進(jìn)行排序.然后將交互記錄進(jìn)行切分，構(gòu)造學(xué)生知識(shí)畫(huà)像預(yù)測(cè)的輸入與預(yù)測(cè)序列.其中對(duì)于MATH數(shù)據(jù)集，本文使用該數(shù)據(jù)中自然存在的學(xué)生測(cè)評(píng)時(shí)刻作為畫(huà)像點(diǎn)，使用畫(huà)像點(diǎn)前最長(zhǎng)150條交互記錄作為輸入，對(duì)于短于該長(zhǎng)度的序列，使用零向量將其填充到固定長(zhǎng)度；畫(huà)像點(diǎn)后最長(zhǎng)50條交互記錄作為預(yù)測(cè)序列，其中出現(xiàn)的知識(shí)概念作為待畫(huà)像知識(shí)概念.學(xué)生的畫(huà)像值應(yīng)該能夠代表學(xué)生短期內(nèi)的預(yù)期表現(xiàn)，因此學(xué)生在知識(shí)概念上的畫(huà)像值被定義為預(yù)測(cè)序列中每個(gè)知識(shí)概念前3次交互的整體作答情況，其中3題都答對(duì)，意味著完全掌握該知識(shí)概念，對(duì)應(yīng)畫(huà)像值為1；否則意味著非完全掌握，畫(huà)像值為0.類(lèi)似地，對(duì)于Assist和JunYi數(shù)據(jù)集，因?yàn)槠洳淮嬖谔烊坏漠?huà)像點(diǎn)，本文在每條交互記錄中，每隔50個(gè)交互記錄定義一個(gè)畫(huà)像點(diǎn)，并將該點(diǎn)前最長(zhǎng)150條交互記錄作為輸入，畫(huà)像點(diǎn)后最長(zhǎng)50條交互記錄作為預(yù)測(cè)序列，預(yù)測(cè)序列中出現(xiàn)的知識(shí)概念作為待畫(huà)像的知識(shí)概念.

進(jìn)一步地，本文分析了不同的真實(shí)畫(huà)像值計(jì)算方式與學(xué)生未來(lái)表現(xiàn)的一致性，如表1所示.表1展示了使用學(xué)生某個(gè)知識(shí)概念未來(lái)2道、3道、5道題的平均作答情況作為學(xué)生畫(huà)像值時(shí)，學(xué)生未來(lái)至少3道題的表現(xiàn)情況.能夠看出，當(dāng)計(jì)算畫(huà)像題數(shù)目過(guò)多或過(guò)少時(shí)，學(xué)生未來(lái)表現(xiàn)的一致性都會(huì)下降，即正例的平均得分與負(fù)例的平均得分之間的差距過(guò)小，難以區(qū)分學(xué)生掌握程度，因此本文選擇了3道題計(jì)算學(xué)生真實(shí)畫(huà)像.

Table 1 Consistency Between Different Portrait Values and Students’ Future Performance表1 不同畫(huà)像值與學(xué)生未來(lái)表現(xiàn)一致性

3.2.3 參數(shù)設(shè)置

本文使用澤維爾初始化[32]模型訓(xùn)練中的所有參數(shù)，即使用采樣于的均勻分布參數(shù)，其中ni和no分別是輸入和輸出的維度.然后以128為批數(shù)據(jù)大小進(jìn)行模型訓(xùn)練，并采用學(xué)習(xí)率為0.001的Adam優(yōu)化器進(jìn)行優(yōu)化.此外，對(duì)于DKP中嵌入矩陣、MLP和Bi-LSTM，本文設(shè)置隱層維度d=200，其中Bi-LSTM的層數(shù)為2；難度級(jí)別標(biāo)準(zhǔn)λ=0.2，從而將題目和知識(shí)概念難度劃分為5個(gè)級(jí)別.

3.2.4 對(duì)比實(shí)驗(yàn)方法

本文將DKP與現(xiàn)有典型知識(shí)追蹤方法在學(xué)生知識(shí)畫(huà)像預(yù)測(cè)任務(wù)上進(jìn)行了對(duì)比.基線模型具體介紹為：

1）基于LSTM實(shí)現(xiàn)的DKT[11].本文使用DKT建模的學(xué)生知識(shí)狀態(tài)作為學(xué)生知識(shí)畫(huà)像，其中知識(shí)狀態(tài)的每個(gè)位置的標(biāo)量表示了對(duì)對(duì)應(yīng)知識(shí)概念的掌握程度.

2）基于動(dòng)態(tài)鍵值記憶網(wǎng)絡(luò)的DKVMN[16].本文使用DKVMN中表示學(xué)生知識(shí)概念掌握程度的值網(wǎng)絡(luò)作為學(xué)生知識(shí)畫(huà)像.

3）基于自注意力機(jī)制的SAKT[17].類(lèi)似地，本文使用其建模的學(xué)生知識(shí)狀態(tài)作為學(xué)生知識(shí)畫(huà)像，其中知識(shí)狀態(tài)的每個(gè)位置表示了對(duì)對(duì)應(yīng)的知識(shí)概念的掌握程度.

4）對(duì)具有單調(diào)注意力機(jī)制和基于Rasch模型題目表征的AKT[18].由于AKT沒(méi)有顯式地把學(xué)生表示與知識(shí)體系進(jìn)行對(duì)齊，而是使用了一種抽象的隱層向量表示學(xué)生知識(shí)狀態(tài)，最終在題目粒度上進(jìn)行知識(shí)追蹤.因此，本文使用AKT在對(duì)某個(gè)知識(shí)概念下所有題目的預(yù)測(cè)作答結(jié)果的平均值作為該學(xué)生在這個(gè)知識(shí)概念上的掌握程度，通過(guò)這個(gè)方法，本文使用面向題目粒度的學(xué)生表現(xiàn)預(yù)測(cè)輸出構(gòu)建出了學(xué)生知識(shí)畫(huà)像.

5）考慮到學(xué)生學(xué)習(xí)過(guò)程中的記憶和遺忘因素來(lái)建模學(xué)生知識(shí)狀態(tài)變化趨勢(shì)的LPKT[15].該方法用向量而不是標(biāo)量為學(xué)生在每個(gè)知識(shí)概念上提供了抽象的表示，并在題目粒度上對(duì)學(xué)生進(jìn)行知識(shí)追蹤.因此，本文使用LPKT對(duì)某個(gè)知識(shí)概念下所有題目的預(yù)測(cè)作答結(jié)果的平均值作為學(xué)生在某個(gè)知識(shí)概念上的掌握程度，即預(yù)測(cè)畫(huà)像.

對(duì)于所有數(shù)據(jù)集和模型，本文均沿用原始論文中的方法和配置[11,15-19]，并選擇在驗(yàn)證集上表現(xiàn)最好的模型來(lái)評(píng)估測(cè)試集.上述所有模型都在帶有4塊2.30 GHz Intel?Intel Xeon E5-2650 CPU資源和2塊NVIDIA Tesla M40 GPU資源的Linux服務(wù)器上進(jìn)行訓(xùn)練.

3.3 學(xué)生知識(shí)畫(huà)像預(yù)測(cè)

為了評(píng)估DKP的有效性，本文將DKP與所有的基線模型在學(xué)生知識(shí)畫(huà)像預(yù)測(cè)任務(wù)上進(jìn)行比較.實(shí)驗(yàn)結(jié)果如表2所示，在 表2 中本文展示了多次實(shí)驗(yàn)的平均指標(biāo)與偏差，其中偏差代表了多次重復(fù)實(shí)驗(yàn)中指標(biāo)的平均結(jié)果與最大（最小）結(jié)果的差距.為了提供可靠的對(duì)比結(jié)果，本文在所有實(shí)驗(yàn)中都采用了3項(xiàng)評(píng)估指標(biāo)： ROC曲線下面積 （AUC）[33]、均方根誤差 （RMSE）和準(zhǔn)確度（ACC），其中在計(jì)算預(yù)測(cè)準(zhǔn)確性時(shí)將分類(lèi)閾值設(shè)置為0.5.從表2中可以觀察到2個(gè)重要的實(shí)驗(yàn)結(jié)果：1）受益于基于時(shí)序、預(yù)測(cè)粒度一致的端到端的學(xué)生知識(shí)掌握度預(yù)測(cè)目標(biāo)優(yōu)化的深度學(xué)生畫(huà)像模型，本文提出的方法在學(xué)生知識(shí)畫(huà)像預(yù)測(cè)任務(wù)上超過(guò)了基于知識(shí)追蹤的方法.2）AKT與LPKT方法基于平均題目預(yù)測(cè)構(gòu)建的知識(shí)畫(huà)像較基于隱層知識(shí)概念的方法DKT，DKVMN，SAKT構(gòu)建的知識(shí)畫(huà)像在各個(gè)數(shù)據(jù)集上總的來(lái)看具有較高的預(yù)測(cè)準(zhǔn)確率.這是因?yàn)锳KT和LPKT這2個(gè)方法更好地將學(xué)生知識(shí)畫(huà)像預(yù)測(cè)任務(wù)和題目預(yù)測(cè)任務(wù)在知識(shí)粒度上統(tǒng)一起來(lái)，因此增強(qiáng)了知識(shí)畫(huà)像的可信性.然而一方面DKP在時(shí)序粒度上更好地保持了任務(wù)的一致性，另一方面基于題目預(yù)測(cè)的方法，每個(gè)知識(shí)概念下預(yù)測(cè)題庫(kù)的容量和選擇也會(huì)帶來(lái)一定偏差，DKP因此可以獲得最好效果.

Table 2 Performances of Student Knowledge Portrait Prediction on Each Dataset表2 各數(shù)據(jù)集上學(xué)生知識(shí)畫(huà)像預(yù)測(cè)表現(xiàn)

進(jìn)一步，考慮到真實(shí)場(chǎng)景對(duì)學(xué)生知識(shí)畫(huà)像效率的需求，本文比較了DKP與基線方法的推理效率.實(shí)驗(yàn)結(jié)果如表3所示，從表3中可以觀察到DKP方法的推理速度更具有競(jìng)爭(zhēng)力.特別是其中基于隱層知識(shí)概念的方法DKT，DKVMN，SAKT，由于每次進(jìn)行學(xué)生知識(shí)畫(huà)像時(shí)其可以一次性輸出所有知識(shí)概念上的學(xué)生知識(shí)畫(huà)像向量，并進(jìn)行取舍和索引，因此具有較快的推理速度；基于題目預(yù)測(cè)的方法AKT，LPKT在針對(duì)某個(gè)知識(shí)概念進(jìn)行預(yù)測(cè)時(shí)需要在題目粒度上對(duì)該點(diǎn)對(duì)應(yīng)的所有題目進(jìn)行預(yù)測(cè)，因此推理速度相對(duì)較慢.因此，本文提出的方法在保障一定的推理速度的基礎(chǔ)上，實(shí)現(xiàn)了可信的學(xué)生知識(shí)畫(huà)像預(yù)測(cè).

Table 3 Comparison of Inferring Efficiency of Different Methods表3 不同方法推理效率對(duì)比

3.4 消融實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證DKP中各模塊的有效性，本文在各個(gè)數(shù)據(jù)集上對(duì)DKP模型進(jìn)行了消融實(shí)驗(yàn).本文構(gòu)建了4 種簡(jiǎn)化模型，對(duì)DKP的交互表征模塊、知識(shí)狀態(tài)序列建模模塊以及知識(shí)畫(huà)像預(yù)測(cè)模塊進(jìn)行了消融，消融過(guò)程分別是去除了相關(guān)知識(shí)概念的聚合，交互的難度表征，將建模交互序列的Bi-LSTM改為簡(jiǎn)單的LSTM以及在預(yù)測(cè)過(guò)程中去除了注意力機(jī)制.實(shí)驗(yàn)結(jié)果如表4所示，總的來(lái)看，完整的學(xué)生知識(shí)畫(huà)像方法DKP優(yōu)于其他簡(jiǎn)化方法.特別是，由于DKP引入了注意力池化，增強(qiáng)了知識(shí)粒度的一致性，實(shí)現(xiàn)對(duì)學(xué)生歷史狀態(tài)中相關(guān)部分的關(guān)注，最終獲得了更可信的畫(huà)像預(yù)測(cè).進(jìn)一步地，為了對(duì)比不同的難度級(jí)別設(shè)置對(duì)模型效果的影響.本文設(shè)置了不同的難度級(jí)別，并對(duì)比不同設(shè)置下模型的效果，其中包括：1個(gè)級(jí)別（λ=1）；2個(gè)級(jí)別（λ=0.5）；3個(gè)級(jí)別（λ=0.3）；5個(gè)級(jí)別（λ=0.2）.實(shí)驗(yàn)結(jié)果如圖3所示，較精細(xì)的難度級(jí)別劃分通常能夠獲得更優(yōu)秀的結(jié)果，這說(shuō)明了難度特征能夠建模學(xué)生與試題交互時(shí)提供有效的信息，增強(qiáng)畫(huà)像的可信性.

Table 4 Results of Ablation Experiment表4 消融實(shí)驗(yàn)結(jié)果

Fig.3 Influence of different difficulty levels on knowledge portrait prediction圖3 不同難度級(jí)別對(duì)知識(shí)畫(huà)像預(yù)測(cè)影響

3.5 學(xué)生知識(shí)畫(huà)像過(guò)程可視化

學(xué)生知識(shí)畫(huà)像預(yù)測(cè)任務(wù)旨在基于學(xué)生歷史記錄對(duì)學(xué)生表現(xiàn)進(jìn)行刻畫(huà)，本節(jié)使用了學(xué)生真實(shí)的作答記錄展示本文在學(xué)生知識(shí)畫(huà)像預(yù)測(cè)任務(wù)上的可解釋性.如圖4所示，為了方便可視化和展示本文，選擇了某學(xué)生在3個(gè)不同的知識(shí)概念（即相反數(shù)的意義、有理數(shù)的分類(lèi)、用正負(fù)數(shù)表示相反數(shù)）上進(jìn)行的練習(xí)記錄，然后使用DKP以及最典型的對(duì)比方法LPKT對(duì)學(xué)生在這3個(gè)知識(shí)概念的掌握程度進(jìn)行了畫(huà)像.如注意力分布所展示的，對(duì)于不同的知識(shí)概念，模型關(guān)注的學(xué)生作答記錄各有不同，其中注意力分布顏色越淺表示越受關(guān)注，當(dāng)對(duì)“有理數(shù)的分類(lèi)”進(jìn)行預(yù)測(cè)時(shí)，僅關(guān)注了該知識(shí)概念；對(duì)“用正負(fù)數(shù)表示相反數(shù)”進(jìn)行預(yù)測(cè)時(shí)，相關(guān)的知識(shí)概念，即“相反數(shù)的意義”也獲得了一定的關(guān)注.圖4清楚地展示了由于“相反數(shù)的意義”這一知識(shí)概念關(guān)注的作答記錄中存在表現(xiàn)較差的交互，因此該點(diǎn)下的畫(huà)像展示出學(xué)生的掌握程度較為一般，同時(shí)也影響了“用正負(fù)數(shù)表示相反數(shù)”的畫(huà)像結(jié)果.進(jìn)一步地，與學(xué)生未來(lái)短期內(nèi)的真實(shí)作答進(jìn)行對(duì)比，由于DKP保持了畫(huà)像預(yù)測(cè)在時(shí)序和預(yù)測(cè)粒度的一致性，因此在學(xué)生知識(shí)畫(huà)像較差的知識(shí)概念“相反數(shù)的意義”上，學(xué)生未來(lái)表現(xiàn)確實(shí)較差.與之對(duì)應(yīng)的是，LPKT更關(guān)注學(xué)生未來(lái)時(shí)刻題目粒度上的作答預(yù)測(cè)，因此做出的估計(jì)與學(xué)生未來(lái)總體表現(xiàn)并不完全一致，導(dǎo)致了畫(huà)像預(yù)測(cè)結(jié)果不可信.這表明了學(xué)生知識(shí)畫(huà)像預(yù)測(cè)任務(wù)能夠清楚地反映學(xué)生在未來(lái)一段時(shí)間的真實(shí)表現(xiàn)，DKP方法確實(shí)能夠準(zhǔn)確地基于學(xué)生歷史作答輸出可信的知識(shí)畫(huà)像.

Fig.4 Students’ answers and protrait processes on three different knowledge concepts on real datasets圖4 真實(shí)數(shù)據(jù)集上學(xué)生在3個(gè)不同的知識(shí)概念上的作答以及畫(huà)像過(guò)程

3.6 學(xué)生知識(shí)畫(huà)像可信性分析

作為一種可信、可解釋的學(xué)生知識(shí)掌握程度的表示，學(xué)生知識(shí)畫(huà)像應(yīng)當(dāng)能夠衡量短期內(nèi)學(xué)生在知識(shí)概念kc相關(guān)題目{q1,q2,…}上整體的作答情況.除了端到端地在知識(shí)粒度上對(duì)學(xué)生的知識(shí)概念掌握度進(jìn)行建模外，為了進(jìn)一步分析說(shuō)明DKP生成的學(xué)生知識(shí)畫(huà)像的可信性，本文分析了學(xué)生知識(shí)畫(huà)像的分布與學(xué)生未來(lái)表現(xiàn)的分布是否一致.具體而言，本文將DKP在3個(gè)數(shù)據(jù)集上預(yù)測(cè)的正例（即預(yù)測(cè)學(xué)生掌握了知識(shí)概念）和負(fù)例（預(yù)測(cè)學(xué)生未掌握知識(shí)概念）在隨后若干題（TOP-K表示隨后K題）上的平均得分進(jìn)行了統(tǒng)計(jì)，獲得所有學(xué)生在模型預(yù)測(cè)分別為正例和負(fù)例條件下的平均作答得分.實(shí)驗(yàn)結(jié)果如表5所示，從表5中可以觀察到，模型預(yù)測(cè)為正例學(xué)生的平均作答得分要明顯高于負(fù)例學(xué)生的平均作答得分，即DKP對(duì)學(xué)生在正例產(chǎn)生了較高的估計(jì)，對(duì)應(yīng)了真實(shí)記錄中學(xué)生在該知識(shí)概念上短期內(nèi)較好的作答情況；方法對(duì)負(fù)例的較低的估計(jì)也吻合了學(xué)生較差的未來(lái)作答情況.因此，本文提出的方法可以在保證方法與任務(wù)目標(biāo)相一致的條件下生成可信的學(xué)生知識(shí)畫(huà)像.

Table 5 Average Scores of Positive and Negative Examples on Future TOP-K Questions表5 正例和負(fù)例在未來(lái)TOP-K題目上的平均得分

進(jìn)一步地，本文提出的方法已經(jīng)在某智能教育平臺(tái)上進(jìn)行了開(kāi)放場(chǎng)景的應(yīng)用.在初中數(shù)學(xué)主流用戶(hù)版本（人教、蘇科、北師大、滬科等）上對(duì)46 066個(gè)用戶(hù)進(jìn)行了在線測(cè)試.具體而言，我們重放了用戶(hù)在平臺(tái)上的作答記錄，以章節(jié)為畫(huà)像的時(shí)刻計(jì)算本文提出的方法預(yù)測(cè)的學(xué)生知識(shí)畫(huà)像相較學(xué)生真實(shí)畫(huà)像的準(zhǔn)確性（學(xué)生真實(shí)畫(huà)像的計(jì)算方式與本文一致），最終學(xué)生知識(shí)畫(huà)像的準(zhǔn)確率達(dá)到70%.進(jìn)一步地，本文在在線場(chǎng)景下對(duì)所有的學(xué)生、教師、家長(zhǎng)等用戶(hù)進(jìn)行了問(wèn)卷調(diào)研，在畫(huà)像后調(diào)研各用戶(hù)對(duì)當(dāng)前章節(jié)畫(huà)像的滿意度.其中滿意度分為2個(gè)級(jí)別：滿意和不滿意.最終本文回收了20 000份問(wèn)卷，通過(guò)統(tǒng)計(jì)問(wèn)卷調(diào)研的用戶(hù)選項(xiàng)為“滿意”的比例，本文獲得了用戶(hù)對(duì)畫(huà)像滿意度達(dá)75%的結(jié)果.這表明了本文提出的DKP方法能夠基于開(kāi)放場(chǎng)景的學(xué)習(xí)記錄對(duì)學(xué)生知識(shí)畫(huà)像做出可信地預(yù)測(cè).

4 總 結(jié)

針對(duì)智能教育平臺(tái)中的學(xué)生知識(shí)畫(huà)像預(yù)測(cè)任務(wù)，現(xiàn)有的知識(shí)追蹤方法存在時(shí)序、預(yù)測(cè)粒度層面不一致的問(wèn)題.本文提出了一種深度學(xué)生知識(shí)畫(huà)像方法.該方法建模了豐富的知識(shí)粒度表征以區(qū)分學(xué)生不同知識(shí)概念上的交互，使用雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)建模學(xué)生知識(shí)狀態(tài)的變化，并引入了注意力機(jī)制以關(guān)注學(xué)生歷史知識(shí)狀態(tài)中更相關(guān)的交互.實(shí)驗(yàn)表明，本文提出的方法可以獲得更可信的學(xué)生知識(shí)畫(huà)像.

在未來(lái)的研究中，將繼續(xù)探究智能教育場(chǎng)景中學(xué)生知識(shí)畫(huà)像預(yù)測(cè)任務(wù)的獨(dú)特問(wèn)題.例如結(jié)合知識(shí)圖譜，構(gòu)建知識(shí)概念之間的關(guān)聯(lián)，從而在學(xué)生答題記錄更加稀疏的冷啟動(dòng)場(chǎng)景下更好地對(duì)未知的知識(shí)概念進(jìn)行學(xué)生知識(shí)畫(huà)像.此外，還可以嘗試將題目文本等豐富表征融入到表征的建模中.

作者貢獻(xiàn)聲明：王士進(jìn)提出了算法思路和實(shí)驗(yàn)方案；吳金澤負(fù)責(zé)完成實(shí)驗(yàn)并撰寫(xiě)論文；張浩天協(xié)助實(shí)驗(yàn)，提出指導(dǎo)意見(jiàn)并修改論文；沙晶、黃振亞和劉淇對(duì)論文進(jìn)行了修改.