知識圖譜與圖嵌入在個性化教育中的應用綜述①

張栩翔,馬 華

(湖南師范大學 信息科學與工程學院,長沙 410081)

隨著當下互聯網技術的發展,各種智能化技術正在引發新一輪教育變革,傳統的教育方式正在向智慧教育與個性化教育轉型與演化[1].個性化教育就是培養學生個性發展的教育,為每個學生提供最適合的教育,使學生的個性特長得到充分發展[2].但是,面對互聯網上大量的知識與學習資源,學習者往往無法高效快速地獲取滿足自身需求的信息,使得學習效果和學習質量難以明顯提升.現有的多數網絡學習平臺,尚未具備結合學習者的學習風格與學習需求進行個性化輔助學習的有效支持能力.如何更好地利用信息技術進行個性化教育,促進學習者高效學習,已成為教育領域研究的熱點問題,對提高我國的教育質量具有重要意義.

學習者學習的過程是循序漸進的,學習的知識點也是由淺入深.學習者在學習中的需求不僅是針對自身的興趣需求,還有對知識的學習需求,因此在個性化教育技術中考慮知識點之間的關系是很有必要的.近年來知識圖譜(knowledge graph)[3]在語言表證學習、問答與推薦系統等領域應用廣泛.知識圖譜可直接表示現實世界中的實體關系,并對梳理的概念關系與關聯知識以圖結構進行持久化存儲,其包含的語義網絡關系為知識推理提供了基礎,并可通過可視化交互方式展現.知識圖譜本身作為知識庫,還能很好地增強推薦結果的可解釋性.圖嵌入(graph embedding)[4]是一種將圖數據映射為低微稠密向量的過程.在知識圖譜應用中引入圖嵌入算法,可大大提高系統性能,增強用戶體驗.

為緩解當前個性化教育實踐中面臨的“信息過載”“知識迷航”等問題,越來越多的學者將研究聚焦到知識圖譜與圖嵌入領域上.基于知識圖譜的個性化教育技術,不僅考慮了豐富的知識語義信息,使技術結果更加符合學習者的學習需求與學習過程的客觀規律,而且還能在此基礎上構建多種學習應用交互系統,提高學習者學習興趣和學習效率.而圖嵌入與知識圖譜的結合,可以有效解決大規模數據場景下的效率問題,進一步增強學習應用效果.

本文首先介紹有關知識圖譜與圖嵌入的基本概念與相關算法,然后,回顧了目前知識圖譜與圖嵌入技術在個性化教育領域的應用研究,并對現有工作進行總結分析.這些領域包括知識檢索、知識問答、路徑規劃、資源推薦、能力診斷與習題推薦、評分預測與課程設計與教案評估等7 類.最后,總結全文并給出未來的研究展望.

1 知識圖譜與圖嵌入模型

1.1 知識圖譜與圖嵌入基本概念

Google 于2012年提出知識圖譜的概念,其初衷是為了優化搜索引擎返回的結果,增強用戶搜索質量及體驗.知識圖譜并不是一個全新的概念,早在2006年就有文獻提出了語義網(semantic network)的概念,并呼吁推廣、完善使用本體模型來形式化表達數據中的隱含語義,資源描述框架(resource description framework,RDF)模式和OWL (Web ontology language)就是基于上述目的產生的.知識圖譜本質上是一種揭示實體之間關系的語義網絡,現在已有一些比較大規模的知識圖譜,例如SUMO、YAGO、Freebase、Wikidata等.這些知識圖譜被廣泛地應用于自然語言處理、實體識別、信息提取、問答領域與推薦系統等領域.

真實的圖網絡往往是高維、難以處理的,例如社交網絡、通信網絡、生物結構網絡等大規模和高維度的網絡.圖嵌入是一種將圖數據(通常為高維稠密的矩陣)映射為低微稠密向量的過程,因向量計算效率大大高于圖形運算,所以圖嵌入算法可很好地提高圖網絡的計算效率.圖嵌入的關鍵在于,嵌入結果應捕獲圖的拓撲結構、頂點到頂點的關系以及關于圖、子圖和頂點的其他相關信息.

1.2 基于三元組的表征學習模型

基于三元組事實的嵌入模型,將知識圖譜視為一組包含所有觀察到的事實的三元Triplet (實體,關系,實體).在本節中,我們將介紹3 類嵌入模型:基于向量平移的模型、基于張量的模型和基于神經網絡的模型,分類信息如表1所示.

表1 知識圖譜圖嵌入模型分類

1.2.1 向量平移模型

自從2013年Mikolov 等人[20]提出了Word2Vec詞嵌入算法以來,此類分布式表達算法越來越受到人們的關注.在使用Word2Vec的過程中,人們發現了嵌入后的詞向量空間具有一種意外的特性,將詞語嵌入的向量空間后,其對應的向量的計算結果帶有語言特性.受到Word2Vec的啟發,Bordes 等人[5]提出了TransE算法,TransE 算法將所有的實體和向量映射到一個連續統一的低維特征空間R,對于每一個三元組Triplet(h,r,t)都有一個H、R、T向量與其對應.此算法訓練目標是要使H+R=T,使其在計算上具有最接近原三元組的語義關系.向量平移圖嵌入模型如圖1所示.

圖1 向量平移圖嵌入模型

Wang 等人[8]考慮到同一個關系,對于不同實體也是有區別的,在TransE 算法基礎上做了優化并提出了TransH 算法.TransE 算法得到的結果,對于不同實體間同樣的關系,其在訓練過程中會逐漸趨于一個向量表示.TransH 算法將每個三元組實體映射到其關系向量的法平面上,使每個實體向量都帶有了其對應關系的隱含特征,有效彌補了TransE 算法無法有效區分多對多關系的缺陷.Liu 等人[11]也是考慮到關系存在區別,將實體空間與關系空間分開,為每個關系開辟一個關系空間,將每個實體映射到對應的關系空間進行訓練,提出了TransR 算法.Ji 等人[14]考慮到不僅關系有區別,而且實體類型也有區別,提出了TransD 算法.其為頭尾實體也分別設置了映射矩陣,再將實體映射到對應的關系空間來進行訓練,相比于TransR,TransD減少了矩陣運算,但需要占用更多資源.

以上算法都是在TransE的基礎上,對向量映射進行優化,而Jia 等人[17]則是從另一種角度來對TransE 進行優化并提出了TransA 算法,用馬氏距離(Mahalanobis distance)代替了傳統的歐式距離,從而獲得更好的適應性與靈活性.

1.2.2 基于張量因式分解的模型

張量因式分解不同于前面提到了基于向量平移的方法,它的核心在于將三元組轉化成3 階張量,每一個切面代表對應一個關系,每個平面表示各個實體在此關系上有無對應的三元組,再通過計算得到每個實體與關系對應的嵌入向量.張量因式分解圖嵌入模型如圖2所示.

圖2 張量因式分解圖嵌入模型

Nickel 等人[6]利用張量去表達知識圖譜的原生結構,并利用rank-d 因式分解區包含一些隱含的語義關系,提出了RESCAL 算法,但此算法由于復雜度較大而存在一定局限性.Yang 等人[9]降低了RESCAL的計算復雜度,提出了DistMult 算法,其要求目標函數的中間矩陣必須為對角矩陣,不僅降低了算法的復雜度,在其訓練效果上較其他算法也有較大的提升.Nickel 等人[12]提出了HolE 算法,在頭實體和尾實體之間進行了循環相關處理[21].為了解決在實體向量嵌入過程中獨立事件的CP 張量分解,Kazemi 等人[15]提出了SimpleE 算法,其使用一種加強型的CP 方法,即利用原關系與其反向關系來平均CP 值.Sun 等人[18]提出了RotatE 算法,提出了一種旋轉哈瑪得乘積(rotational Hadmard product),其把關系當作是頭實體與尾實體之間在復雜空間內的一種旋轉.

1.2.3 基于神經網絡的模型

近年來神經網絡模型非常受歡迎,神經網絡特有的網絡結構能很好地表示復雜的非線性映射.Bordes等人[7]提出了SME 算法,他們定義來一個語義匹配的能量函數,用來評估每個被神經網絡利用的三元組可信度,然后利用兩個映射矩陣來捕捉實體與關系之間的聯系,并通過全連接層計算每個三元組的語義匹配能量.最終得到的神經網絡模型能夠很好地表示原圖中對應的語義關系與三元組結構,如圖3所示.

圖3 神經網絡圖嵌入模型

Socher 等人[10]提出了NTN 算法,其利用一種張量神經網絡來計算能量得分,它用雙線性張量層替換了傳統神經網絡中的標準線性層,使其能更好地體現原圖譜中的復雜語義關系,但也造成張量層計算規模過大.Dong 等人[13]提出了MLP 算法,此算法定義了一種輕量級的結構,讓所有的關系共享參數,所有的實體與關系在輸入層同時映射到嵌入空間,然后利用非線性隱藏層來更好地計算得分.Nguyen 等人[16]利用卷積神經網絡來捕捉知識圖譜中潛在的語義信息,提出了ConvKB 算法.在此模型中,每一個三元組用一個三行矩陣來表示,再將矩陣輸入到卷積層中,并將特征映射串聯并投影到一個分數上,最后利用基于此分數進行的加權向量運算來估計三元組的真實性.

1.3 其他表征學習模型

知識圖譜的文本信息主要有兩類:實體類型信息與描述信息.基于文本描述的模型是對傳統三元組模型的一個擴展,主要利用附加的文本信息來提高性能.Xie 等人[22]提出了TKRL 算法,假設每個實體都有可能有多重實體類型,為了捕捉多重類型的語義關系,每一個不同的類型都被映射到不同的類型矩陣.Lin 等人[23]考慮到有一些關系存在多層或者多步連接,提出了PtransE 算法.對于一個三元組(h,r,t),r不僅僅代表直接連接h與t的關系,還代表經過一個或多個中間節點后連接h和t的一條路徑P.其得分函數為直接連接的分數加上經過多層路徑連接的分數,此得分代表了h與t之間路徑的可靠度.

2 在個性化教育中的應用研究

知識圖譜及圖嵌入在個性化教育領域已有較廣泛的應用,不同的應用類型偏向利用不同的知識圖譜特性,表2給出了不同類型應用的總結分析.本文將從知識圖譜構建方法的通用性、知識圖譜的特性利用程度、實驗設計的合理性和系統使用效果等4 個方面來評價已有的研究工作.

表2 個性化教育中的應用分析

2.1 知識檢索

學習過程中學習者接受的知識往往是零散、冗余的,這為學生記憶與理解增加了難度.過多的孤立知識點會導致學習者的思維邏輯變得不清晰,并且,大部分學習者在學習完一門課程后不會整合知識并梳理構建自己的知識結構,以致學習效果難以有效提升.

李光明[24]構建了初中化學學科知識圖譜及其可視化查詢系統.該研究依托自行設計的化學學科本體數據模型,梳理各層次的學科知識構建知識圖譜,并依靠學科教師與專家學者的人工審核來保證知識的準確性,以此來提高學習者的學習積極性與學習效率.但是,該研究選取構建本體的知識范圍較窄,構造的本體模型僅有5 種概念及其相關屬性,數據規模較小且設計應用場景較為單一;其利用問卷調查來統計用戶滿意度、學習效果、學習態度等指標數據,并以此來評估系統實踐效果,缺少對實際使用數據的量化分析.

Sun 等人[25]通過構建領域知識圖譜,來更清晰的表示學科知識體系.該研究基于其構建的領域知識圖譜,實現了可視化使用平臺,提供了詞云、力矢量圖、環形圖等多種可視化交互方式.學生可根據自己的興趣點檢索知識,有利于提高學生的學習興趣,增強學習主動性,使學習內容更加豐富.但是,該研究缺乏對知識圖譜構建過程的描述,并且,該研究僅基于樣例數據集進行可視化的界面展示,未提供實驗分析來驗證應用的效果.

2.2 知識問答

信息時代,學習者需要從各個平臺檢索,才能獲取足夠的相關知識,但是檢索返回的信息臃腫雜亂,還需要較多的精力去識別歸納并整理其中有用的信息.知識問答是知識圖譜的一種智能化應用形式,用戶給出自然語言問題,問答系統將其轉化為對知識圖譜的輸入,將相關知識作為答案反饋給用戶.

趙維平等人[26]提出了利用古譜及古文化知識圖譜實現可視化教育,基于構建的音樂領域知識圖譜建立專業知識問答系統,在可視化教育方面取得了良好的效果.該研究設計的問答引擎可實現對自然語言描述的問題給出答案,它基于預定義的古譜及古文化領域語義模板在圖譜中匹配相應子圖,再進行數據庫查詢得到相應結果.雖然所構建的專業領域知識圖譜數據規模較小且缺乏應用效果的實驗驗證,但該研究提供了一種基于知識圖譜構建問答系統的可行方案.

針對知識圖譜構建過程中實體識別與關系抽取環節,李軒[27]分別提出了基于BiLSTM+CNN-CRF的實體識別算法與基于共現矩陣的多因素職位能力模型抽取算法,構建了人工智能領域專業知識圖譜.其算法在準確率、召回率、F值3 個指標上同其他現有算法相比都有較明顯的提升,且能快速應用于其他領域知識圖譜的構建.但是,在已構建知識圖譜的基礎上搭建問答系統時,其只利用了知識圖譜的數據存儲與數據查詢特性,通過對接第三方公司搭建的對話機器人平臺來實現意圖識別與問答模板定義等功能,并沒有利用知識圖譜原有的知識推理與關聯性分析特性.

2.3 學習路徑分析

學習者進行學習活動時面臨著大量零碎的學習內容,合理安排學習對象的順序,生成一條明確的學習路徑,可以幫助學習者高效、系統地完成學習目標.

根據連接主義理論,學習是一個不斷連接知識節點或資源的過程,知識要素之間的內在聯系在學習過程中具有重要作用.因此,在知識圖譜的基礎上,結合學習者的領域知識結構與認知結構生成學習路徑更加符合學習者的學習需求.基于假設“一個學習者在不同的學習場景下有不同的學習路徑,不同的學習者在相同的學習場景下有相似的學習路徑”,Zhu 等人[28]提出了一種新的基于知識圖譜的多約束學習路徑推薦算法,克服了學習者在不同學習情境下的學習路徑偏好不同的問題,并通過組織學習者在不同的學習情境下自組織學習路徑與推薦路徑進行對比,驗證了算法的有效性.該研究有效地利用了知識圖譜強大的路徑分析與關聯分析能力,但僅考慮了4 種基本的學習情境,而實際學習過程中的情境多種多樣.

Shi 等人[29]提出了基于多維度知識圖譜框架的學習路徑推薦模型.此模型設計了一個多維度知識圖譜框架,將學習對象分別存儲在多個類中.然后,其團隊將圖中學習對象之間的關系劃分為6 種語義關系,提出了一種加權加權系數評分的學習路徑選擇方法并以此為基礎生成學習路徑,最后通過對比實驗驗證了算法的有效性.但是,該模型對知識圖譜的數據規模與結構有較強的依賴,當數據量不夠或者關聯關系過于復雜時實驗效果受限.

張博雅[30]設計了慕課平臺上基于知識圖譜的學習路徑規劃方法,為學習者在線學習提供個性化的路徑規劃.對于課程間的學習路徑規劃,作者引入了RippleNet 算法,它將用戶的歷史興趣視為知識圖譜中的種子集,沿著知識圖譜中實體間的鏈接迭代擴展,以此來發現用戶對項目的潛在興趣;對于課程內的路徑規劃,作者先根據該課程的知識圖譜與學習者對課后習題的答題情況來生成學習路徑并進行動態更新,再基于慕課平臺數據來生成學習路徑,并對比實際用戶使用記錄來驗證系統準確率.該研究利用處于測試階段的慕課平臺進行實驗,用戶數據質量不高;慕課平臺的知識圖譜語義關系梳理深度有限,尚未達到領域知識圖譜的要求.

2.4 資源推薦

學習資源種類多、數據量大,例如音頻、視頻、學習網站、學習工具、論壇社區資訊等.

為了更好地針對學習者個性化特征進行自適應學習資源推薦推薦,孫紅旭[31]構建了基于知識圖譜的自適應學習系統,它多維度分析學習者個性化特征并標簽化,利用聚類算法建立學習者畫像,以知識圖譜關聯規則挖掘試題間的知識點關系,形成知識點關聯圖.利用拓撲排序算法將知識點關聯圖轉化為先行有序序列,生成學習者學習資源集合.但是,該研究僅考慮了選擇題中單一試題的單一知識點,并未考慮一個實體對應多個知識點、單一或多知識點的主觀題等情況.雖然實驗效果較好,但構建圖譜時基于學習者的相關數據較少,尚不足以體現其系統的綜合性能.

邱玥[32]提出了知識圖譜增強的在線課程推薦方法,通過模型層面有機融合知識圖譜信息與深度協同過濾算法思想,提出了基于知識圖譜增強的推薦算法Ripple_mlp.在Ripple_mlp 算法基礎上引入共現實體網絡Co-net,追溯捕捉用戶的顯性興趣特征,以便于更好地挖掘學習者興趣.該研究利用AUC與ACC 作為評價指標進行對比實驗和不同稀疏程度的數據集影響測試,并通過具體案例分析驗證模型效率與推薦結果可解釋性.但在共現網絡部分,其采用了與知識圖譜特征采集時相同的訓練方法,實際是把共現網絡中的課程當成了知識圖譜中的實體,這樣得到的共現實體網絡的關系權重還值得進一步探究.

2.5 能力診斷

在個性化教育中,準確地對學習者當前的知識水平與能力進行診斷也是很重要的.

胡輝[33]基于知識點以及習題的關系,構建知識圖譜,并以知識追蹤技術作為學習者掌握知識點能力的評估方法,若學習者未掌握當前知識點,則偏向推薦此知識點及其前驅知識點的相關習題.其核心在于通過學習者與知識點相關習題的概率轉移矩陣來動態評估學習者能力.該研究在實驗中以準確率、召回率與F值等指標驗證系統性能與算法的有效性,并對數據的獲取和知識圖譜的構建進行了詳細論述,但所構建的圖譜知識范圍較窄,應用場景有限,其能力診斷部分并未很好利用知識圖譜特性,尚可進一步研究.

李其娜[34]通過構建“數據結構”學科知識圖譜,并結合知識圖譜的語義關系,設計了基于知識圖譜與知識點的推薦算法.王冬青等人[35]也通過梳理知識點關系并構建知識圖譜,再結合習題的知識點及難度,設計了基于知識圖譜的個性化習題推薦系統.此類算法或應用主要基于習題測試分數與對應知識點對學習者進行知識點掌握程度評估,再按照知識圖譜中知識的關聯關系與依賴程度進行綜合能力診斷,推薦符合其認知水平并且難度適中的題目.其知識圖譜的主要作用在于梳理知識點的層次關系與先后依賴順序等,為基于知識點的認知診斷提供更好的支持,但沒有充分發揮知識圖譜的潛力.

2.6 得分預測

對學生成績進行分析預測,并尋找成績數據中潛在的知識和信息,對提高個性化教學質量也有著積極的指導意義.

陳曦等人[36]構造了一個表示課程信息的課程知識圖譜,分別使用基于鄰節點的方法和基于知識圖譜表示學習的方法計算課程在知識層面的相似度,并將課程的知識相似度集成到傳統的成績預測框架協同過濾中,提出了一種基于課程知識圖譜的預測算法.該研究以RMSE與MAE 指標進行了實驗對比分析,驗證了知識圖譜可作為歷史數據缺乏場景下信息補足的手段,可有效地解決冷啟動問題.為改善系統性能,它引入了基于圖譜表示學習的圖嵌入算法,并對比了多種不同算法在不同場景下的效率,但其數據規模過小,構建知識圖譜的本體設計較為簡單,從而其實驗結果具有一定的局限性.

2.7 課程設計與教案評估

個性化教育離不開個性化的課程設計與教案,針對學習者特征進行課程設計能更好地引導學生思維并讓其更好地理解知識,因材施教.

王憲蓮等人[37]利用知識圖譜技術對微課課程內容進行組織和關聯,給出了微課課程體系架構和知識圖譜的建構原則,構建了基于知識圖譜的微課課程關聯性結構,并提出了以學習者為中心的微課課程設計流程.該研究采用問卷調查的方式收集用戶滿意度并論證實驗效果,為微課程背景下的課程設計提供了一個借鑒思路.

胡輝[33]在個性化習題推薦研究中提出了一種教案評估方法,他根據教案映射知識圖譜的分布規律,將教案分為3 種類型,引入路徑矩陣和中心性算法,提出了基于路徑矩陣和知識點序列的教案特征類型判定方法.通過改進中心性算法,評估得到教案重點和難點,再基于圖的關聯查詢與路徑分析,獲得教案的補充知識點、異常知識點和知識點跨度評估.該研究充分利用了知識圖譜的圖網絡特性,通過圖譜的路徑分析與關聯分析,簡化了分析過程,提高了分析效率.但在教案與相關知識的本體模型設計方面不夠深入,可進一步提高圖譜的覆蓋面與知識深度.

3 結論與展望

基于知識圖譜的教育應用具有語義豐富和個性化的鮮明特點,可有效聯接施教者、學習者、學習資源和知識點,增強數據的語義信息與特征關聯程度,它們在知識檢索、知識問答、路徑規劃、資源推薦、能力診斷、得分預測和課程設計與教案評估等場景下的應用前景廣闊.

現有研究在本體設計、圖譜構建、知識梳理、應用結合與效率優化等方面提出了多種模型或解決方案,在領域內進行了較全面的探索.但由于知識圖譜存在構建的復雜性、知識的專業性和數據量的依賴性等問題,未來知識圖譜在個性化教育領域中的應用仍需要解決諸多問題,例如,如何劃分界限并構建有效的學科知識圖譜? 如何針對教育過程參與者精準建模? 如何優化大數據量處理效率? 如何與現有傳統方法進行有效結合,以發揮各自優勢? 除了準確率、召回率、F值、MAE、RMSE 等傳統指標外,是否可以定義更合適的知識圖譜應用效果的驗證標準.

近年來知識圖譜以及圖嵌入在醫療、電子商務、旅游推薦等領域取得了較好的應用效果,它們為基于知識圖譜與圖嵌入的個性化教育提供了關鍵參考和重要啟發.圖嵌入技術可為知識圖譜大規模應用時的計算效率低下問題提供重要的解決方案,而現有的個性化教育領域的相關研究尚少,利用圖嵌入技術優化現有的個性化教育應用將是今后研究的一個重要方向.