基于雙曲圖注意力網絡的知識圖譜鏈路預測方法

吳 錚 陳鴻昶 張建朋

(戰略支援部隊信息工程大學信息技術研究所 鄭州 450002)

1 引言

知識圖譜是一種用圖模型來描述知識和建模世界萬物之間關聯關系的技術方法[1]。現如今，大規模知識圖譜已經成為推動實現信息檢索[2]、自動問答[3]和推薦系統[4]等人工智能相關應用的重要基礎。知識圖譜將現實世界中的知識建模成(vh,r,vt) 三元組的形式，其中vh和vt分別表示頭、尾實體，r表示實體之間的關系，例如(Beijing,capital_of, China)。雖然知識圖譜的應用取得了巨大的成功，但是目前例如FreeBase, WordNet,Yago, DBpedia以及NELL等現代著名知識圖譜存儲的知識是稀疏的和不完整的，很多存在于真實世界中的關系在知識圖譜的實體之間卻是缺失的，因此需要知識圖譜補全技術來提高知識圖譜的完整程度和數據質量。知識圖譜補全目前主要被抽象成一個鏈路預測問題，即預測出三元組中缺失的部分，如頭實體預測 ( ?,r,vt)、 尾實體預測(vh,r,?)和關系預測(vh,?,vt)，問號表示要預測的部分，而另外兩個部分是已知的。

近年來，網絡表示學習在特征提取方面展現出了強大的能力。許多研究者將網絡表示學習遷移到知識圖譜數據上，完成知識圖譜中的各類任務，其中就包含基于知識表示學習的知識圖譜鏈路預測。基于知識表示學習的知識圖譜鏈路預測方法，大多將知識網絡中的實體與實體之間的語義關系嵌入到歐式空間中連續的低維稠密向量空間中，當學習到知識圖譜的歐式空間嵌入式向量后，實體和關系之間可以進行計算與推理，再利用線性模型或神經網絡模型就可以高效地完成知識三元組中缺失元素的預測。盡管基于歐式空間的表示學習取得了成功，但是最近研究結果表明，歐幾里德對稱模型不能很好地反映復雜的數據模式，歐幾里德空間里的嵌入表示不是最有意義的幾何表示[5]。現實世界中的網絡很多情況下表現為樹形結構的無標度圖，在這樣的結構中，圖的體積(以一個節點為中心，某個半徑范圍內的節點數量)以半徑的指數級增長，而歐式空間中球的體積只以半徑的多項式級增長，這就會造成嵌入式向量的高度失真。知識圖譜是一個典型的樹狀分層多關系結構的圖數據，知識圖譜中的許多關系呈現出了實體之間明顯的分層結構。大多數現有的知識圖譜鏈路預測方法將知識圖譜嵌入到歐式空間中進行表示學習，容易造成嵌入式向量的失真，而將知識圖譜嵌入到雙曲空間中則可能會有較明顯的性能改進。此外，大多數方法孤立地分析每個知識三元組，忽視了對三元組中實體周圍局部結構化信息的挖掘和利用。

針對以上問題，本文提出了一種基于雙曲注意力網絡的知識圖譜鏈路預測方法(Hyperbolic Graph ATtention networks for Link Prediction in knowledge graph, HyGAT-LP)，通過聚合雙曲幾何對層級結構圖數據的建模能力和圖注意力網絡對網絡結構的學習能力，共同學習知識圖譜上的嵌入式表示。首先設計雙曲空間中的鄰居融合和非線性激活的函數表達式，在每一層中用不同的可訓練的曲率將歐式輸入特征轉化為雙曲空間中的表示向量。然后計算不同鄰居關系的權重，并計算對應每種關系下不同鄰居實體的權重，最后綜合衡量鄰居實體和關系的影響，分別通過實體和關系級別的注意力機制聚合雙曲空間中的鄰居信息來學習和更新雙曲嵌入式表示向量。多個知識圖譜數據集上的實驗結果表明，HyGAT-LP的性能優于目前最先進的知識圖譜鏈路預測方法。

2 相關工作

2.1 知識表示學習

最近幾年，知識圖譜補全技術受到廣泛關注并取得深入發展，在所有知識補全方法中，最有效的就是基于知識表示學習方法，此類方法可以在保留知識圖譜內在結構的基礎上，通過學習實體和關系低維向量表示，使用線性或者神經網絡模型來預測知識三元組中缺失的信息[6]。眾多算法模型大致可以被分為4類：(1)轉移距離模型，典型的模型為TransE[7]。受詞向量中平移不變性的啟發，在TransE中，把關系的向量表示解釋成頭實體向量向尾實體向量的轉移向量，把衡量知識圖譜中三元組的合理性問題，轉化成衡量頭實體到尾實體的距離問題。后續的RotatE[8]模型在復數空間中建模，把關系當作頭尾實體之間的旋轉，從理論上證明能夠解決對稱/反對稱、翻轉、組合關系。(2)語義匹配模型，早期典型的模型為RESCAL[9]，核心思想是將整個知識圖譜編碼為一個3維張量，將關系表示成實體向量的線性變換，得分函數設計成頭實體向量、關系矩陣以及尾實體向量的雙線性乘積的形式。DistMult[10]通過限制關系矩陣為對角矩陣來簡化和修正RESCAL模型容易過擬合的問題，但是DistMult限定所有關系對稱，無法解決非對稱關系。ComplEx[11]通過將實體和關系在復數域進行向量表示來擴展DistMult，實現了對非對稱關系的預測，但是它不能推斷組合模式。TuckER[12]通過對三元組向量的Tucker分解實現了不同關系之間多任務學習，以上語義匹配模型都可以看作TuckER模型的特例。相比較于轉移距離模型，語義匹配模型通過挖掘向量化后的實體和關系的潛在語義來度量事實的可信性。(3)基于卷積神經網絡(Convolutional Neural Networks, CNN)的模型，ConvE[13]和ConvKB[14]是最近兩年新提出的基于CNN的知識圖譜表示學習模型，ConvE通過一個2維卷積來預測鏈路，模型包括卷積層、全連接層和最后輸出的內積層。ConvKB和ConvE類似，把每個三元組看作一個k×3的矩陣，卷積層中尺寸為1 ×3的過濾器對矩陣的每一行進行遍歷，提取實體之間的全局關系。相比較于其他模型，這些模型雖然提取局部特征的效率較高，但是仍將實體和關系視為獨立的元素，損壞了三元組的完整性，并且忽視了對相鄰的不同三元組之間關系的考量。(4)基于圖神經網絡(Graph Neural Networks,GNN)的模型，典型代表為R-GCN[15](Relational Graph Convolutional Networks)，基于已知實體或關系在圖中周圍節點的表示，推理得到未知實體的表示，從而可以獲取知識圖譜中缺失實體的表示向量。此外還有RGHAT[16]模型基于圖注意力網絡(Graph ATtention networks, GAT)來進行鏈接預測和實體發現等任務。GNN模型可以處理數據之間具有復雜關系和相互依賴的圖結構數據[17]。GNN模型的引入豐富了知識圖譜中實體和關系的表達，尤其在得到未知實體和關系的表示方面具備一定的推理能力。

2.2 雙曲空間知識表示學習

知識圖譜鏈路預測的性能取決于模型對圖數據結構和關系模式建模的契合程度。雙曲空間是最近機器學習領域中十分活躍的研究熱點之一，已有研究表明，在建模多關系樹形層次結構的知識圖譜數據時，負常數曲率空間即雙曲空間要優于零曲率空間即歐式空間[18]。近年來，許多研究嘗試把各種各樣的層級數據嵌入到雙曲空間，在嵌入向量維度更少的條件下卻在下游的機器學習任務中取得了更好的效果，并在知識問答、機器翻譯、圖分析等應用上取得了性能上的提升。Zhang等人[19]通過雙曲層級注意力網絡模型Hype-HAN生成從詞向量到句向量，再到最終的文檔向量，然后利用生成的這些語義向量用于自動文本分類任務。Bala?evic等人[20]提出的MuRP模型在雙曲幾何空間中學習知識圖譜表示向量，通過最小化頭實體向量和尾實體向量轉移后的雙曲距離，學習到最佳雙曲嵌入式向量，但是其缺點在于它像其他轉移距離模型一樣無法挖掘關系中的邏輯屬性，且模型曲率固定會導致準確率的喪失。針對此問題，Chami等人[21]提出ATTH模型對其進行改進，使用旋轉、反射、平移變換對知識圖譜中的邏輯和層次模式進行建模，取得了更佳的預測效果。

3 相關概念及定義

3.1 知識圖譜鏈路預測

3.2 雙曲幾何模型

4 算法介紹

本文的目的是學習可以保存復雜邏輯關系和層次結構的雙曲空間中的知識圖譜表示向量，并用學到的向量通過得分函數在知識圖譜上進行鏈路預測，還原損壞三元組中丟失的信息，從而完成知識圖譜補全任務。為此，本文提出了基于雙曲圖注意力網絡的知識圖譜鏈路預測算法HyGAT-LP，算法總共包括3個部分：(1)歐式空間到雙曲空間的映射；(2)雙曲空間中的特征變換；(3)雙曲空間中的鄰居信息聚合。

4.1 歐式空間到雙曲空間的映射

圖1 歐式正切平面空間和雙曲空間之間映射關系示意圖

4.2 雙曲空間中的特征變換

4.3 雙曲空間中的鄰居信息聚合

在圖注意力網絡GAT中，注意力機制被看作一種更具表達能力的信息融合手段。區別于圖卷積神經網絡(Graph Convolutional Networks, GCN)，GAT通過衡量中心節點與鄰居節點的相關度區別對待不同的鄰居節點，并將其作為分配權重應用到聚合鄰居結構信息和屬性信息的操作中，從而更加準確地刻畫了中心節點，提升了模型的表達能力。在知識圖譜網絡中，除了鄰居節點類型的多種多樣之外，不同節點之間的關系類型也并非單一的。同一實體在不同的關系中也扮演了不同的角色，起到了不同的作用，并且不同關系在描述對實體時，其對實體的限定信息程度也是不同的，例如在描述美國籃球職業聯賽布魯克林“籃網隊”實體時，關系“has_players”比關系“based_in_city”更具有指向性，因為一個球隊的運動員可以唯一確定一支球隊，但是同一個城市卻有可能會有兩支球隊，比如籃網隊所在的城市紐約還有尼克斯隊。因此Hy-GAT-LP分別考慮兩種層面的注意力機制，即關系注意力和節點注意力。

4.4 模型整體框架

基于以上章節對HyGAT-LP各個模塊的介紹，HyGAT-LP整體框架如圖2所示。

圖2 HyGAT-LP模型框架圖

為了進行鏈路預測，利用式(20)計算三元組的得分作為衡量其成立可能性的依據，

4.5 模型訓練與復雜度分析

5 實驗結果及分析

5.1 數據集

為了評估所提算法的有效性，本文在FB15k-237和WN18RR這2個常用的基準數據集上開展實驗。數據集的統計信息如表1所示。其中ρ表示平均每一類關系的三元組數，體現了數據的稠密程度。FB15k-237數據集是知識圖譜 Freebase的一個子集，包含真實世界中的事實，少部分關系具有層級特性，如part-of等，數據集稀疏(每一類關系對應的實體數量較小)，網絡分層特性不明顯。WN18RR數據集是知識圖譜WordNet的子集，包含了單詞之間的層級關系，如hypernym，has_part等，數據集稠密(每一類關系對應的實體數量較大)，具備天然的層次結構，網絡分層特性明顯。

表1 FB15k-237數據集和WN18RR數據集統計量信息

5.2 評價指標和參數設置

實驗中使用倒數平均排序(Mean Reciprocal Rank，MRR)和Hits@1, Hits@3, Hits@10(排在前1，3，10名的有效實體的比例)作為評價指標。MRR是將排名取倒數使結果落在(0,1]之間，值越大則模型效果越好。Hits@1，Hits@3，Hits@10表示在所有的候選集中正確答案排在前1，3，10名的比例，值越大模型效果越好。將驗證集上MRR最好的模型在測試集上運行來獲取最終結果。

在訓練階段，共使用L= 2即兩層卷積層來訓練學習實體和關系的雙曲嵌入式向量，多頭注意力機制對應頭的數量為8，卷積層中的非線性激活函數采用LeakyReLU函數，模型采用Glorot方式進行模型參數初始化，Adam優化器最小化代價函數，學習率為0.01。實體和關系的嵌入式向量維度為200，批處理大小為128，負采樣數為50，模型迭代次數為500。

5.3 實驗結果和分析

5.3.1 模型總體性能對比

為評估所提算法對知識圖譜鏈路預測任務的有效性，實驗選取轉移距離模型TransE[7]，RotatE[8]，MuRE[20]，語義匹配模型DistMult[10]，ComplEx[11]，TuckER[12]，基于卷積神經網絡的模型ConvE[13]、ConvKB[14]，基于圖神經網絡的模型RGHAT[16]和基于雙曲空間的轉移距離模型MuRP[20]、ATTH[21]共11種模型作為基準算法與本文所提HyGAT-LP模型進行對比，基準算法的實驗數據參照原文獻中的實驗結果進行選取。

實驗結果如表2所示，其中加粗的為最優結果，帶下劃線的為次優結果。所有對比算法所屬的流形總共可以分為3類：歐式空間 R 、復數域空間C和雙曲空間 B。實驗結果顯示，歐式空間模型中，TransE模型的向量平移在以組合關系模式占主體的稀疏數據集FB15k-237上能有效捕捉三元組的全局特征；但在對稱關系模式占主體的WN18RR稠密數據集上，特別在處理復雜關系類型時，實體的嵌入式表示向量會趨向于相近，導致MRR得分較低。與轉移距離模型相反，DistMult和ComplEx所使用的雙線性乘法運算擅長提取實體相似性特征，在稠密數據集WN18RR上表現較好，但在稀疏數據集FB15k-237上，則難以提取足夠的信息優化實體表示，MRR和 Hits@10都有明顯下滑。ConvE在兩個數據集的幾乎所有指標上都表現出色，說明對實體和關系向量的拼接及2維轉化有助于CNN提取局部模式與關系特征。ConvKB結合了CNN和TransE的平移特性，但卻沒有解決實體嵌入式表示向量會趨向于相近的問題，因此在WN18RR的MRR指標上同樣表現出性能下滑。RotatE模型實現了推導對稱/反對稱、反向以及組合模式，性能相較于以上幾種模型有較大提升。TuckER模型是對以上模型的統一，性能十分優秀。而RGHAT證明了基于圖神經網絡的模型相比較于以上幾乎所有的非圖神經網絡模型性能更優，則體現了圖卷積網絡和注意力機制提取的特征比傳統算法提取的特征更加豐富和準確，對知識圖譜這類圖結構數據的學習能力更強。

表2 FB15k-237數據集和WN18RR數據集上知識圖譜鏈路預測結果

整體而言，在分層特性不明顯的FB15k-237數據集上，基于雙曲空間的模型和基于歐式空間的模型以及基于復數域空間的模型性能相當，MuRP和ATTH兩種雙曲空間模型與9種非雙曲空間模型相比，MRR, Hits@1, Hits@3, Hits@10分別平均提升9.7%, 3.7%, 4.8%和5.5%，但是在分層特性明顯的WN18RR數據集上，MRR, Hits@1, Hits@3,Hits@10分別平均提升16.2%, 14.9%, 5%和4.7%，說明雙曲空間比歐式空間更適合建模知識圖譜類型的樹狀層級多關系圖數據。

本文所提的HyGAT-LP方法，綜合了雙曲空間嵌入式表示學習和圖注意力網絡兩者的優勢，且分層級地考慮了鄰居三元組的影響，在絕大多數的評價指標上都取得了最好的結果。HyGAT-LP模型與單獨基于雙曲空間的模型MuRP和ATTH相比，在FB15k-237數據上，MRR, Hits@1, Hits@3,Hits@10 4種指標分別平均提升了47.1%, 88.7%,50.7%和22.9%；在WN18RR數據上，4種指標分別平均提升了7.8%, 0%, 2.9%和8.7%。相對而言，在FB15k-237數據集上提升幅度比在WN18RR數據集上提升幅度大，驗證了在同樣的雙曲空間條件下，挖掘和利用鄰居三元組信息能有效地學習不同邏輯模式的關系類型，進一步豐富雙曲空間嵌入式向量包含的特征信息，從而提高鏈路預測的性能。

5.3.2 不同類型關系的性能度量分析

由于并非所有類型的關系都可以在實體上誘導出層級結構，因此本文研究由每類關系形成的知識圖譜的圖曲率ξG[24]以及層次得分(Krackhardt hierarchy score, Khs)[25]，進而分析每類關系的性能度量。圖曲率是幾何群論中的一個概念，用于衡量圖的樹形結構化程度。層次得分僅針對有向網絡定義，并且測量其中存在有向路徑 (x →y)而不存在(y →x) 的 節點對(x,y)的比重。對于所有有向非循環圖，該分數取值為1，對于圈和自環，該分數取值為0。圖曲率ξG越低，層次得分Khs越高，則該圖的分層特性越明顯，圖數據結構越趨向于樹形結構。以WN18RR數據集為例，此數據集中總共有11種類型的關系，其中可以誘導出層級結構的關系有8種，另外3種語義關系不具備層次結構，每類數據的基本統計量信息如表3所示。

表3 在WN18RR數據集中每類關系的統計量信息

為了分析不同類型關系的性能度量受雙曲空間和鄰域三元組注意力機制的影響情況，實驗比較了MuRE模型、MuRP模型和HyGAT-LP模型的每類關系的MRR指標。對比結果如圖3所示。從圖3可以看出，雙曲空間嵌入式表示方式提升了層級關系的預測性能，而在非層級關系的預測方面，基于雙曲空間和基于歐式空間的預測效果相似。HyGAT-LP模型相比較于MuRP模型而言，對非層級關系的預測效果有進一步的提升，且同時優于MuRE模型，說明如果層級信息沒有在數據集中起到決定性作用，則模型的結構和深度對預測結果的影響會更加占據主導地位。

圖3 WN18RR數據集上各類關系MRR指標對比圖

5.3.3 知識三元組實例的性能度量分析

在WN18RR數據集中，當測試三元組分別為具備層級關系的(european_union, member_meronym, denmark)和非層級關系的(geology, derivationally_related_form, geologist)時，在已知頭實體和關系的條件下預測尾實體，實驗比較了MuRE模型、MuRP模型和HyGAT-LP模型對尾實體的排序情況如圖4所示，其中模型每訓練迭代5次，測試輸出1次排序結果。從圖4可以看出，隨著訓練迭代次數的增加，3個模型對目標尾實體預測的排名都呈逐步上漲的趨勢，其中雙曲空間模型對層級關系三元組的預測優于歐式空間模型，同等迭代次數條件下，雙曲空間模型對尾實體的排名基本上都比歐式空間模型對尾實體的排名更加靠前，且雙曲空間模型的最佳排名優于歐式空間的最佳排名。HyGAT-LP模型在3個對比模型中收斂最快，且最佳排名最靠前。對于非層級關系三元組的預測，3個模型的最佳排名都是第1名，但是HyGAT-LP模型最快收斂到最佳排名，優于其余兩個對比模型。

圖4 實例三元組尾實體預測排名對比圖

3個模型在最后一輪訓練后的預測排名前10尾實體列表如表4所示。底色加深的實體為目標實體。從表4可以看出，MuRE模型和MuRP模型都會選出與目標實體語義差別較大的實體，如層級關系中的united_states和非層級關系中的give, film和chronologize，而HyGAT-LP模型不會出現這種情況，且選出的排名靠前的尾實體與目標尾實體更加相似，與頭實體和關系形成的三元組更加符合現實意義。以上實驗結果也從具體個體實例層面進一步驗證了HyGAT-LP模型的有效性。

表4 預測排名前10尾實體情況

6 結束語

現有基于歐式空間表示學習的知識圖譜鏈路預測算法，仍然存在表示向量高度失真和三元組局部鄰居信息利用不充分的問題。因此本文提出了Hy-GAT-LP算法，旨在學習知識圖譜中實體和關系的雙曲嵌入式表示，提升知識圖譜鏈路預測的準確度，主要創新點在于設計并實現了基于雙曲注意力網絡模型，將多關系知識圖譜嵌入到符合其所需幾何特性的雙曲空間，聯合圖注意力網絡對局部結構化信息的挖掘能力，共同應對其復雜的網絡結構和實體間復雜的關系。多個數據集上的實驗結果表明，算法的性能穩定，與主流的基準算法相比有一定程度上的提高，特別是在樹狀分層特性更加明顯的WN18RR數據集上優勢更為明顯。未來的工作包括探索將本文所提算法擴展到對話系統、自動問答系統等知識圖譜領域中。此外還將探索融合球型、歐式以及雙曲等不同曲率空間的注意力網絡模型，從而契合各式各樣結構的圖數據，使得算法的適用場景更加廣闊。