基于四元數膠囊網絡的知識圖譜補全模型

陳 恒，王思懿，李冠宇，祁瑞華，楊 晨，王維美

（1.大連外國語大學 語言智能研究中心，遼寧 大連 116044；2.大連海事大學 信息科學技術學院，遼寧 大連 116026）

0 概述

知識圖譜（Knowledge Graph，KG）是一種規模較大的語義網絡系統，旨在描述客觀真實世界中實體或概念之間的關聯關系。KG 在各領域的應用越來越廣泛，YAGO［1］、Freebase［2］和DBpedia［3］等眾多知識圖譜采用RDF 三元組的形式描述真實世界中的關系和頭、尾實體，即（主語，謂語，賓語），例如（Chicago，City_Of，US）。知識圖譜已被廣泛應用于許多行業與領域，如推薦系統［4］、問答系統［5］、搜索系統［6］和自然語言處理［7］。盡管KG 應用場景較為廣泛，但是知識圖譜仍不完整，即缺少大量真實客觀三元組［8-11］。為此，研究人員提出許多典型嵌入模型，如TransE［12］、TransH［13］、TransR［14］等模型，這些模型用來學習KG 中實體和關系的低維嵌入。TransE 將知識圖譜中的關系解釋為頭實體到尾實體的平移，但不能建模較為復雜的關系模式。因此，TransH 和TransR 提出了新的解決方法，便于有效建模M-M 等關系。Trans 系列模型面向KG 中的實體和關系進行表示學習，該類模型在建模和推理缺失三元組方面效果顯著［15-16］。

TransE、DistMult［17］和ComplEx［18］作為典型的嵌入模型，僅能挖掘實體之間的線性關聯，不能有效捕獲三元組空間結構信息。目前，很多神經網絡模型被應用于知識圖譜補全任務［19-20］。文獻［19］提出基于三元組整體架構的卷積神經網絡模型，ConvKB 在基準數據集WN18RR 和FB15K-237 上具有較好的鏈接預測結果。大部分KG 嵌入模型通過對三元組同維度條目進行建模表示，每個維度獲取三元組相應的屬性信息。但是，上述嵌入表示模型并未利用“深層”結構來挖掘和建模實體和關系的特征信息。文獻［21］引入膠囊網絡（CapsNet），CapsNet 利用一組神經元獲取圖形中的對象，然后通過動態路由機制確定從父膠囊到子膠囊的連接。因此，膠囊網絡不僅能基于統計信息提取特征，還可以解釋特征。與CNN 相比，膠囊網絡的優勢在于：在CNN 中，卷積層的每個值都是線性權重的總和，即標量，在CapsNet 中，膠囊是一組神經元，即一個向量，其中包含對象的方向、狀態和其他特征［21］，因此，與神經元相比，膠囊可以在嵌入三元組中編碼更多特征，深層次挖掘各維度屬性信息；CNN 每層都需要相同的卷積操作，因此需要大量網絡數據學習特征，與CNN不同，膠囊網絡可以學習膠囊中的特征變量，并最大限度地保留有價值的信息［22］，因此膠囊網絡利用較少的數據學習推斷特征變量，并達到CNN 預期效果；CNN 不斷池化會丟失大量重要的特征信息，不能有效處理圖像的模糊性問題，與CNN 不同，膠囊網絡每個膠囊攜帶大量信息，這些信息會在整個網絡保存［21］，因此膠囊網絡可以有效處理圖像的模糊性問題。

近年來，四元數和神經網絡模型的組合受到越來越多的關注，原因在于四元數允許神經網絡模型在學習過程中使用比CNN 更少的參數來編碼輸入特征組之間的潛在依存關系。深層四元數網絡［23］、深層四元數卷積神經網絡［24］和深層四元數循環神經網絡［25］已經用于圖像和語言處理任務。然而，在知識圖譜補全領域，關于四元數和膠囊網絡相結合的工作較少，因此將四元數引入膠囊網絡，以此探索優化的膠囊網絡模型在鏈接預測和三元組分類任務的應用。本文將實體、關系的四元數嵌入向量作為優化的膠囊網絡模型的輸入，以此捕獲實體和關系在低維空間中的聯系，為評估四元數嵌入的膠囊神經網絡模 型，使用FB15K、WN18RR 和FB15K-237 進行鏈接預測實驗。

1 相關工作

1.1 基準嵌入模型

TransE 模型將知識圖譜中的關系解釋為頭實體到尾實體的平移，例如，對于事實三元組（Chicago，City_Of，US），即h+r≈t，如圖1所示。在TransE 中，認為||h+r-t||無限接近零，即t無限接近 于h+r［26］。TransE 的打分函數如式（1）所示：

圖1 實體和關系的低維嵌入Fig.1 Low dimensional embedding of entities and relationships

TransE 模型在處理一對一關系模式方面效果顯著，但不適合一對多/多對一關系。因此，TransH 模型提出任意一個實體在不同的關系下應該擁有不同的表示［27］。TransH 的打分函數如式（2）所示。區別于TransH，TransR 認為一個實體是多種屬性的綜合體，且不同的關系應擁有不同的語義空間。式（3）為TransR 模型的打分函數。

DisMult 是RESCAL 的簡化模型，因此只能建模知識圖譜中存在的對稱關系，不能建模知識圖譜中其他類型的關系。針對DisMult 存在的問題，ComplEx 將DisMult 擴展到復數空間。在ComplEx模型中，頭實體、關系和尾實體的嵌入向量h、r、t不再投影到實數空間，而是映射于復數空間。DistMult和ComplEx 打分函數如式（4）和式（5）所示：

1.2 神經網絡模型

典型的嵌入模型僅能挖掘實體之間的線性關聯而不能有效捕獲三元組空間結構信息。為解決該問題，研究者開始應用CNN 補全知識圖譜，DKRL［28］模型利用兩種編碼器來編碼實體描述信息，分別是連續詞袋模型和CNN 模型，之后利用三元組的全局特性和實體的描述資源進行表示學習。DKRL 的打分函數如式（6）所示：

ConvE［29］隨機初始化頭實體和關系，通過卷積和全連接操作建模三元組，最終權重矩陣和尾實體向量進行點乘運算，得分用于判定當前三元組的可信度。在ConvE 中，僅將頭實體嵌入和關系嵌入視為CNN 模型的輸入，并未考慮三元組全局特性，為解決此問題，ConvKB 以嵌入三元組(h，r，t)為輸入，和不同過濾器進行卷積操作，從而獲取三元組的全局特性。ConvE 和ConvKB 的打分函數如式（7）和式（8）所示：

ConvKB 模型利用卷積神經網絡對實體和關系進行編碼，無法捕獲三元組空間結構信息。參照文獻［21］，本文將神經元替換為膠囊，以學習實體和關系的矢 量表示。CapsE［20］使 用TransE 訓練的實 體、關系嵌入作為膠囊網絡輸入，但在表征不同實體外部依賴關系方面表現力仍然較差。因此，本文引入四元數編碼三元組結構信息，以盡可能全面地捕獲三元組的全局特性，從而有效補全知識圖譜中丟失的三元組。實驗結果表明，在KGC 補全任務中，四元數嵌入的膠囊網絡知識圖譜補全方法較CapsE 效果更優。CapsE 的打分函數如式（9）所示：

上述知識圖譜補全模型的打分函數如表1 所示。

表1 不同模型的打分函數及參數Table 1 Scoring functions and parameters of different models

2 模型設計

2.1 相關算法

四元數是包含一個實數和3 個虛數單位的超復數，其表示形式為Q=a+bi+cj+dk，其中，a、b、c、d是實數，i、j、k 是虛數單位。四元數嵌入模型QuaR［30］具有以下優點：1）四元數嵌入模型參數較少，計算復雜度低；2）四元數嵌入模型結構簡單，易于擴展，在知識圖譜補全領域效果顯著。本文使用由QuaR 模型訓練的實體和關系的四元數嵌入矩陣作為膠囊網絡模型的輸入。與結合TransE 的膠囊網絡模型CapsE 不同，本文采用QuaR 模型訓練得到的實體和關系的超復數嵌入，將更加準確和直觀。受歐拉四元數擴展公式的啟發，在QuaR 模型中，實體被表示為四元數，關系則被建模為四元數空間中的旋轉。另外，與實數模型TransE 相比，四元數融入膠囊神經網絡可以建模和推理更多的關系［30］。與TransE 相比，QuaR 模型可以建模對稱與反對稱等多種關系類型，因此，在四元數嵌入的膠囊網絡模型中可以推理更多的關系模式，準確率更高。

優化的膠囊神經網絡算法如算法1 所示。在四元數膠囊網絡算法中，本文使用QuaR 模型訓練生成的四元數矩陣來初始化實體和關系嵌入（分別見第3 行和第4 行）。在算法迭代過程中，采用卷積操作和內積運算來訓練矩陣。首先，從訓練集S中抽取一個小批量數據集b（見第6 行）。其次，對數據集中每個三元組，選取負樣本S′（錯誤三元組），其中負樣本從正例三元組獲取得到（見第9 行）。最后，對抽樣得到的小批量數據集進行分數預測和損失校正（分別見第12 行和第14 行）。另外，使用Adam 優化器更新模型參數，算法依據驗證集性能而中止。最終，本文將KG=(E，R，T)表示為知識圖譜，實體的集合表示為E，關系的集合表示為R，三元組的集合表示為T。

算法1膠囊網絡算法

2.2 模型架構

膠囊網絡模型由輸入層、卷積層、初級膠囊層、數字膠囊層和輸出層5 個部分構成。其中，膠囊神經網絡的隱藏層包含卷積層、初級膠囊層和數字膠囊層。膠囊網絡的卷積層通過不同的卷積核在輸入矩陣的不同位置提取特征，以獲得包含多個神經元的特征矩陣。初級膠囊層將卷積操作生成的特征圖重組成相應的膠囊，之后通過動態路由算法將初級膠囊層與數字膠囊層連接以獲得輸出值。數字膠囊層位于卷積層和初級膠囊層后，其功能是將卷積層、初級膠囊層中具有類別區分性的局部信息進行整合，以在整個膠囊神經網絡中執行回歸分類任務。

本文優化的四元數膠囊模型如圖2 所示。該模型主要分為4 個層次：第1 層為卷積層，本文使用數百個濾波器（卷積核）在三元組矩陣上重復卷積操作；第2 層為主膠囊層，該層將卷積操作生成的特征圖重構成相應的膠囊，從而最大限度地保留有價值的信息；第3 層為次膠囊層，父膠囊與權重矩陣相乘生成較小維度的子膠囊，同時得到多個連續矢量；第4 層為內積膠囊層，連續矢量與權重矩陣執行內積操作生成相應的三元組分數，該分數用于判斷給定三元組的正確性。

圖2 四元數膠囊模型Fig.2 Quaternion capsule model

在卷積層中，首先將h、r、t分別表示為K維四元數向量，其表示形式為h=(a1+b1i+c1j+d1k，…，aK+bKi+cKj+dKk)，其中，ai表示頭實體的實部，bi、ci、di表示頭實 體的虛部，ai、bi、ci、di隨機初始化或 由QuaR 模型訓練得到，i、j、k 是虛數單位，即指在超復數空間中的旋轉。與結合實數嵌入的膠囊網絡模型CapsE 不同，本文采用QuaR 模型訓練得到的超復數嵌入表示實體和關系，這可以深層次挖掘實體和關系之間的復雜聯系。參照文獻［12］，本文將超復數嵌入三元組向量h、r、t定義成一個三元組嵌入矩陣A=[h，r，t]∈QK×3，其中，表示A的第i行。然后，本文使用濾波器（卷積核）ω∈Q2×3與A=[h，r，t]∈QK×3重復卷積操作，最終生成特征 圖q=[q1，q2，…，qK-1]∈QK，qi=g(ω·Ai，：+b)，·表示點積，其中，b∈Q是偏差項，g是非線性激活函數，例如ReLU或Sigmoid。在卷積層中，本文使用四元數乘法和四元數加法計算并編碼多個向量膠囊，得到包含多個向量膠囊的特征矩陣。由此，相關的四元數運算規則如式（10）～式（13）所示：

將Q1=a+bi+cj+dk 和Q2=a′+b′i+c′j+d′k 相加，得到：

將Q1=a+bi+cj+dk 和Q2=a′+b′i+c′j+d′k 相乘，得到：

將Q1=a+bi+cj+dk 和Q2=a′+b′i+c′j+d′k 相除，得到：

在主膠囊層中，本文將卷積操作生成的多個特征向量重組以構建膠囊（v1，v2，v3，v4，v5）。膠囊是一組神經元的集合，vi包含4 個神經元。在次膠囊層中，本文將重組后的父膠囊和變換矩陣相乘生成低維度的子膠囊，并得到一個向量s；最終，向量s和權重執行內積操作生成相應分數，該得分用于確定一個事實三元組的準確與否。本文將嵌入維度設置為K=6，卷積核的數量為ω=4，主膠囊層內神經元的數目定義為4，次膠囊內神經元的數目定義為2。在膠囊層中，本文使用四元數乘法、四元數加法和四元數范數計算并編碼多個向量膠囊，從而深層次挖掘實體和關系之間復雜的語義聯系。

在所有膠囊層中，首先將每個膠囊i∈{1，2，…，K}向量輸出值定義為Vi∈QN×1，然后矢量輸出Vi和變換矩陣Wi∈Qd×N相乘產生和不同權 重內積生成膠囊矢量s，最終壓縮矢量e與W執行點乘運算獲得對應得分，其值用來判斷三元組正確性，如式（14）～式（17）所示：

四元數膠囊網絡模型的評分函數如式（8）所示：

其中：Ψ表示卷積核的數量；*表示卷積操作；Caps 代表膠囊神經網絡運算。另外，四元數膠囊網絡模型的損失函數如式（19）所示：

其中：T表示正確的三元組；T′表示錯誤的三元組，負樣本由正確三元組生成；θ的數值通過式（20）計算。

負樣本的組建方式如式（21）所示，即把正例三元組中的尾實體與頭實體依次使用其他實體取代，即不能同時替換。

本文利用Adam［31］最小化四元數膠囊網絡模型的目標函數，將Re LU 視為模型的激活函數。

3 KGC 實驗

3.1 數據集

本文使用從Freebase 和WordNet 中抽取的FB15K［12］、FB15K-237［32］和WN18RR［29］3 個基準數據集進行知識圖譜補全實驗。參照文獻［32］，將數據集FB15K 中反轉事實三元組丟棄，得到新數據集FB15K-237。同理，本文將數據集WN18 中反轉事實三元組丟棄，得到新數據集WN18RR。

數據集的統計如表2 所示。

表2 數據集統計Table 2 Dataset statistics

3.2 參數設置

本文利用ConvKB［19］模型和QuaR［30］模型實現基于四元數嵌入的膠囊網絡方法。在ConvKB 中，本文設置濾波器（卷積核）的數量為|ω|=N∈{50，100，200，400，600}，其中，Adam 學習率設定為γ∈{0.000 01，0.000 05，0.000 1，0.000 5}。在實驗中，訓練膠囊網絡模型100 次記錄一次Hit@10，最優Hit@10 超參數如下：在 FBI5K-237 上，N=50，K=100，γ=0.000 01；在WN18RR 上，N=400，K=100，γ=0.000 05。

在實驗中，本文將批量大小定義成128，動態路由過程的迭代次數定義為m∈{1，3，5，7}，次膠囊層內神經元數目定義為8，權重矩陣W隨機初始化生成。本文訓練膠囊網絡模型多達1 000 次，其中，訓練膠囊網絡模型100 次記錄一次Hit@10，最優Hit@10 超參數如下：在數據集FBI5K-237 上，N=50，K=100，γ=0.000 1；在數據集WN18RR 上，N=400，K=100，γ=0.000 05。

3.3 鏈接預測

3.3.1 實驗設置

鏈接預測即發現知識圖譜中缺失的鏈接（事實三元組）。對于RDF 三元組（Chicago，City_Of，？），即預測并補全該元組中缺失的尾實體。本文參考TransE 模型，將測試數據集中的三元組依次移除頭實體或者尾實體后，采用評價函數對每個新三元組得分進行排名。

3.3.2 評估指標

本文采用3 個評價標準：正確實體的平均排名MR、正確實體在TopN的比例Hit@N和正確實體的平均倒數排名MRR。其中，MR 越小、MRR 越大或者Hit@N 越大，代表模型效果越好。

3.3.3 實驗分析

本文在如下環境中進行鏈接預測實驗：Window 7操作系統，64 位處理器，GPU 類型為1755 MHz，24GD6 GeForce RTX 2080 Ti。數據集WN18RR 和FB15K-237在不同模型下的實驗結果如表3 所示，其中粗體表示最優結果。

表3 不同模型在WN18RR 和FB15k-237 數據集上的實驗結果Table 3 Experimental results of different models on WN18RR and FB15K-237 datasets

分析表3 可以看出：四元數膠囊網絡模型在WN18RR 和FB15K-237 上取得較好的實驗結果。

在FB15K-237 上，四元數膠囊網絡方法獲得最高Hit@3、Hit@10 和最好MRR。具體分析如下：

1）本文方法優于CapsE 模型，但Hit@1 除外；本文方法較CapsE 在MRR 上提高了4.4%，在Hit@10 上提高了2.5 個百分點。由此可知，四元數編碼序列輸入的膠囊網絡模型在很多實驗指標上要優于結合實值嵌入的膠囊網絡模型。這也說明四元數在表征不同實體之間的外部依存關系方面性能強大。

2）本文方法 較ConvE 在Hit@3 上提高了7.9 個百分點，在Hit@10 上提高了11.7 個百分點。由此可知，與卷積神經網絡模型相比，膠囊網絡模型可以在嵌入三元組中編碼更多的特征信息，以捕獲實體和關系在低維空間中的聯系。

在WN18RR 數據集上，四元數膠囊網絡方法獲得最高Hit@1、Hit@10 和最好MR，具體分析如下：

1）本文方法優于RotatE 模型，但MRR 除外；本文方法較RotatE 在Hit@3 上提高了2.2 個百分點，在Hit@10 上提高了2.1 個百分點。由此可知，和復數模型相比，結合四元數嵌入的膠囊網絡模型表現能力更優，原因在于四元數作為一種超復數，是復數在更高維度上的擴展。最終，訓練得到的實體、關系超復數嵌入結合膠囊網絡可以深層次挖掘實體及關系間存在的某種關聯。

2）本文方法較ConvKB 在MR 上提高了8.1%，在Hit@10 上提高了2.5 個百分點；本文方法較ConvE在Hit@1 上提高了3.0 個百分點，在Hit@10 上提高了7.2 個百分點。由此可知，和CNN 模型相比，膠囊網絡可以學習實體和關系更多的特征信息，深入挖掘各維度屬性信息。

3）RotatE 模型的MRR 指標優于ConvE、ConvKB等模型。可以看出，復數旋轉模型RotatE 在WN18RR上補全效果顯著，在某個指標上優于現有CNN 模型。

為驗證超復數膠囊網絡模型推理各類關系模式的能力，本文選取WN18RR 進行鏈接預測實驗。如圖3 所示，超復數膠囊網絡模型在建模和推理多種關系模式中具有優越的表示能力。

圖3 不同關系模式的MRR 指標Fig.3 MRR index of different relationship patterns

3.4 三元組分類

3.4.1 實驗設置

三元組分類即判斷一個事實三元組是否正確，或頭、尾實體是否存在某種依存關系，這是一個簡單的二分類問題。例如，（Beijing，Capital_Of，China）是正確的三元組，（London，Capital_Of，China）是錯誤的三元組。參照文獻［12-14］，本文將閾值設置為δ=0.5，即對于任意一個測試三元組，使用評分函數計算三元組的分數，若該分數高于閾值δ=0.5，則三元組是正確的，否則為負例三元組。在實驗中，本文選取驗證集上的三元組，依次計算每個三元組的得分，并將每個分數作為閾值δ來計算三元組的分類準確率。最終，本文將分類準確率最高時的δ作為模型閾值，即δ的數值大小最終設置為0.5。另外，閾值取值范圍為δ∈[0，1]。

3.4.2 實驗分析

參考文獻［14，34］，利用Freebase 的子集FB15K執行三元組分類任務。實驗環境與3.3.3 節相同。FB15K 最優參數為：N=50，K=100，γ=0.000 1。三元組分類的實驗結果如表4 所示。

表4 三元組分類實驗結果比較Table4 Comparison of experimental results of triple classification %

分析表4 可以看出：基于四元數嵌入的膠囊網絡模型優于其他所有模型，準確率達到92.7%，這說明四元數嵌入的膠囊網絡模型在預測精度方面效果顯著，適用于大規模的知識圖譜補全任務。

4 結束語

為補全知識庫中缺失的事實三元組，本文將四元數融入膠囊神經網絡模型以預測缺失的知識。采用超復數嵌入取代傳統的實值嵌入編碼三元組結構信息，捕獲三元組全局特性，四元數結合優化的膠囊網絡模型可以有效補全知識圖譜中丟失的三元組，預測精度更高。實驗結果表明，與傳統嵌入方法相比，四元數膠囊網絡模型在硬性指標上顯著提升。下一步將重新設計膠囊網絡模型，采用內聯膠囊路由協議或核密度估計路由協議代替傳統的動態路由，并且將關系和實體的文本信息融入膠囊神經網絡，提高四元數膠囊網絡模型的預測精確率。