多語義關系嵌入的知識圖譜補全方法

尹 華，肖石冉，陳智全，胡振生，龍泳潮

1.廣東財經大學 信息學院，廣州510320

2.廣東省智能商務工程技術研究中心，廣州510320

3.中山大學 計算機科學與工程學院，廣州510006

知識圖譜作為一種大規模語義網絡，是圖書情報領域的關鍵前沿技術，已成功運用于信息檢索[1]、推薦系統[2]、問答系統[3]等，其構建的基礎是實體（概念）及關系抽取，即三元組(h,r,t)（頭實體、關系、尾實體）抽取。由于關系抽取高度依賴于實體抽取，實體及關系抽取的不完備性導致知識圖譜的關系缺失問題[4-5]。知識推理是利用已知的知識推理出新知識的過程。通過面向知識圖譜的知識推理，即知識圖譜推理，在已抽取的三元組集合中，推理獲得三元組中的缺失關系，可以構建更為完備的知識圖譜。

知識圖譜推理的方法分為基于規則的[6]、基于分布式表示的[7]、基于神經網絡的[8]、混合模型[9]等。基于規則的推理可解釋性強，但規則不易獲得，可計算性較差。基于神經網絡的推理能力較強，但復雜度高，可解釋性弱。混合推理方法目前缺乏較深層次的混合模式。而基于分布式表示的推理利用知識表示模型，得到知識圖譜的低維向量表示，通過向量操作進行推理預測，計算方便快捷，此類方法可以簡單便利地應用于知識圖譜推理與補全。基于向量的知識表示模型按照表示空間的不同分為翻譯模型[7]、旋轉模型[10]、雙線性模型[11]、神經網絡模型[12]、雙曲幾何模型[13-14]等。在處理復雜關系問題上，大部分模型關注一對多、多對多的復雜關系，但無法覆蓋所有的關系類型。旋轉模型中的RotatE[10]將實體和關系映射到復數向量空間，可以同時處理上述關系。但由于其將一種關系表示為單一向量，未深入考慮關系的多語義現象。

關系多語義[15]是指同一個關系在不同的頭尾實體對下會表現出不同的含義。例如吉姆·貝魯什（Jim Belushi）既是演員又是音樂家，他同時獲得了音樂獎項和影視獎項提名。對于獲獎提名關系，存在兩個具有相同頭實體和不同尾實體的三元組（吉姆·貝魯什，獲獎提名，最佳男表演獎），（吉姆·貝魯什，獲獎提名，最受歡迎男歌手），體現了兩種不同的語義。但是，根據現有基于知識表示的知識圖譜補全算法，通過頭實體和關系計算遞推出尾實體的向量表示發現，上述兩個三元組的尾實體在向量空間中體現為同一向量。顯然，這樣的實體與關系表示會導致預測錯誤。因此，用一個關系向量表示一種關系，在面對復雜關系場景下不能處理多語義情況。

為充分挖掘潛在的三元組語義關系，本文提出了一種新的知識圖譜關系補全方法，該方法在基于向量的表示模型基礎上，構建細粒度的關系語義分量，擴充了關系語義表達，通過語義分量簇實現多語義關系嵌入，并自適應選擇最貼合實體對的關系向量，保證向量計算的唯一性。同時，在公開數據集上通過鏈接預測和三元組分類任務，驗證該方法能處理對稱關系、逆關系、組合關系等復雜關系，提升了知識圖譜關系補全的效果。

1 相關工作

知識圖譜補全方法可分為知識表示[16]、路徑查找[17]、強化學習[18]、推理規則[19]、元學習[20]等，其中基于知識表示的補全方法將三元組映射到向量空間中，使知識圖譜具有可計算性，是在已知實體中發現潛在關系的一種較為直觀的方法，便于理解與運用。根據采用的知識表示模型可分為雙線性模型、神經網絡模型、雙曲幾何模型、翻譯模型和旋轉模型等，知識表示模型的表示能力決定了關系補全的效果。

1.1 雙線性模型

雙線性模型將實體定義為向量，關系定義為矩陣。基于矩陣運算使得實體和關系能夠進行深層次交互，例如RESCAL[11]將關系表示為滿秩矩陣，但隨著關系維度的增加，復雜度會很高，難以擴展至大規模知識圖譜。為此DisMult[21]提出放松關系矩陣的約束，利用對角矩陣替換關系矩陣，降低了模型過擬合的風險，但也使得該模型只能處理知識庫中的對稱關系，不能很好處理其他關系，也不適用于大規模知識圖譜。

1.2 神經網絡和雙曲幾何模型

以ConvE[12]、CapsE[22]為代表的神經網絡模型，利用卷積層和全連接層獲取交互信息，但模型缺乏解釋性。雙曲幾何模型利用雙曲幾何性質建模實體的層次性。例如，以龐加萊圓盤為基礎的Poincare模型[14]可以很好地處理知識圖譜中實體的層次性，但由于龐加萊圓盤并不能進行復雜操作，對不同關系性質表示有所欠缺。

1.3 翻譯模型

翻譯模型中的TransE[7]受word2vec 的啟發，利用空間向量的平移不變性，建立了頭實體和尾實體之間的轉換關系用于推理。計算的簡易性使得TransE可以高效地處理一對一關系的知識圖譜補全，但并不能處理好一對多、多對一、多對多等問題。由此，在TransE 的基礎上提出了建立超平面的TransH[23]。TransH、TransE 的實體和關系都表示在相同空間中，這種表示方法無法區分兩個語義近似的實體在某些特定方面的不同。為此，TransR[24]提出為每個關系構造相應的向量空間，將實體和關系在不同的向量空間中分類表示。實體的映射關系僅由關系決定，但顯然頭尾實體本身對映射也有影響。隨后，TransD[25]提出映射函數應該與實體、關系同時相關。上述模型均不能同時解決對稱關系、反對稱關系、互逆關系、組合關系等問題。

1.4 旋轉模型

旋轉模型中的RotatE 將三元組實例視為頭實體經過關系角度的旋轉變為尾實體的過程描述，可以同時處理對稱關系、反對稱關系、互逆關系、組合關系等問題。但是，RotatE 將關系看作一個特定的向量，并沒有考慮解決關系的多語義問題。

關系向量細分能夠豐富語義表達。TransR 的變體CTransR 通過計算偏移量(t-h)對關系進行細分，利用AP 聚類獲取簇中心，并學習一個關系轉移矩陣Mr來對頭尾實體進行轉化，該方法的時間復雜度為O(N3×O(TransR))，不適用于大規模知識圖譜補全。TransG[26]提出利用貝葉斯非參數混合模型得到關系的多個表示，通過指數函數擴大主要語義分量的影響，相較于CTransR 模型參數減少，但模型相對復雜。由于嵌入表示的差異以及模型復雜度過高，上述關系細分方法均無法解決RotatE的關系多語義問題。

2 多語義關系嵌入的補全方法

知識圖譜補全的核心在于復雜關系推理，選擇能夠處理復雜關系的知識表示模型是確保補全效果的基礎。基于RotatE 的關系補全模型能夠處理復雜關系，但存在關系多語義問題。為解決這一問題，嘗試了以下探索：（1）RotatE 表示模型是否存在關系多語義現象？（2）如何細分關系語義表示？（3）如何確保向量計算唯一性？（4）擴充語義表達后是否具有處理復雜關系的能力？（5）如何驗證知識圖譜補全效果？

2.1 RotatE 模型

RotatE 模型的假設空間源于Complex 的復向量空間，受歐拉恒等式eiπ=cosx+i sinx的啟發，將實體與關系表示分離。將關系看作頭實體h到尾實體t的旋轉過程即t=h°r，關系向量r表示為r=是頭尾實體之間的角度值，RotatE將其初始化為正態分布向量，得分函數定義為：

RotateE 能夠同時推斷對稱、反對稱、逆關系和組合關系。具體關系類型定義如下：

則定義關系r為對稱（反對稱）關系。

則定義關系r1為關系r2的逆關系。

則關系r1定義為關系r2、r3的組合關系。

盡管RotatE 能處理現有的復雜關系，但將一個關系看作一個特定的向量，其語義表達并不充分，使用RotatE 等旋轉模型進行知識表示的過程中易出現部分語義表示的缺失。

在FB15K-237 數據集[27]上對RotatE 訓練后獲得實體集E和關系集R。利用式（2）計算得到實體集對應的關系向量，經過PCA 降維將特征向量壓縮為二維向量（feature1，feature2），構造position、award_winner、nationality、sports_team_roster 四種關系角度向量可視化圖，如圖1 所示。

圖1 基于RotateE 表示的關系角度向量可視化圖Fig.1 Relation angle vector visualization based on RotatE representation

假設RotatE 將關系看作一個特定的向量是合理的。那么通過RotatE 訓練后所獲得的實體和關系向量表示應該是唯一的，即頭尾實體之間的向量r是唯一的。經過RotatE 訓練后獲得的同一關系下的實體對之間的角度應當相差不大，表現在圖上應為一個簇，其中心即為關系向量r的值。

分析圖1 中的四種關系發現，同一關系呈現出多個簇的聚集現象，也即同一關系具有多個向量表示，與原有假設向量唯一矛盾。RotatE 中通過式（1）構建的向量空間可以看作對多個聚類簇的平均，但由于語義簇之間的差異較大，導致在關系預測中對大部分語義出現誤分類的情況。由此可知，RotatE 將關系表示為單一向量并不能充分表達關系的語義信息。

2.2 MSRE 方法

為了擴充原有的關系語義表達，采用關系語義分量簇替換關系向量表達，提出一種多語義關系嵌入的知識圖譜補全方法MSRE，通過關系語義細分，更多層次、多維度地發現關系。

MSRE（multi-semantic relation embedding）方 法分為三個步驟，如圖2 所示。（1）計算關系語義分量。首先將知識圖譜的三元組表示為實體和關系向量，再將該關系向量轉化為關系角度向量集合。（2）獲取關系語義分量簇。利用Mean-Shift 聚類算法自動獲得關系角度向量簇。（3）關系補全。選定其中與實體對最合適的關系向量。

圖2 MSRE 方法流程Fig.2 MSRE method

2.2.1 計算關系語義分量

RotatE 將關系向量定義為頭尾實體之間的旋轉角度，與TransE 的嵌入方法有差異，采用CTransR 在TransE 的基礎上，通過r=t-h獲得關系向量集合的方法并不適用。提出使用經過RotatE 訓練后的實體向量，利用輔角差即式（2），得到每一種關系ri的角度向量集合即，其中ri∈R，c表示角度集合中的分量數。

式中，tj、hj分別表示同一關系下ri的第j對頭尾實體對，a的取值范圍為(-π,π)。

2.2.2 獲取關系語義分量簇

關系語義分量簇是指同一關系下的多種語義分量的集合clusterangleri={sub1,sub2,…,subk}，其中k表示語義分量的數量。由于每一關系下的關系語義分量較為離散，數量眾多，使用聚類算法提取關系語義分量中的主要語義分量。對比多種聚類方法發現，傳統K-means 算法需要手動設置聚類簇，DBSCAN（density-based spatial clustering of applications with noise）聚類方法對樣本集密度不均勻，聚類間距差相差很大時，聚類質量較差[28]，基于密度的Mean-Shift[29]（均值漂移）聚類算法在高維向量空間中的聚類體現較好的效果，廣泛使用在圖像分割、聚類、文本分類等方面。因此，本文選擇Mean-Shift算法獲得語義分量簇。

為了減少無效特征的影響，本文在Mean-Shift 之前進行了PCA（principal component analysis）降維，并對聚類得到的關系語義簇進行平均化。本質上平均化的過程可以看作為關系引入全局信息，幫助模型更好地收斂。

sg表示一個半徑為g的高維球區域。

T 表示轉置,xi表示為sg(b)中的一個關系角度向量，m表示關系角度向量落在sg(b)區域中的數量，Mg(b)表示下一關系角度向量的位置。經過迭代，直到收斂。得到新的關系語義分量簇，k表示關系ri中的分量數。將同一語義簇的語義關系平均化即：

z表示rij同一簇中的關系向量數。dj是關系語義分量簇中的任意一個向量中的一個語義分量。對關系語義分量簇中的所有類經過式（5）計算后，即=(v1,v2,…,vk)，得到關系向量集合R=

2.2.3 關系補全

基于表示學習的補全模型首先在低維向量空間中對知識圖譜中的實體和關系進行表示，其形式包括向量、矩陣或張量形式。然后在每個知識條目上定義一個基于三元組的打分函數，用之前給定的知識圖譜表現形式判斷三元組或者事實成立的可能性,即訓練知識圖譜中的實體集E，關系集R與關系的閾值，以判斷當前三元組是否成立。

MSRE 方法中，以知識圖譜中的實體向量作為輸入，對每一種關系都用一個語義分量簇進行表示，即關系向量集合R，隨機構造不屬于三元組集的負例進行訓練。訓練后，對于一個待判斷的實體對，不同的關系以及不同關系的不同語義分量，根據式（6）獲得不同得分。分數越高表明該實體對越有可能滿足這一關系。

其中，k表示聚類后得到的分類數。

為使引入關系分量簇的過程不降低模型的準確性，本文定義關系的選擇策略為最符合實體對的關系向量,即得分函數最高的關系分量作為三元組中的關系分量。

結合Pytorch 中提供的計算圖機制能夠在擴大關系簇分量的基礎上不降低模型的準確度。負例三元組的生成策略和損失函數的定義與原RotatE 模型相一致，得到每個關系分量自適應的關系向量表示，采用Adam 優化器對模型進行訓練。并在模型效果相對穩定時設置學習率衰減策略即折半衰減以防止過擬合等問題的發生。具體算法描述如下：

算法1MSRE 算法

MSRE 算法的時間復雜度約為O(our models)=O(N2×O(RotatE))，其中N表示聚類數，相較于CTransR中的O(N3×O(TransR))有較低的時間復雜度。

2.3 理論分析

MSRE 方法在擴充語義表示的同時，也能保證模型處理復雜關系的能力，即不破壞原有的對稱、反對稱、逆、復雜等關系。證明如下：

（1）MSRE 能處理對稱關系、反對稱關系

3 實驗結果與分析

3.1 數據集

Wikipedia上的通用數據集FB15K[27]和WordNet[30]的英文字典數據集WN18[31]常用于驗證知識補全任務。由于FB15K 和WN18 中包含大量的逆關系，導致關系學習不平衡，弱化其他關系學習精度，采用僅保留每對互逆關系中一個關系的FB15K-237 和WN18RR數據集，其實體和關系分布情況如表1所示。

表1 數據集分布情況Table 1 Distribution of datasets

FB15K-237 的數據量遠大于WN18RR，但其實體數量大約為WN18RR 的1/3，關系數量大約為WN18RR 的21 倍。可以看出，FB15K-237 數據集擁有較為復雜的實體與關系，可能存在更多的多語義現象。

3.2 實驗設置

3.2.1 實驗方案

本文采用鏈路預測和三元組分類任務驗證提出的MSRE 算法。鏈路預測任務在已知關系、頭實體、尾實體的情況下，根據已有的實體按照可能性（得分函數的大小）進行排序。三元組分類任務可以看作判斷給定的三元組是否是正確的二分類問題，即引入閾值θ，將特定三元組得分與之相比判定是否有效，它被用來評價事實三元組的正確性。

在鏈路預測任務中設置兩組實驗：k值測試實驗（k-test）和鏈路預測性能實驗（link-prediction）。在三元組分類任務中設置三元組分類預測性能實驗（triple-classification-prediction），如表2 所示。

表2 實驗策略Table 2 Experiment strategy

MSRE 的主要思想是擴充關系的語義表達，但不同的關系簇數量的選擇對模型的準確率有較大的影響，因此分別設定不同語義簇分量k值，其中k=1 為RotatE 的基線模型，考慮顯存的限制，以{1,2,5}為間隔對比k∈(2,3,5,10)，并加入MSRE 進行鏈路預測任務，以驗證語義分量簇的有效性。固定k值后再與TransE、DisMult、ComplEx、RotatE 四種方法對比。

3.2.2 參數設置

各模型的參數設置如表3 所示，針對本文提出的MSRE 方法，經過參數調優后，在FB15K-237 中設置batchsize 為256，負例數量256，關系向量維數設置為1 000，gamma 設置為9，學習率為0.000 01，max_steps設置為160 000。在數據集WN18RR 中設置參數batchsize 為256，負例數量為1 024，關系向量維數為500，gamma 值為6，學習率設為0.000 05，max_steps設為160 000。

表3 各模型參數設置Table 3 Parameter setting of models

3.2.3 評價指標

鏈路預測任 務以MR、MRR、Hit@10、Hit@3、Hit@1 作為評價模型的指標，MR 表示平均排序，MRR 表示平均倒數排名，Hit@10 表示得分函數排序中前10 個命中三元組的百分比，Hit@3、Hit@1 分別表示命中前三個和第一個的百分比。三元組分類任務以TP（真陽性）、FP（假陽性）、Precision（準確率）作為實驗指標。

3.3 實驗結果

3.3.1 鏈路預測任務

鏈路預測任務中，k-test 實驗結果如表4 所示，當語義簇分量設置為1（k=1）時，即為原始的RotatE模型，其Hit@10 值為0.533 0。k取值為2、3、5、10 為MSRE 方法中不使用MS（Mean-Shift）聚類的情況。可以看出，當k=3 時，Hit@10 值提升到0.539 0，相較于k=1（RotatE）提升了約0.006，隨著語義分量數擴大，即k>3 后，Hit@10 值開始降低。MSRE 的Hit@10 值最高為0.540 0。根據表4 繪制Hit@10 結果圖，如圖3 所示。

表4 k-test實驗結果Table 4 k-test experimental results

圖3 k-test(k=1,2,3,5,10)對比實驗結果Fig.3 Experimental results of k-test(k=1,2,3,5,10)

Link-prediction實驗中，在FB15K-237和WN18RR數據集上應用MSRE 以及其他五種方法進行鏈路預測，實驗結果如表5 所示。五種基線模型中，RotatE性能較優（MR 值為177，Hit@10 值為0.533），而相較于RotatE，本文提出的MSRE 方法在FB15K-237 數據集上Hit@10 指標提升了0.007，Hit@3 提升了0.006，并且MR 值由177 變為160，有一定程度的提升。

表5 Link-prediction 實驗結果Table 5 Link-prediction experimental results

根據文獻[7]對于多對一、一對多、多對多關系的定義，本文對驗證集中的關系分別統計(h,r)和(r,t)的數量，并驗證三種關系類型的Hit@10 值，如表6 所示。其中H 表示預測頭實體任務，T 表示預測尾實體任務，A 表示求兩者的平均值。

表6 FB15K-237 上三種關系的Hit@10Table 6 Hit@10 for three relationships on FB15K-237

實驗結果顯示，本文中的方法能夠在多對一、多對多關系上有不錯的性能提升。

3.3.2 三元組分類任務

由于FB15K-237、WN18RR 中提供的測試集都是正確的，需指定三元組分類任務中的無效三元組生成策略。為減少對訓練過程無意義的負例三元組出現，將負例三元組定義為存在該關系的三元組實體的組合，其定義如下：

其中，θ的值依據Socher[8]中的方法，在最大化各關系的準確率前提下得到。如表7 所示，TP 表示實際為正例三元組且模型分類為正例的數量，FP 表示實際為負例三元組誤分為正例的數量，Acc 表示模型分類為正例的三元組中實際為正例的比例。

表7 三元組分類任務結果Table 7 Triple classification task results

通過實驗結果分析發現，本文方法在FB15K-237數據集上精度比RotatE稍有降低，在數據集WN18RR上模型精確率有所提高，對比RotatE 提高了1.63 個百分點，但DisMult表現更好。

MSRE 方法通過細分關系向量，利用語義分量簇擴充原有的關系表示，以提升知識補全模型的關系表示能力。但隨著關系語義分量的增多，易導致TP和FP 都同樣增加。在FB15K-237 數據集中模型效果相對原模型有些許降低，分析原因為模型約束條件過少，需要挖掘各語義關系之間的約束以提升模型的辯錯能力。從WN18RR 數據集中可以看出，MSRE方法相較于RotatE 有較大幅度的提升，但相對DisMult 模型效果較差，主要因為WN18RR 數據集中關系種類數較少，在關系種類數較少的情況下，DisMult模型中進行了關系向量與實體向量的矩陣運算，能夠學到關系和實體更為復雜的交互。盡管MSRE 方法利用多語義方法進行擴充，由于各關系語義分量之間是通過自適應的聚類算法獲得的，語義分量之間相互獨立，缺乏語義之間的關聯關系，導致辯錯能力有所下降。

3.4 實證分析

為驗證本文提出的MSRE 方法能夠挖掘關系的多語義信息，通過對FB15K-237 數據集上訓練后的實體和關系向量進行聚類，查看相同向量的不同語義分量是否具有語義相似性，即同一個關系向量下的各分量對應的三元組表達的語義是否相一致。如表8 所示，在名人關系中通過關系語義細分，分為兩個語義分量簇，觀察其中的三元組發現，兩個語義分量簇體現為歌手間朋友關系和演員間朋友關系；運輸方式關系的原有關系向量表示是單一的，通過關系語義細分，分為兩個語義分量，其中一個分量描述的是實體為省會城市，另一個分量描述的是實體為非省會城市。省會城市運輸工具種類較多，而非省會城市交通運輸設施相對欠缺，由此挖掘出隱藏的關系信息。這樣的語義信息在position 關系中同樣有所體現。通過實證分析發現，MSRE 方法在關系語義細分的有效性。

表8 語義分析Table 8 Semantic analysis

4 結束語

為解決關系多語義問題，本文從表示結構出發利用語義分量簇擴充原有的關系表示，修改原有的得分函數以自適應的方式挑選出最恰當的語義分量作為當前三元組的關系分量，其中語義分量簇的數量由模型自適應學習。本文提出的MSRE 方法在不破壞原有模型解決對稱關系、反對稱關系、逆關系、復雜關系的基礎上，保證了向量在幾何表示上一個關系對應一個向量的唯一性。鏈接預測、三元組分類等實驗證明，提出的方法不僅能夠自動獲取關系的多語義簇，為實體對選擇最合適的關系語義，且在解決一對多、多對一問題上提出了一個關于關系細分角度的方法。下一步工作將考慮加入實體的層次性，豐富實體表達，并嘗試并入多路徑關系，增強復雜關系表示能力。同時，在鏈路預測任務中引入節點的置信度，用以提高模型的準確度，從而解決更為復雜的關系補全問題，并將其應用于大規模的知識圖譜中。