基于鄰域聚合與CNN 的知識圖譜實體類型補全

鄒長龍，安敬民，李冠宇

（大連海事大學 信息科學技術學院，遼寧 大連 116026）

0 概述

知識圖譜通常以RDF 三元組的形式陳述一條事實［1］，表示為(e1，r，e2)，其 中e1和e2為知識圖譜的實體，r為e1和e2之間的關系，例如，（Jackie Chan，Isborn，Hong Kong）。在知識圖譜中除三元組之外，還有大量的實體類型實例（實體-實體類型元組）［2］，記為(e，t)。例如，（Jackie Chan，Actor）表示實體“Jackie Chan”的類型為“Actor”。知識圖譜中的實體類型信息可以用于各種下游任務，例如實體對齊［3］、實體鏈接［4］、知識圖譜補全［5-6］等。實體類型信息的缺失會影響這些算法的有效性與準確性，但知識圖譜在實體類型信息方面經常存在信息不完整問題。

知識圖譜實體類型信息不完整的問題可以通過實體類型補全（推斷實體e的類型t）來解決。知識圖譜實體類型補全是知識圖譜補全的子問題。早期的知識圖譜實體類型補全模型主要以概率分布為基礎［7］。表示學習現已成為知識圖譜相關研究的基礎。對于知識圖譜，表示學習［8］是通過機器學習等方法學習知識圖譜中對象的低維嵌入向量表示，學習到的嵌入向量不僅可以保留知識圖譜中對象蘊含的語義信息，而且用于各種基于知識圖譜的下游任務，例如知識圖譜補全［6］、推薦系統［9-10］。因此，表示學習技術通常被用于知識圖譜實體類型補全。

大多數基于表示學習的實體類型補全模型傾向于對實體-實體類型元組(e，t)進行建模和實體類型補全，而沒有有效地利用關系。例如RESCAL-ET［10］、HOLE-ET［10］、TransE-ET［10］、ETE［10］等模型使用異步的方式學習實體、關系和實體類型，并進行嵌入表示。雖然這些模型學習了關系的嵌入表示，但是關系嵌入中包含的信息在進行實體類型補全時并沒有被使用。ConnectE［11］模型使用三元組、實體-實體類型元組和實體類型三元組進行訓練和實體類型補全。盡管ConnectE 通過實體類型三元組利用了關系，但實體類型三元組造成了測試集數據的泄露。這些模型的建模方法無法有效地利用知識圖譜三元組，特別是實體之間關系包含的信息。然而，三元組中關系的信息有助于推斷一個實體的所屬類型。例如：對于三元組（Chicago，Islocation，Illinois）和（Chicago，Iswriter，Rob Marshall），關 系“Islocation”和“Iswriter”的信息有助于推斷出實體“Chicago”的類型可能包括“City”和“Film”。同時，這些模型屬于距離模型（使用向量的L1 或L2 范數衡量實體和實體類型的相似性）生成特征的數量有限，導致模型表達能力不足。卷積神經網絡（Convolutional Neural Network，CNN）用于學習嵌入的深層表達特征，在不增加嵌入維度的基礎上增強模型的表達能力［12］。

本文提出一種基于鄰域聚合與CNN 的知識圖譜實體類型補全模型NACE2T，使用編碼器-解碼器的結構。編碼器利用注意力機制為實體鄰域中的每個關系-實體對分配權重，以聚合實體鄰域中的實體和關系包含的信息，達到利用知識圖譜三元組或實體之間關系的目的。此外，考慮到現有實體類型補全模型的表達能力有限，基于CNN 提出一個知識圖譜實體類型補全模型CE2T 作為解碼器，衡量編碼器輸出的實體嵌入和實體類型嵌入之間的相似性。

1 相關工作

文獻［13］利用領域知識和知識圖譜外部的文本數據進行知識圖譜實體類型補全，并提出一個基于張量分解的模型。文獻［14］利用文本數據進行實體類型補全，并提出一種基于神經網絡的實體類型補全模型。本文主要使用知識圖譜的內部數據（三元組和實體類型實例）進行實體類型補全。

對于知識圖譜，表示學習技術［1，15］主要集中在學習實體和關系的嵌入向量表示［16-18］，對編碼實體-實體類型元組和三元組學習實體、關系和實體類型嵌入表示的較少。因此，本文主要介紹對三元組和實體-實體類型元組(e，t)進行建模的實體類型補全模型。

文獻［10］提出的實體類型補全方法采用異步的方式學習實體、關系和實體類型的嵌入向量。首先，使用知識圖譜補全方法，如TransE［15］、RESCAL［16］、HOLE［17］和ContE［18］學習實體 的嵌入向 量e，目 的是讓實體在向量空間中根據它們的類型進行聚類，在實體的周圍嵌入類型；其次，在訓練時保持實體的嵌入向量e不變，通過最小化實體嵌入向量e與實體類型嵌入向量t之間的距離來更新實體類型的嵌入向量t，稱 為TransE-ET、RESCAL-ET、HOLE-ET 和ETE。它們的評分函數?(e，t)=||e-t||L1，其中||x||L1表示向量的L1 范數。雖然這些方法在訓練過程中利用實體之間的關系，但是在進行實體類型補全時未利用關系蘊含的信息。

文獻［11］構建的最新實體類型補全模型是ConnectE，提出實體嵌入和實體類型嵌入應處于不同的向量空間。同時，ConnectE 為利用實體之間的關系，根據知識圖譜三元組引進實體類型三元組。然而，實體類型三元組的創建方式沒有考慮到實體與不同的關系組合會表現出不同的語義［19］。此外，實體類型三元組導致測試集數據出現了泄露。ConnectE 的評分函數?(e，t)=||M·e-t||L2，其 中||x||L2表示向量的L2 范 數。ConnectE 同樣采用異步的方式進行訓練，其訓練過程分為三個階段：1）使用TransE［15］訓練實體嵌入和關系嵌入；2）訓練實體類型嵌入和將實體嵌入從實體空間投影到實體類型空間的投影矩陣M；3）使用TransE 訓練實體類型三元組，并且只改變關系的嵌入，實體類型嵌入保持不變。

雖然上述模型在嘗試進行知識圖譜實體類型補全時利用關系，但是它們利用關系的方式都是采用異步的方式去學習實體、關系和實體類型的嵌入表示，導致時間開銷增大。本文提出的NACE2T 模型采用同步的訓練方式，即同時學習實體、關系和實體類型的嵌入表示。

2 NACE2T 模型

NACE2T 模型采用編碼器-解碼器的結構。編碼器為基于注意力機制的鄰域聚合器，用于利用知識圖譜中實體之間的關系。解碼器為基于CNN 設計的知識圖譜實體類型補全模型CE2T。NACE2T模型架構如圖1 所示。

圖1 NACE2T 模型架構Fig.1 Framework of NACE2T model

2.1 編碼器

對于一個三元組(ei，rk，ej)，其嵌入向量分別為ei∈Rd，ej∈Rd和rk∈Rd。當使用聚合器聚合實體ei鄰域中的信息時，生成ei新的嵌入表示為：

其中：Agg 表示聚合器；N(ei)表示實體ei的一跳鄰域；W1∈Rd×d1和W2∈Rd×d1表示線性變換矩陣；σ(·)表示非線性激活函數。

在知識圖譜中的實體之間通常存在一條含有豐富語義信息的關系，然而，式（1）在聚合過程中忽略關系，因此并不適用于知識圖譜。為了在進行實體類型補全時利用實體之間的關系，本文的編碼器需要在聚合實體鄰域信息的過程中聚合關系的信息，因此，在聚合信息的過程中利用消息傳播機制［20］對實體和關系的嵌入進行組合運算，形式為Rd×Rd→Rd。在此情況下，ei新的嵌入表示為：

其中：Riu表示鏈接實體ei與N(ei)中包含的實體關系集合；φ(·，·)表示組合運算；φ(u，r)表示實體u通過關系r到實體ei的消息。

聚合器Agg 的選擇有很多種，最常用的是圖卷積網絡（Graph Convolutional Network，GCN）［21］聚合器。但是GCN 在聚合信息的過程中會平等對待實體之間的邊或關系，即無差別地聚合實體鄰域中的信息［22］，而實體鄰域中的某些信息可能對推斷實體所屬的類型沒有作用。該問題可以通過注意力機制來解決。同時，GCN 屬于直推式的圖神經網絡，無法使用mini batch 的思想來訓練。為了使用mini batch 的思想來訓練模型，本文的編碼器在實體的一跳鄰域中利用抽樣方法隨機選取固定數量的關系-實體對來聚合信息。

一般的注意力計算方法都是對知識圖譜中的實體和實體計算注意力［23］，但是這種計算方法同樣會忽略實體之間的關系。為了在計算注意力時利用關系的信息，本文的編碼器對實體和關系-實體對計算注意力，或對實體和消息φ(u，r)計算注意力。

給定一個三元組(ei，rk，ej)，實 體ei和關系-實體對(rk，ej)之間的注意力計算如式（3）所示：

其中：o∈Rd表示一個參數向量；?表示按元素乘。由于在實體ei的一跳鄰域中可能有多個關系-實體對，因此使用Softmax 計算式（3）得到的aijk進行歸一化，如式（4）所示：

其中：Rin表示鏈接實體ei與N(ei)中包含實體的關系集合。隨后，對實體ei鄰域中的關系-實體對的嵌入向量進行加權，計算聚合之后的信息，如式（5）所示：

與式（1）的形式類似，通過對實體ei的嵌入向量ei與s進行整合，以構建實體ei的最終嵌入表示，如式（6）所示：

注意力的計算過程與聚合信息的過程如圖1所示，圖中使用實體與關系-實體對之間的注意力聚合實體ei一跳鄰域中的實體ej和關系rk的信息，其中，αijk表示注意力，φ表示向量的組合運算。同時，編碼器可能需要聚合實體ei鄰域中的多跳信息。因此，使用投影操作對關系的嵌入向量進行線性變換，如式（7）所示：

其中：Wr∈Rd×d1為線性變換投影矩陣。投影之后的關系嵌入向量維度與式（6）中的hi相同。當需要聚合實體鄰域中的多跳信息時，只需重復執行式（3）～式（7）。

2.2 解碼器

受CNN 在知識圖譜補全上應用［11-12］的啟發［24-25］，本文使用CNN 對實體-實體類型元組(e，t)進行建模，構建知識圖譜實體類型補全模型CE2T 作為解碼器。該解碼器由卷積層、池化層、投影層和內積層組成。CE2T 的評分函數定義為：

其中：e∈Rd1表示編碼器輸出的實體最終嵌入向量（式（6）中的hi），d1 表示編碼器輸出的最終實體嵌入向量的維度；t∈R?表示實體類型的嵌入向量，?表示實體類型嵌入向量的維度；Ω表示卷積核的集合；W表示投影矩陣；*表示卷積運算；pool(·)表示池化操作；vec(·)表示拼接成向量。

CE2T 模型的架構如圖2 所示。從圖2 可以看出：在前向傳播過程中，e作為卷積層的輸入。假設卷積核Ω∈R|Ω|×1×f，步長為cs，其中|Ω|為卷積核的個數，1×f為卷積核的大小。則卷積層的輸出F=σ(e*Ω)∈R|Ω|×a×b，其中a=1，b=(d1-f)/cs+1。卷積層的輸出F作為池化層的輸入。設池化的窗口大小為1×p，步長為ps。則池化層的輸出P=pool(F)∈R|Ω|×m×n，其中m=1，n=(b-p)/ps+1。之后，將P重新拼接成向量vec(P)∈R|Ω|·m·n作為投影層的輸入。

圖2 CE2T 模型架構Fig.2 Framework of the CE2T model

由于實體和實體類型是知識圖譜中不同層次的對象［6］，因此在解碼器CE2T中存在兩個不同的向量空間，分別記為實體空間和實體類型空間。投影層的作用是將卷積層和池化層提取的實體嵌入向量特征投影到實體類型空間。CE2T 模型與ConnectE［11］模型都采用了類似的投影策略，但ConnectE 模型投影的是實體的嵌入向量e，而CE2T 模型投影的是實體的特征向量（共|Ω|個，具體數量等于卷積核的個數）。投影層的權重W∈R|Ω|·m·n×?。在實體類型空間中的實體投影向量=σ(vec(P)·W)∈R?。最后，實體的投影向量通過內積與實體類型的嵌入向量t計算得到相似性評分。式（1）中的Ω和W是共享參數，獨立于e和t。

2.3 NACE2T 模型的訓練

為了快速訓練NACE2T 模型，本文使用文獻［12］提出的1-N評分，即對一個實體的投影向量和所有實體類型的嵌入向量t進行評分，如圖2 中的內積層，其中T表示所有實體類型的嵌入向量組成的矩陣。同時，使用Sigmoid 函數將?(e，t)歸一化到0～1 之間，即p=Sigmoid(?(e，t))，并通過最小化二元交叉熵損失函數訓練NACE2T 模型的參數。NACE2T 的損失函數定義如下：

其中：y∈R|T|表示二進制的標簽向量；T表示所有實體類型的集合；|T|表示實體類型的個數。如果(e，t)為真，則y的相應位置為1，否則為0。優化器選擇Adam。

2.4 問題定義與實現

知識圖譜實體類型補全的目標是推斷給定實體e的類型t。對于在測試集中的每個實體e，NACE2T推斷的實體類型為：

NACE2T 模型推斷實體所屬類型的過程如下：首先，對于任意實體e，通過式（8）計算后得到|T|個評分，例如數據集FB15KET 含有3 854 個實體類型，則對于FB15K 中的任意實體，根據式（8）計算后得到3 854 個評分；然后，通過式（10）對這|T|個評分進行排序，排序之后的最大值對應的實體類型為NACE2T 模型推斷的實體類型。此外，對于NACE2T 模型，實體和實體類型之間的相似性評分是一個相對的指標。NACE2T 模型使得正確實體類型和實體之間的相似性評分盡可能高，而錯誤實體類型和實體之間的相似性評分盡可能低。

3 實驗

本文實驗代碼使用Python 實現，首先，使用CE2T 與NACE2T 進行知識圖譜實體類型補全實驗，其次，對NACE2T 模型中向量的組合方式、關系-實體對的個數和卷積核的個數進行分析。

3.1 數據集

在知識圖譜補全中經常使用的兩個數據集是FB15K［15］和YAGO43K［10］，分別是Freebase 和YAGO的子集。實體類型補全使用的實體-實體類型元組數據集（形式為實體、實體類型）稱為FB15KET［10］和YAGO43KET［10］，分別將實體類型映射到FB15K 和YAGO43K 中的實體。FB15K 和FB15KET 與YAGO43K 和YAGO43KET 的統計數據如表1 所示。編碼器使用三元組數據集FB15K 和YAGO43K 來利用關系信息。CE2T 使用實體-實體類型元組數據集FB15KET 和YAGO43KET 學習實體類型的嵌入表示并進行實體類型補全。

表1 數據集的統計數據Table 1 Statistics data of datasets

3.2 實驗設置

3.2.1 評價標準

本文采用知識圖譜補全任務中基于排名的標準對NACE2T 模型進行評估［15］。首先，對于每個測試的實體-實體類型元組(e，t)，移除類型；然后，根據式（10）進行評分并排序；最后，根據正確實體類型獲得確切排名。本文采用兩個指標進行評估：平均倒數等級［15］（MRR）和預測排名前k的正確實體類型比例［15］（HITS@k）。MRR 與HITS@k的計算如式（11）和式（12）所示：

其中：|NET|表示測試集中實體-實體類型元組的數量；ranki表示第i個實體-實體類型元組的正確實體類型的位置；|Nk|（k取1、3、10）表示排名前k的正確實體類型個數。MRR 和HITS@k的值越大表示模型具有更優的性能。

3.2.2 參數設置

本文使用網格搜索確定模型的最佳參數。在實體鄰域中關系-實體對的個數在［1，100］之間調整，實體和關系的嵌入維度在［50，200］之間調整，實體類型的嵌入維度在［100，300］之間調整，編碼器輸出的嵌入向量維度在［200，600］之間調整，批訓練大小batch 在｛128，256，512｝中調整，學習率在［0.000 05，0.001］之間調整，CE2T 中卷積核的個數在｛10，32，64，128｝中調整，卷積核的大小在｛1×2，1×4，1×8｝中調整，卷積步長在［2，8］之間調整。池化選擇最大池化，窗口大小為1×2，步長為2。

3.3 實體類型補全結果分析

基線模型選擇RESCAL-ET［10］、HOLE-ET［10］、TransE-ET［10］、ConvKB［24］、CapsE［26］、ETE［10］和ConnectE［11］。不同模型的評價指標對比如表2 所示，加粗表示最優數據。

表2 不同模型的評價指標對比Table 2 Evaluation indicators comparison among different models

從表2 可以看出，與最先進的ETE 模型和ConnectE 模型相比，本文所提的NACE2T 模型具有較優的結果。在不使用編碼器的情況下，CE2T 模型也取得較優的效果，說明模型表達能力的提升可以提高實體類型補全的性能。相比RESCAL-ET、HOLE-ET、TransE-ET、ConvKB 和CapsE，NACE2T模型在實體類型補全性能上得到顯著提升。

在FB15KET 數據集上，CE2T 模型在所有評價指標上相較于ETE 模型提高了約7%，與ConnectE 模型的各項指標基本持平。NACE2T 模型相比ConnectE 模型的各項指標提高約1.5%。

在YAGO43KET 數據集上，CE2T 模型相較于ETE模型和ConnectE 模型在MRR、HITS@1 和HITS@3 上分別提升約4%、6.5%和4.5%。同時，NACE2T 模型相比CE2T 模型在各項指標上提升約2%，說明實體鄰域中實體和關系的信息有助于推斷實體所屬的實體類型。

此 外，RESCAL-ET、HOLE-ET 和TransE-ET 實體類型補全實驗的效果不佳，其原因是這些模型選用的知識圖譜補全方法使實體按類型聚類的效果一般。本文選擇FB15KET 中4 個實體類型且這4 個實體類型分別包含不同的實體。圖3 所示為使用RESCAL［16］、HOLE［17］和TransE［15］訓練的實體嵌入向量經過t-SNE 降維后的散點圖。

圖3 RESCAL、HOLE 和TransE 訓練的實體嵌入向量可視化效果Fig.3 Visualization effect of entity embedding vectors trained by RESCAL，HOLE and TransE

從圖3 可以看出：4 個實體類型分別包含不同的實體，但都存在重疊的問題，說明聚類效果較差，特別是RESCAL。RESCAL-ET、HOLE-ET 和TransEET 在訓練過程中不改變實體嵌入向量e，僅改變實體類型的嵌入向量t，使模型的性能極度依賴于RESCAL、HOLE 和 TransE 的聚類效果。而RESCAL、HOLE 和TransE 的聚類效果較差，間接導致RESCAL-ET、HOLE-ET 和TransE-ET 實體類型補全效果降低。ConnectE 同樣選擇使用TransE 對實體嵌入向量進行訓練，但是ConnectE 模型的實體類型補全性能相對于TransE-ET 模型有較大的提升。其主要原因是ConnectE 模型中包含一個可學習的投影矩陣M，雖然ConnectE 與TransE-ET 的訓練方式大致相同，但是可學習投影矩陣M的存在使ConnectE的學習性能優于TransE-ET。

在知識圖譜中一個實體通常會有多個實體類型，記為1-N，例如實體“Jackie Chan”的類型可以是“Actor”，也可以是“Person”。NACE2T 通過編碼器利用了實體鄰域中的信息，特別是關系的信息，因此，能夠有效地對1-N的情況進行建模。

為檢驗NACE2T 對1-N情況（由于本文的目標是推斷實體e的類型t，因此僅存在1-1 與1-N，不存在N-1和N-N等）進行建模的效果，本文首先將FB15KET 和YAGO43KET 的測試集劃分為1-1 和1-N兩部分，然后在這兩部分測試集上分別使用ETE、ConnectE、CE2T和NACE2T 進行實體類型補全實驗，實驗結果如表3和表4 所示。

表3 不同模型在1-1 實體類型補全實驗上的評價指標對比Table 3 Evaluation indicators comparison among different models on 1-1 entity type completion experiment

表4 不同模型在1-N 實體類型補全實驗上的評價指標對比Table 4 Evaluation indicators comparison among different models on 1-N entity type completion experiment

從表3 和表4 可以看出：NACE2T 在1-1 和1-N上的評價指標均優于ETE、ConnectE 和CE2T。其原因為NACE2T合理地利用了實體鄰域中實體和關系的信息，而這些信息有助于NACE2T 捕獲實體在對應不同類型時的差異，能夠更有效地對1-N情況進行建模。

3.4 向量組合方式對NACE2T 性能的影響

向量的組合方式φ(·，·)主要有：1）void：φ(u，v)=u；2）sub：φ(u，v)=u-v；3）corr：φ(u，v)=u★v。其中：★表示循環相關運算［17］；void 表示聚合信息的過程中不聚合關系的信息。該實驗在FB15K 與FB15KET 上進行，結果如表5 所示。

表5 NACE2T 利用不同向量組合方式的評價指標對比Table 5 Evaluation indicators comparison of NACE2T using different vector combinations

從表5 可以看出：NACE2T（corr）和NACE2T（sub）的評價指標優于NACE2T（void），說明關系嵌入向量中包含的信息有助于推斷實體的所屬類型。同時，當φ(u，v)=u-v時，NACE2T 模型具有較優的效 果。除φ(u，v)=u以 外，對于不同的φ(u，v)，NACE2T 模型在實體類型補全上的表現相差不明顯。

3.5 關系-實體對個數對NACE2T 性能的影響

在實體鄰域中關系-實體對的個數在［1，100］中調整，本文實驗在FB15KET 和YAGO43KET 數據集上進行。關系-實體對個數對NACE2T 模型評價指標的影響如圖4 所示。NACE2T 模型在FB15KET 數據集上的MRR 對應于圖4 的左側坐標，在YAGO43KET數據集上的MRR 對應于圖4 的右側坐標。

圖4 關系-實體對個數對NACE2T 模型評價指標的影響Fig.4 Influence of number of relationship-entity pairs on evaluation indexes of NACE2T model

從圖4 可以看出：當關系-實體對的個數為1 時，NACE2T 在一定程度上會退化為CE2T 模型，此時NACE2T 的性能與CE2T 相似。隨著關系-實體對個數的增加，NACE2T 的性能不斷提高。在FB15KET數據集上，當關系-實體對個數為20 時，NACE2T 具有較優的評價指標。當關系-實體對個數大于60 時，NACE2T 的性能呈明顯的下降趨勢，這是因為在進行實體類型補全時，實體鄰域中的某些關系-實體對的信息會成為噪聲，使NACE2T 不能充分地捕獲實體在對應不同類型時的差異，導致性能降低。同時，側面反映出不是所有關系-實體對都對推斷一個實體的所屬類型有幫助。對于YAGO43KET 數據集，同樣存在這種下降的趨勢。

3.6 卷積核個數對NACE2T 性能的影響

為驗證卷積核個數對NACE2T 模型性能的影響，本文在實驗中僅改變卷積核的個數，其他參數保持不變。卷積核的個數在［1，80］中調整。在不失一般性的情況下，在FB15KET 數據集上卷積核個數對NACE2T 模型評價指標的影響如圖5 所示。

圖5 卷積核個數對NACE2T 模型評價指標的影響Fig.5 Influence of the number of convolution kernels on evaluation indexes of NACE2T model

從圖5 可以看出：NACE2T 的性能隨著卷積核個數的增加而增加。當卷積核的個數大于40 時，模型性能趨于平穩。當卷積核的個數為64 時，模型具有較優的性能。因此，NACE2T 模型的性能不會隨著卷積核的改變出現較大的波動。

4 結束語

本文提出基于鄰域聚合與CNN 的知識圖譜實體類型補全模型。基于注意力機制設計用于利用關系信息的編碼器，通過對實體與其鄰域中的關系-實體對計算注意力，并將其用于聚合實體鄰域中實體和關系的信息。同時，針對現有知識圖譜實體類型補全模型表達能力不足，本文基于CNN 設計知識圖譜實體類型補全模型CE2T 作為解碼器，對編碼器輸出的實體最終嵌入向量和實體類型的嵌入向量進行建模。實驗結果表明，與RESCAL、HOLE、TransE 等模型相比，本文所提的NACE2T 模型在MRR、HITS@1、HITS@3、HITS@10 評價指標上得到顯著提升。后續將解糾纏表示學習應用于NACE2T 模型，并進行實體類型補全，以提高模型的表達能力和模型實體類型補全的準確率。