噪聲知識圖譜表示學習：一種規則增強的方法

邵天陽，肖衛東，趙 翔

國防科技大學 信息系統工程重點實驗室，長沙 410073

近年來，人工智能在各個領域蓬勃發展，如問題回答[1]和推薦系統[2]等，它對人們的日常生活產生了廣泛的影響。在這些領域中，人們希望人工智能智能體能夠具有理解、推理和解決問題的能力。而知識圖譜（knowledge graph，KG）可以為這種能力的實現提供堅實的基礎。知識圖譜旨在描述現實世界中存在的各種事物（實體）以及它們之間的關系，它通常以三元組（頭實體，關系，尾實體）的形式存儲知識，記作(h,r,t)。

盡管知識圖譜在現實世界中被廣泛使用，但如Yago[3]、WordNet[4]和Freebase[5]等包含了數十億三元組的大規模知識圖譜仍然受到不完整問題的困擾。具體來說，在Freebase中，300萬人中有75%缺失國籍[6]。不完整問題會對某些知識圖譜應用場景產生負面影響。例如，對于問題回答系統而言，不完整的知識圖譜會導致錯誤答案。因此，知識構建和知識補全對于下游的應用場景是必要的。

對于知識構建，目前自動機制和眾包發揮著越來越大的作用，但缺點是會引入噪聲，一些研究工作已經發現了知識圖譜中存在的噪聲[7-8]。例如，在Benchmark 上開放的信息抽取模型在67%的召回率下只達到了24%的準確率[8]。對于知識補全，目前主流方法之一是知識表示學習[9-17]，即將實體和關系投射到一個連續的低維空間，以獲得其表示（特征）。然而這些方法大都假設知識圖譜中沒有噪聲，這顯然不符合事實。忽略知識圖譜中的噪聲得到的知識表示將包含不正確的信息，這會對下游的應用產生不利影響，因此考慮噪聲的存在是必要的。

最近，Xie等人[12]提出了一個名為CKRL（confidenceaware knowledge representation learning）的模型，該模型利用三元組置信度來進行噪聲檢測，同時構建知識表示。為了判斷一個三元組是否可信，其借鑒PTransE[13]模型并根據結構信息和關系路徑信息獲得一個置信度分數。然而，CKRL中的三元組置信度估計模塊忽略了輔助信息，這些輔助信息會使得獲得的知識表示更為全面。Xie 等人提到，在噪聲檢測的實驗中PTransE[13]的效果遠不如TransE[14]，實驗結果也證明了這一點。經過文獻[15]和研究分析發現，因為路徑表示完全是基于嵌入空間的數值計算來實現的，這導致了誤差傳播進而使得路徑嵌入的準確性受限，最后影響了整個表示的學習，而這個問題在噪聲知識圖譜上會變得更加嚴重。因此，盡管利用路徑信息來擴展三元組的結構信息是可行的，但噪聲三元組的存在使得通過關系路徑進行推理的誤差增大且缺乏可解釋性。

為了解決上述問題，本研究提出了一個邏輯規則和關系路徑信息相結合的知識表示學習框架RPKRL（logic rules and relation path information knowledge representation learning framework），以檢測知識圖譜中的噪聲并構造無噪的知識表示。該模型考慮引入邏輯規則來提高關系路徑推理的精度和可解釋性，同時利用三元組可信度對三元組質量進行判斷。圖1 顯示了RPKRL 模型框架的簡要說明，在進行知識抽取和自動知識構建之后，知識圖譜中包含噪聲且存在不完整的問題。該模型可以在檢測圖譜中存在的噪聲的同時生成無噪知識表示以進行知識補全。

具體來說，RPKRL可分為兩部分：三元組嵌入模塊和三元組可信度估計模塊。在三元組嵌入模塊中，引入邏輯規則來指導路徑的構成，從而提高其精確性和可解釋性，該模塊相比PTransE[13]而言構造了更為完善的知識表示。在三元組可信度估計模塊中，進一步利用關系路徑信息和邏輯規則信息得到三元組可信度從而對三元組可信度進行判斷。通過結合這兩部分，該模型能夠檢測到知識圖譜中可能存在的噪聲，并構建無噪的知識表示。在三個數據集上評估了模型，結果顯示與基線相比，該模型具有較好的有效性和穩健性。

這項工作的主要貢獻可總結如下：

（1）針對路徑推理在噪聲知識圖譜中存在的問題，提出了一個新穎的RPKRL框架，用于同時進行知識圖譜噪聲檢測和知識表示學習，該框架大幅度提高了使用路徑信息進行噪聲檢測和知識圖譜補全的效果。

（2）引入了邏輯規則，以便能夠在噪聲檢測中區分噪聲。由于路徑推理會導致誤差的傳播，而這個問題在有噪聲的知識圖譜上會更加嚴重。因此，試圖通過邏輯規則的準確性來解決這個問題。

（3）邏輯規則可以增強關系路徑的可解釋性。關系路徑推理得到的關系通常通過關系的表示之間的運算，例如相加和相乘等，缺乏可解釋性，邏輯規則具有的可解釋性很好地補足了這一缺陷。

1 相關工作

1.1 知識圖譜噪聲檢測

盡管近年來知識圖譜在許多領域得到了廣泛的應用，但噪音問題的存在對知識的獲取產生了負面的影響[16]。最近，一項名為“針對知識庫中的破壞性檢測”的任務引起了廣泛的關注，它的目的在于解決故意破壞知識圖譜的問題[17]。人們逐漸意識到噪聲檢測對于知識獲取和知識應用的重要性越來越高。大多數知識圖譜的噪聲檢測工作是在知識圖譜構建時完成的[7,18]。例如，YAGO2[19]是人們在人工監督下從維基百科中提取知識所形成的數據集，因此可以評估這些知識的正確性。Wikidata 也是通過眾包的人力管理軟件提取的數據集，軟件使用者可以審核數據以刪除錯誤的信息[20]。小型知識圖譜上或許可以進行人工噪音檢測，但在大規模的知識圖譜上，這將是耗時耗力的。

近年來，研究人員開始關注知識圖譜噪聲的自動檢測[21-22]。Dong 等人[23]利用知識圖譜的先驗知識構建了一個概率知識庫，并將其與網絡內容相結合，以共同判斷三元組的質量。然而，這種方法是為某個知識圖譜構建量身定做的，并不具備泛化能力。Li等人[24]使用神經網絡方法為不可見的三元組提供置信度分數以進行知識庫補全，但這種方法忽略了知識庫中的其他信息。Xie等人[12]介紹了進行噪聲檢測和構建知識表示的三元組置信度框架，它結合了三元組結構信息和關系路徑信息來判斷三元組質量。然而，這種方法忽略了其他有用的信息，而且利用路徑進行推理也存在可解釋性的問題。

相比之下，RPKRL 模型在三元組結構信息的基礎上引入邏輯規則信息來增強關系路徑的推理表達能力和模型的可解釋性，進而提高模型的噪聲檢測能力。

1.2 知識表示學習模型

近年來，知識表示學習受到越來越多的關注，許多研究人員在知識表示學習方面做了大量的工作[25-26]，主要可以分為三種類型：（1）基于平移的模型，這類模型源自詞嵌入的平移不變原理[27]，TransE[14]是最具代表性的基于平移的模型，它將實體和關系投影到同一空間，并將關系視為頭實體和尾實體之間的平移，后續基于TransE 模型，又衍生出了許多擴展模型。（2）張量分解模型，RESCAL[28]利用張量分解，將關系表示為矩陣，將實體表示為向量。在此基礎上，DisMult[29]將關系矩陣簡化為對角矩陣，ComplEx[30]引入了復數以擴展DisMult，以便更好地對非對稱關系進行建模。此時，實體和關系都在復數空間。（3）神經網絡模型，NTN（neural tensor network）[31]首先將實體的向量作為神經網絡的輸入，然后將這兩個實體由關系特有的關系張量（以及其他參數）組合，并映射到一個非線性隱藏層，最后一個特定于關系的線性輸出層給出了三元組的評分。此外，還有ConvE[32]和ConvKB[33]等神經網絡模型。在這三類模型中，基于平移的模型既簡單又有效，同時還能夠達到最好的性能。這類模型將實體和關系都投影到一個連續的低維向量空間中，并根據基于距離的評分函數進行建模，從而獲得知識表示。與其他方法相比，TransE能夠實現簡單性和有效性的平衡。然而，由于其結構簡單，在處理1-N、N-1 和N-N這樣的復雜關系時，它的效果并不理想。對于此，人們提出了許多改進的知識表示方法[34-35]。例如，DualE[36]在對偶四元數空間建模，Nayyeri 等人[15]引入了復平面上的莫比烏斯變換。

平移假設只集中在三元組上，這可能會忽略其他有效信息。PTransE[13]提出實體對之間的路徑嵌入可以通過多步驟的關系推理得到。AutoETER[37]提出將關系看作實體類型之間的轉換操作，進而學習實體的表示。此外，還有許多其他類型的信息可以利用，如視覺信息、屬性信息、邏輯規則等。

大多數傳統方法都假設知識圖譜中的所有三元組都是完全正確的，因此，它們無法檢測到知識圖譜中可能存在的噪聲。與它們不同，RPKRL 引入了三元組可信度的概念來區分含有噪聲的三元組和正例三元組。

2 方法

本章將詳細介紹模型RPKRL，由三元組嵌入模塊和三元組可信度估計模塊組成。首先給出文中使用的符號：給定一個正例三元組(h,r,t)，考慮頭部和尾部實體h，t∈E和r∈R，其中E和R是實體和關系的集合。T表示包含噪聲三元組的所有訓練三元組。下面詳細介紹整體模型結構及其組成部分結構。

2.1 背景知識

基于平移的模型有很多，其中，TransE[14]是最基礎的也是最具代表性的基于平移的模型之一。它將知識圖譜中的實體和關系投影到同一個低維連續向量空間中。具體而言，對于一個正例三元組(h,r,t),TransE[14]認為其實體向量和關系向量應滿足h+r≈t，因此，TransE[14]的模型框架如下：

其中，h、r和t分別代表頭實體、關系和尾實體的向量。若三元組(h,r,t)為正例三元組時，則分數E(h,r,t)較低，若三元組(h,r,t) 為負例三元組時，則分數E(h,r,t)較高。

2.2 模型框架

RPKRL模型可以在檢測知識圖譜中噪聲的同時構建無噪的知識表示。首先給出模型公式如下：

其中，RP(h,r,t)是三元組嵌入函數，而LTT(h,r,t)是三元組可信度函數。它們利用結構信息作為主體。此外，添加了關系路徑信息和邏輯規則信息。較低的RP(h,r,t)分數表示實體和關系在三元組更適合嵌入框架。與傳統的嵌入式模型不同，該模型考慮了知識圖譜中的噪聲，針對于此引入了三元組可信度衡量。一個更高的三元組可信度得分意味著三元組更可靠，即越有可能是正例。將在下面的兩部分介紹三元組嵌入模塊和三元組可信度估計模塊。

2.3 三元組嵌入模塊

傳統的路徑推理方法利用的路徑表示是由基于嵌入空間的數值計算得到，這會導致誤差的傳播，從而影響整個表示學習。此外，這些方法在路徑表示的獲取過程中缺乏可解釋性。受RPJE（rule and pathbased joint embedding）[38]模型的啟發，引入邏輯規則及其置信度μ∈[0,1]（Horn 規則），并將其與路徑相結合，以提高路徑推理的精度和可解釋性（任何知識圖譜規則提取算法或工具都可以自動挖掘Horn 規則）。

這些規則可以分為長度為1 和長度為2 的兩種類型，分別命名為R1 和R2。圖2 顯示了規則指導路徑中關系的合成進行推理的過程。規則R1通過規則主體和規則頭部將兩個關系聯系起來，規則R2 則可以用來指導路徑中關系的合成。對于規則R1 來說，當?x,y:r2(x,y) ?r1(x,y)成立時，關系R1 和關系R2在訓練過程中具有較高相似性。對于規則R2，必須使規則主體的組成部分形成順序路徑，從而可以組成關系路徑。因此，如表1 所示，共總結了8 種不同類型的規則轉換模式，然后對它們進行編碼以與路徑組合。在進行路徑中關系的合成時，嘗試用規則指導合成，直到不能合成為任何關系為止。特別的，將由規則指導關系的合成稱為R(p)，這也是路徑p的嵌入表示。利用規則R2 對路徑進行建模，其計算公式如下：

表1 規則R2的轉換模式列表Table 1 List of rules R2 conversion mode

圖2 規則指導路徑中的關系的合成示例Fig.2 Example of relations composition in rule-guided path

其中，R(p|h,t)是給定實體對(h,t)間關系路徑p的可靠度，該可靠度可以由路徑約束資源分配機制（pathconstraint resource allocation，PCRA）[13]計算得到，μ(p)={μ1,μ2,…,μn}是規則R2的置信度的集合。

對于邏輯規則的可解釋性，表2 展示了一些例子。表中前面部分為規則，后面部分為規則置信度。原本的關系路徑推理中，關系的合成通過關系向量間的計算，如加、減、乘和除得到，關系的推理則通過關系向量間的相似度計算等方法得到，由于是數值間的計算，可解釋性較差，而規則的引入則補足了這一點。由規則來指導路徑中關系的合成及關系推理，不僅增加了其正確性，也提高了其可解釋性。

表2 規則R1和R2的例子Table 2 Examples of rules R1 and R2

最后，設計了一種新的結合關系路徑信息和邏輯規則信息的三元組嵌入模型。模型公式如下：

其中，E1(h,r,t)=||h+r-t||是TransE 模型的評分函數。這里使用TransE 模型的評分函數作為主嵌入函數，使得可以將其替換為其他優化后的翻譯模型或者引入輔助信息的翻譯模型。

2.4 三元組可信度模塊

受CKRL[12]和DSKRL（dissimilarity-support-aware knowledge representation learning）[39]模型的啟發，在三元組可信度模塊中，對三元組的質量進行判斷，計算三元組質量的公式如下：

在訓練開始時，將所有三元組的局部三元組可信度LTT(h,r,t)初始化為1。在訓練過程中，數值會發生變化。形式上，局部三元組可信度LTT(h,r,t)隨其三重質量Q(h,r,t)變化如下：

其中，η是確保LTT(h,r,t) >0和LTT(h,r,t) <1的超參數。LTT(h,r,t) 的值將以線性速率減小，因為當Q(h,r,t) ≤0 時，這個三元組更可能包含噪聲，所以應該具有較低的三元組可信度。

此外，引入邏輯規則以加強對三元組質量的判斷效果。具體的，利用規則R1 找到關系r的相似關系rR，然后將三元組(h,r,t)替換為(h,rR,t)，進行質量計算：

其中，μ是規則R1的置信度。

通過進一步計算三元組(h,r,t)的質量后，三元組可信度LTT(h,r,t)也將隨之變化：

其中，α是確保LTT(h,r,t) >0 和LTT(h,r,t) <1 的超參數。

2.5 損失函數及優化

根據TransE[14]可以將RPKRL 的損失函數形式化為一組成對得分函數的和，該損失函數會使得正例三元組的得分低于負例三元組，損失函數公式如下：

其中，λ是超參數，T′表示負例三元組的集合，L1(h,r,t)、L2(p,r)是關于三元組(h,r,t)和路徑對(p,r)的損失函數：

其中，γ1和γ2是超參數。

在訓練過程中，由于知識圖譜中沒有顯式的負例三元組，將訓練三元組中的實體或關系進行隨機替換，且替換后得到的負例三元組不在訓練三元組集合中，負三元組采樣規則如下：

對于優化，使用小批量隨機梯度下降（stochastic gradient descent,SGD）來最小化損失函數。

2.6 復雜度分析

首先給出所使用的符號。NT是訓練三元組的數量，NP是關系路徑的數量，NL是關系路徑的長度，Nr是規則的數量，K是實體和關系向量的維度。參考PTransE[13]給出的復雜度分析，在每個迭代循環中，TransE 的復雜度為O(NTK)，PTransE 的復雜度為O(NTKNPNL)。RPKRL 模型使用了規則信息和關系路徑信息，復雜度為O(KNrNL)。

3 實驗

為驗證模型及其各部分的有效性，在公開數據集上進行了充分評測。

3.1 數據集

實驗驗證在FB15K 數據集上進行，FB15K 數據集是一個典型的基準知識圖譜，它是從現實世界中廣泛使用的大規模知識圖譜Freebase中提取出來的。在FB15K 數據集中，有14 951 個實體和1 345 個關系，以及對應的592 213 個三元組。其中訓練集含有483 142個三元組，驗證集含有50 000個三元組，測試集含有59 071 個三元組。大多數現實世界的知識圖都包含噪聲，但FB15K 中沒有明顯標記的噪聲，為此，使用了CKRL[14]的3個公開可用的數據集。3個數據集分別命名為FB15K-N1、FB15K-N2 和FB15KN3。它們之間的不同之處在于含有不同的噪聲率，分別為10%、20%和30%。

事實上，現實世界知識圖譜中的許多噪音都源于同類實體之間的誤解[14]。它表明，在現實世界的知識圖譜中，噪聲（姚明，出生地，加拿大）比（姚明，出生地，足球）更有可能發生。具體來說，給定知識圖譜中的一個正例三元組(h,r,t)，隨機地將相同類型的頭或尾實體與后者替換以形成負例三元組(h′,r,t)或(h,r,t′)。例如，正例三元組（姚明，出生地，中國）將被負例三元組（姚明，出生地，澳大利亞）或（姚明，出生地，英國）所替換。3 個含有噪聲的數據集與FB15K共享相同的實體、關系、驗證集和測試集。具體的數據如表3所示。

表3 噪聲數據集統計Table 3 Statistics of noise datasets

3.2 實驗設置

選 擇TransE[14]、PTransE[13]、TransH[33]、TransR[34]、CKRL[12]和RPJE[38]作為不同實驗比較的基線。使用小批量SGD 訓練RPKRL 模型。邊際γ1和γ2均被設置為1。將學習率δ設置為動態，并在開始時從{0.001,0.002,0.003,0.004} 中選擇，最后在{0.000 1,0.000 2}中選擇。對于三元組可信度，下降控制速率η和α分別設置在{0.80,0.85,0.90} 和{0.10,0.01}之間。該模型的最優配置是：δ以0.001 開始，以0.000 1 結尾，η=0.9，α=0.01，在驗證集上進行了優化。為了進行公平比較，所有模型中實體和關系嵌入的維度均設置為50。

3.3 知識圖譜噪聲檢測

為了驗證RPKRL模型在檢測知識圖譜中存在的噪聲的性能，進行了知識圖譜噪聲檢測任務。該任務旨在基于三元組得分來檢測知識圖譜中可能存在的噪聲。

3.3.1 評測準則

使用TransE 的能量函數作為RPKRL 模型和基線模型的評分函數，然后根據評分對訓練集中所有的三元組進行排序。如果一個三元組得分較高，那么它更有可能是一個噪聲三元組。根據排名計算并繪制準確率和召回率曲線，以顯示RPKRL 模型和基線模型的噪聲檢測能力。

3.3.2 實驗結果

圖3～圖5 分別展示了模型在3 個數據集上的噪聲檢測性能結果，從中可以觀察到：（1）本研究模型RPKRL 在不同噪聲率（10%、20%、40%）的所有3 個數據集上都獲得了最好的性能。這有力地證明了其檢測知識圖譜中的噪聲的能力。（2）單純的路徑推理PTransE在噪聲檢測任務上表現非常差，RPKRL模型針對于此做出了改進，通過引入邏輯規則信息來指導關系路徑中關系的合成，實驗證明改進是有效的且實驗效果提升較大。

圖3 FB15K-N1數據集上噪聲檢測結果Fig.3 Noise detection results on FB15K-N1 dataset

圖4 FB15K-N2數據集上噪聲檢測結果Fig.4 Noise detection results on FB15K-N2 dataset

圖5 FB15K-N3數據集上噪聲檢測結果Fig.5 Noise detection results on FB15K-N3 dataset

3.4 知識圖譜補全

知識圖譜補全注重于知識表示學習的質量，其目標是在h、r和t中缺失任意一個的情況下補全三元組。

3.4.1 評測準則

本文主要關注實體預測。遵循TransE[14]中相同的設置，進行了兩個典型的度量：（1）正確答案的平均排名；（2）Hits@10 表示正確答案排在前10 位的實體。此外，遵循TransE[14]中使用的不同的評估設置“Raw”和“Filter”。

3.4.2 實驗結果

表4和表5展示了模型在3個數據集上的實體預測結果，可以發現：在所有3個噪聲數據集上，RPKRL模型在所有評估指標上都優于所有的基線模型，尤其是平均排名（Mean Rank）的提升幅度很大。與CKRL（LT+PP+AP）相比，RPKRL 平均提高55。這證實了RPKRL 模型所獲得的知識表示的質量，因為它不僅可以檢測知識圖中的噪聲，在知識圖譜補全方面也具有更好的性能。

表4 實體Mean Rank預測結果Table 4 Results of entity prediction on Mean Rank

表5 實體Hits@10預測結果Table 5 Results of entity prediction on Hits@10 單位：%

3.5 消融實驗

為了衡量模型各個組件的影響，比較了當模型處于不同子模塊設置時兩個任務的性能。RPKRL（RP）表示只考慮三元組嵌入而不考慮三元組可信度的策略。RPKRL（E1）表示在三元組嵌入模塊中只利用三元組本身結構信息的策略。評測準則的執行方式與以前相同。

3.5.1 知識圖譜噪聲檢測結果

圖6～圖8 分別展示了模型在3 個數據集上的噪聲檢測性能結果，從中可以觀察到：（1）RPKRL 在3個數據集上都取得了不錯的結果，這證實了模型中各個子模塊的有效性。（2）RPKRL 與RPKRL（E1）的效果差異隨著數據集噪聲率的增加，先增加后減少，這意味著模型需要隨著噪聲率的變化而進行調整。（3）RPKRL和RPKRL（E1）比RPKRL（RP）具有更好的性能，這在實際的噪聲檢測系統中更為重要，這意味著雖然僅僅靠三元組嵌入模塊已經可以進行噪聲檢測，但三元組可信度模型的引入將大大提升這一效果。

圖6 消融實驗：FB15K-N1數據集上噪聲檢測結果Fig.6 Ablation study:noise detection results on FB15K-N1 dataset

圖7 消融實驗：FB15K-N2數據集上噪聲檢測結果Fig.7 Ablation study:noise detection results on FB15K-N2 dataset

圖8 消融實驗：FB15K-N3數據集上噪聲檢測結果Fig.8 Ablation study:noise detection results on FB15K-N3 dataset

3.5.2 知識圖譜補全結果

表6和表7展示了模型在3個數據集上的實體預測結果，從中可以觀察到：（1）在所有3 個數據集上，RPKRL 都獲得了最佳的Hits@10，這意味著模型的每個子模塊都是有效的。（2）從表中看出，三元組可信度模塊的加入對于模型效果的提升是巨大的，這說明在進行補全預測時，多重判斷的設置極大地提升了路徑推理的準確性。

表6 消融實驗-Mean RankTable 6 Ablation study-Mean Rank

表7 消融實驗-Hits@10Table 7 Ablation study-Hits@10 單位：%

3.6 案例分析

本節給出一個具體的案例以顯示RPKRL模型在噪聲檢測方面的優越性。遵循3.3.1 小節評測準則，在10%噪聲率的數據集（噪聲三元組共46 408 個，正例三元組共483 142 個，共529 550 個三元組）中選取一個噪聲三元組（The Motorcycle Diaries(film),/film/film/release_date_s./film/film_regional_release_date/film_release_region，Italy）。其中，The Motorcycle Diaries（film）是一部電影的名字，Italy 為一個國家的名字，該電影是在美國上映的，而不是意大利，因此這是一個噪聲三元組。

采用TransE 的能量函數E(h,r,t)=|h+r-t|對該三元組進行判斷，RPKRL 模型得分為5.738 02，在噪聲檢測排名中為38 607 名；PTransE 模型得分為4.993 4，在噪聲檢測中排名為249 547；CKRL 模型得分為4.514 21，在噪聲檢測中排名為327 618。可以看出3 個模型中只有RPKRL 將其判斷為噪聲三元組，而后兩個模型將其判斷為正例三元組，且排名較為靠后，即后兩個模型認為該三元組是正例三元組的可能性很大。

4 結束語

本文提出了一種新的RPKRL 模型，旨在檢測知識圖譜中的噪聲，同時學習無噪聲的知識表示。該模型利用三元組的結構信息和輔助信息（關系路徑信息和邏輯規則信息）來估計三元組的可信度得分。針對知識圖譜中的知識補全任務和噪聲檢測任務，對模型進行了評估實驗。在三個公開數據集上的實驗結果表明，RPKRL 能夠很好地利用結構信息和輔助信息來度量三元組可信度，這對噪聲檢測和表示學習具有重要意義。三元組可信度的利用對于真實世界中知識的構建和噪聲檢測也是有用的。

未來將探索以下研究方向：（1）增加更多的外部支持信息，以獲得更好的實體和關系的嵌入，這對知識驅動的任務有積極的影響；（2）將可信度應用于知識構建中的噪聲檢測，以從根源降低噪聲。