知識圖譜推理：現代的方法與應用

王文廣

達而觀信息科技（上海）有限公司，上海 201203

1 引言

近年來，知識圖譜技術得到極大的發展，大量的知識圖譜被構建出來，并被廣泛應用在各種場景下。從語義解析、實體消歧、信息抽取、智能問答、推薦系統、個性化搜索等技術方向到金融、軍工、制造業、生物醫藥等行業，都可以看到知識圖譜的應用，同時知識圖譜的應用也在促進知識圖譜技術的發展。

知識圖譜是事實或知識的結構化表示，是由實體和實體間的關系組成的網狀結構。實體是指獨立的、擁有清晰特征的、能夠區別于其他事物的事物。在知識圖譜中，用來描述這些事物的信息即實體。實體在屬性圖中用頂點來表示，實體關聯的類型即實體類型，在屬性圖中用頂點標簽來表示。關系表達了兩個實體之間的某種語義關系，通常以語義標簽來表示，在屬性圖中表示為有向的邊。也就是說，知識圖譜G由一系列的三元組組成，其中h和t分別表示頭實體和尾實體，r表示由h到t的有向關系。

推理是一種人類邏輯思維，讓機器能夠像人類一樣擁有推理能力一直是人工智能發展的目標。符號推理和專家系統是早期的嘗試，在知識圖譜被提出和發展起來之后，基于知識圖譜的推理技術[1-2]也隨之發展，并成為人工智能中非常熱門的領域之一，也被認為是人工智能邁向具備和人類一樣的推理和決策能力的關鍵技術。

在知識圖譜推理中，知識圖譜本身提供了人類知識和經驗的總結，推理技術則實現了基于知識圖譜中已有的知識來發現潛在的、未知的知識，極大地擴展了諸如知識問答、個性化搜索和智能推薦等能力。同時，在行業應用中，將領域知識圖譜和推理技術結合，從而實現輔助分析和決策支持。

本文給出了知識推理的定義，并介紹了知識圖譜推理技術；然后分別介紹了現代的基于幾何運算和基于深度學習的知識圖譜推理技術，并分別從技術領域和行業領域兩個角度介紹了知識圖譜推理技術的應用；最后給出了知識圖譜推理存在的挑戰以及值得關注的研究方向。

2 知識圖譜推理

知識圖譜推理旨在從已有的知識中發現新的知識。對于知識圖譜來說，新的知識可以分為兩種：新的實體和新的關系。新的實體涉及的技術領域通常是實體抽取、實體消歧、實體融合等相關的自然語言處理或知識圖譜技術。新的關系涉及的技術領域則有關系抽取和知識推理等。知識圖譜推理，或稱知識推理，指在既定的知識圖譜中通過推理技術推導出實體間潛在的或者新的關系，發現新的知識。在圖數據庫、圖論等相關領域往往又被稱為鏈接預測。

知識圖譜推理技術是伴隨著人工智能、自然語言處理、語義網等技術發展起來的。早期有基于規則的方法，著名知識圖譜NE LL[3]利用手寫規則的推理方法來不斷擴充規模。一階邏輯（first order logic，FOL）是早期的一種符號推理系統，也被用于知識圖譜推理[4]。針對手寫規則煩瑣的問題，可采用將規則與統計學習結合的馬爾可夫邏輯網（Markov logic network，M LN）[5-7]，MLN是經典的推理方法。知識圖譜的層次結構和邏輯結構往往被表示為本體（ontology）或模式（schema），基于本體的推理方法是知識圖譜推理的經典方法之一，也是現實應用中很有 意義的方法[8]。隨機游走（random walk）是概率統計中經典的隨機過程，將其應用于知識圖譜推理中產生了著名的路徑排序算法（path ranking algorith m，PRA）[9]及其與深度強化學習結合的深度路徑（deep path）方法[10]。近年來，隨著以深度學習為基礎的人工智能技術的蓬勃發展，將知識圖譜嵌入低維空間的方法逐漸成為主 流，TransE[11]是其中的先鋒。

本文關注的知識圖譜推理方法是從TransE開始的，它源自自然語言處理領域的word2vec[12]，是當前效果最好的、主流的、契合深度學習潮流的方法，也被稱為現代的方法。這類方法可學習出知識圖譜的稠密向量表示，是知識圖譜領域的表示學習。對于學習出的稠密向量，既可以直接進行推理應用，也便于使用各種深度學習模型和算法來實現下游任務，如知識問答或輔助決策等。

知識圖譜G={}?E×R×E，其中E為實體集合，h、t∈E；R為關系集合，r∈R?，F代知識圖譜推理方法的目標是通過定義一個打分函數fr(h,t)來學習出表示實體和關系的向量 ， ，如式（1）所示，其中→表示映射：

對于符合知識圖譜的正樣本來說，期望打分函數計算出的分數無限接近于0。其中，de和dr表示實體和關系向量的維度，在大多數模型中，d=de=dr。在進行知識圖譜推理時，對于任意給定的實體對，遍歷知識圖譜中的關系r∈R，并計算的分數，若低于某個閾值，則表示h和t之間存在關系r。在某些時候需要從中推斷t，此時可以遍歷所有的實體t∈E，使用式（1）來計算分數，若分數低于某個閾值，則表明實體h在關系r的作用下，得到了實體t。本文使用式（1）所表示的模型框架來介紹各種現代的知識推理方法。

3 基于幾何運算的方法

基于幾何運算的模型是從word2vec延伸出來的，將知識圖譜通過平移或旋轉等幾何運算嵌入低維的幾何空間中（通常是歐幾里得空間，也可以是雙曲空間等）。其中平移表現為向量加法，旋轉表現為哈達瑪積（Hadamard product），嵌入則是一個數學中與流形相關的概念，表達一個數學結構的實例通過映射包含到另一個實例中。

將知識圖譜嵌入幾何空間時，解決知識圖譜中不同特點的關系的推理問題，從而推進基于幾何運算的方法的發展，這些特點包括一對一、一 對多、多對一、多對多[13]、對稱性（symmetry）、反對稱性（anti-symmetry）、反向性（inversion）和組合性（c omposition）[14]等。

3.1 歐幾里得空間嵌入

知識圖譜推理的現代方法的雛形是word2vec，并從TransE模型開始逐漸發展起來。圖1表示了word2vec模型學習出來的詞向量滿足w廣東省-w廣州市=w浙江省-w杭州市，其隱含的關系“省會”（圖1中虛線）沒有被明確表示出來。TransE將word2vec中隱含的關系用向量明確地表示出來，并應用到知識圖譜中。

基于幾何運算的知 識圖譜推理在TransE[11]的基礎上持續發展。TransE把實體間的關系用向量明確地表示出來，并用幾何平移來解釋實體間的關系，如圖2（a）所示。繼TransE后大量平移或旋轉的方法被提出來，這些方法和TransE一樣使用歐氏距離來計算打分函數，使用基于能量的方法來定義損失函數，并用隨機梯度下降來優化模型。

TransE將實體和關系嵌入同一個空間中，并定義打分函數為：

其中，||·||2表示L2范數（L2 norm）。TransE模型對僅有一對一關系的知識圖譜非常友好，能夠學習出各種具有反對稱性、反向性和組合性的關系。其結構簡單、運算量小，是某些現實場景 的首選方法。

TransH[13]拓展了TransE模型，為每個關系學習嵌入空間的一個超平面Wr(||Wr||=1），并將三元組解釋為實體在關系超平面上的平移變換。如圖2（b）所示，TransH先將實體向量h和t映射到關系超平面Wr上，得到和，并將關系表示為超平面上的平移變換，即向量加法。由此TransH的打分函數為：

TransH模型通過關系特定的超平面，實現了自反、一對多、多對一和多對多的嵌入表示。TransR模型[15]將實體和關系分別嵌入不同的幾何空間，使得相同的實體在不同的關系下能夠表示不同的語義，進一步增強了知識圖譜的推理能力。如圖2（c）所示，TransR通過映射矩陣將實體向量h、t映射到關系空間得到和，并在關系空間進行平移變換，即。由此，將TransR的打分函數定義為：

圖1 word2vec的示例

圖2 基于歐幾里得空間的平移運算的知識圖譜推理模型

TransD模型[16]用實體映射向量和關系映射向量來構造映射矩陣和（I表示單位矩陣），并代替TransR中的映射矩陣Mr，使得模型能夠表達實體在不同關系中潛在的多個語義關系。由于向量乘法效率高于矩陣乘法，將TransD模型應用于大規模知識圖譜中具有計算效率上的優勢。類似地，TransD的打分函數為：

圖2（d）直觀地表示了TransD的模型。從圖2和式（2）～式（5）可以看出，TransE、TransH、TransR和TransD 4個模型一脈相承，都是用歐幾里得空間中的平移來解釋實體間的關系，并用歐氏距離來表示 分數。進一步地，TransG模型[17]對這一模式進行了泛化建模，并用貝葉斯參數無限混合模型（Bayesian non-parametric infini te mixture model）[18]和中國餐館過程（Chinese restaurant process，CRP）來解決關系的多語義表達問題。

TransG的打分函數是：

總體來說，TransG模型能夠表示關系的多種語義。對其進行主成分（primary component）分析可知，TransE模型是TransG模型針對主成分的特例，而TransG則是TransE的泛化，圖3展示了兩個模型。

旋轉和平移 一樣是幾何空間的基本操作，RotatE[14]使用旋轉代替平移對關系進行建模，圖4展示了RotatE與TransE的區別。同時，為了表達旋轉，實體和關系的嵌入向量從實數擴展到復數向量空間。旋轉在復向量空間的運算表示為向量的哈達瑪積，即每個元素分別相乘的運算，這個與平移操作的加法是類似的。對于，RotatE將實體和關系嵌入復向量空間，并定義打分函數為：

其中，〇表示哈達瑪積，模型將向量限制在單位圓中，并解釋為逆時針的旋轉，作用于復向量的相位部分。與平移的方法相比，RotatE能更加高效地實現對稱和反對稱、反向和組合這些關系類型的建模。例如，可以表示關系r是對稱的，r1和r2是共軛的，可以表示兩個關系r1和r2是反向的，r3=r1〇r2可以表示r3是r1和r2的組合。RotatE對具有如上特點的知識圖譜推理能夠事半功倍。

3.2 雙曲空間嵌入

雙曲空間（hyperbolic space）是具有常數負曲率的齊次空間，而歐幾里得空間則是零曲率的。雙曲幾何提供了高效的方法來學習層次數據的低維嵌入，特別地，僅僅用二維的 雙曲空間就能夠以任意低的失真度嵌入樹形數據[19]。也就是說，將類似知識圖譜這樣具有豐富層次結構的數據嵌入雙曲空間中，比嵌入歐幾里得空間更加高效。

雙曲空間嵌入通常使用d維龐加萊球來表示，其中d表示龐加萊球的維度，-c表示曲率。龐加萊球的原點所對應的切線空間是從原點離開的有可能路徑的方向的d維向量空間。切線空間到的映射通過指數映射（exponential map)實現，而從到則通過對數映 射（logarithmic map）實現[20]，這里的0表示原點：

在雙曲空間中，向量x、y的加法通過莫比烏斯加法⊕c實現，向量y和矩陣M的乘法通過莫比烏斯矩陣-向量乘法?c實現，分別定義如下：

在雙曲空間 中，三元組對應的d維向量，其中c表示雙曲空間的曲率。和歐幾里得空間一樣，模型通過打分函數來實現知識圖譜推理。

MuRP[23]模型采用曲率為-1的龐加萊球模型（c=1）對圖譜的實體關系進行建模，使用式（11），類似TransE，MuRP的打分函數定義為：

雙曲嵌入與歐幾里得空間嵌入不同的是，模型會為每個實體額外學習一個偏置b，b表示實體在雙曲空間中的影響范圍，圖5是MuRP模型的幾何直觀解釋。即頭實體h和尾實體t經過同一關系r調整為雙曲空間的兩個球體，如果存在重疊，則表示成立，反之則表示h和t不存在關系r。

圖3 TransG和TransE對關系r進行不同表達，在TransE中只能學習出一種向量表示r，而TransG能夠學習出有細微語義差別的4個關系向量r1、r2、r3和r4

圖4 RotatE和TransE模型的比較

圖5 MuRP模型的幾何直觀解釋

和MuRP使用平移來建模實體間的關系不同，ATTH[24]模型使用吉文斯變換表示旋轉和反射，從而捕捉不同語義的關系，并使用雙曲注意力機制來融合幾何運算，同時歸納出更為復雜的邏輯模式。此外，考慮到不同關系蘊含的語義信息不一樣，ATTH采用可學習的變量為不同的關系自動學習出最佳的曲率cr。

類似TransR、TransD定義出雙曲空間中的旋轉運算和反射運算，這里的和是由關系特定的參數和構造的塊對角矩陣，其 中，是2×2的吉文斯變換矩陣。

ATTH模型中注意力機制是在龐加萊球的切線空間（一種歐幾里得空間）中進行的。通過式（8）的對數映射將雙曲空間嵌入向量和映射到切線空間和，并計算注意力得分和（a是注意力機制的環境參數），然后通過式（8）映射回雙曲空間，得到頭實體經過關系調整后的向量。最后類似MuRP，ATTH的打分函數定義為：

4 基于深度學習的方法

近年來，深度學習被廣泛地應用在計算機視覺、圖像處理、語音識別和自然語言處理等人工智能領域。同樣地，深度學習也被應用于知識圖譜推理，本文介紹了主流的和應用非常廣泛的若干方法。

首先介紹基于深度學習的知識圖譜推理方法，然后將相應的深度神經網絡轉化成打分函數。深度神經網絡更加復雜，且包含了大量的非線性運算，從而能夠學到更多的特征，但也因此存在“黑盒”的不直觀問題，影響了推理的解釋性。

4.1 卷積神經網絡模型

卷積神經網絡將卷積應用于神經網絡，通過局部感知、參數共享等特點，實現了深層的 特征學習，成為深度學習中非常重要的網絡之一。ConvE[25]將卷積神經網絡應用于知識圖譜推理，其網絡結構如圖6（a）所示，打分函數定義為：

ConvE模型通常使用小的濾波器進行卷積，這樣實體和關系間的交互僅在二維矩陣和的拼接處，能夠很好 地被學習，而遠離拼接處的特征則較少被學習。ConvR[26]將關系轉化為濾波器來對實體向量進行卷積運算，從而獲得更好的實體-關系間交互的特征表達。通過比較圖6（a）和圖6（b），可以直觀地理解ConvE和ConvR的異同，并理解各自的特點和優劣。類似地，ConvR的打分函數為：

圖6 深度卷積網絡用于知識圖譜推理的Co nvE和ConvR模型

4.2 膠囊網絡模型

CapsE[27]是將膠囊網絡（capsule network，CapsNet）[28]用于知識圖譜推理的一種模型。其基本原理是將三元組的3個嵌入向量組裝成3列的矩陣，用卷積網絡來學習出相應的特征，并通過兩層的膠囊網絡為三元組打分。CapsE模型如圖7所示，由于濾波器同時作用于h、r、t，因此可以捕捉到更多的特征。其打分函數為：

圖7 膠囊網絡用于知識圖譜推理的CapsE模型

其中，capsnet表示膠囊網絡，Ω表示n個濾波器，濾波器ω作用于輸入矩陣，形成n個d×1維的特征圖。特征圖被封裝成第一個膠囊層的d個膠囊，通過路由過程路由到第二個膠囊層后生成連續的輸出向量e，輸出向量的L1范數||e||就是得分。

路由過程[28]在第一個膠囊層的（是權重矩陣，ci是耦合系數）和第二膠囊層的非線性壓扁中迭代m次（參考文獻[27]研究了m的數值，并斷定m=1時效果最佳）。

4.3 圖神經網絡模型

圖神經網絡是將深度學習技術應用于圖結構數據的方法，是最近人工智能中非常熱門的研究領域之一。圖神經網絡天然地適用于知識圖譜推理。關系圖卷積網絡（relational gr aph convolutional network，R-GCN）[29]是較早對關系進行建模實現知識圖譜推理的圖自編碼器模型。R-GCN模型的每一層都使用了圖8和式（17）所示的傳播模型來編碼知識圖譜：

圖8 R-GCN的傳播模型，也是R-GCN的“層”

其中，e(l)和e(l+1)分別表示知識圖譜的實體e在R-GCN中的l層和l+1層的向量。Er表示與實體e具有關系r的所有鄰接實體的集合，區分入邊和出邊。R表示知識圖譜中所有關系的集合。表示l層中實體自身的相關參數（自連接），其目的是給l+1層傳播實體自身的信息。則是與關系r相關的參數。rc是歸一化參數，可以隨模型學習，或者提前設定。R-GCN傳播模型可被直觀地理解為依據每一個關系對鄰接節點的信息進行學習，進而表示實體。

而塊對角分解的定義為：

R-GCN模型堆疊了L層式（17）作為編碼器，并使用DistMult[30]作為解碼器，從而其打分函數為：

RGHAT[31]是一種通過加入兩層注意力來進一步改善關系圖神經網絡的效果的知識圖譜推理方法。ATTH[24]使用注意力機制自動歸納出知識圖譜的邏輯結構，而RGHAT使用兩層注意力分別歸納實體和同一關系下鄰接實體的特征，其模型如圖9所示，其中關系層注意力表達了不同關系對實體的影響權重：

實體層注意力則表達了同一關系的鄰接實體的影響權重：

5 知識推理應用

5.1 知識圖譜補全

知識圖譜普遍存在知識缺失的事實，也就是知識圖譜的不完備性。如圖10所示，實線部分是知識圖譜存在的關系，比如<張三,出生于,廈門市>和<張三,任職于,甲公司>等，而虛線部分是知識圖譜中缺失的，比如<張三,工作于,上海市>和<張三,出生于,中國>等。知識圖譜補全（knowledge graph completion）的目標是發現這些缺失的知識，并將其補充到知識圖譜中，使得知識圖譜趨向完備。

知識圖譜補全是知識推理應用最多的領域，大量的知識 圖譜推理算法被提出 來的初衷就是應用于 知識圖譜補全，如MLN[7]、TransR[15]、CapsE[27]、RGHAT[31]等。前面提到的所有方法都可以通過在向量空間的推理來斷定任意實體間是否存在某種關系，進而實現知識圖譜的補全。

圖9 RGHAT模型的網絡結構

圖10 知識圖譜的不完備性

5.2 知識問答

問答（question answering，QA）系統是自然語言處理領域一個重要的發展方向，其目標是通過自然語言的方式來獲取知識。在很多真實應用場景下，基于知識圖譜的問答系統能夠帶來極大的知識獲取的便利性。但除了簡單地從知識圖譜中檢索實體，更多的問題要求問答系統具有知識推理的能力[32-33]。本文介紹的知識推理方法都可 以用于基于知識圖譜的知識問答系統中，用來回答復雜的問題，提升結果的準確性、完備性等[34-35]。

除了將知識圖譜嵌入通用的知識問答系統，也可將知識推理等技術直 接應用于問答系統來解決特定的問題。比如用R-GCN來建模多輪對話問答系統的對話結構和背景知識[36]?；谥R圖譜 嵌入的問答系統正在興起，比如將TransE向量空間與搜索技術結合，實現了基于知識圖譜嵌入的問答系統[37]。

隨著現代知識圖譜推理方法的研究逐漸深入，知識問答的效果也持續改善，同時將上述這些知識推理技術和問答技術結合用于解決特定問題的方法也在興起。

5.3 推薦系統

推薦系統是隨著互聯網的發展、信息的極大豐富而興起的技術，旨在理解用戶并主動給用戶推薦信息。隨著知識圖譜技術的發展，將知識圖譜和推薦系統全方位地結合，從而更深入地理解用戶，更好地匹配用戶需求，同時提供更強的解釋性。

在理解用戶方面，知識圖譜能夠對用戶之間的網狀關系進行建模，通過購買同一件商品、看過同一個視頻、對同一條信息點贊等用戶行為構建行為圖譜，并利用知識圖 譜推理技術推斷用戶間的關系，挖掘潛在的深度需求，配合協同過濾等推薦技術來改善推薦的效果。參考文獻[38]利用知識圖譜來豐富用戶信息，并使用R-GCN對關系和結構建模推理，從而更好地理解用戶。推薦的內容（如商品、信息、知識、人物等）同樣可以通過各種關系來構 建知識圖譜，使用推理技術來 挖掘潛在特征，推斷潛在關系，增強對推薦內容的理解，改善推薦效果。參考文獻[39]嘗試使用TransR[15]來建模結構化的推薦內容，以提升推薦效果。在此之上， 推薦本身可以看成用戶- 推薦內容之間的復雜的網狀關系，由此可應用知識圖譜推理技術來直接實現推薦。KGAT[40]結合TransR[15]和深度學習實現了知識圖譜注意力網絡的推薦方法。

隨著知識圖譜和知識推理技術的進一步發展和成熟，各種現代的知識推理方法在推薦領域的應用也會越來越多，并逐漸成為主流。

5.4 個性化搜索

個性化搜索是充分利用搜索和點擊等歷史行為記錄和用戶本身的信息來實現個性化的搜索，返回更加匹配用戶的結果。比如同樣搜索“蘋果”，果農和電子產品愛好者對搜索結果的期望是不同的；而搜索“天氣預報”，在上海的人和在北京的人對搜索結果的期望也是不一樣的。個性化搜索是致力于解決這類問題的技術。推薦系統中的使用知識圖譜及推 理技術對用戶建模的方法可以用于個性化搜索。

直接使用知識推理技術來實現個性化搜索的方法也在被 嘗試，參考文獻[41]將用戶、文檔以及 用戶與文檔產生的搜索、點擊等交互關系構建成知識圖譜，并使用TransE[11]推理方法實現個性化搜索。參考文獻[42]則將ConvE[25]的改進版本ConvKB應用于個性化搜索。

6 行業應用

隨著知識 圖譜的流行，知識推理在各行各業被廣泛應用。在金融、投資、保險、地產、電力電網、能源、制造、生物醫藥、醫療、智慧城市[43]等行業都能見到知識圖譜推理技術的應用，本文主要介紹金融、生物醫藥和智能制造行業的應用情況。

6.1 金融行業

知識圖譜被廣泛應用在金融行業，在風險監測與控制、事件、輿情、對話機器人、金融市場事件監測等方面都有知識圖譜的身影，大量的知識推理方法也被應用在具體的場景下。在風險監測與控制方面，在基于企業工商信息、訴訟信息、招聘信息以及風險事件等數據構建的大規模知識圖譜中，可以利用知識推理技術挖掘隱藏的關聯關系、風險傳導鏈、擔保圈鏈等。在金融輿情方面，可構建事件及其影響關系的圖譜，使用知識推理技術來完善圖譜中的關聯關系，識別事件的真偽和影響后果等。在對話機器人方面，針對規章制度、財務制度、財務知識、業務知識等建立知識圖譜，并使用基于知識圖譜的問答技術實現對話 機器人，隨時隨地滿足客戶獲取知識的需要。在投資研究方面，基于事件構建圖譜，并使用知識圖譜推理技術來研究對金融市場的影響[44]。針對小微企業信貸業務的特點，構建全方位企業畫像與 企業關聯圖譜的貸前反欺詐模型，定量評估小微企業客戶的欺詐風險，能夠有效地幫助銀行機構更準確地對企業申貸欺詐行為進行評估[45]。

6.2 生物醫藥行業

生物醫藥行業的多個子領域深入應用了知識圖譜和推理技術，包括藥物圖譜、疾病圖譜、蛋白質圖譜、基因圖譜、藥物份子信息圖譜等，涉及生物醫藥行業的方方面面[46-47]。這些圖譜同樣存在不完備的情況，可使用知識圖譜推理技術來完善這些圖譜。

生物醫藥的研究對象通常是復雜的微觀結構以及這些微觀結構間的關系，深度學習中很 多與圖結構相關的算法 是生物醫藥領域的研究人員提出的[48]。同樣地，知識圖譜推理技術也被廣泛地直接應用于生物醫藥的研究，參考文獻[49]利用R-GCN[29]模型作為編碼器，并使用 張量分解作為解碼器，使用知 識圖譜推理的方法來推斷藥物-蛋白質、蛋白質-蛋白質、藥物-藥物、藥物-副作用等方面的相互作用。GrEDeL[50]使用兩個TransE[11]結合LSTM的模型，從公開文獻中挖掘潛在的治療疾病藥物，該模型把文獻中構建的生物醫藥知識圖譜拆分成語義圖譜（semantic graph）和類型圖譜（type graph），并用兩個TransE分別對這兩個圖譜進行建模，然后使用LSTM模型來挖掘適用于疾病的藥物。

6.3 智能制造行業

智能制造行業極大地依賴于工程師和工人的知識與經驗，為了適應越來越復雜的產品設計、生產制造等過程，知識圖譜也被用來積淀、傳承、管理和應用智能制造中理化、電子電氣、工藝、失效、故障等的知識和經驗，避免知識的流失，輔助設計工程師、質量工程師和制造 工程師分析問題，幫助現場工人快速解決問題，以及激發創新創造等。知識圖譜推理技術可以用來完善圖譜數據，改善圖譜質量，提升知識和 經驗的完備性[51]。

智能制造通常涉及多個跨領域的知識、規范、標準等，可以使用知識圖譜技術來跟蹤、跟進這些規范標準，并保持更新。參考文獻[52]是致力于將工業4.0的標準進行圖譜化的一個嘗試。中國電子技術標準化研究院也在嘗試將國內各種標準圖譜化。輔以知識問答技術和推薦技術，能夠更加方便地推進制造業應用最新的知識、經驗、規范、標準等。

進一步地，設備傳感器采集的大量信息能夠有效地監測制造過程。知識圖 譜推理技術同樣能 夠用在這些數據所構建的 設備和制造過程的圖譜中，優化生產制造過程，優化保養周期、預測可能發生的故障，保證生產過程處于良好的狀態[53]。參考文獻[54]利用TransE[11]融合來自傳感器的操作數據源和制造圖譜的實體，為潛在的未知實體提供自動化融 合的建議，從而保持數字孿生的同步，對于依賴于數據的實時對齊的監視和管理應用具有巨大價值。在更多專業的領域，知識圖譜推理技術也在發揮其價值，參考文獻[55]探索了電子自動化設計（electronic design automation，EDA）中應用R-GCN的場景。在更廣泛的智能制造場景中（如供應鏈管理、客戶和供應商管理、BOM的自動創建、轉換與管理、工廠員工管理等方面），知識圖譜推理技術也被用來提升智能化管理水平。

7 挑戰與未來展望

近些年來，現代的知識圖譜推理技術正在快速發展，許多模型在各自的領域有非常好的效果，并且被廣泛應用，但遠未達到完美的狀態，挑戰和機遇并存。

● 知識圖譜嵌入通常是嵌入歐幾里得空間，近些年，MuRP、ATTH等模型探索了嵌入雙曲空間的情形，獲得了非常好的效果。但總體上，把知識圖譜嵌入雙曲空間的研究還是少數。而已有的模型表明雙曲空間等非歐幾里得空間能夠更好地表達知識圖譜。在非歐幾里得空間進行知識圖譜表示和推理是非常值得繼續探索的。

● 圖神經網絡天然匹配知識圖譜，本文介紹的R-GCN和R GHAT等模型還是早期的嘗試，遠未完美。設計出更加精巧的圖網絡結構來實現知識圖譜推理會是熱門且機會巨大的方向。

● 變換器（transformer）[1,56]網絡因其在自然語言處理領域強大的表達能力和高效的并行訓練能力而大放異彩，并迅速地遷移到計算機視覺、圖像處理和語音識別等領域，效果同樣出眾。相信變換器網絡在知識圖譜和知識圖譜推理方面同樣能表現出眾。

● 基于預訓練模型的遷移學習在自然語言處理、圖像處理和計算機視覺等領域應用廣泛，但在知識圖譜推理方面還比較少見。探索知識圖譜和知識圖譜推理方面的預訓練模型是值得嘗試的。

● 現代的知識圖譜推理技術在數據集以及相應的競賽、評測等方面同樣存在巨大的機會，特別是中文知識圖譜的數據集。

8 結束語

本文首先系統地研究了知識圖譜推理的現代的方法和應用，提出了一種統一的框架來詳細介紹現代主流的知識圖譜推理模型，方便讀者基于自身研究領域來比較其中的異同和優劣?，F代的知識圖譜推理方法通過幾何的或深度學習的方法將知識圖譜嵌入低維空間，包括歐幾里得空間和雙曲空間等。緊接著詳細介紹了嵌入歐幾里得空間的Trans*和RotatE等方法，同時介紹了能夠更好地表達知識圖譜結構和邏輯的雙曲空間嵌入，并介紹了MuRP和ATTH等方法。在深度學習發展如火如荼的今天，基于深度學習的知識圖譜推理方法不斷被提出，本文使用相同的框架介紹了主流的深度卷積網絡、膠囊網絡、圖神經網絡等方法。隨著知識圖譜推理技術的日趨成熟，其應用也日趨廣泛。隨后詳細介紹了知識圖譜推理技術在知識圖譜補全、知識問答、推薦系統和個性化搜索等方面的應用，同時還針對金融、生物醫藥和智能制造3個行業介紹了知識圖譜及其推理技術的應用。最后梳理了知識圖譜推理方面的一些挑戰和值得關注的研究方向，供讀者參考。