基于卷積神經(jīng)網(wǎng)絡(luò)的知識(shí)圖譜補(bǔ)全方法研究

王維美 陳 恒,2 史一民 李冠宇*

1(大連海事大學(xué)信息科學(xué)技術(shù)學(xué)院 遼寧 大連 116026)2(大連外國(guó)語(yǔ)大學(xué)軟件學(xué)院 遼寧 大連 116044)

0 引 言

知識(shí)圖譜(Knowledge graph,KG)是種新型知識(shí)表示方法，其概念最早由谷歌公司提出，Google認(rèn)為“things，not strings”，即對(duì)于搜索引擎來(lái)講，世界中的各種物體不應(yīng)該僅僅是string，而是具有實(shí)際含義的thing[1]。KG提供圖結(jié)構(gòu)化信息，成為智能問(wèn)答、Web搜索、推薦系統(tǒng)和專家系統(tǒng)等智能應(yīng)用程序的關(guān)鍵資源。隨著知識(shí)圖譜的興起，出現(xiàn)了很多大型知識(shí)圖譜，如Freebase、DBpedia，但這些知識(shí)圖譜并不完備，知識(shí)圖譜中實(shí)體間隱含的關(guān)系沒(méi)有被充分挖掘，補(bǔ)全三元組成為亟需解決的問(wèn)題。近幾年，很多工作利用卷積神經(jīng)網(wǎng)絡(luò)表示知識(shí)圖譜中實(shí)體和關(guān)系，并進(jìn)行知識(shí)圖譜補(bǔ)全，從而完善知識(shí)圖譜。

知識(shí)圖譜是一種描述真實(shí)世界客觀存在的實(shí)體、概念及它們之間關(guān)聯(lián)關(guān)系的語(yǔ)義網(wǎng)絡(luò)[2]，是結(jié)構(gòu)化的語(yǔ)義知識(shí)庫(kù)[3]，其中實(shí)體使用節(jié)點(diǎn)代替，關(guān)系用邊表示，表示形式為三元組(h,r,t)，即(頭實(shí)體，關(guān)系，尾實(shí)體)。隨著知識(shí)圖譜規(guī)模越來(lái)越大，三元組數(shù)據(jù)稀疏問(wèn)題愈加嚴(yán)重。知識(shí)圖譜的表示學(xué)習(xí)技術(shù)將三元組中實(shí)體和關(guān)系表示成向量，在低維向量空間計(jì)算實(shí)體和關(guān)系的語(yǔ)義聯(lián)系，解決獨(dú)熱學(xué)習(xí)維度過(guò)高和無(wú)法有效表示兩個(gè)實(shí)體的問(wèn)題。知識(shí)圖譜表示學(xué)習(xí)面向知識(shí)圖譜的實(shí)體和關(guān)系進(jìn)行學(xué)習(xí)，該技術(shù)可以有效緩解數(shù)據(jù)稀疏問(wèn)題，使知識(shí)圖譜更加完備。

目前一些知識(shí)表示學(xué)習(xí)算法不能有效解決知識(shí)圖譜存在的數(shù)據(jù)稀疏問(wèn)題，如早期的TransE嵌入模型在處理復(fù)雜關(guān)系上性能降低。對(duì)此，本文提出一種基于CNN(卷積神經(jīng)網(wǎng)絡(luò))的知識(shí)圖譜補(bǔ)全方法。卷積神經(jīng)網(wǎng)絡(luò)為計(jì)算機(jī)視覺而設(shè)計(jì)，在自然語(yǔ)言處理領(lǐng)域受到很大關(guān)注[4]，在某些任務(wù)(如分塊、詞性標(biāo)簽、命名實(shí)體識(shí)別和關(guān)系分類)上取得了不錯(cuò)效果[5]。與全連接神經(jīng)網(wǎng)絡(luò)相比，卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)非線性特征可以捕獲復(fù)雜關(guān)系，且參數(shù)數(shù)量明顯減少[6]?；贑NN的優(yōu)點(diǎn)，使用其進(jìn)行知識(shí)圖譜補(bǔ)全的優(yōu)點(diǎn)在于：(1) 充分考慮到上下文信息和詞序，能夠?qū)W習(xí)實(shí)體和關(guān)系的嵌入向量間的深層聯(lián)系[6]；(2) 所需參數(shù)較少，計(jì)算復(fù)雜度低，能夠適用大規(guī)模知識(shí)圖譜補(bǔ)全。本文方法使用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)對(duì)三元組(h,r,t)的嵌入矩陣(h,r,t)進(jìn)行操作，將三元組矩陣和不同的卷積核進(jìn)行卷積，把卷積得到的特征圖進(jìn)行連接，將特征圖和權(quán)重向量作點(diǎn)積運(yùn)算，用點(diǎn)乘的分?jǐn)?shù)判斷三元組正確與否。分?jǐn)?shù)越趨近于0，代表三元組越正確，其中正確三元組分?jǐn)?shù)低于錯(cuò)誤三元組分?jǐn)?shù)。

本文使用從Freebase和WordNet抽取的數(shù)據(jù)集，進(jìn)行知識(shí)圖譜補(bǔ)全相關(guān)的鏈接預(yù)測(cè)和三元組分類實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，本文方法擁有更好的預(yù)測(cè)精度，補(bǔ)全效果更好。

1 相關(guān)工作

1.1 嵌入模型

典型的嵌入模型有TransE[7]、TransH[8]、TransR[9]、TransD[10]等嵌入模型。這些嵌入模型將實(shí)體和關(guān)系投影到連續(xù)的低維向量空間中，即圖1中將三元組(h,r,t)投影到低維嵌入空間Rk中，生成(h,r,t)的過(guò)程。TransE模型將知識(shí)圖譜的關(guān)系看作是頭實(shí)體到尾實(shí)體的一種平移。給定一個(gè)三元組(Beijing,cityOf,China)，TransE將關(guān)系向量r作為頭實(shí)體向量h和尾實(shí)體向量t之間的一種平移[11]，即h+r≈t，這也表明在嵌入空間中t應(yīng)該是h+r最近的鄰居[12]。

圖1 實(shí)體和關(guān)系的低維嵌入

TransE模型只適用一對(duì)一關(guān)系，在處理復(fù)雜關(guān)系類型1-N、N-1、N-N上模型性能顯著降低。例如，給定兩個(gè)三元組(The Terminator，_directed_by，James Cameron)、(Aliens，_ditrected_by，James Cameron),為得到頭實(shí)體The Terminator和Aliens的向量，使用打分函數(shù)h+r≈t進(jìn)行計(jì)算，得到兩個(gè)相同向量。實(shí)體不同，向量就不同，TransE不能有效解決此問(wèn)題。為了彌補(bǔ)這個(gè)缺陷，出現(xiàn)了TransH、TransR等模型。TransR模型對(duì)一個(gè)給定關(guān)系r，定義關(guān)系的投影矩陣Mr，將實(shí)體從實(shí)體空間投影到關(guān)系r的子空間，利用打分函數(shù)h+r≈t計(jì)算每個(gè)三元組的得分。TransR通過(guò)將實(shí)體和關(guān)系投影到不同的空間，解決了實(shí)體和關(guān)系屬于不同對(duì)象時(shí)，不能用同一個(gè)空間表示的問(wèn)題。基于TransR這種特性，本文用TransR對(duì)數(shù)據(jù)集中所有三元組進(jìn)行訓(xùn)練，將得到的向量作為本文算法的輸入，使得每個(gè)三元組輸入時(shí)擁有一定的語(yǔ)義信息。

1.2 神經(jīng)網(wǎng)絡(luò)模型

上述嵌入模型僅表達(dá)了三元組結(jié)構(gòu)信息，沒(méi)有利用實(shí)體或關(guān)系的描述文本。文獻(xiàn)[13]提出了一種張量神經(jīng)網(wǎng)絡(luò)(NTN)，用實(shí)體名稱所有詞向量平均值表示該實(shí)體，讓具有類似名稱的實(shí)體能夠共享文本信息。DKRL[14]使用連續(xù)詞袋(CBOW)以及卷積神經(jīng)網(wǎng)絡(luò)(CNN)兩種表示學(xué)習(xí)方法來(lái)建立實(shí)體描述文本的語(yǔ)義向量。OOKB[15]模型是一種基于圖神經(jīng)網(wǎng)絡(luò)(Graph-NNs)的模型，將圖譜中頭實(shí)體和尾實(shí)體向量進(jìn)行組合，形成最終向量。此外，模型DisMult[16]和ComplEx[17]使用向量點(diǎn)乘計(jì)算三元組得分，利用打分函數(shù)判定其正確性。

和鏈接預(yù)測(cè)模型DisMult相比，ConvE[18]模型參數(shù)少，計(jì)算復(fù)雜度低，可以高效訓(xùn)練三元組，獲取實(shí)體和關(guān)系的向量嵌入，同時(shí)學(xué)習(xí)三元組更多的特征表示。ConvE作為使用CNN來(lái)補(bǔ)全知識(shí)圖譜的模型，將頭實(shí)體和關(guān)系向量重組，組合成矩陣作為CNN卷積層的輸入，使用不同的卷積核進(jìn)行卷積，輸出多個(gè)特征圖，將這些特征圖矢量化，映射成一個(gè)向量，此向量和尾實(shí)體作點(diǎn)積運(yùn)算得到三元組分?jǐn)?shù)，利用得分判斷三元組的正確性。ConvE模型打分函數(shù)見表1。ConvE將頭實(shí)體和關(guān)系作為輸入矩陣，忽略了三元組的全局特征。為了使用三元組的全局特征，文獻(xiàn)[6]提出了ConvKB模型，該模型將三元組(頭實(shí)體，關(guān)系，尾實(shí)體)矩陣作為輸入，捕獲三元組全局特征，利用不同的卷積核進(jìn)行卷積，通過(guò)打分函數(shù)得到每個(gè)三元組的得分，作為判斷三元組正確的依據(jù)。從上述兩個(gè)模型可以看出，卷積神經(jīng)網(wǎng)絡(luò)可以提取三元組中實(shí)體和關(guān)系的特征，然后和不同的卷積核進(jìn)行卷積，得到相應(yīng)的特征圖，將特征圖進(jìn)行連接得到三元組的整體特征。文獻(xiàn)[6]提出使用CNN對(duì)三元組進(jìn)行編碼，但只融合進(jìn)了TransE，沒(méi)做進(jìn)一步探索。為充分考慮三元組的結(jié)構(gòu)信息和特征表示，本文使用TransR訓(xùn)練出的三元組矩陣作為本文算法的輸入，解決TransE模型不能建模復(fù)雜關(guān)系的缺陷，同時(shí)使用不同的卷積核進(jìn)行卷積。本文對(duì)卷積核形狀做了一定修改，同時(shí)設(shè)置不同的步長(zhǎng)數(shù)對(duì)輸入矩陣作卷積運(yùn)算，對(duì)輸入的三元組盡可能捕獲更多的特征，獲取三元組的全局表示特征。以上模型的打分函數(shù)如表1所示。

表1 相關(guān)模型的打分函數(shù)

2 算法設(shè)計(jì)

使用TransR模型訓(xùn)練出的三元組矩陣作為本文算法的輸入，并在TransR模型算法的基礎(chǔ)上完善了基于卷積神經(jīng)網(wǎng)絡(luò)的算法。給定一個(gè)三元組(h,r,t)∈T,h,r∈E,r∈R，即KG=(E,R,T)，E為實(shí)體集，R是關(guān)系集，T是訓(xùn)練集，每個(gè)實(shí)體和關(guān)系的嵌入維度為N。本文算法如下：

輸入：訓(xùn)練集T=(h,r,t),實(shí)體集E，關(guān)系集R，正則項(xiàng)權(quán)重λ，嵌入層維度N。

初始化:

Loop:

Tbatch←sample(T,b)

//sample a minibatch ofb

Tbatch←?

for(h,r,t)∈Tbatchdo

Tbatch←Tbatch∪{((h,r,t), (h′,r′,t′))}

endfor

更新嵌入層

Input←[h,r,t]

//輸入矩陣

計(jì)算concat(g([h,r,t]*Ω))·w

更新?lián)p失函數(shù)

//θ=±1

EndLoop

本文算法框架圖如圖2所示。使用(h,r,t)表示每個(gè)三元組(h,r,t)相應(yīng)的嵌入矩陣，令M=[h,r,t]∈RN×3,Mi,:∈R2×3表示矩陣的每一行，和不同的卷積核進(jìn)行卷積。ω是一個(gè)2×3的卷積核，和M的每?jī)尚兄貜?fù)卷積，得到一個(gè)個(gè)特征圖，連接所有特征圖得到的列向量如式(1)所示。

圖2 算法框架

v=[g(ω·M1,:+b),g(ω·M2,:+b),…,

g(ω·Mk,:+b)]∈RN

(1)

列向量和權(quán)重向量作點(diǎn)積運(yùn)算，得到的分?jǐn)?shù)作為判斷三元組是否正確的依據(jù)。本文采用不同卷積核進(jìn)行操作，形狀為2×3，步長(zhǎng)為{1,2,3}，令步長(zhǎng)為1，卷積核數(shù)量|ω|=m,會(huì)產(chǎn)生m個(gè)不同的特征圖，m個(gè)不同特征圖進(jìn)行連接得到一個(gè)列向量v∈Rm(N-1)，然后和一個(gè)權(quán)重向量w∈Rm(N-1)作點(diǎn)乘。其中，打分函數(shù)越小代表三元組越正確，打分函數(shù)如下：

f(h,t)=concat(g([h,r,t]*Ω))·w

(2)

式中：Ω和w分別是卷積核集、權(quán)重，它們都是超參數(shù)；g代表激活函數(shù)，本文比較了ReLU和Sigmoid兩個(gè)激活函數(shù)，實(shí)驗(yàn)結(jié)果表明，ReLU卷積效果更好；*代表卷積操作；concat表示連接操作；[h,r,t]表示算法的輸入矩陣，此矩陣由本文改進(jìn)后的TransR模型進(jìn)行訓(xùn)練得到。最小化損失函數(shù)作為最終的訓(xùn)練目標(biāo)，損失函數(shù)如下：

(3)

T′={(h,r,t)|h′∈E}∪{(h,r,t)|t′∈E}

(4)

即將正確三元組的頭實(shí)體和尾實(shí)體分別用數(shù)據(jù)集所有實(shí)體代替，正例三元組得分低于負(fù)例三元組得分。本文使用Adam[20]最小化如式(3)所示的損失函數(shù)。

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集

本文使用從Freebase和WordNet中抽取的3個(gè)數(shù)據(jù)集：FB15k[7]、WN18RR[18]、FB15K-237[20]進(jìn)行實(shí)驗(yàn)。由文獻(xiàn)[20]可知，數(shù)據(jù)集WN18和FB15k包含一些反轉(zhuǎn)關(guān)系，這些反轉(zhuǎn)關(guān)系會(huì)使實(shí)驗(yàn)結(jié)果顯著提高，為保證實(shí)驗(yàn)結(jié)果的準(zhǔn)確性，將數(shù)據(jù)集WN18和FB15k中具有反轉(zhuǎn)關(guān)系的三元組去掉，得到對(duì)應(yīng)數(shù)據(jù)集WN18RR和FB15K-237。

數(shù)據(jù)集FB15k包含1 345種關(guān)系，14 951個(gè)實(shí)體，592 213個(gè)三元組，訓(xùn)練集、驗(yàn)證集、測(cè)試集大致比率為9 ∶1 ∶1。

數(shù)據(jù)集FB15K-237包含237種關(guān)系，14 541個(gè)實(shí)體，310 116個(gè)三元組，訓(xùn)練集、驗(yàn)證集、測(cè)試集大致比率為14 ∶1 ∶1。

數(shù)據(jù)集WN18RR包含11種關(guān)系，40 943個(gè)實(shí)體，93 003個(gè)三元組，分為訓(xùn)練集、驗(yàn)證集、測(cè)試集3種，大致比率為28 ∶1 ∶1。

數(shù)據(jù)集統(tǒng)計(jì)情況如表2所示。

表2 數(shù)據(jù)集統(tǒng)計(jì)

3.2 參數(shù)設(shè)置

本文使用改進(jìn)后的TransR訓(xùn)練出三元組矩陣來(lái)作為本文算法的輸入。使用超參數(shù)網(wǎng)格搜索訓(xùn)練TransR 3 000次，最終超參數(shù)設(shè)置如下：數(shù)據(jù)集的嵌入維度N∈{50,100}，SGD的學(xué)習(xí)速率λ1∈{0.1,0.01,0.001,0.000 1},間隔γ∈{1,2,3,4,5},歸一化采用L1或L2范數(shù)。

為了學(xué)習(xí)實(shí)體和關(guān)系的嵌入維度N、卷積核ω、權(quán)重w、偏置項(xiàng)b這些超參數(shù)，本文使用Adam優(yōu)化器，其學(xué)習(xí)速率λ2∈{0.01,0.001,0.000 1,0.000 5,0.000 01,0.000 05}。卷積核ω的數(shù)值隨機(jī)初始化，卷積核數(shù)量m∈{100,150,200,300,400,600}，損失函數(shù)的λ值設(shè)置為0.001，所有實(shí)驗(yàn)進(jìn)行500輪的迭代訓(xùn)練。此外，為有效緩解過(guò)擬合，根據(jù)驗(yàn)證集上的MRR評(píng)估指標(biāo)，通過(guò)網(wǎng)格搜索選擇dropout值，其值為dropout∈{0.1,0.2,0.3,0.5}。

在經(jīng)過(guò)500次迭代訓(xùn)練后，使用最后一次迭代訓(xùn)練的輸出值作為測(cè)試集評(píng)估，不同數(shù)據(jù)集最優(yōu)Hit@10如下：在WN18RR上，Hit@10最優(yōu)設(shè)置為：N=50，m=600，λ2=0.000 5，dropout=0.5；在FBI5K-237上，Hit@10最優(yōu)設(shè)置為：N=100，m=100，λ2=0.000 01，dropout=0.3。

3.3 鏈接預(yù)測(cè)

3.3.1實(shí)驗(yàn)設(shè)計(jì)

鏈接預(yù)測(cè)即預(yù)測(cè)知識(shí)圖譜中三元組缺失的實(shí)體和實(shí)體間關(guān)系。例如：給定三元組(Michelle Obama,residence,?)，其中：頭實(shí)體為Michelle Obama，關(guān)系為residence，尾實(shí)體缺失，為補(bǔ)全三元組，將American添加到該元組中，對(duì)其進(jìn)行補(bǔ)全；或者(鄧超，？，孫儷)，該三元組中缺失關(guān)系，為補(bǔ)全三元組，將夫妻(或配偶)關(guān)系添加進(jìn)去進(jìn)行補(bǔ)全。實(shí)驗(yàn)采用文獻(xiàn)[7]的標(biāo)準(zhǔn)，對(duì)測(cè)試集中每個(gè)三元組(h,r,t)，把頭實(shí)體、尾實(shí)體去掉，依次使用數(shù)據(jù)集所有實(shí)體替代，得到負(fù)例三元組，對(duì)新三元組使用打分函數(shù)計(jì)算相似性得分，相似度越高排名越靠前，這樣可以得到正確實(shí)體的真實(shí)排名。

3.3.2評(píng)估指標(biāo)

本文選擇平均排名MR(MeanRank)、倒數(shù)平均排名MRR(Mean Reciprocal Rank)、進(jìn)入前10名的比例(Hit@10)作為本文算法評(píng)估指標(biāo)。三個(gè)指標(biāo)中，MR越低、MRR越高、Hit@10越高，代表算法的效果越好，學(xué)習(xí)能力越強(qiáng)。數(shù)據(jù)集中可能存在一些錯(cuò)誤三元組，采用文獻(xiàn)[7]的標(biāo)準(zhǔn)，把錯(cuò)誤三元組從數(shù)據(jù)集中刪除，刪除后的設(shè)置為Filter，原來(lái)的為Raw。在數(shù)據(jù)集FB15K-237和WN18RR上，僅使用Filter設(shè)置。

3.3.3實(shí)驗(yàn)結(jié)果和分析

采用相同實(shí)驗(yàn)設(shè)置情況下，本文實(shí)驗(yàn)環(huán)境為：Window 7 64位系統(tǒng)，物理內(nèi)存為8 GB。數(shù)據(jù)集WN18RR和FB15K-237在不同模型下的鏈接預(yù)測(cè)結(jié)果如表3和表4所示。

表3 WN18RR在不同模型下鏈接預(yù)測(cè)結(jié)果

表4 FB15K-237在不同模型下鏈接預(yù)測(cè)結(jié)果

可以看出，本文方法在WN18RR和FB15K-237數(shù)據(jù)集上均獲得了最低的MR和最高的Hit@10。具體分析如下：(1) 本文方法與ConvKB模型相比，數(shù)據(jù)集WN18RR在MR上降低了4.2%，在Hit@10上提高了3.8;數(shù)據(jù)集FB15K-237在MR上降低了4.7%，在Hit@10上提高了2.8。(2) 在數(shù)據(jù)集WN18RR上，TransE模型的MR指標(biāo)優(yōu)于ConvE、ComplEx等模型；TransE模型的Hit@10指標(biāo)優(yōu)于ConvE、DISTMUL等模型?？梢姡鶞?zhǔn)模型TransE在數(shù)據(jù)集WN18RR上具有很好的表示效果。(3) 和其他模型相比，本文方法具有更好的表示能力，也說(shuō)明了改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)用于知識(shí)圖譜補(bǔ)全具有更好的性能。

3.4 三元組分類

3.4.1實(shí)驗(yàn)設(shè)計(jì)

三元組分類即判斷知識(shí)圖譜中三元組的正確性。引用文獻(xiàn)[9]提出的三元組分類，設(shè)置一個(gè)閾值，對(duì)于任意給定的三元組，使用式(2)所示的打分函數(shù)計(jì)算得分，如果這個(gè)得分低于閾值，則三元組是正確的，否則為錯(cuò)誤。

3.4.2實(shí)驗(yàn)結(jié)果和分析

參照文獻(xiàn)[9]，本文使用基準(zhǔn)數(shù)據(jù)集FB15K進(jìn)行三元組分類實(shí)驗(yàn)。實(shí)驗(yàn)環(huán)境為Window 7 64位系統(tǒng)，物理內(nèi)存為8 GB。FB15K最優(yōu)參數(shù)為N=100，m=300，λ2=0.000 05,dropout=0.1。實(shí)驗(yàn)結(jié)果如表5所示。

表5 三元組分類實(shí)驗(yàn)結(jié)果

可以看出：(1) 本文方法取得了90.5%的準(zhǔn)確率，優(yōu)于DKRL模型,證明在三元組分類這個(gè)任務(wù)上本文方法效果更好。(2) 基于表示學(xué)習(xí)的嵌入模型效果都要好于NTN，說(shuō)明將關(guān)系看作頭實(shí)體到尾實(shí)體的平移的嵌入模型更能表示知識(shí)圖譜中的數(shù)據(jù)和區(qū)分正確的三元組。

4 結(jié) 語(yǔ)

本文針對(duì)知識(shí)圖譜補(bǔ)全提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的方法，利用三元組全局信息，將三元組矩陣作為算法的輸入，和不同的卷積核進(jìn)行卷積操作，得到不同的特征圖，將這些特征圖進(jìn)行連接，得到的向量和權(quán)重作點(diǎn)積運(yùn)算產(chǎn)生一個(gè)得分，分?jǐn)?shù)越低三元組越正確。

(1) 三元組分類實(shí)驗(yàn)結(jié)果表明，本文方法優(yōu)于一些傳統(tǒng)嵌入模型，在鏈接預(yù)測(cè)實(shí)驗(yàn)中，在MR、MRR、Hit@10指標(biāo)上有了明顯提高，從這三個(gè)指標(biāo)可以看出本文方法解決了知識(shí)圖譜中數(shù)據(jù)稀疏問(wèn)題，提高了知識(shí)圖譜的完備性。

(2) 本文方法可以對(duì)普通知識(shí)圖譜和領(lǐng)域性知識(shí)圖譜進(jìn)行補(bǔ)全，同時(shí)也可以應(yīng)用到查詢系統(tǒng)，比如建模三元組(查詢，用戶，文檔)，通過(guò)查找三元組中缺失的實(shí)體或關(guān)系，將缺失的實(shí)體或關(guān)系以三元組的形式添加到數(shù)據(jù)庫(kù)中，從而對(duì)數(shù)據(jù)庫(kù)進(jìn)行補(bǔ)全擴(kuò)充。

另外，針對(duì)得到的實(shí)體或關(guān)系與已有實(shí)體關(guān)系存在不相容或沖突問(wèn)題：使用本文方法判斷不同三元組得分，利用分?jǐn)?shù)判斷三元組正確性；使用實(shí)體或關(guān)系對(duì)齊模型來(lái)判斷不同三元組的正確性，若三元組正確，則在知識(shí)圖譜中可以共存，比如：姚明亦指大姚(別名)。

為提高三元組補(bǔ)全正確率，今后的研究將嘗試修改卷積神經(jīng)網(wǎng)絡(luò)內(nèi)部架構(gòu)，對(duì)三元組特征提取作更深入的研究；將實(shí)體和關(guān)系的描述文本融入到卷積神經(jīng)網(wǎng)絡(luò)中，作為算法的輸入。