Duration-HyTE：基于持續時間建模的時間感知知識表示學習方法

崔員寧 李 靜 沈 力 申 揚 喬 林 薄 玨

1(南京航空航天大學計算機科學與技術學院 南京 211106)2(國網遼寧省電力有限公司 沈陽 110004)

知識圖譜是將人類知識結構化存儲的知識系統，其本質是具有有向圖結構的知識庫，是一種通用的語義知識的形式化描述框架[1].它用節點表示語義符號，用有向邊表示符號之間的語義關系，以結構化三元組的形式存儲現實世界中的實體以及實體之間的關系[2].知識圖譜通常表示為G=(E，R，S),其中E={e1,e2,…，e|E|}表示實體集合，R={r1,r2,…，r|R|}表示關系集合，S=R×E×E表示知識圖譜中三元組事實的集合，三元組以(head entity,relation,tail entity)的形式存儲元事實數據.目前已有的大型知識圖譜，比如Freebase[3]，YAGO[4]，WorldNet[5]等，不僅為研究工作者提供良好的數據資源，也為推動人工智能學科發展和支撐智能搜索、智能問答、個性化推薦等智能信息服務應用提供重要基礎.

知識表示學習問題是貫穿知識圖譜的構建與應用全過程的關鍵問題[6].而知識表示的方法，決定了它的表達能力和語義計算的復雜程度，良好的知識表示方法將給知識應用提供有力的支撐.傳統的結構化三元組表示形式雖具有很強的表達能力，但是難以直接利用計算機做語義計算.而數值化表示方法將知識圖譜中的離散符號(實體、屬性、關系、值等)用連續型數值表示，直接體現語義信息，可以高效地計算實體、關系及其復雜的語義關聯，極大地提高知識圖譜語義計算的效率，已成為知識圖譜研究的重要任務之一.

近幾年，將時間信息用于知識表示學習，迅速成為知識表示學習領域研究熱點.Jiang等人[16]在2016年首次將時間信息用于知識圖譜表示學習中，提出基于翻譯模型的時間感知表示學習方法t-TransE，取得了較好的效果.Dasgupta等人[17]在2018年借鑒TransH的方法，將時間看作產生1對多關系的主要因素，提出基于超平面的時間感知表示學習方法HyTE.HyTE方法的核心思想是將實體和關系通過時間信息映射到時間超平面上，計算評價函數，創造性地將時間信息直接嵌入到超平面空間中.實驗結果顯示，與TransE，TransH，t-TransE，HolE等知識表示方法相比，HyTE對實體和關系鏈接預測的準確度有了顯著提升，引起了廣泛關注.

同類知識的有效持續時間長度往往是相近的，但是由于HyTE方法將知識的有效持續時間切割為一個個獨立的時間片，導致時間片之間是割裂的，因此HyTE方法訓練得到的模型不能有效學習到時間長度的知識.針對這個問題，本文受持續時間模型(duration models)啟發，對知識圖譜中同類型元事實的有效持續時間進行建模，量化計算知識在不同時間片上的有效可信度，將其作用于評價函數和損失函數計算，提出融合超平面和持續時間建模的時間感知知識表示學習方法Duration-HyTE.

本文的貢獻主要有3個方面：

1) 將元事實中的關系分為持續型關系和瞬時型關系，并對知識有效持續時間進行建模，研究知識有效持續時間的分布規律，提出了知識有效可信度.

2) 基于持續時間建模和有效可信度，提出融合超平面和持續時間建模的時間感知知識表示學習方法Duration-HyTE.

3) 在含有時間標簽的知識圖譜通用數據集Wikidata12K，YAGO11K上設計鏈接預測對比實驗，結果表明Duration-HyTE方法實體鏈接、關系鏈接與時間預測的準確度較同類知識表示學習方法有了顯著提升.

1 相關工作

TransE將知識圖譜的實體和關系集合中的每個實體和關系用1個低維向量表示，將三元組集合中的三元組作為訓練樣本.三元組(h,r,t)中的h，r，t分別表示頭實體、關系和尾實體.TransE將關系向量er看作從頭實體到尾實體的翻譯向量，對于2個實體向量eh,et，用eh+er與et的差值為翻譯效果打分.它的評價函數表示為

(1)

TransE方法采用負采樣方法加速訓練.用D+表示正確三元組的集合，負采樣得到的錯誤樣本集合表示為D-.負采樣方法為

D-={(h′,r,t)|h′∈E,(h′,r,t)?D+}
∪{(h,r,t′)|t′∈E,(h,r,t′)?D+}.

(2)

TransH針對TransE方法對于1對多和多對1的關系預測效果較差的問題，將知識圖譜中的關系都用超平面表示，超平面的單位法向量記作ωr.在計算評價函數之前，先將頭尾實體分別映射到關系超平面上.其中TransH方法評價函數表示為

(3)

其中dr表示這對實體間的對應關系.對于同一種關系，可以有多個dr，所以TransH能夠比TransE更好地表示1對多和多對1的關系.

HyTE方法是在TransE的基礎上，受TransH的啟發而設計的時間感知知識表示學習方法.在一些大型知識圖譜中，元事實含有時間標記，這些元事實可以被結構化地表示為四元組(h,r,t,[τstart,τend])，[τstart，τend]表示這個元事實有效的時間，τstart，τend分別表示知識有效時間的開始時間點和結束時間點.Dasgupta等人[17]認為時間是產生1對多和多對1關系的主要原因，因此他們提出了HyTE，將每個時間片都用1個超平面表示，超平面的單位法向量記作ωr.在計算評價函數之前，先將頭尾實體和關系向量映射到時間超平面上，再計算評價函數.HyTE的評價函數為

(4)

HyTE最主要的貢獻是將三元組有效時間拆分為時間片，將時間超平面的法向量作為訓練參數，和實體與關系向量一起訓練.其優勢是將有效時間信息巧妙地包含到了模型中，所以它對于時間感知的知識圖譜的預測效果與TransE和TransH相比有顯著提升.但也正是由于HyTE方法將有效時間拆分為獨立的時間片，因此模型在訓練過程中不能學習到有效持續時間長度的分布知識.本文針對HyTE方法的這個問題，對知識有效持續時間建模，改進訓練過程并提出融合超平面與持續時間建模的時間感知知識表示學習方法Duration-HyTE.

2 本文方法

本文針對HyTE方法在訓練過程中模型不能學習到有效持續時間長度的分布知識的問題，對知識有效持續時間建模，計算知識有效可信度，應用到評價函數和損失函數，提出融合超平面與持續時間建模的時間感知知識表示學習方法Duration-HyTE.

模型訓練算法的流程是：1)持續時間建模，對包含各類關系的元事實數據進行有效持續時間建模，獲得該類元事實有效可信度的模型；2)將四元組中的時間拆分成時間片，并按照時間點計算有效可信度，插入四元組生成五元組(頭實體，關系，尾實體，時間片，有效可信度)；3)初始化訓練參數，按照預設維度隨機地初始化實體、關系和時間片的向量集；4)從五元組集合中隨機抽取1個小型訓練集,并由五元組生成負樣本；5)將正負樣本映射到各自的時間片后計算評價函數，根據損失函數調整模型訓練參數；6)輸出訓練得到的模型，重復4)5)繼續訓練，訓練次數達到預設的次數時停止.Duration-HyTE方法的框架如圖1所示：

Fig.1 Framework of the proposed method圖1 所提方法的結構圖

Fig.2 Distribution of the persistent relation圖2 持續型關系持續時間分布圖

2.1 基于持續時長的關系分類

持續時間建模指對某類事件的持續時間建立模型，以方便計算某事件在特定時間點上的危險系數、生存函數(可靠函數)等，對未來的同類事件的持續時間和持續時間上的可靠程度做出預測.

知識圖譜中的每個包含時間標簽的元事實四元組(h,r,t,[τstart,τend])記錄對應元事實(h,r,t)在時間維度上從無效到有效再到無效的過程.其中有效的時間段[τstart,τend]稱為有效持續時間，它本質上也是一種持續時間.包含某種關系rx的三元組(h，rx，t)組成的所有元事實三元組是同一類事件.按照事件的持續時間將關系分為持續型關系和瞬時型關系2種類型：

1) 持續型關系.持續型關系是指在某一時間段內持續有效的關系，這類關系的特點是持續時間不為0.例如從YAGO11K數據集中抽取的2個持續型關系hasWonPrize和graduatedFrom的持續時間數據，它們的持續時長不為0且滿足某種分布規律，其分布統計如圖2所示，其中橫坐標為持續年數，縱坐標表示持續該年數的四元組元事實總數.

2) 瞬時型關系.瞬時型關系是指發生在某一時刻，并且不會持續的關系.例如從YAGO11K數據集中抽取的WasBornIn和DeadIn這2個瞬時型關系的持續時間數據，它們的持續時長為0，其持續時間分布統計如圖3所示，其中橫坐標為持續年數，縱坐標表示持續該年數的四元組元事實總數.

Fig.3 Distribution of the transient relation圖3 瞬時型關系持續時間分布圖

2.2 融合持續時間建模的改進學習算法

受持續時間建模的啟發，對知識圖譜三元組的有效持續時間進行建模，計算某類事件在特定有效時間點的有效可信度.

持續時間建模的主要對象是含有持續型關系的數據.文獻[18]中介紹了持續時間模型，并定義了生存函數(survival function)，也稱可靠性函數(reliability function)，它表示自事件發生開始，經過某長度時間后該事件仍在持續的概率.若T是連續型隨機變量，且服從累積分布函數F，那么在t∈[0,+∞)上，可靠函數的公式表示為

(5)

式(5)目前多用于交通事故、設備故障等事件的時長估計和風險評估，可靠函數表示從事件發生開始后時刻t事件仍在持續發生的可靠程度.知識的有效持續時間也是一種特殊的持續時間，與文獻[18]中應用場景不同的是，知識圖譜中包含多種類型的事件，每種事件的類型由三元組中的關系決定.對每個事件的持續時間分別建模，便可以推導每種關系事件的可靠函數，所以知識有效的可靠程度也可以用持續時間建模來計算.為方便大型知識圖譜中大量元事實的持續時間建模，本文采用能夠快速有效模擬大多數有效持續時長分布的高斯函數對持續型關系的持續時間建模.所以不同關系概率密度函數f可以表示為

(6)

其中，σr指包含關系r的所有元事實持續時長的標準差.與傳統持續時間建模不同，本文有效持續時間建模的目的是計算每個四元組的有效持續時間上，某個特定時間點上知識有效的可靠程度.定義在某個四元組的有效時間段內某個時間點的有效可靠程度為有效可信度.

定義1.知識圖譜中包含有效時間區間的四元組(h,r,t,[τstart，τend])，自開始時間τstart經過時間t后，知識仍然有效的概率稱為有效可信度，記作cvalid.

四元組(h,r,t,[τstart,τend])持續時間為τpresent時，累積分布函數F表示為

(7)

其中，σr指包含關系r的元事實持續時長的標準差，τend指事件的有效時間的結束時間點，τpresent為當前時間點.式(6)模擬了2.1節中持續型關系事件的概率分布情況，式(7)表示這種持續型關系事件的可靠函數.根據式(5)(7)，可以推導出包含持續型關系的元事實四元組(h,r,t,[τstart,…,τend])持續時間為時刻τpresent的有效可信度：

(8)

與持續型關系不同，瞬時型關系的持續時間為0，因此包含瞬時型關系的元事實四元組的有效可信度在有效的時間點上為1，其余無效的時間點上為0.

另外，由于負樣本在知識圖譜中是不正確的知識，所以無論何時，它不正確的有效性都是成立的.因此負樣本作為不正確知識的有效可信度在任何時間點上都為1.

綜合上述對正負樣本有效可信度取值問題的討論，正負樣本的有效可信度計算為

(9)

其中，Rpersistent為持續型關系集合.根據式(9)，可以發現正樣本有效可信度的取值在[0,1]上，而負樣本的有效可信度為1，即無論在哪個時間點上，正樣本的有效可信度都比負樣本的小，若直接將這樣的有效可信度用于訓練，會降低正樣本在訓練中的作用，因此實際訓練的過程中，在正樣本的有效可信度基礎上增加了平衡因子q(q作為超參數)，目的是給予有效時間內正樣本的有效可信度一定的糾正，以保持正負樣本在訓練中的平衡.

通過上述方式，對知識有效時間段進行了持續時間建模，使知識有效性的可信程度能夠用有效可信度量化計算，為將有效可靠度用于指導知識的嵌入表示提供了基礎.

HyTE模型中將元事實的有效可信度看作二值分布，他們認為在有效持續時間上，元事實的有效可信度都為1，其他時間上有效可信度都為0.而我們認為在表示學習過程中，應該給有效可信度更高的訓練樣本以更高的權重.基于這種思想，將有效可信度作用于評價函數，得到改進的知識表示學習算法Duration-HyTE.二者的異同如表1所示:

Table 1 Comparison Between HyTE and Duration-HyTE表1 HyTE與Duration-HyTE對比表

從表1中可以得到信息：1)Duration-HyTE與HyTE最主要的不同是持續時間上的有效可信度，Duration-HyTE使有效可信度的變化曲線更加平滑；2)Duration-HyTE將有效可信度作用于評價函數，使可靠性高的樣本在訓練中的權重更大；3)Duration-HyTE與HyTE方法相比，沒有增加更多的訓練參數，而訓練參數越少，計算效率就越高，所以Duration-HyTE保持了HyTE方法的高計算效率.

2.3 改進模型的損失函數

Duration-HyTE方法是一種時間感知的知識表示學習方法，在計算評價函數時，先將其映射到時間平面上.將時間用超平面表示，對于T個時間片，用T個不同的時間超平面的法向量來表示.Duration-HyTE的評價函數為

(10)

其中,Pτ(e)表示將頭實體、尾實體或者關系向量投影到時間點τ的時間超平面上得到的向量.

Duration-HyTE方法的損失函數為

(11)

其中，D+表示每個時間點τ上的有效三元組集合，在有效三元經組基礎上采集負樣本，得到負樣本集合D-.本文針對鏈接預測任務采用不考慮時間的負采樣方法(time agnostic negative sampling, TANS)：

D-={(h′,r,t,τ)|h′∈E,(h′,r,t)?D+}∪
{(h,r,t′,τ) |t′∈E,(h,r,t′)?D+}.

(12)

式(12)中只是將頭和尾實體做替換得到負樣本，是一種不考慮時間維度的負采樣方法.

針對時間預測任務采用依賴時間的負采樣方法(time dependent negative sampling, TDNS)：

(13)

式(13)從時間維度上替換頭和尾實體，以在其他時間片有效但在原時間片上無效的元事實作為負樣本.

式(12)是一種忽略時間維度的負采樣方法，這種方法采集得到的負樣本更側重于實體和關系向量參數的訓練，有助于區分相近的實體，是一種適用于實體和關系預測任務的負采樣方法；而式(13)是一種依賴時間的負采樣方法，這種方法采集得到的負樣本更側重于時間超平面參數的訓練，有助于區分相近的時間超平面，是一種適用于時間預測任務的負采樣方法.所以在實驗部分中，實體和關系預測任務采用的負采樣方法是式(12)，時間預測任務采用的負采樣方法是式(13).

為了避免負樣本數目過大，防止正負樣本比例失衡，設置超參數neg_sample來限制負樣本的數目，neg_sample表示每個正樣本對應的負樣本數目.在做負采樣時，每個正樣本對應的負樣本個數都被限制在neg_sample內，從而限制了負樣本的總數目.而且，為了提高算法執行效率，負采樣在載入數據集時執行，即在訓練開始之前做負采樣并保存，在訓練過程中隨對應的正樣本一起被抽樣.這樣就避免了多次訓練中正樣本的重復負采樣，提高了算法執行效率.

融合超平面和持續時間建模的知識表示學習的模型訓練算法如算法1所示：

算法1.Duration-HyTE模型訓練算法.

輸入：訓練集S、實體集E、關系集R、時間集T、邊界γ、調整因子q、維度數dim、迭代數N；

輸出：實體向量集VE、關系向量集VR、時間法向量集VT.

①E中每個e隨機初始化dim位向量，得到VE，R中每個r隨機初始化dim位向量，得到VR，T中每個τ隨機初始化dim位向量，得到VT；

② 正則化VR中每個向量；

③ 創建正樣本集合Spos、負樣本集合Sneg；

④ FOR EACH (h,r,t,[τstart,τend])∈S

⑤ FOR EACHτ∈[τstart,τend]

⑥ 計算時刻τ時(h，r，t)的cvalid；

⑦Spos插入正樣本(h，r，t，τ，cvalid)；

⑧ FOR迭代次數j=1,2，…，neg_sample

⑨ 負采樣并插入負樣本集Sneg；

⑩ END FOR

3 實驗結果與分析

為了驗證Duration-HyTE方法的有效性，分別在目前通用的含有時間標簽的數據集Wikidata12K，YAGO11K上進行了實體鏈接預測實驗、關系鏈接預測實驗與時間預測實驗，并與同類算法比較.

為了進一步驗證Duration-HyTE在持續型關系型數據集上的預測效果，在新建的2個持續型關系數據集WDP12K，YGP10K上做了進一步的實體和關系鏈接預測實驗.

3.1 數據集

Wikidata[19]和YAGO是2個大型的知識圖譜，也是知識表示學習領域通用的數據集.YAGO11K，Wikidata12K是從這2個數據集中抽取了包含時間標記信息的元事實組成的時間感知的頻繁關系知識圖譜數據集.YAGO11K數據集是從YAGO數據集包含時間標記的事實中抽取得到的，其中含有時間標簽的元事實以(#factID,occurSince,ts),(#factID,occurUntil,te)的形式保存.其中包含20 500個三元組、10 623個實體和10個頻繁關系.與YAGO11K類似，Wikidata12K是從Wikidata數據集中抽取得到的，其中包含24個頻繁關系、40 621個三元組和12 554個實體.

為了進一步證明本文提出模型訓練算法在持續型關系數據集上的有效性，我們對Wikidata12K，YAGO10K數據中包含持續型關系的數據進行進一步抽取，從YAGO數據集的四元組數據中抽取了四元組中包含持續型關系的15 525條元事實數據，然后將元事實中包含的10 143個實體和8個關系抽取出來，形成新的持續型關系數據集YGP10K.對Wikidata數據集采樣同樣的抽取方法，抽取得到WDP12K，其中共有20種關系、11 943個實體和34 496條元事實數據.實驗所用數據集如表2所示：

Table 2 Test Datasets表2 實驗數據集

3.2 實驗設定

1 )評價指標.為了準確地評估我們的模型方法，我們采用了知識圖譜表示學習鏈接預測通用的評價指標[20].對于每一個需要測試的三元組，分別將頭和尾實體去掉，然后用數據集中的所有實體來代替，映射到時間超平面后用評價函數打分，將所有的實體評價結果進行排序.同樣地，將三元組中的關系向量刪除，然后用數據集中所有的關系來代替，并用評價函數來打分.評價指標主要有3個：

① 平均排名(mean rank， MR).統計正確實體或關系在所有實體或關系中的平均排名作為實體或關系鏈接預測評價指標.

② Hits@10.統計正確實體在所有實體中排名前10的數據所占百分比作為實體鏈接預測的評價指標.

③ Hits@1.統計正確關系在所有關系中排名第1的數據所占的百分比作為關系鏈接預測評價指標.

2) 基線設置.第1個基準方法是TransE，這是基于翻譯模型中第1個被提出的方法，它不考慮時間標記信息，將三元組集作為訓練集，每個實體和每個關系都會輸出1個向量.HolE是一種知識表示學習的方法，它的預測效果是目前的知識表示學習方法中比較突出的，它也是一種不考慮時間標記的方法.TransH是在TransE基礎上改進的一種知識表示學習方法，它首次將超平面應用到知識表示學習中，HyTE方法的靈感也來自于此.t-TransE也是一種基于翻譯的模型，它首次將時間信息應用于知識表示學習.HyTE是在TransE和TransH的基礎上改進的時間感知的知識表示學習方法.最后，Duration-HyTE是本文提出的方法.

3) 參數設定.對于所有的方法，在2個數據集上都保持b=50 000，嵌入維度dim∈{64,128,256}，邊界γ∈{1,2,5,10}，學習率l∈{0.01,0.001,0.000 1}，調整q∈{0.5,0.6,0.7}，負采樣數neg_sample∈{1,2,5}.實驗中超參數設定為:dim=128，γ=10，l=0.000 1，評價函數使用l1-norm范式，q=0.6或q=0.7(Wikidata12K數據集為0.6，YAGO11K數據集為0.7)，neg_sample=5.

3.3 實體鏈接預測實驗

為了驗證模型對于實體鏈接預測的效果，在Wikidata12K,YAGO11K數據集上，分別作了頭實體和尾實體的鏈接預測實驗，測試的方法是用每種方法訓練得到的模型對測試集中的三元組做頭尾實體預測，測試結果的評價指標是正確頭尾實體的MR和Hits@10.Duration-HyTE與其他方法的實驗性能對比，結果如表3所示：

Table 3 Results of Entity Prediction表3 實體預測結果表

Note: The best values are in bold.

如表3所示，在2個數據集上，Duration-HyTE的實驗性能都優于基準方法，其中YAGO11K上的頭實體預測效果提升了23.7%，尾實體的鏈接預測基本持平，Wikidata12K上的頭尾實體鏈接效果分別提升了25.7%和35.8%.說明Duration-HyTE時間感知知識表示學習算法對于包含時間標簽的知識圖譜數據集的學習比其他方法更有效.

為了進一步分析本文的方法對HyTE的改進效果，我們給出了HyTE和Duration-HyTE在Wikidata12K上前500個epoch上得到的模型的實體鏈接預測結果.圖4直觀地展示了2種方法隨著循環的進行，尾實體預測效果的變化情況.

Fig.4 Comparison chart of prediction mean rank of tail entities圖4 尾實體預測平均排名的變化曲線圖

Fig.5 Comparison chart of prediction Hits@10 of tail entities圖5 尾實體預測Hits@10變化曲線圖

從圖4可以發現，HyTE和Duration-HyTE尾實體預測的變化曲線相似，HyTE在第320個epoch時得到最佳表示模型，Duration-HyTE在第280個epoch時得到最佳表示模型，Duration-HyTE方法得到的模型預測結果一直優于HyTE方法得到的模型.

另一項評價指標尾實體預測結果的Hits@10的變化曲線如圖5所示：

3.4 關系鏈接預測實驗

在Wikidata12K，YAGO11K數據集上，對Duration-HyTE方法訓練得到的模型進行關系的鏈接預測，測試方法是用每種方法訓練得到的最佳模型對測試集中的三元組做關系鏈接預測，實驗的評價指標是正確關系向量的平均排名(MR)和命中第1的百分比Hits@1.將實驗結果與基準方法對比，實驗結果如表4所示：

Table 4 Results of Relation Prediction表4 關系預測結果表

Note: The best values are in bold.

Fig.6 Comparison chart of prediction mean rank of relation圖6 關系預測平均排名的變化曲線圖

表4的結果對比顯示，在Wikidata12K，YAGO11K數據集上，Duration-HyTE算法的關系預測都比基準方法更加準確，關系的預測效果分別提升了2.7%和7.3%.

圖6繪制了HyTE和本文方法訓練得到的模型對于關系預測的結果隨epoch變化的曲線.盡管HyTE方法對于關系的預測排名已經接近1，優化的空間很小，但是Duration-HyTE方法對于關系的預測效果仍略優于HyTE.

關系鏈接預測的另一項評價指標Hits@1的對比結果如圖7所示，與尾實體的預測的Hits@10變化曲線相似，Duration-HyTE方法訓練得到模型的預測結果優于HyTE方法.

為了更清晰地展示2個模型關系預測測試結果的不同，我們從關系的預測結果中提取了實驗結果中的一些典型例子來對比HyTE和Duration-HyTE對不同關系的預測，如表5所示.

表5中列1是刪除關系后的四元組，列2，3分別是HyTE和Duration-HyTE對缺失關系的預測排名的前2名，其中加粗的關系為正確的預測值.

Note: The right relations are in bold.

3.5 持續型關系數據鏈接預測實驗

2.1節介紹了基于持續時長的關系分類，其中將關系按照持續時間分為持續型關系和瞬時型關系2類.而有效持續時間建模的對象主要是針對持續型關系，所以本節將在持續型關系型數據集上對Duration-HyTE方法做進一步的驗證.3.1節中介紹了我們從Wikidata12K，YAGO11K中抽取了所有包含持續型關系的數據，新建了2個持續型關系數據集WDP12K，YGP10K.HyTE，Duration-HyTE訓練算法在數據集WDP12K，YGP10K上進行對比實驗，用知識表示學習得到的模型做鏈接預測，得到的實體鏈接預測結果如表6所示，關系鏈接預測結果如表7所示.

Table 6 Results of Entity Prediction in Persistent Relation Dataset表6 持續型關系數據集實體預測結果表

Note: The best values are in bold.

Table 7 Results of Relation Prediction in Persistent Relation Dataset表7 持續型關系數據集關系預測結果表

Note: The best values are in bold.

Duration-HyTE方法得到的模型在持續型關系數據集上取得了比HyTE更好的結果，在2個數據集上的尾實體預測分別提升了13.1%和13.4%，頭實體鏈接預測性能分別提升了13.4%和8.9%，關系鏈接預測性能分別提升了1.7%和8.8%.這進一步驗證了我們的模型訓練算法在持續型關系數據集上的有效性.

3.6 時間預測實驗

目前，知識圖譜中的時間標注不夠完整，缺失情況嚴重，因此知識有效時間預測是一項重要任務.時間預測任務就是給定測試的對象(h,r,t,τx)，在所有時間超平面上投影三元組的關系和實體，計算評價函數，并以此計算每個時間超平面的排名.如果被測對象是持續型關系三元組，那么考慮有效時間間隔中最低的正確時間超平面排名.在此任務的訓練過程中我們采用了式(12)(13)這2種負采樣方法，其他的訓練過程與鏈接預測實驗一致.對比實驗結果如表8所示：

Table 8 Mean Rank of Time Prediction表8 時間預測平均排名結果表

Note: The best values are in bold.

表8展示了HyTE和Duration-HyTE在采用2種負采樣方法時在時間預測任務上的對比實驗結果.實驗結果表明依賴時間的負采樣方法(TDNS)更適合用在時間預測任務上，這是因為它更專注于使模型的時間超平面分離，從而提升了時間預測效果.

2種方法在Wikidata12K數據集上采用TDNS負采樣方法的平均排名的變化曲線對比結果如圖8所示：

Fig.8 Comparison chart of prediction mean rank of time圖8 時間預測平均排名的變化曲線圖

4 總 結

本文受持續時間模型啟發，針對知識有效持續時長的分布問題，對知識的有效持續時間進行建模，計算知識在不同時間片上的有效可信度，將其作用于訓練過程評價函數和損失函數的計算，提出了融合超平面和持續時間建模的時間感知知識表示學習方法Duration-HyTE.并在2個通用數據集和新建的2個持續型關系數據集上設計了對比驗證實驗.實驗結果表明Duration-HyTE算法訓練得到的模型對于實體和關系的鏈接預測與時間預測效果都有顯著提升，尤其是在Wikidata數據集上的頭尾實體預測準確度分別提高了25.7%和35.8%.

含有時間標簽的知識圖譜有大量的缺失值，目前已有的方法大多將其默認為最大或最小值，這給模型正確地學習時間知識造成了阻礙.因此，我們將會繼續研究含時間標簽的大型知識圖譜時間標簽的預測和迭代補全問題，提高知識標簽的數據質量，更好地訓練模型，提高鏈接預測的準確度.目前流行的知識表示學習都采用隨機的負采樣方法，本文鏈接預測任務所采用的TANS方法也是一種隨機的負采樣方法，如何改進負采樣方法，獲得更高質量的負樣本也是一個很好的研究點.另外，如何將Duration-HyTE等時間感知的知識表示學習方法應用于時間相關的關系抽取、知識融合和推理等，也是值得深入研究的方向.