基于語義層次建模的跨語言知識單元遷移方法

管子鍵，吳 旭，3，頡夏青，孫利娟

(1.北京郵電大學網絡空間安全學院，北京100876；2.可信分布式計算與服務教育部重點實驗室，北京100876；3.北京郵電大學圖書館，北京100876；4.北京郵電大學經濟管理學院，北京100876)

1 引言

不同語種知識在互聯網中深度融合，形成的多語言知識庫一方面彌補了單語言知識圖譜知識不完備的問題，另一方面又為不同語言的知識重疊和知識互補研究帶來了新的挑戰。因此將遷移學習的思想就利用到跨語言知識圖譜研究中，其核心思想是利用已知的跨語言對齊語料，基于語義特征表示和跨語言遷移模型來實現從一種語言到另一種語言的遷移學習，構建出語義豐富的跨語言知識圖譜。跨語言知識圖譜作為大數據時代的知識引擎，能夠提升數據獲取速率，降低知識應用門檻，提高知識利用效率，更好地服務于人工智能的各個領域。對跨語言領域知識的遷移更有助于多語言者工作學習和網絡空間的內容治理。

近年來，基于嵌入的技術越來越收到研究者的關注，知識圖譜嵌入是將實體、屬性和關系等編碼到一個低維的空間中，表示為向量(或矩陣、張量)，通過嵌入之間轉換關系的有效計算，完成對知識遷移。雖然基于嵌入的技術可以幫助提高單語知識的完整性，但對于跨語言知識在很大程度上還未被深度探索，匹配同一實體的語際鏈接(Inter-Lingual Links，ILLs)和表示相同關系的三元組對齊(Triple-Wise Alignment，TWA)問題，都對解決多語言知識庫的知識融合和獨立演化問題有著巨大幫助。由于以下幾個原因，使得這種語際知識轉換比單語實體鏈接更加困難：(1)各語言表達習慣和書寫方式的不同；(2)各語言實體含義范圍不盡相同；(3)跨語言已知對齊知識只占知識庫的一小部分。此外，跨語言知識遷移對單語言知識圖譜的完整性有著更高的要求。

為解決領域內跨語言知識的遷移學習問題，本文提出了一種跨語言領域知識單元遷移方法，通過基于語義層次建模的知識嵌入和跨語言知識單元對齊技術，完成對領域內知識從一種通用語言到一種小眾語言的遷移，擴展了語料和標注稀疏的小眾語言上的領域知識，同時也在一定程度上提升了跨語言知識單元對齊任務的表現。

2 相關工作

近年來，已有不少針對單語言的知識圖譜嵌入模型被提出[16-23]，單語知識圖譜嵌入研究為知識圖譜表示領域奠定了基礎。現有跨語言知識圖譜的不少研究就是基于單語知識圖譜嵌入開展的。

多語言知識圖譜對齊的主要目的是利用知識圖譜嵌入相關技術，借助圖譜中各類信息，完成圖譜中各元素對齊，實現跨語言知識融合擴展。近些年有不少多語言知識圖譜對齊技術被提出，主要分為以下幾類：

1)基于結構信息的方法：其基礎思想均為利用知識圖譜的圖結構信息，對跨語言知識圖譜進行向量表示，從而完成實體對齊，不同的是其嵌入模型和對向量表示的利用方式不同。

MTransE[1]，基于TransE模型[16]分別編碼各個語言的實體和關系至一個獨立空間，然后學習不同表示空間之間的轉換，該模型保留了原語言空間的結構，提供了三種空間轉換的方式：基于距離的軸校準、基于向量空間的向量轉換、基于向量空間的線性變換。

BootEA[10]模型優化了負例選擇方式，由以往的隨機選擇改為選擇余弦距離最近的多個實體中的一個，通過自舉的方式，為添加新實體對的操作增加了編輯和刪除實體對的能力，能有效地解決IPTransE中錯誤信息的傳播。

MtransD[4]模型是基于TransD[18]的知識嵌入模型，發揮嵌入向量語義信息和空間信息分離的特性，利用對齊三元組的語義相同、空間不同特性，實現跨語言實體的對齊。但計算復雜度較高。

2)融合額外信息的方法：除利用知識圖譜的結構信息外，實體的屬性信息、描述信息同樣蘊含著深層次的語義信息。

JAPE[6]在結構之外利用了實體的屬性信息，屬性部分借鑒Skip-gram模型的思想，將對齊實體的屬性作為當前實體屬性的上下文進行學習，聯合結構嵌入和屬性嵌入，根據余弦相似距離得到最終結果。

KDCoE[7]利用了實體的描述信息，基于多語言的平行語料訓練跨語言詞向量，使用注意力門控的循環單元編碼器得到實體描述嵌入向量，結構部分借鑒MTransE思想，兩個模塊共同訓練一個迭代過程，并使用產生的新的跨語言對齊鏈接擴展訓練集。

GCN-Align[13]基于GCN模型分別對多語言知識圖譜的關系結構和屬性進行編碼，使用GCN來建模實體間的等價關系，通過實體-實體的鄰接矩陣編碼當前節點的特征向量。使用one-hot向量填充實體-屬性鄰接矩陣，使用GCN卷積編碼屬性信息，最后使用兩部分表示共同計算實體間的跨語言距離。

REA[14]則是首次提出跨語言實體對齊中的噪音問題，提出一種基于迭代訓練的除噪算法，從而進行魯棒的跨語言知識圖譜實體對齊，對后續跨語言實體對齊的去噪研究具有重要的開創性意義。

多語言遷移學習也被廣泛用于知識問答、機器翻譯等領域。M Bornea等人[15]提出通過在語義空間中拉近多語言嵌入來改善跨語言遷移策略，提出的兩種新策略顯著提高了跨語言(零資源)遷移的性能。

融合額外信息的實體對齊方法需要原始的多語言知識圖譜具有除關系結構信息以外的其它更多信息，這對本就語料匱乏的領域小語種知識圖譜增加了額外的負擔，因此如何僅利用知識圖譜的關系信息，高效且高質地完成對跨語言圖譜的建模和知識的遷移就成為了當前亟需解決的問題。

3 基于語義層次感知的跨語言知識單元遷移模型

基于語義層次感知的跨語言知識單元遷移模型(Semantic Hierarchy-Aware based Cross-lingual Knowledge Units Transfer Model，SHACUT)的基本思想是通過知識圖譜中知識單元的不同語義層次，將不同語言的知識圖譜嵌入各自的向量空間，利用種子對齊庫，挖掘出跨語言向量空間之間的轉換，通過計算知識單元距離和置信度，完成鏈路預測和圖譜補全，實現跨語言實體、關系、屬性等知識單元(Knowledge Unit)的遷移(如圖1)。

圖1 SHACUT模型基本原理流程圖

3.1 多語言知識圖譜

本文所提出的模型由兩個部分組成，一部分是對每種語言實現基于語義層次感知的知識模型，另一部分是利用現有的少量對齊集學習跨語言轉換的遷移模型。

3.2 知識模型

知識模型(Knowledge Model，KM)是基于語義層次感知的知識表示，借鑒了HAKE[20]模型對于實體和關系的建模方法，本文將單語知識圖譜中的知識單元根據語義層次的不同分為了兩類，即：

1)層次結構不同級別的知識單元。例如：“哺乳動物”和“狗”、“樹”和“棕櫚樹”；

2)層次結構相同級別的知識單元。例如：“狗”和“貓”、“棕櫚樹”和“楊樹”。

為了對這兩類知識進行建模，知識模型將同一語言的知識單元嵌入到一個極坐標系中，即一個知識單元的嵌入表示由模量部分和相位部分組成，圖2為知識模型的一個簡單示例。

圖2 SHACUT知識模型的簡單示例

用em(e為h或t)和rm表示知識單元的模部分的嵌入，用ep(e為h或t)和rp表示知識單元的相位部分的嵌入。在極坐標系中，徑向坐標用于對不同語義層次的知識單元建模，角度坐標用于對同一語義層次的知識單元建模，兩者組合實現語義層次感知的知識單元建模。

3.2.1 模部分

模部分的嵌入主要是對不同語義層次的知識單元進行建模，受“樹”數據結構的啟發，可以將具有關系的不同層次的知識單元看作“樹”的各個“葉子”節點，用節點(知識單元)的深度來建模不同層次的知識單元，因此，模量信息可以對上述類別1)中的知識單元進行建模。hm和tm的向量表示為hm和tm，則模部分可以表示為

hm°rm=tm

(1)

dr，m(hm，tm)=‖hm°rm-tm‖2

(2)

其中，‖·‖2表示l2范數，dr，m(hm，rm)表示在關系r下，頭知識單元h和尾知識單元t的模部分的距離。允許知識單元的嵌入項為負，不允許關系的嵌入項為負，即[rm]i>0，因為知識單元的嵌入可以幫助預測兩個知識單元之間是否存在關系。

對于正例三元組(h，r，t1)和負例三元組(h，r，t2)，目標是最小化dr，m(hm，t1m)，最大化dr，m(hm，t2m)，使得dr，m(hm，t2m)盡可能地大于dr，m(hm，t1m)，以最大差異化正負三元組。此外，考慮到樹結構的特性，層次結構較高的知識單元的模量盡可能得小，這樣更接近于樹的根。

只使用模部分來表示知識圖譜，那么類別2)中的知識單元都將具有相同的模量，這使得這些知識單元很難被區分，因此，需要一個新的模塊來對類別式(2)中的知識單元進行建模。

3.2.2 相位部分

相位部分的嵌入主要是對同一語義層次上的知識單元進行建模。受同一圓上的點(即具有相同的模量)可以相對于圓心具有不同的角度的啟發，可以將同一語義層次上的知識單元看到是同一圓上不同相位上的節點，以此來建模類別式(2)中的知識單元。hp和tp的向量表示為hp和tp，則相位部分可以表示為

(hp+rp)mod2π=tp

(3)

其中，hp，rp，tp∈[0，2π)k，相應的距離函數為

dr，p(hp，tp)=‖sin((hp+rp-tp)∕2)‖1

(4)

其中，‖·‖1表示l1范數，sin(·)表示為每個輸入的元素進行正弦函數操作，由于相位具有周期性，因此這里使用正弦函數來測量相位之間的距離，dr，p(hp，tp)表示在關系r下，頭知識單元h和尾知識單元t的相位部分的距離。

3.2.3 知識模型表示

結合模部分和相位部分，知識模型可以將知識單元映射到極坐標系中，其中徑向坐標和角坐標分別對應于模部分和相位部分，即知識模型將一個知識單元e表示為[em；ep]，其中em和ep分別由模部分和相位部分生成，[·；·]表示兩個向量的拼接。可以發現，[[em]i；[ep]i]是極坐標系中的一個2維點。可以將SHACUT的知識模型表示如下

(5)

dr(h，t)=dr，m(hm，tm)+λdr，p(hp，tp)

=‖hm°rm-tm‖2+λ‖sin((hp+rp-tp)∕2)‖1

(6)

其中，λ∈，為模型學習得到的參數。相應的得分函數為

fr(h，t)=-dr(h，t)=-dr，m(hm，tm)-λdr，p(hp，tp)

(7)

當兩個知識單元具有相同的模量時，模部分dr，m(hm，tm)=0，但相位部分dr，p(hp，tp)可以相差很大。通過模部分和相位部分的線性疊加可以建模類別式(1)和式(2)中的知識單元，實現基于語義層次的建模。

本文采用了HAKE原始論文中關于對dr，m(hm，tm)的優化，即在dr，m(hm，tm)中加入混合偏差(mixturebias)[20]，以此來提高SHACUT知識模型的性能，優化后的dr，m(hm，tm)如下所示

(8)

3.2.4 知識模型損失函數

為了得到更好的訓練結果，這里采用RotatE[19]模型中使用的負采樣損失函數和自我對抗訓練方法，最終單語知識模型的損失函數為

Sa，KM=S正-S負

(9)

(10)

SKM=Sa，KM+Sb，KM

(11)

3.3 遷移模型

遷移模型(Transfer Model，TM)是為了構造三元組對(Ta，Tb)∈A(La，Lb)在各自向量空間之間的變換，將跨語言對齊問題看作不同嵌入空間的拓撲變換，基于知識模型得到的各語言三元組嵌入空間，推導得到向量空間之間的線性變換，通過計算變換后知識單元的距離和置信度，得到新的對齊知識單元，從而進行鏈路預測和圖譜補全。

(12)

(13)

對于跨語言知識圖譜(GLa，GLb)以及對齊種子庫A(La，Lb)，首先分別對各自語言的KG進行基于語義層次建模的嵌入表示，再通過對子種子的鏈接訓練得到GLa→GLb的向量空間轉換矩陣，SHACUT的目標是最小化損失函數

S=SKM+αSTM

(14)

其中α是SKM和STM的權重超參數。

在實際應用中，跨語言對等體的查找通常是通過計算潛在對等體之間的距離來評估對齊的置信度，置信度越高就表明搜索到的目標知識單元是源知識單元的對等體的可能性越高，知識單元對的置信度con∈(0，1]

(15)

根據置信度大小，得到新的對齊知識單元，通過新的對齊知識單元可以預測源KG可能存在的潛在關系，實現“實體-關系-實體”、“實體-屬性名-屬性值”等的鏈路預測以及知識不完備的圖譜補全，從而完成跨語言知識單元遷移。

4 實驗

4.1 實驗設計

在實際應用中，很多時候領域小語種知識圖譜比較稀疏，不具備豐富的實體描述和屬性信息，這就很難通過融合額外信息的跨語言知識單元對齊方法對領域稀疏小語種知識圖譜進行對齊和補全，因此，通過對圖譜結構信息的深度語義挖掘就成為一種行之有效的方法。本文所提出的SHACUT模型即是解決僅包含結構信息的跨語言知識圖譜遷移問題。

為了最大程度地貼近實際應用場景，本文設計了兩部分實驗，一是在同樣是解決僅針對結構信息的跨語言知識圖譜遷移的MTransE模型上，二是在本文提出的模型上，同時對公開通用語種知識圖譜和領域小語種知識圖譜建模進行對照實驗，通過縱向和橫向兩個維度的分析，驗證本文所提SHACUT模型在僅包含結構信息的公開通用知識圖譜上的正確性和在僅包含結構信息的領域小語種知識圖譜上的有效性。

4.2 數據集

為了驗證本文所提出模型的效果以及對于領域知識的適用性，本節選擇包含英語(en)和法語(fr)KG的WK3l知識庫[1]來驗證SHACUT模型在公開數據集上的效果，選擇包含中文(zh)和阿拉伯語(ara)KG的military領域知識庫來驗證SHACUT模型在領域知識集上的適用性。WK3l知識庫中的多語言KG的數據為DBpedia’s dbo：Person領域，其中部分三元組通過驗證知識單元的ILLS和DBpedia本體在某些關系上的多語言標簽實現對齊，本文以WK3l＿60k數據集作為實驗對象。military領域知識庫的多語言KG的數據主要由軍事武裝知識構成，其中部分三元組通過機器翻譯后的人工審核校對實現對齊(見表1)

表1 WK3l＿60k和military數據集數量統計

4.3 評價指標

參考此類任務模型的評價指標，本文使用hits@k、MR(Mean Rank)、MRR(Mean Reciprocal Rank)來評估模型的性能。知識單元對齊任務中的hits@k指標表示當前語言所有知識單元匹配知識單元時，真實的對齊知識單元在匹配對齊知識單元置信度排序前k個的概率，單位為%；MR指標表示所有真實的對齊知識單元在匹配對齊知識單元置信度排位的平均值；MRR指標表示所有真實的對齊知識單元在模型得出的匹配對齊知識單元置信度排位的倒數的平均值。本實驗觀察和比較了hits@1、hits@10、hits@50、MR、MRR的結果。

4.4 公開通用語種數據集上的知識單元遷移實驗

此實驗的目的是在公開數據集WK3l＿60k上通過匹配來自不同語言的對齊知識單元來證明SHACUT在公開通用語種數據集上的有效性。由于匹配對齊知識單元的候選空間很大，該實驗主要思想是強調對一組候選對齊知識單元進行排序，并非直接獲得最佳答案。為了顯示SHACUT模型的優越性，本文使用使用度廣、適用范圍大、且同樣不使用額外信息輔助的MTransE模型作為對比實驗。

4.4.1 模型參數設置

實驗中的知識單元向量和關系向量均采用隨機初始化。經過多次實驗，對于WK3l＿60k數據集，在SHACUT模型上的最佳配置為：知識模型：λ=0.01，k=[200，200]，訓練周期epoch=10000，批處理大小batch＿size=256；對齊模型：λ=0.01，k=[200，200]，訓練周期epoch=500，批處理大小batch＿size=128，每50epoch對學習率λ削減一半。在MTransE模型上的最佳配置為：知識模型：λ=0.01，k=100，訓練周期epoch=400，批處理大小batch＿size=128；對齊模型：λ=0.01*2.5，k=100，訓練周期epoch=1200，批處理大小batch＿size=128，每50epoch對學習率λ削減一半。對于兩個模型的知識模塊和對齊模塊均使用l＿2范數，對于知識模型，訓練集、驗證集、測試集的抽取比例均為：0.8：0.05：0.15，對于對齊模型，訓練集、測試集的抽取比例均為：0.75：0.25。

4.4.2 實驗結果與分析

表2展示了SHACUT和MTransE模型在WK3l＿60k數據集(英-法)上的知識單元遷移效果，表明本文提出的SHACUT模型在跨語言遷移任務上具有優勢，優于MTransE模型。

表2 SHACUT和MTransE模型在WK3l＿60k數據集(英-法)上的實驗結果

具體分析，可以觀察到以下幾點：

1)SHACUT模型在hits@k的各項指標上分別高出14.83%、10.86%、13%，充分表明了在WK3l＿60k數據集(英-法)上進行的跨語言知識單元匹配的有效性，其中hits@1指標更是高出近15%，更加凸顯出SHACUT模型的精準度。有超過42%的知識單元被命中在排名前50，體現出SHACUT模型的優勢。

2)在MR指標和MRR指標的結果上，SHACUT的結果不如MTransE，高152.14，但考慮到WK3l＿60k數據集(英-法)是通用數據集，其中包含的數據領域分布較廣，這對基于語義層次建模的SHACUT十分不友好，但總得來看，SHACUT能夠較好地完成具有語義層次深度的知識單元的跨語言匹配任務，但對于知識圖譜中懸掛點知識單元的對齊匹配稍顯薄弱，主要歸功于MTransE的知識模型基于翻譯的建模，在嵌入空間引入前后相關節點信息很好地解決了懸掛點問題。

4.5 領域小語種數據集上的知識單元遷移實驗

此實驗的目的是在領域知識數據集military上通過匹配對齊跨語言知識單元來證明SHACUT在領域小語種數據集上的有效性。military領域數據由中文和阿拉伯語知識圖譜組成，中文和阿拉伯語的語言表達方式、書寫方式、語言學特點均與公開通用的英語、法語等有著巨大差異，且中文和阿拉伯語兩種語言之間本身就有著巨大差異，這就為本文提出的SHACUT模型帶來了巨大挑戰。此外，本文所使用的軍事領域知識數據集具有稀疏度高、相關性大、語義層次深等特點，即知識單元間關系較為稀疏，知識單元基本屬于同一領域，這直接考驗 SHACUT模型的語義層次建模效果。為了驗證SHACUT模型對于此領域特點和此類語言特性數據的有效性，本文同樣使用MTransE模型作為對比實驗。

4.5.1 模型參數設置

經過多次實驗，對于military數據集，在SHACUT模型上的最佳配置為：知識模型：λ=0.00001，k=[500，500]，訓練周期epoch=80000，批處理大小batch＿size=512；對齊模型：λ=0.01，k=[500，500]，訓練周期epoch=500，批處理大小batch＿size=128，每50epoch對學習率λ削減一半。在MTransE模型上的最佳配置為：知識模型：λ=0.001，k=100，訓練周期epoch=400，批處理大小batch＿size=128；對齊模型λ=0.001*2.5，k=100，訓練周期epoch=1200，批處理大小batch＿size=128，每50epoch對學習率λ削減一半。對于兩個模型的知識模塊和對齊模塊均使用l＿2范數，訓練集、測試集的抽取比例均為：0.75：0.25。

4.5.2 實驗結果與分析

表3展示了SHACUT和MTransE模型在military數據集(中-阿)上的知識單元遷移效果，表明本文提出的SHACUT模型在跨語言遷移任務上具有優勢，整體優于MTransE模型。

表3 SHACUT和MTransE模型在military數據集(中-阿)上的實驗結果

具體分析，可以觀察到以下幾點：

1)SHACUT模型的各項指標均優于MTransE，表明SHACUT能夠更好地對military數據中-阿知識圖譜進行建模。其中hits@1指標遠高出MTransE的該項指標41.6%，表明通過SHACUT匹配得到的對齊知識單元為真實對齊知識單元的概率更大，hits@10指標相比高出18.18%，hits@50相比高出3.79%，同樣可以證明上述結論。對于MR指標，SHACUT模型高出253.76，可以直接表明SHACUT模型對于military數據集(中-阿)匹配知識單元效果整體要高于MTransE。

2)SHACUT模型hits@k指標隨著k值的增加，增速相對于MTransE模型變緩，考慮到military數據集知識圖譜稀疏度高，相關性大，語義層次分散的特點，表明SHACUT模型對于知識圖譜的語義層次建模有著很好的效果，但由于知識單元間關系較為稀疏，很難對所有知識單元進行語義層次的建模，多語言知識單元在向量空間上的分布更為聚集，游離知識單元較多。

4.6 SHACUT模型跨數據集實驗結果的橫向對比

通過橫向對比SHACUT模型在WK3l＿60k數據集的英-法KG和military領域數據集的中-阿KG上的實驗，可以發現在military領域數據集(中-阿)的結果相對于WK3l＿60k數據集(英-法)的結果，hits@k指標的各項值分別高出15.83%、10.26%、12.02%，同時平均排名MR指標低211.9，可以表明SHACUT模型針對語義層次的建模具有顯著的優勢，巧妙地規避了語言本身在表達方式、書寫方式、語言學特點等方面的差異性，很好地保留了各自語言的語義層次結構，同時更加有效地抽取單語知識的領域特征，對領域相關性高、語義層次深的知識圖譜有著更好的結果。證明SHACUT模型能更好地捕捉深層次的語義信息，對領域相關性高的知識單元能做出更加精準的區分，以減少跨語言知識單元遷移過程中的鄰近干擾，從而更好地完成領域跨語言知識遷移任務。

5 總結與未來工作

本文借鑒了HAKE模型基于語義層次感知的實體嵌入思想，將其引入到跨語言領域知識單元遷移任務中，通過在公開通用語言數據集和領域小語種數據集上的實驗結果分析，可以發現本文所提出的SHACUT模型在解決無額外信息情況下的跨語言知識單元遷移問題，尤其是具有領域特點的跨語言知識遷移問題，能夠很好地發揮其語義層次建模的優點，保留了單語知識圖譜的語義層次信息，結果令人欣喜。但也發現可能會丟失小部分圖譜結構信息，主要集中在對懸掛點知識單元的建模問題上。但這也指出了下一步工作和改進的可能，特別是，如何在不添加額外信息的情況下，更好地對知識圖譜的語義層次和結構信息建模，將MTransE對圖譜結構的建模與SHACUT對語義層次的建模相結合是一個有意義的研究方法，為跨語言領域知識遷移提供更加有效的工具。