基于動態標簽的關系抽取方法

薛 露，宋 威

（江南大學物聯網工程學院，江蘇無錫 214122）

（?通信作者電子郵箱songwei@jiangnan.edu.cn）

0 引言

關系抽取（Relation Extraction，RE）旨在根據純文本預測關系事實，由于抽取效果的好壞直接影響后續任務的準確率，這使得其在推薦系統、問答系統、智能搜索等自然語言應用領域占據重要地位［1］。傳統的監督RE 模型缺乏標注的訓練數據，手動標記訓練數據既耗時且成本高。為此，Mintz等［2］提出了遠程監督，通過將純文本中的實體對與知識庫（Knowledge Base，KB）帶有關系標記的實體對直接對齊標注自動生成訓練數據。若KB中某個實體對之間無關系，則將待標注的句子標記為負實例（Negative Instance，NA）。例如，“Asmara”“Eritrea”在KB 中存在capital 的關系，則包含這兩個實體的非結構化文本“I eventually fly from Nairobi to Dubai to Asmara，the capital of Eritrea.”可以作為模型訓練的有效實例。但是，當“Asmara”與“Eritrea”同時存在一個句子中并非表達capital 關系時，這種沒有考慮實體對具體語義背景的標注方法產生了大量噪聲。為了減輕錯誤的標簽問題，Zeng等［3］首先將基于卷積神經網絡的深度學習模型運用于此項任務，與傳統機器學習模型相比取得了顯著的進步。

雖然研究者已經做出許多努力，而大多數現有方法在訓練過程中使用遠程監督標簽，導致不能準確地獲取關系特征信息，不能完全解決錯誤的標注問題。針對以上問題，本文提出了動態標簽方法，可以通過某些實例與潛在正確標注實例之間的關系類別相似性評價遠程監督標簽的可靠性，在訓練階段動態糾正錯誤的遠程監督（Distant Supervision，DS）標簽，從而提高關系抽取的準確性。

1 相關工作

近年來學者們已經提出許多緩解遠程監督數據集噪聲的方法。Riedel 等［4］和Hoffmann 等［5］提出多實例學習（Multi-Instances Learning，MIL），如圖1 所示。該方法將訓練數據集劃分為多個實體對集合，將關系標簽直接賦予集合，并提出以下假設，如果實體對之間存在某種關系，則集合中至少一個句子必須反映該關系，同時刻畫一個實體對可能存在多種關系的情況。

圖1 遠程監督集合Fig.1 Distant supervision set

注意力機制從眾多信息中選擇出特定目標的關鍵信息。在MIL 的基礎之上，Zeng 等［6］引入注意力機制從集合中選擇一個最有效的實例作為集合的特征，但此方法導致大多數有效實例被忽略，損失了大量有效信息。Lin 等［7］使用注意力機制將集合中所有實例按照重要程度綜合表示為集合的特征，緩解大量有效信息被丟失的問題。Zhou等［8］提出層次注意力機制，首先對集合的所有句子進行句子級別關注選擇最相關的句子，然后采用單詞級別的關注抽取區分關系類別的關鍵單詞，構建句子特征表示，并聚合這些句子特征為集合特征。同樣的，Qu 等［9］提出單詞級別的注意力機制來區分句子中每個單詞的重要性，從而增加了這些關鍵單詞的注意力權重，并且將目標實體詞向量的語義信息作為補充特征，進一步豐富集合特征；相似的，Ji等［10］將實體描述信息作為額外的背景知識補充到模型中。李浩等［11］提出了一種基于多層次注意力機制的遠程監督關系抽取模型。該模型通過雙向門控神經網絡獲取句子特征；其次，通過引入詞語層、句子層、關系層的注意力機制，在學習不同關系之間聯系的同時，減少錯誤標簽。馮建周等［12］設計了一種新的注意力模型，該模型構建排序的組合句子向量，使模型徹底地拋棄噪聲句子，而不是讓噪聲句子以一個較低權重參與計算。Han 等［13］根據關系標簽的層次結構，關注關系之間豐富的語義信息，在關系標簽的每一層結構上引用注意力機制，從而抽取豐富的層次結構表示集合特征。這些模型的提出表明了注意力機制處理特征信息的有效性。為了進一步緩解噪聲問題，Zeng 等［14］引入強化學習概念，通過獎懲機制區分句子是否是有效實例。Wu 等［15］采用對抗訓練機制，使模型在訓練過程中對噪聲更加敏感，增強模型的魯棒性。Liu等［16］提出一種基于置信度的軟標簽方法，該方法利用來自正確標記集合的特征，在訓練過程中動態地糾正錯誤的標簽。Ru 等［17］則從語義角度出發，使用Jaccard 算法選擇一個核心依賴短語來表示句子關系類別，以過濾遠程監督標簽噪聲。以上的關系抽取模型，雖對關系抽取能力有一定提升，但是大多數現有方法在訓練過程中使用遠程監督標簽，導致不能準確地獲取關系特征信息。

通過分析MIL 的集合得出：1）大量的集合標注了NA 標簽，但實際較多實例存在有效關系信息。2）集合中的所有實例或者大多數實例實際上表達的關系信息與關系標簽不符合。3）較多集合只有一個實例，且關系標簽可能錯誤。由于大多數現有方法在訓練過程中使用的是硬標簽，潛在的有效實例被忽略，仍然存在噪聲問題影響模型關系抽取能力。

針對上述問題，本文提出了一種可以根據關系類別相似性產生動態標簽（Similarity dynamic Label，SL）的方法。本文將提出的SL 方法作用于分層注意力機制（Hierarchical ATTention，HATT）［13］，提出基于動態標簽的分層注意力機制（HATT based on SL，SL-HATT）RE模型，以驗證動態標簽的調整對RE 產生積極的影響。首先，根據HATT 對關系標簽（例如/people/person/nationality）的層次逐層抽取集合的特征表示。其次，動態標簽方法計算集合特征之間的關系類別相似性，并且結合遠程監督標簽的可信度，共同評價集合的關系標簽是否標注正確，若標注錯誤，則根據評分函數產生新的動態標簽，代替原來的遠程監督標簽作為訓練時的標簽，并且動態標簽在訓練過程中不斷調整，以解決集合的噪聲標簽問題。最后，在訓練過程中根據動態標簽的調整，更新HATT 關注集合的有效實例，以抽取更豐富的集合關鍵詞特征。

SL方法與HATT的結合的優勢在于兩個方面：一方面，SL方法首次提出通過關系類別相似性調整集合的標簽。另一方面，HATT 根據新的標簽，更新關注集合中有效實例，使得有效實例增多，以便于抽取區分關系類別的關鍵詞特征信息。并且，HATT 注意力機制主要對關系標簽之間的層次關聯建模，抽取了關系之間的相關性信息，使得關系標簽之間不以獨立的方式存在。二者共同作用于關系標簽的層面，抽取關系之間豐富關聯性的同時，根據關系之間的相似性調整錯誤標簽，緩解集合的錯誤標簽對關系抽取整個過程帶來的影響?？偟膩碚f，從兩個層面共同作用緩解遠程監督的噪聲問題。特別的，在多實例學習方法的基礎之上，正確標注的標簽遠多于錯誤標簽，動態標簽思想得以實現［16］。

2 SL-HATT模型

本文提出了一種根據關系類別相似性產生動態標簽的方法。在訓練過程中代替遠程監督標簽，減弱錯誤的遠程監督標簽對關系抽取能力的影響。為了驗證本文提出的方法，將SL方法作用于HATT，提出SL-HATT模型，通過同時對關系標簽進行動態調整來學習更充足的集合關系特征信息。圖2 是SL-HATT 網絡結構框架，由以下兩部分組成：1）HATT 關系抽取模型；2）SL方法。

2.1 句子編碼器以及HATT

早期的RE 方法主要依賴自然語言處理（Natural Language Processing，NLP）工具提取文本特征。近年來，神經網絡因具有更準確地捕獲文本特征的能力而被廣泛用于RE。

圖2 SL-HATT網絡結構框架Fig.2 SL-HATT network structural framework

在NLP 任務中，通常以詞向量的形式作為神經網絡的輸入。詞向量是詞的分布式表示，具有維度低、語義信息豐富的優點。本文采用Skip-Gram 方法通過大型語料庫訓練得到的50 維的詞向量we作為輸入，we∈En?KW，E為詞向量矩陣，n為詞典長度，KW為詞向量維度，其中意思相近的詞將被映射到向量空間中相近的位置，保證模型輸入帶有單詞詞義信息。同時，通過加入每個單詞與實體在句子中的相對位置信息，可以對句子中不同的單詞與實體之間的相對位置進行分布式表示［3］，提升關系抽取的效果。位置向量表示為wp，每個詞的向量由we和wp組成，定義為w。其中，對于長度為m的句子實例，有式（1）：

為了便于與其他關系抽取模型比較，本文選擇卷積神經網絡（Convolutional Neural Network，CNN）［3］作為句子編碼器，將實例矩陣W編碼為句子的隱藏層特征矩陣x，如式（2）。然后，將最大池化層作用于卷積層輸出的x，以得到最終句子特征向量h，如式（3）所示。

由于關系標簽在其層次結構上具有相關性，如/people/person/nationality 和/people/person/ethnicity，高層次（例如people）的關系更加通用，低層次（例如nationality）的關系信息更特殊。Han 等［13］提出，給定遠程監督關系標簽集R，通過關系層次生成關系層次集合{R1，R2，…，Rk}，其中k為關系層數，Rk為當前層次的關系集合。在關系層次結構的每一層上對集合進行注意力關注，以獲得相應層次的注意力特征。對于一個包含N條實例的集合，計算針對遠程監督標簽的第k層關系集合的特征向量rk，如式（4），其中“·”表示點乘。為集合中第i條句子在第k層關系集合的重要性權重，如式（5）。

其中：A為權重矩陣；qk為Rk中關系的查詢向量。最后，將總共k層的特征如式（6）串聯：

其中r表示集合的特征向量。

圖3是HATT根據關系層次抽取特征的過程，對關系標簽的層次逐層進行有效實例的關注，能夠加強網絡對文本信息的表達能力，抽取更加豐富的集合語義特征。

圖3 HATTFig.3 HATT

2.2 動態標簽方法

遠程監督數據集的噪聲為以下幾個方面：首先，包含大量NA 標簽的集合，但實際較多實例存在有效關系信息。其次，MIL 集合中大多數實例實際上表達的關系信息與關系標簽不符合。最后，集合僅有一個實例且關系標簽可能錯誤。對此，本文提出了動態標簽方法，在訓練期間根據集合特征信息之間的關系類別相似性決定是否需要生成新的標簽代替原來的遠程監督標簽，以減少錯誤標注對關系抽取過程的影響。

對于T組集合，根據第i組集合特征向量ri計算其關系得分向量Si，定義如式（7）。通過關系權重矩陣M將集合特征映射到Ro維，其中，o為關系類別數目，Si向量則代表集合i對應于每一類關系的得分。

由評分函數決定集合i的動態標簽熱向量，如式（8）～（9）所示：

式（8）中：argmax 函數計算索引值Ii，這里索引代表關系類別。式（9）生成動態標簽的熱向量（one-hot）表示，以替代遠程監督Li。

由式（8），組成評分函數的兩部分如下：第一部分，代表集合之間綜合關系類別相似性；第二部分，代表集合遠程監督標簽的可信度。兩部分組成一個綜合表示向量，取最大值的索引Ii，該索引代表一個關系類別，生成新的動態標簽。如果與遠程監督標簽相同，說明集合暫時不需要替換標簽；反之，說明集合的標簽需要被替換為。兩部分共同決定集合的動態標簽，既考慮了遠程監督標簽的影響，又加入了關系類別相似性特征對遠程監督標簽的限制。訓練過程中不斷生成新的標簽，直至收斂。

第一部分的關系類別相似性計算過程如下。分析集合關系得分向量，在訓練過程中，擁有相同關系標簽的集合，其關系特征存在相似性。根據自注意力機制能夠解決長距離依賴學習的思想，計算任意兩兩集合之間的關系類別相似性，并得到相似性權重值a(Si，Sj)，根據a(Si，Sj)大小決定與集合i相似的集合，選擇集合的遠程監督標簽作為可能待產生的新標簽，以改善集合的標簽噪聲問題。由此，存在一組集合的關系得分向量Si，通過內積函數Ys(Si，Sj)計算與其他集合之間相似性，并通過Softmax 得到集合之間的相似性權重值a(Si，Sj)，代表任意集合i與j之間的相似性，如式（10）所示。

其中：權重a(Si，Sj)越大，表明集合i與集合j之間的關系類別越相似；T為當前集合的個數。

根據a(Si，Sj)計算集合i屬于某種關系類別的可能性。進一步，將其累加求和得到集合i的綜合相似性表示向量sim(Si），如式（11）：

其中，Li為遠程監督標簽熱向量，該部分首次將標簽信息作為特征，計算集合i與其他集合的相似程度。由于數據集中較多集合的標簽為NA，可能導致生成動態標簽時更偏向NA標簽，所以屏蔽sim(Si)中NA 標簽以避免對生成動態標簽過程的影響。由于sim(Si)包含集合i與其他集合的關系類別相似性特征，通過sim(Si)的最大值的索引作為可能待產生的新標簽。

第二部分為遠程監督標簽的可信度，分為兩個子部分（前者和后者）。前者Si為集合i的關系得分向量；后者Li為遠程監督標簽熱向量。兩者求和判斷前者與后者的最大值索引是否相同，以判斷關系類別得分與遠程監督標簽代表的關系類別是否相同。若Si與遠程監督標簽表示關系相同，則信任遠程監督標簽，此部分將對關系標簽不作調整；若不同，則削弱遠程監督標簽的影響，并增加關系得分Si代表的關系標簽可能性，對待產生的動態標簽起促進作用。

圖4為標簽調整過程，其中：S代表集合特征向量，圓圈表示關系類別，顏色深淺表示屬于某種關系的可能性，L代表遠程監督關系標簽。以集合S4為例，當根據類別相似性語義生成一個新標簽，且關系得分S4與遠程監督標簽的關系類別不同時，集合S4的遠程監督標簽L4被替換為，說明集合S4遠程監督標簽可能錯誤，可能與集合S1和S3更相似。替換完成后，以訓練模型參數。

圖4 生成動態標簽的過程Fig.4 Process of generating dynamic label

由式（8）的兩部分綜合表示共同決定是否產生新的動態標簽。新生成的動態標簽作為訓練時的標簽，并且動態標簽可能在訓練過程中進行不斷的調整，以更新HATT 關注集合中有效實例。綜上，不斷進行的調整使得所有的集合都擁有更多的有效實例，以達到為遠程監督數據集降噪的目的。

下面針對SL-HATT模型進行詳細介紹：

1）將集合文本單詞以Skip-Gram 詞向量和位置向量表示為w，將句子矩陣表示為W。

2）添加MIL層，將訓練數據集劃分為多個實體對集合，將關系標簽直接賦予集合。

3）添加CNN 層和最大池化層，利用式（2）～（3）得到集合中的句子特征矩陣x和句子特征向量h。

4）引入HATT 層，利用式（4）～（6）將集合中的句子以標簽層次關聯的注意力機制，抽取到集合中所有句子的綜合關系類別特征、集合特征向量r。

5）在少許訓練次數后，添加SL 方法層，利用式（7）～（11）學習集合之間的關系類別相似性特征，以及判斷集合特征與遠程監督標簽特征是否相同，決定是否需要生成新的標簽熱向量Lsl。

6）定義模型損失函數，通過更新成參數矩陣，達到優化模型的效果。

2.3 模型訓練

本文模型訓練的優化算法采用隨機梯度下降（Stochastic Gradient Descent，SGD）算法，損失函數為交叉熵代價函數。同時為了避免過擬合問題，加入了L2正則化。給定實體對集合，以及相應的遠程監督關系，將損失函數定義如下，

其中：T集合數目；是動態標簽；ri是集合i的特征向量；λ是正則化參數；θ為關系抽取模型中的訓練參數。

3 實驗與結果分析

3.1 數據集及參數設置

本文采用由遠程監督方法生成的紐約時報（New York Times，NYT）數據集。其中，關系標簽有53 種，包含無用關系NA。訓練集有570 088 條句子、293 162 個實體對集合，測試集有172 448條句子、96 678個實體對集合。為了保證實驗的準確性，測試集由人工手動標注。在訓練和測試集中，將超過120個單詞的句子截斷為120個單詞［13］。

本文使用交叉驗證來確定模型的參數，由于SL 方法使用與基線模型相同的實體對集合，并且應用文獻［13］的HATT網絡結構。為了公正地比較SL-HATT 模型與基線模型，本文采用文獻［13］實驗的大部分參數，與文獻［7］使用相同的CNN編碼器及參數、預訓練的詞向量，如表1所示。由于SL方法對與HATT 結合的時間較敏感，實驗過程中單獨測試其關鍵參數全局步數（global_step）。

3.2 實驗對比模型及評估策略

本文分別采用近年來幾種經典的關系抽取模型與SLHATT模型進行比較，相應的模型如下。

1）PCNN+ATT（Piecewise CNN ATTention）［6］是使用分段卷積神經網絡結合普通注意力機制的關系抽取模型。

2）PCNN-ONE+Soft是基于軟標簽方法同時只關注集合中的一個句子的注意力模型［16］。

3）PCNN-ATT+Soft 是基于軟標簽的注意力模型［16］，該模型使用分段卷積作為句子編碼器，結合注意力機制，首次提出軟標簽方法，提出相對簡單的評分函數調整關系標簽。

4）RL（Reinforcement Learning）是一種利用強化學習在遠程監督數據中進行句子關系抽取的模型［14］。在實驗中，都采用了相同的常規參數以統一實驗變量來獲得更準確的實驗結果。

5）CNN+HATT 是基于標簽關系分層注意力機制的模型［13］，該方法是基于以層次劃分關系標簽的注意力機制，相較于大多數現有方法中每種關系都是彼此獨立的，該方法的關系層次結構很好地揭示了關系之間的豐富關聯。

表1 實驗參數Tab.1 Experimental parameters

本文采用準確率（Precision，P）、微觀平均F1分數（Micro）和宏觀平均F1 分數（Macro）對實驗結果進行評估。Micro 是一種對數據集中的每一個實例不分類別進行統計，從而建立全局混淆矩陣的評價指標。Macro 則是先對每一個類統計指標值，然后再對所有類求算術平均值。

3.3 結果分析

3.3.1 SL方法global_step討論

本節中，對模型中一項重要參數global_step做了中間實驗來討論其取值。由于SL-HATT 模型動態產生新的標簽具有一定的隨機性。為了減少隨機性，且使模型擁有基本的關系抽取初始權重，本文設置實驗，在開始訓練一定次數的global_step后，SL方法開始動態地調整關系標簽。

如圖5所示，由于global_step次數設置太大會導致噪聲標簽在訓練過程的累計影響太大，本文取global_step=[1000，3 000，5 000，…，10 000]，根據實驗得出，step_5000時模型精確率-召回率（Precision-Recall，P-R）曲線表現較好，故本文設置在第5 000次global_step時，引入SL方法較適宜。由于第10 000次global_step時模型抽取能力有所下降，文本不再繼續對后面的global_step進行討論。

圖5 不同global_step次數比較Fig.5 Comparison of different global_step times

3.3.2 實驗效果及模型性能分析

本節中，主要對本文模型的性能進行詳細的分析比較。分別將本文提出的SL-HATT 模型與其他關系抽取模型比較，其P-R 曲線如圖6 所示。由圖6 可以看出，本文提出的SL 方法，使得SL-HATT 模型整體性能在P-R 曲線中有著較為明顯的優勢。這反映出本文模型對遠程監督數據集中噪聲標簽能有效動態糾正，提取到更加豐富有用的特征信息，從而提升模型的整體效果。

圖6 不同模型的P-R曲線Fig.6 P-R curves of different models

如圖6 所示，本文提出的SL-HATT 模型在CNN+HATT 模型基礎之上加入了SL方法，相較于CNN+HATT模型關系抽取能力更強，表明基于關系類別相似性的動態標簽方法是可行且有效的，對遠程監督標簽動態糾正實現了標簽噪聲的有效抑制，加強了關系抽取能力。

特別地，將本文提出的SL-HATT 模型與PCNN-ATT+Soft模型進行比較。前者根據評分函數決定集合特征之間的相似性，選擇與之相似性最高集合的遠程監督標簽。后者僅根據集合關系特征向量與集合遠程監督標簽的置信度決定是否需要更新標簽，缺少集合之間的相似性計算，本文認為根據集合之間的關系類別相似性獲取的特征更準確，便于關系標簽調整。特別的，由于SL方法與HATT的組合，本文模型即使使用簡單的句子編碼器，依然取得了較好的關系抽取效果，表明關系標簽擁有豐富的特征信息，有助于集合特征抽取。

由于更加關注那些排名靠前的結果的性能，研究召回率為0.1、0.2、0.3及其平均值時不同模型的精確率，結果如表2所示。由表2 可以看出：一般的模型，在提高召回率的同時，會伴隨著精確率的急劇下降，而SL 方法則同時兼顧了精確率與召回率，表明本文提出的方法對遠程監督數據集中的噪聲處理使得模型的魯棒性更強。

表2 不同召回率下不同模型的精確率Tab.2 Precisions of different models under different recalls

由于數據集中各個類的分布不平衡，本文使用Macro 和Micro 評價模型性能。由表3 可知，本文模型的Micro 分數以及Macro 分數相較基線模型（PCNN+ATT）有5個百分點和3.3個百分點的提升，相較CNN+HATT 模型有1.3 個百分點和1.9 個百分點的提升，表明標簽調整策略對模型整體性性能發揮了積極的影響。特別的，據統計，在測試數據集中，有74 857個集合只對應一個句子，約占所有集合的3/4［7］，標簽錯誤直接影響關系抽取的效果。因此，對于僅含有一個實例的集合，SL方法尤其重要。

表3 微觀平均分與宏觀平均分 單位：%Tab.3 Mean values of Micro and Macro unit：%

由于SL 方法動態產生新的標簽，可能存在實例的關系表達方式與常規關系模式有所不同，產生錯誤動態標簽的情況。對此進行以下分析：首先，數據集中噪聲標簽遠少于正確標注的標簽。其次，在訓練過程中根據集合的關系得分和遠程監督標簽生成動態標簽，隨著訓練收斂過程，產生錯誤標簽的可能性會越來越小。最后，本文在訓練開始的5 000 次global_step時開始引入SL 方法，試圖減少動態標簽的隨機性。根據實驗結果來看，本文認為在訓練過程中對關系事實進行較小的錯誤更正不會對整體性能產生太大影響。

綜上，SL-HATT 模型的優勢在于兩個方面：首先，SL 方法改善了以往訓練時使用硬標簽的方式，根據集合關系類別相似性信息與遠程監督標簽相互對抗，決定是否調整關系標簽，最終使得集合獲得更合適的關系標簽。其次，SL 方法作用于HATT，不僅HATT 抽取關系之間的豐富關聯性，而且促進HATT 動態地重新關注集合中的實例，使集合中包含更準確的關鍵詞特征和有效實例特征。二者共同作用于關系標簽的層面，共同加強關系抽取能力。

4 結語

本文針對遠程監督數據集噪聲較多的問題，提出了一種根據關系類別相似性產生動態標簽的方法。將本文提出的動態標簽方法作用于分層注意力機制，二者同時作用于關系標簽的層面，不僅抽取關系之間豐富的關聯性，而且根據關系之間的相似性動態調整關系標簽，更新注意力機制關注有效實例，抽取更全面以及豐富的句子表征，明顯加強了模型的關系抽取能力。實驗表明，SL-HATT 模型相較以往關系抽取模型性能更優，即使是簡單的句子編碼器也能達到較好的關系抽取效果。在以后的研究中，我們將繼續在句子編碼器方面進一步優化SL-HATT模型。