用于關系抽取的注意力圖長短時記憶神經網絡

張勇，高大林，鞏敦衛，陶一凡

（中國礦業大學 信息與控制工程學院，江蘇 徐州 221116）

關系抽取是信息抽取的一個重要組成部分，已被成功用于醫學知識發現[1]、知識圖譜構建[2]和問答推理[3]等諸多自然語言處理問題。關系抽取是指從非結構化的文本中抽取出實體對之間的三元組信息。

現有關系抽取模型或方法可大體分為2類：序列模型和依賴關系模型。序列模型主要針對單詞序列進行建模[4-5]，而依賴關系模型則是以句法依存關系樹為基礎，構建依賴關系模型[6-7]。已有研究表明，相對序列模型而言，依賴關系模型可以利用句法依存樹提取出句子中隱藏的非局部語法關系[8-9]，進而建立句內長距離的依賴關系。然而，在生成句法依存樹時，它常依賴句法結構規則對句子結構進行修剪。這種基于規則的修剪策略可能會刪除句子結構所包含的重要隱式信息。為此，Guo等[10]提出了一種基于軟修剪的關系提取模型，用以實現模型自主學習句法結構，而無需對句法結構進行硬性修剪。雖然所提模型可以很好地學習句法結構，但是，由于圖卷積模型本身的無向性，其對上下文中時序特征的學習能力較弱。

目前，已有學者以句法依存樹為基礎，提出了多種圖神經網絡模型，但是所提模型大多是基于圖卷積神經網絡[11]。圖卷積神經網絡可以很好地學習圖結構數據的信息，卻難以有效處理時序數據。這就意味著，面向具備時序特性的文本數據,只依賴圖卷積神經網絡并不能很好地抽取文本中時序信息。相對圖卷積神經網絡，長短時記憶神經網絡(long short term memory neural network,LSTM)可以有效提取上下文的時序信息。目前，部分學者開始嘗試將其用于跨句關系的抽取問題，并提出了多種圖長短時記憶神經網絡[12-13]。但是，這些方法都是基于修剪后句子結構樹的信息來構建圖神經網絡，依然存在誤刪有用信息的不足。另外，傳統方法對句子結構信息的使用完全依賴于句子結構樹。如果句子結構樹中蘊含錯誤信息，很容易累加錯誤信息。

鑒于此，本文提出一種注意力圖長短時記憶神經網絡(attention graph long short term memory neural network, AGLSTM)。采用注意力機制與句子結構樹相結合的方式建立句子的全局結構信息，生成全局注意力權重矩陣，并將其用于構造AGLSTM模型。所提方法不僅可以充分利用LSTM學習句子的時序結構特征，而且可以根據句法圖信息自行學習句子的結構特征。相對于完全依賴句子結構樹的傳統方法，本文方法是在原始句子結構樹的基礎上，利用注意力機制使得模型自行學習句子結構中的信息，不僅可以得到更加有效的關系抽取模型，而且魯棒性更好。

1 相關工作

關系抽取是自然語言處理中的一項重要分支任務，在從非結構化文本中抽取結構性信息時起著重要作用。現有主流關系抽取技術可分為2種：遠程監督關系抽取[14-15]和有監督關系抽取[5,16]。

有監督關系抽取法把關系抽取看作一種多分類任務進行處理。早期的研究成果主要是使用核函數等機器學習方法設計分類器[17]，并進行關系提取任務。隨著深度學習的興起，深度神經網絡已在關系抽取中得到了廣泛應用。Zeng等[18]采用深度卷積神經網絡(convolutional neural network,CNN)提取詞匯級和句子級特征，進而完成關系抽取；Zhang等[16]利用長短時記憶神經網絡學習實體對之間的長期依賴性；Zhang等[19]在詞嵌入的基礎上考慮單詞的位置和詞性、句子結構依賴等信息，設計了一種新型的長短時記憶神經網絡進行關系抽取。馬語丹等[20]通過引入注意力機制提取實體的網絡環境信息，生成全局的上下文特征。鑒于LSTM對文本信息建模的優越性，以及句子結構信息對文本關系抽取任務的重要性，學者們還提出了結合句子結構信息建模的SDPLSTM[6]和Tree-LSTM[7]等改進模型。

遠程監督關系提取方法借助知識庫，利用知識庫中包含的知識來對非結構化文本進行標注。這種方法可以自動構建大量訓練數據，不僅解決了現有方法數據量不足的缺點，而且增強了模型的跨領域適應能力。Mintz等[21]最早提出了遠程監督的基本假設，定義了遠程監督任務。然而，遠程監督在解決數據量不足的同時，容易帶來較大的噪聲。為此，越來越多的學者開始關注對遠程監督方法的改進研究。Zeng等[22]融合分段卷積神經網絡和多實例學習(multiple instance learning,MIL)，提出了一種混合關系提取模型。該模型通過PCNN提取句子特征，利用MIL消除錯誤樣本噪聲，進而實現遠程監督關系抽取。

2 所提關系抽取模型

2.1 模型框架

為同時學習句法圖中句子的結構特征和句子之間的時序結構特征，提出一種新的圖神經網絡結構，即注意力圖長短時記憶神經網絡(AGLSTM)。圖1給出了融合AGLSTM模型的關系抽取框架。

圖1 AGLSTM模型的關系抽取框架Fig.1 Relation extraction framework based on the AGLSTM model

2.2 Embedding層

關系抽取方法需要考慮語料中的實體語義特征和實體位置特征。在自然語言處理領域中，詞向量表示常用于表示詞的語義信息。本文通過詞嵌入方法對整個語料庫進行訓練，得到語料庫的詞向量矩陣，其中每個詞表示為一個dword維的向量wword。另外，為了更好地表示實體的語義特征，利用stanfordparser工具對語料庫進行命名實體識別(NER)分析，將生成的NER標簽映射成一個dner維的向量wner。將wword和wner連接即為詞的實體表示向量。

將實體語義特征嵌入與實體位置特征嵌入融合，作為模型嵌入層的輸出，即wu=[wword;wner;wpos]，向量長度為dw=dword+dner+2dpos。

2.3 Bi-LSTM層

嵌入層輸出的特征矩陣wu包含每一個單詞本身的信息，句子中每個詞所包含的信息均獨立。因為句子結構信息包含單詞與單詞間的相互關系，所以，為更好地將數據本身與句子結構信息相結合，需要先通過一層雙向LSTM層來獲取詞與詞之間的語義連接，方法如下：

2.4 句法結構矩陣的生成

對文本數據進行語義信息抽取時，不僅要考慮句子所包含單詞的特征信息，而且需要挖掘句子本身所蘊含的結構信息。已有大量研究成果將句法結構用于關系抽取，取得了很好的效果。

為建立句法結構矩陣，首先利用句法依存分析提取出每個句子序列S={S1,S2, …,Sn}的句法結構。例如，對句子“He said in the diary that he had assets of $250 000 and that he had recently been promoted.”進行句法分析，圖2給出了它的句法樹。接著，將提取出的句法樹信息轉換成全連接圖的矩陣形式。圖1右側句子結構信息輸入部分展示了構建初始鄰接權重矩陣A的過程，其中，全連接關系圖展示了擴展后的依存樹。進一步，將依存關系圖寫成矩陣形式，得到初始的句法結構鄰接矩陣

如圖1右側句子結構信息輸入部分中初始權重矩陣所示。將得到的鄰接矩陣A與經過Bi-LSTM得到的文本特征相結合，輸入到所提模型的AGLSTM層。

2.5 注意力圖長短時記憶神經網絡(AGLSTM)

現有方法大都依據句法結構信息將句子處理成鄰接子樹，如圖2所示。因為在子樹中只有相連葉子結點的單詞可以構成聯系，這些方法有可能丟失遠程單詞之間的關聯信息。鑒于此，本文采用軟修剪策略，將句子的鄰接子樹轉換為全連接的邊加權圖；并通過注意力的形式，使模型可以根據初始鄰接矩陣信息自行訓練注意力權重，進而更全面地學習句子的結構信息。

圖2 句法分析樹示例Fig.2 Schematic diagram of the syntactic analysis

圖3 GLSTM網絡結構Fig.3 Structure of the GLSTM network

式中：ij、oj和fj分別是輸入門、輸出門和遺忘門；Wx、Ux和bx(x∈(i,o,f,u)) 為模型參數；hj為節點j的隱藏狀態特征。

結合注意力機制和GLSTM，構造注意力圖長短時記憶神經網絡(AGLSTM)。利用注意力機制對句子結構特征進行注意力運算，得到注意力權重矩陣Ak。Ak中每一項代表節點a到b的邊權重。采用多頭注意力機制(multi-head-attention)，使模型從不同表征子空間中獲得多層面的信息，最終可得到k個注意力權重矩陣：

式中：每個矩陣Ak代表句子結構的一個權重圖G。圖1中右側注意力層給出了注意力層輸出的k個矩陣Ak(k=1,2,···,n)，每一個注意力權重矩陣Ak分別與權重圖G一一對應。最后,將k個注意力權重矩陣進行線性變換，整合成最終的權重矩陣A，即為AGLSTM層的重要參數。

Self-attention機制可以交互計算序列中任意位置，從而捕獲整個序列內的依賴關系。具體地，Self-attention計算公式為

ut=tanh(WwHLSTM+bw)

Ak=softmax(Wuut)

式中：HLSTM是Bi-LSTM層提取的文本特征向量；ut是以tanh為激活函數的感知機層得到的隱藏特征向量。通過softmax函數獲得標準化的權重矩陣Ak。經過k次self-attention計算，可以得到多頭注意力機制輸出的k個注意力權重矩陣Ak。

2.6 線性連接層

根據多頭注意力層，可以得到k個不同的注意力權重矩陣A。AGLSTM層輸出便得到k個不同的結果。本文利用線性連接層將這k個不同的結果整合成最終的輸出特征。線性連接層定義的數學形式為

hcomb=Wcombhout+bcomb

式中:Wcomb是線性連接層的權重矩陣；bcomb是線性連接層的偏置矩陣；hcomb為最終輸出的特征。

2.7 輸出層

針對最終輸出的特征hcomb，先通過最大池化層，保留句子中最重要的特征，再通過softmax函數計算每一個類別的條件概率，進而輸出模型預測特征的標簽類別。每一個特征對應標簽類別的預測概率為

3 實驗分析

3.1 數據集

本節在2個常用的關系抽取數據集中驗證所提模型的有效性。它們分別是TACRED數據集[19]和SemEval 2010 task 8數據集[23]。

TACRED數據集：該數據集共106 264條實例，分為訓練集68 124條，驗證集22 631條，測試集15 509條。數據集引入了41種關系類型和一種特殊的“no relation”類型，來描述實例中相關實體對之間的關系。

SemEval 2010 task 8數據集：該數據集主要用于對名詞性實體之間的語義關系進行分類。它采用9種關系類型和一種特殊的關系類型“Other”來描述實體對之間的關系。數據集一共包含10 717條實例，其中，8 000條實例為訓練數據，其余為測試數據。

3.2 模型參數與性能指標

采用Adam算法優化本文所提模型，網絡隱藏層節點數設置為300。為防止過擬合，在輸入層和AGLSTM層同時引入損失率(dropout)，并且在目標函數中引入L2正則化項，正則化因子取值為0.001。對于TACRED數據集，模型參數設置學習率為0.7，在輸入層和AGLSTM層的損失率都設為0.5。對于SemEval 2010 task8數據集，模型設置學習率為0.5，在輸入層和AGLSTM層的損失率分別設為0.5和0.3。采用預訓練好的Glove向量[24]對數據集進行詞向量訓練，生成詞嵌入向量；結合實體位置嵌入和NER標簽嵌入，生成最終嵌入層向量。

在注意力層，多頭注意力機制的參數k會對模型性能產生較大的影響。以SemEval數據集為例，依次設置k=[2,3,4,5,6]，下面討論k值對所提模型性能的影響。表1展示了不同k值下所提模型的F1指標值。可以看出，當k=4時，模型得到了最佳的F1指標值。鑒于此，后續實驗中設置k=4。

表1 不同k值下所提模型的實驗結果Table 1 Experimental results obtained using the proposed model with different k values %

3.3 評價指標

本文采用關系抽取任務中常用的3類評價指標：精確率P、召回率R和F1值。二分類中常用的計算公式為

式中：TP(true positives)表示將正樣本預測為正的樣本數；FP(false positives)表示將負樣本預測為正的樣本數；FN(false nagatives)表示將正樣本預測為負的樣本數。

3.4 對比算法

將AGLSTM模型與10種典型關系抽取方法進行對比，它們分別為

1)邏輯回歸模型(logistics regression, LR)。

2)支持向量機模型(support vector machine,SVM)。

3)雙向LSTM模型+注意力機制(BiLSTM+Att)[4]：該模型將雙向LSTM模型與注意力機制結合進行關系抽取。

4)位置感知注意力LSTM模型(PA-LSTM)[19]：該模型通過對引入實體位置的注意力機制建立模型。

5)最短依存路徑LSTM模型(SDP-LSTM)[6]：該模型使用2個實體之間的最短依存路徑，并結合LSTM模型進行建模。

6)樹結構LSTM模型(tree-LSTM)[7]：不同于以往的順序LSTM模型，該模型結合句子依存關系樹將LSTM推廣到樹形結構。

7)分段注意力LSTM模型(SA-LSTM)[25]：考慮到部分實體關系信息包含在句子中的某些片段的情況，該模型設置了分段注意力層來進行這種信息的提取，給出了分段注意力LSTM模型。

8)實體感知注意力LSTM模型(EA-LSTM)[26]：結合了實體感知注意力和潛在實體類型，該模型給出了一種新的端到端的神經網絡模型。

9)圖卷積神經網絡模型(GCN)[8]：該模型提出了一種以路徑為中心的剪枝策略。結合圖卷積網絡，在最大限度保留有關內容的同時，GCN能從樹中刪除無關信息，進一步提高關系抽取的性能。

10)注意力導向圖卷積神經網絡模型(AGGCN)[10]：該模型給出了一種基于注意力機制的軟修剪策略，并采用圖卷積進行建模。

在上述10種對比方法中，LR與SVM是基于機器學習的模型；BiLSTM+Att、PA-LSTM、SDPLSTM、SA-LSTM和EA-LSTM隸屬于基于順序結構的神經網絡模型；Tree-LSTM、GCN與AGGCN為基于依賴結構的神經網絡模型。本文通過與這3大類模型進行對比，驗證所提模型的有效性。

3.5 結果分析

3.5.1 數據集TACRED

表2展示了AGLSTM和對比算法處理該數據時得到的3個性能指標值。可以看出：與基于機器學習的模型LR相比，在3個指標(P、R和F1)上，所提AGLSTM模型都獲得了最優的指標值。特別地，AGLSTM所得R和F1值明顯高于LR所得值。

表2 TACRED數據集實驗結果Table 2 Experimental results on TACRED %

與3種基于順序結構的神經網絡模型(PALSTM、SDP-LSTM和SA-LSTM)相比，AGLSTM獲得了明顯優于3種算法的P指標值。以PALSTM為例，AGLSTM的P指標值提升了8.3；在召回率R指標上，SA-LSTM和PA-LSTM的結果要好于本文所提模型AGLSTM。然而，從綜合指標F1值來看，AGLSTM的結果要明顯優于3種算法。相對PA-LSTM、SDP-LSTM和SA-LSTM，AGLSTM的F1指標值分別提升了2.4、8.8和0.6。這主要因為，相比基于順序結構的神經網絡模型，AGLSTM可以同時捕捉文本中順序結構和依賴結構信息。

與基于依賴結構的神經網絡模型Tree-LSTM和GCN相比，AGLSTM模型的F1值分別提高了5.1和3.5。這表明，在捕獲復雜語法特性模式、建立句子長期依賴關系模型方面，AGLSTM的能力要優于兩種對比算法。與AGGCN模型相比，AGLSTM模型的F1值提高了2.4。這說明，AGLSTM在滿足捕獲句子結構信息的同時，也能很好地捕獲上下文的時序信息。另外，在精確率P上，本文所提AGLSTM模型的結果也要明顯高于其他模型。綜上可見，相比于其他對比算法，AGLSTM模型是一種極具競爭力的關系抽取方法。

3.5.2 數據集SemEval 2010 task 8

將AGLSTM模型與多種典型對比算法用于該數據集，表3給出了它們所得的F1指標值。一方面，F1指標是對精確率P和召回率R的統一融合，可以更為全面地反映算法的性能；另一方面，相關對比文獻僅僅給出了該數據集的F1值。鑒于此，本文也只使用F1值作為評價指標。

表3 SemEval數據集實驗結果Table 3 Experimental results on SemEval %

相比TACRED數據集，SemEval數據集的樣本規模較小，共有10 717條數據。通過表3可知，所提AGLSTM模型在小規模數據集SemEval上也能取得較好的效果。與基于機器學習的模型SVM相比，7種基于神經網絡模型的抽取算法都獲得了較好的F1值。這說明，復雜語義信息的提取對語言模型的建立有很大幫助，也對關系抽取的結果產生了很大影響，而神經網絡模型更適合進行語義信息的建模。與基于順序結構的神經網絡模型(CNN+Att、Bilstm+Att、SDP-LSTM和PALSTM)相比，AGLSTM所得F1值分別提高了1.2、1.3、1.6和2.6；與基于依賴結構的神經網絡模型SPTree和GCN相比，AGLSTM模型的F1值分別提高了0.9和0.5。這主要因為，相比這些對比算法，AGLSTM可以同時捕捉文本中順序結構和依賴結構等2方面信息。

3.6 消融分析

表4和表5分別展示了AGLSTM模型在2個數據集上消融分析的結果。針對TACRED數據集，由表3可知：1)刪除LSTM層時，AGLSTM的F1值下降了1.8。這說明，利用LSTM對特征進行初次提取對后續GLSTM層的處理有很大的幫助。2)當刪除注意力層時，AGLSTM模型的F1結果下降了1.7。這意味著，注意力層在模型機構中起到很重要的作用。3)當移除句法依存信息時，F1結果下降了0.5。本文所提模型是以句子結構為基礎實現的注意力機制，所以當除去句子結構信息時，模型使用的注意力機制退化為依據句子順序序列實現的傳統注意力機制。可見，句子結構信息在模型中也起到了較為重要的作用。

表4 TACRED數據集上的消融研究結果Table 4 Ablation analyses on TACRED %

表5 SemEval數據集上的消融研究結果Table 5 Ablation analyses on SemEval %

類似地，在對SemEval數據集進行分析時發現，當分別去掉句法依存信息、LSTM層、注意力層時，AGLSTM的F1指標值也均有所下降。這些都說明，上述3個結構在模型訓練中起了重要的作用。

采用配置為2080Ti的單個GPU進行模型訓練，圖4、5展示了所提模型在處理數據集TACRED和Semeval時消融分析的訓練時長。可以看出，針對2個數據集，AGLSTM模型的運行花費分別為653 min和76 min；當分別除去LSTM層、句子結構信息和注意力機制時，模型的訓練時間均有所降低；特別地，當除去注意力機制時，AGLSTM運行時間的減少幅度最為明顯。這說明，注意力機制確實對模型復雜度有較大影響，同時它也顯著提高了模型的性能。此外，多頭注意力機制中的K值也會影響模型的復雜度。當K從2變化到5時，模型訓練的時間呈現遞增趨勢。

3.7 模型的泛化性分析

從表2和表3的實驗結果可知，相對其他對比模型，在采用相同訓練集和測試集的情況下，所提模型在數據集TACRED和SemEval都取得了較高的F1值。這在一定程度上說明所提模型的泛化性好于其他對比模型。針對不同句子長度進行模型泛化性分析，將數據集TACRED劃分成不同句子長度的數據集，圖6展示了不同句子長度下所提模型的F1值。可以看出：1)當句子長度位于20～60時，所提模型的F1值變化不大，而其他對比模型的F1值變化幅度都要大于本文所提模型。這說明本文所提模型更加穩定，具有更好的泛化性和魯棒性；2)與SDP-LSTM、PA-LSTM和LSTM等基于順序神經網絡的模型相比，在處理較短句子時，基于圖結構神經網絡的模型(AGLSTM和GCN)的性能表現略差；但是，對于復雜長句子，AGLSTM和GCN的性能遠高于3種基于順序神經網絡的模型。這表明，相對基于順序神經網絡的模型，基于圖神經網絡的模型可以更好地處理復雜句子。

圖6 句子長度分析結果Fig.6 Results of the sentence length analysis

3.8 可視化分析

本節通過對模型中使用的注意力機制進行可視化分析，說明所提模型更具可解釋性。注意力機制的可視化顯示了句中每個單詞對于其他詞的重要程度，可以通過注意力機制來獲得更豐富的詞匯表征。圖7展示了句子“In an August 2004 Fortune article, Countrywide CEO Angelo Mozilo was mocking WaMu for its stumbles in the mortage business.”的可視化結果。

圖7中4個子圖分別對應4個注意力機制的頭。本文通過全連接構建完整的句子結構，因此每個單詞對句子中所有單詞均有一個權重，圖7中顏色的深淺代表關系權重的高低，即單詞之間相關性的強弱。可以看出，圖7中對角線的顏色普遍較深，說明每個單詞對應自己的權重最大；“Countrywide”和“Angelo Mozilo”是一對實體對，“Countrywide”是一個機構名，它的權重主要集中在“CEO”和“article”等相近的詞上；“Angelo Mozilo”是一個人名，它的注意權重主要集中在“CEO”、“was”和“mocking”等表現人物特征的詞上。實際上，這些詞對“Countrywide”和“Angelo Mozilo”之間關系“org:top_members/ employees”有很重要的預測作用。因此這些詞學習到的注意力權重較大，顏色較深；其他單詞對于句子結構信息的建模也起著一定的作用，不能完全忽略，其顏色較淺。這些都表明，模型使用的注意力機制可以更好地建模句子的全局結構信息。

圖7 注意力機制可視化分析Fig.7 Visual analysis of the attention mechanisms

4 結束語

本文提出了一種新型的注意力圖長短時記憶神經網絡模型(AGLSTM)。該模型將注意力機制與句子結構樹結合，實現了模型自主學習句子結構信息的功能。所提模型不僅擁有很好的捕捉復雜語義關系和依賴結構的能力，并且彌補了圖卷積網絡對時序信息捕捉能力差的不足。與10種關系提取模型或方法進行對比，實驗結果表明，所提模型在關系抽取上具有較佳的性能，其準確率要遠高于其他對比模型。在未來工作中，將深入研究句內結構以及句間結構的信息提取，將模型進行完善并應用到句間關系抽取任務。