基于雙向GRU神經網絡和雙層注意力機制的中文文本中人物關系抽取研究

張蘭霞 胡文心

(華東師范大學 上海 200062)

0 引 言

近年來，互聯網上的信息呈爆炸式增長，在知識圖譜領域，知識獲取技術獲得了廣泛的關注。實體關系抽取是知識獲取的重要環節之一，主要任務是抽取文本中各實體間的語義關系，從而得到一個<實體，關系，實體>的三元組。舉例來說，“姚明的妻子葉莉在休斯頓當地醫院順利產下一名女嬰”，句子中包含兩個實體姚明、葉莉，從句子信息可以判斷這兩個實體間的關系為“夫妻”，最終得到三元組<姚明，夫妻，葉莉>。

最初關系抽取技術的評測是由消息理解會議MUC(Message Understanding Conference)提出，隨后，自動內容抽取ACE(Automatic Content Extraction)、文本分析會議TAC(Text Analysis Conference)的相繼開展，推動了關系抽取技術的進步。從關系抽取的領域來說，實體關系抽取可以分為開放式關系抽取和限定關系抽取。限定關系抽取主要是針對某一個特定領域，需要預先定義關系類型。而開放式關系抽取則是面向海量的互聯網文本，具有較強的可移植性。根據輸入數據是否有標簽，又可以將關系抽取技術可以分為三類：有監督學習、半監督學習和無監督學習的方法。有監督學習的方法需要大量人工手動標注的語料，而且會隨之引入錯誤的標簽數據。半監督學習和無監督學習的方法與有監督學習的方法相比，雖然可以節省人工標注語料的時間，但是準確率和召回率卻沒有有監督學習的方法高。本文對中文文本中人物關系抽取技術的研究屬于對限定領域的半監督學習技術的研究。

傳統的關系抽取方法一般是關于模式匹配的，結合自然語言處理系統來提取詞匯的特征信息，例如:支持向量機(SVM)的方法[1]、核函數的方法[15]、條件隨機場的方法[16]等。這些方法雖然在關系抽取任務上產生不錯的效果，但是由于模型中的訓練數據主要依賴人工標注，導致實驗中有過多的錯誤標簽數據。此外，通過傳統的自然語言處理系統來提取詞匯特征這一過程中所產生的錯誤也影響了接下來的關系提取。近年來，由于深度神經網絡可以自動地學習底層的特征信息，可以減少人工標注所帶來的錯誤，所以有很多人將神經網絡模型運用到關系抽取任務上。例如：使用卷積神經網絡[2,13-14]、雙向循環神經網絡[3]、雙向LSTM[4]等方法。利用神經網絡方法解決了關系抽取數據中錯誤標簽所帶來的問題，但在實際應用中，對于每一對實體對，都存在多個句子可以表示它們之間的關系，而這些模型普遍認為，每一對實體對都只有一個句子可以表示它們之間的關系，從而忽略了其他有效句子的特征信息。由于帶有注意力機制的深度神經網絡在計算機視覺和自然語言處理任務中取得了顯著成效，如機器翻譯和智能問答等。為了使用有效的句子來進行學習和預測，有人將注意力機制[6-7]引入關系抽取任務。實驗結果表明，加入了注意力機制的神經網絡的方法比普通神經網絡模型的方法準確率要提高許多。但是，這些注意力機制的模型都是針對不同的深度神經網絡，在輸入向量上加入了不同特征層次的單層注意力機制。例如基于字級別的注意力機制或基于句子級別的注意力機制，這種方法沒有完全考慮到字與字、字與詞、詞與句子之間的因果關系，在訓練中容易損失一些有效信息。

為了在使用神經網絡模型進行關系抽取任務時能夠更好地利用有效句子來進行學習和預測，將數據集中的噪音數據過濾掉，本文提出一種結合了雙層注意力機制的雙向GRU神經網絡模型，包含字級別的注意力機制和句子級別的注意力機制。雙層的注意力機制可以在不使用任何自然語言處理系統的情況下，直接從雙向GRU神經網絡中提取出句子的特征信息。

本文的貢獻：(1) 使用了雙層的注意力機制來捕獲中文句子的特征信息，通過不斷的學習將有效句子分配較高的權重，從而降低噪音數據帶來的負面影響；(2) 雙向GRU神經網絡相較于循環神經網絡和LSTM來說，模型更為簡單，需要的參數更少，不容易產生過擬合。

1 相關工作

現有的關系抽取技術大多數是針對英文的，對中文的研究比較少。由于中英文之間的差別，某些適用于英文關系抽取的方法在中文上的表現并不理想。雖然如此，但是也有很多不錯的進展。Li等[8]提出了一種基于特征的中文實體關系抽取方法，在進行特征選取時不僅考慮了實體的特征，還結合了上下文特征和單詞列表，并且定義了兩個實體之間的九種位置結構特征。除此之外，還提出了一些基于關系層次和共同參考信息的校正和推理機制。Che等[9]采用了一種基于核函數的方法，其中內核是圍繞特定實體的原始中文字符串表示定義的，用最小編輯距離(IDE)計算兩個中文字符之間的相似度，并使用支持向量機(SVM)來進行分類。實驗表明，與傳統的基于特征方法相比，此類方法可以獲得更好的性能。Liu等[10]提出了一種新的基于核函數的中文實體關系抽取方法，采用一種改進的語義序列核函數和KNN算法來實現關系抽取任務，實驗對ACE指南中定義的3種關系類型及其6種子類進行了分析。結果表明，該方法的平均精確度高達88%，明顯高于基于特征的方法和傳統的核函數方法。Chen等[11]提出了一種基于深度信念網絡(DBN)的中文關系提取方法，將深度信念網絡作為多個無監督學習網絡組合的分類器，通過RBM (受限玻爾茲曼機)和BP網絡的監督學習網絡來檢測和分類中文實體之間的關系。肜博輝等[12]提出了一種基于多通道卷積神經網絡的實體關系抽取方法。該方法使用不同的詞向量作為輸入語句進行映射，作為模型不同通道的輸入，使用卷積神經網絡自動提取特征信息，通過softmax分類器輸出關系類型。

本文提出了一種加入了雙層注意力機制的雙向GRU神經網絡，用于中文文本中人物關系的抽取。模型的體系結構如圖1所示，word-levelattention和sentence-levelattention分別表示字級別注意力機制和句子級別注意力機制。首先，使用雙向GRU神經網絡來嵌入句子的語義，對句子進行編碼；然后，為了消除噪音數據帶來的影響，在特征向量上分別構建基于字級別的注意力機制和基于句子級別的注意力機制；最后，提取出權重較高的向量，通過softmax分類器輸出關系類型。實驗表明，加入了雙層注意力機制的雙向GRU神經網絡的比一般的神經網絡模型具有更高的準確率。

圖1 雙向GRU+word-level attention+sentence-level attention

2 基于雙層注意力機制機制的中文文本中人物關系抽取

本文提出的雙向GRU+word-levelattention+sentence-levelattention模型包含6個部分：

(1) 輸入層：將句子輸入到該模型中；

(2) 嵌入層：使用word2vec工具將每個字映射到低維向量；

(3) GRU層：通過雙向的GRU神經網絡獲取原始句子的特征向量；

(4) 字級別attention層：生成權向量w，將由GRU層得到的特征向量乘以權向量w，從而得到基于字級別的特征向量；

(5) 句子級別attention層：生成權向量a，將(4)中基于字級別的特征向量乘以權向量a得到基于句子級別的特征向量；

(6) 輸出層：將經過了雙層注意力機制得到的特征向量通過softmax分類器，從而得出最終的關系分類結果。

2.1 字向量

因為計算機無法識別除數學符號以外的各類符號，所以在用深度學習來處理自然語言的各項任務時，需要將語言用數學的形式表示出來，即轉換為向量的形式，以便機器來處理。

大多數單詞嵌入的方法都是以單詞作為基本單元，根據單詞的外部情境學習嵌入，忽略單詞的內部結構。但是對于中文來說，一個單詞通常由多個字組成，并且包含豐富的內部結構信息[4]，所以在本文中使用的是由word2vec訓練好的中文字向量。它與詞向量的差別在于，詞向量是用一個向量來表示一個詞，而字向量是用一個向量來表示一個字。

給出一個句子S={x1,x2,…,xT}，使用word2vec將原始數據中的每一個字xi都轉換成實數向量ei。具體方法是：對于句子S中的每一個字，先將它轉換成嵌入矩陣Wword∈Rdw|V|，V是固定大小的詞匯表，dw是字嵌入的大小。矩陣Wword是需要學習的參數，dw為用戶選擇的參數，通過使用矩陣向量將xi轉換成向量ei。

ei=Wwordvi

(1)

式中：vi是大小為|V|的一維向量，在下標為ei的位置值為1，其他地方值為0。由此，便將中文語句轉換為了一個向量embS={e1,e2,…,eT}。

2.2 雙向GRU神經網絡

GRU神經網絡是循環神經網絡的變形。循環神經網絡RNN(Recurrent Neural Network)是一種用于處理時序數據的模型。在實際應用中，我們可以將中文文本看作是一種時序數據，例如，“上海到倫敦的機票”和“倫敦到上海的機票”所表達的就是兩個完全不同的意思。

傳統的漢語語言模型CLM(Chinese Language Model，即N-Gram)認為，第n個詞的出現只與前面的第n-1個詞相關，而循環神經網絡則認為第n個詞的出現前面的n-1個詞都相關。由此顯而易見，循環神經網絡模型處理自然語言的準確率比傳統的漢語語言模型要高。但是，隨著隱藏層的增加，普通的神經網絡模型也會隨之帶來梯度消失的問題。因此，Hochreiter等[17]提出了一種循環神經網絡最常見的變形——長短時記憶模型LSTM。循環神經網絡會以不受控制的方式在每個單位步長內重寫自己的記憶，而LSTM有專門的學習機制能夠在保持先前的狀態的同時，記憶當前數據所輸入的特征。LSTM神經網絡模型包含有三個門：輸入門、遺忘門和輸出門。遺忘門用于決定保留多少個上一時刻的單元狀態到當前時刻的單元狀態；輸入門用于決定保留多少個當前時刻的輸入到當前時刻的單元狀態；輸出門用于決定當前時刻的單元狀態有多少輸出。GRU神經網絡則是LSTM的簡化版，相比于LSTM來說只有兩個門：更新門和重置門。更新門用于控制前一時刻的狀態信息被帶入到當前狀態中的程度，更新門的值越大說明前一時刻的狀態信息被帶入的越多；重置門用于控制忽略前一時刻的狀態信息的程度，重置門越小說明忽略的信息越多。GRU神經網絡的參數比LSTM減少了1/3，不容易產生過擬合，而且在收斂時間和需要的迭代次數上，GRU神經網絡更勝一籌。GRU可以在保持LSTM效果的同時，使得模型的結構更加簡單。GRU神經網絡向前傳播公式如下：

rt=σ(Wr·[ht-1,xt])

(2)

zt=σ(Wz·[ht-1,xt])

(3)

(4)

(5)

yt=σ(W0·ht)

(6)

由于循環神經網絡模型具有遺忘性，一般來說，最后一個狀態所包含的信息是有損的，而且序列越靠前信息損失得越嚴重。對于包含有許多序列建模任務而言，獲取未來以及過去的背景信息對提高模型的準確率來說是有意義的。所以，如果同時訓練兩個GRU神經網絡，一個采用正向學習，一個采用反向學習，將正向和反向的最后一個狀態對應的向量連接后得到的向量作為最后的結果，則該模型便能同時利用過去和未來的所有信息。

本文使用雙向的GRU神經網絡模型。如圖2所示，網絡包含左右兩個序列上下文的兩個子網絡，分別是前向和后向傳遞。

圖2 雙向GRU神經網絡模型

雙向GRU神經網絡的輸出公式如下：

(7)

這里使用基于元素的和來組合正向和反向的輸出。

2.3 注意力機制

注意力機制的研究實際上是受到人類的啟發，人們在觀察一幅圖像的時候，通常不會關注圖像上的每一個像素點，而是根據實際需求著重關注圖像上的某一個部分，而且人們會根據前一幅圖像的關注點學習到后面圖像需要關注的部分。注意力機制最早應用在圖像領域，Googlemind團隊在使用傳統的循環神經網絡來對大型圖像進行識別時加入了注意力機制。通過注意力機制來學習一幅圖像需要重點處理的像素部分，而不是處理圖像的全部像素。實驗證明，加入了注意力機制的循環神經網絡模型比傳統的神經網絡模型的準確率有了明顯的提升[3]。注意力機制第一次在自然語言處理中的應用是在機器翻譯時使用注意力機制將翻譯和對齊同時進行[4]。隨后在使用循環神經網絡來處理自然語言時，注意力機制被大量使用。近年來，人們又將注意力機制加入到卷積神經網絡中，并取得了不錯的進展。

對于每一對實體對和其對應的關系，傳統的方法認為，在無標簽的語料集中提取所有包含該實體對的句子，都能夠表示該實體對之間的關系。顯而易見，這種方法必然會帶來錯誤的標簽問題，從而產生噪音語料，對實體關系抽取的效果帶來負面影響。因此，本文引入注意力機制，給不同的語料賦予不同的權重，從而摒棄一些噪音數據，以此來提高分類器的性能。

本文提出了在雙向GRU神經網絡上同時應用基于字級別的注意力機制和基于句子級別的注意力機制來提升關系抽取任務的效果。設由雙向GRU神經網絡層產生的輸出向量H組成的矩陣{h1,h2,…,hT}，其中T是句子長度。句子r的表示由以下輸出向量的加權和形成：

M=tanh(H)

(8)

α=softmax(ωTM)

(9)

r=HαT

(10)

式中：H∈Rdw×T,M∈Rdw×T，采用tanh函數將原始向量變換到[-1,1]之間。dw是字向量的維數，w是一個訓練過的參數向量，wT是它的轉置，α的大小為T。

從式(1)獲得基于字級別的注意力機制的句子的表示。

(11)

在基于字級別的注意力機制的句子表示上引入基于句子級別的注意力機制：

(12)

(13)

式中：βi為基于句子級別的注意力機制的權重向量。

2.4 softmax分類器

(14)

(15)

損失函數為真實類別標簽y的負對數似然值:

(16)

式中：t是使用one-hot表示的真實值；y是使用softmax函數估計每個類別的概率；λ是L2正則化參數。除此之外，Hinton曾提出使用dropout(隨機忽略神經網絡中的某些單元)來防止隱藏層單元的過擬合問題。因此我們在嵌入層、GRU層和倒數第二層上使用dropout。如式(16)所示，在梯度下降的步驟后，只要‖ω‖>0，就通過‖ω‖=S來約束L2范數。在本文實驗中，將損失值與L2正則化相結合來緩解過度擬合。

3 實 驗

3.1 數據集和實驗設置

在現有的關系抽取實驗中，大多數都是英文語料，公開的中文人物關系語料并不多，因此，本文利用遠程監督的方法來獲取訓練樣本，具體方法分為以下兩步：(1) 從在線知識庫(復旦大學知識工廠實驗室CN-DBpedia，CN-DBpedia的數據主要來源于百度百科、互動百科、中文維基百科等，經過融合、過濾、推斷等操作而形成的高質量的結構化數據)中獲取具有確定關系的實體對。(2) 依據這些實體對從百度、新浪等新聞網站中通過爬蟲獲取這些實體對共同出現的語句。本實驗中一共從在線知識庫中整理出具有確定關系的實體對686對，根據獲取的實體對，將實體間的關系分為九類，如表1所示，以此來作為正樣本。再從在線知識庫中隨機產生653對(正負樣本比例約為1∶1)沒有確定關系的實體對來作為負樣本。根據這1 339對實體對爬蟲獲取它們共同出現的句子，數據量約為8 000條，數據結構為“實體1 實體2 關系包含實體1、實體2的語句”的形式，如表2所示。利用二八定律隨機將其分為8∶2的兩個部分別作為訓練集和測試集。

表1 實體間的各類關系

表2 樣本示例

實驗中模型的輸入均為字向量的形式，字向量由Google的Word2vec工具訓練產生。實驗中使用的字向量為同一文件，利用訓練好的字向量將抓取到的句子轉換為向量的形式。首先將訓練好的字向量轉換成字ID的形式，每一個字都對應一個ID號；其次句子中的每一個字都用一個3×1的矩陣表示，格式為[字ID,該字距實體1的距離,該字距實體2的距離]；最后將這些矩陣連接起來用來表示包含了這兩個實體的句子。每對實體間的關系用一個含0和1的一維數組表示，在表示其關系的位置值為1，其他地方值為0。例如，上述樣本表示為：(’梅蘭芳’,’福芝芳’):[0,0,1,0,0,0,0,0,0,0]。

模型的基本參數設置如表3所示。

表3 模型中的參數設置

3.2 實驗方法和評測指標

為了驗證本實驗方法對中文文本中人物關系抽取的效果，分別在雙向GRU神經網絡、雙向GRU神經網絡+字級別attention機制、雙向GRU神經網絡+句子級別attention機制、雙向GRU神經網絡+字級別attention機制+句子級別attention機制四種模型上，對同一數據集進行訓練。因為本文是對限定領域的關系抽取技術的研究，因此可以將其視為一個分類問題，對于實驗結果，采用準確率(P)、召回率(R)和F值(F)來作為評價指標，計算公式如下：

(17)

(18)

(19)

3.3 實驗結果和分析

為了驗證加入了注意力機制的雙向GRU神經網絡模型在中文人物關系抽取模型上的抽取效果，采用3.1節獲取的數據和參數設置運行實驗，將各模型在測試集上的準確率、召回率和F值匯總到表4。

表4 實驗結果對比 %

由表4可得，普通的雙向GRU神經網絡模型的準確率和召回率分別為72.52%和43.30%；加入了字級別注意力機制的準確率和召回率分別為77.49%和46.09%；加入了句子級別注意力機制的準確率和召回率分別為78.44%和46.78%；加入了雙層注意力機制的雙向GRU神經網絡模型的準確率和召回率分別為81.67%和50.08%。無論從準確率、召回率或是F值來排序，加入的注意力機制的雙向GRU神經網絡的模型的效果都優于普通的雙向GRU神經網絡模型；而分別加入了字級別和句子級別注意力機制的雙向GRU神經網絡的關系抽取模型的準確率和召回率區別并不大，但是卻比普通的GRU神經網絡要高；加入了雙層注意力機制的GRU神經網絡模型的準確率和召回率最高。由此證明，選擇性地關注句子中的重要信息可以提高關系抽取的準確率。

4 結 語

本文提出了一種加入了雙層attention機制的雙向GRU神經網絡模型來用于中文文本中人物關系的抽取。該模型采用字向量的形式輸入，通過雙向GRU神經網絡對文本數據進行建模，依次加入基于字級別的注意力機制和基于句子級別的注意力機制，充分利用句子中的有效信息并緩解遠程監督問題帶來噪音數據的影響。通過與普通的雙向GRU神經網絡進行對比實驗，驗證了加入了注意力機制的中文文本中人物關系的神經網絡抽取模型的效果要優于普通的神經網絡模型，而提出的加入雙層注意力機制的雙向GRU神經網絡模型在本文的實驗數據集上的準確率和召回率都比其他模型更好。