基于雙流注意力機制的閱讀理解式事件抽取模型

安 娜，白雄文，王紅艷，張 萌

(中國航天科工集團第二研究院 七〇六所，北京 100854)

0 引 言

事件抽取任務[1]由事件類型檢測和事件論元角色識別兩個階段子任務完成，且兩子任務是相互依賴的。現有事件抽取技術分為管道方式抽取模型[2](pipeline method)和聯合方式抽取模型[3](joint method)兩個方向。管道式事件抽取模型將觸發詞識別或事件類型檢測和事件元素(又稱論元)信息抽取看作多個獨立的子任務執行，而多數情況下，觸發詞與論元之間存在依賴關系，這種流水線式子任務執行方式容易產生關聯性錯誤，同時下游任務的信息也無法反饋到上游任務。而聯合式模型將兩個子任務看作一個結構化任務，解決了管道式模型無法捕捉不同事件觸發詞與角色論元依存關系問題，并避免了事件抽取子任務訓練過程中存在的級聯誤差。然而，現有聯合式事件抽取模型仍然難以挖掘句子的深層特征，導致論元識別任務存在角色重疊和論元嵌套問題。例如，句子“近日，有媒體報道，海爾4名員工因午休被解除勞動合同”，論元“海爾4名員工”承擔了“被解雇人員”角色，嵌套論元“海爾”承擔了“解雇方”角色，屬于典型的論元嵌套問題。針對以上存在的問題，本文對中文事件抽取任務進行了大量研究，并提出了優化算法。

1 相關工作

目前，事件抽取技術方向主要包括基于規則匹配的事件抽取模型和基于機器學習算法的事件抽取模型[4]。基于模式匹配的事件抽取模型在某些特定領域的表現性能較好，但存在模型移植性和泛化能力較差的缺陷。基于機器學習算法的事件抽取模型是通過機器學習算法建模事件抽取模型完成事件抽取任務，不會依賴一些特定規則，所以相比基于模式匹配的事件抽取模型，系統移植性較好，模型泛化能力也較強。隨著司法文書數據日益增加的復雜性，基于機器學習算法的事件抽取模型越來越流行。

近年來，研究者對深度學習在事件抽取任務中的應用進行了大量研究，進一步推動了事件抽取任務的研究和發展。事件抽取模型根據子任務訓練方式不同分為管道式和聯合式事件抽取模型。

1.1 管道式的事件抽取模型

管道式事件抽取模型首先進行觸發詞或事件類型檢測，再將其結果作為輸入進行事件論元抽取，這兩個子任務模型的訓練是分離式進行的。文獻[5]提出了一種新的信息抽取管道模型，該模型使用模式學習算法提取事件信息特征，然后使用經過訓練的隨機森林分類器進行分類，并在時態數據驗證了算法的有效性。文獻[6]使用循環神經網絡提出一種基于預訓練語言模型的事件抽取模型(pre-trained language model based event extractor，PLMEE)，該模型使用LSTM加強文本語義提取能力，并基于多組二分類網絡實現事件元素識別，提升了論元抽取子任務模型的性能。然而，管道式事件抽取模型的性能仍然受子任務級聯錯誤影響。

1.2 聯合式事件抽取模型

為了解決管道式事件抽取模型的缺陷，文獻[7]提出一種基于神經網絡的聯合事件抽取模型(joint event extraction via recurrent neural networks，JRNN)，該模型將事件抽取任務分為事件觸發詞和事件角色論元識別兩個階段，并將這兩個階段任務建模端到端式的神經網絡模型進行訓練和優化，同時預測觸發詞和事件角色論元。文獻[8]聯合事件抽取模型(jointly multiple event extraction，JMEE)，主要利用圖卷積神經網絡表征單詞向量，并結合自注意力機制算法完成觸發詞檢測和相應事件元素識別。另外，一種基于條件隨機場的多任務融合的事件抽取聯合模型[9]，借助對事件類型的標注任務，解決了事件抽取聯合模型中的角色重疊問題。上述研究工作主要集中于分類思想，隨著研究深入，這種傳統思想逐漸轉變為其它范式思想。文獻[10]引入閱讀理解思想，通過對注釋手冊的語句進行增量消化來消除論元角色識別存在的詞語歧義問題。文獻[11]提出一種基于問答模式[12]的事件抽取模型，通過事件類型和論元角色設定相應問題，增強模型對文本的語義理解，從上下文中推理事件論元。

綜上所述，目前的大量研究工作僅是在一個方向優化事件抽取模型性能，并沒有同時處理上述模型存在的所有問題。因此，本文提出一種端到端式基于雙流注意力機制的閱讀理解式事件抽取模型，選擇BERT預訓練模型[13]進行字詞表征，利用雙流注意力機制算法捕捉事件對應句子上下文和問題深層語義，并參考文獻[14]進行問題規則模板制定，以及采用多層指針網絡完成問題答案的預測，即事件論元抽取。最終，結合事件類型檢測結果合并作為事件抽取模型的預測結果。本文模型的貢獻在于以下：

(1)將事件類型檢測任務和事件論元識別任務聯合訓練和優化，解決多任務模型訓練中子任務難以同時達到最優的問題；

(2)使用閱讀理解思想進行事件論元識別，針對事件類型和論元設計相應問題，有效改善局部詞語歧義等問題；

(3)基于雙流注意力機制加強模型對事件相關文本的語義理解能力，從而提升閱讀理解任務準確率，進一步提升事件抽取模型性能；

(4)基于多層指針網絡進行論元預測，進一步解決事件論元識別任務中角色重疊及角色論元嵌套等問題。

2 基于雙流注意力機制的閱讀理解式事件抽取模型

2.1 模型整體框架

不同于傳統管道式事件抽取模型，基于雙流注意力機制的閱讀理解式事件抽取模型由事件類型檢測和事件角色論元抽取兩個子任務組成，并將其構建為一個端到端式的基于深度學習的神經網絡模型。如表1所示，待抽取事件schema，同一個事件類型可以對應多個事件角色，不同事件類型所包含的事件角色有相同部分，這部分相同的事件角色統稱為通用事件角色，其它不同的事件角色統稱為特定類型事件角色。這樣，根據事件類型和事件角色類別設計模型輸入的問題對，實現事件抽取模型訓練和優化，最終完成事件抽取任務。

表1 事件schema

本文提出的事件抽取模型總框架如圖1所示。該模型包含問題模板設計模塊、輸入向量表征模塊、基于多標簽分類的事件類型檢測模塊以及基于雙流注意力機制和多標簽指針網絡的事件論元抽取模塊。

圖1 事件抽取模型總框架

本文模型實現流程如下：①根據表1每個事件類型對應事件角色制定問題生成規則，生成事件對應問題和上下文作為事件抽取模型的輸入；②基于BERT預訓練模型獲取上下文和問題的字詞編碼拼接向量；③基于雙流注意力機制計算上下文-問題注意力和問題-上下文注意力，與原始上下文向量及上下文-問題的雙向注意力向量進行多特征融合并輸入多層指針網絡完成事件論元預測；④基于多標簽分類方式進行事件類型檢測；⑤結合步驟④事件類型檢測結果與步驟③事件論元角色預測結果定義事件抽取模型總損失函數，完成模型訓練和優化。

2.2 問題模板設計

由于中文與英文之間存在語言壁壘問題，受文獻[14]啟發，本文設計了一套問題模板生成規則，專門用于中文事件抽取任務，使得基于閱讀理解方式的事件抽取任務得到快速實現。本文的模板規則以獲取事件論元和事件類型為目標進行問題設計，將事件類型和論元類型(事件角色)進行整合，針對一種事件類型得到多條標簽形態，如司法行為事件的罰款事件類型，對應標簽為罰款-時間、罰款-執法機構、罰款-罰款對象、罰款-罰款金額。通過分析，將這些標簽大致分為以下3種：

(1)通用性標簽

這類標簽主要涉及事件發生的時間、地點、人數、人物對象等論元(事件角色)，具有一定的通用性，即與不同的事件類型進行整合，其表達含義基本相同，因此這類事件論元對應的問題設計，只需要在不同問題之前增加事件類型字符串用于區分，比如“罰款-時間”對應問題為：找到罰款事件發生的時間，包含年、月、日、天、周、時、分、秒等，“立案-時間”對應問題為：找到立案事件發生的時間，包含年、月、日、天、周、時、分、秒等。

(2)與事件強相關的標簽

這類標簽通常與具體事件類型有一定的關聯，比如罰款-執法機構、開庭-開庭法院等。因此，這類事件論元對應的問題設計，可能需要提到事件類型的某些屬性，比如“罰款-執法機構”對應問題為：擁有相對獨立的法律地位和組織機構的行政機構。

(3)無法生成問題的標簽

對于一些標簽實在無法給出較為合適的問題，可以選擇單純保留其原始論元類型，并與事件類型整合，比如“漲停-漲停股票”對應問題為：漲停-漲停股票。

本文針對事件論元和事件類型設計的問題模板見表2。

采用這種問題生成模板規則可以間接增加模型輸入數據量，假設一個文本包含m種不同事件類型，每個事件類型平均包含n個可提取內容的論元，那么一個文本數據可以擴充m×n倍，相當于間接做了數據增強，從而在一定程

表2 事件論元角色問題模板

度上增強了模型的學習能力。

2.3 輸入向量表征

BERT預訓練模型[15]采用基于字粒度的編碼方式，難以完整表示中文詞語之間的語義特征，因此，本文在基于BERT預訓練的字粒度編碼基礎上增加每個詞的詞性標注信息，作為事件抽取模型的輸入向量。具體實現如下：

(1)利用中文分詞工具進行輸入文本詞性標注，將每個詞語標注為B-postag，I-postag，E-postag，S-postag(單個字符)形式作為BERT模型輸入獲取詞表征向量，如“本案由丹陽市公安局偵查終結，以被告人謝某某涉嫌盜竊罪，于2021年7月23日向本院起訴”分詞結果如圖2所示，對于“公安局”這個詞，以“B-nt I-nt E-nt”作為BERT輸入進行詞向量表征，獲取輸入文本的詞編碼向量hpos。

圖2 詞性標注示例

(2)基于BERT預訓練模型獲取輸入文本對應每個字符的字編碼向量hb；

(3)字編碼和詞編碼拼接作為最終編碼向量h0，該模塊數學表達式如下

h0=Concat([hb,hpos])

(1)

BERT模型的輸入是3種編碼向量直接相加，其中Token編碼表示字符向量或詞向量，Position編碼表示位置信息，因為自注意力機制的模型無法感知每個字之間的位置關系，所以使用Position編碼給每個字標記其順序信息，Segment編碼表示多個句子之間的分割向量，本文僅在每個句子的開頭和結尾加上[CLS]和[SEP]標記。BERT采用微調的多層雙向Transformer作為編碼器，對于一段文本中的每個字向前向后直接和文本中任何一個字進行編碼，使得每個字都能融合其左右兩邊的語義。每個編碼器由多頭自注意力機制(multi-head self-attention)和全連接前饋神經網絡組成，其中，單個編碼器結構如圖3所示。

圖3 BERT編碼器結構

多頭注意力機制意味著對一段相同文本作多次自注意力計算，而每一次自注意力計算可以獲取句子的不同信息，并將多次自注意力計算結果拼接在一起，如下數學表達式

(2)

上述公式中，q,k,v為詞向量矩陣，wq，wk，wv為投影矩陣，hi為單頭注意機制層輸出，Wo為權重矩陣，dk為向量維度。

2.4 事件論元抽取

不同于傳統閱讀理解式事件論元抽取方法，本文提出一種基于雙流注意力機制的閱讀理解式事件論元抽取方法。該模型主要有：輸入向量表征、基于上下文-問題的雙流注意力機制層以及基于多層指針網絡的答案預測層，其框架結構如圖4所示。上下文-問題的雙流注意力機制層是事件論元抽取模塊的核心，負責融合上下文和問題之間的語義特征，深層捕捉上下文和問題的關系特征，從而進一步提升閱讀理解式事件論元抽取任務的性能。除此之外，為了解決事件論元抽取任務中存在的角色重疊和角色論元嵌套問題，本文還采用多層指針網絡堆疊的方式進行模型優化，即對于輸入文本中每個字都可以被預測為某一論元角色的起止位置，且任意兩個字組成的元素也可能被預測為任意一個論元角色，從而改善事件論元抽取任務中的角色重疊和角色論元嵌套問題。

圖4 事件論元抽取模塊模型結構

如圖4所示模型結構，首先，模型輸入向量表征層分別從字詞兩個不同粒度獲取輸入上下文和問題的編碼向量，得到矩陣H∈Rd×T和U∈Rd×J，作為上下文-問題的雙流注意力機制層的輸入，d表示向量維度。該層分別從兩個方向計算上下文-問題注意力和問題-上下文注意力，具體實現步驟如下：

(1)構造一個共享相似度矩陣，其數學表達式如下

(3)

(2)利用步驟(1)構造的相似度矩陣P分別計算兩個方向的注意力大小：上下文-問題注意力(Context-to-Query，C2Q Attention)和問題-上下文注意力(Query-to-Context，Q2C Attention)。其中，C2Q Attention計算的是Context所有詞對Query中每個詞的注意力大小(相關性)，包含所有Query信息，計算方法為：首先對相似度矩陣P進行行方向歸一化，再對Query進行加權求和得到C2Q Attention，其數學表達式如下

(4)

而Q2C Attention計算的是Query所有詞對Context每個詞的注意力大小，包含所有Context信息，計算方法為：首先獲取相似度矩陣P每列的最大值，再將其進行Softmax歸一化，最后對Context進行加權并在列方向上迭代T次得到Q2C Attention，其數學表達式如下

(5)

(6)

上述公式中，G中每一列向量包含Context和Query的上下文信息。

(3)對注意力機制層的輸出向量G進一步進行征提取，得到輸出矩陣Hc∈Rd×T， 作為多層指針網絡的輸入完成論元抽取。不同于傳統機器閱讀理解任務預測Start和End的方式，本文針對每個字符均使用兩個二分類器進行Start和End預測，其數學表達式如下

(7)

(8)

上述公式中，i，j表示位置對應索引值，取值范圍為[0,n]，n為問題對應字符長度。在得到答案對應起止位置集合之后，還需解決論元開始與結尾位置相匹配問題，本文采用一個二分類模型來預測它們應該被匹配的概率，其數學表達式如下

Pistart,jend=sigmoid(W*Concat(Eistart,Ejend)),W∈1×d

(9)

2.5 事件類型檢測

本文基于多標簽分類方法進行事件類型檢測，具體實現為：對輸入向量表征模塊的輸出向量H∈Rd×T進行最大池化后接一個全連接層和Softmax層進行多標簽分類，其數學表達式如下

Xp=maxpooling(H)Pclass=φ(WbXp+b)

(10)

2.6 聯合訓練

在本文中，事件抽取模型由事件類型檢測子任務和事件角色論元識別子任務聯合構建，模型訓練并不是對單個子任務進行單獨優化和學習，而是將事件類型檢測結果與事件角色論元預測結果進行聯合訓練和優化，所以獲得事件類型檢測結果之后，需要重新定義事件角色論元識別任務的起止位置的預測概率，其數學表達式為

(11)

如果用ystart，yend表示每個token對應任意角色論元開始索引和結束索引的真實標簽序列，則每個字符被預測為開始和結束索引的損失函數表達式為

(12)

同理，如果用yse表示開始和結束位置相匹配的索引序列，則相應損失函數表達式如下

(13)

故而，事件抽取聯合模型的最終損失函數表達式如下

Loss=αLstart+βLend+γLstart,end

(14)

式中：ɑ，β，γ作為超參數來優化模型，取值范圍[0,1]。

3 實驗結果與分析

3.1 數據來源

本文采用目前中文事件任務中規模最大的事件抽取數據集DuEE作為實驗數據，該數據集定義了65個事件類型，每個事件類型包含相應的事件角色，總共有17 000條具有事件信息的句子。其中，表3統計了數據集關聯的領域類別及每個類別對應數據數量。由表3看出，數據集所涉及事件類型不僅包含出售/收購、結婚、辭職等傳統中文事件抽取任務常見的事件類型，而且包含起訴、拘捕、立案等具備特定司法領域的事件類型，可以更好支持后期工作。考慮實驗的合理性，本文選取12 000條數據作為訓練集，2000條作為驗證集，1500條作為測試集1，1500條作為測試集2。

表3 DuEE中的事件類型與事件子類型

3.2 實驗環境與超參數設置

本文采用Tensorflow[15]深度學習框架和Python3編程語言進行實驗環境部署，在CentOS Linux平臺上使用NVIDIA Tesla V100圖形處理單元(GPU)16 GB顯存。選用BERT預訓練模型，其中模型層數L為12，隱藏層維度H為768，多頭自注意力機制頭數A為12，Dropout丟棄率為0.2，Shuffle_buffer為128，Pre_buffer_size為16，并使用交叉熵損失函數進行訓練，使用優化器Adam算法[16]進行優化。經過多次實驗進行參數調節，得出本文模型達到最優狀態時的其它主要超參數為：Batchsize為8，學習率為2e-6，訓練批次Epoch為10，每個輸入序列最大長度Seq_length為512。

3.3 模型評估指標

本文提出的基于雙流注意力機制的閱讀理解式事件抽取模型的性能評估由兩部分組成，一部分是事件類型檢測結果；一部分是事件論元角色識別結果。事件類型檢測結果判斷：如果模型預測的分類類型與標注類型相匹配，就認為分類正確。事件角色論元識別結果判斷：如果模型識別出的論元在事件中充當的角色與標注角色一致，并且識別的論元起止位置與標注的起止位置一致，則認為論元識別正確。

本實驗選擇精確度(Precision，P)、召回率(Recall，R)以及F1得分作為模型性能評估指標，計算公式為

(15)

式中：TP、FP和FN分別表示預測結果真的正例值、假的例值和假的負例值。

3.4 實驗結果及分析

為了評估基于雙流注意力機制的閱讀理解式事件抽取模型的性能，本文從3個方面進行實驗對比和結果分析：①依據文獻[17]，對比分析了不同網絡結構對模型性能的影響，進一步驗證了BERT動態詞表征模型相比WORD2VEC靜態詞表征對模型性能的改善效果；②驗證了機器閱讀理解思想對事件抽取模型性能的提升效果，對比分析了管道式模型和聯合式模型的性能；③對比分析了本文提出的基于雙流注意力機制的閱讀理解式事件抽取模型相比其它模型的優勢；④對比分析了采用基于BERT類變體的兩種模型進行事件抽取模型的訓練過程，進一步分析了BERT類變體模型對事件檢測任務的性能影響，驗證了本文模型采用BERT進行輸入向量表征的優勢。不同模型得出的性能評估指標結果見表4。

表4 不同模型性能指標比較

由表4可以看出，融合CNN與LSTM網絡結構并進行編碼向量共享的DJEE(WORD2VEC)模型相比NO_CNN(WORD2VEC)模型和NO_CNN(WORD2VEC)模型召回率有很大幅度提升，準確率也有一定幅度提升，這表明通過CNN提取字符級特征，LSTM提取詞級特征，并融合CNN與LSTM字詞特征的方式可以獲取文本全局和局部特征，并捕捉到更多文本的上下文語義信息，進一步提升了模型的整體性能；BERT+CRF模型相比融合字詞特征的DJEE(WORD2VEC)模型準確率有很大幅度提升，模型整體性能有很大程度改善，這表明基于BERT預訓練模型進行輸入向量表征可以獲取文本更深層次語義，并且與基于WORD2VEC進行輸入向量表征的模型相比，還可以根據不同上下文語境動態地獲取詞語語義信息，同時可以避免LSTM網絡結構存在的文本序列長期依賴問題。所以，基于BERT預訓練模型進行輸入向量表征可以提升模型的整體性能；BERT+SOFTMAX MRC(JOIN)模型相比BERT+CRF在召回率指標上有大幅度提升，這表明閱讀理解思想可以提升事件論元識別任務的性能，從而改善事件抽取模型的整體性能，在機器閱讀理解任務中，首先根據特定文本進行問題對設計，再讓模型從文本中抽取對應答案，這種方式使模型可以同時學習問題和上下文文本的語義信息，加深模型的上下文學習能力，解決了局部詞語歧義問題。因此，基于閱讀理解方式的事件抽取模型在召回率指標上表現更突出，模型的整體性能也較為突出；而管道式模型BERT+SOFTMAX MRC(PIPELINE)相比聯合式模型BERT+SOFTMAX MRC(JOIN)，準確率、召回率及F1得分均有很大幅度降低，甚至其性能不如上述的其它模型，這表明管道式模型訓練過程中存在子任務誤差傳遞問題，使子任務無法同時達到最優狀態，進而影響模型的整體性能。而聯合式模型是一種端到端式的訓練任務，可以避免模型訓練過程中子任務的誤差傳遞，并在一定程度上更多地捕捉到子任務之間的依賴關系，因此具備更強的模型性能；本文提出的ATTENTION+PNet MRC模型相比上述模型，準確率和召回率都有很大幅度提升，這是因為基于雙流注意力機制獲取上下文和問題之間彼此的關注度向量，并與原始上下文向量進行多特征融合，可以有效捕捉到當前語境下上下文和問題的深層語義信息，加深了模型的語義理解能力。除此之外，基于多層指針網絡進行角色論元抽取，即文本序列的每個字都有可能被預測為一個論元的起止位置，一定程度上解決了傳統事件論元識別模型所存在的角色重疊和角色論元嵌套問題。

通過以上實驗分析，本文提出的模型在準確率和召回率上都有所提升，但模型整體性能還需進一步提升。為了充分利用數據集，本文將訓練集和驗證集合并起來進行了六折交叉驗證，然后對結果進行投票融合，其性能見表5。

表5 交叉驗證對模型性能的影響

表5結果顯示，交叉驗證投票融合方式對模型性能有一定提升，這種方式相當于進行了數據增強。為了進一步驗證BERT變體預訓練模型對模型性能的影響，本文還選擇了3種預訓練模型BERT、BERT-wwm以及RoBERTa分別作為輸入向量表征層，使用BERT+SOFTMAX MRC模型進行事件類型檢測子任務訓練，并使用參數F1作為性能評估指標，實驗結果見表6。同時，圖5展示了3種編碼機制對應模型訓練的收斂過程。

表6 不同編碼向量對模型性能的影響

圖5 不同模型訓練收斂過程

由表6和圖5可以看出，不同預訓練模型編碼會影響事件抽取模型性能及模型訓練時間。從模型性能評估指標來看，BERT編碼效果最優，但是與RoBERTa編碼的結果相差不大，這表明不同編碼對模型性能確實有一定影響。同時，從模型收斂時間來看，BERT編碼比RoBERTa編碼使模型收斂更快。綜合分析，本文選擇BERT模型編碼，但是RoBERTa編碼模型有著節省計算資源，訓練參數少，更輕量級以及使用更便捷等優勢也可以作為相關研究者的選擇。

4 結束語

本文提出一種基于雙流注意力機制的閱讀理解式事件抽取模型，基于BERT預訓練模型獲取模型輸入的語義表征向量，將其與上下文和問題的雙向關注度矩陣進行多特征融合，進一步捕捉上下文-問題文本深層語義信息，并基于多層指針網絡進行問題答案預測，最終完成事件論元抽取。本文提出的模型一定程度上避免了傳統事件論元識別任務中出現的角色重疊和角色論元嵌套問題，實現了端到端式的模型訓練效果，提升了事件抽取模型整體性能。

由實驗結果得知，本文提出模型在DuEE數據集上性能表現較好。下一步工作將基于司法領域數據對模型進行優化改進，以技術來支持特定領域事件信息抽取等工作。