神經網絡事件抽取技術綜述

秦彥霞 張民 鄭德權

文章編號： 2095-2163（2018）03-0001-06中圖分類號： 文獻標志碼： A

摘要： 關鍵詞： （1 School of Computer Science and Technology， Harbin Institute of Technology， Harbin 150001， China；

2 School of Computer Science & Technology， Soochow University， Suzhou Jiangsu 215006， China）

Abstract： Event extraction is one important research task in information extraction， which shows great value to information retrieval， question answering and opinion analysis. Traditional event extraction methods manually design features and use Maximum Entropy classifier or Support Vector Machine classifier for trigger classification and argument role identification. Recently， neural network-based methods have shown their effectiveness in image classification， speech recognition and natural language processing areas. The advantage of neural network-based methods is automatic feature learning， thus avoid laborious feature engineering. This article will introduce recent neural network-based methods proposed for event extraction and discuss future work in this area.

Key words：

基金項目：

作者簡介：

收稿日期： 引言

事件作為信息的一種表現形式，其定義為特定的人、物在特定時間和特定地點相互作用的客觀事實。事件抽取是從自由文本中識別事件的發生并抽取事件的各元素的任務。本文將會探討介紹基于ACE2005評測（http：//projects.ldc.upenn.edu/ace/）的事件抽取任務及方法。根據ACE2005評測，組成事件的各元素包括：觸發詞、事件類型、論元及論元角色。事件抽取任務可分解為4個子任務：觸發詞識別、事件類型分類、論元識別和角色分類任務。其中，觸發詞識別和事件類型分類可合并成事件識別任務。論元識別和角色分類可合并成論元角色分類任務。事件識別判斷句子中的每個單詞歸屬的事件類型，是一個基于單詞的多分類任務。角色分類任務則是一個基于詞對的多分類任務，判斷句子中任意一對觸發詞和實體之間的角色關系。

傳統事件抽取方法[1-11]均采用人工構建特征的方法表示每個候選觸發詞或每個觸發詞-實體對，然后借助基于統計的分類模型進行分類。以往方法重點在于研究有效的特征來捕捉候選觸發詞、候選論元的詞法、句法、語義信息，以及觸發詞-觸發詞之間的依賴關系、和同一觸發詞相關的多個實體之間的依賴關系、和同一實體相關的多個觸發詞之間的關系。此外，還有若干工作研究跨句子和跨文檔的事件一致性特征[9]、跨事件的一致性特征[10]和跨實體的事件一致性特征[11]來提高事件抽取的性能。

近年來興起的神經網絡方法，能夠自動學習有效特征。不同于傳統的離散型特征，神經網絡特征多是連續型向量特征，除了能夠建模語義信息外，還能自動組合構建更上層的特征。這些特征的高效性已經在自然語言處理眾多任務中屢獲驗證，并帶來突破性進展。在事件抽取任務中也陸續涌現出一些基于神經網絡的事件抽取方法，使得研究人員免于繼續從事繁瑣的特征工程。本文將全面剖析論述已有的神經網絡事件抽取方法，并對以后的研究方向給出預期展望。

1事件抽取定義

本節將圍繞自動內容抽取（Automatic Content Extraction， ACE）評測中的英文事件抽取任務涉及的相關術語及任務，對其展開如下的研究闡釋。

（1）實體（Entity）。屬于某個語義類別的對象或對象集合。其中包括：人（PER）、地理政治區域名（GPE）、組織機構（ORG）、地名（LOC）、武器（WEA）、建筑設施（FAC）和交通工具（VEH）。

（2）事件觸發詞（Event Trigger）。表示事件發生的核心詞，多為動詞或名詞。

（3）事件論元（Event Argument）。事件的參與者，主要由實體、值、時間組成。值是一種非實體的事件參與者，例如工作崗位（Job-Title）。和實體一樣，ACE05也標記出了句子中出現的值和時間。下文中，即將實體、值、時間統稱為實體。

（4）論元角色（Argument Role）。事件論元在事件中充當的角色。共有35類角色，例如，攻擊者（Attacker）、受害者（Victim）等。

ACE2005定義了8種事件類型和33種子類型。其中，大多數事件抽取均采用33種事件類型。事件識別是基于詞的34類（33類事件類型+None）多元分類任務，角色分類是基于詞對的36類（35類角色類型+None）多元分類任務。這里，參考文獻[8]可得如下例句：

In Baghdad， a cameraman died when an American tank fired on the Palestine hotel. （在Baghdad， 當一個美國坦克對著Palestine酒店開火時一個攝影師死去了）

以上例句中出現的事件解析可見表1。

作為一種有監督多元分類任務，事件抽取方法包括2個步驟：特征選擇和分類模型。本文根據使用特征的范圍不同、模型學習方式不同和外部資源的使用與否對不同的事件抽取方法進行分類。各類方法的研究內容可詳見如下。

（1）根據所使用特征的范圍，事件抽取方法可以分為句子級的事件抽取方法和篇章級的事件抽取方法。總地來說，句子級的事件抽取方法只使用句子內部獲取的特征。而篇章級的事件抽取方法則包含了跨句、跨文檔抽取的特征信息。一般情況下，句子級特征是所有事件抽取方法通用的特征，而篇章級特征則屬于面向實際任務挖掘的特效特征。

（2）根據學習方式不同，可以分為基于流水線模型的事件抽取方法和基于聯合模型的事件抽取方法。事件抽取任務分為事件識別和論元角色分類任務。其中，后者輸入依賴于前者輸出。論元角色分類任務的輸入是識別出的觸發詞和所有候選實體。大部分事件抽取方法都是流水線模型學習方式，先進行事件識別模型的學習，再轉入論元角色分類模型的學習。而經仿真驗證基于聯合模型的學習方式的效果要優于流水線模型學習方式，故而也隨即產生了基于聯合模型的事件抽取工作。

（3）ACE05數據是現有的為數不多的有標記事件數據之一，是在新聞、博客、訪談等數據上進行人工標注得到的。ACE數據的標注質量不高以及規模較小的問題，也在很大程度上影響了事件抽取任務的發展。為此很多工作嘗試借助外部資源輔助事件抽取任務的功能達成。根據是否使用外部資源，可以分為基于同源數據（即ACE數據）的事件抽取方法和融合外部資源的事件抽取方法。

2.1句子/篇章級的事件抽取方法

傳統方法中，句子級別的特征可以分為基于詞的特征和基于詞對的特征。其中，基于詞的傳統離散特征包括：

（1）詞法特征。例如當前詞及周邊詞的一元/二元語法、詞性標簽、詞干、同義詞等。

（2）句法特征。例如當前詞的依存詞和核心詞、涉及的依存關系、是否是未被引用的代詞、句法分析樹中路徑等。

（3）實體信息。例如實體類型、距離最近的實體類型、是否是相同類型論元候選中距離觸發詞最近的等等。

基于詞對的特征有：觸發詞-觸發詞之間的共現關系和觸發詞-論元的多種依賴關系等。

而篇章級事件抽取方法則額外考慮了跨句子或跨文檔的特征輔助任務實現。例如，相同/類似事件對應的論元一致性，同一文檔內的相同單詞觸發的事件類型一致性特征，相同類型的實體參與的事件一致性特征。

本小節將主要討論現有的句子級神經網絡事件抽取方法[12-16]。不同于傳統離散特征，神經網絡方法以連續型向量為特征，并通過不同的神經網絡模型學習更抽象的特征。以事件識別任務為例，神經網絡事件抽取方法的流程為：首先用初始化的特征向量表示候選觸發詞，然后通過神經網絡模型自動更新學習特征以及組合更高級別特征，最后通過Softmax模型來輸出分類。除了特征表示和學習方式的不同外，傳統方法和神經網絡方法在分類模型上亦有不同。傳統方法使用不同的分類模型進行分類，例如常用的最大熵模型和支持向量機模型。神經網絡方法則采用Softmax模型來設計確定分類。

Chen等人[12]和Nguyen等人[13]率先嘗試將神經網絡方法分別應用于事件抽取、識別任務中，并取得了很好的效果，驗證了神經網絡特征的有效性。初始特征表示方面，二者均采用了預訓練的詞向量作為每個單詞的初始表示，而且還融入了單詞的語義和語法信息的建模研究[17-18]。特殊而必要地，二者還都使用了位置信息來建模當前詞和候選觸發詞的距離。受傳統特征啟發，常用的特征還包括當前詞的事件類型向量和實體類型向量。Nguyen等人利用實體類型特征來輔助事件識別任務，而Chen等人使用事件類型特征用于角色分類任務。

在上層特征學習模型方面，研究中均使用了卷積神經網絡模型[19]（Convolutional Neural Network， CNN）來自動抽取有效特征進行事件抽取或識別任務。更進一步地，Chen等人改進了傳統的CNN模型，增配了動態多池機制（dynamic multi-pooling）來提高事件抽取任務性能。研究認為，相比于最大池機制，通過候選觸發詞和候選實體位置分割成3部分的動態多池機制，能夠獲取更為精細、有效的特征用于角色分類。Nguyen等人[14]則提出了一種基于離散短語（skip-gram）的卷積神經網絡模型來輔助事件識別。相比于傳統的連續詞袋模型，基于離散短語的卷積神經網絡模型能夠獲取更豐富的非連續短語上特征，而無需再限定于局部連續短語特征。

除了基于卷積神經網絡的特征學習模型外，還有研究者采用遞歸神經網絡[20-21]（Recurrent Neural Network， RNN）對文本中的序列信息進行建模，從而為事件抽取任務提供助益支持。Feng等人[15]采用一個基于RNN的模型來獲取文本中的序列信息，并采用一個卷積層來獲取文本中的短語塊信息，將2種信息合并后進行事件觸發詞識別。由于沒有使用額外特征，該混合模型是語言無關模型，在多種語言的事件識別任務中取得了良好效果。

以往的傳統事件抽取工作和上述神經網絡事件抽取方法均嘗試了將觸發詞的相關特征，如事件類別信息、位置信息等用于輔助論元角色分類任務，但卻尚未探索論元的信息對觸發詞識別任務的作用。借助于注意力模型（Attention），Liu等人[16]獨家采用了有監督的論元注意力模型將論元信息輸入至事件識別模型中，其效果驗證了論元信息能夠高效地輔助事件觸發詞識別任務。不同于聯合模型中觸發詞和論元信息相互輔助的間接方式，該方法提出的論元注意力模型最直接地將論元信息用于輔助識別觸發詞。