面向新冠新聞的三階段篇章級事件抽取方法

郭 鑫，高彩翔，陳 千，2，王素格，2，王雪婧

1.山西大學 計算機與信息技術學院，太原 030006

2.山西大學 計算智能與中文信息處理教育部重點實驗室，太原 030006

新冠疫情于2019年底爆發，面對該公共衛生突發事件，各國政府積極采取應對措施，新聞媒體實時聚焦疫情事件報道，世界各國學者迅速投身新冠病毒及防治領域的研究。如何從海量的新聞中梳理出疫情發展的脈絡，成為科研人員研究的熱點問題。

作為信息抽取的一個子任務，事件抽取[1]旨在從非結構化數據中快速獲取關鍵的結構化事件信息。事件抽取主要分為兩個任務：事件類型檢測[2]、事件論元抽取[3]。事件類型檢測是識別句子中的觸發詞，接著對觸發詞分類，即對這句話所包含的事件進行分類；事件論元抽取是基于已經獲取的事件觸發詞及事件類型，去識別事件中其余的事件相關論元。

事件檢測中的觸發詞是指句子中能讓一個事件發生的核心詞語，觸發詞所對應的類別就是該句子當中所包含的事件類別；事件論元則通常指一個事件的參與者，事件論元角色則是該參與者在事件當中所代表的具體含義[4]。事件抽取任務中存在一些挑戰，對于簡單事件可以直接從一句話中抽取出事件相關信息。但是對于部分復雜事件而言，句子級抽取不能涵蓋事件的全部論元，需要從多個句子中才能完整地抽取出整個事件。如圖1所示，s1中“捐贈”觸發一個愛心捐贈事件，“中國政府”“加拿大”“11日”在該事件中分別扮演捐贈方、接收方、時間的事件角色。但是只抽取出部分事件論元，在s2中補充了具體的捐贈物，即“醫用防護服”“護目鏡”“口罩”“隔離衣”。s1和s2組合抽取出該事件中所包含的所有事件論元以及在該事件中所扮演的角色，從而組成一個完整的事件：

圖1 愛心捐贈類篇章級事件抽取實例Fig.1 Doc-level event extraction sample of caring donation

s1：中國政府向加拿大捐贈的醫療物資11日晚運抵加拿大。

s2：此次捐贈的醫療物資包括醫用防護服、護目鏡、口罩和隔離衣等。

從已有研究近況來看，面向新冠肺炎新聞的篇章級事件抽取還存在如下問題：（1）事件抽取主要還是集中在從單一句子中抽取事件；（2）大部分已有的事件聯合抽取工作都是基于ACE 2005數據集進行實驗，該數據集僅在句子范圍內標記事件聯合模型，而且不包含面向新冠肺炎新聞數據集。

針對以上問題，本文的貢獻在于以下三點：

（1）本文通過爬蟲技術，構建了近6 644條基于篇章級的面向新冠肺炎的精標注新聞數據集以及15萬左右的未標注新冠肺炎新聞數據集。

（2）通過改進的TextRank算法抽取關鍵的事件句，接著利用序列標注從篇章級角度進行事件抽取，進而獲取到更加全面的事件信息。

（3）提出一種三階段的管道方法，結合有監督和無監督模型，在降低人力成本的同時，將句子級事件抽取任務擴展到篇章級，實驗證明該方法采用的篇章級事件抽取技術在新冠新聞數據集上的F1指標達到74%，從而驗證了方法的有效性。

1 相關工作

已有的事件抽取方法大體上分為三大類：模式匹配方法、機器學習方法、深度學習方法。早期事件抽取方法采用模式匹配技術，首先構造特定事件模板，然后通過模板匹配從文本中提取事件。Riloff等人[5]通過建立觸發詞詞典和事件匹配模式進行事件識別與抽取，但手動標注事件模式耗時費力，需要領域專家的指導。近年來基于機器學習的事件抽取技術得到迅速發展。Li等在2013年[6]和2014年[7]提出基于結構預測的事件抽取聯合模型。Liu等人[8]研究了事件與事件關聯和主題與事件關聯兩種全局信息。機器學習方法不僅需要人工設計特征，還需要借助外部NLP工具抽取特征，特征抽取過程中會產生誤差。隨著深度學習技術的興起，端對端的神經網絡模型被廣泛應用于事件抽取。Zeng[9]和Liu[10]分別結合CNN和BiLSTM來進行事件觸發器檢測。Wu等人[11]應用參數信息訓練BiLSTM網絡的注意力來進行事件抽取。Chen等人[12]提出了一個HBTNGMA模型用于提取和融合句內和句間上下文信息，增強事件檢測。

事件抽取也可以分為句子級和篇章級。現階段事件抽取的研究主要基于ACE 2005數據的句子級事件抽取任務上，Chen等人[13]提出了一種動態多池卷積神經網絡來評估句子的每個部分，捕獲句子最重要的信息。Feng等人[14]基于遞歸神經網絡對輸入句子進行序列建模來獲取整個句子的上下文信息。Nguyen等人[15]提出一種基于RNN的事件識別和角色分類聯合學習模型。Miao等人[16]提出CNN-BiGRU模型，通過CNN獲取詞級別特征，BiGRU獲取句子級特征。Ding等人[17]提出分層語義融合模型。Wu等人[18]提出FB-Latiice-BiLSTM模型，對僅能捕獲字粒度語義信息的BiLSTM-CRF模型進行詞語和實體維度的信息增強，但句子級的事件抽取會造成論元角色的缺失，忽略重要事件信息。近年來篇章級事件抽取也有所突破。Huang等人[19]利用基于管道的方法進行篇章級事件抽取。仲偉峰等人[20]提出基于自注意力機制的實體事件聯合標注模型。Yang等人[21]基于句子抽取結果，利用上下文元素補齊策略得到篇章事件結構化信息。Du等人[22]將文檔級事件角色填充符提取形式化為端到端序列標記問題。關于新冠事件抽取，Dimitrov等人[23]構建了COVID-19的語義標注Tweets語料庫。Wang等人[24]提出從Twitter中抽取COVID-19事件。

綜上，現有的新冠數據集大多數是基于英文語料庫，且篇章級事件抽取任務存在輸入篇幅過長的問題。本文構造中文新冠新聞數據集來擴充語料庫，并提出一種事件句抽取的三階段篇章級事件抽取方法。

2 三階段COVID-19事件抽取方法

2.1 整體框架

本文提出一種基于三階段的管道方法來實現篇章級的事件抽取。圖2描述了事件抽取模型的總體架構。模型主要包含3個階段：（1）事件類型識別，利用無監督算法進行事件類型分類；（2）事件句抽取，基于改進的TextRank算法進行含有論元的事件句抽取；（3）篇章級事件論元抽取，利用BiLSTM-CRF的序列標注模型，對事件句進行預測標注，采用拼接技術完成篇章級事件抽取。最終利用論元補充得到完整事件信息。

圖2 篇章級事件抽取模型框架Fig.2 Framework of document-level event extraction model

2.2 事件類型定義

已抓取的新冠肺炎新聞數據集根據預定義事件類型采用多人協同標注方式。根據卡帕值將事件大概分為六類，分別是確診病例溯源、數據通報、本土案例、愛心捐贈、疫苗研發和紀念英雄，在每個大類下建立不同的觸發詞和與之對應的論元角色。如表1所示。

表1 新冠肺炎新聞事件類型Table 1 COVID-19 news event types

2.3 事件類型識別

事件類型識別是發現事件的觸發詞并為其分配預定義的事件類型。只有識別出事件類型，才能指導事件句的抽取，并進行相應事件的要素抽取。

輸入是一個文檔的集合D={d1,d2,…,dl}，同時還需要聚類的類別個數為t；然后算法會將每一篇文檔di在所有的主題上分布一個概率值p；這樣每篇文檔都會得到一個概率的集合di={dp1,dp2,…,dpt}，通過概率值來對每篇文檔進行聚類。

為了在大量的新聞中快速區分各種事件類型，采用無監督聚類算法來分類。LDA和KMeans模型被廣泛應用于文本分類。

2.4 基于衰減機制的TextRank事件句抽取

2.4.1 事件句分布統計

一般新聞類的文章，事件句出現在段首或者段尾的情況相當普遍，大多數都采用先總后分的方式，并且段落之間存在聯系可能不是那么緊密，但是段落本身結構更緊湊的情況。通過統計事件句在篇章中的分布，得到如圖3的匯總情況。

圖3 新冠新聞事件句分布情況Fig.3 Distribution of COVID-19 news event sentences

2.4.2 事件句抽取

事件句是包含事件觸發詞和事件論元的句子。由于事件句基本上是一篇新聞中較為重要的摘要句，為了從大量新聞中快速找到事件句，采用TextRank算法[25]來抽取。TextRank算法是一種基于圖的用于關鍵詞抽取和候選句抽取的排序算法，通過把文本分割成若干個句子，構建節點連接圖，用句子之間的相似度作為邊的權重，通過循環迭代計算句子的TextRank值，給新聞正文的每個句子進行打分，之后選取排名靠前的k個句子最后抽取排名高的句子，作為文本候選句。然而原始的TextRank算法僅利用文本自身的信息進行抽取，不能充分利用詞語之間的語義相關等信息。基于此，提出基于衰減機制的詞嵌入TextRank算法。根據圖3統計可知，事件句往往會在段落開始位置提及。設計加權因子decay_rate，即對每個段落的段首做適當的加權，往后逐漸衰減，呈梯度模型。decay_rate取值范圍為（0，1]，值越小，傾斜越大，默認為1代表無任何傾斜。

詞語間語義信息可以通過預訓練的詞向量來實現。首先對給定的篇章級文本d進行了斷句處理，利用規則的方法進行斷句di={s1,s2,…,sm}；然后利用jieba分詞技術將句子進行分詞，得到每個句子的詞集合si={w1,w2,…,wn}；接著利用Word2vec將文檔集中所有詞匯進行向量表征，在生成詞向量之后，基于Word2vec模型實現句子中每個詞語相似度的計算進而計算句子相似度。即根據s1的句子，找到s1中第一個詞語在s2所有詞語中最大相似值的詞語，再依次找到s1中第二個，第三個，直到第n個詞語在s2所有詞語中最大相似值的詞語，取平均值作為s1和s2句子的單項匹配pipei_reverse(s1,s2)；接著，同理反過來計算s2和s1句子的單項匹配pipei_reverse(s2,s1)；最后取雙向匹配的平均值作為s1和s2的句子相似度。

2.5 基于BiLSTM-CRF的新冠新聞事件抽取

為了實現對新冠肺炎新聞事件的抽取，本文構建基于BiLSTM-CRF的事件抽取模型。雙向長短期記憶網絡（BiLSTM）具有捕獲數據的時序性和解決長序列信息依賴問題的優點，能主動學習新冠肺炎新聞事件的抽象特征和提高檢測性能。條件隨機場層（CRF）使用條件隨機場模型對全連接層的輸出進行解碼，能有效地考慮了序列前后的標簽信息，通過學習標簽間的約束條件提升標簽預測的準確性，得到最終的預測標簽序列。事件抽取模型的具體步驟如下：

在預處理階段，本文采用word-embedding將文本的每個字符映射成一個字符向量，即輸入向量s={x1,x2,…,xn}，其中n表示該句中字符個數，xi表示文本中每一個維度的數據。

首先，將s作為神經網絡的輸入，得到輸入層輸出向量Oi={o1,o2,…,on}。其次，將Oi輸入到BiLSTM層前向的LSTML，通過前向學習輸出特征向量q={q1,q2,…,qn}，qn為經過BiLSTM層后每一維度的數據；將Oi輸入到BiLSTM層后向的LSTMR，通過后向學習輸出特征向量h={h1,h2,…,hn}；將前向特征q和后向特征h進行拼接，得到BiLSTM提取出的抽象特征b=[q:h]={q1,q2,…,qn,h1,h2,…,hn}。然后，經過softmax層，得到網絡輸出結果，做論元角色類別的分類處理。最后，加上CRF層融合。CRF層的作用在于加入一些約束來保證最終預測結果是有效的。目標是讓真實序列的概率在整個序列所有概率中最大。最終得到預測標簽序列y={y1,y2,…,yn}。當前序列得分為：

式中，yi是第i個位置的標簽值；Pi,yi是第i個位置softmax輸出為yi的概率；Ayi-1,yi為yi-1到yi的轉移概率。最后利用softmax計算歸一化后的概率，公式為：

采用最大化對數似然函數優化目標函數，訓練樣本(x,y)的對數似然為：

在預測時，使用動態規劃的Viterbi算法求解最優路徑，得到序列標注任務中每個字對應的標簽概率，最大概率對應的標簽即為正確標簽，概率公式為：

采用BIO標注法對事件進行標注。B_label代表字符為觸發詞或論元的開始位置，I_label代表字符為觸發詞或論元的中間位置，O_label代表字符為非觸發詞或論元。

3 實驗設計與結果分析

3.1 數據集

實驗使用的面向新冠肺炎新聞數據集來自于網絡信息，借助網絡爬蟲技術從信息門戶網站、論壇等地獲取新冠疫情相關的新聞語料，包括山西省人民政府網、CCTV新聞網、各省衛健委網站、中國新聞網等。其中中國新聞網上爬取的新聞占80%（約5 500條新聞數據）。這些網站上的新聞輿情通常都是緊跟時事熱點、內容完整度較高、主題較明確的高質量文本信息，對事件抽取模型具有較好訓練作用。作為實驗的數據，根據定義的事件模型，對所有語料進行標注。其中，標注內容包括：事件類型、事件觸發詞、事件論元、事件角色，以及事件觸發詞和事件論元在文本中的位置信息。

在進行標注前，首先對篇章級文本進行了斷句處理，包含“。”“？”“；”“!”符號的位置進行斷句處理。然后多人一起進行標注，標注的時候同時進行交叉檢驗，保證了標注數據的質量。具體標注過后最終的生成格式為.ann格式，其中每列分別對應：標號、論元角色、起始位置、結束位置、具體論元。如圖4所示。

圖4 新聞數據集.ann格式Fig.4 News dataset.ann format

卡帕值用于計算標注者之間標注結果的吻合程度。如表2所示，表2中統計了標注者的標注情況，第一行第一個數“698”表示R1和R2都判斷為確診病例溯源類行的個數，第一行第二個數表示“R1判斷為確診病例溯源類而R2判斷為數據通報類”的個數。基于混淆矩陣的kappa系數計算公式如下：

表2 事件類型分類檢驗Table 2 Event type classification test

pe表示所有類別分別對應的“實際與預測數量的乘積”總和除以“樣本總數的平方”。計算得到kappa值為0.978，因此將新冠肺炎新聞數據集分為6類，分別為確診病例溯源、數據通報、本土案例、愛心捐贈、疫苗研發和紀念英雄。

其中關于各類新聞事件的數據分布中數據通報類數據占多數，本土案例和疫苗研發占比較少。采用無監督方法對新聞數據進行分類。按照8∶2劃分為訓練集和測試集，數據集的統計基本情況如表3所示。

表3 新冠肺炎新聞數據集統計情況Table 3 Statistics on COVID-19 news dataset

3.2 實驗設置

事件類型分類階段本文采用無監督聚類算法。判斷一個LDA模型是否合理的標準一般有兩個，一個是一致性（coherence），另一個是困惑度（perplexity）。對于LDA主題模型中的困惑度用于在語料庫中確定合理的主題個數。

其中，M是測試語料庫中的文本的數量，Nd是第d篇文本的單詞數，p(w)代表文本的概率。

如圖5、圖6所示，通過困惑度和一致性這兩個指標，確定最優的主題個數為7。

圖5 困惑度隨主題個數的變化情況Fig.5 Perplexity varies with number of topics

圖6 一致性隨主題個數的變化情況Fig.6 Coherence varies with number of topics

事件句抽取階段中本文采用jieba分詞技術將句子進行分詞，過濾掉文本中無意義的停用詞，然后使用Gensim庫中的Word2vec模塊，設置維度為60、窗口大小為2對該數據集進行學習訓練得到詞向量模型文件。通過多次實驗，選定的權重值decay_rate為0.1，達到效果最佳。

事件論元抽取階段本文實驗基于TensorFlow框架，編程語言為Python 3.6。通過多次實驗，選定的實驗參數如下：優化器為Adam，learning-rate值為0.005，batchsize值為270，epoch值為20。

3.3 評價指標

本文改進的TextRank算法性能的評估中，算法為每篇文章都識別事件句，實驗中使用準確率作為算法的評估指標。

本文利用系統自動抽取信息，再對抽取結果進行評估。LDA、KMeans無監督聚類算法和論元抽取模型在實驗中的評估度量方式一致，都是使用準確率（precision，P）、召回率（recall，R）、F1（F1-measure）值作為算法的評估指標。其中，論元抽取是基于句子級和篇章級的多分類任務，而論元是基于詞級別的，所以詞語的BIO標簽預測都計入評估。精確率P是指分類結果預測為正確的數據占所有預測為正確的數據的比重，召回率R是指分類結果預測為正確的樣本占所有真實為正確的樣本的比重。其中，無監督聚類算法評估是看預測正確的篇章數；論元抽取模型算法評估是看預測正確的標簽數。

3.4 無監督聚類實驗

將已有的6 644條新聞數據利用LDA和KMeans模型進行聚類，定義主題個數num_topic=7，生成7個主題文檔；將分類結果得到的7個主題文檔和人工標注好的6類數據作比較，計算P、R、F1值，結果取每類占比最大的類別（Max）。實驗結果如表4。

由表4可知，LDA能識別出5類數據。愛心捐贈、疫苗研發、紀念英雄、數據通報這四類新冠疫情新聞聚類效果要比其他兩類好；確診病例溯源、本土案例這兩類新冠疫情新聞聚類效果相對較差一些。因為本土案例類數據較少，不易識別，而且本土案例和確診病例溯源的事件論元較為相似，不易于區分，導致這兩類易于混淆，聚類效果相對較差。

表4中，KMeans只能識別出4類數據，沒有識別出易于混淆的本土案例和確診病例溯源類數據。而且，從總的平均結果的評估指標來看，也是LDA算法優于KMeans算法。

表4 LDA、KMeans模型的事件聚類Table 4 Event clustering of LDA model and KMeans model

由上述分析可知，選擇利用LDA模型進行聚類，效果更佳。所以，爬取到的6 644條新冠新聞數據選擇利用LDA模型進行聚類，可以更快速準確地獲取到愛心捐贈、疫苗研發、紀念英雄、數據通報這四類新冠疫情新聞。部分易于混淆的本土案例類和確診病例溯源類，可以加上人工干預，進行區分。

3.5 消融實驗

為證明加入衰減機制的TextRank算法能提高抽取關鍵事件句的精度，將未加衰減機制和加入衰減機制的TextRank進行了消融實驗。結果如表5所示。

表5中，2_Sents、3_Sents、5_Sents分別表示對每篇文檔分別抽取了2、3、5個事件句進行比較。實驗結果表明，利用TextRank算法抽取事件句和人工抽取的正確事件句進行論元識別相比，TextRank算法抽取事件句的效果欠佳。但確診病例溯源類、數據通報類論元的識別效果相對較好，這是因為這兩類事件構成相對簡單，包含的修飾性詞語較少，結構性較強，如許多數據通報類實體都包含“新增確診病例”“新增疑似病例”“新增死亡病例”等詞。實驗結果表明，數據通報類事件在2句事件句抽取的論元識別效果最好。本土案例、紀念英雄和疫苗研發類事件類型利用改進過的+decay_rate算法抽取事件句抽取，效果明顯提升，且整體效果較好。確診病例溯源和愛心捐贈類事件抽取2個事件句，改進過的+decay_rate算法效果更佳。總體來看，抽取2、3個事件句，使用改進過的+decay_rate算法效果更佳。

表5 抽取事件句2種算法準確率比較Table 5 Comparison of accuracy of two algorithms for event sentences extraction 單位：%

選擇表5中抽取的事件句和人工精標注的正確事件句作為事件抽取的訓練數據對六類新冠疫情事件進行實驗。圖7顯示了不同標注類別的實體識別結果，及自動抽取事件句和人工抽取事件句對論元識別的影響。

圖7 關于不同事件類型的P、R、F1值Fig.7 P，R，F1 values for different event types

實驗結果表明，數據通報類事件在2句事件句抽取的論元識別效果最好，準確率（precision，用P表示）、召回率（recall，用R表示）和F1（用F表示）分別為75.0%，73.0%、74.0%。

3.6 篇章級事件句個數對比

為進一步確定篇章級事件抽取中關鍵事件句個數，分別比較了2、3、5句事件句對篇章級事件抽取的論元識別的F1指標效果影響，結果如圖8所示。

圖8 對比不同類型新聞事件句個數Fig.8 Number of sentences forvarious types of news events

實驗結果表明，愛心捐贈、數據通報、確診病例溯源類事件在2句事件句抽取中性能較好，抽取更多的事件句，會減低篇章級事件抽取的效果。

4 結論與展望

針對新冠肺炎領域的事件抽取任務中存在缺乏中文的新冠疫情新聞數據集和跨句抽取論元的問題，本文設計了三階段的管道方法。并且通過人工參與的方式進行數據集標注。實驗表明，該方法能夠更快捷地進行事件抽取，對于數據通報、確診病例溯源類事件在事件句抽取的論元識別效果較好。

本文主要聚焦面向新冠肺炎的篇章新聞數據，目前該領域未見公開數據集，因此未進行其他領域的公開數據集下的對比實驗。在利用TextRank算法進行事件句抽取的過程中，發現愛心捐贈、紀念英雄等事件句的精度較低。對后續事件論元的抽取影響較大。在接下來的工作中，會考慮對TextRank算法進行改進，通過引入句子位置、句子相似度和論元詞信息融合3個影響因素，以此計算句子之間的影響權重。進而提升事件句的抽取精度。