結合事件鏈與事理圖譜的腳本事件預測模型

孫 盼，王 琪，萬懷宇

（北京交通大學計算機與信息技術學院交通數據分析與挖掘北京市重點實驗室，北京 100044）

0 概述

腳本事件預測任務對于許多自然語言理解應用至關重要，例如文本理解［1］、意圖識別［2］和問答系統［3］。腳本事件預測任務定義為：給定特定場景中已經發生的一系列上下文事件，預測后續可能發生的事件［4］。早期關于腳本事件預測的研究都是基于統計的方法，例如PMI（Pointwise Mutual Information）［4］和Bigram［5］方法。但是，基于統計的方法無法對訓練集中沒有出現過的事件進行預測，缺乏泛化性能，極大地限制了模型的預測能力。近年來，通過神經網絡把事件映射至低維稠密的向量空間這一做法可以有效上述問題，取得了較好的預測效果［6］。目前，基于神經網絡的腳本事件預測方法大體上可以分為基于事件對、基于事件鏈和基于事理圖譜3 類方法。雖然基于神經網絡的方法取得了較好的效果，但仍難以有效解決腳本事件預測任務的兩大難點，即如何進行準確的事件表示以及如何充分利用事件之間復雜的相關性進行后續預測。

腳本事件預測的一個難點是如何進行事件表示，通常每個事件用四元組（主語、謂語、賓語及介詞賓語）的形式表示?，F有的方法把表示事件的4 個元素的嵌入進行拼接或者平均得到整個事件的表示，即“加性”模型［7］?！凹有浴蹦Ｐ蛯Ρ硎臼录脑~嵌入有很強的依賴，只能學習事件的淺層語義信息，難以區分兩個事件之間細微的區別。以“X eat apple”和“X establish apple”為例，兩個事件都包含“apple”，如果僅用“加性”模型把表示事件的詞向量進行拼接，會導致這兩個事件的表示非常接近，然而這兩個事件并非相似事件。因此，如何進行事件的“非加性”表示是本研究的一個難點。得到事件的表示之后，現有方法單獨利用事件鏈的時序信息或事理圖譜中的事件演化模式進行后續事件預測，沒有有效整合這兩類信息對后續事件進行預測。因此，如何捕獲時序信息和事件演化模式并有效融合兩者進行事件預測，是本研究的另一個難點。

為應對上述挑戰，本文提出一種結合事件鏈和事理圖譜的腳本事件預測方法ECGNet。將表示事件的4 個元素視為一個長度為4 的短句輸入到Transformer 編碼器［8］，以學習事件的深層語義信息得到更準確的事件表示，并利用基于長短期記憶（Long Short-Term Memory，LSTM）網絡［9］的長程時序（Long Range Temporal Orders module，LRTO）模塊對敘事事件鏈進行學習，捕獲事件鏈內部的時序信息。同時，設計基于圖神經網絡（Graph Neural Network，GNN）［10］的全局事件演化（Global Event Evolutionary Patterns，GEEP）模塊對事理圖譜進行學習，捕獲事件發展的演化模式。此外，本文還設計一種門控注意力機制來動態融合兩個模塊學習到的信息，從而實現最終的預測。

1 相關工作

腳本是指被存放在知識庫中用來進行推理的事件序列［11］。2008 年，CHAMBERS 等［4］提出一種可以從新聞文本中無監督地提取大規模敘事事件鏈的方法。2016 年，GRANROTH-WILDING 等［6］在前人的研究基礎上，提出了多選完形填空（Multiple Choice Narrative Cloze，MCNC）方法來評估腳本事件預測模型的效果，如圖1 所示。

圖1 多選完形填空樣例Fig.1 Example of MCNC

文獻［4，6］的工作極大地推動了腳本事件預測領域的發展，下面對相關工作進行簡要介紹。

1.1 腳本事件表示

腳本事件表示是腳本事件預測任務中一個比較重要的子任務。文獻［4］在最初的任務定義中用＜predicate；dependency＞來表示一個事件，這種表示方式被稱作predicate-GR。其中，predicate 表示事件的核心動詞，dependency 表示事件的主語和核心動詞之間的依賴關系，例 如“subject”和“object”。pedicate-GR 方式有時可以包括事件的核心信息，例如＜逮捕；obj＞，但有時也會丟失重要的信息，難以理解事件的真實含義，例如＜去；subj＞，此時“去工作”或者是“去度假”不得而知。為了解決這個問題，文獻［12］提出采用＜Arg1；Relation；Arg2＞三元組的形式來表示事件，其中，Arg1 表示事件的主語，Arg2 表示事件的賓語，Relation 表示事件的核心動詞。為了更準確地表示事件，文獻［13］提出使用(p,a0,a1,a2)四元組的形式來表示事件，其中p表示事件的核心動詞，a0表示事件的主語，a1表示事件的賓語，a2表示事件的介詞賓語。四元組形式包含的信息更全面，因此，本文也采用這一形式進行事件表示。

1.2 腳本事件預測

腳本事件預測任務從二十世紀七十年代提出至今先后經歷了人工編碼階段、基于統計的階段和基于神經網絡的階段。

第一階段：人工編碼階段。早期的腳本事件預測主要依賴于人工從故事文本中學習事件的規則，然后對學習到的事件進行清洗和處理，構造專家系統。這類人工編碼模型的缺點顯而易見：1）人工編碼具有不全面性，對專家沒有標注過的故事文本無法進行后續的預測；2）人工標注無法處理大規模的數據集，無法適應信息爆炸增長的當代社會。

第二階段：基于統計的階段。這一階段的方法借鑒了語言模型的思想，通過學習各個事件之間的概率分布進行腳本事件預測。PMI 模型［4］通過統計訓練集中兩個事件同時發生的頻率來計算這兩個事件同時發生的概率，進而進行后續事件的預測。Bigram 模型［5］則采用二元條件概率來表示兩個事件的關聯強度。這類基于統計的模型仍然存在表示能力不全面、泛化性能差等問題。

第三階段：基于神經網絡的階段。這一階段方法主要分為：基于事件對的方法，例如Word2Vec［14］和EventComp［6］；基于事件鏈的方法，例如PairLSTM［15］和SAM-Net［16］；基于事理圖譜圖的方法，例如SGNN［17］。該階段的方法都是將事件映射成低維稠密的向量進行后續預測。具體而言，基于事件對的方法重點關注敘事事件鏈中的事件和候選集中的事件之間的相關性，利用事件對的相關性進行后續事件預測，這類方法完全忽略了敘事事件鏈中各個事件之間的時序關系。基于事件鏈的方法重點關注敘事事件鏈中各個事件之間的時序信息，采用循環神經網絡（Recurrent Neural Network，RNN）捕獲敘事事件鏈的時序信息，進而對后續事件進行預測，這類方法對類似于圖2 中展示的網絡購票觀影這種鏈式場景下的事件預測非常有效。

圖2 鏈式事件示例Fig.2 Example of chain events

目前基于事理圖譜的方法研究較少，文獻［17］提出根據訓練集中所有的敘事事件鏈構建事理圖譜，通過學習事理圖譜中事件之間的稠密連接關系進行后續事件預測，這類方法更適用于類似于圖3所示的金融貨幣超發這類環狀場景下的預測。

圖3 環式事件示例Fig.3 Example of ring events

2 問題定義

遵循前人的工作，本文采用四元組(p,a0,a1,a2)形式來表示腳本事件，其中，p表示事件的核心動詞，a0表示事件的主語，a1表示事件的賓語，a2表示事件的介詞賓語，a0、a1和a2稱為事件的參數。

腳本事件預測的任務可以描述為：已知特定場景下已經發生的一系列事件{e1,e2,…,en}，從候選事件集{ec1,ec2,…,ecm}中選擇接下來最有可能發生的事件其中每個已經發生的事件ei(i∈[1,n])和每個候選事件ecj(j∈[1,m])都是(p,a0,a1,a2)的形式。本文把已經發生的事件序列稱為上下文敘事事件鏈，其中每個事件稱為上下文事件。

本文采用MCNC 作為評估方法。MCNC 對腳本事件預測任務進行簡化，大幅縮小候選事件集的范圍，把候選事件集從所有的事件集縮小至有限事件集，即除了正確的后續事件外，其余的候選事件從事件集中隨機抽取，并用正確后續事件的主語替換其他候選事件的主語，因此，候選事件集中有且僅有一個是正確的答案，且所有候選事件共享主語。最后，采用預測準確率評估模型的有效性。

3 ECGNet 模型

本文提出的ECGNet 模型將事件視為短句，使用Transformer 學習事件內部的語義關聯從而得到全面的事件表示。同時，設計基于LSTM 的長程時序模塊來捕獲事件鏈內部的時序信息，構建基于GNN 的全局演化模塊來捕獲事理圖譜中事件的發展規律和演化模式。最后，提出一種門控注意力機制來動態融合時序信息和演化信息進行后續事件預測。

具體而言，ECGNet 模型共分為4 個模塊（如圖4所示）：

圖4 ECGNet 模型的整體架構Fig.4 Overall architecture of ECGNet model

1）事件表示層，把每個腳本事件映射至低維稠密的向量空間。

2）長程時序模塊（LRTO），通過LSTM 對敘事事件鏈中的上下文事件進行建模，得到融合時序信息的事件表示。

3）全局事件演化模塊（GEEP），根據訓練集中所有的敘事事件鏈構建事理圖譜，然后利用GNN 學習融合演化模式的事件表示。

4）門控注意力層，通過門控注意力機制動態融合LRTO 模塊學習到的事件表示和GEEP 模塊學習到的事件表示，進行后續事件預測。

3.1 事件表示層

事件表示層的作用是把每個輸入事件編碼為一個低維稠密的向量。輸入是表示每個事件的4 個元素的初始詞嵌入（通過GloVe 方法［18］預訓練得到的d維詞向量），初始詞嵌入在后續模型的訓練過程中可以通過學習微調。對于少于3 個參數的事件，用“NULL”填充缺失的參數。例如對事件“Tom orders food”，其中，p為“order”，a0為“Tom”，a1為“food”，a2為“NULL”。簡單起見，使用零向量來表示“NULL”和不在詞表中的詞。

為學習表示事件的4 個元素之間豐富的語義關聯，本文提出把每個事件視為長度為4 的短句，并采用Transformer 編碼器學習每個元素的嵌入。每個事件的四元素的初始詞嵌入｛νp，νa0，νa1，νa2｝經 過Transformer 編碼之后得到｛zp，za0，za1，za2｝，然后通過式（1）把4 個元素的詞嵌入進行拼接作為整個事件表示：

其中：zp,za0,za1,za2∈Rd；[]表示拼接操作。因此，該層對于每個事件e的輸出是ν(e)∈R4d。

3.2 長程時序模塊

長程時序模塊（LRTO）采用LSTM 來學習上下文事件鏈中的時序信息。輸入是上下文敘事事件鏈{ν(e1),ν(e2),…,ν(en)|ν(ei)∈R4d,i∈[1,n]}和對應的候選集{ν(ec1),ν(ec2),…,ν(ecm)|ν(ecj)∈R4d,j∈[1,m]}。按照順序把上下文事件序列{ν(e1),ν(e2),…,ν(en)}輸入LSTM 中，根據式（2）得到每個事件ei的隱藏表示hi：

其中：hi∈Ru，其包括從事件e1到事件ei的長程時序語義信息；u是LSTM 層的隱藏狀態維度。初始隱藏狀態h0和所有的LSTM 參數通過隨機初始化產生。通過式（2）可以得到每個上下文事件鏈的隱藏表示序列{h1,h2,…,hn}。

對于每個事件鏈所對應的候選事件集，把其中每個候選事件拼接至敘事事件鏈的末端。具體而言，對于每個候選事件ecj，LSTM 的輸入為當前候選事件的表示ν(ecj)和敘事事件鏈末端事件en的隱藏表示hn，根據式（3）得到其對應的隱藏表示hcj：

其中：hcj∈Ru，其包含上下文事件鏈的信息和當前候選事件的信息。通過式（3）可以得到所有候選事件的表示{hc1,hc2,…,hcm}。

最后，把n個上下文事件的隱藏表示和m個候選事件的隱藏表示根據式（4）表示為H∈R(m+n)×u：

3.3 全局事件演化模塊

全局事件演化模塊（GEEP）旨在通過構造事理圖譜來學習事件演化模式，以指導后續事件的預測。GEEP 模塊分為兩個步驟：1）根據訓練集中的敘事事件鏈構建事理圖譜；2）使用可縮放的圖神經網絡（Scaled Graph Neural Network，SGNN）［16］學習隱藏在事理圖譜中的事件演化模式。

3.3.1 事理圖譜構建

本文把事理圖譜（Event Evolutionary Graph，EEG）形式化表示為EEG={V,Q}，其中，V表示節點集，Q表示邊集。為了緩解稀疏性問題，節點集中的節點用每個事件的謂語動詞p表示。節點pi和pj之間的邊權重w(pi,pj)表示在事件pi發生的條件下，pj發生的可能性，其計算過程如式（5）所示：

其中：ccount(pi,pj)表示事件pi和pj在訓練集的事件鏈中同時出現的次數。構建完事理圖譜后，采用SGNN 對事理圖譜進行學習。

3.3.2 基于SGNN 的事理圖譜學習

為了節省計算資源和提高效率，把每個事件鏈視為一個子圖輸入門控圖神經網絡（Gated Graph Neural Network，GGNN）［19］學習事件鏈中每個事件的表示，這種把子圖作為輸入的圖神經網絡被稱為可縮放的門控圖神經網絡（SGNN）［17］。SGNN 的輸入分為兩部分：一部分是敘事事件鏈的所有事件表示E，另一部分是子圖的鄰接矩陣A。事件表示E如式（6）所示，子圖的鄰接矩陣A從全局事理圖譜中抽取，抽取過程如式（7）所示：

SGNN 的計算過程如式（8）～式（12）所示：

式（8）是指子圖的節點通過鄰接矩陣進行消息的傳遞，式（9）～式（12）和GRU 類似，通過t-1 時刻的信息和其他節點來更新t時刻節點的狀態。z(t)是更新門，r(t)是重置門，σ是sigmoid 激活函數，⊙是按位相乘。GEEP 模塊的輸出為t時刻的節點表示E(t)，為了下文表述方便，把GEEP 模塊的輸出簡單記為E，E和LRTO 模塊的輸出H具有相同的維度。

3.4 門控注意力層

門控注意力層的輸入是LRTO 模塊的輸出H∈R(m+n)×u和GEEP模塊的輸出E∈R(m+n)×u。為了解決時序信息和圖信息對不同的樣本預測的重要程度不同這一問題［20］，本文提出一種門控機制G來表示時序信息和演化模式的重要程度，計算過程如式（13）所示：

其 中：G∈R(m+n)×u；[H,E]∈R(m+n)×2u表 示H和E的 拼接；Wg∈R2u×u是權重矩陣；bg是偏置項。原始的H和E根據式（14）和式（15）得到新的Hg和Eg：

其中：⊙指按位相乘；Hg和Eg與原來的維度相同。

得到Hg之后，把Hg分為兩部分：上下文事件和候選事件∈Rm×u。根據式（16）得到上下文事件和候選事件的權重矩陣α∈Rn×m。根據式（17）得到上下文事件鏈對于候選事件的代表向量νh∈Rm×u，最后把該代表向量與候選事件之間的余弦相似性作為候選事件的得分sh，如式（18）所示：

得到Eg后，GEEP模塊對每個候選事件的打分sg根據同樣的方式計算得到，計算過程如式（19）～式（21）所示：

在此基礎上，通過式（22）計算候選事件ecj(j∈[1,m])的最終得分sscore(ecj)：

其中：w是可學習的參數。

最后，對于每個敘事事件鏈對應的m個候選事件，采用softmax 計算每個候選事件最終的發生概率，如式（23）所示，選擇發生概率最高的事件作為模型的輸出，如式（24）所示：

3.5 模型訓練

給定一系列的敘事事件鏈和候選事件集，訓練目標是最小化式（25）所示的邊界損失函數：

其中：N是事件鏈的條數；m是敘事事件鏈對應的候選集的大??；sIj表示第I個敘事事件鏈對第j個候選事件的打分；y表示正確后續事件的標簽；γ是邊界損失函數的參數，在本文中設置為0.015；λ是L2正則項的懲罰因子，在本文中設置為1e-8；θ表示模型的所有參數。在驗證集上調整所有的超參數。每輪訓練樣本數為1 000，丟棄率為0.4，初始詞嵌入為128 維，SGNN 的層數設置為2 層，學習率為0.000 1，在訓練過程中使用RMS 優化算法。

4 實驗與結果分析

本文采用MCNC 評估方法，將ECGNet 模型和多個當前最新的基線模型進行對比，驗證其有效性。

4.1 數據集

本文使用兩個數據集進行實驗。一個是文獻［17］公開的NYT 英文數據集，該數據集從Gigaword 語料庫的紐約時報部分中進行提取。NYT 數據集共包括160 331 個樣本，本文按照140 331∶10 000∶10 000 的比例劃分訓練集、驗證集和測試集

由于目前為止腳本事件預測領域僅有一個公開的英文數據集，因此本文基于文獻［21］收集的新浪新聞語料庫處理了一個中文數據集，命名為SinaNews。原始新聞語料庫由不同系列主題的新聞組成，每個系列包含了同一主題的眾多新聞文章。本文把同一主題下的新聞按照時間順序視為敘事事件鏈，每則新聞被視為一個事件，由于新聞的標題包含了該則新聞的主要內容，因此本文僅使用新聞標題作為事件。具體處理流程按照以下步驟進行：

1）劃分敘事事件鏈。將每個主題下的新聞按照時間順序劃分，每5 則新聞為一組，一組新聞被視為一個事件鏈。其中前4 則新聞作為上下文事件，最后一則新聞作為要預測的新聞事件，即預測標簽。經過劃分，得到147 622 個來自不同主題的新聞事件鏈，按照127 622∶10 000∶10 000 的比例劃分訓練集、驗證集和測試集。

2）抽取新聞事件。通過依賴解析從每則新聞標題中抽取事件的相關要素（主語、謂語、賓語、介詞賓語）。依賴解析工具為HanLP［22］。

3）構造候選事件集。遵循MCNC 標準，本文對每個敘事事件鏈構造候選事件集，把每組新聞中的最后一則新聞作為標簽，從事件集中隨機抽取m-1則新聞，用標簽事件的主語替換隨機選取的新聞事件的主語。因此，候選集中有且僅有一個正確的后續事件，且候選集中的所有的事件共享主語。

4.2 基線模型

為了對ECGNet 模型的效果進行全面評估，本文分別選擇了經典的基于統計學和事件對的腳本事件預測方法，以及最新的基于事件鏈和事理圖譜的方法作為基線模型：PMI［4］和Bigram［5］是基于統計的模型；Word2Vec［14］和EventComp［6］是基于事件對的模型，它們通過學習上下文事件和候選事件對之間的關系對后續事件預測的影響；PairLSTM［15］、HierLSTM［21］和SAM-Net［16］是基于事件鏈的方法，它們通過循環神經網絡學習敘事事件鏈的時序信息進行后續事件預測；SGNN［17］是一種基于事理圖譜的方法，其構造敘事事理圖譜描述事件之間的發展規律，并提出采用可縮放的圖神經網絡學習事理圖譜中的事件表示進行后續事件預測。

4.3 總體實驗結果

ECGNet 和基線模型在測試集上的結果如表1所示。根據表中的結果能夠得到以下結論：

表1 不同模型的準確率Table 1 Accuracy of different models %

1）EventComp、PairLSTM 和其他的神經網絡模型效果優于統計模型。這是因為基于統計的模型無法應對稀疏性和泛化性的問題。

2）基于事件鏈和事理圖譜的方法與基于事件對的方法相比效果有所提升，證明了僅考慮上下文事件和候選事件對之間的關系進行后續事件預測是不夠的。基于事件鏈的方法和基于事理圖譜的方法取得了較好的實驗效果。這證明了時序信息和事件演化模式對后續事件的預測的重要性。

3）本文提出的ECGNet 模型取得的實驗效果優于所有基線模型且提升明顯（在兩個數據集上均比次優模型提升預測準確率3%以上），這充分證明了同時利用時序信息和演化模式進行后續事件預測是非常重要的。此外，ECGNet 模型在中英文數據集上均取得了最好的實驗效果，也驗證了模型的魯棒性。

4.4 事件表示層探究實驗

本節采用一系列對比實驗驗證事件表示方法對預測結果的影響。不同方法的輸入均為一個事件的4 個元素的詞嵌入，輸出為該事件的表示?！癈oncat”方法把事件的4 個元素的詞嵌入進行拼接作為事件表示?！癆verage”方法把4 個元素的詞嵌入進行平均作為事件表示?！癈omp”方法遵循前人的研究，采用tanh 層把4 個元素進行組合得到事件的表示，計算過程如式（26）所示：

“LSTM”方法把4 個元素輸入LSTM，然后把每個元素的隱藏狀態進行拼接作為事件表示?！癟ransformer”是ECGNet 的事件表示層。

不同的事件表示方法的實驗結果如表2 所示。根據表中的結果可以發現：“Average”方法在兩個數據集上的表現最差，這是因為把各個元素的詞嵌入進行簡單的平均會丟失一些特征；“LSTM”方法考慮到了表示一個事件的4 個元素之間的時序信息，因此取得了比“Concat”和“Comp”更好的實驗效果；ECGNet 模型采用Transformer 編碼器進行事件表示，在兩個數據集上都取得了最好的效果。這也驗證了本文的假設：事件內部的4 個元素之間的時序語義信息對于事件表示和后續預測是非常重要的，Transformer 編碼器能夠較好地捕獲這些時序和語義信息，從而獲得更好的預測效果。

表2 不同事件表示方法的準確率Table 2 Accuracy of different event representation methods %

4.5 消融實驗

本節通過消融實驗，驗證ECGNet 各個模塊的效果，結果如表3 所示。

表3 消融實驗結果Table 3 Ablation experiment results %

對表3 中的結果進行分析，具體如下：

“-ER”表示去掉事件表示層，簡單地把事件的4 個元素的詞嵌入進行拼接作為事件表示進行后續預測。去掉事件表示層之后在NYT 和SinaNews 上準確率分別下降了3.77 和3.26 個百分點，驗證了事件表示對于后續事件預測有著至關重要的作用。

“-LRTO”表示去掉LRTO 模塊，只考慮事理圖譜中的事件發展規律和演化模式，使用GEEP 模塊得到的事件表示進行后續預測。去掉LRTO 模塊之后，實驗效果有明顯的下降，這證明了敘事事件鏈中上下文事件之間的時序特征不可忽視。

“-GEEP”表示去掉GEEP 模塊，只考慮敘事事件鏈中的時序信息，使用LRTO 模塊得到的事件表示進行后續預測。從實驗結果可以看到，去掉GEEP模塊后，預測效果明顯下降，驗證了事理圖譜中的事件演化模式對于腳本事件預測任務是非常重要的。

“-Gated M-att”表示去掉門控注意力層，在LRTO 模塊和GEEP 模塊分別使用注意力機制對候選事件進行打分，將兩個模塊對候選事件的打分進行相加作為該候選事件的得分。實驗結果證明了本文提出的門控注意力機制能夠動態融合時序信息和演化模式，進行后續事件預測。

由于去掉事件表示層后預測效果下降明顯，本文設置了“Transformer+att”實驗，即通過Transformer 學習到事件表示之后，使用注意力機制和softmax 層進行后續事件預測。實驗結果表明，即使Transformer 具有強大的表示學習能力，但仍然需要結合敘事事件鏈中的時序信息和事理圖譜中的全局事件演化模式，才能取得更好的預測效果。

5 結束語

本文針對腳本事件預測事件表示不全面、信息融合不充分等問題，提出一種動態融合事件鏈和事理圖譜的模型ECGNet。在NYT 英文數據集和SinaNews中文數據集上，使用預測準確率作為評估標準，ECGNet模型取得了較好的效果。此外，本文還進行了事件表示探究實驗，實驗結果證明使用Transformer 編碼器學習事件表示的方法非常有效。同時，消融實驗也驗證了ECGNet 模型各個模塊的有效性。本文模型只對事件鏈中的時序信息和事理圖譜信息進行了融合，下一步將通過深度整合知識圖譜和事理圖譜，進一步提升腳本事件預測的準確率。