基于圖依存分析的情感原因?qū)Τ槿∪蝿?wù)

摘 要： 情感原因?qū)Τ槿∈乔楦蟹治鋈蝿?wù)中的子任務(wù)，旨在抽取出給定文檔中的所有情感子句以及引起該情感所對應(yīng)的原因子句。先前的研究在生成情感子句與原因子句表示時忽略了情感子句與原因子句之間的相互聯(lián)系。為了解決上述問題，基于圖依存分析的思想并融入了圖注意力機(jī)制，提出了GAT-ECPE模型。該模型在獲取到情感子句表示與原因子句表示時，將句向量作為節(jié)點輸入圖注意力層從而學(xué)習(xí)到子句之間關(guān)系的信息，而后進(jìn)行雙仿射映射得到情感原因?qū)Φ木幋a表示。并且設(shè)置了多任務(wù)來將情感抽取與原因抽取任務(wù)建立聯(lián)系。在ECPE數(shù)據(jù)集上的實驗結(jié)果證明，該模型相較于先前的一系列模型，在評估指標(biāo)上有所提升。

關(guān)鍵詞： 情感原因?qū)Τ槿。?圖依存分析； 圖注意力機(jī)制； 多任務(wù)

中圖分類號： TP393.04"" 文獻(xiàn)標(biāo)志碼： A

文章編號： 1001-3695（2022）05-007-1324-06

doi：10.19734/j.issn.1001-3695.2021.10.0448

Task of emotion cause pair extraction based on graph-based dependency parsing

Gao Dechen1， Zhang Benwen2， Zhao Rongmei1， Ju Shenggen1

（1.College of Computer Science， Sichuan University， Chengdu 610065， China； 2.College of Science amp; Technology， Sichuan Minzu College， Kangding Sichuan 626000， China）

Abstract： Emotion cause pair extraction is a subtask in the sentiment analysis task，which aims to extract all emotion clauses in a given document and the cause clauses corresponding to the emotion.The previous work ignores the interrelationship between the emotion clause and the cause clause when generating the expression of the emotion clause and the cause clause.In order to solve the problem，based on the idea of graph-based dependency parsing and incorporating the graph attention mechanism，

this paper proposed the GAT-ECPE model.When the model obtained the expression of the emotion clause and the reason clause，it used the sentence vector as a node into the graph attention layer to learn the information about the relationship between the clauses，and then performed biaffine transform to obtain the encoding of the emotion cause pair expression.And it set up a multi-task to establish a relationship between the extraction of emotions and causes.The experimental results on the ECPE data set prove that compared with the previous series of models，this model has improved evaluation indicators.

Key words： emotion cause pair extraction； graph-based dependency parsing； graph attention mechanism； multi-task

0 引言

情感分析是自然語言處理領(lǐng)域中的熱門任務(wù)，先前對于情感分析的研究主要集中于情感分類任務(wù)。情感分類任務(wù)主要是對情感極性進(jìn)行分類，但是隨著自然語言處理技術(shù)的不斷發(fā)展，僅對情感進(jìn)行分類的任務(wù)已經(jīng)不能夠滿足現(xiàn)實生活中的需求，所以研究者們將目光轉(zhuǎn)向到研究情感背后的原因。隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，用戶們可以較為方便地在網(wǎng)上發(fā)表評論，而用戶評論對于廠商來說是極其重要的信息。例如在消費者評論挖掘中，可以根據(jù)用戶評論中所表達(dá)的不滿情緒，找出原因來對產(chǎn)品的不足進(jìn)行改進(jìn)；又或是對于輿論監(jiān)控，一旦在網(wǎng)絡(luò)上發(fā)現(xiàn)傳遞著與工作單位相關(guān)的負(fù)面輿情，需要在事情發(fā)生初期及時處理，根據(jù)網(wǎng)上的負(fù)面情緒找到對應(yīng)的原因，從而采取相應(yīng)的措施。而如今社交網(wǎng)絡(luò)為人們提供了一個可以隨時隨地發(fā)表評論的平臺，這就產(chǎn)生了海量數(shù)據(jù)，僅依靠人工不足以完成以上的任務(wù)，因此情感原因抽取任務(wù)也逐漸成為熱門研究對象。

情感原因抽取任務(wù)是由Lee等人［1］最先提出，并將其定義為詞級別的序列標(biāo)注任務(wù)，其旨在提取出給定情感所對應(yīng)的原因句子。早期的研究主要是通過人工構(gòu)建規(guī)則的方法來解決該任務(wù)，但是人工構(gòu)建規(guī)則在面對較大數(shù)據(jù)集時很難考慮到所有情況，所以后續(xù)研究開始使用機(jī)器學(xué)習(xí)的方法。而后Gui等人［2］發(fā)現(xiàn)單個詞的影響跨越了整個文檔中的子句，于是將詞級別的任務(wù)轉(zhuǎn)變?yōu)樽泳浼壍娜蝿?wù)。隨著深度學(xué)習(xí)技術(shù)的出現(xiàn)與發(fā)展，越來越多的研究者將深度學(xué)習(xí)技術(shù)運用到子句級的情感原因抽取任務(wù)當(dāng)中。Xia等人［3］提出了情感原因?qū)Τ槿∪蝿?wù)，并且提出一個兩步驟的模型，通過第一步驟將情感子句與原因子句全部抽取出來，再通過第二步驟進(jìn)行情感子句與原因子句的配對，并通過所訓(xùn)練的過濾器得到最終的情感原因?qū)ΑＴ摲椒ń鉀Q了先前工作中需要預(yù)先進(jìn)行人工情感標(biāo)注的不足，從而節(jié)省人力，但也存在著錯誤傳播的缺陷。后續(xù)的研究基本基于端到端的框架來解決錯誤傳播問題，如文獻(xiàn)［4，5］，但該模型還存在著不足。首先對于情感原因?qū)Τ槿∪蝿?wù)而言，情感子句與原因子句之間的因果關(guān)系對于抽取潛在的情感原因?qū)κ鞘种匾模窍惹暗哪Ｐ椭泻鲆暳俗泳渲g相互關(guān)系的信息，并且作為鏈接預(yù)測問題，其用Bi-LSTM網(wǎng)絡(luò)對節(jié)點表示進(jìn)行建模的方法不能識別出高階信息；其次，先前模型中將子句的情感抽取與原因抽取作為兩個相互獨立的輔助任務(wù)，而對于同一句話而言，該句是否為情感子句或原因子句存在著關(guān)聯(lián)。

針對以上問題，基于文獻(xiàn)[6～8]，本文提出GAT-ECPE模型，基于圖依存分析的思想，在生成情感子句表示與原因子句表示時通過圖注意力網(wǎng)絡(luò)進(jìn)一步學(xué)習(xí)子句間相互關(guān)系信息，并且設(shè)計了多任務(wù)來交互子句的情感抽取與原因抽取，并在ECPE數(shù)據(jù)集上對GAT-ECPE模型的F1值、準(zhǔn)確率和查全率進(jìn)行了驗證。

1 相關(guān)工作

文獻(xiàn)［1］首次提出了ECE（emotion cause extraction）即情感原因抽取任務(wù)，目的是找到所標(biāo)記的情感產(chǎn)生的原因，并將該任務(wù)視做詞語級序列標(biāo)記任務(wù)，同時基于中文微博構(gòu)建了一個小規(guī)模的中文情感原因語料庫，并且在語料庫中標(biāo)注了情感與原因的跨度。

文獻(xiàn)［9，10］基于相同的任務(wù)設(shè)置，使用基于規(guī)則的方法在各自的語料庫上進(jìn)行情感原因抽取的研究，由于人工制定的規(guī)則很難覆蓋所有的情況，所以一些研究者開始將機(jī)器學(xué)習(xí)方法應(yīng)用到情感原因抽取之中。文獻(xiàn)［2］使用了文獻(xiàn)［1］中使用手動編譯的規(guī)則作為特征，并選擇機(jī)器學(xué)習(xí)模型，如SVM和CRF分類方法，來檢測情感原因。Ghazi等人［11］則使用CRF來提取原因，但是局限于情感必須與原因處于同一個子句中。

Chen等人［12］對文獻(xiàn)[1]所構(gòu)建的語料庫進(jìn)行分析，發(fā)現(xiàn)約有14%的情感原因是包含多個子句的復(fù)雜情況，對于多子句的復(fù)雜情況，子句相較短語可能是更適合發(fā)現(xiàn)原因的單元，并提出了多標(biāo)簽分類的方法，該方法可以更好地捕獲遠(yuǎn)程信息來進(jìn)行情感原因提取。Gui等人［13］發(fā)現(xiàn)在詞語級上處理情感原因抽取任務(wù)時，每個詞語在一個原因中的影響是可以跨越整個文檔段落的，將詞語級情感原因抽取轉(zhuǎn)變?yōu)樽泳浼壡楦性虺槿∪蝿?wù)，并且基于新浪微博重新構(gòu)建了一個情感原因語料庫。隨著深度學(xué)習(xí)模型的興起與發(fā)展，一些研究開始利用神經(jīng)網(wǎng)絡(luò)來完成該任務(wù)且效果相較之前有了較大幅度的提升。Cheng等人［14］將情感原因抽取任務(wù)分為特征提取以及分類兩個任務(wù)，利用LSTM來對上下文進(jìn)行建模，提高了模型的性能。Chen等人［15］提出一種用于情感原因抽取的分層卷積神經(jīng)網(wǎng)絡(luò)模型（Hier-CNN），該模型先通過子句級編碼器提取子句中的局部特征，再通過子推文級編碼器將局部特征視為序列，通過卷積神經(jīng)網(wǎng)絡(luò)（CNN）來為每個子句提取序列特征，這種分層式的模型在后續(xù)也得到了廣泛的應(yīng)用。覃俊等人［16］提出了一個基于子句的自注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型，模型中結(jié)合了子句的相對位置關(guān)系去尋找情感原因子句。Li等人［17］指出情感詞的上下文詳細(xì)描述了情感，并且是情感原因的線索，但先前文獻(xiàn)并沒有重視，因此Li等人［17］在將情感詞以及它的上下文作為一個整體并設(shè)計了一種新穎的共注意力神經(jīng)網(wǎng)絡(luò)模型（co-attention）。受到多任務(wù)信息的啟發(fā)，Chen等人［18］則注重了情感分類任務(wù)與情感原因抽取任務(wù)兩者之間的相關(guān)性，并且注意到情感句與原因句的抽取需要不同的特征，提出了聯(lián)合編碼器與訓(xùn)練器，使得模型可以針對兩個任務(wù)分別進(jìn)行學(xué)習(xí)。

上述的情感原因抽取任務(wù)都是在給定文本段情感句的情感注釋的前提下進(jìn)行，即必須人工對文本段中情感句的情感進(jìn)行標(biāo)注，而這需要耗費大量的資源，在現(xiàn)實中的應(yīng)用也受到了限制。為了更好地在實際生活中進(jìn)行應(yīng)用，Xia等人［3］將情感原因抽取任務(wù)改進(jìn)成不需要對文檔進(jìn)行情感標(biāo)注的情感原因?qū)Τ槿∪蝿?wù)，并為該任務(wù)提出了一個兩步驟分層結(jié)構(gòu)網(wǎng)絡(luò)。盡管Xia等人［3］注重了情感與原因之間的相互關(guān)系，但所設(shè)計的兩步驟的模型結(jié)構(gòu)還是存在著錯誤傳播的問題。Wei等人［8］對原有的兩步驟模型進(jìn)行了改進(jìn)，采用端到端的框架，從排序的角度處理情感原因?qū)μ崛。磳o定文檔中的候選子句對進(jìn)行排序，與之前的兩步解決方案不同，可以直接從文檔中提取情感原因?qū)Α４ㄈA等人［19］參考了基于CNN的閱讀理解式回答模型，通過在數(shù)據(jù)集上對情感原因關(guān)鍵字進(jìn)行標(biāo)注，融入了情感特征的情感膨脹門控CNN，更好地進(jìn)行情感原因?qū)Φ某槿　ong等人［5］則參考了鏈接預(yù)測的方法，提出了一種端到端的多任務(wù)學(xué)習(xí)模型，并且在模型中加入了兩個輔助任務(wù)，即子句的情感抽取與原因抽取，旨在進(jìn)一步增強(qiáng)中間層的情感表示與原因表示。

Song等人［5］借助了Dozat等人［6］提出的圖的依存分析思想。其中句法依存分析問題是自然語言處理中的關(guān)鍵技術(shù)之一，基于圖的依存分析任務(wù)是由McDonald等人提出，將解析視為基于搜索的結(jié)構(gòu)化預(yù)測問題，其目標(biāo)是學(xué)習(xí)依賴樹的評分函數(shù)，以便正確的樹得分高于所有其他樹。后續(xù)文獻(xiàn)［20］使用Bi-LSTM作為編碼器，在基于圖的依存分析任務(wù)中取得出色的結(jié)果。基于這項工作，Dozat等人［6］提出了一種簡單有效的基于雙仿射的圖依存分析器，并在各種數(shù)據(jù)集上取得最好的結(jié)果。Dozat等人［6］指出，原先的編碼器中，每個節(jié)點只會獲得一個向量表示，但是由于依賴樹的邊為有向邊，所以當(dāng)一個節(jié)點為有向邊的頭部或者尾部時應(yīng)該具有不同的向量表示。

Song等人［5］將情感原因?qū)Τ槿∪蝿?wù)視做鏈接預(yù)測問題，即預(yù)測是否有從情感子句到原因子句的有向邊，與依存分析方法相比，情感原因?qū)Τ槿∪蝿?wù)中節(jié)點兩個向量表示分別為情感表示與原因表示。并且在模型中加入了情感抽取與原因抽取作為輔助任務(wù)，旨在進(jìn)一步增強(qiáng)中間情感表示和原因表示。但是，在Song等人的模型中，雖然將情感抽取與原因抽取作為輔助任務(wù)，但是將兩個任務(wù)視做獨立的兩個子任務(wù)，而情感與原因之間是有著相互指認(rèn)的關(guān)系，兩個任務(wù)之間存在著緊密的聯(lián)系。

Wei等人［8］提出情感原因?qū)Φ那楦凶泳渑c原因子句之間存在因果關(guān)系，因此文檔中子句之間相互關(guān)系的信息有利于提取潛在的情感原因?qū)Α６槍D的依存分析問題，Ji等人［7］指出原先基于RNN或是Bi-LSTM來學(xué)習(xí)節(jié)點表示的方法不足以捕獲復(fù)雜句子結(jié)構(gòu)的相互信息。Ji等人[7]提出用圖神經(jīng)網(wǎng)絡(luò)（GNN）來生成節(jié)點表示，通過堆疊GNN網(wǎng)絡(luò)層，利用GNN的迭代更新，即每次更新時會考慮到鄰接節(jié)點的信息，所以GNN能自然地捕獲到多跳（即高階關(guān)系）關(guān)系。近年來，圖神經(jīng)網(wǎng)絡(luò)也逐漸成為情感分析任務(wù)中的研究熱點，而圖注意力網(wǎng)絡(luò)的提出則解決了GCN中不容易分配不同的學(xué)習(xí)權(quán)重給不同的鄰居節(jié)點的問題。相較于Bi-LSTM，GAT能夠?qū)ο噜彽墓?jié)點進(jìn)行權(quán)重分配從而學(xué)習(xí)到節(jié)點之間的相互關(guān)系，而對于依存分析任務(wù)，通過堆疊GAT層，利用GAT的迭代更新，能夠自然地在節(jié)點更新時考慮到鄰接節(jié)點的信息，并學(xué)習(xí)到多跳信息，即可以學(xué)習(xí)并處理高階關(guān)系信息。

從上述研究可以得知，先前基于鏈接預(yù)測的端到端框架模型還存在著問題：a）在生成情感子句表示與原因子句表示時，沒有考慮到子句之間的相互關(guān)系；b）先前的任務(wù)忽略了子句的情感抽取與原因抽取任務(wù)之間的相互關(guān)聯(lián)。

2 GAT-ECPE模型

本文的情感原因?qū)Τ槿〉娜蝿?wù)是給定一段文本，文本當(dāng)中包含著情感子句以及引起該情感的原因子句，從中抽取出情感子句與對應(yīng)的原因子句，而在本文中將情感原因?qū)Τ槿∪蝿?wù)視做鏈接預(yù)測任務(wù)，即預(yù)測是否存在從情感子句到原因子句的定向鏈接，將有定向鏈接的視做正確的情感原因?qū)Α１疚氖褂肵ia等人［3］構(gòu)建的ECPE數(shù)據(jù)集，情感原因?qū)Τ槿∪蝿?wù)實例如圖1所示。

在圖1中展示了情感原因?qū)Τ槿∪蝿?wù)的例子，在這個例子中，按照標(biāo)點符號劃分，分為七個子句。因為情感詞匯“贊揚(yáng)”包含在了第三個子句中，所以將其稱為情感子句，代表包含情感的句子。而與其對應(yīng)的原因則分別在：第一個子句“對于魯女士遇見老人跌倒后立刻出手相助”以及第二個子句“還陪著老人一起等民警的行為”。本文將這兩個句子稱做原因子句，即引起情感的原因所在的句子。從圖1中的例子可以看出，根據(jù)上下文的相關(guān)信息，情感原因?qū)μ崛∪蝿?wù)是要從文本中找出該文本中包含情感的子句（該數(shù)據(jù)集的每個文檔僅包含一個情感子句），并找出與該情感子句相對應(yīng)的原因子句。

整個任務(wù)的輸入為整個文本段D=（c1，c2，…，c|D|），其中|D|表示該文檔中包含多少子句。對于每個子句ci，還可以細(xì)分成詞語級別，即ci=（wi1，wi2，…，wi|ci|），|ci|表示該句子中包含多少個詞語。任務(wù)的輸出為分值超過了所設(shè)置閾值的情感原因?qū)={（ce，cc）}，其中：ce代表情感子句，cc代表原因子句。

本文模型基于端到端的框架，編碼層的設(shè)計采用了分層的結(jié)構(gòu)，分為詞級別編碼、子句內(nèi)信息編碼以及子句間信息編碼。針對先前模型中忽視了情感與原因之間的相互關(guān)系的不足，設(shè)計了輔助任務(wù)，將同一子句進(jìn)行情感抽取與原因抽取的兩個任務(wù)進(jìn)行交互。并且為了增強(qiáng)情感子句與原因子句表示中的相互關(guān)系，基于圖的依存分析的思想，將情感子句表示作為依賴項，將原因子句表示作為被依賴項，預(yù)測是否有從情感子句到原因子句的邊。并在先前模型的基礎(chǔ)上，加入了圖注意力網(wǎng)絡(luò)，使得模型能更好地學(xué)習(xí)到子句之間的相互關(guān)系信息，設(shè)計出GAT-ECPE模型。

GAT-ECPE采取一個分層的結(jié)構(gòu)來對不同粒度進(jìn)行建模，如圖2所示，大致可以分為四個模塊：第一個模塊是詞編碼層，目的是獲取詞的表示；第二、三個模塊是子句內(nèi)編碼層和子句間編碼層，將上一步的詞的表示轉(zhuǎn)換為包含上下文的子句表示；第四個模塊是雙仿射注意力層，它對情感子句與原因子句之間的交互進(jìn)行編碼后輸出位置權(quán)重矩陣。

3 實驗

3.1 實驗設(shè)置

1）數(shù)據(jù)集 本文使用的情感原因?qū)?shù)據(jù)集為Xia等人［3］發(fā)布的用于情感原因?qū)Τ槿∪蝿?wù)的公開數(shù)據(jù)集，該數(shù)據(jù)集是在先前ECE數(shù)據(jù)集基礎(chǔ)上加以改進(jìn)得到的，是現(xiàn)在ECPE任務(wù)的基準(zhǔn)數(shù)據(jù)集。其中每個文檔僅包含一種情感以及相應(yīng)的一個或多個原因，具有兩種或多種情感的文檔被分為多個文檔，使得每個文檔僅包含一種情感（及一個情感子句）。為了更好地滿足情感原因?qū)Τ槿∪蝿?wù)的要求設(shè)置，將具有相同文本內(nèi)容的文檔整合到一個文檔中。而根據(jù)統(tǒng)計總共有1 945篇文段，包括了2 167對情感原因?qū)Γ⑶覂H有一對情感原因?qū)Φ奈臋n數(shù)占據(jù)了總文檔數(shù)的89.77%。數(shù)據(jù)集統(tǒng)計信息如圖5、6所示。

2）實驗參數(shù) 本文實驗條件為一個GTX 2080Ti，使用PyTorch框架；詞向量用的word2vec在微博上訓(xùn)練的詞向量來初始化單詞嵌入，嵌入維度設(shè)置為200；單向LSTM的隱狀態(tài)的維度為300，并且過濾器數(shù)量設(shè)為50；為了避免過擬合，將dropout設(shè)置為0.5。全連接層維度為100，最后二分類的閾值η設(shè)置為0.3，batch-size為16，學(xué)習(xí)率為10-3，l2正則化的系數(shù)λ為10-5，損失函數(shù)中的權(quán)衡輔助任務(wù)的系數(shù)β設(shè)置為0.5。位置權(quán)重矩陣的平滑項ε設(shè)置為1。

3）評估指標(biāo) 選取了準(zhǔn)確率P、查全率R和F1值作為任務(wù)的評估指標(biāo)。

P=∑模型正確預(yù)測的情感原因?qū)Α颇Ｐ皖A(yù)測的情感原因?qū)Φ目倲?shù)

R=∑模型正確預(yù)測的情感原因?qū)Α茢?shù)據(jù)中實際情感原因?qū)Φ目倲?shù)

F1=2×P×RP+R

而對于子任務(wù)中情感子句與原因子句的抽取同樣是用準(zhǔn)確率、查全率以及F1值來評估，僅僅是將上面的情感原因?qū)μ鎿Q成情感子句與原因子句即可。

3.2 基線模型

為了更好地驗證本文GAT-ECPE模型的有效性，以下面模型作為基線模型：a）文獻(xiàn)［3］提出的基于Bi-LSTM，兩步驟方式的Indep模型，以及在Indep模型的基礎(chǔ)上改進(jìn)的Inter-CE和Inter-EC模型；b）文獻(xiàn)［5］提出的使用端到端的架構(gòu)的鏈接預(yù)測的E2EECPE模型；c）文獻(xiàn)［21］提出的在兩步驟提取的基礎(chǔ)上，通過自蒸餾方法提升子句的情感抽取與原因抽取的結(jié)果的MAM模型。

3.3 實驗結(jié)果與分析

3.3.1 實驗結(jié)果對比

在表1中給出了準(zhǔn)確率、查全率以及F1值三項數(shù)據(jù)的結(jié)果。由表1可知，GAT-ECPE模型三項任務(wù)的F1值均能夠明顯高于三種基線模型，在情感原因?qū)Τ槿∪蝿?wù)上相較于E2EECPE模型增長了1.7%，相較于MAM模型增長了3.6%，證明了模型的有效性。GAT-ECPE與MAM模型相比較，在MAM模型中，對于子句的情感抽取與原因抽取采用了輔助任務(wù)，并且設(shè)定了自蒸餾方法來對抽取結(jié)果進(jìn)行進(jìn)一步提升，而本文模型的結(jié)果仍優(yōu)于MAM，說明對于同一個子句而言，其是否為情感或原因子句之間有著相互指認(rèn)的關(guān)系，提供其中一個的結(jié)果有助于另一個的抽取。

GAT-ECPE與E2EECPE模型相比較可以得知，在三項任務(wù)中，本文模型都優(yōu)于E2EECPE模型結(jié)果。首先對于子句的情感抽取與原因抽取而言，由于本文采用了輔助任務(wù)的方法，將子句的情感抽取與原因抽取相結(jié)合，從而使得兩個任務(wù)的結(jié)果有所上升。而對于情感原因?qū)Τ槿。瑯硬捎昧嘶阪溄宇A(yù)測的任務(wù)設(shè)定，本文加入了圖注意力網(wǎng)絡(luò)來生成子句的情感表示與原因表示，相較于僅使用Bi-LSTM來獲得子句表示，圖注意力網(wǎng)絡(luò)能夠更好地學(xué)習(xí)子句間信息，所以效果有所提升。

3.3.2 圖注意力網(wǎng)絡(luò)與多任務(wù)的消融實驗

為了能更好地了解圖注意力網(wǎng)絡(luò)和多任務(wù)對于模型效果的影響，對GAT-ECPE任務(wù)進(jìn)行了消融實驗。分別從GAT-ECPE模型中消融圖注意力網(wǎng)絡(luò)以及多任務(wù)，將消融圖注意力網(wǎng)絡(luò)的模型稱為ECPE-LSTM，將消融多任務(wù)的模型稱為ECPE-only。

從表2可以得知，將ECPE-LSTM與GAT-ECPE比較，在情感原因?qū)Τ槿∪蝿?wù)上的結(jié)果有所下降，原因可以解釋為：子句之間的相互信息有助于抽取出對應(yīng)的情感原因?qū)Γ鄙賵D注意力網(wǎng)絡(luò)來對子句表示進(jìn)行子句間關(guān)系信息的更新，使得對于情感原因?qū)Χㄏ蜴溄拥念A(yù)測準(zhǔn)確度有著一定的影響。并且GAT-ECPE相較于ECPE-LSTM模型，通過堆疊兩層圖注意力網(wǎng)絡(luò)層，每層通過聚合來自鄰居的信息來獲得節(jié)點的表示，能夠更好地建模子句間關(guān)系。

將ECPE-only與GAT-ECPE相比較，可以說明兩點：a）模型在情感子句抽取與原因子句抽取任務(wù)上都有所下降，說明對于同一句子句來說，它是否為情感子句或原因子句，兩者之間是存在著相互指認(rèn)的關(guān)系，即提供情感抽取的結(jié)果有助于幫助該子句的原因抽取，反之亦然，設(shè)置輔助任務(wù)則能夠?qū)⒆泳涞那楦谐槿∨c原因抽取構(gòu)成聯(lián)系；b）對于情感原因?qū)Τ槿〗Y(jié)果上略有下降，原因是生成情感原因?qū)Ρ硎镜那楦凶泳渑c原因子句的表示在通過輔助任務(wù)獲得對應(yīng)的原因抽取以及情感抽取的結(jié)果時，由于缺少輔助任務(wù)，兩者的情感抽取與原因抽取結(jié)果受到影響，而后續(xù)導(dǎo)致錯誤傳遞使得情感原因?qū)Τ槿〉慕Y(jié)果也有所下降。

3.3.3 不同的閾值η對F1值造成的影響

在對閾值η設(shè)置的時候，本文無法準(zhǔn)確地知道哪個閾值是最為合適的，因此，通過更改閾值并根據(jù)不同閾值所對應(yīng)的結(jié)果來進(jìn)行閾值的設(shè)置。從圖7中可以得出結(jié)論，閾值為0.3左右時是最為合適的，隨著閾值的進(jìn)一步增加，雖然準(zhǔn)確率有所上升，但是查全率的下降會造成F1值的下降，這意味著抽取情感原因?qū)r，正確的情感原因?qū)赡鼙缓Y選出去。而由于最佳的閾值不是在0.5附近，原因可能是在通過sigmoid激活函數(shù)后，整體期望數(shù)值會進(jìn)一步下降。

3.4 具體案例分析

在表3的兩個案例中，案例2與正確結(jié)果相符，而案例1中，預(yù)測結(jié)果中多預(yù)測了從子句2到1的情感原因?qū)Γ瑵撛诘脑蚴菍ⅰ皻馑懒恕币曌銮楦校瑥亩鴮⒆泳?視做情感子句找到其對應(yīng)的原因子句1。這一部分可能是數(shù)據(jù)集存在的不足，子句2是否定義為情感子句有些模棱兩可。

4 結(jié)束語

情感原因?qū)Τ槿∪蝿?wù)相較以前的情感原因抽取任務(wù)來說是一項更具有挑戰(zhàn)性的任務(wù)。由于文檔中的情感不是預(yù)先標(biāo)注好的，需要通過訓(xùn)練模型識別并抽取出情感句；此外，進(jìn)行情感原因?qū)Y選的過程中也需要考慮到較多方面的信息。為了克服這些困難推動了情感原因?qū)Τ槿∪蝿?wù)的發(fā)展，如今基于鏈接預(yù)測的框架能較好地得到情感原因?qū)Γ徽撌亲泳涞那楦谐槿∨c原因抽取的相互聯(lián)系還是情感子句與情感子句之間的相互聯(lián)系，都沒有得到過多的重視。本文利用圖注意力機(jī)制，對原本的子句表示形式進(jìn)行了進(jìn)一步的更新，使得模型可以更好地學(xué)習(xí)情感子句與原因子句之間的相互關(guān)系，并且設(shè)置了多任務(wù)來建立情感抽取與原因抽取任務(wù)之間的關(guān)聯(lián)，提高了抽取的結(jié)果。而根據(jù)對文檔中數(shù)據(jù)的統(tǒng)計，在處理單個情感子句對應(yīng)多個原因子句的任務(wù)時，效果相較單對單的任務(wù)有所下降，接下來的任務(wù)會集中于處理單個情感子句對應(yīng)多個原因子句的抽取情況。

參考文獻(xiàn)：

［1］Lee S Y M，Chen Ying，Huang Churen.A text-driven rule-based system for emotion cause detection［C］//Proc of NAACL HLT 2010 Workshop on Computational Approaches to Analysis and Generation of Emotion in Text.2010：45-53.

［2］Gui Lin，Yuan Li，Xu Ruifeng，et al.Emotion cause detection with linguistic construction in Chinese Weibo text［M］//Zong C，Nie J Y，Zhao D，et al.Natural Language Processing and Chinese Computing.Berlin：Springer，2014：457-464.

［3］Xia Rui，Ding Zixiang.Emotion-cause pair extraction：a new task to emotion analysis in texts［EB/OL］.（2019-06-04）.https：//arxiv.org/abs/ 1906.01267.

［4］Wei Penghui，Zhao Jiahao，Mao Wenji.Effective inter-clause modeling for end-to-end emotion-cause pair extraction［C］//Proc of the 58th Annual Meeting of the Association for Computational Linguistics.2020：3171-3181.

［5］Song Haolin，Zhang Chen，Li Qiuchi，et al.End-to-end emotion-cause pair extraction via learning to link［EB/OL］.（2021-05-09）.https：//arxiv.org/abs/2002.10710.

［6］Dozat T，Manning C D.Deep biaffine attention for neural dependency parsing［EB/OL］.（2017-03-10）.https：//arxiv.org/abs/1611.01734.

［7］Ji Tao，Wu Yuanbin，Lan Man.Graph-based dependency parsing with graph neural networks［C］//Proc of the 57th Annual Meeting of the Association for Computational Linguistics.2019：2475-2485.

［8］Wei Penghui，Zhao Jiahao，Mao Wenji.Effective inter-clause modeling for end-to-end emotion-cause pair extraction［C］//Proc of the 58th Annual Meeting of the Association for Computational Linguistics.2020：3171-3181.

［9］Neviarouskaya A，Aono M.Extracting causes of emotions from text［C］//Proc of the 6th International Joint Conference on Natural Language Processing.2013：932-936.

［10］Gao Kai，Xu Hua，Wang Jiushuo.A rule-based approach to emotion cause detection for Chinese micro-blogs［J］.Expert Systems with Applications，2015，42（9）：4517-4528.

［11］Ghazi D，Inkpen D，Szpakowicz S.Detecting emotion stimuli in emotion-bearing sentences［C］//Proc of International Conference on Intelligent Text Processing and Computational Linguistics.Berlin：Sprin-ger，2015：152-165.

［12］Chen Ying，Lee S Y M，Li Shoushan，et al.Emotion cause detection with linguistic constructions［C］//Proc of the 23rd International Conference on Computational Linguistics.2010：179-187.

［13］Gui Lin，Wu Dongyin，Xu Ruifeng，et al.Event-driven emotion cause extraction with corpus construction［C］//Proc of Conference on Empirical Methods in Natural Language Processing.2016：1639-1649.

［14］Cheng Xiyao，Chen Ying，Cheng Bixiao，et al.An emotion cause corpus for Chinese microblogs with multiple-user structures［J］.ACM Trans on Asian and Low-Resource Language Information Processing，2017，17（1）：1-19.

［15］Chen Ying，Hou Wenjun，Cheng Xiyao.Hierarchical convolution neural network for emotion cause detection on microblogs［C］//Proc of International Conference on Artificial Neural Networks.Berlin：Sprin-ger，2018：115-122.

［16］覃俊，孟凱，劉晶，等.子句級別的自注意力機(jī)制的情感原因?qū)Τ槿∧Ｐ停跩］.中南民族大學(xué)學(xué)報：自然科學(xué)版，2021，40（1）：64-73. （Qin Jun，Meng Kai，Liu Jing，et al.Emotion cause extraction model based on clause self-attention mechanism［J］.Journal of South-Central University for Nationalities：Natural Science Edition，2021，40（1）：64-73.）

［17］Li Xiangju，Song Kaisong，F(xiàn)eng Shi，et al.A co-attention neural network model for emotion cause analysis with emotional context awareness［C］//Proc of Conference on Empirical Methods in Natural Language Processing.2018：4752-4757.

［18］Chen Ying，Hou Wenjun，Cheng Xiyao，et al.Joint learning for emotion classification and emotion cause detection［C］//Proc of Conference on Empirical Methods in Natural Language Processing.2018：646-651.

［19］代建華，鄧育彬.基于情感膨脹門控 CNN 的情感-原因?qū)μ崛。跩］.數(shù)據(jù)分析與知識發(fā)現(xiàn)，2020，4（8）：98-106. （Dai Jianhua，Deng Yubin.Extracting emotion-cause pairs based on emotional dilation gated CNN［J］.Data Analysis and Knowledge Discovery，2020，4（8）：98-106.）

［20］Kiperwasser E，Goldberg Y.Simple and accurate dependency parsing using bidirectional LSTM feature representations［J］.Trans of the Association for Computational Linguistics，2016，4：313-327.

［21］Yu Jiaxin，Liu Wenyuan，He Yongjun，et al.A mutually auxiliary multitask model with self-distillation for emotion-cause pair extraction［J］.IEEE Access，2021，9：26811-26821.