基于圖卷積網絡的多交互注意方面級情感分析

賈 音，武偉寧，楊長春，顧曉清，嚴鑫杰，馬甜甜

(常州大學 計算機與人工智能學院 阿里云大數據學院 軟件學院，江蘇 常州 213164)

0 引 言

方面級情感分析作為情感分析領域的子任務，旨在根據上下文識別句子中的方面項以及特定方面的情感極性(如積極、消極或中性)[1]。舉例來說，對于一個句子“a group of friendly staff，the pizza is not bad，but the beef cubes are not worth the money！”，包含3個方面詞分別是staff，pizza和beef cubes，對應的意見詞分別為friendly，not bad，not worth，其情感極性分別為積極、中立和消極。特定方面的反饋，能夠給人們提供有針對性的見解，幫助人們更準確地了解某個事物的具體信息。相比較于粗粒度的情感分析，方面級情感分析更具有研究意義和應用價值。

目前主要利用深度學習的方法進行方面級情感分析研究，但仍存在著提取語義句法信息不全面的問題：基于注意力機制的方法，大多只關注方面詞與上下文詞之間的語義關聯，忽略了句法交互對情感分類結果的影響；而基于圖卷積網絡的方法僅提取句法信息而忽略了深層語義信息，且未能考慮句法相對距離，使得距離方面詞較遠的關鍵信息的權重被削弱。

針對上述問題，本文提出了一種基于圖卷積網絡的多交互注意(multi-interactive attention based on graph convolution network，MIA-GCN)模型。利用圖卷積網絡能夠更有效提取深層特征信息的優點[2]，基于注意力機制和句法相對距離重構語義和句法圖鄰接矩陣，更全面地提取語義和句法信息。除此之外，設計語義交互和句法交互，同時關注方面詞與上下文詞之間的語義關聯和句法關聯，最終進行特征融合。

1 相關研究

以神經網絡為代表的深度學習具有良好的自動提取特征的能力[3]，因此在方面級情感分析領域受到廣大學者的歡迎。由于句子本身可以看作一個前后有關聯的序列，循環神經網絡(recurrent neural network，RNN)及其變體長短時記憶網絡(long-short term memory，LSTM)作為最基本的神經網絡方法，得到了廣泛的應用[4]?；谧⒁饬Φ姆椒ㄍㄟ^進行方面詞與上下文詞的向量運算，以計算結果來反映單詞之間的關聯程度，從而給予與方面詞語義相關性強的單詞更高的權重來判斷情感極性。因此，大多研究者將神經網絡與注意力機制結合來提取語義信息，并挖掘與方面詞語義上最相關的意見詞。Tay等[5]將方面向量與上下文向量相連接來模擬方面詞與上下文詞的相似性，并利用注意力機制自適應地關注給定方面詞的關聯詞。Chen等[6]提出了一種基于目標的注意力模型用于方面級情感分析。對上下文信息進行位置編碼，在位置感知上下文矩陣之間以聯合的方式計算上下文與方面詞之間的注意力得分，并進行向量化，使得模型更具魯棒性。Zhuang等[7]基于記憶旋轉單元提取長期語義信息，并引入分層多頭注意機制在計算注意權重時保留方面語義信息，最終實現方面詞與關鍵詞之間的交互。雖然這些基于注意力機制的方法取得了一定的成果，但是基本上是建立在語義關聯上，注意力機制可能會關注到與方面詞句法上不相關的意見詞，造成情感極性判斷錯誤。近年來，圖卷積神經網絡(graph convolutional network，GCN)由于其良好的處理非結構化數據的特點，被應用于方面級情感分析中提取句法信息。Liang等[8]構建方向圖卷積網絡將單詞間的依賴關系整合到模型中，學習關鍵方面詞的依賴特征和不同方面之間的情感關系。Pang等[9]提出一種動態多通道圖卷積網絡模型。分別利用依賴樹和多頭注意生成句法圖和語義圖來提取句法信息和語義信息，并將提取到的信息進行組合、優化和融合，使得性能得到了進一步提升。

2 方面級情感分析模型

本文提出的MIA-GCN模型從句法相對距離和語義關聯強弱角度，結合圖卷積網絡，能夠更加充分地學習語義及句法特征信息。并且可以增加交互注意層處理方面詞與上下文詞的語義和句法依存信息，進行特征融合?？蚣苋鐖D1所示，分別是嵌入層、Bi-LSTM層、圖卷積網絡層、方面掩碼層、交互注意層以及輸出層。

2.1 嵌入層

為了能夠充分獲取語義和句法特征信息，在處理文本時，首先需要進行文本向量化。文本向量化最常用的一種方式是詞嵌入，即將每個單詞通過嵌入矩陣的形式映射到向量空間中，使得句子中的每個單詞轉化為固定維度的詞向量表示。本文利用預先訓練好的詞嵌入矩陣Glove來初始化單詞向量。對于長度為n的句子，經過詞嵌入后表示為：W∈Rdw×n， 其中dw表示詞嵌入向量的維數。除此之外，由于同一個詞因為其詞性的不同在不同語境中有多種多樣的表示，因此，考慮不同詞性對方面級情感分析的影響是有必要的。受到Zhao等[10]工作的啟發，將詞性種類N設為4類，分別為形容詞、動詞、副詞、其它，最終得到詞性嵌入矩陣為P∈Rdp×|N|， 其中，dp為詞性嵌入的維度。將詞嵌入與詞性嵌入連接起來，得到嵌入層的最終詞向量表示為X={x1，x2，…，xn}， 其中xi∈Rdw+dp。

2.2 Bi-LSTM層

2.3 圖卷積網絡層

(1)

本文提出的MIA-GCN模型中的圖卷積網絡層包括語義圖卷積模塊和句法圖卷積模塊兩個對稱的網絡，分別用來提取語義特征和句法特征，也是整個MIA-GCN模型的核心。對于語義圖卷積模塊，利用注意力機制構造注意得分矩陣；對于句法圖卷積模塊，根據句法相對距離構造句法權重矩陣以存儲更多的句法信息。最后，將兩個矩陣分別送入圖卷積中進行語義和句法信息的學習。

2.3.1 語義圖卷積模塊

對于句法信息不敏感的句子，其語義信息對情感極性的判斷影響比較大。因此，獲取語義信息是有必要的。MIA-GCN模型考慮基于語義關聯提取深層次語義信息。由注意力機制得到的注意得分矩陣能夠反映句子中兩個單詞之間的語義相關性信息，對于提取語義信息有重要的作用。注意得分矩陣可表示為式(2)

(2)

式中：矩陣Q和K為前一層的圖向量表示，WQ和WK為可學習的權重矩陣，d為輸入節點特征的維數。其構造過程如圖2所示。

圖2 注意得分矩陣構造過程

2.3.2 句法圖卷積模塊

以往基于句法的方面級情感分類模型中，通過依存句法分析樹分析句子中單詞之間的句法依賴關系，結合圖卷積網絡聚合相鄰節點信息的優點，使得模型能夠提取句法特征信息。本文延續使用這種方法，利用依存句法分析器SpaCy構造句法依賴樹，并將句法依賴樹以圖結構的形式表示。以節點代表句子中的單詞，邊代表單詞之間的依賴關系，得到鄰接矩陣形式的句法依賴圖，其中鄰接矩陣D∈Rn×n， 矩陣D中的元素表示為式(3)

(3)

如果將上述矩陣D作為圖卷積網絡的鄰接矩陣，則會忽略未直接相連的兩個單詞之間可能存在的聯系。若關鍵意見詞與方面詞距離較遠，就會導致其傳播到方面詞時，相對于方面詞的權重被削弱了，從而導致情感極性判斷錯誤。

因此，基于Phan等[13]提出的句法相對距離(syntactic relative distance，SRD)，本文提出的MIA-GCN模型對句子中距離方面詞不同句法距離的單詞賦予不同的權重，來代表不同單詞相對于方面詞的重要性。在鄰接矩陣D的基礎上，首先計算除方面詞a外的所有單詞到a的SRD。SRD在句法依賴樹中表示兩個單詞對應的節點之間的最短距離，在鄰接矩陣中只需計算兩個頂點之間的最短路徑。以圖3中(a)所構造的依賴關系為例，方面詞為節點2和節點3，需要計算節點1，節點4，節點5分別到2，3之間的距離，并轉化為圖3中(b)的形式。

圖3 句法權重矩陣構造過程

基于SRD，計算句法權重矩陣Asyn代替鄰接矩陣D，Asyn的計算為式(4)

(4)

式中：p為設定閾值，Asyn∈Rn×n， 圖3中(c)為n=5，p=2的句子構建的句法權重矩陣。通過構建句法權重矩陣來代替離散鄰接矩陣，使得與方面詞句法距離近的上下文詞有較大的權重且削弱句法距離遠的上下文信息。

2.4 方面掩碼層

(5)

(6)

由此可以得到提取到的語義特征的方面掩碼向量hsemmask={0，…，ht+1sem，…，ht+msem，…，0} 和句法特征的方面掩碼向量hsynmask={0，…，ht+1syn，…，ht+msyn，…，0}。

2.5 多交互注意層

為了同時關注方面詞與上下文單詞之間的語義關聯和句法關聯，通過計算上下文的隱藏向量與方面向量之間的語義及句法相關性，為每個上下文詞分配相關的注意力權重，以完成方面與上下文的協調優化，便于下一步進行特征融合。

(7)

(8)

(9)

(10)

(11)

(12)

2.6 情感輸出層

為了實現語義特征信息和句法特征信息的融合，將交互層得到的語義交互特征向量hsem與句法交互特征向量hsyn進行拼接，得到融合語義與句法的特征向量hf=[hsyn；hsem]。 將獲得的最終表示hf輸入到全連接層，最后通過softmax進行分類輸出，即式(13)

(13)

式中：c為情感標簽的維數即分類數，Wo和bo分別為權重參數和偏置項。模型的損失函數采用交叉熵損失函數，利用標準梯度下降法進行訓練，如式(14)所示

(14)

3 實驗與分析

3.1 實驗數據與實驗平臺

實驗在公開數據集SemEval 2014 task4的Restaurant數據集、Laptop數據集以及短文本數據集Twitter上進行，評估MIA-GCN模型的性能。這些數據集都分為訓練集和測試集，且都是3分類的(積極、中性、消極)。除此之外，采用以往方面級情感分析的數據預處理方法，去除情感極性沖突的樣本和沒有明確方面詞的樣本，使得每條數據都包含一個或多個方面。數據集統計情況見表1。

表1 數據集統計

本文的實驗平臺見表2。

3.2 實驗設置與評價指標

為了保證對比實驗公平，模型使用300維的Glove詞向量初始化單詞嵌入，模型中的權重采用均勻分布進行初始化。在對比實驗中，計算句法權重矩陣時的閾值p設置為2，除此之外，模型利用dropout防止過擬合，同時采用early stop防止精度衰減。模型的超參數設置見表3。

MIA-GCN模型采用準確率(Accuracy，Acc)與宏平均F1值(macro average F1，MF1)作為評價指標。Acc是相關研究中最常用的評估指標，而MF1值是綜合考慮了模型準確率和召回率的計算結果，為所有類別F1的平均值。在衡量模型性能時，Acc與MF1的值越大，模型性能越好。Acc與MF1計算公式如式(15)～式(17)所示

表2 實驗環境

表3 超參數設置

(15)

(16)

(17)

其中，TP(true positive)為預測為正的正樣本；FP(false positive)為預測為負的正樣本；TN(true negative)為預測為正的負樣本；FN(false negative)為預測為負的正樣本；precision為精確率；recall為召回率。

3.3 對比實驗

為了驗證MIA-GCN模型的性能，本文使用以下模型作為對比模型：

(1)ATAE-LSTM[14]：基于注意力的LSTM的方面級情感分類方法。將方面向量嵌入到詞向量和隱藏向量中，使得方面信息參與注意權重的計算。

(2)MemNet[15]：一種結合注意力機制的深度記憶網絡模型。通過構建多個計算層，通過每個計算中層中的注意層自適應地選擇更深層次的信息并捕獲每個上下文詞與方面之間的相關性，最后一個注意層的輸出來進行情感極性判斷。

(3)IAN[16]：將方面詞與語境分離出來，并利用兩個注意力網絡交互方面詞與上下文之間的關系，分別生成它們的表示。最后，連接兩個表示來預測方面詞在語境中的情感極性。

(4)AOA[17]：對方面和文本同時進行建模，生成的方面表示和文本表示通過注意力模塊相互作用，學習其表示形式，自動關注方面和文本中最重要的部分。

(5)MGAN[18]：利用粗粒度和細粒度的注意機制提取嵌入信息并進行方面和句子之間的詞語級交互。

(6)ASGCN[19]：在句子的依賴樹上建立一個圖卷積網絡進行句法信息的提取，將掩碼后的方面向量與語義信息進行注意交互，提高了情感分類性能。

(7)Bi-GCN[20]：針對利用句法結構的方法會忽略詞語共現信息和不同句法依賴類型對結果有重要影響的問題，分別構造詞法圖和句法圖，并進行交互和聚合。

(8)kumaGCN[21]：將句法依賴樹和自動生成的特定類型圖聯系起來，動態地組合詞依賴圖和自注意力網絡學習的潛在圖的信息。

(9)AGGCN[22]：提出了一種方面門控圖卷積網絡模型。設計方面門控LSTM以生成特定方面信息，并在此基礎上形成依賴樹構建GCN，以充分利用句法信息和長距離依賴。

(10)AFGCN[23]：構建了一個句法依賴模塊以集成句法相對依賴位置圖，并結合注意力機制捕獲與方面語義相關的突出特征，最終形成融合語義和句法特征的向量表示。

表4 不同模型的實驗結果

表4為基準模型與本文模型的對比實驗結果，表格內結果均為重復3次的實驗結果的平均值。其中，加粗數據表示其對應數據集中效果最好的模型的數值。對表中實驗結果進行分析，可以得到以下結論：

(1)基于注意力機制的模型(ATAE-LSTM、MemNet、IAN、AOA、MGAN)：從表4中可以看出，利用交互注意力機制的IAN、AOA及MGAN模型整體上優于傳統非交互注意的ATAE-LSTM、MemNet模型，且都實現了方面詞與上下文之間的信息交互，從而獲取語義信息。這表明在進行方面級情感分析時，方面詞與上下文詞之間的交互有利于提高分類性能。

(2)基于圖卷積網絡的模型(ASGCN、Bi-GCN、kumaGCN、AGGCN、AFGCN)：與基于注意力機制的方法比較，基于圖卷積網絡的方法在數據集Rest14和Lap14上的性能均有明顯的提升。這表明利用句法知識建立單詞之間的句法依賴關系，確實有利于方面級的情感分析研究。但也存在一些問題：例如對于Twitter這種口語化評論數據集，基于圖卷積網絡的方法ASGCN、kumaGCN并沒有基于注意力機制的方法MGAN的效果好。這可能是由于基于圖卷積網絡的方法未能充分考慮語義信息，忽略了方面詞與上下文單詞的語義相關性，因此，在考慮結構復雜或者非正式化的句子時，只考慮句法信息進行情感分析研究并沒有基于語義關聯的注意力機制的方法性能好。

(3)基于圖卷積網絡的多交互注意模型(MIA-GCN)：相較于基于注意力機制的模型和基于圖卷積網絡的模型，本文提出的MIA-GCN模型的準確率Acc和MF1值均得到了明顯的提升。在3個數據集上的準確率分別可以達到82.85%、77.78%和75.14%；MF1值可達到75.44%、73.85%、73.92%。MIA-GCN與基于注意力機制的模型相比，在3個數據集上的Acc值平均提高3.24%、5.85%、3.34%，MF1平均提升5.61%、6.55%、4.37%。由此可見，MIA-GCN模型在Lap14數據集上提升最好。這可能是因為Lap14對于句法信息更敏感，而MIA-GCN相比較于基于注意力機制的模型多考慮了句法信息；與基于句法信息的圖神經網絡的模型相比，在3個數據集上Acc值平均提升0.64%、1.97%、1.72%，MF1值平均提升2.11%、1.91%、1.93%。其中，MIA-GCN相對于模型AFGCN在Lap14數據集上效果相當。在Rest14數據集上，MIA-GCN的準確率略低于模型AGGCN，這可能是因為Rest14數據集對于特定方面信息比較敏感，而AFGCN從一開始就利用門控LSTM編碼特定方面信息。綜合而言，MIA-GCN模型在實驗數據集上獲得了比較好的性能，對不同領域的文本也可以處理得很好。主要原因在于MIA-GCN模型同時考慮了深層語義和句法信息。利用GCN來提取和學習評論中的語義信息與句法信息，并且對方面進行建模，利用交互注意力進行方面詞與上下文詞的語義和句法交互，增強了提取與方面詞有緊密聯系的上下文情感信息的能力。因此，模型MIA-GCN能夠實現情感分類任務性能的提升。

3.4 消融實驗

為了驗證模型的有效性以及各個部分對情感分類結果的影響，設計消融實驗在3個數據集上進行對比分析，結果見表5。其中，SynGCN表示只構造句法圖卷積網絡及句法交互；SemGCN表示只利用語義圖卷積網絡及語義交互；SynGCN_dep代表僅利用依賴解析器的0-1輸出作為圖卷積網絡的矩陣而不利用句法相對距離進行計算權重；MIA-GCN w/o inatt表示去除交互注意層，同樣的，MIA-GCN w/o syn或者sem表示只去除句法交互或者只去除語義交互。

從表5對比結果可以看出，在Rest14和Lap14數據集上，SynGCN的性能明顯優于SynGCN_dep，因此，利用句法權重矩陣代替離散矩陣，可以獲取更多的句法信息，有效提升情感分類的性能。SemGCN模型在Twitter數據集上的性能優于SynGCN，這是由于Twitter評論數據集大多是口語化和非正式的，對句法信息不敏感，因此對于這類語句，語義信息對性能的影響大于句法信息對性能的影響。除此之外，MIA-GCN w/o inatt相比MIA-GCN性能有所下降，原因是去除了交互注意層，方面詞與上下文詞之間不能進行交互注意，從而表明利用交互注意可以建模方面詞與上下文詞的語義關系和句法關系。對比MIA-GCN w/o syn和MIA-GCN w/o sem，去掉任何一種交互方式，與MIA-GCN相比，Acc和MF1值均下降，驗證了語義交互注意和句法交互注意兩者的重要性。

表5 消融實驗

3.5 案例研究

為了進一步分析本文提出的模型對比其它模型的優點，通過幾個具體的樣例來分析。如表6所示，提取出一些典型樣例的分類結果進行對比分析。其中數值negative、natu-ral、positive分別表示情感極性為消極、正常、積極。句子中陰影部分為所在句子的方面項。

表6 典型數據實驗樣例

對于第一個例句，由于存在兩個方面詞即“food”和“service”，基于語義關聯的注意力機制模型ATAE-LSTM會關注到與方面詞“service”相關的意見詞“dreadful”，將其作為方面詞“food”的意見詞，導致方面詞與意見詞的錯誤匹配，從而判斷情感極性為消極。第二個例句，“apple os”與其意見詞“happy”的句法距離相距太遠，基于句法信息的圖卷積網絡模型ASGCN未能捕獲兩者之間的關系，因此，ASGCN模型情感極性判斷錯誤。第三個例句中，由于含有兩個方面項，ATAE-LSTM未能準確匹配方面項與意見詞，ASGCN模型未能捕獲否定詞“did not”的特征表示，而MIA-GCN可以結合語義關聯和句法關聯做出正確的判斷。

除此之外，選取句子進行注意力可視化分析，如圖4所示。其中，顏色越深，表示注意權重越大。從圖中可以看出，對于方面詞“staff”，在交互注意層使用語義交互還是句法交互都能關注到情感詞“should be a bit”，因此，語義交互與句法交互都有助于情感極性的判斷，也驗證了語義信息和句法信息對于方面級情感分析的有效性。

圖4 方面詞“staff”注意力可視化

4 結束語

本文提出了一種基于圖卷積網絡的多交互模型MIA-GCN來解決目前方面級情感分析研究中存在的提取語義和句法信息不全面導致的情感分類不準確的問題。MIA-GCN的主要創新點在于分別重構了語義圖和句法圖提取語義和句法特征信息，并利用交互注意建模方面詞與上下文之間的語義和句法關系，使得提取信息更加全面。在常用的3個方面級情感分類數據集上進行對比實驗、消融實驗以及案例分析。實驗結果表明，本文提出的MIA-GCN模型的性能具有一定的提升。驗證了帶權重的鄰接矩陣可以存儲更具體的信息，而交互注意能夠建模方面詞與上下文詞的語義關系和句法關系，完成方面與上下文的協調優化。下一步工作將與更先進的預訓練模型BERT進行結合，探索更具有適應性的融合語義和句法特征的方法。