基于混合圖神經網絡的方面級情感分類

唐恒亮，尹棋正，常亮亮，薛 菲，曹 陽

北京物資學院 信息學院，北京 101149

方面級情感分類是當前自然語言處理領域中備受關注的一項基本任務[1]。不同于普通情感分類對一篇文章或一個句子所屬的情感極性進行區分，方面級情感分類的任務是判斷給定語句中所描述對象不同方面的情感極性，例如：

“A mix of students and area residents crowd into this narrow，barely there space for its quick，tasty treats at dirt-cheap prices.”

該語句摘自SemEval2014 Restaurant 數據集[2]，語句中描述了某家餐廳的space、tasty 和prices，相應的方面級情感分類結果分別為消極、積極、積極。方面級情感分類提供了更精確具體的情感信息，因此在很多領域，特別是電子商務和社交網絡輿情分析中得到廣泛的應用，受到學術界與業界的廣泛關注。

近年來，深度學習在自然語言處理領域不斷取得令人矚目的成就，越來越多的方面級情感分類模型使用神經網絡。早期應用于方面級情感分類的神經網絡[3]相較于傳統的機器學習，在準確率、泛化能力以及魯棒性上都有較大的提升。但是，方面級情感分類正確的前提是將方面詞與相關上下文情感表達詞正確匹配，此類模型缺乏解釋句法依賴的機制，難以實現較高的分類準確率。Tang 等[4]通過研究證實了方面詞與上下文情感表達詞依賴關系對方面級情感分類的重要性。受此啟發，結合注意力機制的長短期記憶網絡（long short-term memory，LSTM）模型被廣泛地應用[5]。此外，Xue和Li[6]認為某一方面的情感極性通常由一系列關鍵短語所決定，提出了一種注意力機制增強的卷積神經網絡模型，取得了優異的效果。

隨著對注意力機制的深入研究，發現通過引入注意力機制，能夠從復雜的語句中捕獲與方面詞相關的細節情感特征。一些研究人員使用將注意力機制與卷積神經網絡（convolutional neural network，CNN）、循環神經網絡（recurrent neural network，RNN）結合的方法進行序列分類任務。Tang 等[7]提出了一種基于注意力機制的MemNet模型，該模型基于輸入語句的詞向量構成的外部記憶進行注意力學習。Chen等[8]在MemNet的基礎上提出了一個基于注意力機制的RAM（recurrent attention on memory）模型。

盡管基于注意力機制的模型能夠在有限的程度上捕捉方面詞與上下文詞之間的情感關系特征，并取得較大的性能提升，但是由于注意力機制缺乏顯式的句法依賴捕捉機制，在方面級情感分類的應用上仍存在較大的局限性。如對于上文SemEval2014 Restaurant數據集例子中tasty方面，注意力機制可能在某些情況下錯誤地注意到narrow 和barely，這將會對分類準確率產生較大的影響。

為了解決基于注意力機制模型的局限性，更好地利用方面詞與上下文情感表示詞之間的句法依賴關系，Zhang等[9]提出了一種應用在句法依賴樹上的圖卷積網絡模型，能夠捕捉句法依賴樹中所包含的句法依賴關系。圖卷積網絡（graph convolutional network，GCN）是一種用于處理非結構化數據的神經網絡，因此對自然語言處理中的非結構化數據的處理具有優勢[10]。得益于句法依存樹的引入，受到Zhang等人的啟發，Tang等[11]使用Bi-GCN 獲取依賴樹的句法信息與Transformer 獲取的文本平面表示迭代交互方式，提出了一種雙重Transformer 結構模型進行方面級情感分類。Huang 和Carley[12]提出了一種方面依賴圖注意力網絡，更明確地利用了方面詞與相關上下文情感表示詞之間的關系。在如圖1所示例句“nice beef but terrible juice.”的原始句法依賴樹實例中，方面詞“beef”和“juice”均與其情感表達詞“nice”和“terrible”相連接。

圖1 句法依賴樹實例Fig.1 Syntactic dependency tree example

建立在句法依賴樹上的圖神經網絡模型被廣泛地證明能對方面級情感分類產生顯著的積極效果，其主要原因歸功于圖神經網絡對句法依賴樹這種圖數據強大的特征提取能力。但是在該類方法中，句法依賴樹的獲取通常使用一些自然語言處理基礎工具（如spaCy、CoreNLP等），由于目前依賴信息解析性能的不完善，不可避免地產生錯誤。此外，由于方面級情感分類應用的主要領域為電商評論或社交平臺信息，此類語句存在著大量的不規范表達，在語法上具有隨意性，因此該類模型性能并不能在這些數據上獲得明顯提升。

針對上文所提出的局限性，本文提出了一個具有創新性的混合圖神經網絡模型（mixture graph neural network model，MGNM）。本文主要貢獻如下：

（1）設計了一種結合GCN 網絡和殘差圖注意力網絡（Res-graph attention network，Res-GAT）的混合模型。與現有模型的主要區別在于，該模型使用GCN 提取句法依賴樹上的句法依賴關系，然后針對目前此類模型所面臨的句法依賴樹不穩定性問題，創造性地引入Res-GAT構建詞級依賴關系作為GCN提取的句法依賴關系的補充，并且利用BiAffine模塊在L-layer GCN與Res-GAT之間進行信息交互。

（2）提出了一種應用于連通詞關系圖的Res-GAT，通過為GAT 設計獨特的殘差連接，改善了非單層GAT極易出現的過平滑問題。在Res-GAT部分，將所輸入語句中的詞作為節點，構建連通詞關系圖，然后Res-GAT中的多頭注意力機制為節點之間關系分配權值，得到詞與詞之間不同的重要性關系，以此作為GCN 提取句法依賴關系的補充參與方面詞情感極性的判斷。

（3）在Twitter[3]、SemEval2014 Restaurant、Laptop、SemEval2015 Restaurant[13]和SemEval2016 Restaurant[14]五個數據集上進行大量的實驗驗證，并與當前主流的相關工作進行比較，實驗效果證明本文模型優于相關工作。并設置了一系列的消融實驗，證明了本文模型相關設置與改進的合理性。

1 模型描述

基于混合圖神經網絡的方面級情感分類模型MGNM如圖2所示。

圖2 MGNM模型示意圖Fig.2 Schematic diagram of MGNM

在MGNM 中采用GloVe[15]和雙向長短期記憶網絡（bi-directional long short-term memory，Bi-LSTM）或預訓練BERT（bidirectional encoder representations from transformers）[16]兩種方法獲取詞向量與上下文表示。模型設置了一個L-layer GCN 獲取句法依賴信息，設置Res-GAT 構建包含單詞之間重要性關系的詞級依賴關系，然后采用Mutual BiAffine 模塊使兩種特征信息交互產生影響，最后將兩種特征拼接后作為最終特征表示。以下介紹MGNM的各組成部分與原理。

1.1 模型輸入

給定一個n個詞的句子S，表示為S={w1,w2,…,wτ,…,wτ+m-1,…,wn}，其中包含m個方面詞，τ為方面詞開始的標記。本文采用GloVe 和Bi-LSTM 或預訓練BERT 兩種方法獲取詞向量與上下文表示，下面分別對這兩種方法進行介紹。

1.1.1 GloVe與Bi-LSTM

預訓練嵌入矩陣GloVe 是由斯坦福大學發布的一個基于詞頻統計的詞表征工具。MGNM 使用GloVe 將給定句子S中的單詞映射到低維向量空間，獲取單詞的詞嵌入向量，句子S的嵌入向量表示為,N表示詞的個數，demb表示詞嵌入向量的維度。

為獲取語句的上下文信息，將句子的詞嵌入向量輸入到Bi-LSTM 網絡，Bi-LSTM 是由前向LSTM 與后向LSTM 兩個方向的LSTM 組成，將前向LSTM 與后向LSTM隱藏層輸出拼接作為輸出，因此能夠從兩個方向提取語句的上下文信息，從而構建出包含文本上下文信息的隱藏狀態向量。對于組成Bi-LSTM的LSTM，計算公式如下：

式中，et為t時刻輸入到Bi-LSTM中的詞向量，it、ft、ot分別為輸入門、遺忘門和輸出門，ct和ct-1為t時刻與t-1 時刻記憶單元狀態，ht和ht-1代表t時刻與t-1時刻LSTM 的隱藏層輸出，Wi、Wf、Wo、Wt為可訓練權重矩陣，bi、bf、bo、bt為偏差，σ代表sigmoid 函數，tanh為雙曲正切激活函數。

由于Bi-LSTM是由前向LSTM和后向LSTM組成，并將兩個不同方向的LSTM輸出拼接，計算公式如下：

通過以上Bi-LSTM對所給語句S的詞向量進行上下文編碼后，輸出隱藏狀態向量矩陣：

其中，時間步t的隱藏狀態向量表示為，dh為Bi-LSTM輸出隱藏狀態向量的維度。

1.1.2 BERT

本文使用BERT 模型生成所給語句單詞的特征表示，BERT 是Google 發布的一種預訓練語言表征模型。在該模型中將BERT 所提取的特征表示作為詞向量輸入到圖神經網絡中。為便于BERT的調整和訓練，將語句與方面詞結合成完整句子輸入到BERT中，具體形式為[CLS]+S+A+[SEP]，其中S為上下文語句，A為方面詞。輸出的上下文表示為：

1.2 MGNM

1.2.1 位置權重

受Zhang等人啟發[9]，考慮與方面詞相近的上下文詞的重要性，將輸入層輸出的HS傳遞到GCN或Res-GAT之前，為句中單詞增加位置感知變換，其目的是減少依賴解析過程中產生的噪聲與偏差。計算過程如下：

式中，F(·)代表位置感知變換函數，qi∈? 代表第i個單詞的位置權重。最終句子S的上下文表示矩陣HS經過位置感知變換后得到，向量維度不發生變化。

1.2.2 多層GCN

為獲取句法依賴特征，本文設置了一個應用于句法依賴樹的多層GCN。具體來說，首先為給定語句構建句法依賴樹（本文使用Spacy模塊獲?。?，然后根據句法依賴樹可輕易得出包含句法依賴樹結構關系的鄰接矩陣A∈?n×n,n表示所給語句包含單詞數。此外，根據GCN 的特性，為節點加入自循環可以在GCN 聚合更新節點信息，更好地保留原節點信息，因此在鄰接矩陣A中為每個節點增加自循環，將節點與自身連接，即Aii=1,i為句中第i個單詞。

圖卷積網絡是一種用于處理非結構化數據的特征提取器，對自然語言處理領域的圖結構數據處理具有很強的優勢。文中設置的l-layer GCN 可以使每個節點受到l次鄰居節點的影響。這種方法對句法依賴樹進行卷積，將句法依賴信息添加在有關詞序的文本特征上，實現句法依賴特征的匯集。

首先，將經過位置感知變換的上下文表示Hq輸入到l-layer GCN，即將節點的特征輸入到GCN 中，然后使用歸一化因子進行圖卷積運算，如下：

1.2.3 Res-GAT

GAT 是圖神經網絡結合注意力機制的一種重要變體，在節點特征聚合操作時，能夠使用注意力機制為節點之間分配重要性權值，提高網絡的表達能力。在MGNM 中將所輸入語句中的詞作為節點，構建包含連通詞關系圖，GAT負責利用多頭注意力機制對詞與詞之間分配權值，得到詞與詞之間依賴的重要性關系。下式為節點i在第l+1 層特征表達計算過程：

為進一步提升圖注意力層的表達能力和模型的穩定性，在圖注意力層加入K組相互獨立的注意力機制，然后將輸出結果拼接：

值得注意的是，在該部分首先為所輸入語句構建一個強連通圖，該圖將句中單詞作為節點，圖中每個節點都與其他節點相連接，然后獲取該連通圖的鄰接矩陣Aq∈?n×n,n表示所給語句包含單詞數。與句法依賴樹鄰接矩陣A相似，在Aq中也增加節點自循環保留節點自身信息。此外，考慮到多層GAT 極易出現過平滑問題，本文為GAT設計了獨特的殘差連接方式：

1.3 特征結合

為了使GCN 與Res-GAT 所提取的兩種特征HL∈與HL′∈充分融合并交換相關特征，模型采用BiAffine Module進行特征融合。

式中，W1與W2為可訓練權重矩陣，θ1和θ2為從HL到HL′與HL′到HL的臨時線性映射矩陣，HB為HL′到HL的映射，同樣HB′為HL到HL′的映射。

然后將HB和HB′進行平均池化：

隨后將它們進行拼接得到最終表示r：

1.4 情感分類

將最終特征表示r饋送到全連接層，隨后是Softmax歸一化層，最后產生概率分布的情感極性決策空間。

其中，dp與情感標簽維度相同，學習權重表示為Wp∈，偏置表示為。

1.5 模型訓練

本文所提出的DWGCN采用交叉熵損失和L2正則化的標準梯度下降算法訓練。

2 實驗設計及分析

2.1 實驗平臺與數據集

本實驗采用的實驗平臺信息如表1所示，所有模型的訓練與測試均在GPU上進行。

表1 實驗平臺Table 1 Experiment platform

為驗證本文提出的方面級情感分類模型的有效性，本文的實驗在Twitter數據集，以及分別從SemEval2014 task4、SemEval2015 task12 和SemEval2016 task5 中獲取的四個數據集（Rest14、Lap14、Rest15、Rest16）上進行，這四個數據集分別是來源于電商平臺對筆記本電腦和餐廳的評價。五個數據集中方面詞情感極性包括積極、消極和中性三種。本文所采用的五個數據集情況統計如表2所示。

表2 數據集信息表Table 2 Statistics for datasets

2.2 實驗設置

為探究模型的性能，在該實驗中采用了兩種輸入方式。在MGNM-GloVe 中使用300 維預訓練GloVe 模型初始化上下文得到詞向量，Bi-LSTM 的隱藏狀態向量維度也為300。在MGNM-BERT 中使用預訓練BERT模型獲取詞向量，嵌入維度為768。模型中使用Adam（adaptive moment estimation）優化器，除BERT 以外所有權重均采用均勻分布初始化方法。對MGNM的GloVe靜態嵌入與BERT 嵌入兩種方式設置了不同的學習率。此外根據最優實驗結果確定GCN與Res-GAT層數均為2，Res-GAT 的注意力頭數為3。具體實驗設置如表3所示。

表3 參數設置Table 3 Parameter settings

2.3 評估指標

為了綜合評價MGNM，采用準確度（accuracy，Acc）與宏觀平均F1值（macro average F1，MF1）作為評估指標。引入混淆矩陣，如表4所示。設各個類別都如表中所示，預測正確的樣本數為T，總樣本數為N，其中TP+FN+TN+TN=N。

表4 混淆矩陣Table 4 Confusion matrix

根據表4混淆矩陣，準確率計算方法為：

MF1計算方式為：

式中，Precision與Recall為精準率與召回率，m表示類別數。

2.4 對比模型

為了綜合評估本文所提出的基于混合圖神經網絡的方面級情感分類模型MGNM，引入了目前主流的方面級情感分類方法。其中SVM與LSTM是兩種傳統的方法，MemNet、IAN、AOA 和AEN 是基于注意力機制的方法，應用句法依賴關系的方法有LSTM+SynATT、TD-GAT、ASGCN。此外為驗證本文所提出的Res-GAT的改進優于原始GAT 的程度，在該部分實驗中創建MGNM-GAT，將Res-GAT 替換為原始GAT。本文采用的對比模型詳情如下：

SVM[17]：基于復雜特征工程的傳統支持向量機方法。

LSTM[4]：該方法使用LSTM 獲取上下文隱藏狀態向量用以方面級情感分類。

MemNet[7]：該方法提出使用外部存儲器來模擬上下文表示，并使用多跳注意力架構。

IAN[18]：該方法設計了面向方面和上下文的交互建模模型，利用Bi-RNN 和注意機制實現面向方面詞和上下文表示的交互學習。

AOA[19]：該方法提出了一個注意力集中注意網絡模型（attention-over-attention neural network，AOA），以聯合的方式建模方面和句子，明確捕獲方面和上下文句子之間的相互作用。

AEN[20]：該方法設計了一種注意力編碼網絡，用來建模上下文和特定方面之間的關系，嵌入層采用預訓練GloVe靜態嵌入。

LSTM+SynATT[21]：該方法提出了一種可以更好地捕獲方面語義的方法，并提出了一種將句法信息集成到注意機制中的注意模型。

ASGCN[9]：該方法第一次提出通過GCN 和依賴樹學習特定方面的特征表示，解決長距離多詞依賴問題。

TD-GAT[12]：該方法提出了一種新的基于目標依賴圖注意網絡（TD-GAT）的方面級情感分類方法，明確地利用了詞與詞之間的依賴關系。

2.5 實驗結果對比與分析

將MGNM 與SVM、LSTM、MemNet、IAN、AOA、AEN-GloVe、LSTM+SynATT、TD-GAT 和ASGCN 模型在Twitter、Lap14、Rest14、Rest15 和Rest16 這五個公開數據集上進行對比實驗，表5為詳細實驗結果表。表中對比模型實驗結果均來源于公開發表論文，N/A代表該項實驗結果未公開。最好的前兩項結果加粗表示。

從表5所示的對比實驗結果中可以得出以下結論：本文所提出的MGNM-GloVe在五個數據集上的準確率（Acc）和F1值優于對比模型，其中在Lap14和Rest16數據集上的表現略優于其他比較模型，在Twitter與Rest14數據集上展現出較大的提升，但是在Rest15數據集上沒有表現出值得關注的提升。使用預訓練BERT 模型獲取詞向量作為輸入的MGNM-BERT在五個數據集上均表現出明顯的改進，證明預訓練BERT模型能夠大幅提升模型的性能。

表5 對比實驗結果Table 5 Experimental results of different models 單位：%

與傳統機器學習方法進行比較，基于神經網絡的方法不依賴繁瑣的人工提取特征，更適用于方面級別情感分類。在Twitter、Lap14和Rest14三個數據集上，MGNMGloVe 相較于SVM 準確率分別有11.53 個百分點、5.43個百分點、1.98個百分點的提升。LSTM能夠利用上下文時序信息，但是缺乏方面詞與語境匹配機制，難以取得較好的性能。

與基于注意力機制的四個模型相比，MNGM 中應用于句法依賴樹上的GCN能夠明確地捕捉方面詞與上下文情感評價詞的依賴關系，構建更合理的特征表示。以AEN 為例，AEN 采用基于多頭注意力機制的編碼器對上下文與方面詞分別建模，然后通過以上獲得的編碼信息之間的交互影響得到最終特征表示。該類模型的效果取決于注意力機制是否準確地建立了方面詞與上下文情感評價詞之間的關系，但是由于句子復雜性以及注意力機制捕捉遠距離依賴關系的固有缺陷，基于注意力機制的模型難以完全捕捉句法依賴關系。對比實驗結果中也可以明顯地看出，MGNM-GloVe 較四種基于注意力機制的模型的性能有著顯著提升。

應用句法依賴關系的模型中，LSTM+SynATT方法與不考慮句法依賴關系的LSTM對比，在Lap14、Rest14和Rest15數據集上的性能表現出了顯著的提升，證明句法依賴關系對于方面級情感分類的重要性。由于句法依賴關系表現為樹狀結構，因此圖神經網絡被引入。以ASGCN為例，在ASGCN模型中應用了一個句法依賴樹上的多層GCN，由于句法依賴樹的噪聲與不穩定性，相較于其他對比模型性能提升有限。與基于圖神經網絡的ASGCN 和TD-GAT 相比，MGNM-GloVe 在Twitter、Lap14、Rest14和Rest16數據集上均有明顯的提升，尤其是在Twitter 數據集上準確率提升達到2.78 個百分點。其原因是Twitter數據集來源于社交網絡，語句的規范性不足，語法不敏感，MGNM中的Res-GAT所提取的詞級依賴關系作為句法依賴關系的補充，發揮了重大的作用。

此外，應用預訓練BERT模型的MGNM-BERT與所列出的所有對比模型相比，取得了壓倒性的實驗結果，證明了BERT提升模型性能的優勢。

2.6 模型分析

為驗證MGNM 中將GCN 與Res-GCN 結合的有效性，在該部分實驗中去掉Res-GCN，僅保留GCN 建立MGNM-GCN；去掉GCN，建立MGNM-RGAT；將Res-GAT替換為原始GAT，建立MGNM-GAT模型。以上三種模型使用GloVe輸入方式，在Twitter、Lap14和Rest14三個有代表性的數據集上進行實驗，實驗結果如表6所示。

表6 消融實驗結果Table 6 Results of ablation experiments 單位：%

從表6 中可以看出，MGNM 在準確率與F1 值兩個指標上均高于MGNM-GCN 與MGNM-RGAT，表明MGNM性能與穩定性均優于以上兩個消融模型。從實驗結果來看MGNM-GCN 在Lap14 與Rest14 數據集上實驗結果優于MGNM-RGAT，但是在語法不敏感的Twitter數據集上，MGNM-RGAT不依賴句法，使用注意力機制獲取單詞之間的關聯程度，因此表現優于MGNMGCN。同時表6 所示，MGNM-GAT 的準確率（Acc）和F1 值相較于MGNM 有所下降，證明了Res-GAT 改善GAT過平滑問題的有效性。

3 結束語

為了降低句法依賴樹的噪聲以及文本語法不規范表達給方面級情感分類帶來的不利影響，本文提出了一種基于混合圖神經網絡的情感分類模型。該模型首先采用了GloVe+Bi-LSTM 與BERT 兩種方式獲取文本的上下文表示編碼，隨后加入位置編碼突出與方面詞距離較近上下文單詞的重要性；然后通過一個l-layer GCN獲取方面詞與上下文單詞的依存關系，并通過Res-GAT獲取單詞之間重要性關聯；最后使用特征融合模塊將GCN 與Res-GAT 的輸出相互施加影響并進行拼接，將拼接后的最終特征表示用于方面級情感分類。在五個數據集上的實驗證明了MGNM的有效性。本文所提出的模型緩解了句法依賴樹的噪聲以及語法不規范性對情感分類任務的影響，下一步將深入研究修剪句法依賴樹降低噪聲，并利用不同句法依賴關系進行情感分類。