基于AWI和GCN的方面級情感分類模型

王 澤，孔韋韋，薛佳偉，平 穩，李 龍

1.西安郵電大學，西安 710121

2.陜西省網絡數據分析與智能處理重點實驗室，西安 710121

3.桂林電子科技大學，廣西 桂林 541004

4.廣西可信軟件重點實驗室，廣西 桂林 541004

情感分析是人們對服務、事件、產品、話題及其屬性的觀點、情緒和態度的研究，當今世界社交媒體發展迅速，情感分析也成為了自然語言處理領域的一項基礎任務[1]。情感分析根據其對文本的研究粒度可以分為篇章級情感分類、句子級情感分類和方面級情感分類三種，其中方面級情感分析由于其文本粒度小，在一句話中能夠更準確地判斷在不同方面的情感極性，成為了情感分析領域中一個重要研究方向[2]。例如：“Waiters are very friendly and the pasta is simply average”，該評論中存在兩個方面詞“waiters”和“pasta”，情感極性分別是積極和中立，其對應的觀點詞分別是“friendly”和“simply average”。方面級情感分類在各個行業都很有前景，如在電子商務領域，電商可通過分析用戶的商品評論，快速深入剖析用戶的消費習慣和個人偏好[3]；通過對網絡評論的檢測，可以迅速得到民眾對于某項政策的態度或者某件熱點話題的看法[4]。

早期的情感分析方法主要是依賴統計方法建立情感詞典[5]，將情感詞典作為情感分析的基礎，但是無論人工構建還是自動構建情感詞典，都存在只能針對一個領域，對于跨領域情感分析的效果不夠好，并且詞典中的情感詞的豐富度低，對于長文本難以判斷其情感極性。目前，隨著機器學習的快速發展，尤其是深度學習的發展[6]，方面級情感分類研究方法主要是基于深度學習開展。Tang等[7]直接將句子輸入到長短期記憶網絡（long short-term memory，LSTM）[8]中提取情感特征，但忽略了方面詞對情感特征提取的影響，提取到的情感特征是整個句子的情感特征，得到的結果不是方面詞的情感；為了彌補上面忽略方面詞的問題，隨后Wang等[9]提出了基于注意力機制[10]和LSTM的分類模型，使用注意力機制去捕捉方面詞對情感特征判別的影響，實驗結果相對之前模型有一定的提升，體現了方面詞對情感判別的重要性；Ma等[11]為了進一步加強方面詞與上下文的聯系，且考慮到方面詞可能是由好幾個單詞構成的短語，提出了基于注意力機制將方面詞與上下文進行交互，該模型基于LSTM分別提取方面詞和上下文的信息得到初始表征，再經過一層池化層，利用注意力機制完成兩者的交互，得到最后的情感表征，實驗結果表明該模型效果有較小提升，由于方面級情感分類數據少、訓練集小，模型效果無法得到進一步的提升；Fan等[12]提出了一種多粒度注意力網絡（multi-grained attention network，MGAN），其模型采取細粒度注意力機制和粗粒度注意力機制結合，彌補了以往粗粒度注意力機制在上下文和方面詞很長時引入的額外損失；Li等[13]將卷積神經網絡（convolutional neural network，CNN）引入到方面級情感分類中，使用CNN來代替注意力機制去提取上下文和方面詞語義相關性；Wei等[14]提出一種基于門控機制的可并行訓練的CNN模型，用于解決以往LSTM結合注意力機制這類模型過于復雜且參數較多，訓練起來比較費時的問題；Chen等[15]認為文檔級的語義對于方面級情感分類的判別有所幫助，通過在句子級和方面級兩個粒度下搭建語義膠囊，提出了一種遷移膠囊網絡模型（TransCap），但該模型忽略了文本中潛在的句法關系；Zhang等[16]首次將圖卷積神經網絡（graph convolutional network，GCN）應用到情感分析任務中，其利用句法依賴關系提出了一種特定方面圖卷積網絡（aspect-specific graph convolutional network，ASGCN），其首先利用雙向長短期記憶網絡（bi-directional long short-term memory，Bi-LSTM）提取上下文信息，利用多層圖卷積網絡和掩碼機制提取方面詞信息，將非方面詞的情感特征過濾掉，最后使用注意力機制得到情感特征用于情感預測，取得了不錯的效果；Zheng等[17]為了更加充分地利用句子中的語法信息，提出了一種可以在句法依存樹隨機復制游走的方法，去更好地提取句子的信息上下文特征，能在方面級情感分類中取得較好的效果；Lu等[18]利用LSTM獲取序列信息，使用多跳端到端記憶網絡獲取方面詞的分類特征，著重考慮語句中各方面項之間的聯系，最終結合注意力通過Softmax進行情感分類，分類效果較之前提出的模型有一定的提升；Zhang等[19]提出了一種利用語料庫級別的單詞共現信息和不同類型句法依存關系的新穎體系，建立了層次句法圖和層次詞匯圖，通過雙層GCN融合句法與詞匯圖，提出了一種雙層圖卷積網絡BiGCN（bi-level graph convolutional network），該模型對于句法依存信息的利用比較充分，但忽略了方面詞與上下文的交互信息；Chen等[20]首次提出對象的潛在圖結構，提出了三種方法來獲取潛在圖結構，之后采用圖卷積網絡來融合潛在圖，以補充原始句法依存樹的不足，在公開的三種數據集上取得了不錯的性能。

綜上所述，為了在方面級情感分類任務中取得更好的效果，本文提出一種基于方面詞交互（aspect word interaction，AWI）和GCN的方面級情感分類模型AWIGCN，充分利用GCN的優點根據句法依存樹將句中的語法信息融合到上下文的語義信息中，再通過注意力機制學習上下文與方面詞之間的交互信息，達到提高情感判別效果的目的。

1 AWI-GCN模型

本文提出的AWI-GCN模型主要由詞嵌入層、語義提取層、句法提取層、句法融合層、池化層、信息交互層以及情感分類層構成，模型的總體架構如圖1所示。

圖1 AWI-GCN模型總體架構圖Fig.1 Overall architecture diagram of AWI-GCN model

1.1 詞嵌入層

對于給定長度為m和n方面詞t={wt1,wt2,…,wti,…,wtm}與上下文s={ws1,ws2,…,wsj,…,wsn}，其中方面詞可以為短語或者一個單詞。將方面詞和上下文中的每個單詞映射到低維向量空間，文本嵌入使用預訓練詞典GloVe[21]，嵌入矩陣為M∈?v×dw，其中v為預訓練詞典中單詞的數量，dw為做詞嵌入時的維度。對于t和s中的單詞wti或wcj都有對應的詞向量vit或vcj，故方面詞的詞嵌入向量為；上下文的詞嵌入向量為s={v1s,v2s,…,vsj,…,vns}，s∈?n×dw。

1.2 語義提取層

對于序列的學習，循環神經網絡（recurrent neural network，RNN）具有出色的表現，而LSTM是RNN的一種變體，其利用門控機制可以克服傳統RNN的長距離遺忘問題，能有效地利用距離較遠的文本信息，并且因為其網絡自身的結構在一定程度上也緩解了傳統RNN存在的梯度彌散和梯度爆炸的缺點。因為上下文信息的表示對于最終情感判別有著重要的影響，原始的LSTM為單向網絡，其網絡實際只利用到了“上文”的信息，忽略了“下文”的有效信息，而Bi-LSTM作為原始LSTM的拓展，結合了一個逆向的LSTM，使得網絡能夠從文本的兩端都能夠處理信息，將雙向的網絡輸出拼接得到隱藏層特征，彌補了原始LSTM的不足，所以本文使用Bi-LSTM提取上下文的語義特征，LSTM結構如圖2所示。

圖2 LSTM結構圖Fig.2 LSTM structure diagram

設t時刻的輸入詞嵌入向量為vt，則LSTM的計算公式為：

式（1）中，ft、it和ot分別代表LSTM門控機制中的遺忘門、輸入門和輸出門，σ是Sigmoid激活函數，tanh是雙曲正切函數，W*為權重矩陣，b*為偏置項，Ct-1和Ct是記憶細胞在t-1和t時刻的狀態，ht-1和ht是LSTM在t-1和t時刻的輸出。

因為Bi-LSTM是由一個正向LSTM和反向LSTM構成，最后的結果為兩者結果的拼接，故Bi-LSTM的計算公式如下：

式（2）中ht,f為正向LSTM在t時刻的輸出，式（3）中ht,r為反向LSTM在t時刻的輸出，將ht,f與ht,r進行拼接得到式（9）中的ht，即Bi-LSTM的最終輸出。

將方面詞和上下文的詞嵌入向量分別通過Bi-LSTM，得到方面詞的隱層表示Ht和上下文隱層表示Hc：

其中，Ht∈?m×2dh，Hc∈?n×2dh，dh為Bi-LSTM的隱層狀態維度。

1.3 句法提取層

方面級情感分析與一般的情感分析不同，在于從方面的角度去判斷情感極性，為了充分利用上下文中的句法信息，更好地判別方面詞情感，本文為上下文文本搭建句法依存樹，樹是特殊的圖，使用G=(V,E)保存句法依存樹，V是句中所有節點的集合，即句中所有詞的集合，E是句中所有邊的集合，即句中所有詞與詞依存關系的集合。以“The battery is very longer”為例，根據句法依存樹構建的鄰接矩陣如圖3所示。

圖3 句法依存樹及其鄰接矩陣Fig.3 Syntactic dependency tree and its adjacency matrix

對于鄰接矩陣A，根據句法依存關系，若兩節點之間存在依存關系，則賦值為1：

若不存在關系，則賦值為0：

根據Kipf和Welling[22]提出的自循環思想，即每個詞都應與它自身鄰接，于是設置矩陣對角線元素的值為1：

最后由式（7）～（9）可得到鄰接矩陣A，A∈?n×n，n為上下文長度。

1.4 圖卷積融合層

將Bi-LSTM輸出的上下文隱層表示Hc與其對應的鄰接矩陣A輸入到L層GCN中，利用GCN對節點進行圖卷積，通過鄰接矩陣將句法依存信息融入到節點，得到特征hic_l，計算方法如下：

故在經過L層GCN后，可以得到融合了語法依存信息的上下文信息特征表示Hc_L，Hc_L∈?n×2dh：

1.5 池化層

為進一步抽取方面詞的特征，本文對Bi-LSTM的輸出Ht=[h1t,h2t,…,htm]做平均池化操作得到Ht_avg：

1.6 信息交互層

考慮到方面詞對上下文的影響，本文以融合了句法依存信息的上下文信息特征Hc_L和方面詞的平均表征Ht_avg作為注意力機制的輸入，利用注意力機制去學習方面詞與上下文之間的交互信息，并且為對情感判別做出貢獻的單詞根據其重要程度分配不同的權重。其權重計算方式如下：

其中，γ是得分函數，為上下文hic_L根據其重要性打分，HtT_avg是Ht_avg的轉置，αi為待分配權重，Wa和ba分別是權重矩陣和偏差項。

根據待分配權重αi，可以獲得最終的上下文表示η，計算公式如下：

1.7 情感分類層

將得到的上下文表示η作為情感判別的最終特征，通過一個線性層將η映射到一個與預設情感極性空間維度C相同的空間中：

式（17）中，Wx和bx分別是權重矩陣和偏差項。

最后，使用Softmax函數取最大概率去預測情感極性：

式（18）中，yi∈?C，C是情感種類數量。

本文模型訓練采用交叉熵損失函數和L2正則項：

式（19）中，yi為實際情感極性，yi為預測情感極性，λ為L2正則化系數，θ是模型需要訓練的參數。

2 實驗結果及分析

2.1 實驗環境與數據集

實驗在Windows10系統上進行，電腦CPU型號為Intel?Core?i5-6400，深度學習框架為Pytorch1.6.0，編程語言使用Python3.8，使用CUDA10.1加速計算，詳細實驗環境如表1所示。

表1 實驗環境及配置Table 1 Experimental environment configuration

本文數據集采用TWITTER數據集、SemEval2014任務4中的LAP14數據集和REST14數據集，共計三個公開數據集，情感極性分為積極、中立、消極三種，各數據集的情感極性分布如表2所示。

表2 數據集統計信息Table 2 Data set statistics

2.2 實驗參數

本文的上下文和方面詞使用GloVe預訓練好的詞向量進行初始化，對于沒有在GloVe詞典中登錄的詞語，使用均勻分布對其隨機初始化，詞向量的維度設置為300，LSTM的隱藏層神經單元個數設置為300，GCN層數設置為兩層，單次訓練樣本數Batch Size設置為32，為加快模型收斂使用Adam優化器，學習率設置為10-4。模型訓練中，為防止過擬合現象，使用Dropout和L2正則項緩解，此外引入Early Stop，損失函數使用基于L2正則項的交叉熵損失函數，模型權重使用均勻分布初始化，具體參數如表3所示。

表3 參數設置Table 3 Parameter settings

2.3 評價指標

本文采用分類任務常用的評估標準，預測準確率（accuracy，Acc）和Macro_F1值作為模型評價指標，預測準確率是預測正確樣本數T與總體樣本數N之比，Macro_F1值是對各個情感類別的F1值取平均值，F1值是召回率和精確率的調和平均。TN為預測正確的負樣本數目，FN為預測錯誤的負樣本數目，TP為預測正確的正樣本數目，FP為預測錯誤的正樣本數目，則預測準確率和Macro_F1值計算公式如下：

式（20）～（25）中，P為精確率，R為召回率，C為情感類別種類，本文共有情感共有3類，故C的值為3。

2.4 對比實驗與結果分析

在同等實驗環境下，本文與以下基線模型進行對比，驗證AWI-GCN模型的有效性：

（1）LSTM[7]：標準LSTM網絡，將上下文編碼輸入到LSTM中，將隱層輸出作為最終情感判別特征。

（2）AT-LSTM[9]：對上下文編碼，輸入到LSTM中提取語義信息，用注意力機制進一步突出對情感判別有幫助的特征，再進行情感判別，忽略了方面詞對于情感預測的影響。

（3）ATAE-LSTM[9]：以AT-LSTM模型為基礎，在上下文編碼時，將方面詞編碼嵌入到上下文編碼中，輸入到LSTM中，使用注意力機制分配權重，得到最終的情感特征進行判別。

（4）IAN[11]：該模型分別對上下文和方面詞進行編碼，兩者使用注意力機制進行交互，融合上下文對方面詞和方面詞對上下文的影響，最終做連接作為最終的情感特征。

（5）ASCNN：Kim等[23]將CNN與NLP結合，使用基礎的CNN來抽取語義信息，將與訓練好的詞向量作為輸入，結論證明即使是對原始CNN的參數不作大幅度的調整，在語義抽取方面，CNN也具有天生的優勢。

（6）ASGCN[16]：使用GCN根據句法依存樹以及掩碼機制得到方面詞的表征，再根據注意力機制對權重重新分配，使用Softmax進行情感分類。

（7）TranCaps[15]：在膠囊網絡上使用遷移學習將文檔級的語義信息融合到方面級中，以增強方面級的情感分類。

（8）CDT：Sun等[24]使用GCN和依賴樹來拉近句子方面詞與觀點詞之間的距離，模型的輸入為字嵌入的依賴樹，通過雙向LSTM學習上下文的信息，再通過GCN進一步增強嵌入，通過一層池化層得到情感特征。

（9）RepWalk[18]：在依存樹中引入隨機游走的方法，激活方面詞在樹中的邊，給予方面詞更大的權重，建立雙層語義膠囊網絡通過路由機制來進行情感分類。

（10）BiGCN[19]：使用雙層圖卷積神經網絡融合層次句法圖和層次詞匯圖，充分利用單詞之間的句法信息，之后再結合單詞共現信息對情感進行分類。

（11）depGCN[20]：Chen等提出了依賴于對象的潛在圖結構，采用自注意力方法，以句子編碼層的輸出作為輸入，得到潛在圖結構，通過圖卷積網絡和門控機制來進一步完善原始句法信息。

AWI-GCN模型與以上代表基線模型在3個公開數據集上的詳細對比結果如表4所示，N/A代表未取得實驗結果。

從表4中的數據對比，AT-LSTM相較LSTM，在三個公開數據集上準確率Acc分別提升1.91、2.47、2.23個百分點，Macro_F1分別提升了1.87、2.30、1.09個百分點，可見注意力機制進一步提取重要情感特征對于情感判別的幫助；ATAE-LSTM在AT-LSTM的基礎上將方面詞編碼信息與上下文編碼連接，初步將方面詞編碼信息與上下文聯系起來，在TWITTER和REST14數據集上分別提升了0.24、0.69個百分點，簡單的連接未能有效地利用方面詞對于情感預測的作用；而IAN模型進一步地考慮到了方面詞與目標的交互，相較于ATAE-LSTM在三個公開數據集上，準確率Acc分別提升了3.85、3.35、2.06個百分點，Macro_F1分別提升了4.28、3.45、3.07個百分點，可見將上下文與方面詞的交互信息融合到模型之中，效果提升是相當高的，進一步體現了方面詞與上下文之間的交互信息的重要性，但IAN忽略了句法依存信息的利用；對比ASCNN與ASGCN，可見在三個數據集上ASGCN的平均表現較ASCNN好，GCN在語義抽取方面較CNN好，ASGCN使用GCN將句法依存關系融合到上下文信息中，相較于ATAE-LSTM準確率Acc分別提升了2.88、5.44、3.66個百分點，Macro_F1值分別提升了3.15、5.31、5.17個百分點，可見將句法信息融入到上下文信息之中，對于情感預測的提升是非常有用的；模型AWI-GCN相較于ATAEA-LSTM在三個公開數據集上準確率Acc分別提升4.33、6.22、4.42個百分點，Macro_F1值分別提升了4.87、6.53、6.49個百分點，原因在于AWI-GCN同時考慮到了方面詞與上下文之間的交互信息，并且充分的利用了句法信息；相較于IAN模型，準確率Acc分別提升了0.48、2.87、2.36個百分點，Macro_F1值分別提升了0.59、3.08、3.42個百分點，因為IAN模型考慮到了方面詞與上下文之間的相互影響，但忽略了句子中的語法信息；對比TranCaps模型，在LAP14和REST14數據集上，準確率Acc分別提升了1.05、2.07個百分點，Macro_F1值分別提升了0.36、2.10個百分點，說明將文檔級信息融入方面級中，其效果不如去融合句法信息和學習方面詞交互信息；相較于CDT模型，準確率Acc分別提升了0.24、0.54、1.14個百分點，Macro_F1值在TWITTER和REST14數據集上分別提升了0.87、1.47個百分點，在LAP14數據集上低于CDT模型0.52個百分點，兩模型均使用了GCN來融入句法信息，但AWI-GCN模型還是在準確率方面略有提升，說明方面詞與上下文之間的交互信息在情感判別方面仍然發揮了一定的作用，而CDT模型融合了句法、位置、詞性等多方面信息，在LAP14數據集上Macro_F1值比AWI-GCN略顯穩定。RepWalk采用隨機游走的方式為方面詞增加權重，相當于從另一方面來增強方面詞與上下文之間聯系，但沒有考慮到句子中的語法信息，其在三個公開數據集上比AWI-GCN模型有所落后，在準確率Acc分別落后0.85、0.82、0.70個百分點，Macro_F1值分別落后0.40、0.45、2.20個百分點，在REST14數據集上該模型性能較差，因為REST14數據集中樣本長度差距較大，產生的依存樹結構差距大，對于在依存樹上的隨機游走方法有一定的限制；BiGCN與depGCN模型在三個公開數據集上的性能相差不大，兩者均充分利用了句法信息，用不同的方式對原始的句法信息進行彌補，但兩者均沒有考慮方面詞與上下文的交互信息，AWI-GCN在考慮相互信息的情況下，在前兩個數據集上準確率Acc比BiGCN提升了0.92、0.60個百分點，Macro_F1值兩者相當，在REST14數據集上兩模型性能相當；AWIGCN相比于depGCN在三個公開數據集上準確率Acc分別提升0.87、0.13、0.95個百分點，Macro_F1值在前兩個數據集相差較小，REST14數據集提升1.62個百分點，AWI-GCN在REST14數據集上比depGCN更為穩定。綜上，AWI-GCN模型在方面級情感分析任務中是比較有效的，其語法信息的融入和方面詞與上下文交互信息的學習，都對情感判別效果的提升起到了一定的作用。

表4 模型測試結果Table 4 Test results of models 單位：%

2.5 消融實驗設計及結果

為進一步探究模型AWI-GCN的有效性，進行消融實驗，研究影響實驗結果的獨立因素。

2.5.1 模型分解對比

為驗證GCN融合句法信息的有效性，對方面詞和上下文建模，不使用GCN將句法信息融入上下文中，而讓Bi-LSTM上下文隱層輸出與方面詞做交互，建立AWI模型；為驗證上下文與方面詞之間交互信息對于實驗結果的影響，不再進行上下文與方面詞在注意力機制上的交互，而是讓上下文與方面詞分別建模，提取方面詞內容（aspect word content，AWC），再通過池化進一步抽取特征，上下文通過GCN融合句法信息后通過注意力機制，將得到的結果拼接進行情感分析，建立AWC-GCN模型，各模型在三個公開數據集上的詳細結果如表5所示。

表5 不同模型實驗結果對比Table 5 Comparison of experimental results of different models 單位：%

對比表5中三個模型在不同數據集上的準確率Acc和Macro_F1值，可以看到AWI的效果在三個模型中最差，原因在于其未融合句法依存信息；模型AWC-GCN融合了句法依存信息，并初步考慮了方面詞對情感判別的影響，其在TWITTER數據集上的準確率與AWI-GCN相當接近，然而AWC-GCN忽略了方面詞與上下文之間的交互信息，效果遜于AWI-GCN；AWI-GCN同時融合了句法依存信息，并考慮到了方面詞與上下文之間的交互信息，故在三個模型中AWI-GCN表現最好，該組對比實驗體現了AWI-GCN的有效性。

2.5.2 GCN層數對實驗效果的影響

為探究GCN層數對于實驗效果的影響，本文在LAP14數據集上設置不同的GCN層數去觀察實驗結果，詳細實驗結果如圖4所示，圖4橫坐標為GCN的層數，縱坐標為準確率Acc或者Macro_F1值?？梢杂^察得到，當GCN層數為2時，模型在準確率和Macro_F1值上得到最好的效果，這也說明本文將GCN層數設置為2是合理的，隨著GCN層數的增加，模型參數也隨之增多，模型訓練變得愈加困難，模型性能也逐漸回落。

圖4 不同GCN層數的實驗結果Fig.4 Experimental results of different GCN layers

3 總結

本文提出一種基于方面詞交互和GCN的方面級情感分類模型AWI-GCN，模型首先使用預訓練好的情感詞典做方面詞與上下文的詞嵌入，通過Bi-LSTM提取上下文與方面詞信息，根據句法依存樹將句法依存信息融入到上下文信息中，利用注意力機制讓上下文信息與池化后的方面詞信息做交互，學習方面詞與上下文之間的交互信息，最后對提取到的情感特征做情感判別。通過在三個公開數據集上與其他基線模型的對比和消融實驗，證明了AWI-GCN模型的有效性。但方面詞與上下文之間的交互信息，學習的還不夠徹底，下一步工作將研究如何在句法依存樹上拉近方面詞與重要情感特征的距離，進一步提高情感判別的準確率。