基于漸進增強與圖卷積的方面級情感分析模型

摘 要：方面級情感分析的任務目標是對評論中的特定方面詞情感極性的判別，近年來的大多研究方法都采用句法依存樹結合圖卷積網絡來構建模型，但是對句法依存結構的使用過于直接且忽略了在生成樹是伴隨的噪聲影響，因此提出了一種漸進增強結合雙向圖卷積模塊的情感分類模型（PCB-GCN）。首先，設計漸進增強算法來獲取更加特異性的句法依存樹，利用BiLSTM來提取語義，同時針對不同方向的句法圖結構采用雙向圖卷積模塊進行特征提取，最后將句法特征與上下文語義通過協同融合網絡結合起來進行最終分類。模型在多組公開數據集上進行了實驗，均取得了相比目前基線模型更好的效果。

關鍵詞：圖卷積； 漸進增強； 句法依存樹； 協同融合

中圖分類號：TP391.1 文獻標志碼：A

文章編號：1001-3695（2022）07-018-2037-06

doi：10.19734/j.issn.1001-3695.2022.01.0005

基金項目：國家自然科學基金資助項目（17XXW005，62141201）

作者簡介：齊嵩喆（1995-），男，黑龍江克山人，碩士研究生，主要研究方向為自然語言處理；黃賢英（1967-），女（通信作者），重慶人，教授，碩導，碩士研究生，主要研究方向為深度學習（wldsj_cqut@163.com）；孫海棟（1997-），男，四川成都人，碩士研究生，主要研究方向為大數據輿情監測；劉嘉艷（1997-），女，重慶人，碩士研究生，主要研究方向為應用經濟.

Aspect based sentiment analysis with progressive enhancement and graph convolution

Qi Songzhea，Huang Xianying^a?，Sun Haidonga，Liu Jiayanb

（a.College of Computer Science amp; Engineering，b.College of Economics amp; Finance，Chongqing University of Technology，Chongqing 401320，China）

Abstract：The purpose of aspect-level sentiment analysis is to determine the sentiment of specific aspect words in a sentence.In recent years，many methods have adopted syntactic dependency tree combined with graph convolutional network modeling.But the use of syntactic dependency structures is too direct and ignores the noise effect that accompanies the spanning tree，which limits the use of syntactic relations.This paper proposed an emotional classification model （PCB-GCN） with progressive enhancement combined with a bidirectional graph convolution module.Firstly，it designed a progressive enhancement algorithm to obtain richer syntactic relations，used Bi-LSTM to extract semantics，and used bidirectional graph convolution module for feature extraction for syntactic graph structures in different directions.Finally，it combined the syntactic features and context semantics through a collaborative network，combined them for the final classification.The model has been tested on multiple public data sets，and all have achieved better results than the current baseline model.

Key words：GCN；progressive enhancement；dependency tree；collaborative integration

方面級情感分析ABSA（aspect-based-sentiment-analysis）是自然語言處理領域（natural language processing）的一項重要分支^［1］。其任務是根據方面詞特征信息以及上下文語義來判斷每個方面的情感極性。例如評論“It has a bad memory but a great battery life.”蘊涵了兩個方面的情感信息，其中方面詞分別為“memory”和“battery life”，對應的情感極性分別為消極和積極。通常情況下在一句文本中含有多個方面詞，每個方面詞的情感極性也不盡相同。

1 相關工作

本方面級情感分析在各個領域都有著重要的作用。在政府領域，通過輿情監測快速準確地識別群眾對于重大事件的情緒傾向；在商業領域，通過各種金融大數據平臺分析用戶對公司股票不同階段的情感傾向，在一定程度上預測股票的走勢；在推薦領域，通過分析商品的評論可以了解用戶的潛在興趣，從而設計更加精確的推薦算法，促進平臺獲利。

如今大多數方面級情感分類的研究都是基于神經網絡展開的。Kim^［2］將CNN（convolutional neural network）用于情感分類任務，證明了在圖像領域廣為應用的CNN在NLP領域同樣具有可觀的作用。Chen等人^［3］為了更好地捕捉復雜的上下文特征使用循環神經網絡（recurrent neural network），Dong等人^［4］在RNN的基礎上提出了自適應的循環神經網絡ADRNN（adaptive recursive neural network）以增強RNN的上下文表示，Wang等人^［5］則提出一種結合詞向量的LSTM（long-short-term-memory）神經網絡，LSTM作為RNN的改良網絡，能夠有效地解決梯度消失和梯度爆炸的問題，通過接收詞序列信息保留文本中詞語的依賴關系。隨后人們將注意力機制運用到ABSA任務的過程中，Ma等人^［6］提出了一種交互式的注意力網絡，同時考慮上下文和方面詞的關系，通過注意力機制分別獲取方面詞與上下文之間的重要性表示，從而利用帶有權重的特征來判斷方面詞的情感極性。為了降低單層注意力機制對于權重學習的不確定性，Tang等人^［7］提出使用深層次的注意力網絡來獲取更加明確的情感特征信息，盡管以注意力為基礎的神經網絡模型在多組數據集上均取得了不錯的效果，但是由于缺乏句法依賴關系，在方面詞較多的句子中注意力機制往往以為忽略詞語在句法表示，導致權重分配錯誤。例如在“great food but the service was dreadful”中，在判斷方面詞“food”的情感極性時，由于缺乏依賴關系的表示，注意力機制容易將權重分配給“dreadful”。Li等人^［8］建立基于注意力機制的CNN用于該類任務，以彌補注意力機制的不足，但是CNN只能在單詞序列上進行運算，難以捕捉不相鄰詞語所表達的修飾關系；He等人^［9］提出將句法依存樹信息引入到語義建模當中來增強模型的語義結構理解能力，但是未能充分地利用句法信息；文獻［10］提出將圖卷積網絡（graph convolutional network，GCN）應用到文本分類任務中，GCN是一種可以整合圖類結構中鄰居節點信息的多層網絡結構，在NLP領域能有效地處理依存圖信息從而起到語義融合的作用，而且與只能捕捉連續詞語之間關系的CNN相比，GCN可以擺脫詞語序列位置的束縛，來獲取更深層次的語義關系。Zhang等人^［11］將圖卷積結合句法依存樹（syntactic dependency tree）應用到關系抽取中，有效地提升了模型的準確性。文獻［12］以GCN和句法依存樹為基礎建模，同時增加了位置編碼和遮掩機制，并且設計針對于方面詞的特殊注意力網絡應用于ABSA任務，取得了顯著的效果。但是由于輸入語句的偶然性和解析句法依存樹的性能不夠完善，純粹的句法依存樹對于模型的提升有限，Tang等人^［1］提出一種利用圖結構在增強表示的并列改進transformers網絡結構來降低依存圖中噪聲的影響，但是沒有考慮依存圖的邊信息影響。文獻［13，14］分別提出了結合句法增強和交互注意力機制的模型結構，但是對句法依存樹噪聲的影響都沒有過多處理。Li等人^［15］提出了一種基于雙通道的方面級情感分析模型，在一定程度上降低了由于輸入偶然性和噪聲對于分類結果的影響。因此，本文為了彌補上述研究的不足，提出了一種基于漸進增強與協同融合的圖卷積神經網絡（progressive collaborative bidirectional-graph convolutional network，PCB-GCN），用以提升在方面級情感分析任務上的表現。首先，利用Bi-LSTM網絡提取句子的上下文表示，考慮到不同詞語的句法依存關系對于分類結果的影響是不同的，提出基于單詞位置關系的漸進增強算法對依存圖中的邊進行賦權，使得與方面詞具有不同句法關系和位置關系的詞語獲得不同的權重，彌補了圖卷積對整合長距離語義信息的劣勢；然后利用雙向圖卷積模塊來融合句法依存關系和上下文信息，從而提升圖卷積的特征提取效果；為了降低由于句法依存樹構造不準確所產生的噪聲影響，利用協同融合機制將上下文表示和附帶依存圖信息的語義表示結合起來，生成帶有漸進權重增強的上下文語義信息，再經過softmax分類器獲取最終的分類結果。

2 PCB-GCN模型

本文PCB-GCN模型結構如圖1所示，模型可以分為詞向量嵌入層、上下文語義提取層、漸進權重增強層、雙向圖卷積網絡層、協同融合網絡層以及最后的情感分類層。

2.3 漸進權重增強層

在自然語言中，每個單詞不但有實際表達的含義，還代表著一定的句子結構成分，句法依存樹表示這些結構成分之間的依存關系。通過引入句法關系，可以有效地縮短單詞與單詞之間的距離，從更深層次的角度來為語義提供結構支撐，進而提升模型對于語義的理解能力。依存樹通常以圖的形式來表示，每一句話用包含n個節點的圖G來表示，其中節點表示單詞，邊代表詞與詞之間的依存關系，在前人的研究中通常使用0和1來表示節點之間的關系，或者以固定的系數來增強與方面詞有依存關系的節點權重。但是往往不同單詞之間的依存關系對模型情感極性的判斷貢獻度存在差異性，這里分兩種情況考慮，首先與方面詞是否有直接依存關系。其次，與方面詞存在依存關系在物理位置上的差異，因此提出漸進式權重增強算法來強化句法結構信息。對于任意一句話的依存矩陣A∈n×n，其中n代表單詞的個數，通過以下方式來構造漸進增強矩陣 ，對于方面詞對應下標的行元素和列元素，按照以下算法進行漸進權重增強：當詞語位于方面詞左側和右側時分別附加權重。

轉換函數可以表示為A′=C×A×C，其中：m為表示方面的單詞個數，τ表示方面詞的起始下標。

2.4 雙向圖卷積網絡層

圖卷積是一種能夠有效整合圖結構信息的神經網絡，通過圖卷積來引入句法依存樹特征信息是近年來方面級情感分析相關研究常用的方法，由于通常的圖卷積模型在處理依存樹時存在特征丟失和方向信息不明確的問題，本文模型提出一種帶有殘差的雙向圖卷積網絡（BR-GCN）。雙向能保證句法依存特征的完整性，殘差結構能保證在層數增加時特征的完整性，通過BR-GCN可以對漸進增強后的句法依存樹做正反雙向的特征提取，再將兩者的結果相連接，該網絡層結構如圖2所示。

具體的公式表示為

其中：l代表雙向圖卷積的層數；Wl是可訓練的權重矩陣；bl是正則項；A′in和A′out分別表示由句法依存圖獲得的正向和反向句法依存矩陣；對應的hlout和hlin分別表示圖卷積網絡輸出的正反向結果，隨后將雙向的結果矩陣相連接并通過線性變換獲得第l層BiGCN的輸出雙向句法特征向量hl、h⁰， 則由BiLSTM網絡輸出的上下文向量代替，norm代表正則化網絡層，此處與transformers網絡類似，選用layer normalization最終的BiGCN表達式為

2.5 協同融合網絡層

為了降低由于輸入的偶然性和生成句法依存樹時固有的噪聲影響，本文受多模態分類系統的啟發，將其中一部分的結合方式進行改進，提出一種適用于方面級情感分析的協同融合網絡層，將語義提取層得到的上下文特征向量和句法語義向量輸入到協同融合網絡層中進行特征融合，融合方式如圖3所示。

首先計算協同矩陣F：

2.6 池化分類層

在協同融合網絡層上方通過最大池化的方式來獲得分類特征向量。本文選擇方面詞位置所對應的向量進行池化，其余位置的向量則忽略不計，因為向量到達該層網絡時已經融合了上下文時序特征以及句法語義特征，通過局部的進行池化可以有效地降低噪聲的影響。再將池化后的向量輸入到softmax中進行最終的極性分類。具體的計算公式為

其中：f代表最大池化函數，對每句話中的方面詞對應向量進行計算；Wf和bf均為可訓練參數；表示極性分類的概率分布。

2.7 損失函數

本文采用多分類通常使用的交叉熵損失函數，并且引入了L2正則化，具體的函數表達式如下：

loss=-∑（d，yp）log（Pyp）+λ‖θ‖2（14）

其中：yp代表情感極性的輸出集合；Pyp代表對應類別的預測值；D代表整個數據集；評論文本和方面詞以句子對的形式輸入到模型中，即（d，yp）；λ代表L2正則化的系數。為了防止過擬合，本模型也采用了被廣泛使用的dropout技術。

3 實驗部分

本文實驗在五組公開數據集上進行，其中一組是由Dong等人^［16］建立的Twitter短文本評論數據集，其余四組分別是來自于SemEval 2014任務4^［17］的Rest14和Lap14數據集，來自于SemEval 2015任務12^［18］的Rest15數據集，以及來自于SemEval 2016^［19］的Rest16數據集，數據集的詳細統計信息如表1所示。

3.1 實驗流程

a）數據預處理。在進行實驗之前，由于數據是以HTML格式存儲的，所以首先對數據集進行去標簽化。數據集因為來自于網絡評論，所以含有少量表達不規范和語義含糊不清的語句，要清楚這樣的數據。為了方便實驗的進行，將所有的方面詞分別從預料中提取出來，并在原文中對應的位置用其他符號來代替，清理前和清理后的數據樣式如表2給出方面詞與文本成對輸入到模型中。在將語料輸入到模型之前轉換為預訓練詞向量，為了實現數據的同步輸入，對每個輸入批次的向量長度填補至與當前批次的最大向量長度相同。

常見的表示縮寫形式如下：det是determiner modifier的縮寫表示限定性修飾；nsubj是nominal subject的縮寫表示名詞性主語；acomp是adjectival complement的縮寫表示形容詞的補充；cc是coordination的縮寫表示并列關系。

通常情況下，文本經過解析得到的不是以方面詞為根節點的語法結構，這種句法結構不利于模型完成方面級的情感分析任務，因此可以使用不同的方式進行樹結構重組。Zheng等人^［20］提出以特定方面詞為首節點對依存樹進行遍歷，使得方面詞成為根節點，同時翻轉部分依存關系連接方向，翻轉后的關系連接用一些特殊表示注明，以區分該依存關系的不同，例如：“nsubj”表示謂詞依賴一個主語，翻轉表示則變為“r#subj”，用來表示該關系被翻轉過。將處理后的依存樹以有向圖的形式儲存起來，經過漸進權重增強后保存為序列文件以備模型輸入。

c）模型的訓練。本文設置最大訓練輪次為100，為了避免過擬合，當模型的loss值連續五個epoch不發生變化的時候提前終止訓練，在每組數據集上隨機初始化權重矩陣三次，取三次結果的平均值作為最終的實驗結果。

3.2 實驗配置

本文模型采用預訓練與上游微調相結合的方式進行實驗，采用動態預訓練模型BERT^［21］和靜態預訓練詞典GloVe^［22］詞典作為詞嵌入分別設計實驗，BatchSize設置為16。為了減少過擬合，在上下文信息提取層兩端添加dropout機制，并且在損失函數中添加L2正則項來輔助優化，使用正態分布來初始化模型的全部參數。具體的實驗軟硬件配置及參數設置如表3、4所示。

3.3 模型對比實驗和分析

為了證明PCB-GCN模型性能在方面級情感分析上的準確性和穩定性，本文設置了多組對照實驗，對照實驗嚴格按照原文給出模型參數進行設置，其中N/A表示未獲得的實驗結果。對照實驗模型介紹如下：

a）SVM。Kiritchenko等人^［23］采用經典的支持向量機（support vector machine，SVM）為基礎建立模型，通過對文本特征的特殊處理，在SemEval 14的Rest數據集上取得了良好的表現。

b）LSTM。Tang等人^［24］基于長短時記憶網絡建立模型，將LSTM網絡的最后一層輸出作為特征與方面詞信息一同輸入到分類器中來預測情感極性。

c）MemNet。Tang等人^［7］指出注意力機制在獲取上下文重要語義信息方面有著良好的作用，并且受Facebook提出的MemN2N啟發，將注意力與深度記憶網絡結合起來，解決了網絡在長距離上記憶減弱的問題。

d）AOA。Huang等人^［25］利用來自于閱讀理解中的attention over attention模塊，實現句子嵌入層和方面詞嵌入層的權重矩陣共享。

e）IAN。Ma等人^［6］認為方面詞在分類中起到了重要的作用，因此強調方面詞與句子之間的交互，再結合注意力機制實現最終的分類。

f）ASCNN。Kim^［2］提出將CNN利用到文本分類任務后，后續Zhang等人^［12］將CNN與句法依存樹結合建模，利用CNN來提取語義信息，句法依存樹來提供句法信息，然后將兩者通過注意力相融合。

g）ASGCN。Zhang等人^［11］提出將圖卷積網絡應用到方面級情感分析中，圖卷積更適用于解決異構圖數據，能充分的獲取語義和句法的融合特征，雖然沒有充分考慮邊緣信息的影響，但是仍然取得了較好的效果。

h）AEN。Song等人^［26］提出通過標簽正則項的方法來解決標簽置信度的問題，同時利用整體注意力和內部注意力模塊相結合的方法對文本進行編碼。

i）TranCaps。Chen 等人^［27］運用遷移學習的方法來，加入外部文檔級情感信息來豐富方面級語料特征，在膠囊網絡的基礎上，分別從方面詞和句子的角度建立雙層語義網絡，根據任務特性，自定義擴展路由機制來完成情感分類任務。

j）RepWalk。Zheng等人^［20］提出一種基于隨機游走的建模方法，通過在句法依存樹上應用隨機游走算法為每一個句法節點附加可學習的權重，從而強化句法依存樹的特征表示，再結合上下文語義信息，將最終的融合特征輸入到分類器中進行分類。

k）CDT。Sun等人^［28］采用圖卷積結合BiLSTM的方法，同時引入豐富的句法、詞性、位置和語義信息，建立一種更加輕量型的方面級情感分析模型。

本實驗采用準確率（accuracy）和F1分數（F1-score）作為最終的評估指標，在表格中用acc和F1表示。準確率是最直觀衡量模型好壞的指標，代表被正確預測的數量和所有參與預測的數據量的值，公式表示為

accuracy=TP+TNTP+TN+FP+FN（15）

F1值是統計學中用來衡量分類模型精確度的一種指標，它同時兼顧了分類模型的精確率和召回率，可以看做是兩者的一種調和平均，公式表示為

F1=2TP+FPTP+TP+FNTP（16）

其中：TP表示正確地把正樣本預測為正的數量；FN表示錯誤地把正樣本預測為負的數量；FP表示錯誤地把負樣本預測為正的數量；TN表示正確地把負樣本預測為負的數量。

3.4 實驗分析

表5展示了PCB-GCN模型在各個數據集上與近年相關研究的效果對照，可以看出，在各個數據集上分類性能均有不同的提升。但是隨著預訓練詞向量的不同，在不同數據集上的效果提升幅度也有一定差異，相對于Twitter數據集，使用GloVe詞向量提升較小，使用BERT進行預訓練時可以取得更顯著的提升，較前人研究成果提升了3～4個百分點，而且相對于以往的研究成果，在該數據集上的提升也不明顯，經過觀察分析該數據集，發現其中含有大量的短句以及眾多語言句法使用不規范的文本，主要是由于PCB-GCN模型在一定程度上依賴于句法依存樹的生成，所以在此類文本數據集上隨著句法結構的不規范，依存樹的生成效果也會受到影響，模型在該數據集上的表現不如其他數據集出色；其次，BERT模型相比GloVe而言具有更好的噪聲抵抗能力，因此在更不規則的文本數據中表現更好。

3.5 消融實驗

為了探究PCB-GCN模型中各部分的功能和對分類效果的獨立影響因素，本文分別設計了Bi-GCN和GCN，協同融合和傳統模型以及漸進權重增強和恒值權重增強三組對照消融實驗。

3.5.1 Bi-GCN與傳統GCN對比實驗

為了驗證Bi-GCN相對于傳統GCN對于模型性能提升的貢獻，設置對比實驗，其中一種模型采用Bi-GCN，另一種模型將Bi-GCN退化為傳統的GCN，其余模型架構、參數條件和數據集保持不變，實驗結果如圖5所示。

3.5.2 融合模型和傳統模型

除此之外，本文分別設計應用了協同融合網絡（co-model）的模型與移除協同融合層的傳統模型（tra-model）進行性能比較，來探究協同融合網絡層對于情感分類效果的影響，實驗結果如圖6所示。

3.5.3 漸進權重增強于恒值權重增強算法比較

權重增強算法是優化句法依存樹特征表達的關鍵，為此采用不同的權重增強算法進行建模實驗，同理，其他實驗條件與模型架構保持不變，其中AW-α（aspect-weighted-α）表示恒值權重增強算法，α代表增強系數，得到在五組數據集下的實驗結果對照如圖7所示。通過上述三組實驗結果可以發現：雙向圖卷積結構相比普通的圖卷積能夠更好地融合句法信息，在多組數據集上均能獲得大于1個百分點的提升；系統融合模型降低了依存樹噪聲的影響，對模型的性能提升也起到了一定的作用；恒指權重增強算法在α取值為2的時候獲得模型最佳性能表現，但是相比之下漸進增強算法所取得的效果更好，因為漸進權重增強算法融合了更多的特征信息，獲得了更高的準確率，與本文的建模假設相符。

3.5.4 其他模型橫向對比

表6表示一些實際案例在不同模型下的分類情況，其中用N、P、O分別表示消極、積極和中性的情緒，用紅色和藍色標識同一句中不同的方面詞（見電子版），由于AEN和IAN是基于注意力的方法，所以在第一個案例中將注意力更多地放在了詞語“dreadful”上，均給將“food”的情感極性判斷為消極； 后兩個示例，尤其是最后一個復雜的句子表明，PCB-GCN運用雙向的GCN結合融合機制能更有效地處理復雜句子中的情感修飾關系。

綜合上述實驗結果發現，模型對于Rest16數據集效果提升較小，準確率和F1值大概只增加了1個百分點，雖然消融實驗結果表明PBC-GCN模型在這個數據集依然奏效，但是提升效果不夠明顯，效果曲線也趨近于平緩，通過對該數據集仔細分析比對，發現該數據集標簽分布較不均衡，且句子中存在一定量的預訓練未登錄詞，致使模型的擬合效果降低，這也將是本文未來要解決的問題之一。

4 結束語

針對于方面級情感分析任務，句法依存信息被廣泛應用于增強模型對于自然語言的理解，但是由于解析句法依存樹存在天然的誤差以及句法依存樹的特征利用不完備，限制了模型的性能提升。本文提出PCB-GCN 模型來解決上述問題，通過協同融合機制來降低句法依存樹誤差對于模型分類性能的影響，設計漸進權重增強算法在強化句法依存樹的特征表示，同時使用BR-GCN來代替傳統GCN來保證訓練過程中特征的充分利用。經過在五組公開數據集上的實驗證明，PCB-GCN模型能夠在方面級情感分析這一領域有效地提升分類的準確行和穩定性。在模型的設計過程中，本文將重點放在了句法依存樹的特征構造和處理上，對于句子和方面詞只是用了傳統的LSTM進行編碼，并且使用的數據集數量較少，因此將從以下方面進一步改善本文的方法：a）探尋更加優越的編碼方式；b）尋找更具適應性的上下文語義和方面詞交互方式；c）引入外部情感知識在增強模型的對語義的理解。

參考文獻：

［1］Tang Hao，Ji Donghong，Li Chenliang，et al. Dependency graph enhanced dual-transformer structure for aspect-based sentiment classification［C］//Proc of the 58th Annual Meeting of Association for Computational Linguistics.［S.l.］：Association for Computational Linguistics，2020：6578-6588.

［2］Kim Y.Convolutional neural networks for sentence classification ［C］//Proc of Conference on Empirical Methods in Natural Language Processing.2014：1746-1751.

［3］Chen Peng，Sun Zhaoqiang，Bing Lidong，et al.Recurrent attention network on memory for aspect sentiment analysis［C］//Proc of Confe-rence on Empirical Methods on Natural Language Processing.2017：42-461.

［4］Dong Li，Wei Furu，Tan Chuanqi，et al.Adaptive recursive neural network for target-dependent Twitter sentiment classification［C］//Proc of the 52nd Annual Meeting of the Association for Computational Linguistics.2014：49-54.

［5］Wang Xing，Liu Yunchao，Sun Chengjie，et al. Predicting polarities of tweets by composing word embeddings with long short-term memory ［C］//Proc of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language.2015：1343-1353.

［6］Ma Dehong，Li Sujian，Zhang Xiandong，et al. Interactive attention networks for aspect-level sentiment classification［C］//Proc of the 26th International Joint Conference on Artificial Intelligence.2017：4068-4074.

［7］Tang Duyu，Qin Bing，Liu Ting.Aspect level sentiment classification with deep memory network ［C］//Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2016：214-224.

［8］Li Xin，Bing Lidong，Wai L，et al. Transformation networks for target-oriented sentiment classification［C］//Proc of the 56th Annual Mee-ting of the Association for Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2018：946-956.

［9］He Ruidan，Lee W S，Ng H T，et al.Effective attention modeling for aspect-level sentiment classification.［C］//Proc of the 27th International Conference on Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2018：1121-1131.

［10］Kipf T N，Welling M.Semisupervised classification with graph convo-lutional networks［C］//Proc of International Conference on Learning Representations.2017：1-14.

［11］Zhang Yuhao，Qi Peng，Manning C D.Graph convolution over pruned dependency trees improves relation extraction［C］//Proc of Confe-rence on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2018：2205-2215.

［12］Zhang Chen，Li Qiuchi，Song Dawei.Aspect-based sentiment classification with aspect-specific graph convolutional networks ［C］//Proc of Conference on Empirical Methods in Natural Language Proces-sing and the 9th International Joint Conference on Natural Language Processing.2019：4568-4578.

［13］付朝燕，黃賢英，劉瀚鍇，等.句法特征融合增強的方面級情感分析［J/OL］.小型微型計算機系統.（2022-04-12）.http：//kns.cnki.net/ kcms/detail/21.1106.TP.20220215.1046.021.html.（Fu Chaoyan，Huang Xianying，Liu Hankai，et al.Aspect-level sentiment analysis enhanced by syntactic feature fusion［J/OL］.Journal of Chinese Computer Systems.（2022-04-12）.http：//kns.cnki.net/kcms/detail/ 21.1106.TP.20220215.1046.021.html.）

［14］韓虎，郝俊，張千錕，等.知識增強的交互注意力方面級情感分析模型［J/OL］.計算機科學與探索.（2022-02-24）.http：//kns.cnki.net/kcms/detail/11.5602.tp.20220215.1324.002.html.（Han Hu，Hao Jun，Zhang Qiankun，et al.Aspect-level sentiment analysis model for interactive attention with knowledge augmentation［L/OL］.Journal of Frontiers of Computer Science and Technology.［2022-02-24］.http：//kns.cnki.net/kcms/detail/11.5602.tp.20220215.1324.002.html.）

［15］Li Ruifan，Chen Hao，Feng Fangxiang，et al.Dual graph convolutional networks for aspect-based sentiment analysis［C］//Proc of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Proces-sing.2021：6319-6329.

［16］Li Dong，Wei Furu，Tan Chuanqi，et al.Adaptive recursive neural network for target-dependent twitter sentiment classification［C］//Proc of the 52nd Annual Meeting of the Association for Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2014：49-54.

［17］Pontiki M，Galanis D，Papageorgiou H，et al.Semeval-2014 task 4：aspect based sentiment analysis［C］//Proc of the 8th International Workshop on Semantic Evaluation.Stroudsburg，PA：Association for Computational Linguistics，2014：27-35.

［18］Pontiki M，Galanis D，Papageorgiou H，et al.Semeval-2015 task 12：aspect based sentiment analysis［C］//Proc of the 9th International Workshop on Semantic Evaluation.Stroudsburg，PA：Association for Computer Linguistics，2015：486-495.

［19］Hercig T，Brychcín T，Svoboda L，et al.UWB at semeval-2016 task 5：aspect based sentiment analysis［C］//Proc of the 10th International Workshop on Semantic Evaluation.Stroudsburg，PA：Association for Computer Linguistics，2016：342-349.

［20］Zheng Yaowei，Zhang Richong，Mensah S，et al. Replicate，walk，and stop on syntax：an effective neural network model for aspect-level sentiment classification［C］//Proc of AAAI Conference on Artificial Intelligence.2020：9685-9692.

［21］Devlin J，Chang Mingwei，Lee K，et al.BERT：pre-training of deep bidirectional transformers for language understanding［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Stroudsburg，PA：Association for Computational Linguistics，2019：4171-4186.

［22］Pennington J，Socher R，Manning C D.GloVe：global vectors for word representation［C］//Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2014：1532-1543.

［23］Kiritchenko S，Zhu Xiaodan，Cherry C，et al.NRC-Canada-2014：detecting aspects and sentiment in customer reviews ［C］//Proc of the 8th International Workshop on Semantic Evaluation.Stroudsburg，PA：Association for Computational Linguistics，2014：437-442.

［24］Tang Duyu，Qin Bing，Feng Xiaocheng，et al. Effective LSTMs for target-dependent sentiment classification［C］//Proc of the 26th International Conference on Computational Linguistics：Technical Papers.2016：3298-3307.

［25］Huang Binxuan，Ou Yanglan，Carley K M.Aspect level sentiment classification with attention-over-attention neural networks ［C］//Proc of International Conference on Social Computing，Behavioral-Cultural Modeling and Prediction and Behavior Representation in Modeling and Simulation.Berlin：Springer，2018：197-206.

［26］Song Youwei，Wang Jiahai，Jiang Tao，et al.Targeted sentiment classification with attentional encoder network ［C］//Proc of International Confe-rence on Artificial Neural Networks.Berlin：Springer，2019：93-103.

［27］Chen Zhuang，Qian Tieyun.Transfer capsule network for aspect level sentiment classification［C］//Proc of the 57th Annual Meeting of the Association for Computational Linguistics.2019：547-556.

［28］Sun Kai，Zhang Richong，Mensah S，et al.Aspect-level sentiment ana-lysis via convolution over dependency tree［C］//Proc of Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2019：5683-569.