基于注意力網(wǎng)絡(luò)的屬性級別情感分析

摘 要： "傳統(tǒng)的屬性級別情感分析方法缺乏對屬性實體與前后文之間交互關(guān)系的研究，導(dǎo)致情感分類結(jié)果的正確率不高。為了有效提取文本特征，提出了一種利用多頭注意力機制學(xué)習(xí)屬性實體與前后文之間關(guān)系的屬性級別情感分析模型（intra amp; inter multi-head attention network，IIMAN），從而提高情感極性判斷結(jié)果。該模型首先利用BERT預(yù)訓(xùn)練完成輸入語句的詞向量化；通過注意力網(wǎng)絡(luò)中的內(nèi)部多頭注意力與聯(lián)合多頭注意力學(xué)習(xí)屬性實體與前后文以及前后文內(nèi)部間的關(guān)系；最后通過逐點卷積變換層、面向?qū)傩詫嶓w的注意力層和輸出層完成情感極性分類。通過在三個公開的屬性級別情感分析數(shù)據(jù)集Twitter、laptop、restaurant上的實驗證明，IIMAN相較于其他基線模型，正確率和 F "1值有了進一步的提升，能夠有效提高情感極性分類結(jié)果。

關(guān)鍵詞： "屬性級別； 情感分析； 多頭注意力； BERT

中圖分類號： "TP391 """文獻標(biāo)志碼： A

文章編號： "1001-3695（2022）02-015-0411-06

doi：10.19734/j.issn.1001-3695.2021.07.0297

Aspect-based sentiment analysis based on attention network

Shen Bina，b， Fang Yiquana，b， Cai Yuana， Cheng Huab， Zhong Yeb

（a.Informatization Office， b.School of Information Science amp; Engineering， East China University of Science amp; Technology， Shanghai 200237， China）

Abstract： ""Traditional aspect-based sentiment analysis methods lack the research on the interaction between aspect object and its context，which leads to the low accuracy of sentiment analysis.In order to effectively extract richer text features，this paper proposed an aspect-based sentiment analysis model（IIMAN） to improve the effect of sentiment polarity judgment，which used multi-head attention mechanism to learn the interaction between aspect object and its context.Firstly，the model used the BERT pre-training model to complete the word vectorization of the input sentences.Then，it used the intra multi-head attention network and the inter multi-head attention network in the attention network to learn the interaction between aspect object and its context，as well as the internal interactions within the context.Finally，it realized the sentiment polarity classification through the pointwise convolution transfer layer，the aspect object attention layer and the output softmax layer.Through the experiments on three public aspect-level sentiment analysis datasets：Twitter，laptop and restaurant，the results show that，compared with other baseline mo-dels，IIMAN model achieves better effect in accuracy and "F "1 value，improves the results of the sentiment polarity classification.

Key words： "aspect-based； sentiment analysis； multi-head attention； BERT

情感分析是指從包含情感信息的主觀性文本中識別用戶對事物或人的意見、情感、情緒和態(tài)度等信息［1］，根據(jù)任務(wù)知識來處理數(shù)據(jù)之間復(fù)雜的依賴關(guān)系。情感分析因其廣泛的適用性，在計算機、商學(xué)、社會學(xué)等領(lǐng)域受到了極大的重視。

情感分析可以細化為屬性級別情感分析任務(wù)、 句子級別情感分析任務(wù)和文檔級別情感分析任務(wù)，分別處理屬性、句子和文檔［2］。其中屬性級別情感分類是情感分析領(lǐng)域中最細粒度的任務(wù)［3］，找出用戶感興趣的屬性，對該對象進行觀點分析并得出該對象的情感極性，為情感分析提供更加準(zhǔn)確的數(shù)據(jù)支持。

屬性級別情感分析的主要方法有基于情感詞典、基于機器學(xué)習(xí)和基于深度學(xué)習(xí)三類［4］。 其中：基于情感詞典的方法通過構(gòu)建的情感詞典來計算情感分?jǐn)?shù)；基于機器學(xué)習(xí)的方法通過抽取部分?jǐn)?shù)據(jù)集進行訓(xùn)練，將提取的特征輸入分類器，得到分類結(jié)果；基于神經(jīng)網(wǎng)絡(luò)系統(tǒng)的情感分析［5～9］通過學(xué)習(xí)文本內(nèi)容的情感極性與前后語義關(guān)系等特征獲得最終的情感分析分類結(jié)果。

在現(xiàn)有屬性級別情感分析研究中，常用的模型為循環(huán)神經(jīng)網(wǎng)絡(luò)與注意力機制相結(jié)合的神經(jīng)網(wǎng)絡(luò)模型，這類模型具有處理長文本依賴的優(yōu)勢，同時能模仿人類閱讀時的注意力機制，利用注意力機制從句中捕獲給定屬性實體的情感極性相關(guān)信息。而其中絕大多數(shù)研究并沒有對屬性實體進行單獨建模，忽略了屬性實體和前后文的交互關(guān)系，導(dǎo)致情感分類結(jié)果的正確率始終無法令人滿意。

為解決以上問題，本文考慮充分利用注意力機制計算文本中各個詞匯之間的關(guān)聯(lián)性，提出了基于注意力網(wǎng)絡(luò)的屬性級別情感分析模型（IIMAN）。本文的主要貢獻如下：a）為解決屬性級別情感分析任務(wù)提出了一種有效的基于注意力機制的模型IIMAN，該模型可靈活地利用BERT預(yù)訓(xùn)練模型完成輸入文本的詞向量化；b）在IIMAN模型中引入了多頭注意力機制，采用聯(lián)合多頭注意力計算屬性實體與其前后文之間的關(guān)系，以及內(nèi)部多頭注意力計算前文自身、后文自身的注意力權(quán)重。

1 相關(guān)研究

情感分析是NLP領(lǐng)域中長期存在的一項任務(wù)，深度學(xué)習(xí)的發(fā)展大大提高了情感分析任務(wù)的準(zhǔn)確率。Socher等人［5］采用遞歸神經(jīng)網(wǎng)絡(luò)提高文本分析的準(zhǔn)確性。在傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)模型基礎(chǔ)上，Tang等人［6］構(gòu)建了篇章級循環(huán)神經(jīng)網(wǎng)絡(luò)模型，在情感分類任務(wù)中取得了很好的成效，并在文獻［7］中提出綜合用戶和產(chǎn)品信息的UPNN方法作用于文檔級別的情感分類。在屬性級別情感分析任務(wù)上，Dong等人［8］利用句子的結(jié)構(gòu)信息并通過自適應(yīng)遞歸神經(jīng)網(wǎng)絡(luò)用于屬性級別的情感分析。Tang等人［9］通過構(gòu)建長期記憶網(wǎng)絡(luò)和雙target模型從屬性詞的上下文對詞或短語編碼，將兩個網(wǎng)絡(luò)模型的最后輸出結(jié)果連接起來作為最終短語編碼情感表達。文獻［10］利用循環(huán)神經(jīng)網(wǎng)絡(luò)獲取文檔每個詞的上下文表示，通過最大池化得到最佳特征表示，在情感分析任務(wù)中也有不錯的效果。Zhang等人［11］主要是對文本中語句的句法、語義以及屬性詞上下文語義門限神經(jīng)網(wǎng)絡(luò)進行建模。注意力機制的提出是為了優(yōu)化改進傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型， 其顯著特點是計算注意力的概率分布以及突出語句中關(guān)鍵性輸入。2015年，Bahdanau等人［12］首次將注意力機制應(yīng)用于自然語言處理領(lǐng)域并取得了出色的效果。注意力機制有許多衍生模型，如全局注意力、局部注意力、自注意力等。Yang等人［13］將層級注意力網(wǎng)絡(luò)模型應(yīng)用于文本情感分類，取得了明顯的分類效果。Pavlopoulos等人［14］在對用戶評論審核時提出了深層注意力機制，最終取得的效果比處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)更好。在自然語言處理領(lǐng)域，將注意力機制與神經(jīng)網(wǎng)絡(luò)相結(jié)合，能夠讓句子中的關(guān)鍵部分在模型中更加突出。

最近提出了使用多種基于注意力機制的改進神經(jīng)網(wǎng)絡(luò)模型來處理屬性級別情感分析任務(wù)［15～23］。Wang等人［15］引入注意力機制建立了ATAE-LSTM模型，對隱藏層輸出進行注意力計算，并將分析結(jié)果與屬性詞向量實施拼接從而獲得了具備屬性詞的情感極性表達。Tang等人［16］在研究過程中引入注意力機制構(gòu)建了MemNet模型，在模型訓(xùn)練過程中利用注意力機制著重學(xué)習(xí)輸入語句中突顯情感極性的詞向量構(gòu)成外部記憶，在計算注意力分布過程中，每一層都要對上一層的情感輸出結(jié)果重新計算，然后借助于深度網(wǎng)絡(luò)所特有的抽象能力對每層注意分布微調(diào)，最終得到給定屬性詞在任務(wù)中的情感極性。Chen等人［18］提出的RAM模型是將不同注意力層中關(guān)鍵的情感信息進行非線性擬合，通過多層抽象給予特定屬實體一定的情感傾向。文獻［19］利用多粒度注意力機制來捕捉方面與其上下文之間的詞級交互。文獻［23］設(shè)計了一個雙重注意力網(wǎng)絡(luò)來識別相互矛盾的意見。此外，預(yù)訓(xùn)練模型BERT［24］在包括屬性級別情感分析在內(nèi)的許多NLP任務(wù)中取得了優(yōu)異的表現(xiàn)。文獻［25］通過構(gòu)建輔助句子將屬性級別情感分析任務(wù)轉(zhuǎn)換為句子對分類任務(wù)。文獻［26］在BERT上提出了一種后訓(xùn)練方法，以提高屬性級別情感分析任務(wù)在微調(diào)階段的性能。

受注意力機制與預(yù)訓(xùn)練模型啟發(fā)，本文方法通過預(yù)訓(xùn)練模型BERT與多頭注意力機制相結(jié)合，能更好地獲得屬性實體和屬性實體的前后文之間的依賴關(guān)系，進一步提升情感分析的準(zhǔn)確性。

2 IIMAN模型

2.1 多頭注意力

多頭注意力是自注意力的一種特殊構(gòu)造方式，由Google團隊于2017年提出［27］。多頭注意力的內(nèi)在機制與點積計算的注意力機制類似，但加入了縮放因子，使得內(nèi)積不至于太大，可以使用高度優(yōu)化的矩陣乘法代碼來實現(xiàn)注意力的計算，更節(jié)省空間的運行。多頭注意力的計算過程對查詢（Q）、鍵（K）、值（V）映射，使用放縮點積注意力計算得到一個輸出矩陣，對這個過程重復(fù)多次，將這些過程連接起來通過再次投影得到最終注意力值，如圖1所示。

多頭注意力通過多通道機制進行特征選擇，可以更有效地獲取文本片段更多的語義信息，有助于計算各個文本片段的內(nèi)部關(guān)系以及各文本片段之間的依賴關(guān)系。多頭注意力每一個注意力頭的參數(shù)矩陣獨立不共享，因此多頭注意力比普通注意力機制可以訓(xùn)練更多的參數(shù)，使模型可以關(guān)注到更多不同位置的信息。參數(shù)不共享使得多頭注意力可以計算更多的表示子空間，對文本而言，不同子空間的表示含義是不相同的，例如有的子空間表示文本的句法信息，有的子空間表示文本的語義信息，有的子空間可以表示文本的依存關(guān)系，不同子空間的信息結(jié)合提升了多頭注意力機制在文本特征提取中的表現(xiàn)力。

本文采用對屬性實體以及屬性實體前后文單獨建模的方式，因此多頭注意力可以充分計算文本內(nèi)及文本之間的關(guān)聯(lián)性。構(gòu)建了如下兩種多頭注意力：a）內(nèi)部多頭注意力，對屬性實體的前后文片段序列自身內(nèi)部建模，內(nèi)部多頭注意力可以獲取前后文內(nèi)部的文本結(jié)構(gòu)以及特征信息；b）聯(lián)合多頭注意力，對屬性實體和屬性實體的前后文之間的交互建模，聯(lián)合多頭注意力為了獲取屬性實體和前后文之間的關(guān)聯(lián)性。

2.2 BERT預(yù)訓(xùn)練模型

BERT模型使用雙向深度Transformer作為主要結(jié)構(gòu)［24，28］，需要Transformer中作為特征抽取器的編碼器部分。其基本框架包括預(yù)訓(xùn)練和微調(diào)，這讓BERT可以適用特定任務(wù)。預(yù)訓(xùn)練過程利用未被標(biāo)記的語料，通過幾個不同的預(yù)訓(xùn)練任務(wù)進行模型訓(xùn)練；微調(diào)過程使用預(yù)訓(xùn)練得到的參數(shù)初始化BERT模型，利用下游任務(wù)中的標(biāo)記數(shù)據(jù)對所有參數(shù)微調(diào)，從而獲得下游任務(wù)的穩(wěn)健參數(shù)。BERT已在17個不同的NLP任務(wù)上取得了顯著的提升［29］，包括SQuAD（優(yōu)于人類的表現(xiàn)）、GLUE（7.7%的絕對提升）、MNLI（4.6%的絕對提升）等。

在屬性級別情感分析中，詞向量的正確表達具有重要意義，考慮BERT預(yù)訓(xùn)練模型的重要作用，本文使用BERT預(yù)訓(xùn)練模型獲得詞向量表示，旨在獲取更深層的文本特征信息。

2.3 注意力網(wǎng)絡(luò)模型

本文設(shè)計的基于注意力網(wǎng)絡(luò)的屬性級別情感分析模型（IIMAN）將預(yù)訓(xùn)練語言模型BERT應(yīng)用于詞向量預(yù)訓(xùn)練任務(wù)中，通過注意力機制獲得屬性實體和屬性實體前后文之間的依賴關(guān)系以及注意力權(quán)重，再由輸出層得到屬性情感極性。模型結(jié)構(gòu)包括詞向量預(yù)訓(xùn)練層、注意力網(wǎng)絡(luò)（多頭注意力層、逐點卷積變換層、面向?qū)傩詫嶓w的注意力層）和輸出層，如圖2所示。

2.3.1 詞向量層

根據(jù)給定的屬性實體在文本中的位置，詞向量層將文本切分成屬性實體和屬性實體前文、后文三個部分。BERT詞向量使用預(yù)先訓(xùn)練的BERT模型生成序列的詞向量，為了便于BERT模型的訓(xùn)練和微調(diào)，將給定的前后文和屬性實體進行如下轉(zhuǎn)換：a）以屬性實體為分隔的前文：［CLS］+前文內(nèi)容+［SEP］；b）屬性實體：［CLS］+實體內(nèi)容+［SEP］；c）以屬性實體為分割的后文：［CLS］+后文內(nèi)容+［SEP］。其中，［CLS］表示文本是否用于分類語句，［SEP］用來進行文本分割，通常作為對應(yīng)文本的最后一個詞。將上述的屬性實體和屬性實體前后文經(jīng)過BERT網(wǎng)絡(luò)后，得到了對應(yīng)的詞向量，如下所示：

屬性實體前文詞向量 e "F=［e1 F，e2 F，…，ef F］

屬性實體詞向量 e "M=［e1 M，e2 M，…，em M］

屬性實體后文詞向量 e "B=［e1 B，e2 B，…，eb B］

預(yù)訓(xùn)練語言模型BERT為雙向預(yù)訓(xùn)練方法，雙向預(yù)訓(xùn)練的優(yōu)勢在于可以獲得與文本上下文相關(guān)的文本特征，從而豐富了輸出結(jié)果的特征信息，使得后續(xù)的情感分析判斷更加準(zhǔn)確。

2.3.2 多頭注意力層

注意力機制將一個鍵序列 k={k 1，k 2，…，k n} 和一個查詢序列 q={q 1，q 2，…，q m} 映射到一個輸出序列 o 。

o =attention （k，q） =softmax （f s（k，q））k ""（1）

其中： f s 為對齊函數(shù)，該函數(shù)可以學(xué)習(xí) q j 和 k i 之間的語義相關(guān)性［27］。

f s（k i，q j）= tanh （［k i：q j］W att） ""（2）

其中： W att∈"Euclid Math TwoRAp

2d hid 是一個可學(xué)習(xí)的權(quán)重，在模型的訓(xùn)練過程中進行更新迭代。多頭注意力機制可以在并行的子空間中學(xué)習(xí) n 個不同的權(quán)重，將該 n 個輸出拼接并映射到指定的隱藏維度 D hidden ，計算方法如下：

MHA （k，q） =concat （o1，o2，…，on）W mh ""（3）

oi =attention i（k，q） ""（4）

其中：concat表示對不同對注意力的連接； W mh∈"Euclid Math TwoRAp

d hid×d hid；oi={oi 1，oi 2，…，oi m} 為多頭注意力中第 i 個的輸出， i∈［1，n］ 。

在本文模型中，提出了內(nèi)部多頭注意力（intra multi-head attention）與聯(lián)合多頭注意力（inter multi-head attention）。其中，內(nèi)部多頭注意力用于前文與自身以及后文與自身的計算，從而能得到相應(yīng)的注意力權(quán)重，聯(lián)合多頭注意力則用于計算屬性實體與前后文之間的注意力權(quán)重，如圖2所示。多頭注意力通過對注意力中每個注意力頭的參數(shù)矩陣計算更新，提高了整體模型的參數(shù)量，使得模型在訓(xùn)練過程中可以學(xué)習(xí)到更多文本特征，從而提取更多的文本特征信息。本文多頭注意力的線性變化層有八個，放縮點積注意力為八個，即八個多頭。

此外由于每個頭之間的參數(shù)并不共享，使得模型能夠更加關(guān)注特定位置的注意力計算，不同注意力頭所關(guān)注和表達的文本特征信息各有不同，多頭注意力可以綜合以上所有的文本特征信息，較大程度地提升了注意力機制的性能，從而使得最終情感分析結(jié)果的正確率得到提升。

內(nèi)部多頭注意力是為了計算前文自身、后文自身的自關(guān)注，其鍵序列和查詢序列相同，即 q=k ，可以注意到序列內(nèi)部單詞的依賴關(guān)系。對于給定一個詞向量矩陣 e i ，內(nèi)部多頭注意力表示為

rintra= MHA（ e i， e i） ""（5）

其中： rintra={rintra 1，rintra 2，…，rintra n} 。對于給定屬性實體的前文、后文所對應(yīng)的詞向量（ e F， e B） ，計算如下：

rintra F= MHA（ e F， e F） ""（6）

rintra B= MHA（ e B， e B） ""（7）

學(xué)習(xí)到前文表示 rintra F={rintra F 1，rintra F 2，…，rintra F n}和后文表示rintra B={rintra B 1，rintra B 2，…，rintra B n} 。

與內(nèi)部多頭注意力不同，聯(lián)合多頭注意力的鍵序列和查詢序列不同，即 q≠k ，可以注意到序列之間的交互關(guān)系，關(guān)注屬性實體的相關(guān)詞，更準(zhǔn)確地注意其情感極性。通過給定一個屬性實體前文或后文詞向量矩陣 e c 以及一個屬性實體詞向量矩陣 e M ，聯(lián)合多頭注意力機制可以計算出前后文以及屬性實體相互關(guān)系表示 rinter ，計算如下：

rinter= MHA（ e c， e M） ""（8）

其中： rinter={rinter 1，rinter 2，…，rinter m} 。在本模型中，將前文的詞向量 e F和后文的詞向量 e B 分別與屬性實體的詞向量矩陣進行計算：

rinter F= MHA（ e F， e M） ""（9）

rinter B= MHA（ e B， e M） ""（10）

學(xué)習(xí)到前文與實體的關(guān)系表示 rinter F 及后文與實體的關(guān)系表示 rinter B 。

2.3.3 逐點卷積變換層

逐點卷積變換層（PCT）可以轉(zhuǎn)換多頭注意力機制收集到的文本信息。逐點卷積內(nèi)核尺寸為1，并且對于各輸入采用相同的轉(zhuǎn)換形式。對于輸入序列 r ，逐點卷積變換層計算如下：

h= PCT （r）=f（rW1 pc+b1 pc）W2 pc+b2 pc ""（11）

其中： f 表示ELU激活函數(shù)；*表示卷積操作； W1 pc∈"Euclid Math TwoRAp

d hid×d hid和W2 pc∈"Euclid Math TwoRAp

d hid×d hid是兩個卷積核中可以迭代更新的權(quán)重系數(shù)；b1 pc∈"Euclid Math TwoRAp

d hid和b2 pc∈"Euclid Math TwoRAp

d hid 是兩個卷積核中能夠更新的偏置項。

對于給定的內(nèi)部多頭注意力，逐點卷積變換層可以獲得內(nèi)部多頭注意力機制的隱變量 hintra F={hintra F 1，hintra F 2，…，hintra F n}、hintra B={hintra B 1，hintra B 2，…，hintra B n} ，對于給定的聯(lián)合多頭注意力，逐點卷積變換層可以獲得聯(lián)合多頭自注意力機制的隱變量 hinter F={hinter F 1，hinter F 2，…，hinter F m}、hinter B={hinter B 1，hinter B 2，…，hinter B m} ，變換方式如下：

hintra F =PCT （rintra F） ""（12）

hintra B =PCT （rintra B） ""（13）

hinter F =PCT （rinter F） ""（14）

hinter B =PCT （rinter B） ""（15）

逐點卷積的計算方法相較于加性方法，其對于參數(shù)矩陣的計算速度更快，即可以更好地利用矩陣特性進行乘積計算，從而提高了運算效率。

2.3.4 面向?qū)傩詫嶓w的注意力層

在這一層網(wǎng)絡(luò)中，利用前文結(jié)果輸入另一個獨立的多頭注意力機制來獲得面向?qū)傩詫嶓w的前文表示和面向?qū)傩詫嶓w的后文表示。這一過程計算如下：

htsc F= MHA （hintra F，hinter F） ""（16）

htsc B= MHA （hintra B，hinter B） ""（17）

其中： htsc F={htsc F 1，htsc F 2，…，htsc F m} 、 htsc B={htsc B 1，htsc B 2，…，htsc B m} 。

這一層采用的多層注意力機制獨立于第二層的多頭注意力機制之外，使用的是獨立的參數(shù)。

2.3.5 輸出層

輸出層獲得以屬性實體作為分隔的前文表示 hintra F 、以屬性實體作為分隔的后文表示 hintra B 、結(jié)合前文內(nèi)容的屬性實體表示 hinter F 、結(jié)合后文內(nèi)容的屬性實體表示 hinter B 以及面向?qū)傩缘膶嶓w的前后文表示 htsc F 和 htsc B 后，將它們平均池化，并連接成為最終的表示，使用softmax函數(shù)將結(jié)果分成 K 類，使模型能夠最終輸出一個預(yù)測的類別，計算過程為

= concat （hintra F，hintra B，hinter F，hinter B，htsc F，htsc B） ""（18）

α= ""T "o ""+ """o ""（19）

y= softmax （α）= "exp （α） ∑ K k=1 "exp （α） """（20）

其中： ""表示拼接得到的特征向量；y∈"Euclid Math TwoRAp

K 表示情感極性分布結(jié)果； """o∈"Euclid Math TwoRAp

1×K和 """o∈"Euclid Math TwoRAp

K 分別是權(quán)重矩陣和偏置向量。

3 實驗設(shè)計

3.1 實驗數(shù)據(jù)集

本文采用了屬性級別情感分析任務(wù)中常用的三個公開基準(zhǔn)數(shù)據(jù)集Twitter、 laptop和restaurant進行情感分析判斷，數(shù)據(jù)集的具體分類信息如表1所示 。

Twitter數(shù)據(jù)集由Dong等人［8］構(gòu)建，該數(shù)據(jù)集中搜集了推特上對公司、產(chǎn)品以及名人等屬性所發(fā)表的評論推文。在這個數(shù)據(jù)集中共有積極、消極以及中性三種標(biāo)簽，一共有6 940條樣本，其中6 248條樣本為訓(xùn)練數(shù)據(jù)，692條樣本為測試數(shù)據(jù)，數(shù)量最多的標(biāo)簽是積極類型。restaurant和laptop數(shù)據(jù)集是SemEval 2014任務(wù)4——aspect based sentiment analysis所采用的測評數(shù)據(jù)［30］，這兩個數(shù)據(jù)集中分別包含了用戶對于筆記本電腦和餐館的評價句子。數(shù)據(jù)集包括積極、消極、中性以及沖突四個標(biāo)簽。由于沖突標(biāo)簽所對應(yīng)的樣本極少，為了保持?jǐn)?shù)據(jù)集中標(biāo)簽數(shù)量的平衡性，本文將沖突標(biāo)簽去除。restaurant數(shù)據(jù)集一共有4 728條樣本，其中3 608條樣本為訓(xùn)練數(shù)據(jù)，1 120條樣本為測試數(shù)據(jù)。laptop數(shù)據(jù)集一共有2 966條樣本，其中2 328條樣本為訓(xùn)練數(shù)據(jù)，638條樣本為測試數(shù)據(jù)。這兩個數(shù)據(jù)集中數(shù)量最多的標(biāo)簽是積極類型。

三個實驗數(shù)據(jù)集分別來自不同的三個領(lǐng)域，可以驗證本文模型的泛化性。其中，Twitter數(shù)據(jù)集來自于社交網(wǎng)絡(luò)，其中錯別字、病句等不規(guī)范的表述更多。

3.2 實驗參數(shù)

實驗將數(shù)據(jù)集中20%的數(shù)據(jù)劃分為驗證集，用于后續(xù)調(diào)參工作。在對比實驗中，詞向量層分別采用了GloVe詞向量、BERT-base模型和BERT-large模型，三種詞向量層的參數(shù)如下：a）GloVe詞向量，300維的詞向量；b）BERT-Base模型，有12層的雙向Transformer網(wǎng)絡(luò)結(jié)構(gòu)，使用768維的詞向量， 12頭的注意力機制，有110 M的參數(shù)量；c）BERT-Large模型，有24層的雙向Transformer網(wǎng)絡(luò)結(jié)構(gòu)，使用1 024維詞向量，16 頭的注意力機制，有340 M的參數(shù)量。表2為模型的超參數(shù)及參數(shù)設(shè)置情況，其中，Dim emb為詞向量維度，Dim hid為隱藏向量維度，在所有模型中都設(shè)置為400。MaxSeqlen 代表模型接收句子的最大長度，laptop和restaurant數(shù)據(jù)集是評論數(shù)據(jù)集，句子長度較長，設(shè)置為100；而Twitter數(shù)據(jù)集簡短，設(shè)置為80。batchSize是每個批次中處理的最多樣本數(shù)量，GloVe、BERT-base、BERT-large參數(shù)數(shù)量是遞減的，因此batchSize的尺寸也是遞減的，分別為32、16、8。模型訓(xùn)練的輪數(shù)均設(shè)置為10；采用dropout 技術(shù)來達到緩解過擬合的目的，均設(shè)置為0.1。

3.3 實驗對比

為了驗證本文模型的有效性，實驗中所對比的模型如下：

a）Majority，基本的基線模型，將訓(xùn)練集中最大的情感極性分配給測試集中的每個樣本。

b）Feature-based SVM［31］，通過傳統(tǒng)的特征提取方法，從數(shù)據(jù)中獲得所需要的一系列特征，通過支持向量機實現(xiàn)分類操作。

c）Rec-NN［8］，使用規(guī)則對依賴樹轉(zhuǎn)換，將目標(biāo)屬性放在根節(jié)點上，使用遞歸神經(jīng)網(wǎng)絡(luò)通過語義組合對目標(biāo)學(xué)習(xí)句子的表示實現(xiàn)分類。

d）MemNet［16］，利用句子中上下文詞的詞向量構(gòu)建記憶矩陣，進而構(gòu)建多注意力層模型，并利用上一層的結(jié)果促進下一層能夠捕獲更加精確的注意力分布。

e）LSTM［9，32］，使用一個LSTM神經(jīng)網(wǎng)絡(luò)模型對文本編碼獲取語義信息。

f）TD-LSTM［9］，兩個LSTM網(wǎng)絡(luò)分別連接屬性短語和它的前文后文。

g）ATAE-LSTM［15］，在LSTM中引入注意力機制，并將屬性短語向量連接到每個單詞的輸入向量中。

h）AF-LSTM［33］，在LSTM中引入循環(huán)卷積和循環(huán)相關(guān)層。

i）IAN［17］，使用兩個LSTM和一個交互式的注意力機制來生成屬性與句子的表示。

j）BILSTM-ATT-G［34］，基于AE-LSTM將屬性短語向量連接到每個單詞的輸入向量中。

k）RAM［18］，使用多個注意力和記憶網(wǎng)絡(luò)來學(xué)習(xí)句子的表示。

l）MGAN［19］，設(shè)計了一個多顆粒度的注意力機制來捕捉屬性和上下文之間的詞級交互。

m）ASGCN［35］，首次提出使用圖神經(jīng)網(wǎng)絡(luò)（GCN）來進行屬性級別情感分析。

n）kumaGCN［36］，使用GCN進行屬性級別情感分析，并采用隱藏圖結(jié)構(gòu)補充句子特征。

o）IMAN，本文提出的注意力網(wǎng)絡(luò)模型。

在實驗中采用的評價指標(biāo)分別為正確率（Acc）和 F "1值（召回率與精確率的調(diào)和平均數(shù)）［37］。

3.4 實驗結(jié)果與分析

實驗結(jié)果如表3所示，表中模型后綴加“*”的表示該結(jié)果來自于相關(guān)的文獻中，而“-”表示沒有獲得該實驗在該評價指標(biāo)上的結(jié)果。所有模型使用的是相同數(shù)據(jù)集，指標(biāo)最高的分?jǐn)?shù)用加粗標(biāo)出。

從表3可知，IIMAN模型的性能優(yōu)于對比模型。在Twitter數(shù)據(jù)集中，性能最佳的是使用BERT-base詞向量的模型（IIMAN-BERT-base），正確率達到了73.3%， F "1值達到了72%，性能超過其他對比算法。在laptop數(shù)據(jù)集中，性能最佳的是使用了BERT-large詞向量的模型（IIMAN-BERT-Large），正確率達到了77.1%， F "1值達到了73.1%，性能依舊超過其他算法。在restaurant數(shù)據(jù)集中，通過使用BERT-large詞向量的模型（IIMAN-BERT-Large）情感分類能夠取得很好的效果，正確率高達85.2%， F "1值達到了78.8%。

可以得出結(jié)論，注意力網(wǎng)絡(luò)模型對于屬性級別的情感分析任務(wù)有一定的提升，結(jié)合BERT預(yù)訓(xùn)練模型與注意力機制對文本特征的提取有著優(yōu)秀的表現(xiàn)。詞向量技術(shù)可以將文本的單詞信息映射到連續(xù)的向量空間中得到單詞的向量表示，因此詞向量可以作為深度學(xué)習(xí)的輸入向量，分別采用GloVe、BERT-base、BERT-large三種詞向量進行算法驗證。

本文方法中三種詞向量對分類精度的影響如圖3所示。其中，橫坐標(biāo)是Twitter、laptop、restaurant三個數(shù)據(jù)集，縱坐標(biāo)是正確率的數(shù)值信息。

由圖3可知，在正確率上，restaurant數(shù)據(jù)集相對于其他兩個數(shù)據(jù)集效果更好，原因是restaurant數(shù)據(jù)集蘊涵的語義較為簡單，而Twitter數(shù)據(jù)集上效果要差一點，因為Twitter數(shù)據(jù)集上存在著文本語言過短、信息復(fù)雜等特點。在Twitter數(shù)據(jù)集中，三個模型的正確率沒有太大差距，IIMAN-GloVe、IIMAN-BERT-base、IIMAN-BERT-large分別為72.8%、73.3%、72.7%，IIMAN-BERT-base在該數(shù)據(jù)集上的效果最佳，原因是Twitter數(shù)據(jù)集本身數(shù)據(jù)量更大，IIMAN-BERT-base模型在微調(diào)的過程中可以更加適應(yīng)數(shù)據(jù)，而不會導(dǎo)致過擬合現(xiàn)象的產(chǎn)生。在laptop數(shù)據(jù)集中，IIMAN-GloVe、IIMAN-BERT-base、IIMAN-BERT-large三個模型的正確率分別為73.5%、76.3%、77.1%，可以看出使用BERT語言模型后，模型正確率有了較大提升。

在restaurant數(shù)據(jù)集中，與laptop數(shù)據(jù)集有相似的展現(xiàn)，使用BERT詞向量的模型效果要顯著高于使用GloVe詞向量的模型，IIMAN-GloVe、IIMAN-BERT-base、IIMAN-BERT-large三個模型的正確率性能分別為81%、84.4%、85.2%，依舊是深層次的IIMAN-BERT-large性能最好。

圖4是三種詞向量對模型 F "1值的影響，大致趨勢與正確率相同，但是該指標(biāo)體現(xiàn)了各模型之間效果的差距。在Twitter數(shù)據(jù)集上，IIMAN-GloVe、IIMAN-BERT-base、IIMAN-BERT-large 模型得到的 F "1值分別為69.8%、72%、71.2%；在laptop數(shù)據(jù)集上，三個模型的 F "1值分別是 69%、72.2%、73.1%，依舊是IIMAN-BERT-large的 F "1值性能最高；在restaurant數(shù)據(jù)集中，三個模型的 F "1值分別是71.9%、76.8%、78.8%，與正確率一致，IIMAN-BERT-large同樣獲得該數(shù)據(jù)集最好的性能效果。

3.5 案例分析

為了進一步研究并驗證IIMAN模型的性能，選取restaurant數(shù)據(jù)集中某一樣本進行具體的案例分析。IIMAN與基于LSTM的注意力權(quán)重相比，在針對文本中屬性實體和情感極性詞距離稍長問題時能獲取更精準(zhǔn)的情感極性詞。可視化結(jié)果如圖5所示，顏色越深表示對應(yīng)的單詞越重要。

在文本“Great food，but the service is dreadful.”中，當(dāng)屬性實體“service”前后都有情感極性詞語且單詞距離較遠時，基于LSTM的注意力模型計算得到的“Great”和“dreadful”注意力權(quán)重相近；而IIMAN則能在長距離的文本中，針對屬性實體“service”，通過比較得到了更契合該屬性實體的情感詞“dreadful”。基于循環(huán)神經(jīng)網(wǎng)絡(luò)的算法在對文本進行計算時，其本質(zhì)是截斷的時序反向傳播，影響了模型捕獲長距離依賴的能力，而注意力網(wǎng)絡(luò)在對每一個詞編碼時可以關(guān)注到整個句子，模型結(jié)構(gòu)中多頭注意力能夠一次計算全部序列，且計算過程高度并行，因此更好地解決了長距離依賴問題。

4 結(jié)束語

本文提出了基于注意力網(wǎng)絡(luò)的屬性級別情感分析模型。該模型首先使用了BERT預(yù)訓(xùn)練詞向量，并利用注意力網(wǎng)絡(luò)對詞向量編碼。與現(xiàn)有模型相比，IIMAN模型可以有效地提取文本特征，在模型中設(shè)計的多頭注意力機制可以更好地計算文本中的長距離依賴關(guān)系，從而使得本文模型能夠更加準(zhǔn)確地得到情感極性判斷結(jié)果。實驗結(jié)果表明，IIMAN能夠有效地捕捉文本特征，實現(xiàn)屬性級別情感分析，明顯提高了正確率和 F "1值，在屬性級別情感分析任務(wù)中具有更高的性能。為了進一步驗證本文模型的效果，下一階段還需要對文本語言為中文以及其他非拉丁語系的文本情感分類任務(wù)進行實驗和研究。同時還需要充分考慮詞向量層對IIMAN造成的性能影響，在后續(xù)的工作中考慮更有效的預(yù)訓(xùn)練模型。

參考文獻：

［1］ "Zhang Lei，Liu Bing.Sentiment analysis and opinion mining［M］//Encyclopedia of Machine Learning and Data Mining.Boston：Springer，2017：1152-1161.

［2］ 蘇瑩，張勇，胡珀，等.基于樸素貝葉斯與潛在狄利克雷分布相結(jié)合的情感分析［J］.計算機應(yīng)用，2016， 36 （6）：1613-1618. （Su Ying，Zhang Yong，Hu Po， et al .Sentiment analysis research based on combination of naive Bayes and latent Dirichlet allocation［J］. Journal of Computer Applications， 2016， 36 （6）：1613-1618.）

［3］ 施寒瀟.細粒度情感分析研究［D］.蘇州：蘇州大學(xué)，2013. （Shi Hanxiao.Research on fine-grained sentiment analysis［D］.Suzhou：Soochow University，2013.）

［4］ 黃時友.微博情感分析研究綜述［J］.新西部：理論版，2014， 4 （10）：99. （Huang Shiyou.Overview on sentiment analysis of Microblog［J］. New West， 2014， 4 （10）：99.）

［5］ Socher R，Perelygin A，Wu J Y， et al .Recursive deep models for semantic compositionality over a sentiment treebank［C］//Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2013：1631-1642.

［6］ Tang Duyu，Qin Bing，Liu Ting.Document modeling with gated recurrent neural network for sentiment classification［C］//Proc of Confe-rence on "Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2015：1422-1432.

［7］ Tang Duyu，Qin Bing，Liu Ting.Learning semantic representations of users and products for document level sentiment classification［C］//Proc of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2015：1014-1023.

［8］ Dong Li，Wei Furu，Tan Chuanqi， et al .Adaptive recursive neural network for target-dependent Twitter sentiment classification［C］//Proc of the 52nd Annual Meeting of the Association for Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2014：49-54.

［9］ Tang Duyu，Qin Bing，F(xiàn)eng Xiaocheng， et al .Effective LSTMs for target-dependent sentiment classification［C］//Proc of the 26th International Conference on Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2016：3298-3307.

［10］ 來斯惟.基于神經(jīng)網(wǎng)絡(luò)的詞和文檔語義向量表示方法研究［D］.北京：中國科學(xué)院大學(xué)，2016. （Lai Siwei.Word and document embeddings based on neural network approaches［D］.Beijing：University of Chinese Academy of Sciences，2016.）

［11］ Zhang Meishan，Zhang Yue，Vo D.Gated neural networks for targeted sentiment analysis［C］//Proc of the 30th AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2016：3087-3093.

［12］ Bahdanau D，Cho K，Bengio Y.Neural machine translation by jointly learning to align and translate［C］//Proc of International Conference on Learning Representations.2015：124-135.

［13］ Yang Zichao，Yang Diyi，Dyer C， et al .Hierarchical attention networks for document classification［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Stroudsburg，PA：Association for Computational Linguistics，2016：1480-1489.

［14］ "Pavlopoulos J，Malakasiotis P，Androutsopoulos I.Deeper attention to abusive user content moderation［C］//Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2017：1136-1146.

［15］ Wang Yequan，Huang Minlie，Zhu Xiaoyan， et al .Attention-based LSTM for aspect-level sentiment classification［C］//Proc of Confe-rence on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2016：606-615.

［16］ Tang Duyu，Qin Bing，Liu Ting.Aspect level sentiment classification with deep memory network［C］//Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2016：214-224.

［17］ "Ma Dehong，Li Sujian，Zhang Xiaodong， et al .Interactive attention networks for aspect-level sentiment classification［C］//Proc of the 26th International Joint Conference on Artificial Intelligence.2017：4068-4074.

［18］ Chen Peng，Sun Zhongqian，Bing Lidong， et al .Recurrent attention network on memory for aspect sentiment analysis［C］//Proc of Confe-rence on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2017：452-461.

［19］ Fan Feifan，F(xiàn)eng Yansong，Zhao Dongyan.Multi-grained attention network for aspect-level sentiment classification［C］//Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2018：3433-3442.

［20］ Huang Binxuan，Ou Yanglan，Carley K M.Aspect level sentiment classification with attention-over-attention neural networks［C］//Proc of International Conference on Social Computing，Behavioral-Cultural Modeling and Prediction and Behavior Representation in Modeling and Simulation.Cham：Springer，2018：197-206.

［21］ Gu Shuqin，Zhang Lipeng，Hou Yuexian， et al .A position-aware bidirectional attention network for aspect-level sentiment analysis［C］//Proc of the 27th International Conference on Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2018：774-784.

［22］ "Li Lishuang，Liu Yang，Zhou Anqiao.Hierarchical attention based position-aware network for aspect-level sentiment analysis［C］//Proc of the 22nd Conference on Computational Natural Language Learning.Stroudsburg，PA：Association for Computational Linguistics，2018：181-189.

［23］ Tan Xingwei，Cai Yi，Zhu Changxi.Recognizing conflict opinions in aspect-level sentiment classification with dual attention networks［C］//Proc of Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2019：3426-3431.

［24］ Devlin J，Change M W，Lee K， et al .BERT：pre-training of deep bidirectional transformers for language understanding［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Stroudsburg，PA：Association for Computational Linguistics，2019：4171-4186.

［25］ Sun Chi，Huang Luyao，Qiu Xipeng.Utilizing BERT for aspect-based sentiment analysis via constructing auxiliary sentence［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Stroudsburg，PA：Association for Computational Linguistics，2019：380-385.

［26］ Xu Hu，Liu Bing，Shu Lei， et al .BERT post-training for review reading comprehension and aspect-based sentiment analysis［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Stroudsburg，PA：Association for Computational Linguistics，2019：2324-2335.

［27］ Vaswani A，Shazeer N，Parmar N， et al .Attention is all you need［C］//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2017：6000-6010.

［28］ Sun Xia，Gao Yi，Sutcliffe R， et al .Word representation learning based on bidirectional GRUs with drop loss for sentiment classification［J］. IEEE Trans on Systems，Man，and Cybernetics：Systems ，2021， 51 （7）：4532-4542.

［29］ Han Xu，Zhang Zhenyan，Ding Ning， et al .Pre-trained models：past，present and future［J/OL］. AI Open， 2021.（2021-08-26）.https：//doi.org/10.1016/j.aiopen.2021.08.002.

［30］ Pontiki M，Galanis D，Pavlopoulos J， et al .SemEval-2014 task 4：aspect based sentiment analysis［C］//Proc of the 8th International Workshop on Semantic Evaluation.Stroudsburg，PA：Association for Computational Linguistics，2014：27-35.

［31］ Kiritchenko S，Zhu Xiaodan，Cherry C， et al .NRC-Canada-2014：detecting aspects and sentiment in customer reviews［C］//Proc of the 8th International Workshop on Semantic Evaluation.Stroudsburg，PA：Association for Computational Linguistics，2014：437-442.

［32］ Hochreiter S，Schmidhuber J.Long short-term memory［J］. Neural Computation ，1997， 9 （8）：1735-1780.

［33］ Tay Y，Tuan L A，Hui S C.Learning to attend via word-aspect associative fusion for aspect-based sentiment analysis［C］//Proc of the 32nd AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2018：5956-5963.

［34］ Liu Jiangming，Zhang Yue.Attention modeling for targeted sentiment［C］//Proc of the 15th Conference of the European Chapter of the Association for Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2017：572-577.

［35］ "Zhang Chen，Li Qiuchi，Song Dawei.Aspect-based sentiment classification with aspect-specific graph convolutional networks［C］//Proc of Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2019：4568-4578.

［36］ Chen Chenhua，Teng Zhiyang，Zhang Yue.Inducing target-specific latent structures for aspect sentiment classification［C］//Proc of Confe-rence on Empirical "Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2020：5596-5607.

［37］ 顏仕雄，朱焱，李春平.基于多頭注意力機制的社交網(wǎng)絡(luò)符號預(yù)測［J］.計算機應(yīng)用研究，2021， 38 （5）：1360-1364. （Yan Shixiong，Zhu Yan，Li Chunping.Social network sign prediction based on multi-head attention mechanism［J］. Application Research of Compu-ters ，2021， 38 （5）：1360-1364.）