基于雙特征嵌套注意力的方面詞情感分析算法

肖宇晗，林慧蘋，汪權(quán)彬，譚營

（1. 北京大學(xué) 軟件與微電子學(xué)院，北京 102600; 2. 北京大學(xué) 信息科學(xué)技術(shù)學(xué)院，北京 100871）

隨著互聯(lián)網(wǎng)的迅速發(fā)展，人們?cè)絹碓絻A向于 在網(wǎng)絡(luò)上發(fā)表自己對(duì)商品或服務(wù)的看法。提取評(píng)論所蘊(yùn)含的情感態(tài)度與需求，有利于商家深入分析用戶的潛在需求，判斷市場(chǎng)走向，改進(jìn)產(chǎn)品或服務(wù)設(shè)計(jì)。

值得注意的是，人們?cè)谶M(jìn)行評(píng)論時(shí)，一般不會(huì)發(fā)表長篇大論，而是傾向于用一兩句話概括某個(gè)事物的某個(gè)方面的好壞，甚至?xí)谕痪湓捴袑?duì)多個(gè)方面表達(dá)不同的情感態(tài)度。因此，方面詞情感分析任務(wù)的研究近年來頗受關(guān)注。該任務(wù)的要求是，在給定文本以及方面詞的情況下，分別對(duì)這些方面詞所承載的情感態(tài)度進(jìn)行分類[1-2]。例如，給定“這家店的環(huán)境不錯(cuò)，服務(wù)周到，但食材不新鮮”這段文本，并給出“環(huán)境”、“服務(wù)”、“食材”這3個(gè)方面詞，算法應(yīng)當(dāng)判斷出用戶對(duì)“環(huán)境”和“服務(wù)”的情感態(tài)度是正向，而對(duì)“食材”持負(fù)面態(tài)度。考慮到方面詞往往蘊(yùn)含了用戶對(duì)產(chǎn)品或服務(wù)的需求，方面詞情感分析算法的研究將對(duì)細(xì)粒度分析用戶潛在需求有著重要意義。

與文檔級(jí)和句子級(jí)情感分析任務(wù)相比，方面詞情感分析任務(wù)粒度更細(xì)、更具挑戰(zhàn)。其中一個(gè)棘手的問題是，如何在保留情感有效項(xiàng)信息的同時(shí)，盡可能減小干擾項(xiàng)對(duì)情感判斷的負(fù)面影響。例如，“我買過這家的鼠標(biāo)、電腦和平板，鼠標(biāo)很快就沒用了，至于這個(gè)電腦，不好也不壞，平板倒是挺結(jié)實(shí)”，如果要求對(duì)方面詞“電腦”進(jìn)行情感分析，答案理論上應(yīng)是中立，但一些算法很容易將其誤判為正向或負(fù)向，原因就在于未能有效減小“鼠標(biāo)很快就沒用了”和“平板倒是挺結(jié)實(shí)”對(duì)情感分析的干擾作用。除此以外，語言的豐富性與靈活性也顯著提高了方面詞情感分析任務(wù)的難度。一些習(xí)語以及復(fù)雜句式也會(huì)對(duì)情感分析的結(jié)果產(chǎn)生不利影響。例如，“I have never had a bad meal”，就方面詞“meal”而言，情感態(tài)度是正向的，但部分模型會(huì)根據(jù)設(shè)計(jì)的規(guī)則或以往的訓(xùn)練經(jīng)驗(yàn)，因“bad”的存在而給出錯(cuò)誤的分類結(jié)果[3]。

目前，處理方面詞情感分析任務(wù)的主流方式是通過深度學(xué)習(xí)方法來賦予模型細(xì)粒度的情感分析能力。為了避免在神經(jīng)網(wǎng)絡(luò)層數(shù)較多時(shí)出現(xiàn)梯度消失問題，長短時(shí)記憶網(wǎng)絡(luò)[4](long short-term memory, LSTM)成為大多數(shù)深度學(xué)習(xí)模型的基本網(wǎng)絡(luò)結(jié)構(gòu)選擇。Tang等[5]在此基礎(chǔ)上提出了基于目標(biāo)的長短時(shí)記憶網(wǎng)絡(luò)模型(target dependent long short-term memory model, TD-LSTM)，分別通過2個(gè)獨(dú)立的雙向長短時(shí)記憶網(wǎng)絡(luò)來提取方面詞左邊語境和右邊語境的語義特征，獲得了比基礎(chǔ)長短時(shí)記憶網(wǎng)絡(luò)更好的實(shí)驗(yàn)結(jié)果。而注意力機(jī)制的引入，則使得深度學(xué)習(xí)模型能夠更好地利用有效項(xiàng)的語義特征，并弱化情感干擾項(xiàng)的負(fù)面影響。Ma等[6]在互動(dòng)注意力網(wǎng)絡(luò)模型(interactive attention networks, IAN)中首次提出了語境特征和方面詞特征之間的互動(dòng)式學(xué)習(xí)，他們通過池化整句話對(duì)應(yīng)的隱藏層狀態(tài)來獲取語境對(duì)方面詞的注意力權(quán)重，從而使得IAN能夠重點(diǎn)考慮語境中的情感有效項(xiàng)信息。針對(duì)訓(xùn)練數(shù)據(jù)不足的問題，Xu等[7]提出了半監(jiān)督序列生成模型(target-oriented semi-supervised sequential generative model,TSSGM)，在減小對(duì)訓(xùn)練數(shù)據(jù)的依賴性的同時(shí)能夠提升情感分類器的判斷精度。

在最近2年里，通過預(yù)訓(xùn)練語言模型來增強(qiáng)模型的語義表示能力成為方面詞情感分析任務(wù)的研究熱點(diǎn)。取自語言模型的詞嵌入[8](embeddings from language models, ELMo)，以及基于transformer[9]的生成式預(yù)訓(xùn)練[10](generative pre-training,GPT)，均是其中的優(yōu)秀代表。而BERT[11](bi-directional encoder representations from transformers)的提出，則更是里程碑式地刷新了多達(dá)11項(xiàng)自然語言處理任務(wù)的最高成績。Karimi等[12]在實(shí)驗(yàn)中使用基礎(chǔ)BERT模型來完成處理方面詞情感分析任務(wù)，發(fā)現(xiàn)其效果已經(jīng)超過絕大多數(shù)普通神經(jīng)網(wǎng)絡(luò)模型。Song等[13]探索了BERT在方面詞情感分析任務(wù)中的優(yōu)勢(shì)，分別提出了用于句對(duì)分類的BERT模型(BERT model for sentence pair classification，BERT-SPC)與帶有BERT的注意力編碼網(wǎng)絡(luò)(attentional encoder network with BERT，AENBERT)，在多個(gè)數(shù)據(jù)集上都取得了前沿性的結(jié)果。

盡管現(xiàn)有的模型在方面詞情感分析任務(wù)上有著不俗的表現(xiàn)，但仍在2個(gè)方面存在不足。一方面，在很多研究工作中，方面詞的重要性未能得到充分的重視。Jiang等[14]在Twitter數(shù)據(jù)集上評(píng)估了一個(gè)情感分類器的效果，結(jié)果發(fā)現(xiàn)40%的分類錯(cuò)誤都緣于沒有考慮方面詞的指示作用。這說明，如何充分使用方面詞提供的位置特征和語義特征將是影響模型效果的重要因素。另一方面，方面詞的情感傾向往往與鄰近的形容詞、動(dòng)詞等主觀性詞語關(guān)聯(lián)更大，位置較遠(yuǎn)的詞語很有可能成為干擾項(xiàng)。有些算法雖然已經(jīng)考慮到方面詞的重要價(jià)值，但卻沒有真正把握好如何利用方面詞和語境之間的聯(lián)系，往往只是提取方面詞特征和整個(gè)評(píng)論的全局語義特征來進(jìn)行運(yùn)算，未能有效地消除干擾項(xiàng)的不利影響。

針對(duì)上述不足，本文首次將閱讀理解領(lǐng)域提出的AOA(attention-over-attention)與BERT預(yù)訓(xùn)練模型相結(jié)合，提出了含BERT加持的雙特征嵌套注意力模型(dual features attention-over-attention with BERT，DFAOA-BERT)，借助BERT來獲取優(yōu)質(zhì)的詞向量和語義編碼，在此基礎(chǔ)上計(jì)算AOA數(shù)值，并提取關(guān)鍵語義特征。此外，DFAOABERT還分別設(shè)計(jì)了全局和局部特征提取器，使得模型既能獲得全面的語義信息，還能有效減小情感干擾項(xiàng)的負(fù)面作用。實(shí)驗(yàn)證明，DFAOABERT在3個(gè)公開數(shù)據(jù)集上均取得了優(yōu)異的成績，而在主實(shí)驗(yàn)基礎(chǔ)上進(jìn)行的子模塊有效性實(shí)驗(yàn)，也充分證明了模型主要組成部分的設(shè)計(jì)合理性。

1 AOA注意力機(jī)制

AOA機(jī)制由Cui等[15]提出，用于處理閱讀理解領(lǐng)域中的完形填空問題。它將完形填空任務(wù)轉(zhuǎn)換為問答任務(wù)，把每個(gè)填空的候選項(xiàng)看作對(duì)文檔的查詢(query)，并設(shè)計(jì)了一套算法，計(jì)算查詢對(duì)文檔的注意力數(shù)值以及文檔對(duì)查詢的注意力數(shù)值，將計(jì)算獲得的雙向注意力結(jié)果視為最終語義匹配特征，在此基礎(chǔ)上為每個(gè)候選項(xiàng)進(jìn)行打分和排序。

Huang等[3]則對(duì)閱讀理解領(lǐng)域的AOA進(jìn)行了調(diào)整，將其應(yīng)用到方面詞情感分析任務(wù)中。方面詞被視為查詢，方面詞鄰近的語境被看作是待查詢的文檔，通過計(jì)算方面詞和語境之間的雙向注意力數(shù)值來獲得語義匹配特征，最終將產(chǎn)生的結(jié)果輸入到情感分類層中。實(shí)驗(yàn)結(jié)果表明，AOA在方面詞情感分析任務(wù)中有著優(yōu)秀的表現(xiàn)，能夠幫助深度學(xué)習(xí)模型更為充分地利用方面詞本身提供的信息以及它和語境之間的語義關(guān)聯(lián)。

設(shè)AOA的輸入為方面詞的語義編碼ha和語境的語義編碼hc，其中，ha∈Rmd，hc∈Rnd，m是方面詞序列的長度(單詞數(shù))，n是語境序列的長度，d是語義編碼的維數(shù)。計(jì)算AOA數(shù)值的第1步是獲取兩者的語義聯(lián)系矩陣M：

式中M∈Rnm，M中第i行j列的元素表示語境序列中第i個(gè)詞和方面詞序列中第j個(gè)詞的語義匹配分?jǐn)?shù)。

接著，對(duì)M的列進(jìn)行 s oftmax 操作，獲得方面詞對(duì)語境的注意力數(shù)值 α ；對(duì)M的行進(jìn)行softmax操作，獲得語境對(duì)方面詞的注意力數(shù)值 β。

對(duì) β 按列計(jì)算平均值獲得 β ˉ∈Rm，最后的AOA注意力數(shù)值 γ ∈Rn則由 α 與 βˉ 點(diǎn)乘得到：

2 本文模型

模型的介紹將圍繞輸入層、詞嵌入層、編碼層、注意力機(jī)制模塊以及分類層這5個(gè)部分展開。

2.1 輸入層

對(duì)于局部特征提取器而言，輸入序列就是包含方面詞的語境序列以及方面詞序列本身。全局特征提取器的輸入序列則有所不同，其語境序列需要經(jīng)過特殊處理。受BERT-SPC模型[13]啟發(fā)，為了充分發(fā)揮BERT在本任務(wù)中的作用，全局特征提取器將原語境序列處理成“[CLS] + 原語境序列 + [SEP] + 方面詞序列 + [SEP]”的形式。其中，“[CLS]”和“[SEP]”是BERT使用的2種標(biāo)記符號(hào)，前者是特殊分類向量標(biāo)記符，聚集了分類相關(guān)的信息，后者是分隔符，在輸入多個(gè)序列時(shí)用于分隔不同序列。將原語境序列處理成這種特殊形式其實(shí)是將原格式轉(zhuǎn)化成了BERT在處理文本分類任務(wù)時(shí)所要求的輸入格式，從而充分發(fā)揮BERT的效果。對(duì)于方面詞序列，全局特征提取器與局部特征提取器的處理方式相同。

2.2 詞嵌入層

DFAOA-BERT模型在該部分將單詞一一映射到低維向量空間中，映射方式選用BERT詞嵌入。與GloVe[16]不同的是，BERT提供的是一個(gè)語義理解模型，而GloVe提供的只是一個(gè)詞嵌入矩陣。

設(shè)GloVe提供的矩陣為M，則M∈Rde×|V|，其中，de是詞嵌入的維數(shù)， |V| 表示單詞的總數(shù)，通過矩陣M，可將任意單詞wi映射成維數(shù)為de的向量。而BERT詞嵌入層則是一個(gè)基于序列到序列技術(shù)[4]的預(yù)訓(xùn)練語義理解模型，其參數(shù)并不是像GloVe這樣固定不變的。因此，使用一個(gè)BERT詞嵌入層來獲取局部特征提取器輸入序列與全局特征提取器序列的詞嵌入，和使用2個(gè)互相獨(dú)立的BERT詞嵌入層所產(chǎn)生的結(jié)果不完全相同。本模型中采用2個(gè)獨(dú)立的BERT詞嵌入層，原因在于該選擇會(huì)小幅度提升算法的訓(xùn)練效果。

圖1 DFAOA-BERT模型結(jié)構(gòu)Fig. 1 Structure of DFAOA-BERT model

2.3 編碼層

本層的任務(wù)是將輸入序列對(duì)應(yīng)的詞嵌入編碼成含有豐富語義信息的向量。詞嵌入本身包含的信息較為基礎(chǔ)，基于循環(huán)神經(jīng)網(wǎng)絡(luò)的模型一般使用長短時(shí)記憶網(wǎng)絡(luò)來對(duì)詞嵌入進(jìn)行編碼，DFAOA-BERT則使用MHSA[9](multi-head self-attention)提取語義特征。MHSA的主要思想是通過多個(gè)注意力函數(shù)來對(duì)每個(gè)單詞計(jì)算注意力數(shù)值，將這多個(gè)注意力數(shù)值拼接在一起后進(jìn)行激活函數(shù)運(yùn)算，其結(jié)果即為輸入序列的語義表示。MHSA中的自注意力機(jī)制函數(shù)可以選用不同的設(shè)計(jì)，DFAOA-BERT使用的是SDA(scaled dot product attention)，相較于其他自注意力機(jī)制而言，其優(yōu)點(diǎn)在于既可以保證編碼效果，又能夠有效提高計(jì)算的效率。

令詞嵌入層的輸出為Xe，SDA的計(jì)算方式為

式中：Wq、Wk、Wv均為權(quán)重矩陣；Wq∈Rdh×dq；Wk∈Rdh×dk；Wv∈Rdh×dv。這3個(gè)矩陣中的權(quán)重屬于模型的可訓(xùn)練參數(shù)。dq、dk、dv是矩陣維度，三者的值都為dh/h，其中，dh是隱藏層維數(shù)，h是多頭自注意力機(jī)制中的頭數(shù)。根據(jù)每個(gè)注意力頭的SDA計(jì)算結(jié)果，可得到整個(gè)MHSA的輸出Oe：

式中： ⊕ 表示向量的拼接操作；WMHSA是一個(gè)向量矩陣；WMHSA∈Rhdv×dh； T anh 為激活函數(shù)。

通過以上步驟，MHSA將基礎(chǔ)的詞嵌入編碼為包含豐富信息的語義向量表示。為方便下文闡釋，記語境序列對(duì)應(yīng)的語義編碼為方面詞序列對(duì)應(yīng)的語義編碼為

2.4 注意力機(jī)制

DFAOA-BERT模型的注意力機(jī)制設(shè)計(jì)以AOA為核心，相對(duì)于全局特征提取器而言，局部特征提取器額外設(shè)計(jì)了語境動(dòng)態(tài)加權(quán)模塊來增強(qiáng)其獲取局部關(guān)鍵信息的能力。

1) 語境動(dòng)態(tài)加權(quán)模塊。

語境動(dòng)態(tài)加權(quán)模塊的設(shè)計(jì)思想在于，一個(gè)方面詞的情感態(tài)度往往只與鄰近的詞有關(guān)，遠(yuǎn)距離的詞反而可能提供噪聲信息而干擾模型的判斷。因此，從本質(zhì)上講，語境動(dòng)態(tài)加權(quán)模塊就是一個(gè)位置相關(guān)的注意力機(jī)制，保留鄰近詞的積極作用，根據(jù)位置關(guān)系弱化遠(yuǎn)距離詞的干擾。

受Zeng等[17]提出的局部情境焦點(diǎn)(local context focus, LCF)模型啟發(fā)，DFAOA-BERT的語境動(dòng)態(tài)加權(quán)模塊定義了語義相關(guān)距離D，根據(jù)D來判斷如何給語境所對(duì)應(yīng)的語義向量設(shè)定計(jì)算權(quán)重。設(shè)輸入的原語境序列為W={w1,w2,···,wi,wi+1,···,wi+m?1,···,wn} ，其 中 {wi,wi+1,···,wi+m?1} 為 方 面 詞 序列，對(duì)語境序列中的任意單詞wj(1≤j≤n)，D的計(jì)算方法為

獲得每個(gè)單詞對(duì)應(yīng)的語義相關(guān)距離之后，需要設(shè)置語義相關(guān)距離的閾值TD，之后即可進(jìn)行語境動(dòng)態(tài)加權(quán)計(jì)算。對(duì)于語境序列中的任意單詞wj，其語義編碼向量所對(duì)應(yīng)的權(quán)重sj計(jì)算方式為

對(duì)語境序列的每個(gè)單詞按順序計(jì)算權(quán)重，得到權(quán)重矩陣 S =(s1,s2,···,sn)。語境動(dòng)態(tài)加權(quán)的最終輸出 Ow，即為語境序列的語義編碼與 S 相乘的結(jié)果：

2) AOA機(jī)制。

AOA機(jī)制是DFAOA-BERT注意力機(jī)制的主體部分，局部特征提取器和全局特征提取器都以此為核心。其主要設(shè)計(jì)思想與計(jì)算方法在第1節(jié)已作詳細(xì)闡述。由于2個(gè)特征提取器在該部分的運(yùn)算方式基本一致，下面以局部特征提取器為例進(jìn)行具體說明。

考慮到BERT詞嵌入的維數(shù)較高，進(jìn)入AOA模塊后運(yùn)算速度很慢，所以，DFAOA-BERT首先使用雙向長短時(shí)記憶網(wǎng)絡(luò)（bi-directional long short-term memory，Bi-LSTM）壓縮維數(shù)、提取語義信息。令 hc和 ha分別為Bi-LSTM最后輸出的語境隱藏狀態(tài)和方面詞隱藏狀態(tài)，其計(jì)算方法為

獲得以上結(jié)果之后，根據(jù)第1節(jié)闡述的AOA原理，計(jì)算得出最終的AOA注意力數(shù)值 γ。

2.5 分類層

本模型將 r 視為情感分類所依據(jù)的最終分類特征，通過一個(gè)線性網(wǎng)絡(luò)將其映射到任務(wù)所要求的結(jié)果空間，并使用 s oftmax 來計(jì)算方面詞所對(duì)應(yīng)的情感態(tài)度為z的可能性：

式中： Wl、 bl分別是線性網(wǎng)絡(luò)的權(quán)重矩陣和偏移。Z是情感分類結(jié)果的種類數(shù)，在本任務(wù)中，情感態(tài)度共有負(fù)面、中立、正面3種，故Z=3。

在模型的訓(xùn)練方面，DFAOA-BERT采用交叉熵?fù)p失函數(shù)來計(jì)算訓(xùn)練損失，同時(shí)應(yīng)用L2正則化來抑制過擬合現(xiàn)象。損失函數(shù)為

式 中：I(·) 是 指 示 函 數(shù)； λ 是L2正 則 項(xiàng)；θ 是DFAOA-BERT模型中所有可訓(xùn)參數(shù)的集合。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集信息

本文在3個(gè)公開的方面詞情感分析數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)：SemEval 2014任務(wù)4中的餐館評(píng)論數(shù)據(jù)集和筆記本評(píng)論數(shù)據(jù)集[18]，以及ACL-14 Twitter社交評(píng)論數(shù)據(jù)集[19](為方便下文說明，將這3個(gè)數(shù)據(jù)集分別簡稱為餐館數(shù)據(jù)集、筆記本數(shù)據(jù)集和Twitter數(shù)據(jù)集)。表1給出了各數(shù)據(jù)集的訓(xùn)練評(píng)論數(shù)與測(cè)試評(píng)論數(shù)。

表1 數(shù)據(jù)集組成信息Table 1 Composition information of the datasets

3.2 基線

為了全方位評(píng)價(jià)DFAOA-BERT的表現(xiàn)效果，本文選用了多個(gè)基線模型進(jìn)行結(jié)果對(duì)比。這些基線模型基于不同的設(shè)計(jì)思想與技術(shù)原理，包括普通神經(jīng)網(wǎng)絡(luò)模型與含BERT加持的深度學(xué)習(xí)模型。

1)支持向量機(jī)[20](support vector machine，SVM)是應(yīng)用傳統(tǒng)機(jī)器學(xué)習(xí)解決方面詞情感分析任務(wù)的代表模型。它使用支持向量機(jī)技術(shù)來結(jié)合特征工程進(jìn)行情感分析。

2)基于目標(biāo)的長短時(shí)記憶網(wǎng)絡(luò)模型(TDLSTM)[5]分別通過2個(gè)LSTM來提取方面詞左右兩邊的語義特征，將兩部分語義信息拼接后計(jì)算情感數(shù)值。

3)互動(dòng)注意力網(wǎng)絡(luò)(IAN)[6]使用2個(gè)LSTM來分別獲取語境和方面詞的語義表示。它根據(jù)語境的語義表示的隱藏層狀態(tài)來構(gòu)造對(duì)方面詞的注意力權(quán)重，反之即可構(gòu)造方面詞對(duì)語境的注意力權(quán)重，取得了不錯(cuò)的效果。

4)循環(huán)注意力記憶網(wǎng)絡(luò)[21](recurrent attention network on memory，RAM)使用Bi-LSTM來進(jìn)行文本記憶表示，同時(shí)創(chuàng)新性地使用了一個(gè)循環(huán)單元網(wǎng)絡(luò)來將語境特征的多個(gè)注意力輸出組合在一起。

5)嵌套注意力[3](AOA)綜合考慮到方面詞的語義信息和在整個(gè)評(píng)論中的位置特征，不僅能生成方面詞對(duì)整個(gè)語境的注意力權(quán)重，還能計(jì)算出語境對(duì)方面詞的注意力權(quán)重。

6)基礎(chǔ)BERT[11](BERT-base)是基礎(chǔ)的預(yù)訓(xùn)練BERT模型。即使不添加任何額外模塊，該模型的表現(xiàn)依舊非常突出。

7)帶有BERT的注意力編碼網(wǎng)絡(luò)[13](AENBERT)的設(shè)計(jì)基于預(yù)訓(xùn)練BERT模型，其特點(diǎn)在于完全使用注意力機(jī)制來編碼語境和方面詞的語義表示。

8)用于句對(duì)分類的BERT模型[13](BERTSPC)使用BERT模型來處理句對(duì)分類任務(wù)，將該模型應(yīng)用于基于方面詞的情感分析任務(wù)時(shí)，需要將模型的輸入處理成“[CLS] + 整個(gè)句子 + [SEP] +方面詞 + [SEP]”的形式。

9)后訓(xùn)練BERT[22](post-trained BERT，BERTPT)模型在方面詞情感分析任務(wù)上探索了BERT模型的后訓(xùn)練策略，成功地提升了BERT模型的精調(diào)效果。

10)BERT對(duì)抗訓(xùn)練[12](BERT adversarial training，BAT)模型將計(jì)算機(jī)視覺領(lǐng)域常常涉及的對(duì)抗學(xué)習(xí)思想應(yīng)用到方面詞情感分析任務(wù)上，其訓(xùn)練損失包括主模型的損失與對(duì)抗模型的損失這2部分。

3.3 實(shí)驗(yàn)參數(shù)與結(jié)果對(duì)比

實(shí)驗(yàn)中涉及的模型參數(shù)設(shè)置如下：DFAOABERT在語境動(dòng)態(tài)加權(quán)模塊定義的語義相關(guān)距離閾值TD設(shè)為5。BERT版本選用uncased BERTbase，詞嵌入的維數(shù)為768。語境動(dòng)態(tài)加權(quán)模塊中Bi-LSTM的隱藏層維數(shù)設(shè)為150。模型中的可訓(xùn)練參數(shù)使用Glorot[23]初始化方法來進(jìn)行初始化，學(xué)習(xí)率設(shè)為 2 e?5(在Twitter數(shù)據(jù)集上實(shí)驗(yàn)時(shí)設(shè)為 5e?6)，L2正則項(xiàng)設(shè)為 1 e?5，dropout率[24]則根據(jù)不同數(shù)據(jù)集進(jìn)行靈活調(diào)整，餐館數(shù)據(jù)集設(shè)為0.1，筆記本數(shù)據(jù)集設(shè)為0，而Twitter數(shù)據(jù)集則設(shè)為0.5。模型采用Adam優(yōu)化器[25]來最小化訓(xùn)練損失。由于模型參數(shù)數(shù)量較大，為防止顯卡內(nèi)存不足，每批訓(xùn)練評(píng)論數(shù)設(shè)為16。模型的評(píng)價(jià)方法選用準(zhǔn)確度與Macro-F1，兩者數(shù)值越高則說明模型的情感分析能力越優(yōu)秀。

實(shí)驗(yàn)結(jié)果如表2所示。表2中的Acc表示準(zhǔn)確度，MF1表示Macro-F1，兩者均為模型的評(píng)價(jià)指標(biāo)。對(duì)比模型的結(jié)果取自已發(fā)表的論文，“?”指原論文沒有發(fā)表該結(jié)果，其中，BERT-base的結(jié)果取自Karimi等[12]的實(shí)驗(yàn)結(jié)果。DFAOA-BERT的結(jié)果在顯卡NVIDIA Tesla P100上運(yùn)行獲得。最優(yōu)秀的結(jié)果加粗表示。可以看到，在3個(gè)數(shù)據(jù)集 上，DFAOA-BERT均取得了非常優(yōu)秀的成績。

表2 實(shí)驗(yàn)結(jié)果對(duì)比Table 2 Comparison of the experimental results %

普通基線模型中，基于特征工程的SVM提出時(shí)間最早，但其效果卻出人意料得好，超過了多數(shù)不含BERT加持的基線模型。因此，如果不考慮人力成本，SVM在特定數(shù)據(jù)集上將會(huì)是一個(gè)不錯(cuò)的選擇。TD-LSTM模型的結(jié)構(gòu)最為簡單，只使用了2個(gè)LSTM，但其效果也是最不理想的。而引入注意力機(jī)制的模型，例如IAN、AOA，通過精心設(shè)計(jì)的注意力機(jī)制來引導(dǎo)網(wǎng)絡(luò)進(jìn)行語義特征提取，從而獲得比TD-LSTM優(yōu)秀很多的結(jié)果。

根據(jù)表2可以觀察到，就餐館評(píng)論數(shù)據(jù)集而言，80%的分類準(zhǔn)確度已經(jīng)接近模型效果的天花板了，而BERT模型的加持，則使情感分析結(jié)果獲得了驚人的提升。即使是最簡單的BERT-base模型，其效果已經(jīng)超過了絕大部分普通基線模型。AEN-BERT、BERT-SPC和BAT為了充分發(fā)揮BERT的強(qiáng)大優(yōu)勢(shì)，設(shè)計(jì)了合適的網(wǎng)絡(luò)結(jié)構(gòu)和子模塊來引導(dǎo)整個(gè)模型滿足方面詞情感分析任務(wù)的要求，取得了令人矚目的成績。DFAOA-BERT則憑借雙特征AOA機(jī)制，無論是在準(zhǔn)確度還是Macro-F1分?jǐn)?shù)上，都獲得了比上述基線更理想的結(jié)果，證明了整體模型在解決方面詞情感分析任務(wù)上的優(yōu)秀能力。

3.4 子模塊的有效性實(shí)驗(yàn)

為驗(yàn)證DFAOA-BERT模型中主要子模塊的設(shè)計(jì)合理性，本文進(jìn)行了相應(yīng)的補(bǔ)充實(shí)驗(yàn)。結(jié)果如表3所示。其中，“w/o”(without)代表去除，“G”代表全局特征提取器，“L”代表局部特征提取器，“cdw”代表語境動(dòng)態(tài)加權(quán)模塊。所有實(shí)驗(yàn)均在顯卡NVIDIA Tesla P100上進(jìn)行。最優(yōu)秀的結(jié)果加粗表示。

表3 DFAOA-BERT模型與其變種的實(shí)驗(yàn)結(jié)果對(duì)比Table 3 Comparison of experimental results between DFAOA-BERT model and its variants %

可以清楚地看到，缺少任一模塊，DFAOABERT模型的效果都將有著明顯的下降。全局特征提取器的缺失對(duì)整體效果影響最大，這說明了全局語義特征對(duì)于本任務(wù)的重要性。最難判斷的句子往往具有一個(gè)特點(diǎn)，即情感指示詞會(huì)出現(xiàn)在模型意想不到的位置，因此，僅依靠局部特征提取器將會(huì)因位置問題而在很大概率上忽視情感指示詞的作用，導(dǎo)致情感判斷產(chǎn)生關(guān)鍵性錯(cuò)誤。

在筆記本評(píng)論數(shù)據(jù)集和Twitter評(píng)論數(shù)據(jù)集上，局部特征提取器和全局特征提取器的缺失所帶來的效果下降幅度相近。這兩者在整體模型中有著相輔相成的關(guān)系，全局特征提取器能夠顧及全面的語義信息但卻沒有突出重點(diǎn)，局部特征提取器則相反，可以充分捕捉方面詞鄰近語境的語義特征但卻難以考慮全面。兩個(gè)提取器對(duì)DFAOABERT的作用都非常關(guān)鍵。而語境動(dòng)態(tài)加權(quán)模塊作為局部特征提取器所獨(dú)有的注意力機(jī)制設(shè)計(jì)，較為顯著地提升了局部特征提取器的表現(xiàn)效果。

通過上述補(bǔ)充實(shí)驗(yàn)，可以驗(yàn)證DFAOA-BERT各子模塊在本任務(wù)上的有效性。

3.5 結(jié)果分析與改進(jìn)

根據(jù)上述的實(shí)驗(yàn)結(jié)果，可以發(fā)現(xiàn)，與之前的模型相比，DFAOA-BERT的綜合表現(xiàn)較為優(yōu)異。無論是全局、局部特征提取器的設(shè)計(jì)，還是語境動(dòng)態(tài)加權(quán)模塊的引入，都對(duì)整體模型的效果有著顯著的正面作用。

但DFAOA-BERT依然存在一定的改進(jìn)空間。對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行橫向?qū)Ρ龋梢杂^察到，DFAOABERT在餐館數(shù)據(jù)集上的表現(xiàn)非常優(yōu)異，而在處理筆記本數(shù)據(jù)集和Twitter數(shù)據(jù)集時(shí)會(huì)呈現(xiàn)出明顯的準(zhǔn)確度下降。出現(xiàn)該問題的主要原因在于，筆記本數(shù)據(jù)集和Twitter數(shù)據(jù)集中存在較多拼寫錯(cuò)誤與無意義的標(biāo)記，從而對(duì)模型的語義特征抽取和情感分類造成了很大的困難。將AEN-BERT與DFAOA-BERT進(jìn)行對(duì)比，可以觀察到，雖然DFAOA-BERT在餐館數(shù)據(jù)集上有著顯著的優(yōu)勢(shì)，但在筆記本和Twitter數(shù)據(jù)集上的表現(xiàn)卻和AENBERT差別不大。這是因?yàn)锳EN-BERT在語義編碼和特征抽取模塊上有著更為合適的設(shè)計(jì)，它針對(duì)方面詞情感分析任務(wù)專門設(shè)計(jì)了一套注意力機(jī)制來生成語義表示并提取特征，而非使用大多數(shù)模型所選取的LSTM。因此，DFAOA-BERT在處理低質(zhì)量數(shù)據(jù)集方面仍存在上升空間，可通過設(shè)計(jì)合理的注意力機(jī)制來改進(jìn)語義編碼和特征抽取模塊，減小模型對(duì)數(shù)據(jù)質(zhì)量的依賴程度。

此外，BERT的領(lǐng)域內(nèi)精調(diào)以及方面詞抽取模塊的引入，也是提升DFAOA-BERT效果的兩種改進(jìn)方向。BERT的領(lǐng)域內(nèi)精調(diào)是指對(duì)基礎(chǔ)的BERT模型進(jìn)行一定調(diào)整，使用額外的領(lǐng)域內(nèi)語料資源來增強(qiáng)BERT在該領(lǐng)域的語義表示能力，從而幫助整體模型獲得更優(yōu)秀的情感判斷能力。方面詞抽取模塊的引入則相當(dāng)于使用一個(gè)模型來同時(shí)完成方面詞情感分析任務(wù)和方面詞抽取任務(wù)，而這兩個(gè)任務(wù)所涉及的模型參數(shù)存在相輔相成的效應(yīng)，在Li等[26]以及Hu等[27]的實(shí)驗(yàn)中被證明能夠有效提升整體模型的效果。因此，DFAOABERT可通過以上兩種改進(jìn)思路，增強(qiáng)方面詞情感分析能力。

4 結(jié)束語

本文針對(duì)當(dāng)前方面詞情感分析任務(wù)研究中存在的不足，設(shè)計(jì)了DFAOA-BERT模型。該模型首次將AOA與BERT預(yù)訓(xùn)練語言模型相結(jié)合，能夠有效提取指定方面詞的情感特征。而全局和局部特征提取器的設(shè)計(jì)，則使得模型既能顧及整個(gè)句子的全局語義信息，還能有目的性地弱化情感干擾項(xiàng)的不利影響。實(shí)驗(yàn)證明，DFAOA-BERT在SemEval 2014任務(wù)4中的餐館評(píng)論數(shù)據(jù)集、筆記本評(píng)論數(shù)據(jù)集以及ACL-14 Twitter社交評(píng)論數(shù)據(jù)集上均取得了優(yōu)異的成績，而子模塊的有效性實(shí)驗(yàn)也充分說明了DFAOA-BERT各個(gè)模塊設(shè)計(jì)的合理性，任何部分的缺失都將對(duì)模型的效果產(chǎn)生顯著的不利影響。

盡管DFAOA-BERT模型在多個(gè)數(shù)據(jù)集上都有著不錯(cuò)的表現(xiàn)，但它仍存在一定的提升空間。本文分析了一些模型的設(shè)計(jì)優(yōu)勢(shì)，闡釋了DFAOABERT存在的不足，并從多個(gè)角度提出了改進(jìn)方向與策略方案，以期增強(qiáng)DFAOA-BERT的情感判斷能力與處理低質(zhì)量數(shù)據(jù)時(shí)的穩(wěn)定性。