基于卷積注意力的情感增強(qiáng)微博立場(chǎng)檢測(cè)

耿源羚，張紹武，張益嘉，林鴻飛，楊亮

（大連理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，遼寧 大連 116024）

0 引言

隨著互聯(lián)網(wǎng)的快速發(fā)展和社交媒體的廣泛應(yīng)用，越來(lái)越多的人傾向于在互聯(lián)網(wǎng)上發(fā)表自己對(duì)新聞時(shí)事、商品優(yōu)劣等的評(píng)論及看法［1］。這些評(píng)論往往包含著輿情走向、用戶(hù)消費(fèi)習(xí)慣等信息，為政府、企業(yè)等機(jī)構(gòu)提供了重要的決策依據(jù)［2］。立場(chǎng)檢測(cè)任務(wù)旨在挖掘評(píng)論中的態(tài)度和立場(chǎng)。因此，立場(chǎng)檢測(cè)任務(wù)成為自然語(yǔ)言處理中的重要研究熱點(diǎn)之一。另外，基于Twitter數(shù)據(jù)的立場(chǎng)檢測(cè)任務(wù)［3］SemEval-2016Task6和基于微博數(shù)據(jù)的立場(chǎng)檢測(cè)任務(wù)［4］NLPCC-2016 Chinese Stance Detection Shared Task公布后，進(jìn)一步促進(jìn)了立場(chǎng)檢測(cè)任務(wù)的研究和發(fā)展。

立場(chǎng)檢測(cè)任務(wù)的目的是通過(guò)分析用戶(hù)對(duì)特定話題的評(píng)論，檢測(cè)用戶(hù)對(duì)該話題的立場(chǎng)傾向性是支持、反對(duì)還是中立的［5］。該任務(wù)與傳統(tǒng)的三分類(lèi)情感任務(wù)相似，但不同的是，立場(chǎng)檢測(cè)需要結(jié)合具體目標(biāo)話題進(jìn)行判斷，而情感分析則不考慮任何話題；與方面級(jí)情感分類(lèi)任務(wù)相比，在立場(chǎng)檢測(cè)任務(wù)中，文本信息不會(huì)明確提及具體話題信息。另外，微博立場(chǎng)檢測(cè)任務(wù)中的數(shù)據(jù)還有著語(yǔ)法隨意，文本短小等特點(diǎn)。例如，針對(duì)話題“深圳禁摩限電”而言，其相關(guān)文本“最反感這些拉客的！還有在機(jī)動(dòng)車(chē)道上行駛的”的情感極性是消極的，而且該文本中沒(méi)有顯示出現(xiàn)特定話題信息，無(wú)法單獨(dú)根據(jù)文本判斷其立場(chǎng)傾向，但結(jié)合了話題信息后，檢測(cè)該文本的立場(chǎng)傾向性是支持的。因此，捕捉文本中與對(duì)應(yīng)話題的相關(guān)特征是立場(chǎng)檢測(cè)任務(wù)的重點(diǎn)。

在近期的立場(chǎng)檢測(cè)研究中，幾乎所有的工作都是圍繞如何將話題信息與文本信息相結(jié)合而展開(kāi)的。Augenstein等［6］將話題信息和文本信息進(jìn)行拼接，然后使用BiLSTM（雙向長(zhǎng)短期記憶網(wǎng)絡(luò)）對(duì)其共同編碼以用于分類(lèi)。Du等［7］和Wei等［8］提出了針對(duì)特定目標(biāo)話題的注意力機(jī)制，利用注意力機(jī)制有效地捕捉了文本中與目標(biāo)話題信息有關(guān)的部分，從而改善了模型表現(xiàn)。Bai等［9］和Wang等［10］將 CNN（卷積神經(jīng)網(wǎng)絡(luò)）抽取的局部信息與注意力機(jī)制結(jié)合以捕捉與話題相關(guān)信息，有效提高了模型預(yù)測(cè)結(jié)果。然而上述方法仍存在不足，其通過(guò)CNN模型抽取的局部信息，雖然能顯著表示文本特征［11］，但是往往會(huì)因?yàn)槿狈?duì)話題信息的關(guān)注，而丟失文本與話題的相關(guān)特征，從而導(dǎo)致注意力機(jī)制無(wú)法完全捕捉文本信息與話題信息相關(guān)特征而干擾分類(lèi)輸出，使得任務(wù)結(jié)果無(wú)法進(jìn)一步提升。

另外，挖掘并結(jié)合文本中蘊(yùn)含的情感信息已被證明有助于提高立場(chǎng)檢測(cè)的結(jié)果［12］。但是由于文本情感傾向和立場(chǎng)傾向存在不一致的情況，如引言中的例子，文本的情感傾向是消極的，而立場(chǎng)傾向是支持的，使得目前中文微博立場(chǎng)檢測(cè)研究還未充分展開(kāi)對(duì)引入情感信息的探討。雖然 Sun 等［13］和 Li等［14］通過(guò)多任務(wù)學(xué)習(xí)等方法在英文Twitter數(shù)據(jù)集上引入情感資源嘗試解決該問(wèn)題，但是由于微博立場(chǎng)檢測(cè)數(shù)據(jù)與Twitter立場(chǎng)檢測(cè)數(shù)據(jù)的標(biāo)注不同，其中微博立場(chǎng)檢測(cè)數(shù)據(jù)僅有立場(chǎng)標(biāo)簽，而沒(méi)有情感標(biāo)簽，另外由于中文情感資源相對(duì)缺乏以及中文與英文存在如句法結(jié)構(gòu)不同等本質(zhì)語(yǔ)言差異，無(wú)法將已有的英文情感增強(qiáng)立場(chǎng)檢測(cè)方法用于中文立場(chǎng)檢測(cè)中。

針對(duì)由于提取文本特征時(shí)缺乏結(jié)合話題相關(guān)特征，以及忽略了情感信息對(duì)立場(chǎng)檢測(cè)的影響而導(dǎo)致分類(lèi)效果差的問(wèn)題，另外考慮到中文立場(chǎng)檢測(cè)中情感特征與英文立場(chǎng)檢測(cè)的情感特征存在資源、句法和使用習(xí)慣等的差異，無(wú)法將英文情感增強(qiáng)立場(chǎng)檢測(cè)方法直接遷移，因此本文提出基于卷積注意力的情感增強(qiáng)微博立場(chǎng)檢測(cè)模型（BERT-SECA）。該模型通過(guò)卷積注意力將話題信息引入文本特征提取過(guò)程，獲得文本與話題相關(guān)特征的卷積注意力權(quán)重，通過(guò)情感增強(qiáng)模塊中的詞語(yǔ)級(jí)情感增強(qiáng)和句子級(jí)情感增強(qiáng)挖掘文本的局部情感特征和整體情感特征，然后將局部情感特征與卷積注意力權(quán)重交互，得到針對(duì)話題的情感表示向量，再拼接整體情感特征得到最終的句向量，最后通過(guò)多層感知機(jī)和Softmax得到立場(chǎng)傾向。

1 相關(guān)工作

早期的立場(chǎng)檢測(cè)研究大多集中于解決在線辯論中的立場(chǎng)問(wèn)題，大部分研究人員嘗試了將人工提取特征與傳統(tǒng)機(jī)器學(xué)習(xí)方法相結(jié)合的方法，其中人工提取特征包括結(jié)構(gòu)特征［15］、語(yǔ)法特征［16］和語(yǔ)義特征［17］等。

隨著社交媒體的快速發(fā)展，越來(lái)越多的用戶(hù)更加習(xí)慣于直接在社交媒體上發(fā)表自己的觀點(diǎn)，因此立場(chǎng)檢測(cè)也廣泛用于社交媒體產(chǎn)生的大量文本中，目前已有的立場(chǎng)檢測(cè)方法主要有基于特征的機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法。

對(duì)于基于特征的機(jī)器學(xué)習(xí)方法，Tutek等［18］提取詞匯特征和基于特定任務(wù)的特征，利用基于支持向量機(jī)（SVM）、隨機(jī)森林（RF）、梯度提升（GB）和邏輯回歸（LR）的集成學(xué)習(xí)算法對(duì)各個(gè)特征進(jìn)行分類(lèi)預(yù)測(cè)，得到文本的立場(chǎng)標(biāo)簽。Sun等［19］提取了詞匯特征，形態(tài)特征，語(yǔ)義特征和語(yǔ)法特征，通過(guò)SVM分類(lèi)器以獲得立場(chǎng)傾向性。Dian等［20］融合了多種文本特征，包括詞袋特征，話題詞與立場(chǎng)詞的共現(xiàn)特征等，使用SVM等機(jī)器學(xué)習(xí)分類(lèi)器對(duì)上述特征進(jìn)行立場(chǎng)分類(lèi)，取得了相對(duì)優(yōu)秀的結(jié)果。

近年來(lái)，隨著計(jì)算機(jī)算力的不斷增強(qiáng)、神經(jīng)網(wǎng)絡(luò)方法的不斷完善，以及深度學(xué)習(xí)方法可以利用多層神經(jīng)網(wǎng)絡(luò)自動(dòng)捕捉文本特征的特點(diǎn)，使得基于深度學(xué)習(xí)方法的立場(chǎng)檢測(cè)研究成了新的熱點(diǎn)。早期的深度學(xué)習(xí)相關(guān)工作都是以單一的卷積神經(jīng)網(wǎng)絡(luò)或循環(huán)神經(jīng)網(wǎng)絡(luò)為研究模型，其中Vijayaraghavan等［21］通過(guò)分別構(gòu)建字符級(jí)和詞語(yǔ)級(jí)CNN模型以提取文本特征用于分類(lèi)；Zarrella等［22］采用了LSTM（長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)）模型，并利用遷移學(xué)習(xí)將其他領(lǐng)域知識(shí)用于立場(chǎng)檢測(cè)。但是由于這些工作沒(méi)有考慮文本信息與話題信息的相關(guān)部分，因而其結(jié)果無(wú)法得到進(jìn)一步的提升。為解決此問(wèn)題，特定目標(biāo)的注意力機(jī)制被引入，以捕捉文本中與話題相關(guān)部分［7-8］，使得結(jié)果得到改善。Yue等［23］提出了基于兩段注意力機(jī)制的立場(chǎng)檢測(cè)模型，通過(guò)在文本表示和分類(lèi)輸出兩個(gè)階段利用注意力機(jī)制，從而使得話題信息與文本信息進(jìn)行深度的交互。為了深度挖掘文本特征，越來(lái)越多的研究采用了多種神經(jīng)網(wǎng)絡(luò)集成的方法，Zhang等［24］提出一種基于詞向量技術(shù)和CNN-BiLSTM的深度融合模型，首先利用卷積神經(jīng)網(wǎng)絡(luò)提取文本向量的局部特征，再運(yùn)用BiLSTM網(wǎng)絡(luò)提取文本的全局特征以提高微博立場(chǎng)文本分類(lèi)結(jié)果，Yang等［25］提出基于依存語(yǔ)法樹(shù)的GCN（圖卷積神經(jīng)網(wǎng)絡(luò)）和BiLSTM獲取文本特征的立場(chǎng)檢測(cè)模型，進(jìn)一步提高了微博立場(chǎng)檢測(cè)的結(jié)果，另外在英文Twitter立場(chǎng)檢測(cè)數(shù)據(jù)集上，Sun等［26］將多種語(yǔ)言結(jié)構(gòu)特征與層次化注意力神經(jīng)網(wǎng)絡(luò)結(jié)合，并發(fā)現(xiàn)自動(dòng)學(xué)習(xí)情感信息的重要性，隨后利用聯(lián)合模型同時(shí)檢測(cè)立場(chǎng)和情感［13］；Li等［14］受其啟發(fā)，提出了基于情感和立場(chǎng)的詞典的多任務(wù)學(xué)習(xí)立場(chǎng)檢測(cè)，使得Twitter立場(chǎng)檢測(cè)任務(wù)結(jié)果有所提升。

在以上利用多種神經(jīng)網(wǎng)絡(luò)集成的立場(chǎng)檢測(cè)模型中，雖然能夠通過(guò)深度挖掘文本特征有效增強(qiáng)立場(chǎng)分類(lèi)，但是由于獲取文本特征時(shí)，忽略了與話題相關(guān)的特征，而導(dǎo)致模型性能不能進(jìn)一步提升。針對(duì)此問(wèn)題，本文提出卷積注意力以同時(shí)關(guān)注文本的局部特征和文本與對(duì)應(yīng)話題的相關(guān)特征。

立場(chǎng)檢測(cè)結(jié)合情感信息在英文Twitter數(shù)據(jù)集上已初步嘗試［13-14］，但由于中文情感資源的缺乏以及中英文語(yǔ)言間本質(zhì)上的差異，中文微博立場(chǎng)檢測(cè)無(wú)法直接利用已有的情感增強(qiáng)立場(chǎng)檢測(cè)模型，因此本文從詞語(yǔ)級(jí)情感挖掘和句子級(jí)情感挖掘兩個(gè)維度挖掘微博立場(chǎng)檢測(cè)中文本的情感信息，以輔助立場(chǎng)檢測(cè)任務(wù)。另外，Devlin等［27］提出的預(yù)訓(xùn)練模型BERT（基于變換器的雙向編碼器表示技術(shù)），能夠獲得表示包含上下、左右文信息的句向量，通過(guò)引入BERT對(duì)微博立場(chǎng)檢測(cè)數(shù)據(jù)表示，使任務(wù)結(jié)果得到有效提升［11］。因此本文引入BERT預(yù)訓(xùn)練模型對(duì)文本信息和話題信息進(jìn)行編碼，提出基于卷積注意力的情感增強(qiáng)立場(chǎng)檢測(cè)模型BERT-SECA。

2 BERT-SECA模型

本文針對(duì)已有的微博立場(chǎng)檢測(cè)模型存在提取文本特征時(shí)，缺乏關(guān)注話題相關(guān)特征，以及忽略了情感信息對(duì)立場(chǎng)檢測(cè)的影響而導(dǎo)致分類(lèi)效果差的問(wèn)題，提出了基于卷積注意力的情感增強(qiáng)微博立場(chǎng)檢測(cè)模型BERT-SECA，該模型結(jié)構(gòu)如圖1所示。其主要分為獲取文本與話題的卷積注意力權(quán)重和提取情感特征兩個(gè)部分。首先將話題信息引入卷積注意力層，在獲取文本特征的同時(shí)關(guān)注話題相關(guān)特征，從而得到卷積注意力權(quán)重；然后將提取后的情感特征與卷積注意力權(quán)重交互，通過(guò)多層感知機(jī)和Softmax分類(lèi)以得到立場(chǎng)類(lèi)別。接下來(lái)將介紹各部分實(shí)現(xiàn)的具體步驟。

圖1 BERT-SECA模型的結(jié)構(gòu)Fig.1 Structure of the BERT-SECA model

2.1 卷積注意力層

目前已有的立場(chǎng)檢測(cè)模型通過(guò)集成卷積神經(jīng)網(wǎng)絡(luò)以抽取文本的局部信息，雖然能顯著的表示文本特征［11］以有效改善模型性能，但是由于提取特征時(shí)，缺乏對(duì)話題信息的關(guān)注，從而丟失了文本信息和話題信息的部分相關(guān)特征，而導(dǎo)致模型在后續(xù)分類(lèi)表現(xiàn)不佳，而使得其性能到達(dá)瓶頸。為了解決此問(wèn)題，本文提出卷積注意力，以在抽取文本局部特征的同時(shí)，關(guān)注與話題相關(guān)的部分，得到高度關(guān)注話題的卷積注意力權(quán)重，構(gòu)建過(guò)程如圖2所示。

圖2 卷積注意力層的構(gòu)建過(guò)程Fig.2 Construction process of convolutional attention layer

相較于Yue等［23］為獲取詞向量使用的word2vec模型和 Li等［14］使用的 fastText模型，本文所采用的預(yù)訓(xùn)練模型BERT是基于Transformers的多層雙向編碼表示模型，能夠獲得深層雙向表示，從而增強(qiáng)文本表示的語(yǔ)義信息。本文以話題信息拼接對(duì)應(yīng)文本信息的信息對(duì)作為輸入信息 Inputp_air={G，X}，其中文本信息表示為 X={x1，x2，…，xi，…，xm}，m 表示文本的長(zhǎng)度，xi表示為文本中的第i個(gè)token，G={g1，g2，…，gi，…，gn}代表該文本對(duì)應(yīng)的話題信息，n表示話題信息的長(zhǎng)度。利用BERT對(duì)話題信息和文本信息進(jìn)行編碼，得到對(duì)應(yīng)的上下文表示 hG，hX：

n為話題信息的長(zhǎng)度，m為文本信息的長(zhǎng)度，而d為詞向量的維度。

為了將話題信息引入到提取局部特征的過(guò)程中，首先將話題中的詞向量進(jìn)行平均作為話題向量hv∈Rd，然后將其以文本長(zhǎng)度擴(kuò)充后，與文本向量拼接得到hP∈Rm*2d，從而在抽取局部特征時(shí)，充分與話題信息交互。利用卷積過(guò)濾器 WP∈Rk*2d，偏差項(xiàng) bP∈R，激活函數(shù)elu［28］，對(duì)其進(jìn)行卷積操作如公式3所示。另外由于通過(guò)多個(gè)卷積過(guò)濾器可以抽取多種文本局部特征，本文采用T個(gè)卷積過(guò)濾器以更多地抽取文本特征和與話題相關(guān)特征。

為了獲得文本中每個(gè)字符與話題信息的相關(guān)特征，在卷積操作時(shí)，通過(guò)padding操作，使得卷積所得到的特征向量

與輸入文本有著相同長(zhǎng)度。由于最大池化策略?xún)?yōu)于其他池化策略［29］，本文在獲取文本和話題相關(guān)特征后，為最大化文本中每個(gè)字符與話題的相關(guān)特征并且使模型后續(xù)更加關(guān)注與話題相關(guān)的特征，通過(guò)最大池化策略和歸一化后獲得卷積注意力權(quán)重。由公式4和5可以獲得文本中每個(gè)字符與話題信息的卷積注意力權(quán)重αi。

其中表示特征向量CP轉(zhuǎn)置后的列向量。

本文不僅考慮了與文本與話題相關(guān)的特征，而且同樣關(guān)注了文本信息本身的特征，從而使最終的句向量包含更多特征以泛化模型。為抽取文本本身的特征，將通過(guò)BERT編碼的文本信息hX以T個(gè)卷積過(guò)濾器WX∈Rk*d，偏差項(xiàng)bX∈R進(jìn)行卷積操作如公式6，然后將該特征信息與卷積注意力權(quán)重點(diǎn)乘后得到特征表示r={r1，r2，…，ri}∈RT*m，其中ri的計(jì)算過(guò)程如公式7所示，通過(guò)最大池化策略來(lái)獲得最終的句子表示向量Q={Q1，Q2，…，Qi}∈RT，Qi的計(jì)算過(guò)程如公式8所示。

2.2 情感增強(qiáng)

用戶(hù)在表達(dá)對(duì)特定話題所持立場(chǎng)時(shí)，其中往往會(huì)伴隨著對(duì)該話題的情感，該情感信息與立場(chǎng)傾向性有一定的相關(guān)性，因此識(shí)別文本中的情感信息對(duì)立場(chǎng)檢測(cè)任務(wù)是有促進(jìn)作用的［12］。例如，針對(duì)話題“春節(jié)放鞭炮”，其相關(guān)微博“春節(jié)真美好啊！有紅包，還可以放鞭炮”，根據(jù)其中的情感正向詞“真美好”可以判斷該微博的情感是正向的，當(dāng)結(jié)合話題時(shí)，可以推斷出用戶(hù)對(duì)于話題“春節(jié)放鞭炮”的立場(chǎng)是支持的，因此通過(guò)情感詞與話題信息的相關(guān)性可以促進(jìn)立場(chǎng)檢測(cè)［14］。但是由于文本的情感傾向性和立場(chǎng)傾向性并不是一直保持一致，所以不能簡(jiǎn)單地提取文本的情感特征以輔助立場(chǎng)檢測(cè)。雖然在英文Twitter立場(chǎng)檢測(cè)任務(wù)中，通過(guò)多任務(wù)等方法以同時(shí)判斷情感和立場(chǎng)有助于緩解該問(wèn)題，但是由于中文情感資源相對(duì)缺乏，且中英文語(yǔ)言間存在句法、使用習(xí)慣等本質(zhì)區(qū)別，所以無(wú)法將Twitter立場(chǎng)檢測(cè)中的方法在微博立場(chǎng)檢測(cè)中有效利用。

本文通過(guò)詞語(yǔ)級(jí)情感增強(qiáng)和句子級(jí)情感增強(qiáng)以解決上述問(wèn)題，首先抽取詞語(yǔ)級(jí)的情感信息并與卷積注意力權(quán)重交互實(shí)現(xiàn)針對(duì)話題信息的情感增強(qiáng)，然后拼接句子級(jí)的情感信息以全面結(jié)合情感傾向和立場(chǎng)傾向。接下來(lái)將詳細(xì)介紹情感增強(qiáng)的具體步驟。

2.2.1 詞語(yǔ)級(jí)情感增強(qiáng)

文本中的情感信息，如2.2章節(jié)例子中話題“春節(jié)放鞭炮”的相關(guān)微博中的“真美好”，它的情感傾向是積極的，該情感極性是無(wú)關(guān)話題的，不會(huì)隨著話題的改變而改變，因此可以通過(guò)外部數(shù)據(jù)訓(xùn)練得到的情感預(yù)訓(xùn)練模型，獲得微博立場(chǎng)檢測(cè)數(shù)據(jù)中的詞語(yǔ)情感表示。

首先通過(guò)公開(kāi)的微博情感分類(lèi)數(shù)據(jù)訓(xùn)練得到情感分類(lèi)模型，將微博情感分類(lèi)數(shù)據(jù)表示為S={S1，S2，…，Si}，利用 BERT 對(duì)其編碼得到上下文表示 hS={hS1，hS2，…，hSi}，計(jì)算過(guò)程與公式1相似。SCLS作為文本信息的聚合表示，將其輸入到多層感知機(jī)層和Softmax分類(lèi)層后，得到情感傾向性SY：

其中，BertPooler為BERT中的池化函數(shù)。

經(jīng)上述訓(xùn)練后得到的情感BERT模型，（SentBERT），不僅可以表示文本語(yǔ)義信息，而且可以一定程度上表示文本的情感信息。將微博立場(chǎng)檢測(cè)的文本信息通過(guò)SentBERT模型進(jìn)行編碼，得到的上下文表示：

將該上下文表示hsentX替代公式6中的hX，得到特征向量CsentX，再通過(guò)公式7、8，使得帶有情感信息的文本表示與卷積注意力權(quán)重交互，實(shí)現(xiàn)針對(duì)話題的詞語(yǔ)級(jí)情感增強(qiáng)，最終得到帶有情感的句子表示向量Qsent。

2.2.2 句子級(jí)情感增強(qiáng)

為了避免過(guò)多地關(guān)注局部特征而影響判斷，本文通過(guò)拼接句子級(jí)情感信息以更加全面地進(jìn)行檢測(cè)。對(duì)于微博立場(chǎng)檢測(cè)中的文本信息X={x1，x2，…，xi，…，xm}，為獲得其句子級(jí)情感信息表示 Xemo，受 Zhang 等［30］的啟發(fā)，本文采用了情感分類(lèi)特征、情感詞特征和情感強(qiáng)度特征。

對(duì)于情感分類(lèi)特征，為了豐富語(yǔ)言?xún)A向性表示，本文同時(shí)提取了細(xì)粒度情感分類(lèi)特征和粗粒度情感分類(lèi)特征。本文通過(guò)公開(kāi)的細(xì)粒度情感分類(lèi)器判斷輸入的文本含有某類(lèi)細(xì)粒度情感的概率，該細(xì)粒度情感包括積極情緒：喜愛(ài)、愉快、感謝；消極情緒：抱怨、憤怒、厭惡、恐懼、悲傷以及中性情緒。給定情感分類(lèi)器f和文本信息X，假設(shè)輸出維度為Df。因此細(xì)粒度情感分類(lèi)特征。粗粒度的情感分類(lèi)特征針對(duì)的是文本的正向得分和負(fù)向得分，可通過(guò)字典或公開(kāi)的工具得到文本的粗粒度情感分類(lèi)特征為輸出維度，通常Ds=1。

對(duì)于情感詞特征，基于公開(kāi)可信的情感詞典，針對(duì)其中存在的每種情感計(jì)算情感詞特征。假設(shè)情感詞典中有Dζ種情感，表示為Z={ζ1，ζ2，…，ζDζ}，若存在情感 ζ∈Z，情感詞典則提供該情感對(duì)應(yīng)的情感詞語(yǔ)列表Ωζ={wζ，1，wζ，2，…，wζ，Lζ}，其 中Lζ是 情 感 詞 語(yǔ) 列表 長(zhǎng)度。針對(duì)情感ζ，首先計(jì)算文本中詞語(yǔ)對(duì)于該情感的得分γ(xi，ζ)，如果該詞語(yǔ)屬于對(duì)應(yīng)的情感詞語(yǔ)列表Ωζ，在計(jì)算時(shí)，不僅要考慮該詞語(yǔ)出現(xiàn)的頻率，而且要同時(shí)考慮其前面存在的程度詞和消極詞的權(quán)重，它們的權(quán)重可以通過(guò)情感詞典獲得，如在計(jì)算“我很不高興”文本中對(duì)于“高興”情感得分，需考慮位于“高興”前的“很”（程度詞）和“不”（消極詞）的權(quán)重，計(jì)算過(guò)程如下：

其中w為詞語(yǔ)xi查找程度詞和消極詞的窗口大小，m為文本信息的長(zhǎng)度，neg(xi)，deg(xi)分別為消極詞權(quán)重和程度詞權(quán)重。

然后，通過(guò)將各詞語(yǔ)的情感得分求和，可得到針對(duì)情感ζ的句子情感得分γ(X，ζ)，最后將每種情感的句子情感得分拼接得到文本情感詞特征

針對(duì)同屬于一類(lèi)情感的詞語(yǔ)，存在表達(dá)的情感強(qiáng)度不同的情況，本文通過(guò)情感強(qiáng)度特征將情感強(qiáng)度結(jié)合以充分表示情感信息。比如“激動(dòng)”相較于“開(kāi)心”有更高的強(qiáng)度來(lái)表達(dá)情感。該特征的提取過(guò)程與情感詞特征提取類(lèi)似，不同的是在此過(guò)程中結(jié)合了強(qiáng)度特征，計(jì)算過(guò)程如下所示：

提取到詞語(yǔ)的情感強(qiáng)度特征后，相似于句子的情感詞特征提取過(guò)程，可得到句子的情感強(qiáng)度特征

最終，通過(guò)拼接上述所得特征以得到句子級(jí)情感信息表示Xemo：

2.3 立場(chǎng)分類(lèi)層

將針對(duì)話題進(jìn)行詞語(yǔ)級(jí)情感增強(qiáng)后得到句子表示向量Qsent與句子級(jí)情感信息Xemo拼接后，經(jīng)過(guò)多層感知機(jī)和Softmax得到最后的預(yù)測(cè)結(jié)果，計(jì)算過(guò)程如下：

在模型訓(xùn)練時(shí)，利用交叉熵?fù)p失函數(shù)作為目標(biāo)函數(shù)如公式19所示，通過(guò)最小化該目標(biāo)函數(shù)以獲得最佳網(wǎng)絡(luò)參數(shù)。

其中N為樣本數(shù)目，C為類(lèi)別數(shù)，為真實(shí)的立場(chǎng)標(biāo)簽，代表第i個(gè)樣本是否屬于第j個(gè)類(lèi)別，表示預(yù)測(cè)的立場(chǎng)概率。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)和評(píng)價(jià)指標(biāo)

本文采用NLPCC-2016中文微博立場(chǎng)檢測(cè)任務(wù)的數(shù)據(jù)集①。該數(shù)據(jù)集已標(biāo)注立場(chǎng)傾向的數(shù)據(jù)接近3 000條，未標(biāo)注的數(shù)據(jù)接近1 000條，區(qū)別立場(chǎng)的標(biāo)簽為：“FAVOR”“AGAINST”“NONE”。數(shù)據(jù)集中涉及的話題有：“iPhone SE”“俄羅斯在敘利亞的反恐行動(dòng)”“開(kāi)放二胎”“春節(jié)放鞭炮”“深圳禁摩限電”，其中每個(gè)話題包含600條訓(xùn)練數(shù)據(jù)和200條測(cè)試數(shù)據(jù)。數(shù)據(jù)集的分布如表1所示。

表1 NLPCC數(shù)據(jù)集分布Table 1 Distribution of NLPCC dataset

本文采用的評(píng)價(jià)指標(biāo)是根據(jù)NLPCC-2016的任務(wù)要求，將Favg作為評(píng)測(cè)指標(biāo)，計(jì)算公式如下：

其中Ffavor和Fagainst分別是立場(chǎng)標(biāo)簽為“支持”和“反對(duì)”的F1值，其計(jì)算過(guò)程如下：

其中P和R分別是精確率和召回率。

3.2 實(shí)驗(yàn)參數(shù)設(shè)置

針對(duì)每個(gè)話題，本文將其訓(xùn)練集打亂后，隨機(jī)選取15%的數(shù)據(jù)作為驗(yàn)證集，迭代次數(shù)epochs=150，以調(diào)整參數(shù)獲得最優(yōu)模型，再利用最優(yōu)模型對(duì)測(cè)試集進(jìn)行預(yù)測(cè)，得到最后的實(shí)驗(yàn)結(jié)果。本文采用Pytorch 框架，選用 Cui等［31］提出的 chinese-bertwwm中文預(yù)訓(xùn)練BERT模型對(duì)文本信息進(jìn)行編碼表示。提取句子級(jí)情感信息時(shí)，利用公開(kāi)的百度AI情緒分類(lèi)器獲得細(xì)粒度情感分類(lèi)特征，利用BosonNLP獲得粗粒度情感分類(lèi)特征，利用Hownet［32］和大連理工大學(xué)情感詞匯本體庫(kù)［33］獲得情感詞特征和情感強(qiáng)度特征，各特征維度根據(jù)具體的詞典而定。該模型中的特征維度和其他實(shí)驗(yàn)參數(shù)如表2所示。

表2 模型參數(shù)設(shè)置Table 2 Settings of model parameter

3.3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文所提出的BERT-SECA模型的有效性，將模型在5個(gè)話題單獨(dú)訓(xùn)練的結(jié)果與下列強(qiáng)基線模型的結(jié)果進(jìn)行對(duì)比：

Dian［20］：該模型通過(guò)對(duì)比不同立場(chǎng)特征的實(shí)驗(yàn)結(jié)果后，對(duì)立場(chǎng)特征進(jìn)行融合的機(jī)器學(xué)習(xí)

①http://tcci.ccf.org.cn/conference/2016/模型。

TAN［7］：該模型通過(guò)BiLSTM 提取文本特征，利用注意力機(jī)制捕捉了文本與話題的相關(guān)特征，實(shí)現(xiàn)了針對(duì)特定話題注意力機(jī)制的深度學(xué)習(xí)模型。

ATA［23］：該模型是在 TAN 模型基礎(chǔ)上，利用注意力機(jī)制分別將話題信息和文本信息在表示和分類(lèi)兩個(gè)階段相結(jié)合的兩階段注意力深度學(xué)習(xí)模型。

BCC［10］：該模型是通過(guò)BERT得到句向量，再將話題信息和文本信息通過(guò)CNN交互的深度學(xué)習(xí)模型。該模型目前取得了該任務(wù)的最優(yōu)結(jié)果。

CBL［24］：該模型通過(guò)CNN獲得文本局部特征，再結(jié)合BiLSTM捕捉的全局信息以進(jìn)行立場(chǎng)檢測(cè)。

BGA［25］：該模型通過(guò)BiLSTM獲得句子特征，再根據(jù)依存句法樹(shù)構(gòu)建GCN，結(jié)合注意力機(jī)制以檢測(cè)文本立場(chǎng)。

BERT-SECA：該模型為本文提出的模型，基于卷積注意力的情感增強(qiáng)立場(chǎng)檢測(cè)模型。由表3的實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，針對(duì)五個(gè)話題訓(xùn)練結(jié)果的均值而言，由于CBL利用CNN-BiLSTM僅挖掘了文本特征，而未考慮話題信息在立場(chǎng)檢測(cè)中的作用，從而獲得了最差的實(shí)驗(yàn)結(jié)果，TAN模型考慮了話題對(duì)于立場(chǎng)檢測(cè)的影響，在CBL的基礎(chǔ)上提高了3.0%；Dian模型充分考慮了針對(duì)話題的文本的立場(chǎng)特征，相對(duì)于TAN模型取得了較大的提升6.1%；而ATA模型在表示文本信息和分類(lèi)層兩個(gè)階段都引入了注意力機(jī)制，使得話題信息和文本信息相對(duì)于TAN模型有更充分的交互，從而更加精確地捕捉兩者的相關(guān)部分，取得了5.1%的提升，但是它同樣忽略了文本本身的立場(chǎng)特征，所以結(jié)果稍差于Dian模型；BGA模型在結(jié)合話題的基礎(chǔ)上，利用GCN充分捕捉了長(zhǎng)距離詞語(yǔ)的特征信息，將結(jié)果提高了0.4%；而B(niǎo)CC模型引入了BERT對(duì)文本進(jìn)行表示，豐富了文本的語(yǔ)義表示，另外通過(guò)CNN模型提取文本特征，并與話題進(jìn)行交互，取得了目前最優(yōu)的結(jié)果74.4%。本文所提出的模型BERT-SECA充分關(guān)注了文本與話題相關(guān)特征，因此相較于CBL模型提高了15.8%，而對(duì)于使用BiLSTM+Attention架構(gòu)的TAN和ATA，得益于BERT的深度語(yǔ)義表示以及卷積注意力更加關(guān)注話題與文本局部的相關(guān)特征，使得結(jié)果分別提高了12.8%、6.7%，而相對(duì)于Dian，BCC，BGA，本文提出的BERT-SECA還通過(guò)引入了情感信息以增強(qiáng)立場(chǎng)檢測(cè)，因此分別提高了7.7%，6.3%和5.1%。

表3 五個(gè)話題分開(kāi)單獨(dú)訓(xùn)練的實(shí)驗(yàn)結(jié)果Table 3 Experimental results of separate training on five topics

綜上，BERT-SECA相對(duì)于各個(gè)強(qiáng)基線模型分別提高了15.8%、12.8%、6.7%、6.3%和5.1%，證明了同時(shí)捕捉文本特征和關(guān)注話題相關(guān)特征的有效性，以及挖掘情感信息在立場(chǎng)檢測(cè)任務(wù)中重要性。而針對(duì)具體話題而言，BERT-SECA模型通過(guò)情感增強(qiáng)與卷積注意力交互實(shí)現(xiàn)了針對(duì)話題的共同作用，在“春節(jié)放鞭炮”“俄羅斯在敘利亞的反恐行動(dòng)”“開(kāi)放二胎”“深圳禁摩限電”四個(gè)話題上獲得了當(dāng)前的最優(yōu)結(jié)果，相較之前的最優(yōu)結(jié)果，分別提升了5.6%，5.3%，1.3%，3.8%。對(duì)于“iPhone SE”話題而言，模型在提取話題信息與文本信息相關(guān)特征時(shí)，由于英文字符與中文字符的相關(guān)性不大，并且對(duì)于文本中不出現(xiàn)“iPhone SE”話題的文本，更無(wú)法判斷文本針對(duì)該話題的立場(chǎng)，從而導(dǎo)致該話題的結(jié)果稍差于TAN模型，但是相對(duì)于Dian模型、ATA模型、CBL模型、BGA模型和BCC模型，在此話題上分別提高了9.5%，11%，21.6%，7.8%和7.9%。

3.4 消融實(shí)驗(yàn)

為了驗(yàn)證BERT-SECA模型中各部分的有效性，在五個(gè)話題數(shù)據(jù)集上進(jìn)行了下列實(shí)驗(yàn)。

BERT-SECA：本文所提出的模型，其中通過(guò)卷積注意力來(lái)獲得話題和文本相關(guān)信息，通過(guò)情感增強(qiáng)以獲得更豐富的語(yǔ)義表示。

BERT-CNN：為驗(yàn)證抽取文本特征的同時(shí)，關(guān)注與話題的相關(guān)特征的有效性，去掉BERTSECA中的情感增強(qiáng)部分，然后將卷積注意力替換為普通的CNN模型。

BERT-CA：為驗(yàn)證本文提出的卷積注意力的有效性，去掉BERT-SECA中情感增強(qiáng)的部分，僅保留卷積注意力部分。

BERT-SE：為驗(yàn)證本文提出情感增強(qiáng)部分的有效性，去掉BERT-SECA中的卷積注意力，僅僅保留情感增強(qiáng)部分。

BERT：為驗(yàn)證本文所提出模型各部分的有效性，構(gòu)建用于微博立場(chǎng)檢測(cè)的基線BERT模型。將話題信息和文本信息拼接輸入到BERT中進(jìn)行分類(lèi)，為每個(gè)話題微調(diào)一個(gè)BERT分類(lèi)模型。

由表4中的消融實(shí)驗(yàn)結(jié)果所示，BERTCNN模型由于僅僅關(guān)注了文本局部特征，使得結(jié)果稍差于BERT模型，而B(niǎo)ERT-CA模型相對(duì)于BERT-CNN提高了2.2%，說(shuō)明了在提取局部特征時(shí)，同時(shí)關(guān)注話題信息的有效性。BERT-CA模型對(duì)于BERT模型提高了1.4%，證明了本文提出的卷積注意力能夠有效地同時(shí)關(guān)注文本特征和與話題相關(guān)特征。BERT-SE相對(duì)于BERT模型同樣有所提高，其證明了挖掘文本情感信息對(duì)于立場(chǎng)檢測(cè)的重要性，同樣證明了本文提出的情感增強(qiáng)策略能夠有效捕捉中文文本的情感特征，但是由于存在情感傾向和立場(chǎng)傾向不一致的情況，使得提高僅有0.5%，這說(shuō)明僅僅簡(jiǎn)單地增加情感信息并能顯著改善模型性能。BERT-SECA相對(duì)于BERT提高了2.4%，證明本文將卷積注意力情感信息針對(duì)話題結(jié)合的策略有效地緩解了情感傾向和立場(chǎng)傾向不一致的情況。

表4 消融實(shí)驗(yàn)結(jié)果Table 4 Results of ablation experiments

4 結(jié)論

本文提出了基于卷積注意力的情感增強(qiáng)微博立場(chǎng)檢測(cè)BERT-SECA模型，該模型構(gòu)建卷積注意力層以同時(shí)捕捉文本特征和關(guān)注文本與話題的相關(guān)特征，構(gòu)造情感增強(qiáng)模塊挖掘文本情感特征，以輔助立場(chǎng)檢測(cè)任務(wù)，利用其中的詞語(yǔ)級(jí)情感增強(qiáng)和句子級(jí)情感增強(qiáng)分別獲得局部情感特征和整體情感特征，通過(guò)局部情感特征和卷積注意力權(quán)重針對(duì)話題交互，再拼接整體情感特征以解決情感傾向和立場(chǎng)傾向存在不一致的情況。

BERT-SECA模型在NLPCC-2016微博立場(chǎng)檢測(cè)數(shù)據(jù)集上取得了目前最好的任務(wù)結(jié)果，證明了在立場(chǎng)檢測(cè)任務(wù)中，同時(shí)捕捉文本特征和關(guān)注文本與對(duì)應(yīng)話題相關(guān)特征的有效性，以及挖掘并結(jié)合文本情感特征對(duì)于立場(chǎng)檢測(cè)的重要性。通過(guò)消融實(shí)驗(yàn)結(jié)果證明，BERT-SECA模型中的卷積注意力能夠同時(shí)捕捉文本和關(guān)注文本與對(duì)應(yīng)話題的相關(guān)特征，使得結(jié)果得到提升，其同樣證明了該模型將情感增強(qiáng)提取的情感特征與卷積注意力針對(duì)話題結(jié)合的策略，有效地緩解了情感傾向與立場(chǎng)傾向存在的不一致情況。

在未來(lái)工作中，將探索中英語(yǔ)言之間本質(zhì)的語(yǔ)法結(jié)構(gòu)、組織類(lèi)型和語(yǔ)義連貫方式的差異，以研究跨語(yǔ)言的立場(chǎng)檢測(cè)任務(wù)；另外結(jié)合用戶(hù)的社交網(wǎng)絡(luò)信息、背景畫(huà)像信息等信息，以探究多模態(tài)化的立場(chǎng)檢測(cè)。