融合注意力與比較增強學習機制的情感分析

曹 軒，許青林

（廣東工業大學 計算機學院，廣東 廣州 510006）

0 引言

隨著互聯網的發展，越來越多的人通過互聯網平臺發表觀點。各種平臺發表的文本包含了強烈的情感傾向，反映了用戶的不同觀點，這些內容豐富的文本信息是重要的數據資源，對這些海量文本進行情感分析具有重要意義。例如，通過分析人們對同一事件的不同看法，政府可以了解公眾對社會事件和相關政策的看法；通過分析用戶對產品的態度，公司可以優化更加符合公眾需求的產品。情感分析的潛在價值激發了不同領域研究者的關注，如數據挖掘和自然語言處理。

情感分析又稱意見挖掘［1］，它是分析人們對產品和服務的態度和主觀感受。文本情感分析主要對包含情感的文本進行分析、處理、歸納和推理［2］。當前，情感分析的主要方法有基于規則的方法和機器學習方法。與條件隨機場等傳統的機器學習方法相比，深度學習不需要人的干預，但需要海量數據來訓練?；谏疃葘W習的方法自動從不同神經網絡中提取特征，并從自己的錯誤中學習［3］。神經網絡模型通常由多個抽象的層次構成，并且可以使用非線性激活函數映射到其它層，因此它可以學習文本之間隱藏的深層特征［4］。文本情感分析領域常用的深度學習模型有遞歸神經網絡（Recurrent Neural Network，RNN）、卷積神經網絡（Convolutional Neural Networks，CNN）、長短期記憶網絡（Long Short-Term Memory，LSTM）［5］。研究發現，CNN能夠準確地從局部句子中提取局部信息，而LSTM 能夠更有效地跨距離提取上下文語義信息。同時，通過引入注意力機制過濾非相關信息，可提高模型的分類精度。

注意力機制最開始在計算機視覺［6］領域提出，并逐漸進入自然語言處理［7］領域。這種機制的目的是允許模型集中在重要對象上，這些對象在數學上表示為加權和。在Vaswani 等［8］的論文中構想了本文所應用的注意力機制。

上下文語義信息對于自然語言處理任務尤為重要，它代表文本的邏輯和結構。雖然CNN 和注意力機制可以分別獲得局部結構和全局結構，但很難準確獲取上下文語義信息。Cho 等［9］所構想出來的門循環單元（Gated Recurrent Unit，GRU）是LSTM 的一個變體。與LSTM 相比，GRU 擁有相對簡單的體系結構，在一定程度上提高了模型訓練效率。雙向門控循環單元神經網絡由前向傳播的GRU 和后向傳播的GRU 組成。前向和后向GRU 的輸出狀態是相連的，共同構成了神經網絡。

現有的深層神經網絡情感分析模型必須使用大量參數。本文在已有的深度神經網絡架構上，引入比較增強學習機制以增強模型的學習能力，使用文本本身進行比較。比較是人們日常生活中最直觀、最有效的分類方式。人們總是借助比較的方式來學習新事物。本文將情感分析任務重新定義為一個比較問題，避免使用太復雜的擬合學習模式，通過將文本向量與標記樣本進行比較計算來獲得相似得分。

本文的主要貢獻總結如下：

（1）提出了一種充分利用雙向門控循環單元（Bidirectional Gated Recurrent Unit，BiGRU）和CNN 優勢的情感分析模型，該模型可以獲得更為準確的情感特征來應對復雜的情感分析任務。

（2）在利用BiGRU、CNN 和注意力構建深層神經網絡基礎上，使用比較增強學習機制對模型進行改進。

（3）使用公共數據集來驗證本文模型的有效性，并將其與一些經典方法進行比較。實驗結果表明，與幾種基準模型相比，混合網絡情感分析模型（BGC-ACES）可以提高模型性能。

1 相關工作

1.1 情感分析任務

情感分析任務根據分類目標的不同分為二分類任務和多分類任務，在很多情況下，學者將文本的情感極性分為積極和消極兩類，通常稱為二分分類任務。這種簡單的分類方法可以應用于許多實際情況，例如分析用戶對某項商品或文學作品是否褒義，分析某種社會事件的輿論導向是否正確。在研究過程中，二分類也是評估模型分類能力的一項常見任務。

除此之外，多分類任務可分為情感層次分類和情感細分類。層次分類將文本的情感從消極到積極分為幾個層次。細粒度的情感以情緒的類別作為基礎來分類。這種分類沒有共同標準，它通常視研究的問題而自定，如情感可分為喜悅、憤怒、悲傷、驚訝、厭惡、恐懼和中性。

1.2 情感分析方法

文本情感分析方法可分為情感詞典法和機器學習法兩大類，構建情感詞典并將其作為工具是判斷文本情感極性的傳統方法［10］。大多數情感詞典都需要人工構建，情感詞具有較強的指示能力，是判別文本是否具有情感傾向的重要指標之一。當輸入文本時，它與字典的內容相匹配，在文本中尋找情感詞來確定文本的情感極性。然而，情感詞典方法有著自身的空白地帶，它沒有覆蓋足夠的情感表達形式以及新的情感表達形式，使得情感判斷的準確性相對較低。

機器學習方法與大量依賴人工工作的情感詞典方法相比優勢明顯。文本情感分析的機器學習方法主要分為有監督情感分析和無監督情感分析。監督情感分析的基本原理是使用標記文本訓練模型，使用訓練模型對未標記文本進行情感分析。除了支持向量機（Support Vector Machines，SVM）、樸素貝葉斯（Naive Bayesian，NB）等傳統的機器學習方法，還有如RNN 和CNN 等深度學習方法。Pang等［11］應用SVM、NB 和最大熵（maximum entropy，MaxEnt）3種具有代表性的分類器對文本情感分析任務進行實驗研究，取得了較高的準確率；Kim［12］提出TextCNN 分類，成為情感分析任務的重要基準之一；Brueckner 等［13］在情感分析任務中使用BiLSTM（Bidirectional Long Short-Term Memory，BiLSTM），利用雙向傳播機制提取前向信息和后向信息來獲得更深層次的特征；蘇靈松等［14］利用卷積神經雙通道記憶網絡分別提取語義和情感特征；Wang 等［15］提出一種基于注意力機制（Attention Mechanism）的LSTM 用于方面情感分類，當以不同的方面作為輸入時，注意力機制可以集中在句子的不同部分；Shen 等［16］提出一種新的LSTM，稱為ON-LSTM，用于處理自然語言問題，在LSTM 中，神經元特定有序地表達更豐富的信息；朱燁等［17］提出了一種新的網絡體系結構CRAN，在遞歸神經網絡與基于卷積的注意力模型相結合基礎上，進一步疊加一個基于注意力的神經模型來建立一個層次情感分類模型。近年來，該領域的新方法越來越多。許多研究者認識到深度學習方法的優點，并將其應用于文本情感分析任務以提高分類準確率。

2 BGC-ACES 模型

2.1 模型整體概述

本文使用一種新的文本情感分析方法設計了BGCACES 模型，該模型采用并行混合網絡通道提取多種特征，由雙向門控循環單元、卷積神經網絡、注意力機制和比較增強學習機制組成，模型總體架構如圖1 所示。

Fig.1 BGC-ACES model structure圖1 BGC-ACES 模型架構

本文模型由多個通道組成，主體為3 個CNN 通道和1個BiGRU 通道，3 個CNN 通道主要用于提取句子之間詞的不同局部特征，BiGRU 通道用于提取句子上下文語義信息。CNN 通道的輸入是句子中的每個詞，第1 層是嵌入層，其作用是將每個輸入的詞映射成向量表示；第2 層是卷積層，主要用于提取詞與詞之間的局部特征，本文將詞嵌入向量的維度設置為200，3 個卷積核大小分別為3、4、5，卷積操作后得到句子的局部特征；第3 層是池化層，該層主要對卷積層獲得的局部特征進行最大池化操作，提取句子之間最重要的特征，丟棄一些不相關和無用的特征，生成固定維數的特征向量，然后將最大池化操作輸出的3 個特征通過注意力機制后，作為比較增強學習機制層輸入的一部分進行拼接，通過3 個不同卷積核將3 個不同特征拼接起來，使接下來的句子情感分類獲得更豐富的特征；第4 層是注意力機制層，主要提取句子之間相對重要的詞信息。

BiGRU 的第1 層也是詞嵌入層，詞嵌入向量的維數設置為200；第2 層和第3 層分別是正向GRU 和反向GRU 結構，其隱藏層大小設置為128。由于當前輸入詞與前后的詞有一定關系，因此輸入序列從前后兩個方向輸入到GRU模型中，利用隱藏層保存前后方向文本信息，再將兩個隱藏層的輸出拼合起來，得到BiGRU 的最終輸出；第4 層同CNN 模型一樣，也是一層注意力機制。

BiGRU 主要用于提取句子中詞的上下文語義信息。為了提取句子中詞的更多特征，結合CNN 通道將這些特征和BiGRU 拼接在一起作為比較增強學習機制的輸入。從詞嵌入層隨機選取35%的樣本模板與其特征拼接在一起，利用隱層神經網絡作為相似函數，得到分類的相似評分。最后對每個樣本的相似評分進行加權求和得到最終結果。

2.2 詞嵌入層

該層的主要功能是將文本語句表現為加權詞向量矩陣。句子中的詞開始通常用One-Hot 編碼表示。One-Hot編碼方法將詞典中的所有詞組合成一個長向量，維數等于詞庫中詞的個數，每個維度對應一個詞。然而每個詞的向量是獨立的，無法充分反映出詞與詞之間的關聯性。當詞數量較大時，維數也會很大，會造成維數災難。

為解決這一問題，研究人員提出了分布式詞向量［18］編碼。其核心思想是將詞表示為低維連續密集向量，具有相似含義的詞將被映射到向量空間中的相似位置。本文模型使用Word2Vec［19］獲得詞向量。

2.3 局部特征提取

該模塊的主要功能是從上下文信息中提取局部信息，其結構如圖2 所示。

Fig.2 CNN model structure圖2 CNN 模型結構

詞嵌入層的輸出為卷積層輸入，句子中每個詞向量為xi，xi∈Rn×d，其中n是詞數量，d是向量維度。

對其進行卷積操作，使用卷積核對輸入文本句子進行特征提?。?/p>

式中，w為卷積核，h為卷積核尺寸，i:i+h- 1 為i到i+h- 1 個詞組成的句子向量，b為偏置項。通過卷積層后，得到特征矩陣C，C= [c1,c2,…,cn-h+1]。

池化層通過句子的局部特征矩陣C使用max-pooling求得局部值最優解，公式如下：

2.4 上下文語義信息提取

該模塊的主要功能是從句子中提取上下文語義信息。

文本擁有顯著的連續性，因此從文本的上下文正確提取語義信息非常重要。為了反映文本的序列特征，LSTM可以用來建立序列模型。然而，LSTM 模型結構復雜，訓練周期長。GRU 是LSTM 的變體，不同之處主要是使用更新門代替LSTM 中的輸入門和遺忘門，模型結構的復雜度相對變得簡單，減少了訓練參數并且時間代價較低。

其模型結構如圖3 所示，具體過程如式（3）-式（7）所示。

其中，rt為重置門，zt為更新門，ht為隱藏層狀態輸出，yt為GRU 輸出，Wr、Wz、Wh、Wo分別表示各個狀態的權重矩陣，σ和tanh表示激活函數。

Fig.3 GRU model structure圖3 GRU 模型結構

GRU 只考慮當前項的上文，未考慮到下文信息，為解決這一問題，采用雙向門控循環單元神經網絡不僅可以充分提取上文信息，還能考慮到下文信息對當前項的影響，其主要由兩個單向的GRU 組成，輸出由這兩個GRU 決定。其網絡結構如圖4 所示，具體過程如式（8）-式（10）所示。

Fig.4 BiGRU model structure圖4 BiGRU 模型結構

其中，分別表示GRU 向前傳播的輸出和向后傳播的輸出，y表示BiGRU 的輸出，W表示權重矩陣，b表示偏置項，σ為sigmoid激活函數。

2.5 注意力機制

人們有選擇地關注他們關心的信息而忽略其他信息。注意機制在文本情感分析中可以借助權重分配的方式，將不同詞的詞向量概率權重計算出來，使一些詞能夠吸引更多人注意，將重要的詞凸顯出來。注意機制可以抽象為編碼器和解碼器兩個模塊。編碼器對輸入數據進行某種轉換以獲得語義向量，譯碼器對語義向量經過一定的變換后得到輸出數據，其模型結構如圖5 所示。

Fig.5 Attention mechanism model structure圖5 注意力機制模型結構

假設xt為卷積神經網絡或雙向門控單元循環神經網絡提取到的特征向量，通過神經網絡得到xt的表示如下：

其中，Wl是權重矩陣；bw是偏置項。對得到的隱層表示用soft max函數進行歸一化處理得到全局矩陣，如公式（12）所示。

最后用特征向量dt和全局矩陣進行加權求和，獲取文本中每一個詞的重要性信息的文本向量ct，如公式（13）所示。

2.6 比較增強學習機制

使用比較增強學習機制來增強模型的學習能力。比較增強學習機制通過與樣本的比較，對融合神經網絡層生成的句子嵌入進行評分。從標記的訓練數據中采用隨機方法選取相等的積極樣本和消極樣本，然后生成這些樣本相應的句子向量，其模型結構如圖6 所示。

Fig.6 Comparison and reinforcement learning mechanism model structure圖6 比較增強學習機制模型結構

樣本的詞向量從嵌入層得到，并通過對句子中所有的詞向量拼接得到樣本向量生成積極或消極樣本的句子向量。

以隱層神經網絡為相似函數得到分類的相似性得分。神經網絡的輸入是將句子嵌入向量和樣本向量連接起來。輸出層大小為1，隱藏層V為句子向量的長度。相似評分Score計算如下：

神經網絡用兩個線性變換和偏置表示，參數分別為W1、b1、W2、b2，其中s表示句子嵌入向量，Sample表示樣本向量。

每個樣本都可用句子嵌入來計算相似度分數。對它們進行加權求和求得相似度分數，然后得到比較增強學習機制的結果。結果r的計算如下：

式中，wi表示每個分數的權重。使用一層神經網絡來計算權重，K表示所選樣本大小。

3 實驗

3.1 實驗環境

本文采用現在最為流行的框架Tensorflow 進行實驗，實驗環境配置如表1所示。

Table 1 Experimental environment configuration表1 實驗環境配置

3.2 實驗數據與評價指標

本文實驗使用的數據集是酒店評論（CHR）［20］和產品評論（CPR）［21］。CHR 來自旅行應用程序，總共有10 000 條評論，包括7 000 條積極評論和3 000 條消極評論；CPR 來自購物網站的用戶評論，總共有52 774 條評論，包括26 728條積極評論和26 046 條消極評論。兩個數據集按9∶1 的比例分為訓練集和測試集。數據集詳細信息如表2 所示。

Table 2 Data set表2 數據集

本文使用accuracy 作為模型評價指標，accuracy 是分類模型中最重要的一個評價指標，表示正確分類樣本在總體中的比，定義如下：

其中，TP為積極評論歸類為積極的數量，FP為消極評論歸類為積極的數量，TN為消極評論歸類為消極的數量，FN為積極評論歸類為消極的數量。

3.3 數據預處理與參數設置

應用分詞工具jieba 對數據集中的數據分詞，再將情感詞典中的情感詞添加到jieba 的自定義字典中，以防止句子中的情感詞被分離成多個詞，最后在分詞結果中去掉停止詞和符號。

模型的最佳參數根據先前模型進行選擇，并通過手動測試進一步微調。在BGC-ACES 模型中，3 個通道的卷積核大小分別為3、4、5，選擇二進制交叉熵作為損失函數，優化器為Adam，超參數的詳細設置見表3。

Table 3 Parameter settings表3 參數設置

調整每個參數時，其他參數維持恒定。圖7 顯示不同參數值對兩個測試集的影響。

3.4 比較學習增強機制樣本大小選擇

本文研究了不同樣本量對比較學習強化機制的影響。樣本大小指正、負樣品的數量。圖8 顯示不同樣本尺寸的實驗結果。樣本數量少，比較學習機制沒有明顯增強；當樣品尺寸大于35%時，樣品尺寸對模型性能的影響下降。

3.5 對比實驗設置

將本文模型與幾種常用模型進行比較。為了使對比的結果更具有可比性和準確性，每個模型選取同樣的參數值。

（1）NaiveBayes、SVM：機器學習經典模型。

（2）CNN：CNN 由3 個卷積核大小分別為3、4、5 的卷積神經網絡組成。

（3）BiLSTM：BiLSTM 層節點數為128。

（4）BiGRU：BiGRU 層節點數為128。

（5）CNN+BiGRU：把3 個卷積核大小分別為3、4、5 的CNN 與隱藏節點為128 的BiGRU 網絡并行連接。

（6）CNN+BiGRU+Attention：把3 個卷積核大小分別為3、4、5 的CNN 與隱藏層節點數為128 的BiGRU 網絡并行連接，在此基礎上引入注意力機制。

（7）BGC-ACES：把3 個卷積核大小分別為3、4、5 的CNN 與隱藏層節點數為128 的BiGRU 網絡并行連接。在引入注意力機制之后，引入比較增強學習機制。

Fig.7 Accuracies of the test set under different parameters圖7 不同參數下測試集的準確率

Fig.8 Experimental results of different sample sizes圖8 不同樣本數量的實驗結果

3.6 實驗結果

與常用情感分析模型（NB、SVM、BiLSTM、CNN 和BiGRU）在數據集上分析情感效果。通過表4 可知，深度學習模型（CNN 和BiGRU）的分類性能明顯優于機器學習模型（NB 和SVM）。在深度學習模型基礎上，加入注意力機制可以提高模型的分類性能。與常用的深度學習模型相比，本文綜合CNN、BiGRU、注意力和比較學習增強機制提出的模型在分類性能上得到提高。

Table 4 Experimental results of different models表4 不同模型實驗結果

在CHR 數據集中，正負樣本不平衡。為了更好地證明BGC-ACES 模型的性能優勢，采用precision、recall和F1 評價指標對模型進一步評價，這些評價指標表示如下：

在不同的CHR 和CPR 數據集上進行實驗，評估度量值如圖9 所示。從圖9 不難看出，即使在不平衡的數據集上，本文模型的分類結果也相對較好。經過一系列實驗，可以得出BGC-ACES 模型達到了較高準確率的結論。

Fig.9 Performance comparison of two different data sets圖9 兩個不同數據集性能比較

4 結語

本文提出了一種基于注意力和比較增強學習機制的混合網絡模型（BGC-ACES）。根據CNN 和BiGRU，將注意力和比較學習增強機制融為一體，可以在更深層面上提升其準確率。對實驗結果進行分析，可以發現該模型比其他情感分析模型準確率更高，在CHR 和CPR 兩個數據集上的最高準確率分別達到92.2%、94.1%。該模型用來分析用戶評論，可幫助商家獲得更準確的客戶反饋并據此改進其產品和服務。

后續研究將考慮引進最新技術，如基于BERT、XLnet的預訓練詞嵌入，將知識納入模型，使用基于方面的情感分析來挖掘更細粒度的情感信息。