基于遷移學習的分層注意力網絡情感分析算法

曲昭偉，王 源，王曉茹

(1.北京郵電大學 網絡技術研究院，北京 100876； 2. 北京郵電大學 計算機學院，北京 100876)(*通信作者電子郵箱wyuan@bupt.edu.cn)

隨著互聯網技術的發展和社交網絡的普及，越來越多的用戶選擇在社交網站上發表自己的觀點，產生了大量的評論信息，這些評論信息表達了用戶的情感色彩和情感傾向性，因此，通過對評論文本進行情感分析可以判斷評論文本中的情感取向，應用于市場分析以及相關產品推薦上。

1 相關工作

文本情感分析又稱為觀點挖掘，利用自然語言處理、文本分析等方法對帶有情感色彩的文本進行分析、處理、推理和歸納[1]。

情感分析方法主要有基于情感詞典匹配的方法以及基于機器學習的方法。隨著深度學習逐漸成為自然語言處理領域研究熱點，利用深度學習的方法解決情感分析問題的技術飛速發展[2]。在自然語言處理領域，例如循環神經網絡(Recurrent Neural Network, RNN)等深度神經網絡在處理情感分析問題時具有明顯優勢。長短期記憶網絡(Long Short-Term Memory, LSTM)可以捕捉到評論語句中的長期依賴關系，從整體上理解文本的情感語義，與卷積神經網絡(Convolutional Neural Network, CNN)相比，RNN更適合處理序列信息。Li等[3]研究了樹結構的LSTM網絡；Cho等[4]提出了門循環單元(Gated Recurrent Unit, GRU)，與LSTM網絡相比，具有更少的參數；Ravanelli等[5]將一種加權循環單元應用于語音識別領域，實驗結果證明該結構具有較好的語音識別效果。

近年來，遷移學習逐漸成為數據挖掘領域的研究重點，即將從源領域學習到的模型或思想應用于目標領域。在計算機視覺領域，在大規模圖像分類數據集(ImageNet)上訓練的深度卷積神經網絡[6]可以用作其他模型中的組成部分，并在一系列任務上得到出色的結果。Zhuang等[7]提出一種基于雙編碼層自編碼器的監督表示的遷移學習方法；Tan等[8]探究了以一種稱為遠程域遷移學習的新型遷移學習問題，在目標域與源域完全不同的情況下實現遷移學習；Long等[9]提出了深度適配網絡的深度遷移學習方法；吳斌等[10]針對古代詩歌等短文本的情感分析問題提出一種基于特征擴展的遷移學習模型。

在文本情感分析問題中，利用Word2Vec[11]和GloVe[12]等模型進行無監督訓練得到的詞向量遷移到自然語言處理任務中能夠提高模型的性能，但是這類無監督訓練得到的詞向量無法準確代表上下文關系[13]，該問題也限制了分類模型的準確率。針對以上問題，本文提出一種基于遷移學習的分層注意力神經網絡(Transfer Learning based Hierarchical Attention Neural Network, TLHANN)的情感分析方法，利用機器翻譯模型編碼器生成的詞的分布式表示與GloVe模型訓練的詞向量相結合作為情感分析算法的輸入，準確表示文本語境關系，并采用最小門單元(Minimal Gate Unit, MGU)[14]簡化算法結構，經過大量實驗證明了本文算法的分類準確率比傳統算法有較大提升。

2 基于遷移學習的文本情感分析算法

2.1 訓練LSTM編碼器

由于機器翻譯任務的數據集遠大于其他自然語言處理任務，本文提出的情感分析算法的第一部分是利用英語-德語翻譯任務訓練一個LSTM編碼器。這一步驟的目的是為了得到可以應用于文本情感分析的輔助的隱藏向量，從而提高情感分析算法的性能。這些輸出的隱藏向量與GloVe訓練的詞向量相結合，作為情感分析部分的輸入。

(1)

(2)

(3)

(4)

根據全局注意力模型[14]，可變長度的對齊向量χt可以表示為：

(5)

(6)

其中ct定義為源隱藏狀態的加權平均。最后輸出單詞的分布表示為：

(7)

經過上述機器翻譯任務的訓練之后，本文得到了一個雙向LSTM編碼器，利用這個編碼器得到新句子的隱藏向量，將它與傳統的GloVe向量相結合，如圖1所示。

對于輸入序列w，后續情感分析模型的輸入x如式(8)所示：

(8)

圖1 將利用機器翻譯任務訓練的編碼器遷移到情感分類任務中

2.2 情感分析任務

基于Yang等[16]提出的模型，本文采用的情感分析算法具有分層結構，分為單詞層和句子層。在每一層，使用一種簡化的循環神經網絡結構單元——最小門單元(MGU)。MGU只有一個門單元——遺忘門，將輸入(重置)門合并入了遺忘(更新)門，結構圖如圖2所示。在t時刻，MGU計算當前的狀態為：

(9)

遺忘門控制上一時刻記憶的遺忘程度以及附加多少新信息，MGU的遺忘門的表示為：

ft=σ(Wf+Ufht-1+bf)

(10)

(11)

圖2 最小門單元結構

本文采用的是一種分層的情感分析算法，結構如圖3所示。在單詞層，將翻譯任務訓練得到的隱藏向量與GloVe向量相結合作為模型的輸入，并采用MGU網絡來模擬句子的語義表示。

(12)

(13)

(14)

(15)

然后得到句子表示：

(16)

圖3 TLHANN算法結構

得到了句子層的表示si之后，利用相同方式獲得文檔層的表示：

hi=MGU(si);i∈[1,m]

(17)

同樣，不同的句子對判別文檔的情感極性所起到的作用也有差異，因此，在句子層也采用注意力機制，并引入句子層的上下文向量vs，如式(18)～ (20)所示：

vi=tanh(Wshi+bs)

(18)

(19)

(20)

d是最終得到的文檔表示，而上下文向量vs被隨機初始化并通過訓練過程學習得到。

上文得到的d總結了文檔中句子的所有信息，因此可以將它作為文檔情感分類的特征。使用一個多層感知器可以得到：

(21)

然后使用softmax層得到不同情感等級的概率分布：

(22)

其中：pc是情感等級是c的概率，C是情感等級數。

本文使用黃金情感分布和模型預測的情感分析的交叉熵誤差作為損失函數：

(23)

(24)

3 實驗與分析

3.1 數據集及實驗設置

在進行機器翻譯任務時使用了兩個數據集，分別為WMT2016的Multi30k數據集和IWSLT2016年的機器翻譯任務數據集，其中Multi30k的訓練集由30 000個描述圖像的句子對組成，IWSLT2106的機器翻譯數據集訓練集由209 772個句子對組成。在訓練LSTM編碼器時，使用the CommonCrawl-840B GloVe 模型生成英語詞向量，得到300維的詞向量，這里的LSTM網絡的隱藏層隱藏單元數設置為300。訓練時采用隨機梯度下降算法，學習率以1開始，當驗證復雜度首次提高時，每個周期將學習率減半，Dropout均為0.2。在Multi30k數據集上訓練的機器翻譯模型在測試集上的BLEU(BiLingual Evaluation Understudy)分數為37.6，在IWSLT2106版本的機器翻譯數據集上訓練得到的模型在測試集上的BLEU分數為24.7。

對于情感分析任務，使用4個數據集：IMDB、IMDB2、Yelp2013和Yelp2014。數據集的詳細信息見表1，將數據集按8 ∶1 ∶1的比例分為training、development、testing集。

表1 實驗數據集的統計信息

本文使用兩個常用的模型評價指標：準確率(Accuracy)和均方根誤差(Root Mean Square Error, RMSE)，其中準確率用來評價情感分析算法的表現，RMSE用來衡量預測的情感級別和真實值的偏差。Accuracy和RMSE的公式如下：

Accuracy=T/N

(25)

(26)

其中：GRi是真實的情感等級，PRi是預測的情感等級，G是GRi與PRi相等的文檔數，N是總文檔數。本文設置情感分析算法中MGU隱藏單元數為300，注意力機制中的單詞、句子上下文向量為300維。使用development集來調超參數并且使用Adadelta在訓練中更新參數。

3.2 實驗結果及分析

本節分別將本文提出的基于遷移學習的分層注意力神經網絡的情感分析方法與未引入遷移學習的方法包括SSWE (Sentiment-Specific Word Embeddings)+ SVM(Support Vector Machine)[17]、LSTM+ UPA(User Product Attention)[18]、LSTM+CBA(Cognition Based Attention)[19]進行對比。其中SSWE+SVM利用特殊的情感詞嵌入，采用SVM分類器進行情感分析；LSTM+UPA方法利用LSTM網絡結合注意力機制進行情感分析；LSTM+CBA方法利用基于視覺追蹤數據的注意力機制的LSTM網絡進行分析。實驗結果如表2和表3，其中表2為以上四種方法的分類準確率, 文所提算法的分類準確率與LSTM+CBA算法和SVM算法相比分別平均提升了8.7%及23.4%，表3為四種方法的均方根誤差值。從實驗結果可以看出，對于同樣的情感分析數據集，本文方法具有更高的分類準確率和更小的誤差。

表2 四種方法的分類準確率對比

表3 四種方法的分類均方根誤差對比

另外，比較了在遷移學習部分中，用于訓練LSTM編碼器的機器翻譯數據量對后續情感分析任務的影響，實驗結果如表4所示。實驗結果表明，翻譯數據集越大，將得到的LSTM編碼器遷移到情感分析任務時，對于算法性能的提升越大；也就是說，用于訓練LSTM編碼器的機器翻譯數據集越大，將該編碼器遷移到情感分析任務中時，生成的分布式表示能夠更好地體現句子上下文關系，對于文本情感極性的預測更有幫助。

表4 與隨機初始化詞向量相比本文算法的準確率提升效果 %

為了說明注意力機制的作用，在4個數據集上比較了本文的基于遷移學習的分層注意力神經網絡(Transfer Learning based Hierarchical Attention Neural Network, TLHANN)與不引入注意力機制——基于遷移學習的分層神經網絡(Transfer Learning based Hierarchical Neural Network, TLHNN)的性能，實驗結果如表5所示。從表5中可以看出，在情感分析算法中引入注意力機制能提升算法的性能，在IMDB、Yelp2013、Yelp2014和IMDB2數據集上的分類準確率分別提升了4.0%、2.0%、2.3%以及10.6%。

表5 注意力機制對于分類模型的影響(分類準確率)

4 結語

本文針對情感分析問題提出了一個基于遷移學習的分層注意力神經網絡(TLHANN)算法。首先利用機器翻譯任務訓練一個LSTM編碼器，將其遷移到情感分析任務中用來生成分布式表示作為神經網絡的輸入，并采用簡化的循環神經網絡結構，減少了模型參數數量。經過大量實驗驗證了該算法在不同的數據集上的出色表現。研究其他自然語言處理任務對于情感分析問題的可遷移性并提高分類準確率將成為下一步工作的重點。