一種循環互作用注意力的屬性級情感分類模型

張周彬 邵黨國 馬 磊 楊嘉林 相 艷,2*

1(昆明理工大學信息工程與自動化學院 云南 昆明 650500)2(昆明理工大學云南省人工智能重點實驗室 云南 昆明 650500)

0 引 言

屬性情感分類是細粒度情感分類任務，目的是準確抽取特定屬性的情感信息，判斷其情感極性[1-2]。例如，評論“Best of all is the warm vibe,the owner is super friendly and service is fast.”含有三個屬性“warm”、“owner”、“service”,它們的情感極性分別為正向、正向、正向。因此，屬性情感極性的判斷不僅依賴于上下文信息，還依賴于屬性的信息[3]。特別地，對于含有多個屬性的上下文，如果忽視屬性的信息，則很難識別不同屬性的情感極性。Jiang等[4]對Twitter數據集進行了人工評估，結果表明40%的文本情感傾向性判斷錯誤都源于沒有考慮屬性信息。

注意力機制最早用于圖像處理領域，主要作用是輔助神經網絡對圖像信息處理時重點關注某些特定的信息。Bahdanau等[5]將注意力機制和循環神經網絡相結合應用于機器翻譯任務中，驗證了注意力機制在自然語言處理領域的有效性。隨后注意力機制在文本分類、閱讀理解等自然語言任務中都取得了比較好的結果。Wang等[6]提出利用長短時記憶神經網絡(Long Short-Term Memory，LSTM)和注意力機制對上下文提取特征時，加入基于屬性特征的注意力機制，取得了比較好的結果。Ma等[7]提出利用互動學習注意力機制的方式學習屬性和上下文的表示，進行情感分析。這些方法的成功應用都表明了將循環神經網絡和注意力機制結合進行屬性情感分類的有效性。

GRU(Gated Recurrent Unit)網絡是LSTM網絡的一種變體，相比LSTM網絡更為簡單，僅由更新門和重置門構成，用于對神經元信息的讀取、寫入，減少了模型的參數和復雜度，成為當前比較流行的循環神經網絡。由于文本中詞與詞之間都有依賴關系，使得GRU網絡廣泛地應用于文本處理領域，并且取得比較好的結果。為了更好地學習屬性的情感信息，本文以GRU網絡為基礎，提出一種循環互作用注意力模型(Recurrent Mutual Attention Model,RMAM)進行屬性情感分類。

1 相關工作

屬性級情感分類相關研究可分為基于傳統機器學習的方法和基于神經網絡的方法。傳統機器學習的方法中，代表性的方法有：文獻[8-9]利用手工定義規則的方式提取屬性特征。文獻[10-11]利用隱馬爾可夫模型(Hidden Markov Model，HMM)和條件隨機場(Conditional Random Field，CRF)模型對屬性和上下文進行建模。雖然這些方法也能取得一定的效果，但是它們的性能嚴重依賴人工提取特征的質量，并且耗費大量的人力物力，模型復雜、泛化能力差。由于深度學習能夠自動提取有效特征，使得深度學習方法被廣泛地應用于自然語言處理(NLP)任務中。一些研究員提出將深度學習和傳統的方法相結合處理屬性級情感分類問題。Nguyen等[12]將循環神經網絡(RNN)和句法分析樹相結合。Dong等[13]采用一種自適應的RNN網絡處理屬性情感分類問題。這些方法相比傳統的方法取得了比較好的性能，但是還是依賴了情感詞典、句法分析等傳統手段。為了徹底擺脫傳統的方法，一些研究員對深度學習進行了深入的研究，在屬性級情感分類任務取得了比較好的結果[14-15]。Chen等[16]將卷積神經網絡應用于屬性情感分類任務中。Xue等[17]將門控機制和卷積神經網絡相結合應用于屬性情感分類。Ruder等[18]提出一種分層的雙向長短時記憶神經網絡(Bi-LSTM)，有效學習句子內部和句子之間的關系。Tang等[19]使用兩個LSTM網絡對屬性左右兩側的上下文進行建模，挖掘屬性的情感信息。Tay等[20]通過對上下文和屬性建模捕捉它們之間的關系，然后送入神經網絡中自適應的捕捉屬性詞和它的情感詞。Wang等[21]提出對詞語和從句聯合訓練的方法。支淑婷等[22]融合多注意從不同角度提取屬性的情感特征。

以上的研究工作中，大部分模型忽視了對屬性單獨建模，以及上下文和屬性的相互作用。不同屬性的情感極性不僅依賴于上下文本身，還依賴于屬性的特征信息。因此，本文提出RMAM模型，將GRU網絡和注意力機制相結合，對屬性和上下文分別建模，提取有效的情感特征進行屬性情感分類。

2 基于循環互作用注意力的模型

2.1 模型構建

本文提出的RMAM模型如圖1所示。上下文的輸入為上下文詞向量，屬性的輸入為屬性向量，兩者通過單向GRU網絡進行獨立語義編碼得到上下文隱藏層向量和屬性隱藏層向量。接著，將上下文隱層向量做平均池化得到上下文初始表示，利用該上下文初始表示去監督屬性注意力權重的計算，該注意力權重和與屬性隱層向量相乘獲得屬性最終表示。然后，利用屬性最終表示去監督上下文隱藏層向量注意力權重的計算，該注意力權重和上下文隱藏層向量相乘獲得上下文最終表示。最后，將屬性最終表示和上下文最終表示拼接得到評論文本最終的編碼特征，并利用該特征進行情感分類。

圖1 循環互作用注意力模型

2.1.1 上下文和屬性的輸入

2.1.2 屬性表示

(1)

(2)

(3)

(4)

式中：Wt∈Rdt×dc表示權重;bt∈Rm表示偏置。

2.1.3 上下文表示

(5)

(6)

(7)

式中：Wc∈Rdc×dt表示權重;bc∈Rn表示偏置。

2.1.4 情感分類

將上下文的最終表征Cf和屬性的最終表征Tf拼接S=[Tf,Cf]送入Softmax函數，輸出屬性最終的情感分類結果。

2.2 模型訓練

RMAM模型的訓練采用反向傳播算法，損失函數利用交叉熵代價函數，為了避免過擬合問題，加入L2正則化，利用最小化損失函數對模型進行優化：

(8)

3 實 驗

3.1 實驗數據和參數設置

RMAM模型在SemEval 2014 Task4上進行了實驗。SemEval 2014數據集由Restaurant和Laptop兩個不同領域語料構成，數據集的評論中包含正向、中性和負向三種情感極性。表1顯示了實驗數據的統計情況。

表1 實驗數據

本文中詞向量使用的是Pennington等[23]提出的預訓練的glove的300維詞向量，所有權重矩陣的初始值均通過均勻分布U(-0.1,0.1)隨機采樣給出，偏置的初始值為0。每次訓練的batch_size=128,Dropout=0.3，使用Adam優化算法的優化參數，學習率設置為0.01。

3.2 基線模型

為了評估RMAM模型的有效性，將其與一些基線模型進行比較，基線模型如下：

TD-LSTM[19]:TD-LSTM模型通過兩個LSTM對屬性的上下文信息從正向和反向進行語義編碼，然后，將兩個隱藏層的輸出拼接進行屬性情感分類。

AT-LSTM[6]：AT-LSTM模型在LSTM網絡的基礎上引入注意力機制，重點關注屬性的情感信息，取得比較好的結果。

TC-LSTM[19]：TC-LSTM模型是在TD-LSTM模型上的一種改進，將屬性特征拼接到上下文作為模型的輸入，讓模型自動識別和屬性相關的信息，提升情感分類的準確性。

ATAE-LSTM[6]:ATAE-LSTM模型是在AT-LSTM模型的輸入層引入屬性特征，讓模型能夠在雙向LSTM網絡語義編碼時學習更多與屬性相關的特征信息。

IAN[7]：IAN模型是對屬性和上下文分別單獨建模，利用互作用注意力方式學習生成屬性和上下文有效的表示，最后將它們拼接預測屬性的情感極性。

3.3 實驗分析

3.3.1 與基線模型的比較

本文將6種模型在SemEval2014 task4 Restaurant和Laptop兩個不同領域語料上進行了實驗，表2給出了6種模型在屬性級情感分類三分類和二分類準確率比較情況。

表2 不同模型屬性情感分類準確率比較

從表2的結果可以看出，對于屬性情感極性三分類任務，ATAE-LSTM和TC-LSTM模型相比TC-LSTM和AT-LSTM模型均取得比較好的結果，說明在模型中引入屬性特征能夠幫助模型挖掘屬性和上下文中不同詞語義關聯信息，方便模型學習不同屬性的情感特征。而ATAE-LSTM模型相比TC-LSTM模型在語料Restaurant上準確率高出0.9%，驗證了注意力機制在屬性情感分類任務中的有效性。IAN模型通過兩個LSTM網絡對屬性和上下文進行獨立編碼語義信息，利用互作用注意力方式重點關注和屬性相關的情感信息，相比ATAE-LSTM和TC-LSTM模型在Restaurant和Laptop語料上準確率高出1.4%、2.4%和2.3%、1.1%，再一次證明注意力機制和屬性的引入對于屬性情感分類的有效性。而RMAM模型在這兩個語料上獲得最好的結果，相比IAN模型提升1.6%和0.6%。

為了進一步顯示RMAM模型的有效性，本文將Restaurant和Laptop兩個語料中的中性數據剔除，只保留正向和負向的數據進行二分類實驗。實驗結果如表2所示，可以看出在剔除中性樣本后，RMAM模型在Restaurant和Laptop兩個領域的語料上的準確率都有明顯提升，說明模型對于中性樣本分類效果不理想。通過對Restaurant和Laptop兩個語料中的中性情感樣本進行分析發現，這些樣本大都是對屬性進行了一個客觀描述，并沒有表達任何情感。例如“This is a consistently great place to dine for lunch or dinner.”對屬性“lunch”和“dinner”沒有表達情感。另外，基于評論的隨意性和多樣性使得大多數的評論并不遵循語法規則，且對情感的表達常采用情感符號、網絡用語或者比較含蓄的方式，使得模型不能很好地識別屬性的情感信息，從而將屬性的情感極性判斷錯誤。通過實驗結果的比較，本文提出的模型相比其他基線模型在Restaurant和Laptop語料上均取得了最好的結果，分別為0.925和0.884。比基線模型中最好的IAN模型高出0.9%和0.4%，說明RMAM模型能夠比較好地解決不同領域的屬性情感分類任務。

3.3.2 屬性和上下文互作用學習作用分析

為了驗證屬性和上下文互作用學習的有效性，本文將上下文和屬性之間的互作用學習去掉構建了新的模型(An recurrent attention model，RAM)。RAM模型的思想是:對屬性和上下文分別單獨建模，它們各自利用自身注意力分別計算注意力權重，提取有效情感特征。RMAM模型和RAM模型分別進行了三分類實驗，實驗結果如圖2所示。

圖2 互作用學習對分類準確率的影響

由圖2可知，在兩個不同領域的數據集上，RMAM模型相比RAM模型取得了更好的結果，在Restaurant和Laptop兩個語料上分別高出2.1%和3%，表明屬性和上下文之間互作用學習能夠學習到更好的情感特征。

4 結 語

針對屬性級情感分類任務，本文提出RMAM模型，利用兩個GRU網絡和注意力相結合網絡以互作用對屬性和上下文進行建模，提取有效的情感特征。RMAM模型可以密切關注屬性和上下文中重要信息，生成屬性和上下文的有效表示，解決了以往模型忽視屬性信息和對屬性單獨建模的問題。在SemEval 2014 Task4兩個不同領域數據集上進行實驗，驗證了RMAM模型可以學習屬性和上下文的有效信息，相比于其他基線模型在屬性情感分類的準確率上有進一步的提升。

RMAM模型主要利用GRU網絡和注意力機制對屬性和上下文自動提取情感特征，但是對于包含的否定詞和一些網絡用語是無法識別的，這是導致分類錯誤的一個主要原因。下一步的任務是在此方法的基礎上加入傳統的方法(情感詞典等)，更好地識別情感特征。