基于依存樹和注意力機制情感分析模型的改進*

王 浩 周從華

（江蘇大學計算機科學與通信工程學院 鎮江 212013）

1 引言

近幾年來，“消費者評論行為分析”是國外國內的研究熱點，研究人員通過對消費者行為進行分析，從而推斷出消費者的消費行為、消費動機、消費動機、消費偏好、消費態度、整體消費群體影響以及整體消費群體互動。通過對這些維度的分析，可以為企業和商家制定商品的發展戰略、提升商品和服務質量、拉升新老用戶的商品轉換率。消費者評論行為分析逐漸得到了快速成熟的發展，并在多個電商平臺取得突破性的成功，同時也深入到我們日常生活中的各個方面，路邊店鋪的收銀臺的裝扮、商場的物品的擺放、公共廣告牌的設計，到處都是消費者評論行為分析的實踐應用。通過對這些評論數據進行分析，一方面，商家可以得到自己想要的反饋信息。用戶評論信息大都是用戶自己對商品進行了解和使用后發表的，具有一定的針對性和可靠性［1］。另一方面，其他對商品感興趣的用戶可以根據該商品的用戶評論對該商品進行參考和輔助決策。

目前主流的情感分析模型是將常用的語句引入到LSTM［2］神經網絡中，從而來幫助分析模型更好地做出情感預測。TDLSTM［3］是將左右兩個長短期記憶網絡結合在一起，讓語句中的第一個方面詞和最后一個方面詞作為左右兩個長短期記憶網絡的最后一個輸入，最終將其結合起來代表句子的語義。ATAE-LSTM［4］是將注意力機制和長短期記憶網絡模型結合，利用注意力機制可以捕獲較長的語句中的信息來進行語義分類和情感分析。DATLSTM［5］是在ATAE-LSTM的基礎上，引入了句式的依存關系，通過對句式的不同方面詞和各樣依存關系進行捕捉，使得方面詞和情感屬性依存關系更加明確，從而來提升情感分析模型的準確性。

本文針對基于依存關系和注意力機制的雙向LSTM分析模型（DAT-LSTM）中，依存關系對方面詞和不同語句依存關系理解不全面、句式依存關系捕捉不充分，注意力機制權重計算時隱藏層和向量點乘維度不一致的問題［6］，提出一種基于依存圖和雙線性串聯平衡因子的注意力機制雙向LSTM分析模型（BSADG-LSTM），并應用到國外電商平臺評論數據中。一方面，改進后的依存圖是圖形結構的句式分析模型［7］，允許多個依存根節點存在和依存弧之間相互交叉，使得方面詞和句式的依存關系理解更加充分；另一方面，改進后的注意力機制是在原有的權重計算中添加了可學習的參數矩陣，使得隱藏層和向量的維度保持一致。同時再點乘后引入平衡因子，降低了點乘后的維度系數，緩解了歸一化后梯度極小的問題，從而一定程度上提升了模型訓練效率和靈活性。

2 基于依存關系和注意力機制的雙向LSTM分析模型概述

目前主流的特定方面詞情感分析模型，主要解決的問題是根據給定的方面詞找到與之對應的重要上下文信息。依存關系是用來展示一個句子或多個句子中詞與詞之間的不對等支配關系的一種方法，用來描述詞與詞之間依存關系的語言框架，利用框架的依存關系分析，可以讓句子中的詞與詞建立從屬關系，從而能夠充分捕捉與方面詞有關系但語句距離較遠的信息。自然語言中，Bahdanau等［8］首次提出注意力機制來解決機器翻譯問題。注意力機制可以根據不同方面詞自動生成特定的上下文信息向量，可以為每個信息向量分配不同的權重，從而使得模型在分析時具有更好的翻譯表現。因此，基于依存關系和注意力機制的雙向LSTM模型（DAT-LSTM），能夠用來分析特定詞的真實情感傾向［9］。模型結構如圖1所示。

圖1 基于依存關系和注意力機制的雙向LSTM分析模型結構圖方面詞情感

給 定 一 個 句 子a={q1，q2，…，qn}和 方 面 詞qt。先依靠CoreNLP［10］模型方法分析得到句子的依存關系，從而得到與方面詞qi存在直接依存關系的詞qdi。利用映射方法，將每個方面詞轉換為詞向量vt。詞向量vt根據方面詞的個數分為兩種：如果方面詞為單個單詞，即這個方面詞的詞向量為vt；若方面詞由多個單詞組成，那么這個方面詞的詞向量vt由這多個單詞的詞向量求均值表示。然后輸入到雙向長短期神經網絡層中進行句子前后關系結合，結合后再輸出到隱藏層中去。

隱藏層由矩陣M?RdM×N來表示隱藏層狀態向量，矩陣S∈RdS×N來表示依存關系信息，矩陣K∈RdM+dS+dvt來存放隱藏層狀態、依存關系信息和方面詞向量。

這樣再經過注意力機制層，會分別得到一個權重向量i?RN和權重因子j?RN。

因此，最終的模型句子表達式為

其中，rT，Ri和Rm為模型參數。

最后再輸入給情感預測層，將特定方面上的情感轉換為概率分布。

其中，R和b為模型參數。

模型采用了交叉熵（cross entropy）作為模型的損失函數，同時還添加了一個L2范數正則化來防止模型在訓練過程中出現過擬合的情況：

其中，（b，c）代表屬性對，C代表情感傾向類別數，一般情況下分為二分類（積極傾向和消極傾向）和三分類（積極傾向、中立傾向和消極傾向）［11］，其中二分類的C=2，三分類的C=3。代表樣本d的實現分布情況，lc()d代表模型在樣本d在情感傾向上的預測概率，λ代表L2范數正則化的權重系數，θ代表模型中所有訓練參數的集合。

3 對依存樹和注意力機制的雙向LSTM分析模型的改進

3.1 依存樹的改進

現有的依存關系分析通常采用依存句法結構分析和依存樹分析，通過句法結構分析出某一個方面詞的許多種不同表述信息。依存樹是在依存句法結構的基礎上采用樹形結構進行依存關系分析，建立起句子中方面詞和方面詞之間的從屬關系［12］。以句子“我愛中國的文化”為例，依存樹結構如圖2所示。

圖2 依存樹結構圖

對句子進行語法結構和依存關系的構建，形成新的依存樹結構。通過特定方面詞對句子中屬性計算兩個詞之間的最短路徑，從而得到特定方面詞的真實從屬詞。但由于每棵依存樹只允許一個依存根節點，所以樹結構的表達式是不充分的，有的時候不能很好地保留一些反向語法依存信息［13］。所以在原來的模型基礎上，本文將原有的依存關系替換為依存圖，提出基于依存圖和注意力機制的雙向長短期分析模型。同樣以句子“我愛中國的文化”為例，依存圖結構如圖3所示。

圖3 依存圖結構圖

依存圖采用圖結構，一方面可以將任何一個圖節點轉換為依存該圖節點的兩個或兩個以上的圖節點［14］，這樣在依存結構中就允許多個依存根節點；另一方面可以允許依存弧之間相互交叉，這樣可以使句法的依存關系邊的定義更加深刻和完善。

3.2 注意力機制的改進

傳統的注意力機制雖然可以一定程度上捕捉長短句的方面詞和從屬詞性的依存關系，但在于注意力的權重計算上沒有過多的簡化，原方面詞屬性通過注意力機制得到的權重因子j?RN公式如下：其中，矩陣M?RdM×N為隱藏層狀態向量，i?RN為權重向量。

原權重因子是通過計算向量相識度進行點乘，向量點乘歸一化之后表示向量之間的余弦相識度。雖然點乘的方法可以是模型不需要引入其他額外的參數，計算簡單，但是需要要求隱藏層表示M和權重向量i的維度保持一致且再同一空間中［15］。因此在此基礎上，本文引入雙線性串聯矩陣參數E，來解決點乘維度不一致的缺點。引入雙線性串聯矩陣參數E公式如下：

雙線性串聯矩陣參數E是一個可學習的參數矩陣，是對隱藏層和權重向量分別進行空間轉換處理。矩陣參數EM先對隱藏層進行空間轉換，同時再由矩陣參數Ei對權重向量做空間轉換，共同轉換后的兩個層的維度保持一致，累積求和得出權重因子。但在點乘的過程中，如果相乘的維度過大，則注意力分數也會隨之增大，通過softmax對其歸一化時，其所對應的梯度將會極小，使得模型很難訓練［16］。因此，在改進的式（10）中引入平衡因子來緩解梯度極小的問題。引入平衡因子公式如下：

對原公式同時引入雙線性串聯矩陣參數E和平衡因子即解決了點乘時維度不一致的問題，又在一定程度緩解了點乘后維度過大，梯度極小，模型難訓練的問題，使得模型的靈活性和訓練效率大大提升。

4 實驗分析

4.1 實驗信息

本次實驗通過Scrapy爬蟲框架，爬蟲分采集了海外電商平臺amazon上的手機殼數據和slickdeals上的電腦顯示屏數據。情感預測類別分別分為二類（積極傾向和消極傾向）和三類（積極傾向、中立傾向和消極傾向）。實驗采用精度（Accuracy）和相應的宏F1（macro-F1）作為分類算法的性能度量方式［17］，分類結果的“混淆矩陣”如

表1 預測類別與實際類別的“混淆矩陣”

根據上表分類結果評價指標由式（12）～（15）計算得出：

4.2 實驗結果及分析

本實驗將提出的BSBDG-LSTM模型和多個基線情感分析模型進行性能對比，包括長短期記憶情感分析模型LSTM、結合注意力機制和長短期記憶情感分析模型ATAE-LSTM、結合依存關系和注意力機制的雙向長短期記憶情感分析模型DAT-LSTM和結合依存樹和注意力機制的雙向長短期記憶情感分析模型DASN。二分類實驗結果如表2所示，三分類實驗結果如表3所示。

由表2、表3可知，在LSTM神經網絡中引入注意力機制層會使得模型分析的準確率得到大的提升。然后在注意力機制層基礎上再引入依存分析層，使得模型的捕捉能力大大改善。將二分類和三分類的實驗數據匯總成柱狀圖，使得每個模型的分析結果更加清晰，實驗結果柱狀圖如圖4～5所示。

表2 二分類實驗結果

表3 三分類實驗結果

圖4 二分類情感實驗分析結果

圖5 三分類情感實驗分析結果

通過不同的依存關系和注意力機制的引入，可以使分析模型在不同程度上有一定的提升。本文所提出的BSBDG-LSTM情感分析在二分類和三分類中在情感分析中均取得不錯的效果，通過對依存樹的改進，將樹形結構轉換為圖形結構，引入依存圖模型；通過對權重因子的改進，引入雙線性串聯矩陣參數和平衡因子，大大提高了分析模型在情感分類的準確性。

5 結語

本文針對DASN分析模型的中依存樹句法依存分析強度弱和注意力機制權重因子點乘維度不一致的問題，提出一種結合依存圖和雙線性串聯平衡因子注意力機制的雙向長短期網絡分析模型BSADG-LSTM。實驗結果表明，BSADG-LSTM能夠更深刻地理解和分析句子和捕捉方面詞的依存信息；面對維度較大的數據能夠高效訓練。本文后續工作集中于面對不完整句式如何更好地捕捉方面詞和依存信息以及如何更好地提升三分類情感分析的準確率上。