基于神經網絡的文本情感分析技術優化改進

范波 李金瞳

（湖南理工學院 信息科學與工程學院 湖南省岳陽市 414006）

在當今的網絡社會中，網文的出現加大了人們理解的負擔。因為網文和面對面說話不同，讀者無法通過說話者的肢體語言、眼神形態來判斷說話者的情緒，只能通過說話者的書面語言和標點符號來判斷，所以經常發生理解錯誤和盲目跟風的情況。因此，利用計算機進行文本的情感分析很有研究價值。它可以借助模型，采集相關網文的情感指標，協作預測受眾的情感，應用在公司企業的話，可以幫助分析產品的消費反饋或檢測在線負面評論，從而改善其產品，服務和營銷能力[1-2]。

卷積神經網絡（Convolutional Neural Network，CNN）可以對文本中的局部特征進行準確的提取，但其無法對提取的特征之間的遠程依賴關系進行識別，本文將雙向長短期記憶神經網絡（Bidirectional Long Short-Term Memory，BiLSTM）與卷積神經網絡進行有機的結合，解決遠程依賴關系無法識別的缺陷，從而提升文本情感分析的準確性。

1 CNN-BiLSTM算法模型

本文設計CNN-BiLSTM 算法的文本情感分析流程如圖1所示，其步驟主要為：

（1）網絡將會把需要分析的文本樣本轉換成詞向量形式；

（2）卷積神經網絡算法將會對詞向量的特征信息進行提取；

（3）BiLSTM 算法會通過網絡提取文本的上下文信息；

（4）系統中的sigmoid 分類器通過提取的詞向量，對上下文信息進行分析，從而獲取情感分析結果。

1.1 詞向量表示文本

本文采用的CNN-BiLSTM 算法首先將文本S 通過Word2Vec算法轉換成詞向量，其轉換關系如下：

上式中，d 表示詞向量維度；N 表示文本長度。

由于文本信息不同，則文本的長度也會存在一定的差異，為了確保提取的文本信息長度一致性，本文采用“長則序列截斷，短則補齊”的方法[3]。也可以確保文本的維度（l）是相同的，則詞向量與文本之間的關系滿足：針對基于卷積神經網絡的文本情感分析，通過與雙向長短期記憶神經網絡進行融合，為了確保設計的文本情感分析模型能夠滿足要求，基于譚松波酒店評論語料和IMDB 英文評論語料進行實驗驗證，實驗結果顯示，設計的模型明顯比現有的分析模型在精確率和召回率具有明顯的優勢。

圖1：基于CNN-BiLSTM 的文本情感分析模型

表1：實驗的軟件配置

表2：模型參數設置

圖2：長短期記憶神經網絡（LSTM）結構

圖3：實驗混淆矩陣

1.2 雙向長短期記憶神經網絡

圖4：譚松波語料庫實驗結果

圖5：IMDB 語料庫下實驗結果

BiLSTM 算法非常適合應用于序列分類處理，而且還具有記憶和儲存功能，但是由于BiLSTM 算法儲存容量較小，在進行文本分類過程中，隨著文本信息數量不斷增加，儲存容量達到上限后，容易出現信息梯度消失現象。結合分析雙向長短期記憶神經網絡算法（BiLSTM）和卷積神經網絡算法（CNN）的優缺點，本文將兩者進行有機的結合，充分發揮兩種模型的優勢。

長短期記憶神經網絡（LSTM）的結構如圖2所示，忘記門，輸入門，輸出門是LSTM 網絡中非常重要組成部分。

上式中σ 表示激活函數sigmoid；

輸入門：首先，由式（4）得到輸入門限i(t)，由式（5）得到候選單元狀態 。

則可計算獲得：

上式中，ct表示前時間的狀態值，tanh 表示雙曲正切函數。

輸出門：決定要輸出哪些單元狀態信息，o(t)介于0 到1 之間。

隱藏層狀態：我們把單元狀態用tanh 函數將輸出值規一化為-1到1 之間，與輸出門限點積，以便只輸出我們決定輸出的部分。

雙向長短期記憶神經網絡（BiLSTM）的思想是每一個訓練序列分為向前和向后的兩個LSTM 網絡，前向網絡可以得到歷史時間點信息，后向網絡可以得到后續時間點信息。該結構充分考慮過去和未來的上下文信息，提升了預測的準確性。本模型使用了兩個雙向LSTM 層，第一層輸出返回序列與第二層LSTM 輸入的關聯，第二層輸出是前向層和后向層的最后一個單元輸出的串聯。

1.3 情感分類

對于文本情感分類問題，我們將全連接層結果輸入到sigmoid層：

預測結果為Y，我們使用交叉熵作為損失函數，損失函數如下：

2 模型實驗驗證

2.1 數據集選擇

為了驗證本文所提出模型的有效性，本文實驗分別使用了中英文兩種數據集來測試模型。中文數據集選用了譚松波酒店評論語料，我們隨機選擇了其中20000 條文本數據，其中積極文本12000 條，消極文本8000 條。英文數據集選用了IMDB 英文評論數據集，我們隨機選擇了其中50000 條文本數據，其中積極文本30000 條，消極文本20000 條。為了保證實驗的準確性，我們使用了五折交叉驗證方法進行實驗，將數據集劃分為訓練集和測試集，將積極文本標記為1，消極文本標記為0[5]。

2.2 實驗參數設計

進行實驗的軟件配置如表1所示。針對基于卷積神經網絡的文本情感分析，通過與雙向長短期記憶神經網絡進行融合，為了確保設計的文本情感分析模型能夠滿足要求，基于譚松波酒店評論語料和IMDB 英文評論語料進行實驗驗證，實驗結果顯示，設計的模型明顯比現有的分析模型在精確率和召回率具有明顯的優勢。

本模型使用的參數如表2所示。

參考夏松火等前人的做法，我們定義的混淆矩陣如圖3所示[6]。

評估指標如下：

精確率（P）：針對預測結果，預測正確的數據占所有樣本數據的比例

召回率（r）：針對原樣本，預測正確的數據占原正確數據的比例

F 值（F）：P 和r 值的加權評價指標針對基于卷積神經網絡的文本情感分析，通過與雙向長短期記憶神經網絡進行融合，為了確保設計的文本情感分析模型能夠滿足要求，基于譚松波酒店評論語料和IMDB 英文評論語料進行實驗驗證，實驗結果顯示，設計的模型明顯比現有的分析模型在精確率和召回率具有明顯的優勢。

同時，我們使用準確率（acc）作為評價模型訓練效果的綜合評價指標，其計算公式如下：

3 實驗結果

本實驗使用譚松波以及IMDB 情感文本數據集，通過word2vec預訓練詞向量，將本文所提算法模型CNN-BiLSTM 與卷積神經網絡（CNN）、雙向長短期記憶神經網絡（BiLSTM）、卷積-長短期記憶神經網絡（CNN-LSTM）三種算法進行對比分析，通過等指標衡量每種模型的分類效果，實驗結果如圖4 和圖5所示。

從上述實驗結果可以看出：在譚松波數據集上，本文所提出的模型達到了92.70%的準確率，較傳統的CNN 提高了3.72%。在IMDB 數據集上，模型準確度達到了89.54%，較傳統的CNN 提高了3.26%。

4 結語

本文在傳統的CNN 卷積神經網絡的基礎上，提出了一種BiLSTM 網絡模型，解決了傳統CNN 中過長時序數據間無法產生聯系的問題，然后使用了文本情感預測實驗來對其進行驗證，分別將中英文數據通過word2vec 算法轉化為詞向量，使用傳統的CNN網絡提取文本特征，通過本文提出的BiLSTM 模型獲取上下文信息，最后進行情感分類。在仿真實驗中本文通過定量和定性分析，得到了模型的優化效果展示，證明了該模型的可行性和有效性。