CNN-BiGRU網絡中引入注意力機制的中文文本情感分析

王麗亞 劉昌輝 蔡敦波 盧濤

.

摘 要：傳統卷積神經網絡（CNN）中同層神經元之間信息不能互傳，無法充分利用同一層次上的特征信息，缺乏句子體系特征的表示，從而限制了模型的特征學習能力，影響文本分類效果。針對這個問題，提出基于CNN-BiGRU聯合網絡引入注意力機制的模型，采用CNN-BiGRU聯合網絡進行特征學習。首先利用CNN提取深層次短語特征，然后利用雙向門限循環神經網絡（BiGRU）進行序列化信息學習以得到句子體系的特征和加強CNN池化層特征的聯系，最后通過增加注意力機制對隱藏狀態加權計算以完成有效特征篩選。在數據集上進行的多組對比實驗結果表明，該方法取得了91.93%的F1值，有效地提高了文本分類的準確率，時間代價小，

具有很好的應用能力。

關鍵詞：卷積神經網絡;雙向門限循環神經網絡;注意力機制;中文文本情感分析

中圖分類號：TP391.1

文獻標志碼：A

Abstract： In the traditional Convolutional Neural Network （CNN）， the information cannot be transmitted to each other between the neurons of the same layer， the feature information at the same layer cannot be fully utilized， making the lack of the representation of the characteristics of the sentence system. As the result， the feature learning ability of model is limited and the text classification effect is influenced. Aiming at the problem， a model based on joint network CNN-BiGRU and attention mechanism was proposed. In the model， the CNN-BiGRU joint network was used for feature learning. Firstly， deep-level phrase features were extracted by CNN. Then， the Bidirectional Gated Recurrent Unit （BiGRU） was used for the serialized information learning to obtain the characteristics of the sentence system and strengthen the association of CNN pooling layer features. Finally， the effective feature filtering was completed by adding attention mechanism to the hidden state weighted calculation. Comparative experiments show that the method achieves 91.93% F1 value and effectively improves the accuracy of text classification with small time cost and good application ability.

Key words： Convolutional Neural Network （CNN）; Bidirectional Gated Recurrent Unit （BiGRU）; attention mechanism; Chinese text sentiment analysis

0 引言

隨著互聯網的飛速發展，神經網絡迎來夢寐以求的大數據時代，其中，文本情感分析[1]是一個重要的研究方向，能有效地分析文本所包含的情感信息，同時具有很高的商業價值。

文本情感分析是自然語言處理（Natural Language Processing， NLP）領域的一個重要研究方向，主要目的是從原始文本中提取出評論人的主觀情感，即對某個對象是積極還是消極的態度。主要分析方法可分為三類：基于有監督的學習、基于語言學和基于深度學習的方法[2-3]。Pang等[4]針對電影評論，通過詞袋模型分別加上貝葉斯、最大熵、支持向量機等各種分類器取得較好的分類效果。Bengio等[5]最早使用神經網絡構建語言模型。Mikolov等[6-7]2013年在Log-Bilinear模型[8]的基礎上提出了word2vec技術。Kalchbrenner等[9]提出動態卷積神經網絡（Dynamic Convolutional Neural Network， DCNN）的模型處理長度不同的文本，將卷積神經網絡（Convolutional Neural Network， CNN）應用于NLP。Kim[10]對比了不同詞向量構造方法，利用提前訓練的詞向量作為輸入，通過CNN實現句子級的文本分類。但傳統CNN無法深度學習池化后的特征，本文采用CNN-BiGRU聯合網絡進行特征學習。

Lee等[11]利用基于循環神經網絡（Recurrent Neural Network， RNN）和CNN訓練文本的向量，通過普通人工神經網絡（Artificial Neural Network， ANN）實現文本分類，說明了添加文本序列信息可以提高分類的準確率。普通RNN可以有效地利用近距離的語義特征[12-13]，但存在梯度消失的不足，

為解決這一問題，RNN出現了多個變種循環神經網絡模型。長短時記憶網絡（Long Short-Term Memory，LSTM）[14]，在文本上可以提取長距離的語義特征。

Zhou等[15]提出C-LSTM進行文本分類，但忽略了文本上下文的特征聯系。雙向長短時記憶網絡（Bidirectional LSTM， BiLSTM）[16]則由前向傳播和后向傳播的兩個LSTM組合而成，提取全局特征彌補了LSTM的不足;但網絡結構復雜，所需參數多，時間代價大。Cho等[12]提出了門限循環單元（Gated Recurrent Unit，GRU），GRU網絡結構相對LSTM更加簡單，能有效縮短模型訓練時間。雙向門限循環神經網絡（Bidirectional Gated Recurrent Unit， BiGRU）則是由正向GRU、反向GRU、正反向GRU的輸出狀態連接層組成的神經網絡。

綜上，BiGRU相對于BiLSTM的網絡結構較為簡單，時間代價小。因此，本文采用BiGRU學習CNN池化后的特征得到句子體系的特征表示。

Bahdanau等[17]最早提出了注意力機制理論，并將其應用到機器翻譯領域。Mnih等[18]在RNN模型上使用了注意力機制來進行圖像分類，使得注意力機制真正意義上流行了起來。Xu等[19]展示了如何使用學習得到的注意力機制為模型生成過程提供更多可解釋性;Luong等[20]提出了全局、局部兩種注意力機制，促進了基于注意力機制的模型在NLP的應用。胡榮磊等[21]將LSTM和前饋注意力模型相結合，提出了一種文本情感分析方案。王偉等[22]提出BiGRU-Attention模型進行情感分類。陳潔等[23]提出了基于并行混合神經網絡模型的短文本情感分析方法，

以上結合注意力機制進行情感分析的模型，皆說明了通過引入注意力機制能有效地提高了情感分類的準確度。

由于利用傳統CNN或BiGRU網絡進行特征學習時，CNN在局部特征提取上較BiGRU具有優勢，但缺乏句子體系的特征表示，而一個模型對特征的學習能力會直接影響文本分類效果，所用本文提出聯合網絡引入注意力機制的模型進行情感分析。

本文的主要工作如下：

1）針對中文文本，提出了CNN-BiGRU聯合網絡模型學習文本特征，充分利用CNN局部特征的強學習能力，使用BiGRU網絡獲取此層次前后向特征，提取句子體系的特征表示，從而提高文本情感分析的準確率，并在時間代價上驗證了此網絡的有效性。

2）在聯合網絡模型上引入注意力模型，獲取文本中的重點特征，降低噪聲特征的干擾，從而進一步提高文本情感分析的準確率。

1 詞向量

本文實驗采用谷歌開源工具word2vec來構建文本詞向量。word2vec技術包括兩種模型：連續詞袋模型（CBOW）和Skip-gram模型。CBOW模型根據上下文預測一個詞，而Skip-gram模型正好相反，是利用當前詞來預測周圍的詞。本文使用Skip-gram模型。

Skip-gram模型分為輸入層、投影層和輸出層，模型結構如圖1所示。

如果上下文窗口大小設置為4，且設當前詞W（t）所對應的向量形式為V（W（t）），其周圍4個詞所對應的向量形式為V（W（t+2））、V（W（t+1））、V（W（t-1））、V（W（t-2）），則Skip-gram模型通過中間詞預測周圍詞，是利用中間詞向量V（W（t））的條件概率值來求解，如式（1）所示：

2 聯合網絡引入注意力機制模型本文提出了CNN-BiGRU聯合網絡引入注意力機制（C-BG-A）的文本情感分析方法。

結構主要可分為CNN-BiGRU聯合網絡特征學習和CNN-BiGRU-Attention特征篩選。

2.1 CNN-BiGRU聯合網絡特征學習本文利用CNN提取局部短語特征。CNN是一種前饋神經網絡，模型結構主要包括輸入層、卷積層、池化層、全連接層和輸出層五部分，CNN的網絡結構如圖2所示。

1）輸入層。將嵌入層的輸出作為輸入，句子中每個詞的詞向量為xi∈Rn×d，其中n是詞數，d是向量維度，本文定為100維。

2）卷積層。通過設置好大小的濾波器來完成對輸入文本句子特征的提取，如式（2）所示：

其中：ω是卷積核;h是卷積核的尺寸;

xi：i+h-1是i到i+h-1個詞組成的句子向量;b是偏置項;通過卷積層后，得到特征矩陣c=[c1，c2，…，cn-h+1]。

3）池化層。通過對卷積層之后得到的句子局部特征矩陣c進行下采樣，求得局部值的最優解Mi。這里采用MaxPooling技術，如式（3）所示：

由于BiGRU輸入必須是序列化結構，池化將中斷序列結構c，所以需要添加全連接層，將池化層后的向量Mi連接成特征矩陣U，如式（4）所示：

將新的連續高階窗口U作為BiGRU的輸入。BiGRU由正向GRU、反向GRU、正反向GRU的輸出狀態連接層組成，網絡結構如圖3所示。

若記t時刻正向GRU輸出的隱藏狀態為t，反向GRU輸出的隱藏狀態為t，則BiGRU輸出的隱藏狀態ht，其具體的計算過程如式（5）～（7）所示：

GRU是對LSTM的一種改進，它也存在一個貫穿始終的記憶狀態單元（Memory Unit），該記憶單元用更新門代替原來LSTM中的遺忘門和輸入門，即在網絡結構上要比LSTM更為簡單，且所需參數減少，從而能夠提高模型訓練速度。GRU的原理如圖4所示。其具體的計算過程如式（8）～（11）所示：

其中：wz、wr、w為權值矩陣;zt為更新門;rt為重置門;t為備選激活函數;ht為激活函數;Ut為t時刻GRU的輸入;

σ為sigmoid激活函數。

2.2 CNN-BiGRU-Attention特征篩選

注意力機制通過對文本向量的語義編碼分配不同的注意力權重，以區分文本中信息的重要性大小，提高分類的準確率。本文使用前饋注意力模型，注意力模型結構如圖5所示。

1）生成目標注意力權重vt，如式（12）所示：

其中：σ是一種注意力學習函數tanh;ht是CNN-BiGRU網絡輸出的特征向量。

2）注意力權重概率化，通過softmax函數生成概率向量pt，如式（13）所示：

3）注意力權重配置，將生成的注意力權重配置給對應的隱層狀態語義編碼ht，使模型生成的注意力權重發揮作用，αt是ht的加權平均值，權值是pt，如式（14）所示：

2.3 C-BG-A模型

C-BG-A模型網絡結構如圖6所示。主要包括三個部分：一是CNN+BiGRU的網絡構建;二是引入注意力模型;三是用sigmoid分類器進行分類。

下面針對C-BG-A模型進行詳細介紹：

1）將文本輸入到word2vec模型中訓練，句子中每個詞的詞向量為xi∈Rn×d，其中n是詞數，d是向量維度，則句子矩陣S可表示為

2）添加CNN層，利用式（2）～（3）得到局部短語特征矩陣Mi。

3）添加全連接層，利用式（4）將局部短語特征Mi拼接成序列結構U。

4）添加BiGRU層，利用式（5）～（11）學習序列U得到句子特征表示Hct。

5）引入注意力機制，利用式（12）～（14）得到Hct的加權平均值Act。

6）經過dropout層后，得到特征向量A。

7）添加Dense層，參數為1，激活函數為sigmoid函數，對文本特征進行分類：

p（y|A，w，b）=sigmoid（w·A+b）

8）模型損失函數定為對數損失函數，模型會通過更新參數權值矩陣w和偏置向量b，從而達到優化模型的效果。

2.4 模型訓練本文將情感分析問題看成一個二分類的問題，分類函數選為sigmoid函數，如式（15）所示：

其中：樣本是{x， y}， y是消極0或者積極1，x是樣本特征向量;ω代表可訓練參數。

模型訓練的目標實質就是最小化損失函數。本文在編譯模型時，損失函數為對數損失函數，一般是與sigmoid相對應的損失函數。

訓練模型參數ω如式（16）所示：

其中：yi為輸入xi的真實類別，hω（xi）為預測輸入xi屬于類別1的概率。

模型的優化器選為Adam（Adaptive moment estimation），Adam優化算法是一種計算每個參數的自適應學習率的方法，結合了AdaGrad和RMSProp兩種優化算法的優點。參數的更新不受梯度的伸縮變換影響，變化平穩，如式（17）～（21）所示：

評價函數為accuracy函數，用于評估當前訓練模型的性能。

3 實驗與分析在帶有情感標簽的中文購物評論文本上，對提出的C-BG-A模型情感分析方法進行驗證與分析。實驗環境配置數據如表1所示。

3.1 實驗環境與數據

實驗數據來自網絡購物的評論，數據內容對象類型有酒店、牛奶、書籍、手機等。評論情感標簽分為兩類[0，1]，消極的情感為0，積極的情感為1。例如：“地理位置優越，交通方便，飯店環境好，服務優良，洗衣迅捷”，情感為積極，“手機系統差，容易壞.部分按鍵不靈活，半年后就會出現在大問題.”，情感為消極。數據集設置為：總數21105條，訓練集16884條，驗證集2000條，測試集2221條。

3.2 參數設置參數設置會直接影響后續模型的分類效果，具體的參數設置如表2所示。

3.3 評價指標

準確度（Accuracy）、精確度（Precision）、召回率（Recall）、F值（Fθ）這4個模型評測指標是NLP模型評估的常用標準。設總的測試集個數為TP+TN+FP+FN，其具體含義如表3所示。

3.4 對比實驗設置實驗設置以下多組對比實驗，包括傳統機器學習算法支持向量機（Support Vector Machine，SVM）與深度學習網絡的比較，單一網絡與聯合網絡的比較，及與引入注意力模型的網絡對比。網絡輸入均是利用word2vec訓練的詞向量。

1）SVM[24]：采用傳統機器學習算法SVM進行情感分析。

2）BiLSTM[16]：單一的BiLSTM網絡。

3）BiGRU：單一的BiGRU網絡。

4）CNN[25]：單一的CNN網絡。

5）CNN+BiLSTM：先添加一個CNN網絡，再添加一個BiLSTM網絡。

6）CNN+BiGRU：先添加一個CNN網絡，再添加一個BiGRU網絡。

7）CNN+BiLSTM+Attention（CNN+BiLSTM+Att）：先添加一個CNN網絡，再添加一個BiLSTM網絡，最后引入Attention機制。

8）CNN+BiGRU+Attention（C-BG-A）：先添加一個CNN網絡，再添加一個BiGRU網絡，最后引入Attention機制。

3.5 實驗結果分析

實驗在測試集上計算出Accuracy值、Precision值、Recall值、F1值，對比結果如表4所示。

從表4顯示的8組模型對比結果可看出：從兩個綜合評測指標Accuracy、F1上來看，C-BG-A準確率達到92.03%，F1值達到91.93%，均優于對比模型。SVM雖然取得較好的分類效果，但基于深度學習的7組模型明顯優于SVM。第5、6與之前3組模型的對比，體現出本文提出的CNN-BiGRU聯合網絡提取特征的優勢，因為CNN對文本特征的強學習能力有助于聯合模型對深層次特征的學習，而雙向循環神經網絡對序列化特征前后的學習能力，在聯合模型對CNN提取的特征進行再加工時，起到正影響的作用。第7、8與5、6組的對比，可知在聯合模型的基礎上添加注意力機制能有效地提高模型分類的準確度，因為注意力機制分配給特征不同的權重，讓模型學習到了特征之間的輕重不同之分，有助于模型快速掌握重要的特征。第8與7組的比較，說明利用BiGRU學習CNN池化后的特征較BiLSTM效果更佳。

為了更直觀地反映基于深度學習的7組模型的優劣，本文選擇繪畫驗證集的準確率（val_acc）和損失率（val_loss）變化圖。準確率的變化如圖7所示，損失率的變化如圖8所示。

從圖7可看出：總體上7組模型準確度都不斷上升，第二次迭代后均達86%以上，其中C-BG-A模型的準確度均達90%以上，且趨勢平穩，不如其余6組模型波動性大。可見C-BG-A模型在提取文本特征上更為優秀和穩定，在短時間內準確度可達較高水平且趨勢穩定，即在迭代次數較少的情況下也可以達到較高的準確度，在第5次迭代時達到最高值92.93%。

從圖7中也可發現，有BiGRU參與的模型準確度都能快速達到較高水平且波幅較平穩，相對與BiLSTM表現更好。模型損失率是越小越好。從圖8中可看出：CNN模型的波動最大，其余6組都較為集中;細看可發現，C-BG-A模型的損失率第1次迭代結果就達到0.2552，第2次迭代結果為最低值0.2051，且趨勢平穩。綜合圖7～8的分析結果，C-BG-A模型具有收斂性快、準確度高、穩定性強的特點，相比較其他6組模型在文本分類上更具有優勢。

為了量化模型的優劣，本文在測試集上進行預測，樣本總數為2221。實驗統計了預測結果的TP值、FP值、TN值、FN值、Right值、Wrong值，Right為模型預測正確的樣本數，Wrong為模型預測錯誤的樣本數。輸出結果為預測樣本是1概率，為方便統計，將值大于0.5的定為1，其余為0。預測值統計的結果如表5所示。

表5中，C-BG-A模型預測正確最多，錯誤最少，可見C-BG-A模型最優。

針對模型的時間代價分析，本文給出5組對比模型完成每次迭代所需時間的對比圖，如圖9所示。

實驗盡可能統一其運行條件，在減少因各方面因素不同對其影響的情況下進行統計。從圖9模型的時間代價來看，單模型迭代所用時間均為最少，其中，BiGRU所用時間最短，因為其網絡結構最為簡單。C-BG-A多數保持在117s/epoch。在時間代價上，C-BG-A比CNN+BiLSTM+Attention更有優勢，說明選擇BiGRU模型能有效地縮短模型的訓練時間，具有高效性。

利用模型對真實單句進行預測，展示了模型真實的運用功能。選句子時要避免與原數據中的句子相同，否則會影響評估模型性能。為方便了解輸出結果含義，將值大于0.5的定為positive，其余定為negative。單句測試結果如表6所示。

預測結果句子情緒從表6單句測試結果上來看，C-BG-A模型對隨機所選的單句的預測結果都是正確的，從而更加直觀地說明了C-BG-A能在中文文本分類問題上的成功應用。

綜上，針對本文所用數據集，利用CNN-BiGRU聯合模型提取特征優于單模型CNN或BiGRU，再引入注意力機制能進一步地提高文本分類的準確率，且模型具有高效性和很好的應用能力。

4 結語

本文提出了一種C-BG-A模型的中文文本情感分析方法。利用CNN局部特征的強學習能力，提取短語體系的特征。再利用BiGRU深度學習CNN中池化后連接組成的特征，加強短語特征之間的聯系，從而使模型學習到更深層次的句子體系特征表示。最后引入注意力機制進行特征篩選，降低噪聲干擾。

在中文網絡購物評論文本上進行訓練和測試，實驗結果表明本文模型有效地提高了文本情感分類準確率，且時間代價小。但由于本文模型使用的CNN網絡深度不夠，如何使用更深的CNN網絡作為聯合對象進一步提高分類準確率，是下一步工作的目標。

參考文獻（References）

[1] 魏韡， 向陽， 陳千. 中文文本情感分析綜述[J]. 計算機應用， 2011， 31（12）： 3321-3323. （WEI W， XIANG Y， CHEN Q. Survey on Chinese text sentiment analysis[J]. Journal of Computer Applications， 2011， 31（12）： 3321-3323.）

[2] TURNEY P D. Thumbs up or thumbs down？： semantic orientation applied to unsupervised classification of reviews[C]// Proceedings of the 40th Annual Meeting on Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2002： 417-424.

[3] NI X， XUE G， LING X， et al. Exploring in the weblog space by detecting informative and affective articles[C]// Proceedings of the 16th International Conference on World Wide Web. New York： ACM， 2007： 281-290.

[4] PANG B， LEE L， VAITHYANATHAN S. Thumbs up？： sentiment classification using machine learning techniques[C]// Proceedings of the ACL-02 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2002： 79-86.

[5] BENGIO Y， DUCHARME R， VINCENT P， et al. A neural probabilistic language model[J]. Journal of Machine Learning Research， 2003， 3： 1137-1155.

[6] MIKOLOV T， CHEN K， CORRADO G， et al. Efficient estimation of word representations in vector space[EB/OL]. [2017-08-04]. http：//www.surdeanu.info/mihai/teaching/ista555-spring15/readings/mikolov2013.pdf.

[7] MIKOLOV T， SUTSKEVER I， CHEN K， et al. Distributed representations of words and phrases and their compositionality [EB/OL]. [2019-01-10]. http：//papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf.

[8] MNIH A， HINTON G E. A scalable hierarchical distributed language model[C]// Proceedings of the 21st International Conference on Neural Information Processing. New York： Curran Associates Inc.， 2008： 1081-1088.

[9] KALCHBRENNER N， GREFENSTETTE E， BLUNSOM P. A convolutional neural network for modelling sentences[C]// Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2014： 655-665.

[10] KIM Y. Convolutional neural networks for sentence classification[C]// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Proceeding. Stroudsburg， PA： Association for Computational Linguistics， 2014： 1746-1751.

[11] LEE J Y， DERNONCOURT F. Sequential short-text classification with recurrent and convolutional neural networks[C]// Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2016， 515-520.

[12] CHO K， van MERRIENBOER B， GULCEHRE C， et al. Learning phrase representions using RNN encoder-decoder for statistical machine translation [C]// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing.Stroudsburg， PA： Association for Computational Linguistics， 2014： 1724-1734.

[13] EBRAHIMI J， DOU D. Chain based RNN for relation classification[C]// Proceedings of the 2015 Annual Conference of the North American Chapter of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2015： 1244-1249.

[14] HOCHREITER S， SCHMIDHUBER J. Long short-term memory[J]. Neural Computation， 1997， 9（8）： 1735-1780.

[15] ZHOU C， SUN C， LIU Z， et al. A C-LSTM neural network for text classification[EB/OL].[2019-01-09].https：//arxiv.org/abs/1511.08630.

[16] XIAO Z， LIANG P. Chinese sentiment analysis using bidirectional LSTM with word embedding[C]// Proceedings of the 2016 International Conference on Cloud Computing and Security， LNSC 10040. Berlin： Springer， 2016： 601-610.

[17] BAHDANAU D， CHO K， BENGIO Y. Neural machine translation by jointly learning to align and translate[EB/OL]. [2018-03-20]. https：//arxiv.org/pdf/1409.0473v7.pdf.

[18] MNIH V， HEESS N， GRAVES A， et al. Recurrent models of visual attention[C]// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2014： 2204-2212.

[19] XU K， BA J， KIROS R， et al. Show， attend and tell： neural image caption generation with visual attention[EB/OL]. [2018-03-20]. https：//arxiv.org/pdf/1502.03044.pdf.

[20] LUONG M PHAM H， MANNING C D. Effective approaches to attention-based neural machine translation[C]// Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2015： 1412-1421.

[21] 胡榮磊， 芮璐， 齊筱， 等. 基于循環神經網絡和注意力模型的文本情感分析[J/OL]. 計算機應用研究， 2019， 36（11）. [2018-12-10]. http：//www.arocmag.com/article/02-2019-11-025.html. （HU R L， RUI L， QI X， et al. Text sentiment analysis based on recurrent neural network and attention model[J/OL]. Application Research of Computers， 2019， 36（11）. [2018-12-10]. http：//www.arocmag.com/article/02-2019-11-025.html.）

[22] 王偉， 孫玉霞， 齊慶杰， 等. 基于BiGRU-Attention神經網絡的文本情感分類模型[J/OL]. 計算機應用研究， 2018， 36（12） [2018-12-10]. http：//www.arocmag.com/article/02-2019-12-045.html （WANG W， SUN Y X， QI Q J， et al. Text sentiment classification model based on BiGRU-Attention neural network[J/OL]. Application Research of Computers， 2018， 36（12）[2018-12-10]. http：//www.arocmag.com/article/02-2019-12-045.html.）

[23] 陳潔， 邵志清， 張歡歡， 等. 基于并行混合神經網絡模型的短文本情感分析[J/OL]. 計算機應用， 2019. [2018-12-10]. http：//kns.cnki.net/kcms/detail/51.1307.TP.20190329.1643.008.html. （CHEN J， SHAO Z Q， ZHANG H H， et al. Short text sentiment analysis based on parallel hybrid neural network model[J/OL]. Journal of Computer Applications， 2019. [2018-12-10]. http：//kns.cnki.net/kcms/detail/51.1307.TP.20190329.1643.008.html.）

[24] 常丹， 王玉珍. 基于SVM的用戶評論情感分析方法研究[J]. 棗莊學院學報， 2019， 36（2）： 73-78. （CHANG D， WANG Y Z. Research on the method of user comment sentiment analysis based on SVM[J]. Journal of Zaozhuang University， 2019， 36（2）： 73-78.）

[25] 王煜涵， 張春云， 趙寶林， 等. 卷積神經網絡下的Twitter文本情感分析[J]. 數據采集與處理， 2018， 33（5）： 921-927. （WANG Y H， ZHANG C Y， ZHAO B L， et al. Sentiment analysis of twitter data based on CNN[J]. Journal of Data Acquisition and Processing， 2018， 33（5）： 921-927.）