基于神經網絡的網絡輿情情感分析

李亞飛，張 璞，史歡歡

(河北政法職業學院，河北 石家莊 050046)

0 引言

隨著時代的進步和社會的快速發展，截止到2021年12月，中國網民數量已達9.89億，互聯網成為了公眾發表意見的重要平臺，微博、博客、論壇、新聞等網絡應用已經成為社會生活中最大的民意網站。隨著傳統門戶網站和新媒體平臺的爆炸式發展，公眾參與網絡互動的熱情和參與度突飛猛進。因此，用戶產生了大量有價值的、帶有主觀意見的公共信息，同時這些信息會影響事件的發展，我們可以了解公眾輿論對某項政策、事件或產品的態度和意見，提取民意趨勢，準確收集民眾意見，把握趨勢，幫助政府和企業做出及時有效的決策。

然而，傳統的情感分析技術中基于文本統計信息和知識詞典的特征提取方法只考慮了詞與詞之間的形態聯系，往往忽略了很多內涵信息。對于需要考慮深層含義的輿論信息，很難做出感性的判斷。深度學習通過構建非線性多層網絡結構來學習復雜函數[1]，證實了深度學習在自然語言處理中的有效性，并驗證了學習深層結構化語義信息的能力。

1 基于深度學習的輿情分析

深度學習模擬人類大腦進行分析和學習，通過多層非線性網絡的疊加模型，將數據轉化為高層次、抽象的特征表達式。該方法已成功地應用于圖像處理和語音識別，為情感分類提供了新的思路。基于深度學習的方法主要分為兩個步驟：首先將需要分類的評論預料表示為語義詞向量；其次，利用不同的語義合成方法，得到與之相對應的句子或文檔的特征表達式，最后通過深度神經網絡提取情感特征，采用不同的融合方式進行情感分析。Glorot等人[2]將深度學習方法應用于大規模在線評論的情緒分析，通過提取更深層次的文本表達特征，大大提高了文本表達的準確性。Mikolov等人[3]對神經網絡模型進行了優化，提出了RNN。通過重復使用隱藏層，與新增的時間信息共同計算新的隱藏層。因此，隱藏層包含了所有的上下文語義信息，減少了參數，降低了復雜性。Sundermeyer等人[4]在2012年解釋了如何使用 LSTM（Long-Short-Term Memory Recurrent Neural Network）構建語言模型，該模型可以解決文本內容的遠程依賴問題。Liu等人[5]在2015年使用不同長度和時間步長的 LSTM 進行情感分類。Kim[6]在 2014年使用 CNN對預處理后的單詞向量進行分類，獲得了較高的分類精度。Lee[7]使用CNN和RNN將文本發送給ANN進行分類。長短時記憶（LSTM）算法作為一種特殊的遞歸神經網絡（RNN）在情緒分析方面表現出色。例如，Pathak等人提出了一種基于深度學習的主題級情感分析模型，該模型采用了包含正則化約束的在線潛在語義索引和主題級注意機制的 LSTM網絡[8]。Barachi等人使用雙向LSTM從大量關于氣候變化的在線帖子中提取多種情緒[9]。Agüero-Torales等人對相關問題進行了很好的綜述[10]。他們發現，隨著解決更困難的情感分析任務需求的增加，需要具有更精細架構的深度學習算法。

LSTM廣泛應用的同時也在不斷更新，Cho[11]等人構建的GRU單元在很多問題上有著和LSTM相似的表現而結構更加簡化。Yao[12]等人則為改進傳統 RNN結構提供了更多思路方法，實現了Depth Gated RNN模型。Hinton[13]等人首次提出了深度學習的概念，認為深層神經網絡的特征學習能力很強且通過逐層初始化的方法克服了訓練的難度，激發了學者們對深度學習的研究熱情，之后深度學習被廣泛應用到自然語言處理領域。Lecun[14]等提出了用于文本分類任務的CNN卷積神經網絡，CNN具有多層網絡結構，也是深度學習領域首個訓練成功的算法。國外的研究學者們通過對深層神經網絡不斷地改進，優化了多種變體結構，推進了深度學習的研究。如Socher R分別提出了遞歸自編碼 RAE模型、Matrix-Vector RNN模型、RNTN模型，RNTN模型[15]，采取減少參數總量的方式，具體方法是按線性變換的規則處理若干分量，在坐標變換的環節引進張量，從而優化了性能效果；Socher R[16]之后在RNN單元結構中引入門機制并進行文本分類實驗，克服了梯度消失的問題，并將改進后的結構稱為LSTM；但 LSTM 對于輸入信息的處理是從序列第一個開始，而不能從最后一個往前記憶，為解決LSTM單層結構不擅長處理反向序列信息的問題，Brueckner R[17]引入LSTM反向層連接LSTM正向層，設計對比實驗表明了雙層模型更擅長前后文的特征提取。Ghosh S[18]等人為強化模型對文本的信息提取，受到特征融合理念的啟發，考慮詞匯的外部情感因素并結合LSTM算法，從而提高了分類效果。Yoon Kim[19]等人基于CNN在圖像領域的應用，提出并構建了改進的卷積網絡并用于文本分類任務，以預訓練的英文單詞向量作為單通道輸入，得到的 Text-CNN在英文語料庫的表現較好，但不擅于學習更復雜情境下的語意和表征，且在面對中文領域的情感判別問題上仍需改進。國內也有一些研究學者們著手對深度學習情感分類模型展開了研究。梁軍[20]等人拋棄傳統的人工決定特征的方式，將 RAE模型和深度學習模型相結合進行分類實驗，由實驗結果發現模型對特征的提取和學習的性能得到了優化，從一定程度上對情感判別處理做出了改進。之后梁軍[21]等人引入情感極性轉移模型提取詞匯和語句兩者之間前后的聯系，并結合LSTM特征提取的優勢，提高了情感分析的效果，從而有效完成對微博中文文本的情感識別任務。唐都鈺[22]等人結合了幾種神經網絡模型進行文檔分類任務，利用卷積神經網絡和長短期記憶神經網絡學習句子表示，用門控循環神經網絡GRU學習文檔表示，經過實驗結果和分析驗證，CNN和LSTM結合的模型在文檔分類任務上取得了不錯的效果。劉龍飛[23]基于 CNN詞向量原始特征的選取上做了相關工作，采用字級別和詞級別兩種方式，嘗試解決微博的情感分析判別問題，在COAE2014語料集上取得了較高的準確率。何炎祥[24]等人研究微博文本的情感分析，輸入層結合了中文詞和表情符號兩者的情感因素進行考量，提出 EMCNN模型，相比于傳統CNN，EMCNN對情感特征的選取更豐富，更適用于解決微博文本領域的情感分類問題。同年龐亮[25]等人在解決文本匹配任務時，選取了三個經典數據集，涉及的領域分別是問題陳述、自動問答和信息搜索，通過若干種文本匹配模型之間的對比分析，列舉出各自的優勢和不足，最后分析與展望了深度文本模型的發展前景。

李洋[26]等人提出將CNN和BILSTM兩種算法相結合，對于文本對應的詞向量，首先建立CNN對其局部表征更有效地提取，而文本的全局特征則采用BILSTM更好地記憶上下文信息，之后結合兩種互補的情感分類方法提取的特征，通過對比在兩種數據集上的實驗結果，這種特征融合的方法對提升文本分類的準確率起到了很大作用。之后王麗亞[27]等人提出了 CNN-BILSTMAttention網絡結構用于處理情感極性分析任務，也就是在深層網絡的最后加入注意力機制。CNN的優點在于處理局部特征提取任務時，對詞向量表征的學習性能和提取能力更強，而BILSTM更擅長于處理文本前后文相關信息的表征提取，最后為了進一步提升文本分類的效果，加入了注意力機制。通過實驗結果驗證，增加了attention層的模型在重要特征的提取方面表現更好，分類效果也更準確。

前不久Google開源的BERT——Bidirectional Encoder Representations from Transformers深度學習模型，在應用于自然語言處理領域若干問題上的表現，普遍刷新了最好記錄，從而成為NLP領域的研究主流。楊晨[28]等人在BERT的基礎上，加入情感詞典改進了預訓練任務的效果，并且基于上下文詞的細粒度側重對文本偏向情感的特征學習，通過對多個流行數據集進行實驗對比，比傳統BERT模型取得了更先進的成果。史振杰[29]等人提出BERT和CNN相結合的網絡模型，句子語義的表達借助BERT模型得出文本向量，采用CNN對句子的局部特征進行抽取，實驗數據集選取有標簽的電商評論數據集，并取得了較好的性能。堪志群[30]等人則是將BERT與雙向LSTM相結合，克服了傳統語言模型不能很好的利用詞向量表達詞語的多義性的缺點，基于微博文本數據上的情感傾向性對比實驗得到了91.45%的F1值，優于主流的情感分析模型。

2 結論

現如今社交網絡平臺十分發達，社交媒體上有海量用戶發布信息數據，為網民社交輿情情感分析提供了大量數據基礎，通過對數據的篩選、分類、標準化等方法之后，提煉出信息中所包含的輿情情感，對這些情感進行分類標記，從而實現對網絡中輿情的產生、傳播、發展的監控，可以有效的了解民眾對于企業產品的使用體驗和企業品牌的情緒，對于企業個性化營銷和公司品牌推廣有著指導性的意見。同時，對網絡信息中所包含的網民情緒的提取和分析，能夠及時有效的獲取到網民對于當前政策法規的滿意度，幫助政府深度挖掘公民對于政府的輿情情感，為政府制定相關政策、出臺相關法規、提供公民輿情情感的參考和建議具有十分重要的意義，未來在企業個性化營銷、企業品牌推廣等方面也將具有廣闊的應用前景。