基于卷積神經網絡的社交媒體文本情感分析

陸正球 王麟閣 周春良

（寧波大紅鷹學院信息工程學院，浙江 寧波 315175）

摘 要：隨著各類社交媒體上的評論數據數量的急劇增加，從大量的評論數據中挖掘出其所包含的情感信息具有越來越高的商業價值。本文提出了一種基于卷積神經網絡的社交媒體情感分類模型，首先通過包含酒店評論在內的語料庫完成詞向量的初始化，而后通過卷積網絡層、隱含層、嵌入層和分類層完成評論數據的情感分類。實驗結果表明，基于卷積神經網絡的情感分類模型無論是面對不同維度的詞向量模型還是不同比例的測試集，都能夠得到較高的分類準確率。

關鍵詞：情感分析；卷積神經網絡；詞向量

中圖分類號：TP391.41；TP183 文獻標識碼：A 文章編號：2096-4706（2018）02-0089-04

Social Media Text Sentiment Analysis Based on Convolutional Neural Network

LU Zhengqiu，WANG Linge，ZHOU Chunliang

（Ningbo Dahongying University School of Information Engineering，Ningbo 315175，China）

Abstract：With the number of comments on all kinds of social media increased dramatically，it has higher and higher commercial value while mining emotional information contained in a large number of comments. This article puts forward a social media sentiment classification model based on convolutional neural network. It at first finishes the word vector initialization through a corpus of hotel reviews，and then realizes the sentiment classification through convolutional network layer，hidden layer，embed layer and classification layer. Experiment results show that the emotion classification model based on convolutional neural network can get higher classification accuracy in terms of different dimension word vector models or in different proportion of test sets.

Keywords：sentiment analysis；convolutional neural network；word vector

0 引 言

隨著互聯網的迅猛發展和各類社交媒體的涌現，世界各地的用戶已經習慣于在互聯網上發表意見、表達情感。例如，在微博和微信等社交媒體上，人們可以自由地以文本、圖片等形式發表對公共熱點事件的評論，可以在電商平臺上瀏覽商品并對商品的質量進行評論，也可以在酒店網站上對酒店住宿服務進行評論。這些評論中包含個人情感取向，因此如何高效挖掘隱藏于這些評論中的觀點，并對這些海量用戶生成的數據進行情感分析，將有助于政府獲取大眾對于有關政策的意見，商家也可以根據用戶對商品的評論調整營銷策略。因此，針對社交媒體的情感分析已成為國內外相關領域的研究熱點。

1 情感分類方法

1.1 基于情感詞典的文本情感分類方法

在基于情感詞典的情感分析方法中，一般是將文本看作詞語或多詞短語的集合。它的核心模式是“詞典+規則”，也就是將判斷情感極性的主要依據放在情感詞上面，并設計相應的判斷規則。文獻[1]是基于詞典的情感分類方法中最具代表性的，通過分析評論中的形容詞和副詞短語的語義指向來預測評論的類別，將互聯網上的評論分為“推薦”和“不推薦”兩類。

而后Kamps和Marx[2]使用Word Net判斷詞語的情感傾向性。Budanitsky和Hirst[3]利用情感相似度來計算詞語的情感傾向性。文獻[4]根據情感詞典包含的有情感傾向的詞或短語得到正面情感或負面情感的得分。

1.2 基于機器學習的文本情感分類方法

基于機器學習的文本情感分析方法的優勢在于，它們具有對多種特征建模的能力。Pang等人利用基本的詞特征和樸素貝葉斯、最大熵和支持向量機等機器學習方法來解決情感分析問題。

隨后，Pang和Lee等人[5]通過加入預處理過濾器去除客觀句，讓同一個電影評價數據集的準確率從82.9%提升到86.4%。Cui等人[6]則證明了區分式分類器比一般的模型更加適用于情感分析任務。

Read等人[7]提出了一個對于領域、主題和時效沒有依賴的用于情感分析的機器學習算法，Li等人[8]提出的機器學習算法能夠動態地生成新的語料，解決了語料不平衡問題。Yu等人[9]研究發現協同訓練的半監督學習算法能夠達到最好的分類性能。Liu等人[10]提出的自適應多分類SVM模型，可以將一個普通情感分類器轉變成一個主題自適應的情感分類器。

2 基于卷積神經網絡的情感分類

當前，深度學習逐漸成為機器學習的熱門研究方向，其在不同應用問題上的推廣能力也得到了一定的驗證，如圖像識別、語音識別等。越來越多的學者開始嘗試將深度學習引入自然語言處理領域，進而彌補了傳統的機器學習方法的不足。由此，本文提出基于卷積神經網絡的弱監督學習模型用來解決文本的情感分析任務。

2.1 卷積神經網絡概念

卷積神經網絡（CNN）使用的是普通的神經元網絡，每層由多個二維平面組成，而每個平面由多個獨立神經元組成。卷積（Convolution）在泛函分析中是作用在兩個函數上的一種數學算子，所生成的函數是表征函數f與g經過翻轉和平移的重疊部分的面積。

設f（x）和g（x）是R1上兩個可積函數，則這兩個函數的卷積可以由以下公式求得：

（1）

通常卷積神經網絡中包含4種不同的層，他們分別是：輸入層、卷積層、池化層、全連接層。其中卷積層完成對輸入數據的局部特征的描述，池化層可在此基礎上進一步提取出局部特征中最重要的部分。

2.2 基于卷積神經網絡的情感分類模型

基于卷積神經網絡的情感分類模型包括情感文本輸入層、卷積網絡層、隱含層、嵌入層和分類層，如圖1所示。

2.2.1 輸入層

輸入層針對輸入語句中的每個詞語查詢向量列表以得到對應的詞向量，本文使用Word2Vec將網絡上爬取的社交媒體文本數據進行初始化，同時將社交媒體上弱標注信息進行離散化打標簽，通過標簽分配，將評論語句劃分到正面和負面兩個集合中。

2.2.2 卷積網絡層

卷積網絡層包含多個卷積濾波器，每個濾波器通過滑動能容納n個詞匯的窗口進行卷積計算，進而生成局部特征值，計算公式如下：

u（i）= f（W T xi：（i+n-1）+b） （2）

其中xi：（i+n-1）表示輸入語句位置i窗口中詞向量首尾相接的向量，而后獲取向量u中最顯著的特征值。

2.2.3 隱含層

隱含層將所有神經元之間全連接，以卷積網絡層的結果作為輸入，通過非線性激活函數得到更高層次的特征向量h，采用標準的前向傳播方式。

h=f（Wh ν+bh） （3）

其中，Wh是權重矩陣，bh是偏置向量。

2.2.4 嵌入層

在嵌入層中引入上下文向量。類似輸入層獲取詞向量列表，從上下文向量中查詢所有上下文，列表的初始值由隨機初始化獲得。嵌入層的計算公式如下：

（4）

其中h是隱含層的輸出結果，a是上下文向量。

3 實驗

首先從互聯網上爬取經過處理的酒店評論數據進行訓練和測試，一共6000條數據，其中積極評價和消極評價各3000條，實驗結果最后以10折交叉驗證的方式對模型的正確率進行評估。

本文卷積神經網絡的訓練和測試實驗環境如表1所示。

卷積首先對不同詞向量下的酒店評價準確率進行測試，并與線性SVM算法進行比較，本文采用了50、100和200維度下的詞向量進行評價語句的映射，實驗結果如圖2所示，可以看到基于CNN的文本情感分類的準確率都高于SVM算法。

而在卷積神經網絡中，數據集中訓練數據集和測試數據集的分割比例對文本情感分類也有一定的影響，不同測試集的情感分類的準確率如圖3所示。從中可以看出，在只有10%的訓練數據的情況下，情感分類的準確率已經接近80%，主要原因在于酒店評論中加入了弱標注信息，并進行了一定的噪聲處理。

圖3 不同測試集比例下的準確率

此外，滑動窗口的大小對卷積神經網絡有一定的影響，這里采用多種形式，包括單一滑動窗口和多滑動窗口，實驗對比結果如表2所示。實驗結果表明，當窗口數量的個數包含5的時候，數據的準確率較高。

4 結 論

本文對社交媒體文本的情感分類問題進行了研究，提出了一種基于卷積神經網絡算法的情感分類模型，并對6000條酒店評論數據進行了測試，結果表明基于卷積神經網絡的情感分類方法具有較高的準確率。

參考文獻：

[1] Turney P D. Thumbs Up or Thumbs Down：Semantic Orientation Applied to Unsupervised Classification of Reviews [C]//Proceedings of Annual Conference of the Association for Computational Linguistics，2002：417-424.

[2] Kamps J and Marx M. Words with Attitude[C]//Proceedings of International Conference on Global Word Net，2002：332-341.

[3] Budanitsky A，Hirst G. Evaluating Wordnet-based Measures of Lexical Semantic Relatedness [J].Computational Linguistics，2006，32（1）：13-47.

[4] Pang B，Lee L. Opinion Mining and Sentiment Analysis [J]. Foundations and Trends in Information Retrieval，2008，2（1-2）：1-135.

[5] Pang B，Lee L，Vaithyanathan S. Thumbs up：Sentiment Classification using Machine Learning Techniques [C]//Proceedings of Annual Conference of the Association for Computational Linguistics，2002：79-86.

[6] Cui H，Mittal V，Datar M. Comparative Experiments on Sentiment Classification for Online Product Reviews [C]//Proceedings of American Association of Artificial Intelligence，2006：1265-1270.

[7] Read J，Carroll J.Weakly Supervised Techniques for Domain-independent Sentiment Classification [C]//Proceedings of International Conference on Information and Knowledge Management Workshop on Topic-sentiment Analysis for Mass Opinion，2009：45-52.

[8] Li S，Wang Z，Zhou G，Lee S Y M. Semi-supervised Learning for Imbalanced Sentiment Classification [C]//Proceedings of International Joint Conference on Artificial Intelligence，2011：1826-1831.

[9] Yu N，Kübler S. Filling the Gap：Semi-supervised Learning for Opinion Detection across Domains [C]//Proceedings of Annual Conference of the Association for Computational Linguistics，2011：200-209.

[10] Liu S，Li F，Li F，Cheng X，Shen H. Adaptive Co-training SVM for Sentiment Classification on Tweets [C]//Proceedings of International Conference on Information and Knowledge Management，2013：2079-2088.