用于微博情感分析的深度學習網絡模型?

陳 珂 葉穎雅 馬乙平 謝 博 陳振彬 黎樹俊

（廣東石油化工學院計算機科學與技術系 茂名 525000）

1 引言

目前微博已經滲入到社會的各個階層，很多用戶通過微博表達觀點和情感。利用機器學習和自然語言處理來分析微博用戶的情感傾向成為自然語言處理高度關注的領域之一［1］。微博情感分類區別于普通文本，其句子的簡短和頻繁使用口語化詞語，這使得對微博的情感分類更具有難度和挑戰性。

在情感分類技術中，基于規則的方法采用了依據經驗或者專家意見得到的統計特征、情感詞典和模板，來對文本進行情感分類［2］。基于機器學習的方法則是利用人工標注一部分數據建立訓練集，然后對訓練集的數據進行特征提取和學習來構建一個分類模型，最后利用學習得到的分類模型來對未知標簽的測試數據進行分類預測，自動實現情感極性的判斷［3］。

隨著深度學習的興起與應用，很多研究人員開始利用深度學習解決情感分類問題。例如Yoon Kim 用卷積神經網絡（Convolution Neural Networks，CNN）對 電 影 評 論 進 行 情 感 分 類［4］，Nal Kalchbrenner 等人用卷積神經網絡解決Twitter 的極性判斷問題［5］，以及Xin Wang 等人用LSTM（long-short term memory）網絡對文本情感進行分析［6］。這類基于深度神經網絡的模型在情感分析領域取得了比傳統分類器更好的效果。此外，也有一些學者針對微博短文本特有的特征信息來構建分類模型。例如針對現有的大量情感信息，陳釗等人提出了將情感特征加入神經網絡的方法［7］，針對獲取更多的語義信息，劉龍飛等人提出了結合不同粒度的卷積神經網絡模型［8］。雖然這類方法針對情感分類做了改進并取得了更好的效果，但是這類方法并沒有對情感文本更多的特征信息進行學習，而且分類準確率對詞向量的初始值依賴較大。

針對上述問題，本文提出一種多通道卷積神經網絡模型。針對微博文本信息提取微博文本特有的情感詞來構建情感詞集合，然后在詞特征的基礎上加入詞性特征和詞在句子中的位置特征，并對不同特征的組合形成新的通道作為卷積神經網絡的輸入，從而讓網絡更好地學習特征信息以及學習到更多的隱含特征信息，使情感分類有更好的效果。此外，由于模型結合了不同的特征信息，有效地降低了對特征向量初始值的依賴性，在特征向量隨機初始化的實驗中也能取得較好的結果。在中文傾向性分析評測數據集（COAE2014）上比較陳釗和劉龍飛提出的方法取得了更好的性能，最后比較張志琳等［9］提出的用傳統分類模型的多樣化特征分類方法也取得了更好的分類效果，從而驗證了本文方法的有效性。

2 相關工作

2.1 情感分析

文本情感分析是對帶有感情色彩的文本進行分析、處理、歸納和推理，是自然語言處理領域的一個重要分支。常用的情感分類方法主要包括利用傳統機器學習方法例如支持向量機、隨機森林等解決文本的情感分類。基于機器學習的方法通常結合文本的一元詞特征、二元詞特征、詞性特征、情感特征等，將文本映射為多維向量，然后通過分類模型學習特征信息。常用的特征映射方法有One-hot表示方法，把文本的詞條映射為多維向量，但該方法忽略了詞語之間的關系和文本的語義關系。Bengio 等人［10］在2003 年提出了用多維的實數向量來表示文本的詞條，考慮了詞與詞之間的位置關系和語義信息，總結出用神經網絡建立統計語言模型的框架，同時學習詞向量的權重和概率模型里的參數。2013年，Mikolov等［11］提出了詞嵌入（Word Embedding）方法，用于計算詞向量的CBOW 模型和Skip-gram 模型，很好地度量詞與詞之間的相似性，得到了很多學者的關注和使用。

2009年Go等［12］首次提出微博情感分析。常用的微博情感分類技術是基于短文本的詞向量信息和情感特征信息來構建模型，例如Duy Tin Vo 等［13］加入表情特征自動構建文本的情感詞典來對Twitter文本進行情感分析。

2.2 卷積神經網絡

卷積神經網絡是深度學習的重要網絡之一，它通過卷積層和池化層學習輸入的局部特征，是基于人工神經網絡而提出的一種前饋神經網絡。目前，卷積神經網絡已廣泛應用于句子建模、語義匹配、句子相似度建模。Yoon Kim 提出了CNN 模型應用到句子分類當中，利用卷積神經網絡學習句子的局部特征。Wenpeng Yin 等［14］加入注意力機制，利用卷積神經網絡對句子進行建模。陳釗等人提出了一個WFCNN 模型，將卷積神經網絡和情感序列特征結合應用在情感極性分類。劉龍飛等分別利用字級別向量和詞級別向量結合卷積神經網絡對微博文本進行情感分析。

3 多通道卷積神經網絡模型

文本情感分類當中，文本的詞特征，尤其是情感詞，可以直接影響分類的性能。因此，本文通過針對微博文本特有的情感信息，進行情感詞的提取和構建特定情感詞集合，使得情感詞集合更好地覆蓋微博文本數據集。利用本文構建的特定情感詞集合，結合詞特征，把詞特征和情感詞性特征輸入到卷積神經網絡，提出了特定情感詞卷積神經網絡模型（Specific Sentiment Words Convolution Neural Networks，SSW-CNN）。為了把卷積神經網絡更好地應用到微博的情感傾向分析當中，本文提出了一種結合多種特征的多通道卷積神經網絡模型（Multi-Channals Convolution Neural Networks，MCCNN）。把不同的特征信息結合形成不同的通道作為卷積神經網絡的輸入，從而使模型學習到更多的語義信息，使微博情感分類具有更好的效果。

3.1 任務定義

基于Yoon Kim 提出的模型，卷積神經網絡也可以和其他特征結合構建模型，一種簡單的拼接結構如圖1 所示。本文要解決的問題是使用卷積神經網絡應用到微博文本情感傾向分析，實現把卷積神經網絡和多種特征結合來建立情感分析模型，更好地學習微博文本的隱含特征信息。本文提出的SSW-CNN 模型和MCCNN 模型在卷積神經網絡的基礎上，結合針對微博文本提取得到的其他特征信息，形成不同的通道作為卷積神經網絡的輸入，從而讓模型學習到更多的隱含信息，提高分類準確率。

3.2 構建特征

本文針對微博短文本的特定結構自動提取情感詞和構建情感詞集，得到大量針對微博文本的情感詞，從而使情感詞集合更好地覆蓋微博文本數據集。構建特定情感詞集合流程如圖2所示。

圖1 詞向量拼接特征向量模型結構

圖2 構建特定情感詞集合流程圖

普通情感詞集合，例如Hownet 情感詞集中所包含的情感詞大多數都是普通的詞語，然而微博文本普遍精簡，而且偏于口語化，Hownet 當中的情感詞往往不能覆蓋微博中的情感，所以普通情感詞集合不能直接用來對微博文本進行情感極性的判別。例如，“討厭保險”中的“討厭”就表達了直接的負面情緒，Hownet 情感詞集中的負面情感詞也包含“討厭”。然而對于句子“三星手機好坑爹啊”，其中“坑爹”表達了負面情緒，但因為“坑爹”不是傳統的情感詞，所以傳統的訓練模型將無法學習這個句子的情感信息。針對這個問題，本文提出了一個針對微博文本提取情感詞構建情感特征的方法。在傳統的Hownet 情感詞集上，手工加入例如“坑爹”、“傷不起”、“給力”、“吐槽”等新興的微博口語化情感詞。另外，形容詞、成語和習語往往也能表達情感信息，為了使情感詞對微博文本的覆蓋更廣，本文把微博中的形容詞、成語和習語作為情感詞的候選集，然后利用式（1）和（2）計算候選集中詞條w的情感得分：

其中，PS(w)為詞條w 的積極情感得分，NS(w)為詞條w 的消極情感得分，CPw為詞條w 在積極情感文本中出現的次數，CNw為詞條w 在消極情感文本中出現的次數，Pl為積極情感文本的平均長度，Nl為消極情感文本的平均長度，θp和θn為閾值。當詞條w 的積極情感得分PS(w)＞0 則詞條w屬于積極情感詞并把詞條w 加入積極情感詞集；同理當NS(w)＞0 則將詞條w 并入消極情感詞集。從而形成針對微博文本情感特征的新情感詞集。

根據上面得到的情感詞集和Hownet 本身包含的否定詞，如“不”、“無”、“沒有”等，以及程度副詞，如“極其”、“非常”、“更加”等，重新進行詞性標注，如表1所示。

表1 詞性-標注

由于微博的字數限制，微博文本的長度普遍比較簡短，所以詞條在微博中的位置也是微博文本的一個重要特征，同一個詞在不同位置出現，可能就包含不同的信息。通過式（3）計算句子S 中第i 個詞條wi的位置值：

其中position(wi)為wi在句子S 中的位置值，i 為詞條w 在句子S 中的位置，len(S)為句子S 的長度，maxlen為輸入的句子最大長度。

本文把每個詞性映射到一個k 維向量，即tagi∈?k，其中tagi為第i 個詞性。然后把每個位置值映射到一個l 維向量，即positioni∈?l，其中positioni為第i 個位置值。

3.3 多通道卷積神經網絡

本文提出的結合特定情感詞集合的卷積神經網絡如圖3 所示，多通道卷積神經網絡結構如圖4所示。卷積神經網絡由卷積層、池化層和全連接層組成，卷積層使用卷積核進行卷積操作提取特征，池化層對卷積層提取的特征做采樣處理，過濾后保留重要的特征，全連接層通過提取到的特征信息輸出最后的分類結果。本文以詞為單位對句子進行卷積操作，用一個m維的向量表示每一個詞條的詞向量、詞性特征和位置特征。對于長度為n 的句子，其特征表示：

其中w為詞向量，tag為詞性特征，position為位置特征。因為句子的長度不是固定不變的，所以我們設定一個最大長度為maxlen，對于長度小于maxlen 的句子用0 向量補全。我們通過對特征信息的不同組合形成不同的通道作為卷積神經網絡的輸入，一種簡單的拼接組合方式如下所示：

其中⊕為拼接操作。

其中ci是對分量xi:i+h-1進行卷積操作后提取得到的信息。

其中W∈?h×d為卷積核權重，d 是向量長度，b 為偏置值。然后在池化層利用max-over-time pooling方法對特征信息進行采樣，提取最重要的特征信息：

在MCCNN 模型中，把池化層采樣得到的特征信息作為隱藏層的輸入，通過隱藏層操作，把隱藏層的輸出作為最終全連接層的輸入，即：

其中f 為soft max 函數，b 為偏置項，w∈?m為全連接層權重。

圖3 SSW-CNN模型

圖4 MCCNN模型

4 實驗

本文的實驗一和實驗二采用2014 年中文觀點傾向性分析評測（COAE2014）語料中的任務4 數據集①，該數據集包含40000 條數據，其中7000 條是帶情緒的數據，其余為噪音。實驗一訓練數據來自同一個話題，共2400 條，其中正面和負面情緒各1200 條，測試集來自不同的話題，共5000 條，其中正面情緒2352 條，負面情緒2648 條。實驗二采用不同話題的數據，共5000 條，進行10 倍交叉驗證。實驗三采用第一屆自然語言處理與中文計算會議評測中的微博語料和從COAE2014 中正、負極性情感各隨機抽取1200 條數據，其中1000 條作為訓練集，200條作為測試集。數據統計如表2所示。

表2 實驗數據

本文提出的MCCNN模型對比陳釗等人提出的結合詞語情感特征的卷積神經網絡進行實驗一；對比劉龍飛等人提出的卷積神經網絡模型進行實驗二；對比張志林等人提出的多樣化特征中文微博情感分類方法進行實驗三。

4.1 數據預處理

本文把表1 所示的數據集詞條和詞性標注作為用戶字典加入中科院張華平教授的ICTCLAS 分詞工具②對實驗數據進行分詞和詞性標注，然后利用Google 的word2vec 工具③的skip-gram 模型來訓練詞向量，實驗一詞向量維度為50 維，詞性特征維度為30 維。實驗二和實驗三為詞向量維度為100維，詞性特征維度為30 維，位置特征維度為10 維。在訓練詞向量過程中，本文剔除了出現次數少于5次的詞條。其余參數使用word2vec的默認參數。

4.2 超參數

在三個實驗中，使用多種窗口卷積核進行卷積操作，卷積核函數為rectified linear units，訓練過程利用Adadelta更新規則［15］，采用10倍交叉驗證。模型的參數設置如表3所示。

表3 模型參數設置

4.3 實驗介紹

本文進行實驗的模型介紹如下。

WFCNN：陳釗等提出的結合情感序列的卷積神經網絡模型［7］。

WFCNN-W2VCNN：陳釗等提出的WFCNN 模型與word2vec訓練出的詞向量的CNN模型結合［7］。

CNN-word-rand-non-static：隨機初始化詞向量，利用劉飛龍等人提出的模型進行實驗［8］。實驗過程中詞向量可微調。

CNN-word-rand-static：隨機初始化詞向量，利用劉飛龍等人提出的模型進行實驗［8］。實驗過程中詞向量保持不變。

CNN-word-non-static：word2vec 訓練詞向量，利用劉飛龍等人提出的模型進行實驗［8］。實驗過程中詞向量可微調。

CNN-word-static：word2vec 訓練詞向量，利用劉飛龍等人提出的模型進行實驗［8］。實驗過程中詞向量保持不變。

SSW-CNN-rand：結合特定情感詞集合的CNN模型，特征向量隨機初始化。

SSW-CNN：結合特定情感詞集合的CNN模型，利用word2vec學習特征向量。

SSW-MCCNN-rand：把SSW 加入到多通道卷積神經網絡MCCNN模型，特征向量隨機初始化。

SSW-MCCNN：把SSW 加入到多通道卷積神經網絡MCCNN模型，利用word2vec學習特征向量。

MCCNN-word-rand-non-static：MCCNN 模型，隨機初始化詞向量。實驗過程中特征向量可微調。

MCCNN-word-rand-static：MCCNN 模型，隨機初始化詞向量。實驗過程中特征向量保持不變。

MCCNN-word-non-static：MCCNN 模型，利用word2vec 訓練出的詞向量進行試驗。實驗過程中詞向量可微調。

MCCNN-word-static：MCCNN 模 型，word2vec訓練出的詞向量進行試驗。實驗過程中詞向量保持不變。

Rich-features：張志琳等提出的多樣化分類特征方法［9］。

4.4 實驗對比

實驗一為了驗證加入更多特征信息的有效性，對比本文提出的MCCNN 模型與陳釗等人提出的WFCNN 模型的性能，對比結果如表4 所示。實驗二為了驗證向量隨機初始化和參數可微調對實驗結果的影響，對比本文提出的MCCNN 模型與劉飛龍等人提出的模型的性能，對比結果如表5 所示。實驗三為了驗證加入多特征的卷積神經網絡相比傳統機器學習模型的有效性，對比本文提出的MCCNN模型與張志琳提出的多樣化分類特征方法的性能，對比結果如表6所示。

表4 實驗一結果

表5 實驗二結果

表6 實驗三結果

從表4 的實驗結果可以看出本文提出的SSW-CNN 模型無論在隨機初始化詞向量以及用word2vec 訓練詞向量的結果都比陳釗等人提出的MFCNN 模型要好。其中在隨機初始化詞向量的試驗中，模型的正確率提升達到3.6%，用word2vec 訓練的詞向量模型提升也有2.38%。表5 結果顯示，本文提出的多通道卷積神經網絡MCCNN 模型在10 倍交叉驗證試驗中，特征向量可微調實驗正確率達到了96.43%，相比劉飛龍等人使用的普通卷積神經網絡提成了1.96%。表6顯示的結果可以看出，本文提出的結合多通道卷積神經網絡MCCNN模型正確率達到86%，優于多特征的傳統分類器。其中相比傳統的分類模型，用word2vec訓練詞向量和隨機初始化詞向量在向量可微調的實驗中正確率提升都為2.5%。

4.5 實驗結果分析

4.5.1 實驗一結果分析

通過分析實驗一結果可知本文結合特定情感詞集合的卷積神經網絡在隨機初始化特征向量（81.46%）和利用word2vec 學習特征向量（85.62%）兩個實驗中都比使用普通情感詞集合的卷積神經網絡（正確率分別為79.86%和83.24%）要好。其中利用word2vec 訓練特征向量對比普通情感詞提升了2.38%，說明了針對微博文本構建的情感詞集的有效性。表7 通過選出測試集的典型例子對特定情感詞集合的有效性進行分析。

此外，把詞特征和詞性特征作為多通道輸入到卷積神經網絡的分類正確率為82.08%（特征向量隨機初始化）和85.76%（利用word2vec 學習特征向量），對比卷積神經網絡的正確率只提升了0.62%和0.14%，提升效果不明顯。說明多通道卷積神經網絡在輸入的特征較少時效果并不明顯。

由表7 結果顯示，對于樣例1、樣例2 和樣例3句子中的“腦殘粉”、“坑爹”、“高檔”這三個情感詞是通過本文針對微博文本擴展得到的情感詞，不屬于普通情感詞。實驗結果顯示，使用普通情感詞的模型無法通過情感詞準確地判別樣例句子的情感極性，把樣例1、樣例2 和樣例3 都識別錯誤。而使用特定的情感詞集合則可以很好地通過情感詞的極性來判別句子的情感極性，分類結果和人工標注一致。對于樣例4，該句子有普通情感詞“丑”和提取得到的情感詞“坑爹”，兩個情感詞有相同的極性，最終兩個模型的分類結果都和人工標注一致。而對于樣例5，提取得到的情感詞“人渣”和原來的普通情感詞“明智”有不同的情感極性，結合普通情感詞的模型只能識別出帶積極情感的“明智”，故把句子的極性識別為積極。而加入特定情感詞的模型可以結合“人渣”、“明智”兩個情感詞來學習句子的特征信息，從而可以把句子極性識別為消極，和人工標注一致。對于樣例6，這種帶有諷刺性的語句，無論是普通情感詞還是特定情感詞的分類結果都和人工標注不一致，這類語句較為復雜，情感判別難度較大。

表7 測試集典型例子分析

4.5.2 實驗二結果分析

實驗二結果顯示，在加入位置特征后，本文提出的多通道卷積神經網絡模型在4 組對比試驗中效果都比普通卷積神經網絡的效果要好。其中對比MCCNN-word-rand-non-static 和CNN-wordrand-non-static 兩組實驗，多通道卷積神經網絡的正確率為95.83%比普通卷積神經網絡的93.02%提升了2.81%。分析實驗結果可以發現，結合多特征的卷積神經網絡在特征向量隨機初始化并且在實驗過程中向量可微調的情況下，模型可以在訓練過程中根據特征的不同結合來學習和調整特征向量的值，從而得到很好的分類效果。

MCCNN-word-rand-non-static 實驗結果相比MCCNN-word-rand-static（正確率92.34%）提升了3.19%，說明模型在學習過程中調整向量的值能得到更好的分類效果。通過對比MCCNN-wordrand-non-static 和MCCNN-word-non-static（正 確率96.43%）兩組可微調實驗，可以看出通過word2vec 訓練特征向量的實驗比隨機初始化特征向量能讓模型更好地學習特征信息，有更好的分類效果。但是在多通道卷積神經網絡中利用word2vec 訓練特征向量的正確率只比隨機初始化特征向量提升了0.6%，說明多通道卷積神經網絡對特征向量的初始值依賴較小，學習特征信息的能力更強。

4.5.3 實驗三結果分析

由實驗三結果可知，在特征向量隨機初始化且不可微調的實驗中正確率最低為82%。而利用word2vec 訓練特征向量訓練過程不可微調MCCNN-word-static 實驗的正確率（84.5%）雖然高于Rich-features 實驗（正確率為83.5%），但相比特征向量隨機初始化訓練過程可以微調MCCNNword-rand-non-static 實驗（正確率86%）降低了1.5%。說明在模型訓練過程中特征向量可微調能讓模型通過調整向量的值更好地學習特征信息，從而有更好的分類效果。對比MCCNN-wordrand-static（正確率82%）和MCCNN-word-static（正確率84.5%）兩組實驗可以發現，利用word2vec 訓練特征向量的正確率比隨機初始化特征向量提升了2.5%，說明在訓練過程中特征向量不可微調的實驗中，向量的初始值對模型的分類結果有很大的影響。對比MCCNN-word-rand-non-static 和MCCNN-word-non-static 兩組實驗可以發現，這兩組實驗的正確率都為86%，進一步說明了在向量可微調的情況下，多通道卷積神經網絡模型對特征向量初始值的依賴較小，在隨機初始化特征向量的情況下可以通過模型不同通道的輸入學習得到的特征來微調特征向量的值，能更好地學習數據的特征信息，從而在特征隨機初始化的實驗中取得比傳統方法更好的分類效果。

5 結語

本文針對微博特有的情感信息構建特定的情感詞集合，并利用多通道卷積神經網絡提取更多的語義信息和學習更多的隱藏信息。實驗結果表明，本文構建的特定情感詞集合在分類性能上優于普通的情感詞集合。把特定情感詞集合以及位置特征信息應用到卷積神經網絡提出的多通道卷積神經網絡的分類性能也優于先前提出的一些模型方法。并且多通道卷積神經網絡模型降低了對特征向量初始值的依賴性，這一結果表明多通道卷積神經網絡可以結合更多的特征來學習和優化模型，這也是我們下一步的研究工作。