基于多通道卷積神經(jīng)網(wǎng)絡的中文微博情感分析

陳 珂 梁 斌 柯文德 許 波 曾國超

1(廣東石油化工學院計算機科學與技術(shù)系 廣東茂名 525000) 2 (蘇州大學計算機科學與技術(shù)學院 江蘇蘇州 215000) (chenke2001@163.com)

隨著微博在社交網(wǎng)絡上的興起，越來越多的用戶通過微博發(fā)表觀點和表達情感.如何利用機器學習和自然語言處理來分析微博用戶的情感傾向已得到了越來越多研究人員的關(guān)注，并成為自然語言處理領域的研究熱點之一[1].此外，微博文本句子的長度偏短和口語化詞語的頻繁使用，使得微博的情感分類相比普通文本情感分類更具有難度和挑戰(zhàn)性.

傳統(tǒng)的情感分類技術(shù)主要有基于規(guī)則和基于機器學習2類:1)基于規(guī)則方法主要采用根據(jù)經(jīng)驗或者專家意見得到的統(tǒng)計特征、情感詞典和模板來對文本進行情感分類，需要大量的人工干預[2-3];2)基于機器學習的方法通過人工標注一部分數(shù)據(jù)建立訓練集，對訓練集的數(shù)據(jù)進行特征提取和學習來構(gòu)建一個分類模型，最后利用訓練得到的分類模型來對未知標簽的測試數(shù)據(jù)進行分類預測，自動實現(xiàn)情感極性的判斷[4-5].其中基于機器學習方法在過去的研究中得到很多學者的重點關(guān)注，總結(jié)出了很多不同分類模型的組合方法.這些方法已廣泛應用于情感分析領域，并已取得了很好的成果.但這類方法通常需要依賴復雜的特征工程，以及需要結(jié)合例如依存關(guān)系分析等外部知識.

近年來，隨著深度學習在自然語言領域的研究和發(fā)展，越來越多的研究員開始用深度學習來解決情感分類問題[6].例如Kim[7]用卷積神經(jīng)網(wǎng)絡(convolution neural networks， CNN)對電影評論進行情感分類;Kalchbrenner等人[8]用卷積神經(jīng)網(wǎng)絡解決Twitter的極性判斷問題;Wang等人[9]用長短期記憶(long-short term memory, LSTM)網(wǎng)絡對文本情感極性進行分析.這類基于深度神經(jīng)網(wǎng)絡的模型在無需大量人工特征的情況下取得了比傳統(tǒng)分類器更好的效果.一些學者針對微博短文本特有的特征信息來構(gòu)建分類模型.例如針對Twitter文本的大量特征信息，Vo等人[10]提出了使用多樣化特征的Twitter文本情感分類;針對現(xiàn)有的大量情感信息，陳釗等人[11]提出了將情感特征加入卷積神經(jīng)網(wǎng)絡的方法;針對獲取更多的語義信息，劉龍飛等人[12]提出了結(jié)合不同粒度的卷積神經(jīng)網(wǎng)絡模型.雖然這類方法針對微博文本情感分類做了改進并取得了比傳統(tǒng)方法更好的效果，但這類方法對情感特征的利用依賴于人工整理的情感詞典，無法充分利用微博文本的情感信息.同時，這類方法使用單一的特征表示，對輸入向量的初始值依賴較大，且難以正確表示每個詞在句子中的重要程度.

針對上述問題，本文提出一種將詞語的詞性進行向量化操作作為網(wǎng)絡模型輸入的方法，該方法通過將情感詞典中的詞語重新進行詞性標注，并將不同的詞性取值映射為一個多維的連續(xù)值向量，從而可以有效將輸入文本的情感特征信息加入網(wǎng)絡模型，使情感信息得到充分利用.為了更準確地表示每一個詞語在輸入句子中的重要程度，本文將句子中不同詞語的位置取值進行向量化操作，結(jié)合輸入句子的詞向量和詞性向量形成不同的通道作為卷積神經(jīng)網(wǎng)絡的輸入，可以使網(wǎng)絡模型在訓練過程中通過多種文本表示來學習句子的情感特征信息，挖掘更多的隱藏特征信息.同時，本文將不同的文本表示組合形成不同的通道作為卷積神經(jīng)網(wǎng)絡的輸入，可以使模型通過多方面信息學習不同輸入特征之間的聯(lián)系，有效降低網(wǎng)絡對特征向量初始值的依賴性，在向量隨機初始化的實驗中也有不錯的分類效果.此外，本文提出的多通道卷積神經(jīng)網(wǎng)絡(multi-channels convolutional neural networks, MCCNN)模型在一次學習過程就可以完成對不同特征的學習和參數(shù)調(diào)整，有效降低了模型的訓練時間代價.在中文傾向性分析評測數(shù)據(jù)集(COAE2014)和微博語料數(shù)據(jù)集(micro-blog dataset, MBD)上與文獻[11-12]提出的深度網(wǎng)絡模型相比取得了更好的性能，最后比較張志琳等人[13]提出的基于傳統(tǒng)分類模型的多樣化特征分類方法也取得了更好的分類效果，從而驗證了本文方法的有效性.

本文主要貢獻有4個方面：

1) 提出了一種MCCNN模型用在情感分析任務中，該模型將情感分析任務中不同的特征信息和卷積神經(jīng)網(wǎng)絡結(jié)合，有效提高了情感分類的正確率；

2) 提出了一種將不同詞性映射為多維連續(xù)值的方法，該方法通過多維的詞性向量，可以使網(wǎng)絡有效識別不同詞語種類對情感分類正確率的影響程度；

3) 將句子中不同詞語的位置特征用連續(xù)值向量的形式加入網(wǎng)絡模型，在訓練過程中通過對位置向量的調(diào)整，可以有效獲取不同詞語在句子中的重要程度；

4) 在多個數(shù)據(jù)集上的對比實驗表明，本文提出的MCCNN模型在情感分析任務中能有效識別不同類型句子的情感極性，取得更好的分類效果.

1 相關(guān)工作

1.1 情感分析

文本情感分析是通過對文本上下文內(nèi)容的學習來判定文本的情感極性，是自然語言處理領域的一個重要分支.2002年P(guān)ang等人[14]提出情感分析之后，有越來越多的研究員開始關(guān)注情感分析，也有越來越多的學者使用機器學習方法來解決文本情感判定.常用的基于機器學習的情感分類方法主要包括支持向量機、決策樹、樸素貝葉斯等.在情感分析任務中，這類方法通過對數(shù)據(jù)集的信息提取和特征構(gòu)建，取得了很好的分類效果.基于機器學習的方法通常結(jié)合文本的一元詞特征、二元詞特征、詞性特征、情感特征等，將文本映射為多維向量，并通過分類模型學習特征信息.常用的特征映射方法有One-hot表示方法.該方法把文本的詞條映射為多維向量，但忽略了詞語之間的關(guān)系和文本的語義關(guān)系.Bengio等人[15]在2003年提出了用多維的實數(shù)向量來表示文本的詞條，考慮了詞與詞之間的位置關(guān)系和語義信息，總結(jié)出用神經(jīng)網(wǎng)絡建立統(tǒng)計語言模型的框架，同時學習詞向量的權(quán)重和概率模型的參數(shù)；2013年Mikolov等人[16]實現(xiàn)了用CBOW模型和Skip-gram模型計算詞向量的方法，該方法很好地度量詞與詞之間的相似性，得到了很多學者的關(guān)注和使用.

對于短文本的情感分析，自2009年Go等人[17]首次提出微博情感分析以來，對例如微博的短文本情感極性判定也受到了越來越多人的重點關(guān)注.情感詞典對情感分類有很大的影響，常用的短文本情感分類技術(shù)是基于短文本的詞向量信息和情感特征信息來構(gòu)建模型.例如Vo等人[18]加入表情特征自動構(gòu)建文本的情感詞典來對Twitter文本進行情感分析.該方法有效利用了Twitter文本中不同表情隱藏的情感信息，通過對表情符號的學習，使模型充分利用輸入文本的情感信息，有效提高了情感分類的性能.Tang等人[19]通過情感種子擴充特定領域情感詞對用戶評論進行情感分類.該方法利用算法對特定領域數(shù)據(jù)集中的數(shù)據(jù)進行情感詞的提取和擴充，使輸入語料的情感詞得到有效利用.此類方法都很好地結(jié)合了短文本特有的特征信息進行情感極性的判斷，使情感分類有更好的效果.

1.2 卷積神經(jīng)網(wǎng)絡

卷積神經(jīng)網(wǎng)絡是深度學習的重要網(wǎng)絡之一，它通過卷積層和池化層學習輸入數(shù)據(jù)的局部特征[20]，是基于人工神經(jīng)網(wǎng)絡而提出的一種前饋神經(jīng)網(wǎng)絡.自20世紀60年代，Hubel和Wiesel[21]提出卷積神經(jīng)網(wǎng)絡以來，經(jīng)過幾十年的發(fā)展，如今CNN已經(jīng)廣泛應用于各種領域當中.由于卷積神經(jīng)網(wǎng)絡無需對數(shù)據(jù)進行復雜的預處理，并可以學習大量的特征信息，所以卷積神經(jīng)網(wǎng)絡在很多領域都取得了不錯的成果.特別是在模式識別領域，卷積神經(jīng)網(wǎng)絡無需對圖像進行復雜的預處理，直接把圖像作為網(wǎng)絡的輸入，讓卷積神經(jīng)網(wǎng)絡得到了學術(shù)界和工業(yè)界的廣泛關(guān)注.

近年來，隨著深度學習的發(fā)展和深入研究，卷積神經(jīng)網(wǎng)絡已被越來越多的學者應用到自然語言處理領域當中.目前，卷積神經(jīng)網(wǎng)絡已廣泛應用于語義匹配[22]、詞序列預測[23]和情感分析[24]等領域.文獻[7]提出了將CNN模型應用到句子分類當中，利用多窗口的卷積核對輸入文本進行卷積操作來提取局部特征.最后在多種數(shù)據(jù)集上進行實驗，有效地提高了句子分類的性能，取得了比以往方法更好的效果.Chen等人[25]通過動態(tài)多樣化池化層卷積神經(jīng)網(wǎng)絡提取句子中的事件.該方法對CNN的池化層進行改進，可以有效獲取輸入文本更多的局部特征，保留更多的特征信息，有效獲取輸入文本中的事件信息.文獻[12]以字級別和詞級別的文本表示作為CNN的輸入來學習句子的特征信息，通過不同級別的文本表示可以得到不同的特征集合.最后利用多卷積核對特征集合進行卷積操作，提取更豐富的情感特征信息，取得了比傳統(tǒng)SVM方法更好的分類效果.文獻[11]提出了一種將卷積神經(jīng)網(wǎng)絡和情感序列特征結(jié)合應用在情感極性分類的WFCNN模型.該模型介紹了一種將情感分類任務中特有的情感信息和詞向量拼接作為網(wǎng)絡模型輸入的方法，可以有效利用輸入文本的情感特征信息.本文提出的MCCNN模型和文獻[11]的不同之處在于，本文使用多維連續(xù)值向量的形式來表示詞語的詞性特征，相比文獻[11]使用二值取值來表示詞語特征，模型在訓練過程中可以通過更細微的參數(shù)調(diào)整來學習句子的情感信息，取得更好的情感分類效果.

2 情感分析模型

在文本情感分類任務中，文本的詞特征，尤其是情感詞，可以直接影響分類的性能[26].本文通過對微博文本中的情感詞進行重新標注和向量化，作為卷積神經(jīng)網(wǎng)絡的輸入，提出一種結(jié)合情感詞的卷積神經(jīng)網(wǎng)絡模型(sentiment words convolution neural networks， SWCNN)，驗證本文提出將情感詞重新標注和向量化在情感分析任務中的有效性.此外，由于微博文本的長度普遍較短，包含的特征信息有限.為了把卷積神經(jīng)網(wǎng)絡更好地應用到微博的情感傾向分析任務中，本文在結(jié)合情感詞的基礎上加入句子中詞語的位置信息，提出了一種結(jié)合多種特征的MCCNN模型.該模型把不同的特征信息結(jié)合形成不同的通道作為卷積神經(jīng)網(wǎng)絡的輸入，從而使模型獲取更多的隱藏信息，有效表示每個詞語在句子中的重要程度，取得更好的情感分類效果.

2.1 任務定義

對于長度為n的句子s={w1,w2,…,wn}，其中wi為句子s中的第i個詞條，情感分析的任務是根據(jù)句子s的詞序列所隱含的特征信息來判斷句子s的情感極性.基于文獻[7]提出的模型，卷積神經(jīng)網(wǎng)絡也可以和其他特征結(jié)合作為網(wǎng)絡的輸入來構(gòu)建模型.一種簡單的拼接結(jié)構(gòu)如圖1所示.通過把詞向量和不同特征的拼接作為卷積神經(jīng)網(wǎng)絡的輸入，能使網(wǎng)絡模型在訓練過程中針對不同的特征信息來學習和調(diào)整模型的參數(shù)，獲取更多的隱藏信息.

Fig. 1 The structure of features combination圖1 特征拼接模型結(jié)構(gòu)

2.2 構(gòu)建特征

本文將通過加入情感分類任務中最重要的情感特征來闡述卷積神經(jīng)網(wǎng)絡和其他特征結(jié)合的方法.介紹在輸入文本內(nèi)容特征的基礎上，結(jié)合情感分析特征的情感詞特征和詞語在句子中的位置特征來構(gòu)建網(wǎng)絡模型的輸入矩陣，并利用不同的輸入通道來接收不同特征信息的組合，使模型在訓練過程中學習更豐富的情感特征信息，有效識別短文本句子的情感極性.

神經(jīng)網(wǎng)絡通過接收文本的向量化輸入來學習輸入句子的特征信息，在文本分類任務中，句子中詞語的內(nèi)容隱含著句子最重要的特征信息.本文以詞為單位來表示句子，將每一個詞映射為一個多維的連續(xù)值向量，可以得到整個數(shù)據(jù)集詞集合的詞向量矩陣E∈m×|V|，其中m為每個詞的向量維度，|V|為數(shù)據(jù)集的詞條集合大小.對于長度為n的句子s={w1,w2,…,wn}，句子中每一個詞語wi可以映射為一個m維向量，即ei∈m.

本文利用普通的Hownet*http://download.csdn.net/detail/monkey131499/9491884情感詞集合，對輸入句子重新進行詞性標注.如表1所示，通過將句子中的特殊詞語賦予特定的詞性標注，可以讓模型充分利用對情感分類有重要作用的詞語，例如積極和消極情感詞、否定詞、程度副詞等，從而在訓練過程中注重學習這些詞語的特征信息.本文除了考慮句子中的情感詞，同時也對否定詞和程度副詞重新進行詞性標注.例如“喜歡”是積極情感詞，而“不喜歡”則是消極情感詞，所以否定詞會使句子隱含和情感詞相反的情感極性.對于不同的詞性標注，通過向量化操作，將每一種詞性標注映射為一個多維的連續(xù)值向量tagi∈k，其中tagi為第i個詞性向量，k為詞性向量維度.網(wǎng)絡模型在訓練過程中可以針對不同的詞性標注來對詞性向量的各分量進行微調(diào)整，從而可以學習到更細微的特征信息.

Table 1 POS Tagging表1 詞性標注

因為微博的字數(shù)限制，微博文本的長度普遍比較簡短，句子所含的情感信息有限，所以詞條在微博中的位置也是微博文本的一個重要特征.同一個詞在不同位置出現(xiàn)，可能包含不同的信息.計算句子s中第i個詞條wi的位置值：

p(wi)=i-len(s)+maxlen,

(1)

其中,p(wi)為wi在句子s中的位置值，i為詞條w在句子s中的位置，len(s)為句子s的長度，maxlen為輸入的句子最大長度.和詞性向量操作一樣，本文把每個位置值映射到一個l維向量，即positioni∈l，其中positioni為第i個位置值的向量.

2.3 結(jié)合詞性特征的卷積神經(jīng)網(wǎng)絡

為了驗證本文提出的將詞性映射為多維向量方法的有效性，將輸入句子的詞性向量和句子內(nèi)容層面的詞向量結(jié)合作為卷積神經(jīng)網(wǎng)絡的輸入，提出一種SWCNN模型.如圖2所示，SWCNN模型主要由輸入層、卷積層、池化層和全連接層組成.輸入層接收輸入句子的特征矩陣；卷積層利用卷積核對輸入的基本單位進行卷積操作提取特征；池化層對卷積層提取到的特征做采樣處理，以過濾的形式保留重要的特征；全連接層通過提取到的特征信息輸出待分類句子的分類結(jié)果.

Fig. 2 Model architecture of SWCNN圖2 SWCNN模型結(jié)構(gòu)圖

本文以詞為單位對句子進行卷積操作，對于長度為n的句子，其特征表示為

e1:n=e1⊕e2⊕…⊕en,

(2)

tag1:n=tag1⊕tag2⊕…⊕tagn,

(3)

其中，e為詞向量，tag為詞性特征.為了簡化網(wǎng)絡模型結(jié)構(gòu)，本文使用簡單拼接操作形成特征矩陣x∈m+k，作為卷積神經(jīng)網(wǎng)絡的輸入：

x=e⊕tag,

(4)

其中,⊕為拼接操作.本文通過把特定情感詞映射為多維的詞性特征，這可以使網(wǎng)絡在訓練過程中通過調(diào)整詞性特征分量來優(yōu)化分類模型.實驗中，本文對句子的輸入設定一個最大長度maxlen，對于長度小于maxlen的句子用0向量補全.

卷積層可以通過不同的卷積核對輸入矩陣進行豐富的局部特征提取，對于長度為h的卷積核，可以把句子分為{x0:h-1,x1:h,…,xi:i+h-1,…,xn-h+1:n}，然后對每一個分量進行卷積操作，得到卷積特征圖：

C=(c1,c2,…,cn-h+1),

(5)

其中,ci是對分量xi:i+h-1進行卷積操作后提取得到的信息.

ci=relu(W·xi:i+h-1+b),

(6)

其中,W∈h×(m+k)為卷積核權(quán)重，b∈為偏置.本文在池化層利用max-over-time pooling[27]方法對特征信息進行采樣，提取最重要的特征信息：

(7)

(8)

在MCCNN模型中，把池化層采樣得到的特征信息作為全連接層的輸入，得到分類結(jié)果：

(9)

其中,bf∈為偏置，Wf∈d為全連接層權(quán)重，y為輸出結(jié)果.

2.4 多通道卷積神經(jīng)網(wǎng)絡

如圖3所示，結(jié)合多特征的多通道卷積神經(jīng)網(wǎng)絡MCCNN模型主要由6部分組成：

1) 輸入層.本文主要使用4個通道來接收待分類句子的不同特征組合，使用不同的通道獲取待分類句子更豐富的特征表示.

2) 卷積層.對于不同的通道，本文使用多窗口多卷積核的方式進行卷積操作，獲取不同通道輸入的局部特征，形成特征信息圖.

3) 池化層.為了使每個通道中的特征信息都能得到充分的利用，本文使用不同的池化層對不同的通道進行下采樣操作，獲取每個通道中最重要的特征信息.

4) 合并層.本文采用一個合并層合并從不同通道獲取的局部特征，形成一個特征向量，并將該特征向量作為隱藏層的輸入.

5) 隱藏層.為了獲取不同通道局部特征之間的聯(lián)系，本文采用一個隱藏層對局部特征向量進行特征提取，并可以通過權(quán)重矩陣學習不同通道的相互聯(lián)系.

6) 輸出層.本文使用函數(shù)softmax輸出待分類句子的分類結(jié)果.

Fig. 3 Model architecture of MCCNN圖3 多通道卷積神經(jīng)網(wǎng)絡模型結(jié)構(gòu)

和普通的卷積神經(jīng)網(wǎng)絡相比，MCCNN模型可以通過不同特征的組合變換形成新的通道作為網(wǎng)絡的輸入，使模型可以根據(jù)多樣化的輸入，在訓練過程中獲取到更多的語義信息.因為不同特征結(jié)合除了形成新的特征之外，也可以讓特征之間有相互聯(lián)系和影響.同時，不同通道的特征組合可以讓網(wǎng)絡在一次學習過程中就能完成對多個特征的參數(shù)調(diào)整，降低了網(wǎng)絡模型的時間代價.此外，MCCNN模型中的每個通道是相互獨立的，在訓練過程中模型可以對不同的通道使用不同的卷積核和不同的激活函數(shù)，使模型學習到更加多樣化的信息.MCCNN模型除了使用SWCNN模型用到的詞向量和詞性特征之外，還加入了詞在文本中的位置特征.對于長度為n的句子，其位置特征：

position1:n=position1⊕
position2⊕…⊕positionn.

(10)

對詞特征、詞性特征和位置特征采用不同的組合方式形成4個不同的通道作為網(wǎng)絡的輸入.為了使網(wǎng)絡模型簡單化，本文在實驗中對特征的組合使用的是一種簡單的拼接操作：

V1=w⊕tag⊕position,

(11)

V2=w⊕tag,

(12)

V3=w⊕position,

(13)

V4=tag⊕position,

(14)

和SWCNN模型一樣，對于每個通道的特征信息，本文利用不同的卷積層對不同通道進行卷積操作來提取特征信息，對于長度為h的卷積核，卷積操作得到的特征向量圖:

(15)

然后利用池化層對特征信息進行過濾和提取，獲取最重要的特征信息.實驗中，本文對4個通道采用多窗口多卷積核的卷積操作，其中卷積核數(shù)量均為d，通過池化操作，可以得到池化特征向量圖:

(16)

式(15)(16)中，j={1,2,3,4}為通道下標.然后將不同通道的特征向量圖通過合并層可以得到特征向量：

(17)

此外，為了進一步獲取更重要的特征信息和獲取不同通道特征信息之間的聯(lián)系，本文在MCCNN的池化層和全連接層之間加入一個隱藏層：

(18)

其中,R∈q為隱藏層輸出，q為隱藏層輸出維度.Wh∈q×d為隱藏層權(quán)重矩陣，bh∈q為偏置.通過該隱藏層可以更好地過濾影響分類性能的信息，獲取到更重要的特征.然后將隱藏層提取到的特征向量作為全連接層的輸入，和SWCNN模型一樣，本文利用一個函數(shù)softmax輸出待分類句子的分類結(jié)果.實驗中，模型通過最小化交叉熵來調(diào)整模型參數(shù)，優(yōu)化網(wǎng)絡模型的分類性能：

(19)

3 實 驗

本文采用2014年中文觀點傾向性分析評測(COAE2014)語料中的任務4數(shù)據(jù)集*http://download.csdn.net/detail/hzssssshuo_/8708735和從網(wǎng)上爬取得到的微博文本形成不同的數(shù)據(jù)集進行對比實驗，來對本文提出方法的性能進行評估.從COAE2014數(shù)據(jù)集中標注6 000條帶有極性的數(shù)據(jù)，其中正面情緒2 864條、負面情緒3 136條.為了豐富數(shù)據(jù)集的多樣性，本文從不同領域爬取5 000條帶有極性的微博文本，作為微博語料數(shù)據(jù)集(micro-blog dataset, MBD)，其中正面情緒和負面情緒各2 500條.此外，為了驗證本文提出方法在混合數(shù)據(jù)集的情感分類有效性，本文從COAE2014和微博語料數(shù)據(jù)集各抽取5 000條數(shù)據(jù)形成混合數(shù)據(jù)集來完成對比試驗，詳細的數(shù)據(jù)統(tǒng)計如表2所示：

Table 2 Statistic of Datasets表2 實驗使用數(shù)據(jù)統(tǒng)計

3.1 數(shù)據(jù)預處理

本文使用ICTCLAS分詞工具*http://ictclas.nlpir.org/對表2所示的實驗數(shù)據(jù)進行分詞和詞性標注.詞向量和詞性特征由網(wǎng)上爬取的微博語料產(chǎn)生，采用Google的word2vec工具*http://word2vec.googlecode.com/svn/trunk/的skip-gram模型在特征向量可訓練實驗中對詞向量和詞性特征向量進行訓練，未登錄詞使用均勻分布U(-0.01,0.01)來隨機初始化.由于位置特征的取值較少，本文使用均勻分布U(-0.01,0.01)對位置特征向量進行隨機初始化.實驗中，詞向量維度為100維，詞性特征為50維，位置特征為10維.本文剔除了出現(xiàn)次數(shù)少于5次的詞條,其余參數(shù)使用word2vec的默認參數(shù).

3.2 超參數(shù)

本文在實驗中使用了多種窗口卷積核對輸入向量進行卷積操作，卷積核函數(shù)為rectified linear units.訓練過程采用Zeiler[28]提出的Adadelta更新規(guī)則.模型的參數(shù)設置如表3所示：

Table 3 Hyper Parameters of Experiment表3 模型參數(shù)設置

3.3 實驗介紹

將本文提出的2種模型和文獻[11-13]提出的方法在表2所示數(shù)據(jù)集上進行對比實驗，驗證本文提出方法的有效性，各實驗介紹如下：

1) Rich-features.文獻[13]提出的多樣化分類特征方法，實驗中使用SVM分類器.

2) WFCNN-rand.文獻[11]提出的結(jié)合情感序列的卷積神經(jīng)網(wǎng)絡模型，但模型詞向量隨機初始化.

3) WFCNN.文獻[11]提出的WFCNN模型，并使用word2vec訓練詞向量.

4) CNN-rand.文獻[12]提出的卷積神經(jīng)網(wǎng)絡模型，實驗中詞向量隨機初始化.

5) CNN.文獻[12]提出的模型，并利用word2vec訓練詞向量.

6) SWCNN-rand.本文提出的將詞性取值映射為多維向量加入情感信息的方法，但在實驗中詞性特征采用隨機初始化.

7) SWCNN.本文提出的將詞性取值映射為多維向量加入情感信息的方法，實驗中詞性特征利用word2vec進行訓練.

8) MCCNN-rand.本文提出的多通道卷積神經(jīng)網(wǎng)絡模型，但在實驗中隨機初始化特征向量.

9) MCCNN.本文提出的多通道卷積神經(jīng)網(wǎng)絡模型，并利用word2vec訓練特征向量.

3.4 實驗結(jié)果與分析

本文將在表2所示的3個不同數(shù)據(jù)集上完成9組對比實驗來驗證本文提出方法的有效性.各數(shù)據(jù)集上的對比實驗結(jié)果如表4所示:

Table 4 Accuracy on Sentiment Classification of Different Models

從表4結(jié)果可以看出，本文提出的MCCNN模型在3個數(shù)據(jù)集上都取得了最好的情感分類效果，其中在最好的MBD數(shù)據(jù)集上取得了85.80%的分類正確率，相比WFCNN模型的84.00%和CNN模型的83.30%分別提升了1.80%和2.50%，驗證了本文提出方法在情感分析任務中的有效性.從表4結(jié)果也可以看出，利用word2vec訓練詞向量的4種深度學習模型在3個數(shù)據(jù)集上都取得了比使用傳統(tǒng)方法的Rich-features模型更好的分類效果，說明深度網(wǎng)絡模型在情感分析任務中相比傳統(tǒng)方法有更好的效果.對比文獻[11]提出的WFCNN模型和文獻[12]提出的CNN模型可以看出，加入情感信息的WFCNN模型在3個數(shù)據(jù)集上的分類正確率相比不使用情感特征信息的CNN模型都有不同程度的提升，說明在情感分析任務中加入情感信息能有效提高情感分析的正確率.對比本文提出的將特征信息以詞性向量的形式加入卷積神經(jīng)網(wǎng)絡的SWCNN模型和文獻[11]提出的對情感信息進行二值取值的WFCNN模型可以看出，本文提出的SWCNN模型在使用word2vec訓練特征向量和向量隨機初始化實驗中都取得了比WFCNN模型更好的分類效果.其中，在提升幅度最高的COAE數(shù)據(jù)集上，本文提出的SWCNN相比WFCNN模型的分類正確率分別提升了1.13%和0.83%，說明本文提出的將情感信息以向量形式加入卷積神經(jīng)網(wǎng)絡的方法能使句子的情感特征信息在網(wǎng)絡模型中得到更充分的利用，從而取得更好的情感分類效果.此外，從表4中結(jié)果也可以看出，4種深度網(wǎng)絡模型在利用word2vec訓練特征向量的實驗中都取得了比向量隨機初始化更好的分類效果，說明了特征向量的初始值會影響情感分析的分類效果.為了進一步分析特征向量的初始值對分類性能的影響，本文從COAE數(shù)據(jù)集中隨機抽取5 000條樣本進行10倍交叉驗證對比實驗，對比結(jié)果如表5所示:

Table 5 Experimental Results of Cross Validation 表5 交叉驗證實驗結(jié)果

綜合表4和表5實驗結(jié)果，4組對比實驗在隨機初始化特征向量和利用word2vec訓練特征向量的實驗對比結(jié)果如圖4所示:

Fig. 4 Comparison results of random and word2vecinitialization embedding in different datasets圖4 不同數(shù)據(jù)集上隨機初始化特征向量和利用word2vec訓練特征向量的實驗對比

從圖4結(jié)果可以看出，使用word2vec訓練特征向量的模型在所有的實驗中都取得比隨機初始化特征向量更好的分類效果，說明利用word2vec訓練特征向量能有效提高情感分類的正確率.分析結(jié)果可知，相比隨機初始化特征向量，利用word2vec訓練詞向量給詞條賦予初始值可以使網(wǎng)絡在訓練過程中更好地學習和調(diào)整參數(shù)，使模型有更優(yōu)的分類性能.此外，從圖4結(jié)果也可以看出，本文提出的MCCNN模型在隨機初始化特征向量的實驗中也能取得不錯的分類效果.同時，隨機初始化特征向量相比用word2vec訓練特征向量的分類正確率降幅較小，說明本文提出的MCCNN模型能有效降低模型對特征向量初始值的依賴.分析實驗結(jié)果可知，利用多通道輸入來接收待分類句子多樣化表示的MCCNN模型中每個通道的輸入不僅包含了特征本身的信息，還包含了特征之間的聯(lián)系，模型可以根據(jù)不同通道的特征信息能充分挖掘不同特征之間相互聯(lián)系和更多的隱藏信息，有效彌補了使用單一通道因為特征向量初始值不合理而難以提取更多特征信息的不足，降低了模型對向量初始值的依賴.

此外，從表4結(jié)果可以看出，WFCNN，CNN，SWCNN這3個模型在混合數(shù)據(jù)集COAEMBD上的分類結(jié)果都不理想，3個模型在COAEMBD數(shù)據(jù)集上的分類正確率相比COAE和MBD數(shù)據(jù)集都有所下降.說明當數(shù)據(jù)集使用混合領域的數(shù)據(jù)樣本時，普通卷積神經(jīng)網(wǎng)絡難以結(jié)合不同領域數(shù)據(jù)中的輸入句子來學習整個數(shù)據(jù)集的特征信息.而對于本文提出的MCCNN模型，在COAEMBD數(shù)據(jù)集上的分類正確率為85.20%，雖然比在MBD數(shù)據(jù)集上的分類正確率(85.80%)降低了0.60%，但是比COAE數(shù)據(jù)集的分類正確率(84.91%)提升了0.29%.說明本文提出的基于多通道的卷積神經(jīng)網(wǎng)絡模型在混合數(shù)據(jù)集上也能取得不錯的分類效果，能有效緩解因數(shù)據(jù)樣本分布不均勻給模型調(diào)參帶來的難度.因為MCCNN模型每個通道中不同特征的結(jié)合可以使模型提取到輸入句子更豐富的特征信息.同時，MCCNN模型加入了詞語的位置特征信息，能有效表示出每個詞語在句子中的重要程度，在某類句子樣本數(shù)量有限時也可以充分挖掘句子的特征信息，從而取得比傳統(tǒng)網(wǎng)絡模型更好的分類效果.

和傳統(tǒng)的卷積神經(jīng)網(wǎng)絡相比，本文提出了一種將詞性映射為多維詞性向量的方法.通過將詞性向量和詞語的詞向量結(jié)合，使模型在訓練過程中更好地學習輸入句子的情感特征信息.結(jié)合表4的實驗結(jié)果，對比本文提出的SWCNN模型和傳統(tǒng)方法的WFCNN和CNN模型在不同數(shù)據(jù)集上的情感分類正確率來分析本文提出方法的有效性，對比結(jié)果如圖5所示:

Fig. 5 Comparison result of different models on different datasets圖5 模型在3種數(shù)據(jù)集上的對比結(jié)果

從圖5結(jié)果可以看出，本文提出的將詞性映射為多維向量的SWCNN模型在3個數(shù)據(jù)集上都取得了最好的分類效果.沒有加入情感特征信息的CNN模型的情感分類效果并不理想，在3個數(shù)據(jù)集上的分類正確率都比不上加入情感特征信息的WFCNN和SWCNN模型，說明在情感分析任務中加入情感特征信息能有效提高情感分類正確率.此外，對比以二值特征形式加入情感信息的WFCNN模型，本文提出的SWCNN模型在情感分類任務中有更好的表現(xiàn)，在3個數(shù)據(jù)集上的情感分類正確率都超過了WFCNN模型.對比結(jié)果表明，本文提出的將詞性映射為多維的向量特征可以使模型在訓練過程中通過調(diào)整詞性向量不同分量的取值來學習更深層次的情感信息，挖掘更多的隱藏特征，從而取得更好的情感分類效果.

為了進一步分析不同維度的詞性特征對分類效果的影響，本文利用SWCNN和MCCNN模型在COAE數(shù)據(jù)集上使用不同維度的詞性特征進行對比分析，實驗結(jié)果如圖6所示，其中詞性向量維度為0表示不使用詞性向量.

Fig. 6 Comparison of tag embedding in different dimensions圖6 不同維度詞性特征比較

從圖6可以看出，4組實驗在詞性特征維度小于50時都呈現(xiàn)上升的趨勢，其中隨機初始化特征向量的MCCNN-rand模型上升最為明顯;但是當詞性特征維度超過50維之后，隨機初始化特征向量的SWCNN-rand和MCCNN-rand模型隨著維度的增加分類正確率呈現(xiàn)下降趨勢，而利用word2vec訓練特征向量初始值的SWCNN和MCCNN模型在詞性特征維度超過50之后的分類正確率出現(xiàn)了波動.在隨機初始化特征向量的2組實驗中，當詞性向量的維度增加時，模型可以調(diào)整詞性向量更多的分量參數(shù)來學習待分類句子的情感信息，所以在詞性向量維度小于50時分類正確率呈現(xiàn)穩(wěn)定上升的趨勢.隨著詞性特征維度的增加，模型在一次迭代過程需要調(diào)整更多的權(quán)重和向量參數(shù)，隨機初始化特征向量時，有可能會給詞性賦予一個和真實值相差很大的特征向量，使得模型在訓練過程中難以通過參數(shù)調(diào)整來逼近真實的特征向量.所以當特征維度超過某個閾值時，隨機初始化特征向量的模型分類正確率會隨著詞性特征維度的增加而降低.對于使用word2vec訓練特征向量初始值的SWCNN和MCCNN模型，當詞性特征維度超過50時的分類正確率上升也不明顯，而詞性特征向量維度越大，模型的訓練時間就越長.所以詞性向量的維度并非越大越好.從圖6也可以看出，在詞性特征維度為0，即不使用詞性特征的實驗中，加入位置特征的MCCNN模型相比SWCNN模型有更好的分類正確率，說明位置特征能提升模型的分類正確率.

此外，由于內(nèi)容層面的詞特征是卷積神經(jīng)網(wǎng)絡最主要的特征，所以當詞性特征的維度過大時，模型將無法主要針對內(nèi)容層面的詞向量進行學習和調(diào)參，從而會影響模型的分類性能.為了分析不同維度的詞向量對模型分類性能的影響，本文對SWCNN和MCCNN模型取不同維度的詞向量在COAE數(shù)據(jù)集上進行對比實驗，實驗結(jié)果如圖7所示.

Fig. 7 Comparison of word embedding in different dimensions圖7 不同維度詞向量比較

從圖7結(jié)果可以看出，在詞向量維度小于100時，4組實驗的正確率都有明顯的上升趨勢.在詞向量維度大于100維的時候，利用word2vec訓練詞向量的2組實驗的分類正確率呈現(xiàn)很平緩的上升，說明利用word2vec訓練詞向量實驗的分類正確率能隨著詞向量維度的增加而提升.但是對于隨機初始化詞向量的2組實驗，在詞向量維度超過100的時候分類正確率都出現(xiàn)了波動.由于對向量初始值的依賴，隨著詞向量維度的增加，利用隨機初始化賦予初始值的模型并不能很好地學習向量的特征信息，所以分類正確率出現(xiàn)了波動.并且，隨著向量維度的增加，模型的訓練時間也會增加.所以本文在實驗中的詞向量維度設為100維，詞性向量維度為50維，而作為輔助網(wǎng)絡模型訓練的位置特征向量則取10維.

3.5 典型例子分析

為了進一步分析本文提出方法對比傳統(tǒng)的深度學習模型的優(yōu)點，本文從COAE數(shù)據(jù)集中抽取一些典型句子的分類結(jié)果進行對比分析.

如表6所示，對于句子1和句子2這類情感極性明顯、結(jié)構(gòu)簡單的句子，普通的CNN，WFCNN模型和本文提出的MCCNN模型都能正確識別這類句子的情感極性，得到正確的分類結(jié)果.句子3屬于語句較為復雜的句型.此類句型句子長度較長，且無明顯的情感信息，所以普通的卷積神經(jīng)網(wǎng)絡模型很難通過有限的訓練樣本學習到這類句型的情感極性，所以CNN模型得到一個錯誤的分類結(jié)果.而對于加入特征信息的WFCNN模型和本文提出的MCCNN模型，可以通過情感特征來學習句子的隱藏特征信息，從而能有效識別這類句子的情感極性，取得正確的分類結(jié)果.對于句子4這類字面上沒有明確的情感信息且?guī)в蟹穸ㄔ~的句型，普通CNN模型和加入情感信息的WFCNN都無法根據(jù)有限的特征信息來學習這類句子的情感極性，從而得到一個錯誤的分類結(jié)果.而對于MCCNN模型，因為多通道卷積神經(jīng)網(wǎng)絡學習的不僅是單個特征，還有特征之間的聯(lián)系，所以MCCNN模型可以根據(jù)不同特征之間的聯(lián)系來學習到更多的語義信息，比如某個詞的內(nèi)容、該詞的詞性以及該詞在句子中不同的位置，根據(jù)這些信息，模型就可以自動學習到這類情感極性語句的結(jié)構(gòu)，從而可以得到和人工標注一致的結(jié)果.對于句子5和句子6，是一類關(guān)于反問句的樣例，這類句子字面上往往有著和正確極性相反的情感，所以加入情感信息的WFCNN模型僅從單純的字面信息來判斷句子的情感極性，得到一個錯誤的分類結(jié)果.同樣的，普通的CNN模型也很難根據(jù)句子的信息來判斷情感極性，所以句子6判斷錯誤.對于MCCNN模型，這類字面上有“？”、“什么”等詞的句型，因為本文提出的方法對這類詞語進行了詞性特征的學習，所以MCCNN模型可以根據(jù)這些詞在句子中的位置和詞性特征來學習這類句型的情感信息，根據(jù)不用通道的輸入信息學習不同特征之間的聯(lián)系，讓模型學習到和訓練集標注一致的分類結(jié)果.對于句子7和句子8，這一類屬于更復雜的帶諷刺情感的句型，CNN和WFCNN模型都很難判斷這類數(shù)據(jù)的極性，如句子7和句子8的結(jié)果都和人工標注相反.本文提出的MCCNN模型通過學習更多隱藏的語義信息，對這類數(shù)據(jù)也有比較好的極性判別效果，如句子8結(jié)果和人工標注一致.

Table 6 Analysis of Typical Sentences表6 經(jīng)典句型例子分析

4 總 結(jié)

本文提出一種基于多通道卷積神經(jīng)網(wǎng)絡的微博情感分析模型，該模型利用多通道卷積神經(jīng)網(wǎng)絡提取更多的語義信息和學習更多的隱藏信息.實驗結(jié)果表明，本文提出的多通道卷積神經(jīng)網(wǎng)絡在不同的數(shù)據(jù)集均取得了比對比方法更好的分類性能，在混合數(shù)據(jù)集COAEMBD數(shù)據(jù)集上也取得不錯的分類效果，驗證了多通道卷積神經(jīng)網(wǎng)絡的魯棒性.此外，多通道卷積神經(jīng)網(wǎng)絡模型降低了對特征向量初始值的依賴性，這一結(jié)果表明多通道卷積神經(jīng)網(wǎng)絡可以結(jié)合更多的特征來學習和優(yōu)化模型.但是，通過分析經(jīng)典例子也可以看出，對于含有諷刺情感的句子，本文提出的多通道卷積神經(jīng)網(wǎng)絡模型仍然不能很好地識別這類句子的情感極性.

在下一步工作中，可以對不同的通道采用不同的特征組合方式，以及在不同的通道采用不同的激活函數(shù)，讓模型學習到更多的特征信息，并且針對帶有諷刺情感的句型來改進本文提出的多通道卷積神經(jīng)網(wǎng)絡模型.

[1]Pang B, Lee L. Opinion mining and sentiment analysis[J]. Foundations and Trends in Information Retrieval, 2008, 2(1-2): 1-135

[2]Joshi A, Balamurali A R, Bhattacharyya P, et al. C-Feel-It: A sentiment analyzer for micro-blogs[C] //Proc of the ACL-HLT 2011 System Demonstrations. Stroudsburg, PA: ACL, 2011: 127-132

[3]Chesley P, Vincent B, Xu Li, et al. Using verbs and adjectives to automatically classify blog sentiment[J]. Training, 2006, 580(263): 233-235

[4]Boiy E, Moens M F. A machine learning approach to sentiment analysis in multilingual Web texts[J]. Information Retrieval, 2009, 12(5): 526-558

[5]Ye Qiang, Zhang Ziqiong, Law R. Sentiment classification of online reviews to travel destinations by supervised machine learning approaches[J]. Expert Systems with Applications, 2009, 36(3): 6527-6535

[6]Yu Kai, Jia Lei, Chen Yuqiang, et al. Deep learning: Yesterday, today, and tomorrow[J]. Journal of Computer Research and Development, 2013, 50(9): 1799-1804 (in Chinese)

(余凱, 賈磊, 陳雨強, 等. 深度學習的昨天、今天和明天[J]. 計算機研究與發(fā)展, 2013, 50(9): 1799-1804)

[7]Kim Y. Convolutional neural networks for sentence classification[C] //Proc of the 2014 Conf on Empirical Methods in Natural Language Processing.Stroudsburg, PA: ACL, 2014: 1746-1751

[8]Kalchbrenner N, Grefenstette E, Blunsom P. A convolutional neural network for modelling sentences[C] //Proc of the 52nd Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2014: 655-665

[9]Wang Xin, Liu Yuanchao, Sun Chengjie, et al. Predicting polarities of tweets by composing word embeddings with long short-term memory[C] //Proc of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th Int Joint Conf on Natural Language Processing. Stroudsburg, PA: ACL, 2015: 1343-1353

[10]Vo D T, Zhang Yue. Target-dependent Twitter sentiment classification with rich automatic features[C] //Proc of the 24th Int Joint Conf on Artificial Intelligence. Palo Alto, CA: AAAI, 2015: 1347-1353

[11]Chen Zhao, XuRuifeng, Gui Lin, et al. Combining convolutional neural networks and word sentiment sequence features for Chinese text sentiment analysis[J]. Journal of Chinese Information Processing, 2015, 29(6): 172-178 (in Chinese)

(陳釗, 徐睿峰, 桂林, 等. 結(jié)合卷積神經(jīng)網(wǎng)絡和詞語情感序列特征的中文情感分析[J]. 中文信息學報, 2015, 29(6): 172-178)

[12]Liu Longfei, Yang Liang, Zhang Shaowu, et al. Convolutional neural networks for Chinese micro-blog sentiment analysis[J]. Journal of Chinese Information Processing, 2015, 29(6): 159-165 (in Chinese)

(劉龍飛, 楊亮, 張紹武, 等. 基于卷積神經(jīng)網(wǎng)絡的微博情感傾向性分析[J]. 中文信息學報, 2015, 29(6): 159-165)

[13]Zhang Zhilin, Zong Chengqing. Sentiment analysis of Chinese micro blog based on rich-features[J]. Journal of Chinese Information Processing, 2015, 29(4): 134-143 (in Chinese)

(張志琳, 宗成慶. 基于多樣化特征的中文微博情感分類方法研究[J]. 中文信息學報, 2015, 29(4): 134-143)

[14]Pang B, Lee L, Vaithyanathan S. Thumbs up?: Sentiment classification using machine learning techniques[C] //Proc of the ACL-02 Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2002: 79-86

[15]Bengio Y, Ducharme R, Vincent P, et al. A neural probabilistic language model[J]. Journal of Machine Learning Research, 2003, 3(Feb): 1137-1155

[16]Mikolov T, Sutskever I, Chen Kai, et al. Distributed representations of words and phrases and their compositionality[C] //Proc of the 27th Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2013: 3111-3119

[17]Go A, Bhayani R, Huang Lei. Twitter sentiment classification using distant supervision[R/OL]. Palo Alto: Stanford Library Technologies Project, 2009 [2017-01-01]. https://cs.stanford.edu/people/alecmgo/papers/TwitterDistant Superv-ision09.pdf

[18]Vo D T, Zhang Yue. Don’t count, predict! An automatic approach to learning sentiment lexicons for short text[C] //Proc of the 54th Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2016: 219-224

[19]Tang Duyu, Qin Bing, Zhou Lanjun, et al. Domain-specific sentiment word extraction by seed expansion and pattern generation[J/OL]. [2017-01-04]. https://arxiv.org/pdf/1309.6722.pdf

[20]LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324

[21]Hubel D H, Wiesel T N. Receptive fields, binocular interaction and functional architecture in the cat's visual cortex[J]. The Journal of Physiology, 1962, 160(1): 106-154

[22]Hu Baotian, Lu Zhengdong, Li Hang, et al. Convolutional neural network architectures for matching natural language sentences[C] //Proc of the 28th Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2014: 2042-2050

[23]Wang Mingxuan, Lu Zhengdong, Li Hang, et al. genCNN: A convolutional architecture for word sequence prediction[C] //Proc of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th Int Joint Conf on Natural Language Processing. Stroudsburg, PA: ACL, 2015: 1567-1576

[24]Wang Jin, Yu L C, Lai K R, et al. Dimensional sentiment analysis using a regional CNN-LSTM Model[C] //Proc of the 54th Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2016: 225-230

[25]Chen Yubo, Xu Liheng, Liu Kang, et al. Event extraction via dynamic multi-pooling convolutional neural networks[C] //Proc of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th Int Joint Conf on Natural Language Processing. Stroudsburg, PA: ACL, 2015: 167-176

[26]Tang Duyu, Wei Furu, Qin Bing, et al. Building large-scale Twitter-specific sentiment lexicon: A representation learning approach[C] //Proc of the 25th Int Conf on Computational Linguistics: Technical Papers. Stroudsburg, PA: ACL, 2014: 172-182

[27]Collobert R, Weston J, Bottou L, et al. Natural language processing (almost) from scratch[J]. Journal of Machine Learning Research, 2011, 12(Aug): 2493-2537

[28]Zeiler M D. ADADELTA: An adaptive learning rate method[J/OL]. [2017-01-03]. https://arxiv.org/pdf/1212.5701.pdf