卷積神經網絡在短文本情感多分類標注應用

周錦峰，葉施仁，王 暉

常州大學 信息科學與工程學院，江蘇 常州 213164

1 引言

隨著即時通訊技術的廣泛應用，互聯網用戶不再只是簡單的信息獲取者，同時成為信息制造者。社交媒體的快速發展，加速了用戶的這種身份轉變，并形成了以短文本為書寫特點的用戶信息表達方式。例如，在電商平臺發表對已購商品的點評；在微博上發表對時事的看法。每天數以億計的用戶短文本信息，包含了豐富的用戶觀點和情感極性，從中可以挖掘和分析出大量的知識和模式。自然地，機器學習方法可以用來解決這類情感分析問題。而這些社會媒體文本長度短、表達不規范、數量多的特點，導致傳統機器學習方法面臨樣本特征表達稀疏[1]、計算復雜等問題，不能獲得非常理想的結果。

深度學習給經典的數據挖掘任務提供了新的手段。卷積神經網絡（Convolutional Neural Network，CNN）是一種用來處理具有網狀拓撲結構數據的深度神經網絡（Deep Neural Network，DNN）。CNN通過卷積操作，組合低層特征形成更加抽象的高層特征[2]，使模型能夠針對目標問題，自動學習良好的特征。CNN在文本情感分類問題中的應用，能夠有效地避免傳統機器學習方法所面臨的問題[3]。

目前，以CNN為基礎的文本情感分類方法廣泛利用文本局部最大語義進行情感劃分。此類方法在解決文本情感二分類標注問題中已取得良好的效果。人類的情感是復雜的，不是簡單的正負極性可以描述，帶來了處理多分類標注、連續情感計算等問題[4]。把情感二分類問題的深度學習方法推廣到情感多分類問題后，以單一窗口提取局部語義特征和僅保留文本最大語義的方法會忽略語義距離依賴性和語義多層次性[5]，將導致分類能力急劇下降。

針對網絡短文本的情感多分類標注任務，本文提出一種新的多窗口多池化層的卷積神經網絡（multiwindows and multi-pooling Convolutional Neural Network，mwmpCNN）模型來解決其中的語義距離依賴性和語義多層次性問題。該模型使用多個并行的卷積層提取不同窗口大小的上下文局部語義。局部語義表示向量經過模型的多個并行的池化層，降低特征維度的同時提取短文本中不同層次的語義特征。由不同層次的語義特征構成文本特征向量，最后在模型的全連接層利用文本特征向量實現多分類標注。

本文采用斯坦福情感樹庫（Stanford Sentiment Treebank，SSTb）數據集來驗證mwmpCNN模型的多分類標注的有效性。實驗結果表明：在訓練集包含短語和未包含短語的兩種設定條件下，基于本文模型的短文本情感多分類正確率分別達到54.6%和43.5%，顯著高于報道的學習方法。

2 相關工作

2002年的EMNLP會議上，Pang等[6]首次提出情感分析問題，并采用了樸素貝葉斯模型、最大熵模型和支持向量機（Support Vector Machine，SVM）模型三種傳統機器學習方法嘗試對文本進行情感分類。此后，以傳統機器學習為核心的情感分析模型層出不窮。為提高分類正確率，傳統機器學習方法使用大量文本特征。隨著特征變多，訓練樣本在每個特征上的描述會變得稀疏，機器學習的計算復雜性成倍增加。當然，文本特征需要人工來構造，特征越多，人工成本越大。

2003年，Bengio等[7]提出了分布式表達詞向量概念，從大量未標注的語料庫中無監督地學習出詞向量，使得相關或相似的詞在向量空間中表示接近。由詞向量序列可以構成文本的原始表示形式。分布式表達詞向量的出現有效解決了DNN的輸入部分對人工的依賴，并推動了DNN發展出新模型應用于文本情感分類問題。Socher等[8]在遞歸神經網絡（Recursive Neural Network，RNN）模型的基礎上，提出了RNTN（Recursive Neural Tensor Network）模型。已知樣本的語法解析樹，RNTN模型在樹中每個結點上運用基于張量的復合函數，逐層提取各級短語和句子的合成語義，然后基于合成語義進行情感二分類和多分類標注。RNTN模型過于依賴句子的語法解析樹，應用范圍受限。Santos等[9]基于單詞的構造（以構成單詞的字母為單位），提出CharSCNN（Character to Sentence Convolutional Neural Network）模型。CharSCNN模型以CNN為基礎，采用兩個卷積層分別學習單詞的構造特征和句子的語義特征，充分體現CNN對文本局部特征抽象和提取能力。該模型在短文本情感二分類任務中展示了良好的效果。

盡管二分類效果良好，但是CharSCNN模型在特征提取過程中忽略了語義距離依賴性和語義多層次性。而網絡短文本情感多分類標注問題，由于語料中文本通常很短，對于這兩種語義特征異常敏感。這使得短文本情感多分類時，CharSCNN模型性能顯著下降。針對這一問題，本文提出具有提取和保留更豐富語義特征能力的分類模型。

3 mwmp CNN模型

如圖1所示，經典的CNN模型解決情感分類標注問題時，通常將一個句子或一段文本以某種形式（例如詞向量序列）輸入到CNN的卷積層。經過卷積操作，提取出文本的局部抽象語義；池化層對該局部語義表達進行降維，同時保留某一個級別的語義特征；串接層將這些語義特征向量拼接成一個句級或文本語義特征向量；全連接層對這個語義特征向量進一步抽象，最后計算出情感分析結果。

圖1 CNN模型結構

本文針對網絡短文本的情感多分類標注任務，對CNN進行改進，提出mwmpCNN模型。如圖2所示，mwmpCNN模型使用多種卷積核提取不同窗口大小的上下文語義；然后這些上下文語義向量分別送入多種池化層，降低特征維度，同時盡可能地保留了多個層次的語義特征；串接層將多層次的語義特征向量串接成一個文本特征向量；全連接層對這個文本特征向量進一步抽象，最后計算對每個情感分類標簽的分數。

3.1 詞向量序列

詞向量是詞的分布式表示，將詞表示為一個稠密的、低維度的向量，它包含一個詞的語法或語義信息。

圖2 mwmpCNN模型結構

給定由n個單詞組成的一個短文本{Wrd1,Wrd2,…,Wrdn}，轉換每個單詞為其對應的dwrd維詞向量。設第i個單詞Wrdi對應的詞向量為xi,xi∈Rdwrd。該短文本可以表示成一個長度為n的詞向量序列s={x1,x2,…,xn}。這個詞向量序列作為mwmpCNN中卷積層的輸入。

3.2 不同窗口大小的多卷積層

與n-gram模型[10]類似，CNN通常使用固定大小的窗口對文本的詞向量序列進行一維卷積操作，提取局部語義。除非窗口放到數據集中最長的文本長度，否則固定大小的窗口只能捕捉固定距離上的語義依賴關系。如若放大窗口到最長文本的長度，則將導致數據稀疏、模型參數數量增大等問題。

文本分析研究早已指出文本的語義具有距離依賴性[11]，這種依賴性在許多語言現象中起著重要作用，例如否定關系、附屬關系等語言關系。語言關系隱式地影響情感分析的結果。網絡短文本中長句子少，詞義依賴的距離短。一個詞僅與它附近出現的一個或幾個詞具有依存關系。因此，mwmpCNN模型采用多個窗口大小不同的卷積層對輸入的詞向量序列s進行卷積操作，提取不同窗口大小的上下文局部語義。

mwmpCNN模型在卷積操作時可提供m個窗口大小不同的卷積層，它們的窗口大小分別為{k1,k2,…,km}，如圖3所示。每個卷積層有cnt個卷積單元。卷積操作時，上述m×cnt個卷積單元將會并行計算，計算結果送至被分配的池化層。

圖3 并行的多窗口卷積層

卷積單元計算時，kj窗口中第l個卷積單元（即第 j個卷積層中第l個卷積單元）的計算方法見式（1），其中0≤l≤cnt-1。

式（1）中，n為詞向量序列s的長度；cj,l是以kj為窗口，對當前短文本的詞向量序列，連續n-kj+1次卷積操作的結果產生文本局部語義向量，cj,l向量將落在維度為n-kj+1的實數空間中，即是kj窗口中第l個卷積單元的權重矩陣，Wj,l∈Rkj×dwrd；bj,l是 kj窗口中第l個卷積單元的偏置，bj,l∈R；矩陣Zj,i代表一個kj窗口的詞向量組合。以s中第i個詞向量xi為中心，矩陣Zj,i由xi前后各kj/2個詞向量串接生成，即：

3.3 不同池化方法的多池化層

受作者創作時隨意性、碎片性的影響，網絡短文本所蘊含的情感異常豐富。一段文本中可能部分表達正面情感，部分表達負面情感。同時，文本各部分的情感強度又有差異。只有捕捉到多層次的文本語義特征，才能夠分析文本的細粒度情感。

mwmpCNN模型在池化操作時設計了多池化層。并行的多池化層可對各卷積單元提取的局部語義進行統計匯總。池化操作過程中卷積單元產生的局部語義向量將被降維至固定長度。

mwmpCNN模型有t個并行的池化層，各池化層的池化方法不同，如圖4所示。局部語義向量經卷積單元提取后，被送至指定的池化層進行池化操作。雖然模型實現時卷積單元的分配方法因人而異，但是每個窗口經池化操作后均產生固定的cnt個元素。為方便表述，本文認為由每個窗口經池化操作后產生的cnt個元素構成該窗口所對應的局部文本語義特征向量。對有m個窗口的卷積層，多池化層最終對應輸出一個包含m個文本語義特征向量的序列vsent={v1,v2,…,vm}。這里，v1(v1∈Rcnt)為k1窗口所對應的局部文本語義特征向量，v2等依此類推。

圖4 對各卷積單元輸出進行多池化操作

設文本局部語義向量cj,l被送至池化層a，用于生成kj窗口所對應的語義特征向量vj的一個元素vj[l]。cj,l的池化過程為：

其中，pa為池化層a采用的池化方法。池化操作時，常用的池化方法有提取文本最強烈語義的max-pooling方法和提取文本平均語義的avg-pooling方法等。

3.4 串接層與全連接層

串接層串接操作vsent中每個元素，得到文本特征向量rsent∈Rcnt×m。串接操作為：

全連接層進一步抽象特征向量，為情感多分類T中的每個情感分類t(t∈T)計算得分。全連接層采用兩層設計，即式（5）：

最后，mwmpCNN模型使用softmax函數計算詞向量序列s在每個情感標簽t下的得分，即：

4 mwmp CNN模型訓練

mwmpCNN模型是通過最小化負對數似然函數進行訓練。對式（6）取對數：

采用隨機梯度下降（Stochastic Gradient Descent，SGD）算法來最小化負對數似然函數，得到：

其中，D代表訓練語料；si、yi表示訓練語料的一條句子及其對應的情感標簽；θ表示模型所有參數。

由于網絡短文本包含的上下文信息有限，噪聲較多，過度擬合的語義關系是由訓練數據集采樣噪聲產生，并不真實地存在于測試數據集中[12]。這個現象將降低模型的泛化能力。此外，SSTb數據集中用來做長句訓練集的樣本數量較少，在進行卷積神經網絡模型訓練時，過擬合現象比較容易發生[13]。因此，訓練過程中，本文在mwmpCNN模型的輸入層和全連接層使用Srivastava等人[12]提出的Dropout技術，有效地防止過擬合，明顯降低泛化誤差。

5 實驗

5.1 情感分析數據集

SSTb的語料內容來源于在線影評，屬于網絡短文本[8]，它包含11 845條句子和227 385條短語，其中短語由句子的語法解析樹產生。數據集有句子和短語的情感實證概率。根據分類標準界限[0，0.2]，（0.2，0.4]，（0.4，0.6]，（0.6，0.8]，（0.8，1.0]，情感實證概率可映射到五分類中，即表達非常負面、負面、中性、正面、非常正面的情感。

實驗時，本文設置有兩個訓練集和一個測試集。其中，訓練集A只包含句子，訓練集B包含句子和短語，測試集則只包含句子。實驗用數據集劃分見表1。

表1 SSTb數據集實驗數據劃分

5.2 模型參數設定

本文訓練集上使用五倍交叉驗證（Cross Validation）確定以下超參數：卷積層的窗口大小{k1,k2,k3,k4}、每個卷積層所擁有的卷積單元數量cnt以及詞向量維度dwrd。綜合考慮小窗口有利于捕捉細節特征和大窗口有利于捕捉遠距離上的語義依賴性，從{2,3,5,7}、{2,3,7,9}和{3,5,7,9}中選擇{k1,k2,k3,k4},從{50,100,200,300}中確定cnt，dwrd則從{25,50,100}中選取。這3個參數構成36種不同的參數組合，使用網格搜索方法（Grid Search）確定優化以上超參數。對于其他超參數：hlc是全連接層中隱藏層神經元數量，與隱藏層的輸入向量維度有直接關系[14]，本文模型的隱藏層輸入向量rsent維度為4×cnt，為了隨著rsent維度的變化調整hlc的值，直接設定hlc為4×cnt。參照其他基于CNN的文本分類模型使用Dropout的設置[15-16]，以 p=0.5的概率隨機保留輸入層的輸入和全連接層的隱藏單元。||D為每個訓練批次包含的樣本數，實驗中固定為64。所有超參數的設定值見表2。

表2 mwmpCNN實驗超參數設定

5.3 詞向量預訓練

本文在實驗中使用兩種詞向量：經過預訓練的詞向量和未經過預訓練的詞向量。在訓練過程中，這兩種詞向量都作為可訓練參數進行調整。

實驗選擇GloVe算法[17]進行詞向量預訓練。因Twitter與SSTb同屬社交網絡文本，Twitter語料庫的詞語空間分布接近于SSTb的詞語空間分布，所以本文詞向量預訓練使用Twitter語料庫。

詞向量訓練后，本文得到一個包括一百多萬條目的單詞表。對于SSTb中未出現在單詞表中的單詞，實驗時使用零向量代替。

對未經過預先訓練的詞向量，向量中每個值由均勻分布在區間(-0.01,+0.01)的隨機數初始化[18]。

5.4 mwmpCNN結構設置

實驗中的mwmpCNN模型結構具體設定如下：

mwmpCNN模型卷積操作時有四個并行的卷積層，其窗口大小見表2。池化操作時有兩個并行的池化層。池化方法采用max-pooling方法和avg-pooling方法。每個卷積層內有一半的卷積單元的輸出送到avg-pooling池化層，另一半的卷積單元的輸出送到max-pooling池化層。

為了有效地對比實驗結果，本文還基于mwmpCNN模型的兩種特殊結構進行實驗。一種特殊結構為單窗口多池化結構，即swmpCNN（single-windows and multipooling Convolutional Neural Network），該結構中窗口大小只有一種，設定為3，其他部分設定與mwmpCNN一樣。另一種特殊結構為多窗口單池化結構，即mwspCNN（multi-windows and single-pooling Convolutional Neural Network），該結構中只有單一池化方法的池化層，池化方法為max-pooling，其他部分設定與mwmpCNN一樣。

5.5 實驗結果

實驗機器選用Intel I5-4200的CPU，8 GB內存，256 GB的SSD硬盤，Linux操作系統。經過約20小時的運行得出實驗結果。

mwmpCNN模型在SSTb數據集上執行情感五分類標注的結果見表3。表中“預訓練”一欄標識為“是”，表示模型使用的詞向量經過預訓練；標識為“否”，表示使用的詞向量采用隨機值初始化。“短語”一欄標識為“是”，表示訓練集包含短語，標識為“否”，表示訓練集中不包含短語。為了比較和論證，表3中還含有Socher[8]使用RNTN、RNN及SVM模型，和Santos[9]使用CharSCNN、SCNN模型在SSTb數據集上進行情感五分類標注的正確率。

5.6 實驗結果分析

5.6.1 mwmp CNN模型與其他模型比較

從表3中可以看出，訓練集中未加入短語的情況下，mwmpCNN、CharSCNN和SCNN的分類正確率持平（43.5%）。而在訓練集加入短語后，mwmpCNN的正確率（54.6%）要超過文獻[8]和文獻[9]所報道的結果。

表3 在SSTb數據集上不同模型實驗正確率

通過實驗可以看到，當訓練數據集中加入了短語后，mwmpCNN性能提高（如測試1和測試2對比，測試3和測試4對比）會比CharSCNN（如測試11和測試13對比）和SCNN（測試12和測試14對比）要快。其中的原因可能是，當訓練樣本達到一定數量后，比僅僅使用一種窗口大小的卷積層和max-pooling池化層的設計，mwmpCNN可以學習到語義表達更精確、層次更豐富的文本特征向量，使全連接層能夠有效地計算文本的細粒度情感。

對于不使用短語訓練的一組測試，即測試2、測試6、測試8、測試13和測試14，正確率均相差不大，可能是因為在不使用短語訓練情況下，訓練集數量相對于需要訓練的模型參數不足，不能有效地反映模型效果的差別。

5.6.2 不同窗口大小卷積層的影響

對比測試1（54.6%）和測試5（51.1%），測試2（43.5%）和測試6（42.1%）兩組實驗的正確率，無論訓練集含有或未含有短語樣本的情況下，使用多窗口mwmpCNN的正確率高于使用單窗口swmpCNN，特別在訓練集含有短語樣本的情況下，這種提高比較明顯。說明當訓練樣本達到一定數量后，多種窗口大小的卷積層提取的多種局部特征[19]，有效地捕捉多種距離上的語義依賴性，有助于更精確地計算文本在每個情感標簽下的得分。下面的例子說明在遠距離上的語義依賴性對整個句子情感的影響：

（1）at all clear what it's trying to say and even if it were--I doubt it.

（2）at all clear what it's trying to say and even if it were--I doubt it would be all that interesting.

可以看出（2）的負面情感程度比（1）要弱一些，因為doubt后面四個詞距離上的all影響了它的強烈程度，從而影響了全句的負面情感的強烈程度。（1）的真實分類是負面，而（2）的真實分類是中性。

5.6.3 多種池化方法的影響

對比測試1（54.6%）和測試7（49.8%），測試2（43.5%）和測試8（43.0%）兩組實驗的正確率，無論訓練集含有或未含有短語樣本的情況下，使用多池化mwmpCNN的正確率高于使用單池化mwspCNN，特別在訓練集含有短語樣本的情況下，這種提高非常明顯。多種池化方法保留的多層次語義特征對細粒度情感的判斷是很重要的。以SSTb數據集中的句子為例：

The storylines are woven together skillfully.|0.5972 2

以大小為3的窗口將該句分割成四個短語，短語及對應的實證概率值如下：

（1）The storylines are|0.5

（2）storylines are woven|0.5

（3）are woven together|0.569 44

（4）woven together skillfully|0.777 78

可以看到一個句子包含著不同語義層次的短語，它們都會對整個句子的情感傾向產生影響，因此僅保留一種語義層次很難精確地判斷文本情感傾向。

5.6.4 詞向量的影響

由于詞向量是mwmpCNN的可訓練參數，訓練過程實際上也在調整詞向量，使其更適合情感多分類任務。如表3所示，mwmpCNN模型使用預訓練初始化詞向量的兩組實驗正確率要高于使用隨機數初始化的詞向量。特別是只使用句子進行訓練時，使用預訓練初始化詞向量比使用隨機數初始化詞向量的實驗正確率提高10.4%（測試2和測試4對比）。這表明經過預訓練的詞向量包含大量先驗知識，這個先驗知識能夠有效地提高情感分析的正確率。而且僅包含句子的訓練集中只有8 000多條樣本，不足以充分地從“零基礎”訓練詞向量。同時表3也顯示，當加入了短語到訓練集時，使用預訓練初始化詞向量的實驗正確率只比使用隨機數初始化詞向量的實驗提高3%（測試1和測試3對比）。這是因為包括短語和句子的訓練集含有23萬多條樣本，已經可以較好地從“零基礎”訓練詞向量，而且這種訓練是針對本分類問題進行的專門訓練，所以當訓練集中加入短語，正確率提升很多。當訓練樣本數量足夠大時，用隨機數初始化的詞向量和預訓練初始化的詞向量作為輸入，標注正確率相差可能會很小。需要注意，從實驗過程中可以得知：相比使用預訓練初始化詞向量，當mwmpCNN使用隨機數初始化詞向量，模型完成訓練過程需要更多的訓練批次。

5.6.5 短語的影響

如表3所示，使用短語訓練模型比不使用短語訓練模型正確率有較大的提高。在使用預訓練初始化詞向量的情況下，正確率提高11.1%（測試1和測試2對比）。而在使用隨機數初始化詞向量的情況下，正確率提高達到18.5%（測試3和測試4對比）。如果既沒有預訓練初始化的詞向量，也沒有短語參加訓練，模型能夠學習的先驗知識是非常有限的，這種情況下實驗的正確率是非常低的（33.1%）。這表明：由語法分析樹生成且已經完成情感標注的短語，作為訓練樣本加入到訓練集后，雖然在訓練過程中沒有直接使用語法分析樹的信息，但依然有助于提高模型正確率。這些短語給出它們如何形成句子情感的信息，使得模型可以在訓練過程中學習到更復雜的現象[9]。

6 結束語

網絡短文本的情感多分類標注對于語義特征敏感。針對這一特點，本文提出一種能夠有效地捕捉語義距離依賴性和多層次語義特征的CNN改進模型mwmpCNN。它使用窗口大小不同的多個卷積層，抽象出包含不同窗口大小的上下文局部語義；同時使用多種池化層在局部語義基礎上提取和保留多層次的語義特征。實驗結果可見該模型和其他模型比較，在正確率上有顯著的提高。

嘗試通過調整超參數和模型部分結構，探索mwmpCNN在中文情感多分類標注問題的應用，是下一步的工作。