結(jié)合詞性特征與卷積神經(jīng)網(wǎng)絡(luò)的文本情感分析

何鴻業(yè),鄭 瑾,張祖平

(中南大學(xué) 信息科學(xué)與工程學(xué)院,長沙 410083)

0 概述

在互聯(lián)網(wǎng)信息中,文本信息占很大的比重,如何對大量文本進行規(guī)整分析一直是自然語言處理的研究熱點,而文本情感分析是其中一個重要任務(wù)。隨著社交網(wǎng)絡(luò)的發(fā)展,網(wǎng)站評論區(qū)、微博等平臺成為互聯(lián)網(wǎng)用戶信息的重要載體,這類平臺上的文本通常具有篇幅短、表達不規(guī)范等特點,這也給文本情感分析帶來了巨大的挑戰(zhàn)。如何從這類文本中捕獲到用戶的情感傾向信息,對于輿情監(jiān)控有著重要的研究意義。

傳統(tǒng)的情感分析任務(wù)通常使用基于詞典的方法或基于機器學(xué)習(xí)方法來完成[1]。前者主要依賴于詞典數(shù)據(jù)集,通過點互信息量(Pointwise Mutual Information,PMI)[2]等方法來判斷新詞的情感傾向,進而對文本整體進行情感分析。后者通常使用詞袋(Bag of Words,BOW)模型等將文本表示成定長向量,并使用監(jiān)督學(xué)習(xí)的方法對文本情感進行分類,基于機器學(xué)習(xí)的情感分析一直是研究的主流。近年來,隨著詞向量工具Word2Vec的公布,相關(guān)研究增多,文本可以有效地以低維且連續(xù)的形式進行表示[3-4],這也成為在自然語言處理(Natural Language Processing,NLP)領(lǐng)域引入深度學(xué)習(xí)技術(shù)的基礎(chǔ),其中卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)在情感分析和文本分類領(lǐng)域有著很好的應(yīng)用[5-6]。在目前文本卷積神經(jīng)網(wǎng)絡(luò)中,單詞通常使用詞向量來表示,文本則根據(jù)其中單詞對應(yīng)的詞向量來構(gòu)建矩陣表達,最終模型的分類能力與使用的詞向量的質(zhì)量有直接聯(lián)系,如果作為輸入的原始詞向量表示存在語義上的噪音,網(wǎng)絡(luò)擬合后的分類效果會變差。

為提高輸入文本表示的質(zhì)量,本文構(gòu)建結(jié)合詞性特征的文本卷積神經(jīng)網(wǎng)絡(luò)模型WP-CNN。首先在詞向量表示基礎(chǔ)上引入詞性(Part of Speech,POS)特征組合的方法,對原始文本進行詞性標注與拼接,通過詞性特征進行詞義消歧以改進詞向量的訓(xùn)練;然后引入原始文本詞向量表示和詞性拼接表示雙通道輸入策略,豐富網(wǎng)絡(luò)的輸入特征,避免網(wǎng)絡(luò)訓(xùn)練由于輸入噪音造成的過擬合現(xiàn)象。

1 相關(guān)工作

情感分析的目標在于挖掘文本中觀點的傾向與態(tài)度,文獻[7]提出使用機器學(xué)習(xí)的方法來處理篇章級別的情感分析任務(wù),將文本的傾向判斷視為一種文本情感分類情形,并使用支持向量機(Support Vector Machine,SVM)、邏輯斯蒂回歸(Logistic Regression,LR)等機器學(xué)習(xí)分類算法來進行情感分析。早期一般通過計算文本中詞的TF-IDF權(quán)重,并使用詞袋模型來表示文本,這是一種高維稀疏的文本表示方式,當(dāng)文本集過大時,會存在維度災(zāi)難的問題,并且無法捕獲深層語義。文獻[8]通過使用隱含語義分析(Latent Semantic Indexing,LSI)對原始文本表示進行特征降維以應(yīng)對維度災(zāi)難。針對深層語義捕獲的問題,文獻[9]使用隱含Dirichlet分布(Latent Dirichlet Allocation,LDA)對文本進行主題建模以更好地判斷文本情感極性。文獻[10]則利用二元文法(Bigram)來捕獲更多的上下文信息來改善情感分類的效果。

詞向量研究的深入為情感分析以及其他NLP問題提供了新的思路。文獻[11]提出的神經(jīng)網(wǎng)絡(luò)語言模型為詞向量的研究奠定了基礎(chǔ),而之后由文獻[3-4]提出的CBOW和SkipGram模型,極大地提高了詞向量模型訓(xùn)練的效率,使單詞能夠被高效地映射到低維連續(xù)的向量空間上,從根本上解決文本表示的維度災(zāi)難等問題。文獻[12]基于詞向量提出了句向量模型DM與DBOW,在情感分類上獲得了很好的效果。另外,詞向量低維連續(xù)的特性使其成為在NLP任務(wù)中進入深度學(xué)習(xí)的基礎(chǔ)。文獻[5]建立了經(jīng)典的文本卷積神經(jīng)網(wǎng)絡(luò)模型,在此基礎(chǔ)上,文本卷積神經(jīng)網(wǎng)絡(luò)的諸多改進模型被廣泛應(yīng)用到情感分析任務(wù)中:文獻[13]對卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于情感分析任務(wù)的調(diào)參進行了詳細分析;文獻[14]利用結(jié)合注意力模型(Attention Model)的文本卷積神經(jīng)網(wǎng)絡(luò)來完成對文本中特定目標的情感分析。

盡管文本卷積神經(jīng)網(wǎng)絡(luò)在情感分析任務(wù)上獲得了很好的效果,但是文獻[15]指出,詞向量的訓(xùn)練通常以詞為單位,無法捕獲一詞多義等現(xiàn)象,且訓(xùn)練對文本噪音十分敏感。文本卷積神經(jīng)網(wǎng)絡(luò)分類效果與文本詞向量直接聯(lián)系,如果作為輸入的詞向量語義表達存在語義上的噪音,網(wǎng)絡(luò)訓(xùn)練容易造成過擬合。

2 結(jié)合詞性特征的文本卷積神經(jīng)網(wǎng)絡(luò)

WP-CNN模型的介紹分為3個部分:第1部分為結(jié)合詞性拼接改進的文本表示方法;第2部分為雙通道卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu);第3部分為模型訓(xùn)練的介紹。

2.1 文本改進表示

本節(jié)將詳細介紹如何使用詞性特征來改進詞向量訓(xùn)練,并展示基于詞性拼接的文本矩陣表達方式。

2.1.1 基于詞性特征的詞義消歧

詞向量訓(xùn)練能將文本中的詞映射為低維連續(xù)的向量,很好地解決了傳統(tǒng)詞袋模型對單詞進行獨熱編碼帶來的數(shù)據(jù)稀疏性與維度災(zāi)難。但是,傳統(tǒng)的詞向量模型并不能捕捉上下文關(guān)系,因此,對于一詞多義不敏感。一詞多義在中英文語境下皆有存在,如以下例句所示,英文單詞“works”和中文詞語“制服”在各自2種語境下分別呈現(xiàn)出不同的詞義,然而,詞向量模型在訓(xùn)練時無法區(qū)分單詞不同語境下的歧義,因此,會給后續(xù)模型的輸入帶來噪音。

The works(名詞,意為藝術(shù)作品) of this artist are very amazing.

He works(動詞,意為工作勞動) hard in the factory.

那位民警制服(動詞,意為使屈服)了一個狡猾的罪犯。

在這兒上班的人必須穿上規(guī)定的制服(名詞,意為統(tǒng)一的服飾)。

可以利用單詞的詞性來區(qū)分某些一詞多義的情形,本文利用詞性標注技術(shù)獲取單詞的詞性并將其與單詞拼接,構(gòu)成“單詞-詞性對”(Word-POS),例如(works,verb)、(works,noun)、(制服,動詞)和(制服,名詞),進而將文本轉(zhuǎn)化為Word-POS序列作為SkipGram等詞向量訓(xùn)練模型的輸入。拼接詞性后的單詞被訓(xùn)練為Word-POS向量,相對于原始詞向量能達到詞義消歧的作用。

2.1.2 文本矩陣表示

對于卷積神經(jīng)網(wǎng)絡(luò),文本需要以矩陣的形式作為輸入。給定一篇長度為l的文本W(wǎng)={x1,x2,…,xl},首先通過詞性標注獲取每個詞的詞性P={p1,p2,…,pl},然后將文本拼接為Word-POS序列WP={(x1,p1),(x2,p2),…,(xl,pl)}。通過預(yù)訓(xùn)練的Word-POS向量模型映射后,每個Word-POS單位都會被轉(zhuǎn)化為n維的Word-POS向量wpk,文本被轉(zhuǎn)化為l×n維的矩陣表示。結(jié)合詞性特征的文本表示的具體流程如圖1所示。

2.2 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

本文對文獻[5]提出的經(jīng)典文本卷積神經(jīng)網(wǎng)絡(luò)模型進行改進,提出一種結(jié)合詞性特征的文本卷積神經(jīng)網(wǎng)絡(luò)WP-CNN,將基于原始詞向量構(gòu)造的文本矩陣和上節(jié)展示的Word-POS表達矩陣相結(jié)合,形成網(wǎng)絡(luò)的雙通道輸入。整體神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 結(jié)合詞性特征的雙通道文本卷積神經(jīng)網(wǎng)絡(luò)

2.2.1 雙通道輸入

在文本集合數(shù)據(jù)不充足或者由于原始文本不規(guī)范導(dǎo)致詞性標注不準確時,訓(xùn)練出Word-POS向量也會不精準。使用存在噪音的Word-POS矩陣輸入會給網(wǎng)絡(luò)訓(xùn)練帶來過擬合現(xiàn)象。為了避免這種情況,本文模型采取雙通道輸入策略,保留原始文本詞向量矩陣的輸入,將文本W(wǎng)ord-POS矩陣作為卷積神經(jīng)網(wǎng)絡(luò)第2個通道的輸入,輸入分別表示為S1=[x1,x2,…,xl]和S2=[wp1,wp2,…,wpl],其中,l為文本中單詞數(shù)量,S1為詞向量矩陣,xk為文本中第k個詞的詞向量,S2為詞性拼接向量矩陣,wpk為文本中第k個Word-POS單位的向量表示。

2.2.2 卷積操作

在卷積神經(jīng)網(wǎng)絡(luò)中,卷積核的作用在于通過窗口滑動來提取輸入數(shù)據(jù)上的局部特征,而在文本卷積神經(jīng)網(wǎng)絡(luò)中,通常選取h×n維大小的卷積核在文本矩陣相鄰的詞上進行滑動以獲取卷積特征,其中,n為詞向量維度,h代表窗口在多少個相鄰詞上滑動。卷積核設(shè)置為這種大小的目的是在文本的多元文法上提取上下文特征。而為了盡可能地捕獲更多的上下文信息,文本卷積神經(jīng)網(wǎng)絡(luò)通常會使用多組高度設(shè)定不同的卷積核來在文本矩陣上滑動。但是,卷積核組的增加相應(yīng)地會給網(wǎng)絡(luò)訓(xùn)練帶來更多的消耗,并且過多地引入卷積核組,網(wǎng)絡(luò)分類效果后續(xù)的提升并不明顯?？紤]到網(wǎng)絡(luò)整體的訓(xùn)練效率,本文選擇3組卷積核,分別為unigram卷積核(h=1)、bigram卷積核(h=2)與trigram卷積核(h=3)。為展示卷積核在數(shù)個鄰近單詞上進行特征提取的操作過程,本文將鄰近位置上的單詞以及Word-POS的向量拼接分別定義為S1,i:j=[xi,xi+1,…,xj]和S2,i:j=[wpi,wpi+1,…,wpj],當(dāng)卷積核高度指定為h時,每次卷積滑動提取的特征值表示為:

ci=f(W1·S1,i:(i+h)+W2·S2,i:(i+h)+b)

(1)

其中,W1、W2分別代表卷積核在2個通道上的權(quán)重,b是偏置項,f(·)為網(wǎng)絡(luò)中的非線性激活函數(shù),此處選取了Relu函數(shù),如式(2)所示。

f(x)=max(0,x)

(2)

當(dāng)卷積核在長度為l的文本上滑動完畢后,根據(jù)卷積核高度h的大小,共可提取l-h+1個卷積特征,原始文本將被映射到一個特征向量上,表示為:

c=[c1,c2,…,cl-h+1]

(3)

2.2.3 池化操作

池化層負責(zé)對卷積層獲得的特征進行二次篩選,在提取重要特征的同時提高整體網(wǎng)絡(luò)的訓(xùn)練效率。如上節(jié)所述,卷積核在輸入數(shù)據(jù)上滑動會提取一組局部特征,池化層的作用就是篩選出這其中最重要的特征。常見的池化方法有最大池化(max pooling)與平均池化(average pooling)。本文模型使用最大池化進行特征篩選,當(dāng)確定卷積核高度h時,在經(jīng)過卷積核操作得到的特征向量c上,池化層篩選出的特征值c′可以表示為:

c′=max(c1,c2,…,cl-h+1)

(4)

(5)

2.3 模型訓(xùn)練

池化層的輸出將作為最后全連接層的輸入,通過softmax完成情感傾向的預(yù)測。p(yk)為文本在第k種情感傾向上的輸出,代表了文本歸為第k種情感傾向的概率,p(yk)通過softmax歸一化后表示為:

(6)

其中,si與bi分別為全連接層的對應(yīng)輸出為yi的參數(shù)與偏置,n為輸出類別的總數(shù)。指定輸入文本表示為Xi,其真實情感標簽為yi,網(wǎng)絡(luò)參數(shù)的集合為θ。為方便目標函數(shù)的表示,本文將整體網(wǎng)絡(luò)前向傳播后輸出類別為yi的概率簡寫為P(yi|Xi,θ)=p(yi),那么網(wǎng)絡(luò)訓(xùn)練的目標函數(shù)可以表示為:

(7)

其中,D為訓(xùn)練文本集的大小。模型訓(xùn)練采用隨機梯度下降(Stochastic Gradient Descent,SGD)算法來最小化目標函數(shù),每輪訓(xùn)練迭代通過反向傳播來更新網(wǎng)絡(luò)中的各個參數(shù),直到模型達到擬合。

3 情感分析實驗

3.1 實驗數(shù)據(jù)

本文使用譚松波整理的中文酒店評論情感分析語料ChnSentiCorp-Htl-unba-10000,這是一個不平衡語料集合,含有10 000篇從攜程網(wǎng)等網(wǎng)站上采集整理的酒店評論數(shù)據(jù),其中正向評價文本7 000篇,負向評價文本3 000篇。此外,為驗證WP-CNN在中英文上的泛用性,本文還在文獻[16]整理的英文影評語料上進行了實驗,語料含義正負向英文影評各5 331篇,是一個平衡數(shù)據(jù)集。對于2組語料集的實驗,實驗各自抽取了90%的文本用作網(wǎng)絡(luò)的訓(xùn)練集,10%的文本用作測試集。

對于2個數(shù)據(jù)集,本文分別去掉了文本中的特殊符號,針對中文酒店評論語料,使用中文分詞工具jieba進行了分詞處理。此外,為構(gòu)造用于訓(xùn)練Word-POS向量的詞性拼接語料,需要對文本進行詞性標注,其中,本文使用jieba工具中的詞性標注功能來獲取中文語料詞性特征,同時使用自然語言處理工具nltk來完成英文詞性標注。

3.2 詞向量/Word-POS向量訓(xùn)練

為避免外部數(shù)據(jù)引入對實驗的影響,本文只使用原始語料來進行相關(guān)向量訓(xùn)練。其中:詞向量的訓(xùn)練使用未拼接的語料庫;Word-POS向量的訓(xùn)練使用經(jīng)過詞性特征拼接后的語料庫。本文詞向量的訓(xùn)練使用了Word2Vec工具,此工具包含SkipGram和CBOW方法的實現(xiàn)。針對文本的原始表示,實驗同時使用了SkipGram和CBOW方法來訓(xùn)練詞向量來初始化后續(xù)用于對比的基準文本卷積神經(jīng)網(wǎng)絡(luò)。而對于Word-POS向量,本文統(tǒng)一使用SkipGram方法進行訓(xùn)練。詞向量/Word-POS向量訓(xùn)練相關(guān)參數(shù)如下:向量的維度100維;上下文窗口大小為10;向量訓(xùn)練迭代次數(shù)為10次。

3.3 神經(jīng)網(wǎng)絡(luò)參數(shù)設(shè)置

本文的網(wǎng)絡(luò)結(jié)構(gòu)使用了tensorflow庫來進行搭建,相關(guān)參數(shù)描述如下:輸入的通道數(shù)為2,分別對應(yīng)文本詞向量矩陣和Word-POS矩陣,每輪輸入的樣本數(shù)量(batch-size)為64;選取了3種窗口大小的卷積核,分別為1×100(unigram卷積核)、2×100(bigram卷積核)和3×100(trigram卷積核),其中100為詞/Word-POS向量的維度,每組卷積核的數(shù)量各為64;為防止過擬合,網(wǎng)絡(luò)在softmax層使用了dropout機制,全連接層的節(jié)點會進行隨機失活,失活率設(shè)置為0.5。

3.4 評估標準

文本情感分類可以視為一種文本分類任務(wù),本文使用準確率Precision、召回率Recall以及F1值F1-Score作為分類評估標準。準確率定義為正確分類為指定類別的文本數(shù)量與分類到了指定類別的全部文本數(shù)量的比值;召回率定義為正確分類為指定類別的文本數(shù)量與全部指定類別文本數(shù)量的比值;F1值是準確率和召回率的調(diào)和均值,能對準確率和召回率進行綜合評估。設(shè)TP為正確分類到正類的文檔數(shù),TN為正確分類到負類的文檔數(shù),FP為誤分類到正類的負類文本數(shù)量,FN為誤分類到負類的正類文本數(shù)量,則對于正類,各評估標準可被表示為:

(8)

(9)

(10)

本文用來評估的準確率和召回率分別為正類與負類的準確率均值和召回率均值,而F1值則使用平均準確率和平均召回率通過式(10)計算獲得。

3.5 結(jié)果對比與分析

3.5.1 對比模型介紹

為比較各種模型在2組數(shù)據(jù)集上的表現(xiàn)以驗證WP-CNN在情感分析任務(wù)中的有效性,本文選取了若干傳統(tǒng)機器學(xué)習(xí)和基準文本卷積神經(jīng)網(wǎng)絡(luò)模型與本文提出的模型進行了對比。對于傳統(tǒng)機器學(xué)習(xí),使用詞袋模型對文本進行表示,并選用SVM和LR2種算法進行情感分類。根據(jù)詞向量初始化方式的不同,選擇多種用于對比基準文本卷積神經(jīng)網(wǎng)絡(luò),分別為詞向量隨機初始化并在網(wǎng)絡(luò)訓(xùn)練過程中通過反向傳播動態(tài)調(diào)整的Rand-CNN、詞向量分別通過CBOW模型和SkipGram模型初始化的CBOW-CNN和SkipGram-CNN。此外,為分析雙通道輸入對實驗結(jié)果的影響,本文使用了2種WP-CNN模型進行對比,分別為去除了原始詞向量矩陣輸入,文本只以Word-POS矩陣作為單通道輸入的WP-CNN1;文本同時使用詞向量矩陣和Word-POS矩陣作為雙通道輸入的WP-CNN2。

3.5.2 實驗結(jié)果分析

表1和表2展示了使用各個模型在數(shù)據(jù)集上擬合后獲得的分類效果。從中可以看出:使用隨機初始化輸入的Rand-CNN相對于傳統(tǒng)機器學(xué)習(xí)方法并沒有顯著的提高,在英文數(shù)據(jù)集上效果甚至差于SVM,F1值僅為0.759 7;Rand-CNN在學(xué)習(xí)分類網(wǎng)絡(luò)參數(shù)的同時還要對原始詞向量進行調(diào)整,在訓(xùn)練數(shù)據(jù)不充足的情況下,訓(xùn)練詞向量質(zhì)量較差;相比之下,使用預(yù)訓(xùn)練詞向量初始化輸入的CBOW-CNN和SkipGram-CNN模型相對于Rand-CNN和有明顯的提升,這證實了文本卷積神經(jīng)網(wǎng)絡(luò)的分類效果與輸入表達方式有直接關(guān)系,網(wǎng)絡(luò)對于輸入的噪音相當(dāng)敏感。

表1 中文酒店數(shù)據(jù)情感分析結(jié)果

表2 英文影評數(shù)據(jù)情感分析結(jié)果

通過對比發(fā)現(xiàn),結(jié)合詞性特征的WP-CNN在各項評估指標上要明顯優(yōu)于其他模型。在中文酒店評論集上,相對于效果最佳的基準模型SkipGram-CNN,單通道的WP-CNN1與雙通道的WP-CNN2在F1值上分別提升了0.019 7與0.025 9;而在英文影評數(shù)據(jù)上F1值分別提升了0.021 9與0.032 8。實驗結(jié)果證實了通過結(jié)合詞性特征來對詞向量訓(xùn)練進行詞義消歧可以改善文本卷積神經(jīng)網(wǎng)絡(luò)的輸入表達,進而得到更佳的分類能力。同時,基于雙通道的WP-CNN2在情感分析效果上要好于單通道WP-CNN1,在2個數(shù)據(jù)集上,前者F1值分別高于后者0.006 2和0.010 9,這也驗證結(jié)合原始詞向量的雙通道輸入能提高網(wǎng)絡(luò)分類能力,這點在文本相對更不規(guī)范的英文影評情感數(shù)據(jù)集上表現(xiàn)的更明顯。

3.5.3 迭代結(jié)果分析

圖3和圖4分別展示了在2組情感分析實驗中各網(wǎng)絡(luò)前50輪迭代的分類準確率。從中可以看出:2種WP-CNN每輪迭代效果都要優(yōu)于各基準文本卷積神經(jīng)網(wǎng)絡(luò),從第5輪迭代開始其分類準確率就明顯高于其他網(wǎng)絡(luò)模型;2組實驗中Rand-CNN由于需要動態(tài)調(diào)整詞向量,每輪迭代的分類準確率都是最低的。

圖3 中文酒店數(shù)據(jù)集實驗前50輪迭代結(jié)果

圖4 英文影評數(shù)據(jù)集實驗前50輪迭代結(jié)果

通過觀察可發(fā)現(xiàn),WP-CNN1收斂需要的迭代次數(shù)基本和CBOW-CNN和SkipGram-CNN保持一致。相對地,由于WP-CNN2擁有更多的輸入特征,因此隨著迭代次數(shù)的增加,其能體現(xiàn)出比WP-CNN1更好的分類效果,這種趨勢也證實了雙通道輸入策略能夠為網(wǎng)絡(luò)訓(xùn)練帶來更大的提升空間,網(wǎng)絡(luò)不會由于單一通道的輸入噪音過早地陷入過擬合。

4 結(jié)束語

本文在經(jīng)典文本卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上引入了詞性拼接強化策略,對網(wǎng)絡(luò)的輸入文本進行詞義消歧,進而構(gòu)建一種結(jié)合詞性特征的文本卷積神經(jīng)網(wǎng)絡(luò)模型WP-CNN,并將其應(yīng)用到文本情感分析任務(wù)中。通過詞性拼接捕獲一詞多義現(xiàn)象,WP-CNN可以改善文本詞向量的訓(xùn)練,為文本卷積神經(jīng)網(wǎng)絡(luò)提供質(zhì)量更優(yōu)的輸入,并且其使用結(jié)合原始詞向量和Word-POS向量的雙通道輸入,能夠有效地解決因輸入噪音過多造成的網(wǎng)絡(luò)訓(xùn)練過擬合問題。在基于中文酒店評論與英文影評數(shù)據(jù)的情感分析實驗中,WP-CNN模型的分類準確率、召回率和F1值明顯高于傳統(tǒng)機器學(xué)習(xí)方法和基準文本卷積神經(jīng)網(wǎng)絡(luò)模型,其有效性得到了驗證。在后續(xù)工作中,將把WP-CNN應(yīng)用到其他NLP任務(wù)中評估其效果,并做進一步優(yōu)化。