基于語句結(jié)構(gòu)信息的方面級情感分類①

李夢磊,劉 新,趙夢凡,李 聰

(湘潭大學(xué) 信息工程學(xué)院,湘潭 411105)

在自然語言處理(NLP)領(lǐng)域中,情感分析任務(wù)一直都備受關(guān)注,其通過挖掘文本中的信息來分析人們所表達(dá)的情感.情感分析任務(wù)本質(zhì)上是一種情感分類,通過對語句中的信息進(jìn)行建模與分析,從中提取句子的情感傾向(積極,消極,中立).但是當(dāng)句子中有多個目標(biāo)詞匯時,往往不能準(zhǔn)確的表達(dá)出句子的情感極性.

目前,方面級情感分析任務(wù)的處理方法主要分為基于機(jī)器學(xué)習(xí)和基于神經(jīng)網(wǎng)絡(luò)兩類.基于機(jī)器學(xué)習(xí)的方法主要是對文本進(jìn)行手動構(gòu)建特征信息,再使用機(jī)器學(xué)習(xí)分類器將特征信息進(jìn)行分類,常用的特征分類器有支持向量機(jī)(Support Vector Machine,SVM)、樸素貝葉斯等.基于神經(jīng)網(wǎng)絡(luò)的方法則是對文本進(jìn)行深度語義特征向量表示,之后根據(jù)給定方面來預(yù)測情感極性.相比于手動構(gòu)建特征信息,使用神經(jīng)網(wǎng)絡(luò)進(jìn)行提取可以更全面,并且其本身可以從數(shù)據(jù)中學(xué)習(xí)到目標(biāo)特征表示而不需要進(jìn)行特征工程.常用的神經(jīng)網(wǎng)絡(luò)有循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)、長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)等.

本文提出了一種基于語句結(jié)構(gòu)信息的語義表示方法,用于方面級情感分析任務(wù).該方法從多方面融合了句子的語義信息和結(jié)構(gòu)信息,分別從句子的語義序列和詞性序列中提取特征向量,之后采用后文提出的3 種方法進(jìn)行特征向量整合.采用基于語句結(jié)構(gòu)信息的語義表示方法,有助于提升方面級情感分析結(jié)果的準(zhǔn)確性.

1 相關(guān)工作

1.1 方面級情感分析

方面級情感分析是情感分析的一個子任務(wù),目的是分析目標(biāo)方面在語句中的情感傾向.方面級情感分析的處理方法主要分為基于機(jī)器學(xué)習(xí)的處理方法和基于深度學(xué)習(xí)的處理方法.基于機(jī)器學(xué)習(xí)的方法,通過將手動構(gòu)造的特征送入機(jī)器學(xué)習(xí)分類器來處理方面級情感分析.基于深度學(xué)習(xí)的方法是將詞和詞組表示為詞向量后送入神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)特征用來分類.常用的詞向量模型有文獻(xiàn)[1]的CBOW 和Skip-Gram.近年來,用于處理方面級情感分類任務(wù)的神經(jīng)網(wǎng)絡(luò)主要是RNN網(wǎng)絡(luò)及其變種.在此基礎(chǔ)上,文獻(xiàn)[2]和文獻(xiàn)[3]將注意力機(jī)制首次成功應(yīng)用到圖像領(lǐng)域和自然語言處理領(lǐng)域,注意力機(jī)制開始在各項任務(wù)中大放異彩.文獻(xiàn)[4]將目標(biāo)方面與上下文相結(jié)合,通過基于句子的語法結(jié)構(gòu)創(chuàng)建多個與目標(biāo)相關(guān)的特征來改善與目標(biāo)相關(guān)的情感分類.文獻(xiàn)[5]提出了一種Attention-based Long Short-Term Memory Network,當(dāng)以不同的方面作為輸入時,使用注意力機(jī)制可以注意到語句的不同的部分.文獻(xiàn)[6]提出對語句和目標(biāo)方面分別進(jìn)行建模再進(jìn)行處理的方法.目前的大部分方法都是以語句作為為輸入,神經(jīng)網(wǎng)絡(luò)的輸出作為語句表述,這種方法主要提取到語句在語義上的信息,一定程度上忽略了詞語在句型結(jié)構(gòu)上的依賴型.但是語句結(jié)構(gòu)信息包含可以確定與目標(biāo)方面情感相關(guān)詞匯的位置信息.在本文中,我們嘗試從文本詞性序列中學(xué)習(xí)到語句結(jié)構(gòu)信息,并將這些語句結(jié)構(gòu)信息與語義信息融合構(gòu)建成基于語句結(jié)構(gòu)信息的語義表示用于處理方面級情感分析任務(wù).

1.2 雙向長短期記憶神經(jīng)網(wǎng)絡(luò)

雙向長短期記憶神經(jīng)網(wǎng)絡(luò),簡稱Bi-LSTM,是在長短期記憶神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上發(fā)展而來的.雙向長短期記憶神經(jīng)網(wǎng)絡(luò)是由一個前向的長短期記憶神經(jīng)網(wǎng)絡(luò)和一個反向的長短期記憶神經(jīng)網(wǎng)絡(luò)所組成,旨在從兩個方向?qū)δ繕?biāo)序列進(jìn)行提取特征.文獻(xiàn)[7]長短期記憶神經(jīng)網(wǎng)絡(luò),簡稱LSTM 是循環(huán)神經(jīng)網(wǎng)絡(luò)的一個變種,它因克服了循環(huán)神經(jīng)網(wǎng)絡(luò)存在的梯度消失和梯度爆炸的問題而倍受喜愛.LSTM 在循環(huán)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上添加了遺忘門,輸入門和輸出門.LSTM 神經(jīng)元結(jié)構(gòu)如圖1所示.

圖1 LSTM 神經(jīng)元結(jié)構(gòu)圖

遺忘門通過把上一序列隱藏狀態(tài)與本神經(jīng)元的輸入送到激活函數(shù)決定神經(jīng)元遺忘或者保留哪些信息.

輸入門決定神經(jīng)元中更新哪些新信息,使用Sigmoid 函數(shù)決定神經(jīng)元中哪些部分被更新,然后與通過tanh 函數(shù)的上一序列隱藏狀態(tài)和本神經(jīng)元的輸入相乘得到新的細(xì)胞狀態(tài).

輸出門決定神經(jīng)元的哪些信息會被輸出,首先使用Sigmoid 函數(shù)決定神經(jīng)元中哪些部分需要輸出,然后與通過tanh 函數(shù)的細(xì)胞狀態(tài)相乘得到輸出的信息.

2 基于語句結(jié)構(gòu)信息的表示方法

本文假設(shè)語句結(jié)構(gòu)信息由語句詞性序列和位置信息所組成,并試圖使用Bi-LSTM 提取語句結(jié)構(gòu)特征.模型框架如圖2所示,模型的輸入有3 個部分文本序列,文本詞性序列和給定的目標(biāo)方面.模型框架的流程為:首先,將文本序列和文本詞性序列進(jìn)行嵌入表示成向量后分別送入到兩個Bi-LSTM 從兩個方向進(jìn)行學(xué)習(xí)語義特征表示和語句結(jié)構(gòu)特征表示.接著,將學(xué)習(xí)到的語義特征表示和語句結(jié)構(gòu)特征表示進(jìn)行融合構(gòu)建成為基于語句結(jié)構(gòu)信息的語義表示.然后將目標(biāo)方面的嵌入表示與基于語句結(jié)構(gòu)信息的語義表示相結(jié)合得到最終的基于目標(biāo)方面的語句表示,最終將語句表示送入到Softmax 分類器中得到該方面的情感分類.

圖2 基于語句結(jié)構(gòu)信息的語義表示模型框架圖

2.1 語義表示和語句結(jié)構(gòu)表示

(1)詞性嵌入

對于給定一條長度為n的語句s=[w1,w2,···,wn]和一組長度為m的目標(biāo)方面t=[wi,wi+1,···,wi+m-1],將單詞在語句中的詞性標(biāo)注映射到一個向量空間中,我們稱其為詞性嵌入.例如,對于每一個單詞wi的詞性,可從MV×dw中得到vi屬于Rd.其中V是一個詞性表的大小,dw是embedding 維度.在嵌入查找工作完成后,可以得到語句s的詞性序列表示和目標(biāo)方面t的詞性序列表示.

(2)Bi-LSTM 編碼的語義表示和語句結(jié)構(gòu)表示

在這一節(jié)中,我們使用兩個Bi-LSTM 分別提取語義特征和語句結(jié)構(gòu)特征.輸入詞向量序列s[w1,w2,···,wn]到Bi-LSTM 中,Bi-LSTM 將從兩個方向(從前往后和從后往前)提取語義特征.Bi-LSTM 的隱藏單元將生成一個隱藏的狀態(tài)序列h作為由Bi-LSTM 編碼的語義表示.相同的,通過將詞性向量序列pos[w1,w2,···,wn]輸入到Bi-LSTM 中學(xué)習(xí)到語句結(jié)構(gòu)特征表示.

2.2 基于語句結(jié)構(gòu)信息的語義表示

通過將詞向量序列和詞性向量序列送入兩個Bi-LSTM 中,我們將得到語句的語義表示(表示為s)和語句結(jié)構(gòu)特征的表示(表示為ss).接下來,我們通過將語義表示向量和語句結(jié)構(gòu)表示向量進(jìn)行融合從而構(gòu)建基于語句結(jié)構(gòu)信息的語義表示.在此,本文提出了3 種將語義表示向量和語句結(jié)構(gòu)表示向量進(jìn)行融合的方法.

(1)后注意力機(jī)制表示

將得到的語義表示向量hs和語句結(jié)構(gòu)向量hss進(jìn)行拼接得到向量h,并對拼接后的向量使用注意力機(jī)制,計算出語義信息關(guān)于語句結(jié)構(gòu)的注意力權(quán)重分布α和基于語句結(jié)構(gòu)信息的語義表示γ.

其中,hs是由Bi-LSTM 編碼的語義表示,hss為由Bi-LSTM 編碼的語句結(jié)構(gòu)表示,Ws與Wss是線性變換函數(shù)中的參數(shù),α是注意力權(quán)重分布,γ是基于語句結(jié)構(gòu)信息的語義表示.

(2)先注意力機(jī)制表示

對語義表示向量hs使用自注意力機(jī)制,以進(jìn)一步加強(qiáng)詞與詞在語義上的相關(guān)性,得到向量表述γs.相同的,對語句結(jié)構(gòu)表示也使用自注意力機(jī)制,增強(qiáng)詞與詞在語句結(jié)構(gòu)上的相關(guān)性,得到向量表述γss.注意力機(jī)制的使用可以使得語句在詞與詞之間在語義和語句結(jié)構(gòu)上的相關(guān)性進(jìn)一步加強(qiáng),最終將兩個向量進(jìn)行拼接得到基于語句結(jié)構(gòu)信息的語義表示γ.

其中,hs是由Bi-LSTM 編碼的語義表示,Ws是線性變換函數(shù)中的參數(shù),αs是語義表示中詞與詞之間的注意力權(quán)重,γs是基于注意力機(jī)制的語義表示,hss為由Bi-LSTM 編碼的語句結(jié)構(gòu)表示,Wss是線性變換函數(shù)中的參數(shù),αss是語義表示中詞與詞之間的注意力權(quán)重,γss是基于注意力機(jī)制的語句結(jié)構(gòu)表示,γ是基于語句結(jié)構(gòu)信息的語義表示.

(3) Attention-Over-Attention (AOA)表示

受到文獻(xiàn)[8]的啟發(fā),文獻(xiàn)[8]使用AOA 模塊計算出目標(biāo)方面和語義上的互信息,最終由目標(biāo)方面關(guān)于語義的注意力權(quán)重和語義關(guān)于目標(biāo)方面的注意力權(quán)重計算出基于目標(biāo)方面的語句表述.在此,我們一樣使用AOA 模塊將語義表示和語句結(jié)構(gòu)表示進(jìn)行點乘計算出互信息矩陣M,再對矩陣M使用逐行注意力機(jī)制和逐列注意力機(jī)制,得到語義關(guān)于語句結(jié)構(gòu)的注意力權(quán)重和語句結(jié)構(gòu)關(guān)于語義信息的注意力權(quán)重,根據(jù)權(quán)重信息計算出基于語句結(jié)構(gòu)信息的語義表示γ.AOA模塊使得語句結(jié)構(gòu)特征和語義特征更加充分的融合,即語句結(jié)構(gòu)特征可以關(guān)注到與結(jié)構(gòu)相關(guān)的語義特征,也可以使得語義特征關(guān)注到與語義相關(guān)語句結(jié)構(gòu)特征.

其中,α是語句結(jié)構(gòu)關(guān)于語義的注意力權(quán)重,β是語義關(guān)于語句結(jié)構(gòu)的注意力權(quán)重,β*是語義關(guān)于語句結(jié)構(gòu)的注意力權(quán)重的平均值,γ是基于結(jié)構(gòu)信息的語義表示.

2.3 帶有方面嵌入的語句表示

由于基于語句結(jié)構(gòu)信息的語義表述γ不能夠充分利用目標(biāo)方面的信息,如果對基于結(jié)構(gòu)信息的語義表示直接分類,得出的結(jié)果近似于語句的情感分類.因此,我們利用注意力機(jī)制計算出目標(biāo)方面在語句描述γ上的注意力分布β,并根據(jù)該注意力分布β得到可以用于分類的帶有方面嵌入的語句表示h*.

其中,γ是基于語句結(jié)構(gòu)信息的語義表示,tasp是目標(biāo)方面的嵌入表示,easp是將目標(biāo)方面嵌入到語義信息中每個單詞的向量表示中,αasp是γ關(guān)于給定方面的注意力權(quán)重分布,h*是帶有方面嵌入的基于語句結(jié)構(gòu)的語義表示.

帶有方面嵌入的基于語句結(jié)構(gòu)的語義表示就是本文所提取的最終用于情感分類的語句表示.我們使用線性層把該語句表示從語句空間轉(zhuǎn)化到情感分類的類別空間中后使用Softmax函數(shù)將其轉(zhuǎn)換成各個類別的概率.

其中,概率最大的就是關(guān)于目標(biāo)方面的情感分類類別.

2.4 模型訓(xùn)練

由于任務(wù)為分類任務(wù),所以模型的損失函數(shù)采用交叉熵?fù)p失函數(shù),模型使用反向傳播算法通過端到端的方式進(jìn)行訓(xùn)練.損失函數(shù)如下,

其中,y為目標(biāo)函數(shù),n是語句的數(shù)目,i為語句的索引值,m為類別數(shù),j為類別的索引,y為第i條語句關(guān)于目標(biāo)方面的真實類別,y`為第i條語句預(yù)測的為第j個類別的概率,為損失函數(shù)的正則項用以降低過擬合現(xiàn)象的發(fā)生,提高模型的泛化能力,λ為正則化系數(shù).模型通過最小化損失函數(shù)進(jìn)行更新訓(xùn)練.

3 實驗分析

3.1 實驗數(shù)據(jù)集

實驗的數(shù)據(jù)集來自文獻(xiàn)[9],本數(shù)據(jù)集是方面級情感分析任務(wù)研究中經(jīng)常使用的數(shù)據(jù)集.本數(shù)據(jù)集含有手提電腦評論和餐廳評論兩個領(lǐng)域的子數(shù)據(jù)集.數(shù)據(jù)集中已經(jīng)標(biāo)注好了每個語句中的方面和目標(biāo)方面所呈現(xiàn)的情感傾向.任務(wù)目標(biāo)是預(yù)測出給定方面在本條語句中的情感傾向.數(shù)據(jù)集中數(shù)據(jù)的分布在表1中給出.

表1 SemEval 2014 Task 4 數(shù)據(jù)集分布

3.2 超參數(shù)設(shè)置

在實驗中,詞向量由文獻(xiàn)[10]中的Glove1 進(jìn)行初始化,每個詞向量維度為300.我們使用Batch size 為25,初始化學(xué)習(xí)率為0.01 的Adam 優(yōu)化器來訓(xùn)練模型.其他模型參數(shù)采用隨機(jī)初始化,初始化的概率分布服從均勻分布.實驗中,Bi-LSTM 的隱藏單元大小維度為150 維.

3.3 詞性嵌入維度實驗

詞性的表示與詞性的嵌入維度息息相關(guān),一般來說,向量維度的大小決定了向量所包含信息量的多少.所以詞性嵌入的維度過小不足以完全表示詞性的信息,但是詞性向量維度過多會使網(wǎng)絡(luò)中含有過多的冗余信息干擾,使得模型效果不佳.因此,我們以先注意力機(jī)制表示模型作為標(biāo)準(zhǔn),使用對比實驗來證明哪種詞性嵌入維度最適合模型.由于詞向量維度等其他網(wǎng)絡(luò)參數(shù)的限制,將詞性的嵌入維度設(shè)定為50,100,150,200,250,300.Batch size 設(shè)置為25,模型運行10 個epoch的實驗結(jié)果來進(jìn)行對比.

從表2以看出將詞性嵌入維度可以在一定程度上影響模型的效果,當(dāng)詞性嵌入維度較小時,模型的效果會隨著詞性維度的增大而逐漸增大,但是當(dāng)詞性嵌入維度變得過大時,模型的效果甚至出現(xiàn)了下降的趨勢.因此,為了詞性嵌入表示更多的信息同時又兼顧模型的效果,本文將詞性嵌入維度設(shè)置為150.

表2 詞性嵌入維度對比實驗

3.4 融合表示向量對比實驗

本文通過將語義表示向量和語句結(jié)構(gòu)表示向量進(jìn)行融合構(gòu)建出基于語句結(jié)構(gòu)的語義表示向量,并將該向量與方面嵌入結(jié)合后用于最終的情感分類.為了證明本文所提出的3 種融合方法對本模型情感分類的結(jié)果的貢獻(xiàn)程度.因此本節(jié)設(shè)置對比實驗,將使用3 種融合方法網(wǎng)絡(luò)模型與不使用3 種融合方法的網(wǎng)絡(luò)模型(即使用語義表示向量和語句結(jié)構(gòu)表示向量簡單堆疊后的向量作為基于語句結(jié)構(gòu)的語義表示向量,其余模塊不做任何變動) 進(jìn)行對比,以證明3 種方法的有效性.對比結(jié)果如表3所示,對比實驗選用餐廳子數(shù)據(jù)集,詞性嵌入維度為150,其余超參數(shù)設(shè)置與3.2 節(jié)中描述相同.

表3 融合表示向量對比實驗

由表3可知,語義表示與語句結(jié)構(gòu)表示的融合方法會很大程度上影響模型的效果.其中,不使用任何融合方法,直接將語義表示向量和語句結(jié)構(gòu)表示向量簡單堆疊后作為基于語句結(jié)構(gòu)的語義表示向量,這種方法最為簡單,但是同時模型的效果也很一般.這主要是由于語義信息與語句信息沒有充分融合所導(dǎo)致的.而在其余3 種融合向量構(gòu)建方法中,基于AOA 的融合表示效果最佳,AOA 可以從語句結(jié)構(gòu)與語義信息的互信息中提取相關(guān)性較強(qiáng)的特征,因此可以使得模型效果更好一些.

3.5 對比實驗與分析

將本文提出的模型與未使用語句結(jié)構(gòu)信息的基線模型進(jìn)行比較以證明本文模型結(jié)構(gòu)的有效性.待比較的模型包括:LSTM,TD-LSTM,ATAE-LSTM.我們使用準(zhǔn)確度和F1 值作為衡量模型的指標(biāo).

SVM[11]:使用N-gram 特征,解析特征等信息使用SVM 分類器進(jìn)行情感分類.

LSTM[5]:把文本數(shù)據(jù)送入到LSTM 網(wǎng)絡(luò)中,使用LSTM 的輸出作為文本的語句表示,然后直接使用該語句表示進(jìn)行情感分類.

TD-LSTM[12]:根據(jù)目標(biāo)方面把原始語句分為前后兩個語句,使用兩個LSTM 分別對前后語句進(jìn)行建模,最終將兩個LSTM 的輸出拼接起來進(jìn)行最后情感分類.

ATAE-LSTM[5]:用LSTM 對輸出的語句進(jìn)行建模得到語句表示,然后將語句表示和方面嵌入表示結(jié)合后使用注意力機(jī)制得到帶有方面嵌入的語句表示,最后根據(jù)該語句表示進(jìn)行情感分類器.

Memnet[13]:在詞嵌入的基礎(chǔ)上多次應(yīng)用注意力機(jī)制,最終選擇最頂層的語句表示進(jìn)行情感分類.

IAN[6]:使用兩個LSTM 網(wǎng)絡(luò)對語句和方面進(jìn)行建模,分別使用兩個LSTM 的隱藏狀態(tài)生成注意力向量,最終基于這兩個向量生成語句表示和方面表示實現(xiàn)最后的分類.

由表4中數(shù)據(jù)可知,與基線模型相比,本文的模型在該數(shù)據(jù)集上的表現(xiàn)更佳一些.在本文提出的3 種關(guān)于語義表示與語句結(jié)構(gòu)表示的融合方法中,使用AOA方法的效果更佳些,這可能是由于AOA 模型分別考慮了語句結(jié)構(gòu)關(guān)于語義信息的特征和語義信息關(guān)于語句結(jié)構(gòu)的特征,使得語句結(jié)構(gòu)特征與語義信息能夠充分融合.因此,帶有語句結(jié)構(gòu)信息的網(wǎng)絡(luò)模型比不帶有語句結(jié)構(gòu)信息的網(wǎng)絡(luò)模型表現(xiàn)更佳.

3.6 樣例分析

在圖3中列舉了測試集中的部分樣例,為了分析每個單詞對于目標(biāo)方面情感分類的重要程度,本文將最終的帶有方面嵌入的語句表示進(jìn)行可視化.圖中x軸方向為語句中的每個單詞,y軸方向為目標(biāo)方面,顏色的深淺代表了本單詞對于目標(biāo)方面最終分類的重要程度,單詞對于最終分類影響程度越大,則顏色越深.例如:在“The food is good but the price is so expensive.”這條語句中,一共有“food”和“price”兩個方面,而且在本條語句中這兩個方面呈現(xiàn)了相反的情感極性.但在圖3中,可以看到當(dāng)給定的目標(biāo)方面為“food”時,本文的網(wǎng)絡(luò)模型會關(guān)注到“good”而不是“expensive”,當(dāng)給定目標(biāo)方面為“price”時,網(wǎng)絡(luò)模型關(guān)注到“expensive”,從而給出正確的情感極性判斷.這一個特點得益于在語句結(jié)構(gòu)中“good”用來修飾“food”而不是“price”,本文的網(wǎng)絡(luò)模型通過學(xué)習(xí)這一個特點來給出正確的情感極性判斷.因此,本文的網(wǎng)絡(luò)模型在給出不同的方面時,可以關(guān)注到語句中與目標(biāo)方面相關(guān)的部分而不會被其他無關(guān)詞語干擾.

表4 模型對比實驗結(jié)果

圖3 最終語句表示的注意力權(quán)重分布圖

4 結(jié)論與展望

在本文中,我們提出了一種基于語句結(jié)構(gòu)的語義表示來解決方面級的情感分析任務(wù).本文提出了一種從詞性序列提取語句結(jié)構(gòu)特征的新方法以及3 種關(guān)于語句結(jié)構(gòu)特征和語義特征相融合的方法,最終通過基于語句結(jié)構(gòu)特征的語義表示去預(yù)測目標(biāo)方面的情感傾向.實驗證明,帶有語句結(jié)構(gòu)信息的模型比不帶有語句結(jié)構(gòu)信息的模型效果更好一些.在接下來的工作中,可以進(jìn)一步的完善詞性嵌入的表示來完善文本結(jié)構(gòu)信息的提取.