基于對抗式神經網絡的多維度情緒回歸*

朱蘇陽, 李壽山, 周國棟

(蘇州大學 計算機科學與技術學院,江蘇 蘇州 215008)

情緒分析(emotion analysis)作為一種細粒度的情感分析(sentiment analysis)任務,旨在判別自然語言文本中所蘊含的情緒,是自然語言處理領域中的研究熱點[1-3].一條文本中通常包含兩類情緒:作者情緒(作者以什么樣的情緒寫下這條文本)和讀者情緒(讀者看到這條文本會產生什么樣的情緒).而情緒分析可進一步分為以下兩個任務.

1) 情緒分類(emotion classification).通過分類模型判別輸入文本所屬的情緒類別(emotion category).例如,例句1(取自Yao等人[2]的作者情緒分類語料庫)表達了一種開心(happiness)的作者情緒.

2) 情緒回歸(emotion regression).通過回歸模型對輸入文本的情緒維度(emotion dimension)進行打分.其中,情緒維度一般是多維的,包括極性(valence,簡稱V)、強度(arousal,簡稱A)以及可控性(dominance,簡稱D).例如,例句 2(取自 Buechel等人[4]的多維度情緒回歸語料庫 EMOBANK)的 3個作者情緒維度分數(V,A,D)=(2.4,3.6,2.8).

例句1:時間真的過的好快,我從一個未成年到奔三了,感謝一路上很多人,感謝我認識你們大家,謝謝你們.

例句 2:You see, Nathan, there is …separate from your society …oh damn it.(你懂的,內森,有這樣的人…與你的社會所隔絕…哦,該死的.)

情緒分類的研究工作開始得較早,有許多相關工作,包括傳統的基于統計模型的方法和最新的基于神經網絡模型的方法.例如,Yang等人[5]利用情感詞典作為外部語言資源訓練SVM分類器來判別博客文本所屬的情緒類別.Tripathi等人[6]利用深度卷積神經網絡判別文本的情緒類別.然而,由于缺乏公認的情緒分類體系(emotion taxonomy),不同的情緒分類語料庫大多會采用不同的情緒分類體系,其分類體系中包含的情緒類別也不盡相同.例如,例句1所在語料庫使用的是基于Ekman[7]的6類情緒分類體系之上設計的7類情緒分類體系,而例句1若在Huang等人[8]所使用的情緒體系下則會被標注為正面復合(positive complex)的作者情緒.因此,基于單一語料庫的情緒分類任務所訓練的分類模型很難簡單復用到使用其他情緒分類體系的語料庫上[9].

與情緒分類相比,情緒回歸任務受限于回歸任務的難度和情緒回歸語料庫的缺乏,相關研究起步較晚.情緒回歸語料庫相比于情緒分類語料庫的一大優勢在于,其多使用公認的在心理學上用于描述情緒的極性-強度模型(valence-arousal model)[10]對語料進行情緒維度分數的標注.Buechel等人[4]在極性-強度模型的基礎上將其拓展為極性-強度-可控性模型(valence-arousal-dominance model),并基于這一模型構建了一個包含超過10 000條樣本的多維度情緒回歸語料庫EMOBANK.本文致力于在該語料庫上進行多維度的情緒回歸研究.

近年來,基于神經網絡的方法在許多自然語言處理任務中都取得了較好的成果.例如,句法分析[11,12]、情感分析[13,14]、信息抽取[15,16]、機器翻譯[17,18]等.在神經網絡的相關研究中,生成式對抗網絡(generative adversarial network,簡稱 GAN)通過對抗式學習(adversarial learning)來訓練能夠生成接近真實樣本的生成器[19].基于對抗式學習的學習框架在圖像處理領域中已經取得了很好的成果[20,21],在自然語言處理領域也被初步應用到文本生成任務中去[22,23],這是一種很有潛力的學習框架.并且,該學習框架可被應用到全監督、半監督以及無監督的機器學習任務中.

目前,將對抗式學習框架應用于分類任務的相關研究還較少[24,25],而應用于回歸任務的研究則更為罕見.本文提出一種基于對抗式神經網絡的多維度情緒回歸方法.本文提出的方法包括對抗式神經網絡(adversarial neural network)模型和對抗學習算法.對抗式神經網絡包含特征抽取器、回歸器、判別器這3個部分,通過聯合訓練多個特征抽取器和回歸器,以對輸入文本的不同情緒維度進行打分.而對抗學習算法借由判別器在不同的特征抽取器之間進行對抗式訓練,從而獲得能夠抽取出泛化性更強的針對不同情緒維度的特征抽取器,以提高情緒回歸的性能.在EMOBANK多維度情緒回歸語料上的實驗結果表明,本文的方法優于其他基準系統和領域內先進系統,在EMOBANK新聞領域和小說領域的情緒回歸上均取得了較好的性能.

本文第1節介紹情緒分析和對抗式神經網絡模型的相關工作.第2節詳細描述本文提出的對抗式神經網絡模型以及對抗學習算法.第 3節介紹 EMOBANK語料庫以及實驗設置,并對實驗結果進行詳細分析.最后,第 4節給出本文的結論并展望未來工作.

1 相關工作

本節首先介紹情緒分類與情緒回歸的相關研究,然后給出對抗式神經網絡模型的相關研究工作.

1.1 情緒分類研究

情緒分類研究的主流為基于語料庫的方法.隨著互聯網的發展,許多研究者通過各類在線社交平臺用戶發布的文本構建情緒語料庫.Mishne等人[1]從在線博客平臺LiveJournal的815 494篇博客文章中構建情緒分類語料庫.Pak等人[26]從Twitter用戶發布的推文(tweets)中構建情緒分類語料庫.Yao等人[2]和Huang等人[8]分別從新浪微博與騰訊微博中構建中文情緒分類語料庫.除情緒分類語料庫的建設之外,情緒詞典(emotion lexicon)的構建也是重要的語料庫構建工作.Xu等人[27]利用同義詞詞典、語義詞典等語言資源,通過基于圖規則的方法構建包含 5類情緒的情緒詞典.Yang等人[28]提出了一種情緒意識隱狄利克雷分布模型(emotion-aware LDA model)來構建特定領域的情緒詞典.

根據輸入文本的粒度,情緒分類任務可以分為文檔級(document-level)情緒分類和句子級(sentence-level)情緒分類.基于傳統方法的文檔級情緒分類包括以下代表性工作:Mishne等人[1]利用LiveJournal的博客文章訓練SVM分類器來對博客文檔情緒進行分類.Yang等人[5]借助情感詞典等外部語言資源訓練SVM分類器與CRF序列標注器在博客文章上進行情緒分類任務.Lin等人[29]在雅虎新聞(Yahoo! News)上進行讀者情緒分類的研究.新聞的讀者情緒由新聞末尾的讀者情緒投票結果確定.基于傳統方法的句子級情緒分類主要依靠情緒詞典確定句子包含的情緒,包括以下的代表性工作:Amam等人[30]提出了一種基于知識庫的句子級情緒識別方法.Mohammad等人[31]對情緒詞對句子情緒的影響進行了研究.他們使用了基于 Word Net與NRC-10語料的情緒詞典輔助訓練最大熵分類器與SVM分類器,用以識別句子的情緒.Das等人[32]在Bengali博客上識別句子級的情緒.他們首先識別句子中所包含的情緒詞,之后利用情緒詞典確定這些情緒詞所屬的情緒類別,最后綜合確定句子的情緒.

近年來,基于神經網絡的方法也被應用到情緒分類的任務中去.Bertero等人[33]提出一種基于卷積神經網絡(convolutional neural network,簡稱CNN)的模型來對交互對話系統中的實時對話情緒進行分類.文獻[33]給出的實驗結果表明,使用單層卷積神經網絡配合最大池化(max-pooling)的特征抽取方法便能夠取得較好的分類準確率.Felbo等人[34]提出了一種基于雙向長短期記憶網絡(bi-directional long short term memory,簡稱Bi-LSTM)的方法在8個基準數據集上進行情緒分類任務研究.除了雙向長短期記憶網絡之外,Felbo等人還利用推特中的情緒表情符號輔助訓練模型,使之能夠從文本中抽取出包含更豐富的情緒信息的特征,并在所有基準數據集上都取得了先進的性能.Abdul-Mageed等人[3]提出了一種基于循環神經網絡(recurrent neural network,簡稱RNN)的情緒分類模型EmoNet.該方法結合了循環神經網絡與遠程監督(distant supervision)方法對未標注數據進行自動標注,并在他們自己收集的包含24類情緒的語料上取得了87.58%的準確率.

上述情緒分類研究大多采用不同的情緒分類語料庫,而這些語料庫往往使用不同的情緒分類體系.因此使用這些方法訓練的分類模型無法直接應用到其他語料庫上,而是需要在新的語料上重新訓練模型.此外,由于情緒分類任務本質上是將文本特征通過模型映射到離散的標簽空間中去,因此,若所使用的情緒標簽種類較少,則無法進一步進行更加細粒度的情緒分析.大量增加情緒標簽會大幅度提高每一類數據的稀疏性,而克服這一稀疏性需要耗費大量的人力標注成本.

1.2 情緒回歸研究

與情緒分類任務相比,受限于回歸任務本身的難度和情緒回歸語料庫的缺乏,情緒回歸任務研究的起步較晚.Yu等人[35]實現了一種基于帶權圖(weighted graph)的詞語級情緒回歸模型.該方法通過帶權圖來建模多個情緒詞節點之間的關系與相似度,從而給情感詞的極性-強度分數進行打分.該方法在中文和英文的情感詞典上的詞語級情緒回歸任務中的性能均優于線性回歸(linear regression)、核方法(kernel method)以及 Pagerank算法.Wang等人[36]提出了一種局部卷積神經網絡-長短期記憶網絡(regional CNN-LSTM)的文檔級情緒回歸模型.該方法將一段文本劃分為多個局部,并通過卷積神經網絡抽取每個局部的特征.抽取得到的特征經過融合后,經由一個長短期記憶網絡來預測整個文本的極性-強度分數.在多個語料上的實驗結果表明,該方法優于傳統的基于詞典的方法以及基于單層卷積神經網絡和單層長短期記憶網絡的方法.Buechel等人[37]在SemEval 07語料上探討了將極性-強度-可控性分數映射為SemEval 07語料所使用的Ekman這6類情緒類別標簽的可行性.他們首先人工地為SemEval 07語料標注了極性-強度-可控性分數,之后通過k近鄰算法構建情緒分數和情緒標簽之間的映射,并取得了較好的準確率.

在相關語料庫的構建方面,現有的情緒回歸語料庫數量極少,并且語料庫規模大多較小.Preo?iuc-Pietro等人[38]收集Facebook用戶發布的信息,構建了規模為2 895條文本的英文情緒回歸語料庫.Yu等人[39]發布了一個規模為2 009條句子的中文情緒回歸語料庫.該語料庫的文本數據源自多個在線平臺.由Buechel等人[4]標注的EMOBANK語料庫是目前罕有的包含樣本數超過10 000的大規模多領域情緒回歸語料庫.

與情緒分類相比,情緒回歸所使用的語料庫在標注上都采用心理學上公認的極性-強度模型或極性-強度-可控性模型.因此,這些方法訓練的模型具有較好的普適性.此外,由于情緒回歸任務本質上是將文本特征通過模型映射到連續的情緒分數空間中去,因此適合進行更細粒度的情緒分析任務.

1.3 對抗式神經網絡研究

基于神經網絡的對抗式學習方法是目前深度學習的熱點之一.這類方法最早源自 Goodfellow等人[19]提出的GAN模型.GAN模型由兩部分組成:生成器G和判別器D,并使用對抗式學習算法來訓練這兩部分.G的輸入通常為一組滿足正態分布的隨機噪音,輸出為一張圖片;D的輸入為一張圖片,輸出為判別該圖片為原始數據集中的真實樣本還是由G生成的偽樣本.對抗式學習發生在G與D之間:G需要生成盡可能能夠欺騙D的圖片,而D需要盡可能判別出G所生成的樣本為偽樣本.GAN的目標在于通過對抗式學習使得G能夠生成盡可能接近真實樣本分布的偽樣本.當兩個網絡之間達到納什均衡時模型收斂.GAN的優點在于G的輸入可以任意采樣,并且整個模型在實現上可以使用任何可微模型,但同時也存在眾多缺陷.在 GAN的基礎上,研究者們嘗試解決該方法的不足,許多衍生模型被提了出來,并在圖像處理領域取得了較好的效果.Mirza等人[20]提出了條件式GAN(conditional GAN,簡稱CGAN)來解決GAN生成樣本不具可控性的缺陷.CGAN在G和D的輸入上分別增加了一個條件信號作為輔助輸入以實現對生成數據的控制.CGAN在MNIST手寫數字圖像數據集上用0～9的數字符號作為輔助的條件輸入,通過實驗表明這一改進能夠生成指定的質量較好的手寫數字圖像.Radford等人[21]探索了G與D的具體實現,通過窮舉法發現,分別用4層卷積神經網絡實現的G與D能夠獲得較好的生成效果,并在 MNIST和亞洲人臉數據集(Asian face dataset)上通過實驗證明了這一點.Arjovsky等人[40]提出的Wasserstein GAN(WGAN)則進一步解決了 GAN訓練不穩定、缺少一個具體的數值來指示訓練進程的缺陷.WGAN最主要的改進在于使用真實樣本分布于生成樣本分布之間的Wasserstein距離來取代原始GAN中使用的兩個分布之間的簡森-香農散度作為判別器D的損失函數,從而避免了當兩個分布之間沒有重疊或重疊很小時,D的損失函數值無法度量兩個分布之間的真實距離.在具體實現中,兩個分布之間的Wasserstein距離通過一個全連接層的神經網絡來近似擬合而得到.

除了圖像生成之外,近年來,基于神經網絡的對抗式學習算法也被應用到其他任務中去.在自然語言處理領域,該方法在文本生成的任務上取得了一定的研究進展.Zhang等人[22]、Zhao等人[23]均使用卷積神經網絡、長短期記憶網絡等模型構建GAN進行文本生成實驗,并能夠生成比較接近自然語言的文本語句.除了文本生成任務外,該方法還被應用到分類任務上.Wu等人[24]分別使用卷積神經網絡與循環神經網絡構造兩種 GAN模型,在紐約時報語料與華盛頓大學語料兩個數據集上進行關系抽取實驗,并探討了這兩種實現的優劣.Liu等人[25]利用對抗式學習框架構建了兩個基于長短期記憶網絡的分類模型進行多任務文本分類.對抗式學習發生在兩個分類網絡之間.在Liu等人收集的16個不同的文本分類數據集上的實驗證明了這一方法在分類準確率上超過了其他單任務的深度神經網絡模型.近兩年來,有研究者利用對抗式學習算法的特點,將其用于跨領域的文本分類任務之中.Li等人[41]與Peng等人[42]先后提出基于對抗式學習算法的神經網絡模型,利用判別器對輸入文本所屬領域進行判別,以此從來自源領域的輸入文本中學習更接近目標領域的特征,用于訓練針對目標領域測試集的文本分類器.這兩種方法均在Yelp多領域情感分類數據集上取得了優于傳統跨領域學習的分類性能.

2 基于對抗式神經網絡的多維度情緒回歸方法

本節詳細描述了我們所提出的基于對抗式神經網絡的多維度情緒回歸方法.首先,給出多維度情緒回歸任務的定義.接著,介紹本文提出的對抗式神經網絡模型的框架與每一部分的具體實現,包括特征抽取器、回歸器以及判別器的具體實現.最后,介紹本文在訓練模型時所使用的對抗式學習算法.

2.1 任務定義

本文在 EMOBANK多領域情緒回歸語料上進行多維度情緒回歸任務.首先,記整個語料庫為X={x1,x2,…,xn},其中,n為語料庫容量.對于語料庫中第i個文本輸入xi,本文的模型最終輸出該文本的包含極性-強度-可控性情緒分數的三元組yi=(Vi,Ai,Di),其中,xi為由第i個文本中詞語的詞向量序列組成的詞向量矩陣,Vi、Ai、Di分別對應文本xi包含的極性(valence)分數、強度(arousal)分數、可控性(dominance)分數.最后,記整個語料庫X對應的輸出為Y={y1,y2,…,yn}.

關于詞向量的訓練,本文在EMOBANK語料庫上使用Skip-gram算法[43]預先訓練詞向量查找表E∈?d|V|,其中,d為詞向量的維度,V為EMOBANK包含的單詞的集合.對于第i個文本,文本中的每個單詞通過查表的方式轉換為詞向量:

其中,ei為第i個詞對應的詞向量,wi為第i個詞的單熱點表示.此時可得到詞向量矩陣xi=[e1,e2,…,ek]T,其中,k為每個文本的固定序列長度.對于長度小于k的文本,本文采用隨機正態初始化的方法構建不足部分的詞向量添加于序列首部;對于長度大于k的文本,本文從序列尾部開始截斷超出的部分.k作為模型的超參,其具體設置將在實驗部分另作介紹.

2.2 對抗式神經網絡模型框架

本文實現了一種對抗式神經網絡模型,用于實現 3個維度之間的兩兩對抗學習.以極性和強度兩個維度間的對抗為例,模型的框架圖如圖1所示.

模型由 3部分組成:特征抽取器(ExtV、ExtA)、回歸器(RV、RA)、判別器(D).特征抽取器用于抽取文本中針對不同維度的特征向量.抽取的特征向量被輸入到相應的回歸器中以對情緒維度進行打分.為了抽取具有維度特定性且泛化性更好的特征,兩個維度的特征抽取器之間通過判別器進行對抗式學習.判別器用于判斷抽取的特征屬于何種維度.特征抽取器不僅通過常規的有監督訓練來學習抽取具有維度特性的特征,還通過欺騙判別器來學習抽取泛化性更好的特征.

除圖 1所示的極性-強度對抗模型之外,本文還實現了極性-可控性、強度-可控性的對抗模型.其中包括輸出可控性特征FeatD的可控性回歸器ExtD、輸出可控性分數Di的可控性回歸器RD.判別器D的輸出Pi∈(-1,1)為輸入的特征屬于兩個維度中某一個的判別分數.本文在此分別定義了3個對抗模型中判別器D輸出的判別分數Pi如下.

1) 在極性-強度對抗模型中,若Pi越接近1,則代表輸入特征越可能是極性特征;反之,若Pi越接近-1,則代表輸入特征越可能是強度特征.

2) 在極性-可控性對抗模型中,若Pi越接近1,則代表輸入特征越可能是極性特征;反之,若Pi越接近-1,則代表輸入特征越可能是可控性特征.

3) 在強度-可控性對抗模型中,若Pi越接近1,則代表輸入特征越可能是強度特征;反之,若Pi越接近-1,則代表輸入特征越可能是可控性特征.

為方便起見,在本節剩下的內容中,若不作特殊說明,則均以極性-強度模型為例來解釋模型的詳細實現.

2.3 基于長短期記憶網絡的特征抽取器

自然語言處理領域中的許多研究表明,長短期記憶網絡(long short term memory,簡稱LSTM)能夠從文本中抽取富含信息量的特征[3,35,37].Hochreiter等人[44]提出的LSTM是循環神經網絡的一個變種模型.由于傳統的循環神經網絡在反向傳播梯度時存在梯度消失(gradient vanishment),因此,當輸入序列較長時,傳統循環神經網絡會丟失一部分靠前的序列中的信息.LSTM在循環神經網絡的基礎上引入LSTM單元(LSTM cell)來解決梯度消失的問題.LSTM單元由4部分組成:輸入門(input gate)i、輸出門(output gate)o、遺忘門(forget gate)f以及記憶單元(memory cell)c.給定詞向量矩陣xi=[e1,e2,…,ek]T,在t時刻LSTM單元的計算如下:

其中,et為t時刻LSTM單元的輸入,亦即輸入矩陣x中第t個行向量,ht為t時刻LSTM單元的輸出,σ表示sigmoid激活函數,⊙表示點乘運算符,W、U、V均表示 LSTM 單元的參數矩陣.輸入門控制每個記憶單元的更新信息.輸出門控制每個記憶單元的輸出信息.遺忘門控制每個記憶單元在時間t時刻丟棄的信息.c?t表示t時刻記憶單元的候選值.ct根據t-1時刻的記憶單元狀態ct-1和t時刻的候選值c?t計算得到.

作為模型的原始輸入,詞向量矩陣xi輸入LSTM之后,計算得到輸出序列H=[h1,h2,…,hk]T.由于最后一個時刻k的計算實際上取決于時刻1～k-1的輸出,因此,在過去的研究中大多選用hk作為LSTM所抽取的序列中的特征向量.為了從文本中獲取更加豐富的信息,本文另對輸出序列H進行平均池化(average pooling)操作.

平均池化后得到的輸出向量與hk進行拼接操作后通過tanh激活函數得到特征抽取器最終輸出的特征向量Feat為

圖2給出了特征抽取器的神經網絡結構.在極性-強度模型中,特征抽取器抽取詞向量矩陣xi中的極性特征與強度特征的計算流程定義如下:

2.4 回歸器

回歸器接收特征抽取器所抽取的輸入文本特征作為輸入,用于對輸入文本某個情緒維度的分數進行打分.本文所提出的對抗式模型并不限制回歸器部分的具體實現,因此,只要模型每個部分的梯度能夠在網絡中傳遞,回歸器既可以是基于傳統方法的回歸器,也可以是任何可微神經網絡模型構成的回歸器.本文為了突出對抗式學習在訓練特征抽取器上的優越性,僅使用簡單的單層全連接神經網絡層作為回歸器的實際實現方式.

其中,W表示全連接層的參數,b為偏置項,h為全連接層的隱層狀態,relu表示Relu激活函數.最終輸出為某個情緒維度的分數S.在極性-強度模型中,回歸器的計算流程定義如下:

2.5 判別器

判別器接收特征抽取器輸出的文本中的特征作為輸入,以判別抽取的特征是屬于哪個情緒維度的特征.判別器在對抗式學習算法中起著重要的作用,模型不同部分之間的對抗均通過判別器來進行.在判別器的實現上,本文參照了Arjovsky等人[40]在WGAN上的工作,使用兩個特征分布之間的Wasserstein距離來指示判別器的訓練程度.相比于原始GAN中使用JS散度作為判別器的損失函數,Wasserstein距離在兩個分布沒有重疊或重疊很小的時候也能夠度量兩個分布之間的距離,從而為判別器的訓練提供更加平滑的量度來衡量模型的訓練水平.在實際實現中,本文使用單層全連接層來近似擬合Wasserstein距離.

其中,W表示全連接層的參數,b為偏置項,h為全連接層的隱層狀態,tanh表示雙曲正切激活函數.最終輸出為判別結果P.在極性-強度模型中,判別器的計算流程定義如下:

2.6 對抗式學習算法與模型訓練

本文提出一種對抗式學習算法來訓練對抗式神經網絡.該算法首先通過最小化以下的回歸損失函數來訓練特征抽取器ExtV和ExtA、回歸器RV和RA.在具體實現上,本文采用均方誤差作為回歸的損失函數.

其中,FeatVi和FeatAi分別代表第i個樣本的極性特征和強度特征.最后,對抗式學習算法通過最小化以下判別誤差達到欺騙判別器的效果,從而再次訓練特征抽取器ExtV和ExtA.

算法 1給出了詳細的在一輪學習中使用對抗式學習訓練整個網絡的算法.模型在若干輪學習后收斂.其中,該算法在訓練判別器時將判別器的參數的絕對值進行了裁剪.根據Arjovsky等人[40]在WGAN上的工作,進行判別器的參數裁剪是為了使判別器這一可微網絡滿足 Lipschitz連續性(Lipschitz continuity)條件,從而能夠使用該網絡的輸出結果來近似擬合Wasserstein距離.t作為模型的可調超參,它的取值將在本文實驗部分給出.

算法1.對抗式學習算法.

(1) 從訓練集中順序選取N條訓練數據XN={x1,x2,…,xN}.

(2) 利用XN,根據訓練樣本所標注的兩個維度的情緒分數分別訓練特征抽取器ExtV和ExtA、回歸器RV和RA.更新ExtV、ExtA、RV、RA的參數.

(3) 利用XN,訓練判別器D.更新D的參數.ExtV、ExtA的參數保持不變.

(4) 將更新后D的參數的絕對值裁剪到一個不大于t的值.

(5) 利用XN,通過欺騙D再次訓練ExtV和ExtA.更新ExtV和ExtA的參數.D的參數保持不變.

(6) 重復(1)～(5),直至整個訓練集的樣本被取完.

3 實 驗

本節首先介紹所使用的情緒回歸語料庫 EMOBANK.之后給出實驗的設置,包括衡量情緒回歸性能的指標、模型中的超參設置.然后介紹實驗中所使用的基準系統,以與本文提出的方法進行對比實驗.本文使用的外部工具也在本節中相應部分給出.最后,給出詳細的實驗結果,包括具體的回歸性能與結果分析.

3.1 EMOBANK語料庫

本文使用 EMOBANK語料庫[4]來驗證我們所提出的基于對抗式神經網絡的多維度情緒回歸方法.該語料庫的數據源自兩個公開語料庫:SemEval07:task 14(http://nlp.cs.swarthmore.edu/semeval/tasks/task14/data.shtml)與MASC(http://www.anc.org/data/masc/corpus/)語料庫,人工標注了共6個領域的英文文本的10 325條讀者情緒和10 279條作者情緒,由多個標注者分別對文本的3個情緒維度:極性、強度、可控性進行讀者情緒和作者情緒打分,分數區間為[1.0,5.0].EMOBANK中的讀者情緒和作者情緒的文本數量并不相同,這說明語料庫在標注時有少量文本未作讀者情緒或作者情緒的標注.表1給出了EMOBANK包含的文本數量在各領域上的分布.由于本文不涉及跨領域情緒回歸的研究,而不同領域文本的相同情緒維度的特征分布存在一定的不同,因此本文僅在樣本數最多的兩個領域:新聞領域與小說領域上分別進行實驗.

Table 1 Genre distribution of EMOBANK corpus表1 EMOBANK語料各領域文本數量的分布

表2給出了EMOBANK語料庫的主要統計數據.從表中可以看出,無論是讀者情緒還是作者情緒,3個情緒維度的標注分數平均值都在3.00上下.而情緒分數的標準差較低,樣本的情緒分數大多落于區間[2.3,3.7]上.

Table 2 Statistics of EMOBANK corpus表2 EMOBANK語料庫的統計數據

EMOBANK中文本平均長度約為15個單詞,而文本長度的標準差較大.由于本文提出的神經網絡模型的輸入需要保證每個詞向量矩陣的行列相等,因此會預先將文本長度調整到等長.為了既不丟失絕大多數文本中的信息,也不在較短文本中加入過多的空白填充,本文在實驗中將文本長度k統一設置為37(均值+兩倍標準差).

除了文本長度與情緒分數的計量之外,本文還使用了配對雙樣本t檢驗來考察文本兩兩情緒維度分數之間是否存在顯著差異.從表 2中可以看出,除了極性與可控性兩個維度的讀者情緒之外,剩余兩兩組合之間的差異性均相當明顯.不同維度情緒分數間的明顯差異說明了在EMOBANK上的多維度的情緒回歸任務本身具有意義.

3.2 實驗設置

本文在EMOBANK的新聞與小說領域上分別進行讀者情緒與作者情緒回歸的5倍交叉驗證,并使用皮爾森相關系數(Pearson’s correlation coefficient,用r表示)與均方誤差(mean square error,簡稱MSE)作為評估指標.

若系統在測試集上的r越高,MSE越低,則說明系統性能越好.本文在評估各方法性能時優先考慮皮爾森相關系數r,而MSE作為輔助參考指標.此外,本文使用配對雙樣本t檢驗來檢驗本文方法與基準系統性能之間的差異是否顯著.實驗中各超參的設置在表 3中給出.本文使用 gensim工具包(https://radimrehurek.com/gensim/)的word2vec訓練詞向量查找表,使用skipgram算法在新聞和小說領域的語料上分別進行無監督訓練.

Table 3 Setting of hyper parameters during experimentation表3 實驗中超參的設置

3.3 基準系統

為充分證明我們提出的方法在 EMOBANK上進行多維度情緒回歸任務的優越性,本文進行了以下基準系統與所提方法的比較.

1) SVR(BOW):該基準系統使用了Smola等人[48]提出的基于支持向量機的回歸器(support vector regerssor,簡稱 SVR).SVR被廣泛地應用到自然語言處理的回歸任務中,并被認為是該領域的先進回歸系統之一[49].該系統使用文本的詞袋模型(bag-of-words)作為輸入特征.

2) SVR(TF-IDF):該系統與基準系統1)相同,使用SVR作為回歸器.與1)的不同之處在于,該系統以文本中單詞的TF-IDF度量作為輸入特征.

3) SVR(W2V):該系統與基準系統1)相同,使用 SVR作為回歸器.與1)的不同之處在于,該系統以文本中單詞的詞向量之和作為輸入特征.該系統所使用的詞向量查找表與本文提出的方法相同.

4) ANN:該系統由Bitvai等人[50]提出.其基本結構為使用多層并聯的卷積神經網絡抽取文本中的多個n元文法(n-gram)特征.該方法被應用于對電影評論的情感極性回歸任務中,亦被認為是自然語言處理領域中的先進回歸系統之一.本文所實現的該系統采用3層并聯卷積神經網絡,分別抽取文本中的一元文法(uni-gram)、二元文法(bi-gram)、三元文法(tri-gram)特征.抽取的 3種特征經過拼接后輸入到一層全連接層來進行回歸任務.該系統的輸入特征與本文提出的方法相同,為文本的詞向量矩陣.

5) LSTM:該系統為基于長短期記憶網絡的回歸器.與本文提出的方法相比,該系統僅使用圖 2所描述的模型抽取文本特征,再以抽取的文本特征作為輸入,使用第 2.4節所描述的回歸器進行文本回歸任務.該系統的輸入特征與本文提出的方法相同,為文本的詞向量矩陣.

6) C-LSTM:該系統由 Zhou等人[51]提出,為文本分類任務上的先進系統.本文通過修改模型最后一層的激活函數,將該方法應用到文本回歸的任務中.該方法組合了卷積神經網絡以及長短期記憶網絡,首先利用卷積神經網絡將句子轉換為短語級特征,再將短語級特征輸入到長短期記憶網絡中進行分類任務.該系統的輸入特征與本文提出的方法相同,為文本的詞向量矩陣.

此外,本文提出的對抗式神經網絡簡稱為AdvNN.

3.4 實驗性能對比與分析

表4給出了AdvNN與其他基準系統在新聞領域上的情緒回歸性能.由于本文實驗采用5倍交叉驗證,評估結果為每次驗證結果的平均值.此外,表5進一步給出了3種情緒維度兩兩組合:極性-強度、極性-可控性以及強度-可控性3個模型的詳細性能.以極性-強度模型為例,表中維度1表示前一維度——極性維度回歸性能,維度2表示后一維度——強度維度回歸性能.表4中AdvNN的每個維度的性能取自表5中各組合中皮爾森相關系數r最高的一項,例如讀者情緒的極性維度在極性-可控性模型中的回歸結果的r值較極性-強度模型中的r值更高,因此,表4中記錄該最優r值以及相應的MSE值.

Table 4 The performances of various approach on the News domain表4 各種方法在新聞領域上的情緒回歸性能

從表4可以看出:

1) 總體而言,在新聞領域上,所有方法取得的r值都較低.最高的r值為AdvNN在讀者極性情緒上取得的0.353.作為參考,EMOBANK全領域上標注者兩兩間標注結果的平均r值約為0.6[4].由此可見,EMOBANK上的多維度情緒回歸任務是一個較難的任務,不容易取得非常高的性能.注意到該領域上的作者強度情緒最高r值未超過0.1.造成這一結果的可能原因在于新聞領域文本的作者在撰寫相關文本時傾向于不代入較強的情緒.例如,例句3的作者強度情緒為3.25,為中等強度,而讀者強度情緒為4.00,為較高強度.例句3作為一條典型的報道負面消息的新聞文本,能夠激發起讀者較強的負面情緒.而作者在撰寫這條文本時為了保證新聞的客觀性,相比讀者不會代入強烈的情緒(盡管例句3的作者情緒極性也為負面).同樣,例句4作為一條報道正面消息的新聞文本,其讀者強度情緒為較高的 3.80,而作者強度情緒為中等的 3.40.例句 5說明在讀者強度情緒較弱情況(2.00)下,作者情緒依然趨于中等(2.80).可見,在新聞領域上,作者情緒傾向于為一個適中的強度.

2) 與傳統方法(SVR)相比,一般的基于神經網絡的回歸模型表現并無明顯優勢.其中,ANN在所有基準系統中的總體性能最差,各情緒維度的平均r值為0.163,低于其他基準系統.相比之下,SVR方法的平均r值在0.171上下,優于ANN,相比LSTM取得的平均r值0.174亦無太大劣勢.而C-LSTM取得了基準系統中最高的平均r值0.184,說明了文本分類任務中的先進系統在回歸任務上亦能取得較好的效果.

3) 在新聞領域上,無論是讀者情緒還是作者情緒,AdvNN的最高r值均超過了其他所有基準系統的r值.其中,在作者極性維度上的提升最多,較該維度上最強的基準系統 SVR(TF-IDF)提升了 0.027.AdvNN在作者強度維度回歸上的提升最小,較該維度上最強的基準系統SVR(BOW)僅有0.001的提升.此外,AdvNN在新聞領域的平均r值達到0.207,亦超過了平均r值最高的基準系統C-LSTM.從這一結果來看,同樣是在LSTM的基礎上實現的神經網絡模型,使用了對抗式學習的AdvNN相比融合了卷積神經網絡的C-LSTM在本文的任務上能夠進一步學習文本中的情緒維度特征,從而提高系統性能.

4) 除r值之外,AdvNN在 MSE評估指標下的表現也較為優秀.除讀者強度、作者極性和作者強度之外,AdvNN均取得了最低的MSE值.盡管在作者強度維度上的r值提升較低,AdvNN與SVR(BOW)相比MSE下降了0.008,但總體而言,在該維度上的性能卻存在一定的提升.AdvNN取得了平均0.102的MSE值,亦低于所有基準系統的平均MSE值.

例句3:Scam lures victims with free puppy offer.(騙局使用提供免費的小狗的方式來引誘受害者.)

例句4:Kidnapped AP photographer freed in Gaza.(被綁架的美聯社攝影師在加扎被釋放.)

例句5:I feel bad for Jorge he's a good friend of mine, Bengie said.(本吉說到:我為霍赫感到難過,他是我的好朋友.)

Table 5 Detailed performances of AdvNNs for three combinations of emotion dimensions on the News domain表5 新聞領域上3種情緒維度組合的對抗式神經網絡詳細性能

進一步分析表5,可以發現:

1) 除了強度-可控性模型中作者強度情緒的r值低于兩個基準系統之外,各維度組合整體結果相比基準系統均有一定的提升.其中,AdvNN在讀者強度情緒和作者極性情緒上的非最優r值亦超過最強基準系統至少0.019.

2) 除作者強度情緒外,其余情緒維度在不同組合下的平均r值亦超過相應維度的最強基準系統結果.盡管在大多數情緒維度上AdvNN的所有維度組合性能超過了最強基準系統,然而由于某些維度組合的r值提升幅度較小,如極性-強度模型的讀者情緒相比該維度最強基準系統 C-LSTM 僅有 0.002的r值提升.因此,盡管AdvNN在新聞領域上的各組合的最優性能均超過了最強基準系統,但在個別情況下的提升并不穩定.

3) AdvNN在作者強度情緒這一維度上的較低性能也進一步證明,由于新聞文本自身的特性,新聞作者在撰寫相關文本時為了維持新聞的相對客觀性,并不會產生明顯的情緒強度上的波動,因而難以在該維度上取得較好的回歸結果.

表6給出了AdvNN與其他基準系統在小說領域上的情緒回歸性能,具體結果亦為5倍交叉實驗的平均值.表7進一步給出了3種情緒維度兩兩組合的詳細性能.從表6中可以看出:

1) 與新聞領域相比,在小說領域上,所有方法取得的r值亦較低.而與新聞領域不同的是,小說領域的結果之中無很低(小于 0.1)的r值.造成這一結果的原因可能在于小說作者在撰寫文本時會代入一定程度的個人情緒.例如,例句6標注了負面的讀者情緒和作者情緒,而讀者強度情緒和作者強度情緒分別為4.20與4.20,均為較強的情緒.而例句7的讀者強度情緒和作者強度情緒分別為2.67與2.20,均為較弱的情緒.由此可見,小說領域上的作者情緒與新聞領域上的不同,是和讀者情緒一樣會產生較為明顯的強度波動.因此,實驗中所有系統相對來說在小說領域強度維度上的r值均高出新聞領域很多.此外,整體來看,所有系統取得的r值與新聞領域上一樣并不高,亦證明了EMOBANK語料上的多維度情緒回歸任務較難.

2) 不同于新聞領域,ANN在小說領域上的性能較好,其平均r值達到了 0.184,在基準系統中僅次于C-LSTM的0.190.LSTM在小說領域上的表現明顯差于其他基準系統,平均r值僅為0.160,尤其是在讀者極性維度和讀者強度維度上與其他基準系統相比有較大差距.而SVR在小說領域的性能依然穩定,3種特征輸入得到的結果平均r值均在0.170以上,最高為SVR(TF-IDF)取得的0.182,進一步證明了傳統的SVR在回歸任務中是不亞于一般的神經網絡模型的先進系統.

3) AdvNN在小說領域上亦取得了所有情緒維度下最高的r值,并且在讀者情緒與作者情緒的所有維度下較r值最高的基準系統有至少0.019的明顯提升.此外,AdvNN在小說領域的平均r值達到了0.219,亦超過了平均r值最高的基準系統C-LSTM.在小說領域上的結果進一步證明,AdvNN相比C-LSTM在本文的任務上能夠進一步提升基于LSTM的神經網絡回歸模型的性能.

4) 小說領域上,AdvNN在MSE評估指標下的表現也較為良好,并在作者極性維度和作者強度維度中取得了最低的MSE值.除了在讀者可控性維度中的MSE值高出MSE值最低的基準系統C-LSTM較多之外,在其他未取得最低 MSE值的情緒維度上相比該維度的最低值差距亦較小.然而與新聞領域不同的是,AdvNN在所有情緒維度下取得了0.124的平均MSE值,與SVR(TF-IDF)相同,略高于C-LSTM取得的0.122,總體而言并未取得最佳的MSE值.

Table 6 The performances of various approach on the Fictions domain表6 各種方法在小說領域上的情緒回歸性能

例句 6:She screamed I haven’t socialized with Terra’s elite for most of my life.(她尖叫到:我人生中大部分時間都沒能與地球的精英社交.)

例句7:The only other illumination came from a lurid moonlight filtered through thin branches and clouds casting its bone-pale glow onto the pine floorboards.(唯一的其他照明來自一縷透過稀薄的樹枝和云彩的月光,將其蒼白的光芒投射到松木地板上.)

進一步分析表7,可以發現:

1) 在小說領域上,AdvNN在所有維度上的非最優r值依然高于最強基準系統,并未出現新聞領域上AdvNN在個別維度的非最優r值低于基準系統的情況.其中,讀者極性情緒、讀者可控性情緒以及作者極性情緒上AdvNN的非最優r值相比最強基準系統都有至少0.018的提升.

2) 各情緒維度在不同模型中的平均r值亦均超過相應維度的最強基準系統結果,其中,AdvNN在作者極性情緒上取得的平均r值達到0.239,相比該維度上的最強基準系統SVR(TF-IDF)的提升達到非常顯著的0.030.

3) 通過上述結果可以看出,小說領域的文本由于領域的特性,其情緒分析的難度相對新聞領域較低.兩個領域上的結果對比說明了讀者在閱讀一段包含情緒的文本時并不受領域差異性的影響,對于情緒的表達會有較明顯的波動,使得情緒分析系統能夠較好地從文本中挖掘相關的特征來完成情緒回歸的任務.而作者情緒則會較明顯地受領域差異性的影響,尤其是作者強度情緒.小說領域的作者情緒強度不同于新聞領域,作者不需要保持情緒上的客觀性,因此小說領域的作者強度情緒和讀者強度情緒一樣,能夠比較容易地被情緒回歸系統識別.

Table 7 Detailed performances of AdvNNs for three combinations of emotion dimensions on the Fictions domain表7 小說領域上3種情緒維度組合的對抗式神經網絡詳細性能

3.5 顯著性測試

除了上述的情緒回歸實驗結果之外,我們進一步給出了本文所提方法的輸出結果與r值最優的基準系統輸出結果之間的配對雙樣本t檢驗結果.表8與表9分別給出了新聞與小說領域中各情緒維度上雙樣本t檢驗的p值.與實驗結果一樣,表8與表9中的p值亦為5倍交叉驗證每一組測試集上輸出結果之間顯著性測試的平均值.

Table 8 Results of dependent t-test for paired samples between AdvNN and strongest baselines for each emotion dimension in the News domain表8 新聞領域上AdvNN與各情緒維度下最強基準系統之間的配對雙樣本t檢驗結果

Table 9 Results of dependent t-test for paired samples between AdvNN and strongest baselines for each emotion dimension in the Fictions domain表9 小說領域上AdvNN與各情緒維度下最強基準系統之間的配對雙樣本t檢驗結果

從表8所示結果可以看出,在新聞領域中,除了作者強度維度之外,本文提出的AdvNN相比各情緒維度上最強的基準系統有顯著的性能提升(p<0.05).僅在作者強度維度上,AdvNN相比最強基準系統 SVR(BOW)的提升不明顯(p>0.05).而表 9的結果則表明,在小說領域中的所有情緒維度上,AdvNN相比各維度上的最強基準系統均有顯著的性能提升.顯著性測試的結果表明,本文提出的AdvNN相比其他基準系統不僅在r值評估指標下有明顯的數值上的提升,并且這一提升具有統計顯著性,從而進一步證明了AdvNN在EMOBANK語料中多維度情緒回歸任務上的優越性.

4 結論與未來工作

本文針對多維度情緒回歸這一任務提出了一種基于對抗式神經網絡的多維度情緒回歸方法.該方法包括了對抗式神經網絡和對抗式學習算法.對抗式神經網絡包括 3個部分:特征抽取器、回歸器以及判別器.以在一對情緒維度上進行對抗式學習的情緒回歸模型為例,首先,本文實現了兩個基于 LSTM 神經網絡模型的特征抽取器,以分別從輸入的文本詞向量矩陣中抽取與特定情緒維度相關的特征向量.其次,本文使用兩個基于全連接神經網絡的回歸器,以分別根據特征抽取器輸出的特征對特定情緒維度進行打分.最后,本文實現了一個基于全連接神經網絡的判別器,以判別特征抽取器抽取的特征屬于哪個情緒維度.該方法借助判別器,在兩個情緒維度的特征抽取器之間通過對抗式學習算法進行對抗式訓練,從而使兩個特征抽取器能夠從文本輸入中抽取泛化性更好的針對不同情緒維度的特征向量,繼而獲得更好的回歸性能.在EMOBANK語料的新聞和小說兩個領域上的實驗結果表明,無論是作者情緒回歸還是讀者情緒回歸,本文的方法在3個情緒維度上的r值均超過了所有的基準系統,其中包括了文本回歸領域中的先進系統 ANN.除了文本回歸先進系統之外,本文還將文本分類領域的先進系統 C-LSTM 進行修改后用于本文針對的多維度情緒回歸任務進行比較,而本文提出的方法依然在所有情緒維度上取得了更好的r值.除實驗結果之外,AdvNN與各情緒維度上最強的基準系統間的顯著性測試也表明,AdvNN取得的性能提升具有統計上的顯著性,進一步證明了AdvNN在EMOBANK新聞與小說領域上的多維度情緒回歸任務上的優越性.

然而,本文的方法目前僅為兩個維度之間的對抗,并且在一些維度下取得的提升并不明顯(例如新聞領域上的作者強度情緒維度).此外,一些情緒維度的對抗組合取得的性能提升也并不非常理想,甚至有個別組合在某個情緒維度下取得的r值相比部分基準系統有所下降.因此,我們未來的工作將首先集中于同時進行三維度之間的對抗.此外,我們還將改進對抗式學習框架與算法,例如引入共享參數的神經網絡層來進一步學習抽取不同維度間的公共特征,以期能夠在所有情緒維度對抗的組合上都取得穩定且明顯的提升.