基于深度學習的目標人物情緒預測①

劉 勇,王 振

(青島科技大學 信息科學與技術學院,青島 266100)

恐懼、焦慮、內疚、壓抑、憤怒、沮喪······每個人的身體里,都有一張關于情緒的地圖.研究指出,70%以上的人會不同程度的遭受到情緒對身體器官的“攻擊”,如“癌癥”的產生與長時間的怨恨情緒有關[1],經常受到批評的人容易患關節炎[2]等.據統計,目前與情緒有關的病已達到200 多種,在所有患病人群中,70%以上都和情緒有關.因此,我們可以通過跟蹤目標人物的情緒變化,及時的將結果反饋給相關專家進行分析,在分析值到達某臨界狀態時,進行預警處理.故通過分析情緒波動狀況來及時發現、處理情緒變化的影響,可以更好的輔助疾病預防工作.

目前,越來越多的人喜歡通過微信、QQ 等實時在線工具進行溝通交流.為更好的發現和關注目標人物的情緒波動狀況,我們結合深度學習相關技術,研究了基于深度學習對目標人物情緒預測.

針對情感預測方面的研究已受到國內外學者的廣泛關注.從Hearst 等[3]開始表示情感傾向分析預測在文本處理中的重要意義.此后Brown 等[4]發現情緒指標與投資者的關系.在最近幾年,Pagolu 等[5]使用Word2Vec對情緒進行了預測分析,將情感預測的準確率提升到一個新層次.李瀟瀟等[6]依據DHS 模型對情感的影響及走勢建立了模型.朱小微[7]通過使用TS-BP 模型,實現了對中文影評情感傾向的研究.

以往關于情感傾向預測研究中大部分使用統計和機器學習的方法,而統計方法會帶來準確率低等問題.使用機器學習的方式可以帶來準確率的提高,但其分類效果僅停留在二分類方面.深度學習的出現解決了這兩種方法的局限性,在提高準確率的同時,保證分類結果不再局限于兩類

本文提出了一種基于深度學習的目標人物的情緒預測模型.首先調用BERT 預訓練集,訓練好情感識別模型,然后調用情緒定量算法,判定一個人的情感常態,最后將模型與定量算法結合對目標人物的情感進行預測.

1 情緒預測概述

在情緒預測算法中,最重要的是情緒定量相關的算法.只有將情緒進行量化處理,才能進行數值的預測與分析.因此,在情緒預測前必然要邁過的一道門檻兒就是情緒定量問題.在目前情緒定量的算法中,人們更多的是通過特征詞對情緒進行定量.Hu 等[8]利用規則提取出高詞頻的名詞和名詞性短語作為高頻屬性,但該方法的問題是屬性詞過于分散,且沒有進行歸類篩選,從而導致實驗的準確度較低.周清清等[9]利用高頻名詞構建候選屬性詞,通過深度學習來構建候選屬性詞向量,根據屬性詞向量完成候選屬性詞聚類,得到目標候選屬性詞集.這種方法可以更全面發現評論對象細粒度屬性,但在噪音過濾方面仍需加強,并且對于冷門屬性的效果較差.此外,也有好多的實驗更偏向于心理學和理學方面,而沒有站在計算機角度去分析研究.在未來的發展中,只有不同學科領域進行交叉融合,才能更好的應用于現實生活.因此,本文提出了一種基于數據集的定量方法,通過研究目標人物的日常整體對話,來對其整體情緒進行定量.

目前,在情緒預測方面有很多的學者都以網絡文本來做相關研究,但最終更多的是應用在經濟領域上.Oliveeira 等[10]使用從微博中提取的情感和注意力指標(采用大型Twitter 數據集)以及調查指數來預測股市的行為.Si 等[11]提出一種基于Twitter 情感主題的技術來預測股票市場.Ding 等[12]發現Facebook 的“like”數量會影響票房表現.張帥等[13]通過識別分析投資者的情緒來預測研究市場的成交量.

本文提出情緒定量和擬合算法,結合情緒定量化與算法進行預測.首先通過訓練改進對話識別模型,執行參數傳遞來啟動情感預測算法.通過情緒預測的定量算法確定用戶的情緒程度系數,用BERT 神經網絡進行情緒分類.將得到的分類情緒與程度系數相結合,得到一天的整體情緒,放到情緒擬合算法中,預測目標人物第二天的情緒.具體架構如圖1所示.其中,數據集有兩大作用,一是通過定量算法的調用確定情緒程度系數,二是為神經網絡的訓練提供訓練集.

圖1 情緒預測算法架構

2 情緒定量和擬合算法

在情感定量和擬合算法中,數據集是其基礎的數據.因此算法中為了使識別到的情緒更加準確,添加了多種標簽.分別為氣憤,厭煩,中立,開心,興奮5 種情緒標簽,并分別使用1,2,3,4,5 來進行代替.同時,我們也對數據集加上了具體的時間特征,來為最終結果的定量分析與時間引用提供幫助.

2.1 情緒定量算法

目標人物在某個具體時間的情緒很好判斷,但是其一天內的情緒卻無法判斷,因此在本節提出一種情緒定量算法來判斷一天內的主流情緒.

由于每個人的情緒狀況也不是均衡分布的,比如有的人生性易怒,有的人天生和善.情緒定量算法應用了歸一化算法Z-score 標準化(0-1 標準化方法).將每個人的脾氣進行分類,根據數據集給每種情緒來確定其情緒程度系數進行定量.具體公式如下:

其中,x表示5 種情緒中一種情緒的標簽待定數值,μ表示所有數據集平均值,σ表示所有數據集的標準差也稱為標準偏差.

σ標準差公式如下:

其中,N為數據集的數量大小,xi是 數據集中第i個數據的情緒待定值.

除去8 小時晚上休息的時間,我們按照一天的16 個小時對識別結果進行處理.根據數據集的標注,將其中1 代表生氣,2 代表厭煩,3 代表中立,4 代表開心,5 代表興奮,通過如下公式進行處理,對一天內所代表的情緒進行總結:

其中,E代表一天內的主流情緒,α,β,χ,δ,ε分別代表生氣,厭煩,中立,開心的情緒程度系數[14],是由式(1)所求出的 |X*|,N代表的是識別到的一天內情緒個數,最終得到的E值就代表了該目標人物某一天的主流情緒.

2.2 情緒擬合算法

為解決根據已知數值來預測未來數值的難題,我們將數學領域中的最小二乘法公式與情緒識別領域相結合,提出了一種新的情緒擬合算法.在識別出情緒,完成定量后,下一步需要對未來的情緒進行預測,情緒擬合算法使用最小二乘法的思想來對已知結果進行擬合曲線,來預測未來可能產生的情緒.

最小二乘法(又稱最小平方法)是一種數學優化技術.該技術通過最小化誤差的平方和來尋找數據的最佳函數匹配.利用最小二乘法可以簡便地求得未知的數據,并使得這些求得的數據與實際數據之間誤差的平方和為最小.下面我們以一元的公式為例,最小二乘法公式推導如下:

給定如下成對的數據{(x1,y1),(x2,y2),···,(xm,ym)},設待擬合的公式為:

誤差結果為:

當擬合直線的誤差最小時,直線參數a0,a1滿足:

即:

整理上式結果可得:

求解方程組可得:

最終將得到的a0,a1帶入式(1)中,得到0 最終求解,然后再使用y=a0+a1x公式,結合后面BERT 做好的情緒分類與定量算法相結合所得到的數值,去預測目標人物情緒的變化.

3 目標情緒識別

目標情緒識別是將目標人物的情緒識別出來,并且進行定量分析和對目標人物的情緒進行匯總,再進行預測.

如圖2所示,首先對數據集進行預處理,然后對數據集中的語句進行分詞處理,處理完畢將其放到BERT[15]的預訓練模型中轉換成向量后,再將其放入到BERT神經網絡中對其進行訓練,之后利用訓練好的模型對目標人物的簡單對話進行識別,對識別的情緒進行匯總預測與分析,得到最終結果.

圖2 系統總體架構

BERT 作為Transformer 結構的網絡一經推出,便刷新了很多NLP 任務的最好性能,其結構如圖3所示.在SQuADv1.1 上將BERT 與其他先進的NLP 系統進行了對比,獲得了93.2%的F1 分數(一種準確度的衡量指標),超過了之前最高水準分數91.6%合人類分數91.2%.并且BERT 具有廣泛的通用性,可以很簡單的移植到情感分類方面.

BERT 作為Transform 特征抽取器,與傳統的循環神經網絡相比,可以獲取更長的上下文信息.同時,傳統的LSTM 模型只學習到了單向的信息,而BERT 改進了常見的語言雙向模型,轉而使用上下文融合語言模型.其不同于Word2Vec 需要對輸入模型的所有詞序列進行預測,BERT 語言模型不再是簡單地將從左到右和從右到左的句子編碼簡單拼接起來,而是隨機遮擋部分字符,訓練中損失函數只計算被遮擋的token[16],避免了上下文中對當前詞類的影響,在真正意義上實現雙向.

圖3 BERT 預訓練語言模型

預訓練是BERT 的重要部分,但預訓練需要巨大的運算資源.按照論文里描述的參數,其Base 的設定在消費級的顯卡Titan x 或Titan 1080ti (12 GB RAM)上,甚至需要近幾個月的時間進行預訓練,同時還會面臨顯存不足的問題.

谷歌公布的預訓練集為兩部分,分別為Base 版本和Large 版本,Base 版本大小在400 MB 左右,Large版本大小在1.2 GB 左右.谷歌針對大部分的語言都公布了BERT 的預訓練模型,滿足了各國研究者的需求.因此可以更方便地在自己的數據集上進行微調.

4 實驗及其結果

4.1 數據集

本文使用的數據集為subtitle 電視劇對話數據集,經過整理篩選出17 500 句日常的簡單對話,對其進行校準標注.其含有包含 5 種情感,其中喜悅、興奮、憤怒、生氣各有3300 條,平常的感情狀態有4300 條.數據結構如圖4所示.對話數據集包含3 部分:時間,內容和情緒標簽.我們可以根據時間去推算情緒隨著時間的變化,根據內容和情感標簽,去訓練神經網絡,以及情感系數的確定.

4.2 數據集處理

在進行訓練時,BERT 開始前會給每個輸入文本開頭和結尾分別加上[CLS]和[SEP].在中文BERT 模型中,中文分詞是基于字而非詞的分詞.BERT 會為標識真實字符/補全字符標識符,其中真實文本的每個字對應1,補全符號對應0,[CLS]和[SEP]也為1.轉換完成后的特征值就可以作為輸入,用于模型的訓練和測試.

完成讀取數據、特征轉換之后,將特征送入模型進行訓練,訓練算法為BERT 專用的Adam 算法,其中的訓練集、測試集、驗證集比例為3:1:1.

圖4 對話數據集

在保存訓練集時回保存為TFRecord 類型的文件減小,程序運行時零散的數據集對其的影響.我們進行訓練調用,與驗證時同樣直接調用TFRecord 文件.

4.3 實驗環境及參數設置

實驗中涉及神經網絡參數的設置,具體設置如表1所示.使用谷歌開放的中文預訓練模型參與訓練,Base版本Chinese_L-12_H-768_A-12,使用的訓練機器為雙顯卡1080ti,顯存為12 GB.使用的編程語言為Python,使用到的主要庫為Tensorflow1.9.0.

表1 模型參數設置

4.4 實驗結果與分析

為了驗證本文提出的基于深度學習在情感預測上面的有效性,分別使用過BERT 和正在廣泛應用Bi-LSTM,LSTM 進行對比.實驗中沒有使用SVM 等機器學習方法是由于機器學習方法僅能做到兩分類狀況,無法做到多分類.

圖5為不同深度模型中運行結果的對比圖,在第一行中分別使LSTM,Bi-LSTM,BERT 對同一天的數據對其預測的結果圖,其中橫軸為時間縱軸為情緒,其中每一個點為經過訓練模型識別得到結果.從圖中可以看出,主要為早上8 點到晚上24 點之間的情緒變化.第二行為同一數據對半個月內的情緒變化,其中虛線為對情緒變化的擬合.可以看出LSTM 對下一步的情感預測將是往平淡方向發展,而Bi-LSTM 和BERT 的趨勢將是往興奮方面發展.

圖5 運行結果對比

得益于BERT 在特征提取方面的優勢和雙向性的結合他的F1 值高于LSTM 和BI-LSTM,足以展現其在深度學習當中的優勢.

在用BERT 進行訓練時,其驗證集的準確率可以達到90%,其中驗證集的誤差是0.3.其中結合情感定量算法所得到的情感系數從生氣到興奮之間的系數分別為0.89、1.27、0.89、1.74、0.89.從系數可以看出,其偏向于樂觀的性格.虛線表示為經過情緒量化算法后得到的結果,藍色曲線的變化為目標人物從9.17 到10.3 這段時間內的情緒變化,虛線為擬合算法擬合出來的預測曲線最高次冪為10 次,其結果如表2所示.

表2 實驗結果

再將x值相當于日期輸入到公式中即可預測其目標人物的未來情緒狀況.

實驗結果如圖6所示,隨著預測需要預測時間的增加,其準確率也在不斷地變化,從第2 天的90%準確率逐步降低,當預測到第10 天時,準確率下降速率最快,但是隨著時間的推移預測的準確率也在不斷的降低,最終的結果在20%上下浮動.

5 總結與展望

本文主要使用基于深度學習的方法進行情感預測,使用BERT 來訓練情感識別模型,然后通過情緒定量算法,判定一個人的情感常態.最后將模型與定量算法相結合有效預測目標人物的情感走向變化.

本文提出的情感預測模型有廣闊的發展應用前景.在醫學領域,可以通過對目標人物的情緒變化信息進行收集,為目標人物的疾病進行預警.在市場經濟領域,也可以利用情感預測模型大體判斷出目標投資人的意愿走向.

為進一步提高精確度,可以增加數據集內容.在后續工作中,可以從細化,完善數據集中的標記規則進行著手,同時擴展語料的規模.單純使用實體權重相同的損失函數進行訓練效果并不是太理想,可以對各類設置加權損失函數,進一步提升情緒的識別效率.

圖6 準確率與時間推移的關系