語音與文本情感識別中憤怒與開心誤判分析

胡婷婷，沈凌潔，馮亞琴，王 蔚

(南京師范大學 教育科學學院機器學習與認知實驗室，江蘇 南京 210097)

1 概 述

情感在人類認知與交流過程中具有重大作用。情感識別是人工智能領域的重要研究方向。語音是情感識別的一項重要通道，然而，在使用語音通道信息進行情感識別時，容易出現一些情感難以區分的情況，尤其是憤怒與開心之間難以區分的問題[1]。在使用文本通道信息進行情感識別時，有不同效果。因此，研究不同通道信息中包含的情感識別能力具有重要研究意義。

語音情感識別已經取得了一定的研究成果，但是在語音情感識別中一直存在憤怒與開心之間難以區分的問題。M Grimm和K Kroschel基于德語VAM數據集，采用單通道的聲學特征進行情感識別，使用KNN(K-nearest-neighbors classification)方式對四類情感進行識別，在說話人無關實驗中發現，憤怒與開心之間容易誤判，中性和悲傷容易誤判，憤怒識別準確率最高，開心識別率最低[2]。在基于多分類器集成的語音情感識別研究中，使用Berlin情感語言數據庫中的語音數據，提取聲學特征進行情感識別，憤怒和開心之間容易誤判，悲傷識別準確率最高，開心識別準確率最低[3]。在基于決策樹的多特征語音情感識別中，采用多種語音特征進行情感識別，對憤怒與開心容易誤判，且對憤怒與害怕也易誤判[4]。基于神經網絡的語音情感識別研究發現，憤怒和悲傷是四種語音情感中最容易識別的兩種表達方式，憤怒與開心之間容易誤判[5]。在使用二次特征選擇及核融合的語音情感識別中，對于憤怒與開心容易誤判[6]。基于遺傳小波神經網絡的語音情感識別中，憤怒與開心也容易產生誤判[7]。分析發現，憤怒與開心誤判的問題在語音情感識別中廣泛存在。

文本通道包含不同情感識別信息。ZJ Chuang采用中文戲劇節目中的男女對話，將對話語音轉錄為文本，通過單通道的文本信息提取特征進行情感識別，憤怒識別準確率最高，開心次之，悲傷識別率最低[8]。之后ZJ Chuang采用了聲學與文本兩個通道的特征進行情感識別，采用SVM模型訓練，文本通道情感識別中，憤怒識別準確率最高，悲傷識別準確率最低[9]。在基于語音信號與文本信息的雙模態情感識別研究中[10]，文本通道對四類情感識別準確率大致相當，但生氣與高興相對偏高。分析發現，文本通道信息對于情感識別也具有重要影響。

為了解決語音信息容易將憤怒與開心誤判的問題，文中將文本通道信息加入情感識別中，以求能改善誤判情況。通過采用IEMOCAP與SAVEE數據集中的語音數據提取聲學特征，使用CNN(convolutional neural network)與SVM(support vector machine)分類器分別訓練情感識別模型，對中性、憤怒、開心、悲傷四類情感進行識別，驗證聲學特征對于憤怒與開心的誤判情況，并對聲學特征對于其他情感的識別情況進行分析。然后，使用兩個數據集中的文本數據提取文本特征，訓練分類器，分析文本特征對于憤怒與開心的誤判情況，并對其他情感識別情況進行分析。對兩通道信息對情感識別的不同影響進行分析。最后，使用兩通道融合特征訓練分類模型，通過分析憤怒與開心誤判的情況，判斷文本通道特征是否具有彌補此問題的作用。并對兩通道信息包含的對情感識別不同能力進行比較。

2 方 法

2.1 特征提取與選擇

聲學特征是語音情感識別中最常用的一類特征，包括音高、音強等韻律特征，頻譜特征以及聲音質量特征。聲學特征采用開源軟件openSMILE進行幀水平的低層次基礎聲學特征的提取，應用全局統計函數得到全局特征[11]，參考了Interspeech 2010年泛語言學挑戰賽(Paralinguistic Challenge)中廣泛使用的特征提取配置文件。包含38個低層次聲學特征,如音高、梅爾倒譜系數等，在這些低層特征上應用如最大值、最小值、均值、均方差等21個全局統計函數。如表1所示，得到共1 582維聲學特征[12]。

表1 低層次聲學特征(LLDs)及統計函數

文本特征常用的有基于情感詞典稀疏特征，基于機器學習n-gram特征以及深度學習的詞向量等文本特征。文中采用基于情感詞典的文本特征，采用詞袋方式對樣本進行處理[13]，對四種情感分別進行詞頻統計后，提取出四百個情感詞，去除重復詞，得到955個詞作為詞典，以每個詞在每個樣本中出現與否作為該樣本特征，出現為1，不出現為0。在IEMOCAP數據集中得到共955維文本特征。在SAVEE數據集中，提取159維文本特征。

2.2 分類器

支持向量機與卷積神經網絡分類器在情感識別中應用廣泛并取得了良好效果[14-15]。為了驗證聲學特征對憤怒與開心識別結果產生的影響，消除分類器對識別結果可能會產生的影響，文中實驗分別采用SVM和CNN建立情感識別模型。對于支持向量機，使用Linear SVC，損失函數使用“squared_hinge”，損失函數的懲罰項使用“L2”正則化函數，停止標準為0.000 1,誤差項的懲罰因子C設為1。卷積神經網絡模型使用兩個卷積層加上一個全連接層，經過softmax激活層后得到四類預測結果。使用“Adam”優化器，損失函數使用交叉熵。每十個樣本計算一次梯度下降，更新一次權重。對于模型中具體參數設置，第一層使用一維的卷積層，卷積核數目采用32個，第二層卷積層采用64個卷積核，卷積核的窗長度為10，卷積步長為1，補零策略采用“same”，保留邊界處的卷積結果。激活函數使用“ReLu”，為防止過擬合，在訓練過程中每次更新參數時按0.2的概率隨機斷開輸入神經元。池化層采用最大值池化方式，池化窗口大小設為2，下采樣因子設為2，補零策略采用“same”，保留邊界處的卷積結果。對所有訓練樣本循環20輪。

2.3 混淆矩陣

混淆矩陣是人工智能中重要的可視化工具。文中采用混淆矩陣方式分析憤怒與開心以及其他各類情感之間的誤判情況[16]。對四類情感進行分析，橫向每行表示真實結果，縱向每列表示預測結果。每一行四類值的和為一，表示所有樣本數標準化后的值。從左上到右下的對角線上的值為預測正確的值，其余為誤分值。混淆矩陣能詳細表示出四類情感之間的誤判情況，從而分析語音與文本兩通道特征對于憤怒與開心的誤判情況的差別。

3 實 驗

3.1 數據集

采用由美國南加州大學SAIL實驗室收集的IEMOCAP多模態數據集，以及Philip Jackson和Sanaul Haq等收集制作的SAVEE數據集作為實驗數據。為了排除單個數據集可能對結果產生的影響，采用兩個數據集驗證研究結論。之前的情感識別研究中，研究者們盡量避免在不同數據集上比較多通道特征的識別表現，由于不同數據集錄制方式不同，環境不同，說話人不同，表達語言不同等因素，會得到不一致的結論。因此，試圖去比較不同數據集的情感識別結果，從而發現一般性的結論是一項具有挑戰性的工作。本研究做出嘗試，使用兩個數據集的數據進行情感識別，分析情感識別中的普遍現象。

IEMOCAP(interactive emotional dyadic motion capture database)公用英文數據集由五男五女在錄音室進行錄制，數據集包含語音數據與文本數據，以及運動姿勢數據。每個句子對應一個標簽，每個樣本情感在離散方式上標注為憤怒、悲傷、開心、厭惡、恐懼、驚訝、沮喪、激動、中性等九類情感。在維度上，在效價度(valence)、激活度(activation)、優勢度(dominance)三個維度上進行標注[17]。由于激動和開心在之前研究中，在情感聚類識別時表現相似，區分不明顯，因此將其處理為一類情感，合并為開心[18]。最終本研究參考一種常用情感識別方式，選取中性、憤怒、開心、悲傷四類情感，共5 531個樣本。

SAVEE(surrey audio-visual expressed emotion)數據集，收集用于自動情感識別，數據集由四個演員，分別表演七種不同的情感，在視聽的多媒體錄音室中收集，包含語音與視頻以及對應的文本數據，共有480個英文句子。本研究選取四類情感，共包含300個樣本。

3.2 基于聲學特征的情感識別

分別使用在IEMOCAP與SAVEE數據集中提取的聲學特征訓練分類器模型，圖1表示聲學特征對情感識別的結果。通過分析可以發現，與之前研究[2-3,5]取得了類似的結論，對于憤怒與開心之間誤判效果較明顯；同時還發現，中性與開心，中性與悲傷通過聲學通道也容易產生誤判；中性與憤怒，憤怒與悲傷通過聲音得到有效區分。

圖1 聲學特征情感識別混淆矩陣

3.3 基于文本特征的情感識別

分別使用IEMOCAP與SAVEE數據集中提取的文本特征訓練分類器模型，圖2表示文本特征對情感識別的結果。之前文本通道對情感識別的研究中[7-8],對于憤怒和開心識別準確率較高。而本研究中對憤怒識別率偏低，但是對于憤怒與開心具有良好的區分效果；同時發現文本通道特征容易將其余情感誤判為中性情感；文本中的憤怒、開心、悲傷三類情感之間互相區分效果優于語音的區分效果。

圖2 文本特征情感識別混淆矩陣

3.4 基于聲學與文本融合特征的情感識別

通過分析發現，文本通道特征對于憤怒與開心區分良好，因此文中通過將文本特征與聲學特征相融合，旨在改善憤怒與開心的誤判情況。在IEMOCAP中，將聲學特征與文本特征前期融合為2 537維特征，進行情感識別。在SAVEE數據集中，聲學特征與文本特征融合為1 741維特征，由于樣本數與特征數限制，雖然不明顯但也取得了相似的結果。圖3展示了IEMOCAP數據集的聲學與文本融合特征，分別使用CNN與SVM分類器識別的結果。在圖1中，在IEMOCAP數據集，單通道聲學特征中使用CNN分類器，憤怒誤判為開心的占總憤怒樣本比例的0.18，開心誤判為憤怒占總開心樣本的0.14。在加入對憤怒與開心區分良好的文本通道特征后，如圖3所示，憤怒誤判為開心占憤怒樣本的0.12，開心誤判為憤怒的占開心樣本的0.09。可見在聲學通道特征中加入文本通道特征后，對于憤怒與開心的誤判情況相比于單聲學通道得到明顯改善。

圖3 聲學加文本特征情感識別混淆矩陣

采用混淆矩陣方式，驗證了語音對于憤怒與開心誤判效果，通過加入文本特征，改善了憤怒與悲傷的誤判效果。通過對識別結果的進一步分析，比較聲學通道特征與文本通道特征在情感識別中的不同影響。

圖4和圖5分別展示了基于CNN和SVM分類器在兩個數據集上的表現。

圖4 聲學特征情感識別

圖5 文本特征情感識別

使用SVM建立的情感識別模型，對兩個數據集中的兩通道特征進行情感識別對比，可見CNN與SVM對于四類情感識別總體趨勢類似。由圖4可見，聲學通道特征對憤怒與悲傷兩種情感的識別準確率較高，對中性與開心識別準確率較低。由圖5可見，文本通道特征對憤怒與悲傷兩種情感的識別準確率較低，對中性與開心識別準確率較高。可見文本與聲音中包含對情感識別具有不同作用的信息。

由圖6可以看出，兩通道特征融合后的特征模型相比于單通道聲學模型與單通道文本模型，對于各情感分類效果均有所提升。可見聲學特征與文本特征融合后沒有互相干擾，且對于情感識別產生了互補作用。

圖6 聲學加文本特征CNN分類器情感識別

4 結束語

在語音情感識別中，憤怒與開心誤判的情況普遍存在，文中加入文本信息以改善此情形。并對聲音與文本中包含的情感識別能力進行比較。實驗結果表明，憤怒與開心兩類情感通過聲學特征難以區分，容易出現誤判。通過加入文本通道特征，有效改善了憤怒與開心的誤判問題。同時通過分析發現，聲學通道特征與文本通道特征對于情感識別有著不同影響。聲學特征在情感識別時，對憤怒與悲傷的識別率較高，對中性與開心識別率較低；文本通道特征對于憤怒與悲傷的識別率較低，對中性與開心識別率較高，與聲學特征呈現互補的情感識別效果；通過將兩通道特征融合后，兩通道信息互相影響，提高了各類情感的識別準確率。