基于BOOSTING框架的視覺語音多模態情感識別檢測方法

張芬

摘 要： 情感識別技術是智能人機交互的重要基礎，它涉及計算機科學、語言學、心理學等多個研究領域，是模式識別和圖像處理領域的研究熱點。鑒于此，基于Boosting框架提出兩種有效的視覺語音多模態融合情感識別方法：第一種方法將耦合HMM（coupled HMM）作為音頻流和視頻流的模型層融合技術，使用改進的期望最大化算法對其進行訓練，著重學習難于識別的（即含有更多信息的）樣本，并將AdaBoost框架應用于耦合HMM的訓練過程，從而得到AdaBoost?CHMM總體分類器；第二種方法構建了多層Boosted HMM（MBHMM）分類器，將臉部表情、肩部運動和語音三種模態的數據流分別應用于分類器的某一層，當前層的總體分類器在訓練時會聚焦于前一層總體分類器難于識別的樣本，充分利用各模態特征數據間的互補特性。實驗結果驗證了兩種方法的有效性。

關鍵詞： 情感識別； 表情識別； Boosting方法； 情感數據庫

中圖分類號： TN911.73?34； TM417 文獻標識碼： A 文章編號： 1004?373X（2017）23?0059?05

Abstract： As the important basis of intelligent human?computer interaction， the emotion recognition technology relates to the computer science， linguistics， psychology and other research fields， and is a research hotspot in pattern recognition and image processing fields. Based on the Boosting framework， two effective multi?modal emotion recognition methods fusing vision and speech are proposed. In the first method， the coupled hidden Markov model （HMM） is taken as the model?layer fusion technology of audio and video streams， and the improved expectation maximization algorithm is used to train it， and pay attention to the learning of the samples which are difficult to recognize emphatically； the AdaBoost framework is applied to the training process of HMM coupling to get the AdaBoost?CHMM general classifier. In the second method， the multi?layer Boosted HMM （MBHMM） classifier is constructed， and the data streams with the modals of facial expression， shoulder movement and speech are respectively applied to the classifier of a certain layer. The current layer′s overall classifier while training will focus on the sample which is difficultly recognized by the overall classifier in the former layer. The MBHMM classifier makes full use of the complementary characteristic of the feature data in each mode. The validity of the two methods was verified with experimental results.

Keywords： emotion recognition； facial expression recognition； Boosting method； emotion database

在人類交往中，除了通過自然語言傳遞信息外，還可以利用很多其他形體語言如臉部表情、身體動作來進行交流。人臉表情在人們日常生活的交往和溝通中扮演著重要的角色，為人的情感狀態、心理活動或意圖愿望等心智活動提供了重要的線索和信息。目前，各個領域的研究者們都十分關注如何從人臉表情信號和語音信號中自動識別出說話人的情感狀態及變化，并做出合理恰當的反應，最終達到建立和諧人機環境的目的。鑒于此，本文提出兩種基于AdaBoost框架的視覺語音多模態融合情感識別方法。

1 基于Boosted耦合HMM的雙通道情感識別

方法

1.1 耦合HMM及其EM訓練算法

隱馬爾可夫模型（HMM）可以有效地應用于多模態（通道）融合的識別技術中。在特征級融合方法中，可以將語音和視覺通道的特征相連接，組成一個觀察向量，然后經過特征降維，再將最終的觀察序列使用從左向右的HMM進行建模。在決策級融合方法中，首先對各個模態（通道）獨立計算類條件概率，然后再產生總體的條件概率。獨立HMM分別用兩個分量HMM來表示音頻和視頻序列，與多流HMM相比，可以更靈活地對兩個特征流的狀態異步性進行建模。多流HMM和獨立HMM作為決策級融合技術，都不能很好地處理音頻流和視頻流間的時域關聯。endprint

一個耦合HMM由多個分量HMM組合而成，不同分量HMM的隱節點間可以進行交互，同時各個分量HMM的隱節點具有獨立的觀察變量。在[t]時刻，某個分量HMM的隱節點狀態依賴于所有相關的分量HMM在[t]時刻的隱節點狀態。本節使用了連續型二分量耦合HMM，其中兩個分量HMM分別對語音通道和視覺通道的特征流建模，如圖1所示。

式中：[s∈audio，visual]表示某個通道（由分量HMM表示）。式（1）中，[πi]是耦合HMM的初始隱狀態概率分布，[πsis]是各分量HMM的初始隱狀態概率分布。[is]指某個分量HMM的隱狀態。式（2）中，[bti]是耦合HMM的觀察概率密度函數，[bstis]是某分量HMM中隱狀態[is]的觀察概率密度函數，其形式是混合高斯概率密度函數（如式（2）等號右側所示），其中，[Msi]表示在該分量HMM中，隱狀態[is]的觀察概率密度函數中高斯密度函數的混合數。[wsi，m，][μsi，m，][Usi，m]分別表示在該分量HMM中，隱狀態[is]的第[m]個高斯密度函數的混合權重、均值向量和對角協方差矩陣。[qst]和[Ost]分別表示某個分量HMM在[t]時刻的隱狀態取值和觀察向量。[λs]是某個分量HMM對應的指數。式（3）中，[aij]表示耦合HMM的狀態轉移概率，[asisj]表示從[t-1]時刻所有分量HMM的隱狀態集合[j]到[t]時刻某個分量HMM的隱狀態[is]的轉移概率。

1.2 改進的EM算法

為了配合AdaBoost框架的建立，本節對耦合HMM的EM訓練方法進行修改，使得訓練過程中加入對樣本權重信息的考慮，重點學習難于識別的樣本。假設耦合HMM的訓練樣本集中共有[R]個樣本，每個樣本的權重為[Wr，r=1，2，…，R]。在耦合HMM的EM訓練算法中，修改用于重估模型參數[wsi，m，][μsi，m，][Usi，m]和[asisj]的等式，將這4個等式右側的每一項[1Pr]都替換成[WrPr]。改進后的EM算法如算法1所示。

算法1：耦合HMM改進的EM訓練算法

1.3 情感識別實驗與性能對比

從WOZ表情語音情感數據庫1中取出5個實驗者（2男3女）的錄制數據進行實驗。這些實驗數據是由實驗者在引導式（Wizard of Oz）場景下朗讀帶有七種基本情感（高興、悲傷、憤怒、厭惡、恐懼、驚訝和中性）的句子。在基本情感類別的基礎上，實驗數據使用activation?evaluation空間粗分類方法進行了再次標注。隨機選擇4個人的情感數據作為訓練集合，將剩下那個人的情感數據作為測試集合，分別評估本節方法在兩種情感類別集合下的識別效果。整個識別過程是獨立于實驗者的，實驗中執行五重交叉驗證。

常規的耦合HMM可以對不同通道特征流的異步性進行建模，并捕獲它們之間的時域關聯，識別性能明顯優于單模態的識別技術。而基于Boosted耦合HMM的雙通道情感識別方法將耦合HMM作為分量分類器，基于改進的EM訓練算法對其進行訓練，從而在學習過程中偏重于難于識別的樣本；并應用AdaBoost框架整合多個“弱”分量分類器，進一步增強耦合HMM的性能，從而得到識別率高的總體分類器。

表1展示了同樣的實驗數據在activation?evaluation空間中進行類別劃分時，基于Boosted耦合HMM的雙通道情感識別方法和上述三種方法的識別性能比較結果。實驗結果表明，基于Boosted耦合HMM的雙通道情感識別方法仍然具有較高的識別率和魯棒性。

接下來，使用SEMAINE數據庫中的自然情感語音?視頻數據來測試基于Boosted耦合HMM的雙通道情感識別方法。從ID為2，3，7和16的四位實驗者的數據中提取出均勻分布的160個正面視頻?語音片段，其中既包含用戶角色，也包含操作員角色，每個片段被標注為屬于activation?evaluation情感空間的某一個象限。

由表2中的實驗結果可以看出，由于SEMAINE數據庫中的情感數據更接近于自然情感，其中的特征變化相比WOZ引導式情感數據庫更為細微，所以基于Boosted耦合HMM的雙通道情感識別方法在SEMAINE數據庫中的平均識別率（75.6%）要低于在WOZ情感數據庫1上的準確率，但也取得了令人滿意的結果，基于Boosted耦合HMM的雙通道情感識別方法具有更高的計算效率。

2 基于多層Boosted HMM的多模態情感識別

方法

2.1 多層Boosted HMM分類器的結構

對于待識別的每個情感類別，建立一個多層Boosted HMM（MBHMM）分類器。由于使用了三個模態的特征數據，所以MBHMM分類器共有三層，包括第1層總體分類器、第2層總體分類器和第3層總體分類器。每層總體分類器由從左向右的[kv]個連續型HMM分量分類器組合而成，其中[v]表示當前層使用的模態。在MBHMM分類器的每層中，基于AdaBoost算法框架對分量HMM分類器進行訓練，產生一個強總體分類器。由當前層的總體分類器計算得出的訓練樣本權重用作下一層中樣本的初始權重，第一層中令每個樣本的初始權重都相等。各層的總體分類器經過線性組合，得到高識別率的MBHMM分類器。

2.2 改進的Baum?Welch訓練算法

使用單一的特征流作為樣本數據來訓練連續型分量HMM分類器。三層總體分類器中每個分量HMM分類器的模型參數為[λ=N，A，wsi，m，μsi，m，Usi，m，π]，其中[N]表示模型的隱狀態數，[π]表示模型的初始隱狀態概率分布，[A]為狀態轉移概率矩陣，[A=aij，1≤i， j≤N]。模型的觀察概率密度函數為混合高斯密度函數：

Baum?Welch算法常被用來訓練HMM，從而得到模型參數的最大似然估計。對Baum?Welch算法進行修改，考慮訓練樣本的權重，并使訓練過程聚焦于那些難于識別的樣本。修改后的Baum?Welch算法如算法2所示。endprint

算法2：改進的Baum?Welch訓練算法

式中：[Pr]指樣本觀察序列[xr]在該HMM模型下的概率；[γj，it]是在時刻[t]隱狀態[j]到[i]的狀態轉換后驗概率；[ξi，mt]表示時刻[t]的觀察向量[Ot]在隱狀態[i]的第[m]個高斯密度函數下的概率。

可以證明，改進后的Baum?Welch訓練算法仍然是收斂的。改進的Baum?Welch算法使得迭代求解HMM分量分類器模型參數的過程中考慮到各樣本的權重，使得訓練著重于難于識別的樣本。

2.3 情感識別實驗與性能對比

從WOZ表情語音情感數據庫2中取出5個實驗者（2男3女）的錄制數據進行實驗。情感場景中，攝錄機從正面和側面同步錄下包含實驗者臉部表情及肩部運動數據的視頻和語音片段。場景腳本中，每一種情感有3個不同的句子，每個實驗者將每句話重復5遍。

其中[P]表示當前模態特征流的特征維數，對于語音模態，[P=14]；對于臉部表情模態，[P=14]；對于肩部運動模態，[P=10]。

對于高斯概率密度函數的均值向量[μi，m，]將訓練樣本當前模態的每個觀察序列分成[N]段，然后在每段內用K均值聚類算法產生高斯密度函數的均值向量[μi，m]的初值。

實驗結果如表3所示。表3展示了本節方法與以下五種方法的識別率對比：僅使用語音特征的HMM（其隱狀態數設為5）；僅使用臉部表情特征的HMM（其隱狀態數設為5）；僅使用肩部運動特征的HMM（其隱狀態數設為3）；常規3分量?耦合HMM（實驗中3個分量HMM分別對應語音、臉部表情和肩部運動模態，各分量HMM的隱狀態數取法和單特征HMM中的取法相同）；Boosted耦合HMM（耦合HMM的3個分量HMM分別對應語音、臉部表情和肩部運動模態，各分量HMM的隱狀態數取法和單特征HMM中的取法相同）。

從實驗結果可以看出，MBHMM分類器的識別性能在兩種情感類別集合下都要明顯高于單模態HMM和常規耦合HMM，同時也略高于Boosted耦合HMM。雖然不屬于模型層融合方法，但MBHMM分類器在訓練過程中充分利用了多模態信息之間的互補性，不但在使用某一模態的特征流進行訓練時著重于識別難度大的樣本，并且在使用某一特征流訓練當前層總體分類器時著重于前一特征流的總體分類器難于識別的樣本，所以取得了良好的識別效果。

接下來，使用SEMAINE數據庫中的自然情感語音?視頻數據來測試基于多層Boosted HMM的多模態情感識別方法，實驗數據的選取方式及實驗過程與基于Boosted耦合HMM的雙通道情感識別方法相同。分類的目標是將某個自然情感數據片段識別為隸屬于Activation?Evaluation空間中的某一象限。實驗中，MBHMM分類器的第1層總體分類器（對應語音模態）和第2層總體分類器（對應臉部表情模態）中的連續型HMM分量分類器的隱狀態數[N]設為7，第3層總體分類器（對應肩部運動模態）中的連續型HMM分量分類器的隱狀態數[N]設為4。表4展示了基于多層Boosted HMM的多模態情感識別方法在SEMAINE數據庫中的分類準確率。

由表4中數據可見，使用本節方法在SEMAINE自然情感數據庫中的平均識別率為79.4%，略高于基于Boosted耦合HMM的雙通道情感識別方法。

3 結 論

在Boosting方法的基礎上，本文提出兩種基于AdaBoost算法框架的多模態（通道）情感識別方法。第一種方法使用視覺和語音雙通道特征，采用改進的EM訓練算法，結合AdaBoost框架來增強分量耦合HMM（coupled HMM）的性能，使之在訓練過程中更著重于難于識別的樣本，得到AdaBoost?CHMM總體分類器。第二種方法稱為多層Boosted HMM（MBHMM）分類器，分別使用臉部表情、語音和肩部運動三個模態的特征之一作為MBHMM分類器每一層的輸入。改進的Baum?Welch學習算法在訓練分量HMM分類器時偏重于該模態特征難于識別的樣本，進而獲得該層的總體分類器。下一層總體分類器的訓練過程著重于前一層總體分類器識別困難的樣本，從而實現不同模態間的信息互補。在引導式表情語音情感數據庫以及SEMAINE自然情感數據庫上的實驗驗證了這兩種方法的有效性。

參考文獻

[1] 趙力，黃程韋.實用語音情感識別中的若干關鍵技術[J].數據采集與處理，2014，29（2）：157?170.

[2] 宋靜，張雪英，孫穎，等.基于模糊綜合評價法的情感語音數據庫的建立[J].現代電子技術，2016，39（13）：51?54.

[3] 韓文靜，李海峰，阮華斌，等.語音情感識別研究進展綜述[J].軟件學報，2014，25（1）：37?50.

[4] 蔣斌，賈克斌.一種用于表情識別的局部判別分量分析算法[J].電子學報，2014，42（1）：155?159.

[5] 郝俊壽，丁艷會.基于智能視覺的動態人臉跟蹤[J].現代電子技術，2015，38（24）：12?15.

[6] 吳迪，吳限，秦瀚.基于回歸函數的多角度人臉識別算法研究[J].聲學技術，2015，34（2）：172?175.

[7] 肖秦琨，錢春虎，高嵩.一種基于Boosting目標識別方法[J].電氣自動化，2013，35（5）：101?103.

[8] 閆靜杰，鄭文明，辛明海，等.表情和姿態的雙模態情感識別[J].中國圖象圖形學報，2013，18（9）：1101?1106.

[9] 王寶軍，薛雨麗，于適寧，等.多模情感數據庫的設計與評價[J].中國科技論文，2015（20）：2395?2398.

[10] 夏曉玲.集成語音信號與表面肌電信號的情感自動識別模型[J].激光雜志，2015，36（4）：131?134.endprint