基于表情特征描述與稀疏加權決策的情感識別

李艷秋，顏普，高翠云，徐荃

(安徽建筑大學 電子與信息工程學院，安徽 合肥 230601)

0 引言

隨著人機交互的深入開展，人們迫切希望計算機能夠帶有“感情”的與人類交流，以觀察和辨別情感作為人機交互的開始。人臉表情蘊藏著豐富的情感信息，是人類非語言交流的一種重要方式，計算機通過對人臉表情進行識別分析，可以理解人類的弦外之音，因此以人臉表情為代表的情感識別研究成為機器視覺和人機交互領域的重要組成部分，引起眾多學者的廣泛關注[1-3]。

目前表情識別尚存在的難點之一是情感標準的個人差，即對于同類情感，不同面部呈現出來的表情可能不盡相同。此外，在自然的情感交流過程中，常常伴隨著頭部旋轉或存在某種遮擋物(如墨鏡、口罩和圍巾等)，這些都給表情特征的有效提取帶來一定困難[4]。因此，如何設計對干擾更為魯棒的人臉表情識別算法已然成為計算機智能化應用領域丞待解決的難題。

Wright等人[5]通過模擬生物視覺響應機制，提出基于稀疏編碼的人臉識別方法，并通過實驗驗證稀疏表示方法對人臉部分遮擋的有效性，隨后，不少學者將其用在人臉表情識別上[6-9]。由于同一個體不同表情間的相似度在分類上可能會大于同種表情的不同個體，即表情特征對識別的影響要低于身份特征，造成稀疏表示方法用于非特定人的情感判別時，效果并不理想。M.Zhu等人[10]通過對圖像逐級分塊的形式構建具有冗余度的遮擋字典，通過稀疏分解得到待測圖像的稀疏表示系數，確定待測圖像的身份子空間，實現表情類別判斷，該方法不僅可以使稀疏解更稀疏，還降低了身份特征對表情識別的干擾。為產生更多有意義的稀疏解，Lee等人[11]基于訓練表情圖像集為每類表情生成一幅類內形變量圖像，并利用稀疏表示模型進行分類，雖然該方法抑制了由身份信息或光照導致的類內差異，提升了表情識別的準確性和魯棒性，但是其在對未知表情進行分類時，并沒有區分不同類別字典在表達待測人臉圖像時貢獻的差異，也沒有突出某些類別稀疏系數值在分類中的作用。為此，本文在原算法的基礎上，提出基于表情特征描述和稀疏加權決策的情感判別方法。首先基于訓練表情圖像集生成不同類別的表情特征字典，然后根據不同類別字典在表達待測目標時的稀疏性以及待測目標與類內形變量的相似度分配相應的權重，待測目標被建模為不同類別表情特征圖像在對應字典上的加權稀疏編碼累積，最終根據累積系數的最大值獲取情感分類結果。

1 相關知識與判別模型構建

1.1 類內形變量的產生和表情特征獲取

不失一般性，假定未知人臉圖像q∈Rρ，定義為包含C個表情類別的訓練人臉圖像集，其中，ρ和N分別表示每個人臉圖像的維數大小和訓練人臉圖像集的總個數，為第i類人臉圖像構造的訓練子集，i=1,2,n,C，ti,j∈ Rρ表示第i個表情類中第j個訓練人臉圖像。ni表示訓練子集Φi中

(2) 為了有效地節省運算時間，避免不同待測樣本q在每個訓練子集上均需完成最優化權值求解過程，Lee等人利用公式(2)來簡化求解過程:表示單位矩陣，λ表示正則化系數(文中設為10-4)。

(4) 在獲取C個類的類內形變量圖像1,2,n,C)后，待測樣本q在訓練子集Φi上的表情特征計算如下:

圖1給出含隨機遮擋的待測人臉圖像在不同表情類別上的類內形變量圖(上)和對應的表情特征圖(下)。從圖1可以看出，待測人臉圖像在悲傷這一類別上產生的形變量重構圖與原始圖像具有較高的相似度，使得表情特征重構圖灰度值整體接近于0。表情特征圖雖然不可避免地丟失一部分原始信息，但仍然能夠比較準確地重構出待測人臉圖像被遮擋區域形狀。

1.2 基于訓練集表情特征構建稀疏字典

首先從訓練集Φ中取出原始的人臉圖像Itr(1≤tr≤N)，并將訓練集中剩下的N-1幅人臉圖像組成一個新的集合，記為Φ′。接著分別求取人臉圖像Itr在Φ′不同類別上產生的類內形變量和表情特征。按照上述方法，依次求取訓練集Φ中所有人臉圖像的類內形變量和表情特征，最終按照類別組建表情特征字典，記為Di，這里i=1,2,n,C。

給定待測樣本q，首先求取其在訓練集Φ上，對應不同表情類別的類內形變量和表情特征按照公式(5)利用l1范數求出在表情特征字典Di上的稀疏系數x?i:

由式(5)可知，待測人臉圖像在不同類別表情特征構建的稀疏字典上均會得到一組稀疏系數，如圖2所示(橫坐標表示訓練樣本個數，縱坐標表示稀疏系數值)。從整體上觀測各組系數值，對于不同類別字典，待測人臉圖像在其真實所屬類別上得到的稀疏系數值要高于其他類別(見框內值)。在稀疏表示分類中，一般認為若未知圖像屬于某一類，那么未知圖像就可以由該類樣本進行線性組合來表達。因此，在每個表情特征字典上，如果等同看待各個類別稀疏系數在分類中的重要性，很有可能會摻入不利于分類的噪聲信息，導致分類錯誤。

為了區分不同類別字典在分類中的貢獻，增強某些類別稀疏系數在判別中的作用，本文分別從各個表情特征字典所得稀疏系數的稀疏性以及原始人臉圖像與類內形變量的相似程度兩方面綜合考慮，賦予各個表情特征字典及類別不同的權值系數，通過稀疏系數累積獲得最終的分類結果。

2 基于加權稀疏表示決策的情感判別

2.1 權值系數設計

在表情特征字典Di上，將的稀疏系數向量xi中屬于同一類的稀疏系數的l1范數進行累加，形成一個類模塊系數它代表xi在第k類的類模塊系數，k=1,2,n,C。將所有的類模塊系數組合起來，形成一個向量為了區分不同類別字典在分類中的貢獻，通過公式(6)計算字典Di的稀疏度:

圖1 基于不同表情子集上的類內形變特征(上)和表情狀態特征(下)

圖2 待測人臉圖像在不同表情類別字典上的稀疏系數

為了增強某些類別稀疏系數在判別中的作用，本文采用直方圖匹配方法通過度量原始人臉圖像與類內形變量間的相似度。直方圖能夠很好的反映圖像灰度的整體分布信息，且具有計算量比較小等優點。

設待測人臉圖像q及類內形變量的直方圖分別為和 H2=和θ2表示灰度值，r取值 255。

式(8)中，q(θ)，hqi(θ)值表示直方圖中第θ個窗口位置的頻率值。對于頻率直方圖，得到的距離值Li(H1,H2)越小，即H1和H2越相似，表明待測人臉圖像在第i類上的變化越小，屬于第i類的可能性也越大。利用公式(9)對相似度進行歸一化:

基于相似度，不同類別字典上第i類稀疏系數的權值為:

2.2 基于加權稀疏表示決策的情感判別

在表情特征字典Di上，將各個類模塊系數分別乘以相應的權值，記為這里

將表情特征字典Di上各個類模塊系數加權后得到的系數值乘以相應的權值調節系數，得到這里

將各個表情特征字典上相同類模塊得到的加權系數值進行累積求和，記為1,2,n,C，它代表所有表情特征字典上，第k個類模塊稀疏系數累積和。

最終待測人臉圖像q的情感判別可由公式(11)表示:

3 實驗結果與分析

圖3給出本文的算法框圖，包括訓練和識別兩個階段。

圖3 本文算法框圖

為了驗證所提算法的有效性，我們采用的是日本女性表情數據庫(JAFFE)和Cohn-Kanade表情數據庫進行實驗。

JAFFE表情數據庫由10名日本女性的213幅人臉圖像組成，包括悲傷、高興、驚訝、中性、恐懼、生氣和厭惡七類表情。每種表情有3或4張圖像。在實驗中，選取每人每種表情圖像2幅，共140幅作為訓練樣本，剩余部分隨機選擇70幅作為測試樣本。

由于原始庫中的人臉圖像稍有頭部傾斜且包含與表情無關的冗余信息(比如衣物或頭發)，因此在實驗之前，需要進行一些預處理操作。首先通過旋轉使兩眼水平對準，并根據兩眼間的距離從原始的人臉圖像裁剪出只含人臉部分的矩形區域，并將圖像尺寸統一縮放為96×96像素大小(見圖4)。

圖4 原始圖像與預處理后的圖像

為了驗證所提方法的可行性和有效性，除了對比正常情況下，改進前后兩種算法的識別性能，還分別模擬了實際應用中可能出現的口罩遮擋和和不失一般性的隨機遮擋。進一步考慮到圖像在采集的過程中可能會產生馬賽克，不少視覺研究論文中將其作為高斯噪聲來處理，因此在此實驗中我們給正常人臉圖像添加高斯噪聲。圖5給出加入遮擋和高斯噪聲后的人臉圖像。

圖5 模擬遮擋和加噪后的人臉圖像

在JAFFE庫上，首先獲取訓練集中人臉圖像的表情特征，然后按照類別構建對應的表情特征稀疏字典。由于基于稀疏表示的分類模型要求訓練集中樣本的特征維數要小于構建字典的大小，因此我們采用了常用的降維算法—主成分分析算法[12](PCA)對訓練樣本及待測樣本的表情特征進行降維，設置特征的維數長度為100～130之間，取最優值，實驗結果如圖6所示。

圖6 JAFFE庫中各表情類別在不同條件下的識別率對比

圖6給出改進前后每種表情在不同條件下的識別率。從整體來看，在不同限定條件下算法表現出不同的識別性能。在無遮擋情況下，改進前后，稀疏加權算法的識別性能提高能力有限。但是當人臉圖像處于非可控條件下時，加權稀疏算法的優勢開始呈現，尤其是在一些表情原本就存在微小變化且比較難以判斷的類別上。相比于原算法，所提的加權稀疏表示分類算法更為充分利用了各個稀疏表示模型的判別作用，降低較高相似的表情圖像之間的相互干擾，提高相似表情間的區分度，有效地提升了原稀疏表示模型的判決能力。

4 結語

針對基于表情特征的稀疏表示分類模型在表達待測目標時，各個類別稀疏字典等比例加權且沒有突出某些類別稀疏系數在決策中作用，提出一種基于表情特征描述和加權稀疏表示決策的情感判別方法。該方法依據不同類別字典在表達待測目標時的稀疏性以及原始圖像與類內形變量相似度賦予不同的權值，最終基于稀疏系數累積加權獲得最終的情感判別結果。雖然該方法易于實現，增強了原算法在非限定條件下的魯棒性，但是在應用過程中需要通過人工經驗方式指引設定一些參數，使得算法性能達到最優，因此在后續的工作中，會將把重心放在算法模型優化上。