融合LBP和局部稀疏表示的人臉表情識別

唐恒亮，孫艷豐，朱杰，趙明茹

TANG Hengliang1，2,SUN Yanfeng1,ZHU Jie2,ZHAO Mingru1，2

1.北京工業大學多媒體與智能軟件技術北京市重點實驗室，北京100124

2.北京物資學院智能物流系統北京市重點實驗室，北京101149

1.Beijing Key Laboratory of Multimedia and Intelligent Software Technology,Beijing University of Technology,Beijing 100124,China

2.Beijing Key Laboratory of Intelligent Logistics System,Beijing Wuzi University,Beijing 101149,China

1 引言

人臉識別研究已取得了較大進展，但仍存在許多問題值得深入研究，特別是針對人臉表情、姿態和光照等的識別問題。目前，大部分工作都致力于改進人臉表示方法，以提升人臉認知和識別的魯棒性。

在人臉表情識別方面，近年來涌現了大量的研究成果。從識別方法上分析，大致可分為基于全局特征的方法和基于局部特征的方法。基于全局特征的方法主要提取面部圖像的宏觀信息刻畫面部的獨特性，側重對整體特征的描述，并用以識別。常用的全局人臉表征方式有主成分分析[1]、線性判別分析[2-3]、獨立成分分析[4-5]、支持向量機[6]等；基于局部特征的方法側重分析面部圖像的局部細節特性，研究表情對人臉局部區域的影響，提取利于分類的人臉微觀屬性。近年來，基于LBP[7-13]的方法因其原理簡單，計算復雜度低，同時具備旋轉和灰度不變性而備受關注，并被廣泛應用于圖像識別、目標檢測和跟蹤等領域。宋克臣等人[14]針對當前LBP方法表現出的理論和實際應用價值進行了詳盡的匯總，并系統綜述了在紋理分析和分類、人臉分析和識別以及其他檢測與應用中的各種LBP方法。

本文通過深入分析人臉圖像特征以及表情對人臉局部區域的非剛性影響，提出了一種融合LBP和局部稀疏表示的人臉表情識別方法（見圖1）。首先，對規格化后的訓練集人臉圖像進行特征分區，對于每個人臉分區計算該區域的LBP特征，并采用直方圖統計方法整合該區域特征分量，形成由特定人臉的局部特征組成的訓練集局部特征庫；對于測試人臉，同樣進行人臉圖像規格化、人臉分區、局部LBP特征計算和局部直方圖統計操作；最后，對于測試人臉的局部直方圖統計特征，利用訓練集特征庫進行局部稀疏重構表示，并采用局部稀疏重構殘差加權方法進行最終人臉表情分類識別。

圖2 LBP算子編碼方式

2 人臉局部特征提取

表情對人臉區域可產生非剛性的變化，進而使得帶表情的人臉表征因面部區域變化的不可預期性而相對比較困難。而LBP是一種簡單有效、非參數化的局部紋理模式描述算子，它描述圖像紋理特征是基于紋理像素間的關聯性，利用結構法思想分析固定窗口特征，然后利用統計法作整體特征提取，所以LBP算子能夠很好地提取面部的紋理關聯特征。因此，本文針對人臉表情問題從LBP算子著手展開了深入研究。

對于原始人臉樣本，首先通過標定其雙眼中心位置，將其規格化為64×64的標準圖像；為深入分析表情對人臉局部區域的影響，更好地研究不同表情因素對人臉產生的非剛性變化，根據面部五官特征對人臉圖像進行了非均勻的分區；對于每個人臉局部區域，采用LBP算子計算局部特征，通過重疊滑動3×3子區域窗口，對非邊界區域進行局部二值化編碼（如圖2所示），即

其中，ic表示窗口中心位置紋理特征，in表示中心點8鄰域的紋理特征，二值化算子s(x)可表示為：

對于人臉局部區域的LBP特征，分區域統計其直方圖信息來描述該區域的屬性。對于人臉圖像樣本s的第k(本文k=1，2，…，10）個區域的直方圖統計特征hk，s，在M個灰度級別上分別對其進行統計，每個灰度級別的直方圖分量特征可定義為：

其中，i表示灰度級別，則第k個區域的直方圖統計特征hk，s可表示為：

對于所有人臉樣本的每個局部區域均可表征為公式（4）所示的局部直方圖統計特征。該特征采用LBP算子提取人臉子區域的局部微觀特征，又通過統計直方圖的方法整合局部微觀特征，最終形成對人臉子區域的局部完整性描述。

3 人臉局部稀疏重構表示與識別

通過第2章的處理，可將人臉樣本從圖像信息抽象成分區域的統計特征。在此基礎上，通常將每個特定樣本的所有子區域直方圖特征串聯，并組成對該特定樣本的整體描述，最后采用整體直方圖匹配算法進行分類識別。人臉子區域直方圖串聯僅是一種機械的局部特征整合方法，對分類識別的貢獻作用有限。因此，在人臉局部區域直方圖表征基礎上，為了更精確、細致地描述人臉局部信息，深入挖掘表情對人臉各個子區域的影響，通過對稀疏表示方法的深入探討，本文提出了一種基于人臉局部區域稀疏重構表示的表情識別方法。

稀疏表示[15-16]是一種高維信號獲取、表示與壓縮方法。近年來，隨著數學領域的研究發展，特別是對于l1范數優化問題的研究突破，推動了稀疏表示在計算機視覺[17]領域的應用，并且取得了一定的成果。相比傳統的人臉識別方法，稀疏表示的目標函數更適合人臉識別的最終任務；稀疏表示具有信源與誤差分離的固有屬性，只要人臉表征方式信息量充分，其他人臉無關特征的介入不會影響算法的識別性能；另外，在稀疏表示框架下，增加訓練樣本數量一定程度上能夠提高訓練集的稀疏特性，使稀疏表示更準確，但不會因過多樣本的介入而使算法識別性能下降。

第2章獲取的人臉子區域的局部完整性描述可將每個人臉樣本抽象成一組局部特征向量，也可看作是一組人臉局部描述符的集合，該局部描述符在一定程度上刻畫了人臉的獨特性。在同類樣本相似度較高的先驗知識前提下，根據稀疏表示原理，每個待識別樣本可由訓練集中其同類樣本的線性組合近似表示出。

對于人臉表情樣本s，其第k個區域的局部描述符可表示為hk，s，則訓練集中所有樣本該區域的表征方式可按列向量形式排列成訓練矩陣Hk，即

其中，N為訓練集中人臉樣本數量，M為單個人臉樣本的特征維度，即上文所指的灰度級別數量。

對于某個測試人臉樣本p，其第k個區域的局部描述符可表示為hk，p。在稀疏表示框架下，對于人臉樣本p的局部稀疏重構可表示為：

上式所描述的最小化優化問題則可通過線性規劃方法求解，進而可將測試樣本p的局部區域分別進行稀疏重構表示。在分類識別階段，利用公式（6）求出的最優解，可計算出測試樣本p與訓練樣本si在第k個子區域的殘差（局部殘差），即

由于表情使人臉發生了非剛性的形變，而每個人臉子區域受表情因素的影響不盡相同。為了更客觀、深入地分析每個人臉子區域受各種表情影響的程度，本文采用加權融合的方式整合上述局部殘差，并將最小全局殘差對應的訓練樣本定義為測試樣本的最佳匹配對象。測試樣本p與訓練樣本si的全局殘差可表示為：

其中，wk表示人臉表情對第k個子區域的影響因子，影響因子越大表明該區域受表情影響越大。在識別特定表情時，應一定程度強化該區域對識別的貢獻率；而在識別特定人臉時，應一定程度削弱該區域對識別的貢獻率。該影響因子可通過實驗獲得經驗值，可近似定義為該區域對識別的貢獻率。

4 實驗結果及分析

為驗證所提出的融合LBP和人臉局部區域稀疏表示的人臉表情識別方法的有效性，深入剖析表情對人臉子區域的影響，在JAFFE2表情庫上做了詳細的對比實驗。該庫包含生氣、厭惡、害怕、高興、中性、悲哀、吃驚7種表情，實驗選用該庫除中性表情外的每個人每種表情的1組數據做訓練，剩余表情樣本做測試，實驗結果見表1。針對表情對人臉子區域的影響，本文做了兩組實驗，一組將該影響因子均設為1（“本文1”），另一組通過實驗獲得該影響因子的經驗值（“本文2”）。同時，為了進一步驗證本文方法的有效性，實驗對比了原始LBP算法和同仁的實驗結果。

表1 人臉表情識別實驗結果（%）

從表1“本文2”的實驗結果可看出，本文提出的融合LBP和人臉局部區域稀疏重構表示的方法對人臉表情識別具有較強的魯棒性，取得了93%左右的平均識別率。對比各個表情的識別效率，高興和吃驚表情的識別率較高，而厭惡和悲傷表情的識別效果稍差。其原因是高興和吃驚表情比較夸張，對人臉面部局部紋理影響較大，更容易捕捉該表情的獨特性；而厭惡和悲傷表情對人臉的紋理影響相對較弱，進而影響了識別效率。在相同的實驗條件下，對比原始LBP算法、“本文1”方案和“本文2”方案對不同表情的實驗結果，本文方法的識別性能明顯優于原始LBP算法，表明人臉局部稀疏重構表示方法對人臉表情識別更加有效，也表明融合LBP和局部稀疏重構表示的識別框架能夠有效捕捉人臉表情的局部結構信息，較好地整合人臉局部特征，并精細刻畫人臉局部紋理，進而取得了較好的效果。雖然稀疏表示的時間復雜度較高，但人臉局部特征維度較低，因此，基于人臉局部子區域的稀疏重構表示時間性能尚可。

對于表情對人臉局部區域的影響情況，表1中“本文2”（根據表情對人臉各子區域的實際影響分別設置影響因子）的實驗結果要明顯優于“本文1”（假設表情對人臉各子區域的影響相同）的實驗結果，表明基于局部稀疏重構的加權融合方法能夠較好地捕捉表情對人臉局部區域的特定影響，進而提升了人臉表情識別的準確率，因此，“本文2”方案對人臉表情識別問題更加魯棒。為更直觀地分析表情對人臉的影響，本文通過對所有人臉數據訓練學習，獲取到了表情對人臉各子區域的影響因子（見圖3右圖，顏色越深表明影響因子越大）。從圖3可看出鼻子和下巴兩側區域受表情影響較小，對表情識別貢獻較弱；而嘴巴、眼睛和眉毛區域紋理受表情影響較大，其中嘴巴區域尤為明顯，這些區域為表情識別提供了較強的分類信息。

圖3 表情對人臉局部的影響

另外，許多研究者針對人臉表情識別問題也作了深入的研究，在相同的實驗數據下，本文方法的平均性能一定程度上優于文獻[11-13]中的方法，這也證明了本文方法的優越性；對于特定表情的識別性能不同方法各有千秋。由于實驗數據的組織方式存在差異，因此，對比實驗僅供參考。

5 結束語

本文提出了一種融合LBP和局部稀疏重構表示的人臉表情識別方法。為更細致分析表情對人臉的影響，根據五官位置信息對人臉進行非均勻分區，然后提取局部區域的LBP特征；在此基礎上，為精確刻畫人臉表情局部特征，采用局部稀疏表示的方法對人臉局部子區域進行稀疏重構，并根據表情對各局部區域的影響因子，加權融合局部重構殘差進行人臉表情識別。在JAFFE2表情人臉庫上的對比實驗驗證了本文方法的可行性和有效性。本文對人臉采用了粗粒度的分區，以后可根據表情的影響對面部進行細粒度分區研究；另外，人臉面部具有左右對稱特征，以后可在局部稀疏重構表示時，適當引入人臉結構約束，以提高表情識別率。

[1] Chen X W，Thomas H.Facial expression recognition：a clustering-based approach[J].Pattern Recognition Letters，2003，24（9/10）：1295-1302.

[2] 支瑞聰，阮秋琦.基于線性判別局部保留映射的人臉表情識別[J].信號處理，2009，25（2）：233-237.

[3] Li M，Yuan B Z.2D-LDA：a statistical linear discriminant analysis for image matrix[J].Pattern Recognition Letters，2005，26（5）：527-532.

[4] Buclu C，Kotropoulos I，Ptas.Comparison of ICA approaches for facial expression recognition[J].Signal，Image and Video Processing，2009，3（4）：345-361.

[5] 徐正光，閆恒川，張利欣.基于表情識別的獨立成分分析方法的研究[J].計算機工程，2006，32（24）：183-185.

[6] 應自爐，唐京海，李景文，等.支持向量鑒別分析及在人臉表情識別中的應用[J].電子學報，2008，36（4）：725-730.

[7] Ojala T，Pietikainen M，Harwood D.A comparative study of texture measures with classification based on feature distributions[J].Pattern Recognition，1996，29（1）：51-59.

[8] Feng X，Pietikainen M，Hadid A.Facial expression recognition with local binary patterns and linear programming[J].Pattern Recognition and Image Analysis，2005，15（2）：546-548.

[9] Zhao G，Pietikainen M.Dynamic texture recognition using local binary patterns with an application to facial expressions[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2007，29（6）：915-928.

[10] Shan C，Gong S，McOwan P W.Facial expression recognition based on local binary patterns：a comprehensive study[J].Image and Vision Computing，2009，27：803-816.

[11] 應自爐，方謝燕.基于局部二元模式的面部表情識別研究[J].計算機工程與應用，2009，45（29）：180-183.

[12] 姜銳，許建龍，張愛朋.基于改進LBP的人臉表情識別[J].浙江理工大學學報，2013，30（4）：546-549.

[13] 李睿，趙曉.融合DCT和LBP特征的表情識別[J].計算機工程與應用，2013，49（15）：171-174.

[14] 宋克臣，顏云輝，陳文輝，等.局部二值模式方法研究與展望[J].自動化學報，2013，39（6）：730-744.

[15] Donoho D.Compressed sensing[J].IEEE Transactions on Information Theory，2006，52（4）：1289-1306.

[16] 石光明，劉丹華，高大化，等.壓縮感知理論及其研究進展[J].電子學報，2009，37（5）：1070-1078.

[17] Wright J，Yang A，Ganesh A，et al.Robust face recognition via sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，31（2）：210-227.