基于協作低秩分層稀疏和LC-KSVD的人臉表情識別*

劉清泉， 張亞飛， 李華鋒， 李 勃

(1.昆明理工大學 信息工程與自動化學院，云南 昆明 650500; 2.昆明理工大學 智能信息處理重點實驗室，云南 昆明 650500)

基于協作低秩分層稀疏和LC-KSVD的人臉表情識別*

劉清泉1,2， 張亞飛1,2， 李華鋒1,2， 李 勃1,2

(1.昆明理工大學信息工程與自動化學院，云南昆明650500;2.昆明理工大學智能信息處理重點實驗室，云南昆明650500)

為了降低人臉表情識別對待識別個體的依賴程度，控制識別字典規模，增加識別準確度，提出了一種基于協作低秩和分層稀疏的表情識別字典構建方法。通過協作低秩和分層稀疏表示(C-HiSLR)有效分離與待識別個體相關部分，保留表情變化部分，并結合標簽一致區分字典學習(LC-KSVD)算法，進行相應待訓練表情序列的重構識別和對應類別字典的區分程度的優化學習。該方法在CK+數據集上進行驗證，識別效果較一般基于稀疏表示模型算法有明顯的提升。

協作低秩； 分層稀疏； 標簽一致區分字典學習算法； 稀疏表示； 表情識別

0 引 言

目前,用于表情識別的方法主要有主成分分析[1]、Gabor小波變換[2]、局部二值模式[3]、流型方法[4]和主動外觀模型等。相較于傳統方法，稀疏表示分類(sparse representation classification,SRC)，在模式識別領域獲得了較好的效果[5～8]，可以有效減少光照、姿態等因素對人臉表情識別的影響[9]。但稀疏表示需要構建一個超完備字典，而一般的表情識別字典和待識別表情的對應人相關程度較大，導致表情字典規模較大。

影片租賃公司Netflix推薦系統提出了著名的低秩矩陣填充問題，并因此延伸出了協作低秩和分層稀疏(C-HiSLR)，核心為假定觀測矩陣分解成稀疏和低秩2個矩陣。人臉表情中變化部分對應稀疏的部分，而與待識別人物相關部分對應于低秩部分，可以有效地將與人物相關，但與表情識別無關的低秩部分排除、提高了字典的有效性，使字典更加緊湊，并有效降低了字典規模。

表征臉可由中性正臉和相關的表情變化疊加而成，反之，有效的表情變化也可以通過表征臉減去中性正臉得到。在觀測人臉表征圖像序列減去中性正臉所得到的表情變化序列時，發現，在該表情變化中，與待識別個體相關的人臉干擾因素被有效排除，大大提高了識別效果。

針對一般的表情分類不能有效地將與表情識別無關的低秩因素排除，導致識別字典規模較大的問題,采用標簽一致區分(label consistent KSVD,LC-KSVD)字典學習算法[10],利用大量的訓練樣本，學習出一個在識別和分類領域有明顯優勢的字典。因此，結合協作低秩分層稀疏表示和標簽一致區分字典學習算法的算法用于人臉表情識別十分有必要。

1 相關算法簡述

1.1 LC-KSVD字典學習算法

采用能夠有效提升分類效果LC-KSVD算法。相比KSVD[11]算法，LC-KSVD算法加入了類別標識因素作為監督學習條件。LC-KSVD算法在考慮字典表示能力的同時，兼顧了對于字典分類性能的加強，在考慮對當前訓練樣本序列表示能力和分類能力的同時，保持了之前樣本對字典的訓練效果，具體的表達形式

s.t.?i,‖xi‖0≤T

(1)

式中Y=[y1…yN]∈Rn×N為N個n維輸入信號集;D=[d1…dK]∈Rn×K(n>K即字典過完備)為一個待學習的字典；X=[x1,…,xN]∈RK×N為輸入信號Y的稀疏數表示系數;T為稀疏閾值(每個信號個數比T更小);α和β控制對應項之間的貢獻度。

為了便于計算，將式(1)轉換成式(2)形式，借用KSVD算法求解式(2)

s.t.?i,‖xi‖0≤T

(2)

KSVD算法主要利用給定的數據集，找到全局最優的字典。但這是一個NP問題，只能分步逐漸逼近以求得最優解，主要的操作可以簡化成以下2步：

1)固定字典Dnew求解稀疏表示系數矩陣X。

2)根據求解的稀疏表示系數矩陣逐列更新字典原子，即當字典在非最優情況下，經過稀疏表示后，必然與待表示樣本存在表示誤差。在滿足稀疏度的情況下，將表示誤差緩慢包含到原始字典中，即逐行、逐列更新優化，以減小整體誤差，逼近最優解字典，更新字典的核心步驟如式(3)

(3)

(4)

1.2 協作低秩分層稀疏表示算法

C-HiSLR根據低秩矩陣分解(RPCA)和協作分層表示(C-HiLasso)[10]算法演變而來,主要思想是從測試樣本矩陣中分離低秩矩陣的同時，將分解后的稀疏矩陣通過C-HiLasso進行相應的稀疏表示，以達到最佳的分類效果。C-HiSLR的公式如下

s.t.Y=DX+L

(5)

Γ(X,L,Λ)=f(X)+λL‖L‖*+〈Λ,Y-AX-L〉+

(6)

(7)

(8)

Λk+1=Λk+β(Y-AXk+1-Lk+1)

(9)

式(6)參考非精確求解RPCA問題進行求解。

(10)

2 本文算法

2.1 協作低秩分層稀疏表示和LC-KSVD算法

為了減少表情識別字典與待識別個體的相關程度，提高各表情類子字典區分程度，在分層稀疏和協作低秩表示的基礎上加入了有助于分類的監督學習條件。如下

s.t.Y=DX+L

(11)

(12)

〈Λ,Ynew-L-DnewX〉

(13)

2.2 表情圖像分類

通過求得相應的稀疏表示系數和分解的低秩部分(X,L)。然后參照稀疏表示分類模型，利用式(14)計算相應的類別的殘差，在各類別子字典進行分組驗證后，所得到的該類別最小殘差即為該表情序列類別

(14)

式中D[Gc]為第Gc類子字典;X[Gc]為相應稀疏表示系數。

2.3 算法求解

類似于KSVD算法求解過程，為了學習一個有效的分類字典，可以通過交替更新方法進行求解[11]，即在固定字典的情況下通過利用C-HiSLR[12]中方法求解稀疏系數和低秩矩陣，然后通過求解的稀疏系數和低秩矩陣進行字典原子的更新，在不斷迭代過程中，獲得最佳的分類字典。

將式(13)的求解算法簡單描述為以下2步：

1)利用C-HiSLR求解稀疏表示系數X和低秩分解矩陣Lnew;

2)根據求解后的(X,Lnew)利用式(13)、式(14)進行字典學習。

3 實驗結果

所有實驗均選用CK+數據集，由321組被標記的情感序列夠成(生氣、蔑視、厭惡、害怕、開心、悲傷、驚訝)，從每類表情中隨機選取10個序列初始化字典，5個用于測試。為了比較實驗效果，利用為C-HiSLR和C-HiLasso算法進行對比實驗。圖2給出了通過學習后的部分字典，橫向為相同表情類，縱向為不同表情類。選取出3類表情，即生氣、輕蔑、厭惡。從圖1可以發現，有利于分類表示的部分為圖像中高亮的部分，表情變化共同特性主要集中在眉、眼、鼻和嘴等五官部位，而其他特征對表情識別貢獻并不大，甚至對識別造成干擾。

圖2 經過本文算法獲取的驚訝類表情序列恢復

實驗過程中，從每類表情隨機選取10個序列初始化字典，5個用于測試，其余用于訓練字典，初始字典時采用減去第一幀的方式進行表情變化的提取，為了便于比較訓練算法與其他算法的識別率，本文算法和C-HiSLR的測試樣本和訓練樣本均采用原始序列進行驗證，C-HiLasso算法的測試樣本和訓練樣本均采用減去第一幀的方式。

圖2為經過本文算法獲取的表情序列恢復。由圖2(c)發現該表情變化主要部分被有效分離和表示。

表1為本文算法在CK+數據集驗證的混淆矩陣，其中生氣、輕蔑、開心、悲哀、驚訝等表情識別較準確，而其他類別表情主要干擾是和‘生氣’類表情變化近似。對照表2可以發現，相對而言在表情變化細微的(生氣、輕蔑、厭惡)表

表1 本文算法在CK+數據集驗證的混淆矩陣

情類別上，本文學習算法相比對比算法有較好的改善，在總的識別率上也達到了一定的提升,平均識別率為0.885 7,加強了各類表情的區分度，并明顯增強了有利于識別表征的主要表情變化，由圖2可以發現，經過本文算法學習后的字典相較其他人臉特征區域，該表情類別的主要區分因子被凸顯(如眉、眼、鼻和嘴等五官)。由圖2(c)圖像序列可以發現，與表情識別相關的主要人臉部位通過訓練字典被有效表示，因而,算法能夠較好提升表情識別。

表2 各類算法在各表情分類的識別正確率比較

4 結 論

提出了基于協作低秩分層稀疏表示和LC-KSVD的人臉表情識別。實驗數據在中性正臉被有效提供的情況下，減去中性正臉得到表情變化的部分，以提高識別效率。通過協作低秩分層稀疏表示，分離與待識別人物相關的低秩部分，所得的表情變化稀疏矩陣，能夠在訓練好的表情識別字典上進行有效分類。為了增加訓練字典的分類效果，結合LC-KSVD算法能夠有效加強分類效果的優勢，將類別標記條件作為有效的監督學習約束，提升識別效果。未來需要優善的部分在于如何在訓練樣本未給定中性正臉的情況下有效構建表情變化矩陣，如何在非強約束情況下(光照、姿態等變化)，提升識別率。

[1] Calder A J,Burton A M,Miller P,et al.A principal component analysis of facial expressions[J].Vision Research,2001,41(9):1179-208.

[2] Saabni R.Facial expression recognition using multi radial bases function networks and 2D Gabor filters[C]∥Proceedings of the Digital Information Processing and Communications,2015.

[3] Shan C,Gong S,Mcowan P W.Robust facial expression recognition using local binary patterns[C]∥Proceedings of the IEEE International Conference on Image Processing,2005.

[4] Wang L,Wang K,Li R.Unsupervised feature selection based on spectral regression from manifold learning for facial expression recognition[J].Iet Computer Vision,2015,9(5):655-662.

[5] Donoho D L.Compressed sensing[J].IEEE Transactions on Information Theory,2006,52(4):1289-1306.

[6] 陳 柘,鐘曉榮,張曉博.壓縮傳感及其在醫學圖像融合中的應用[J].傳感器與微系統,2013,32(9):149-152.

[7] 韓 震,王紅斌,余正濤,等.雙邊非局部均值濾波圖像去噪算法[J].傳感器與微系統,2016,35(6):124-127,131.

[8] 龔 靜,陳向東,時子青.基于CS和神經網絡的傳感器網絡模式識別研究[J].傳感器與微系統,2011,30(12):62-65.

[9] 張驚雷,姜松濤.基于改進壓縮感知的運動目標跟蹤[J].傳感器與微系統,2016,35(6):120-122.

[10] Sprechmann P,Ramirez I,Sapiro G,et al.C-HiLasso:A collaborative hierarchical sparse modeling framework[J].IEEE Transactions on Signal Processing,2011,59(9):4183-4198.

[11] 杜向龍,伍健榮,邢 濤.一種基于場景區分算法的背景抽取方法[J].傳感器與微系統,2011,30(11):39-42.

Facialexpressionrecognitionbasedoncollaborativelow-rankandhierarchicalsparseandLC-KSVD*

LIU Qing-quan1,2, ZHANG Ya-fei1,2, LI Hua-feng1,2, LI Bo1,2

(1.SchoolofInformationEngineeringandAutomation,KunmingUniversityofScienceandTechnology,Kunming650500,China;2.KeyLaboratoryofIntelligentInformationProcessing,KunmingUniversityofScienceandTechnology,Kunming650500,China)

To reduce dependence of individual on facial expression recognition,control scale of recognition dictionary,increase recognition accuracy,propose a dictionary recognition construction method based on collaborative low-rank and hierarchical sparse representation.Effective separation the relevant characteristics of the individual to be identified by collaboration lowvrank and hierarchical sparse model(C-HiSLR),keep expression variation characteristics,combined with label consist KSVD(LC-KSVD),to identify and reconstruct the sequence of expression to be trained and optimization study of distinction between corresponding category dictionary.The methods is verified on data set in CK+,recognition effect is significantly improved than general model algorithm based on sparse representation.

collaborative low-rank; hierarchical sparse; label consistent(LC)-KSVD algorithm; sparse representation; facial expression recognition

10.13873/J.1000—9787(2017)11—0056—04

TP 751

A

1000—9787(2017)11—0056—04

2016—10—19

國家自然科學基金資助項目(61562053，61302041，61363043)； 昆明理工大學引進人才基金資助項目(KKSY201403116)

劉清泉(1990 - )，男，碩士研究生，研究方向為圖像處理。

張亞飛，通訊作者，E—mail：76326474@qq.com。