基于Gabor變換與改進SLLE的人臉表情識別①

龔 安, 曾 雷

(中國石油大學(華東)計算機與通信工程學院,青島 266580)

基于Gabor變換與改進SLLE的人臉表情識別①

龔 安, 曾 雷

(中國石油大學(華東)計算機與通信工程學院,青島 266580)

本文通過Gabor變換進行人臉表情圖像的特征提取,并利用局部線性嵌入(LLE)系列算法進行數據降維操作.LLE算法是一種非線性降維算法,它可以使得降維后的數據保持原有的拓撲結構,在人臉表情識別中有廣泛的應用.因為LLE算法沒有考慮樣本的類別信息,因此有了監督的局部線性嵌入(SLLE)算法.但是SLLE算法僅僅考慮了樣本的類別信息卻沒有考慮到各種表情之間的關系,因此本文提出一種改進的SLLE算法,該算法認為中性表情是其他各種表情的中心.在JAFFE庫上進行人臉表情識別實驗結果表明,相比LLE算法和SLLE算法,該算法獲得了更好的人臉表情識別率,是一種有效算法.

Gabor變換;人臉表情;特征提取;LLE;SLLE

人臉表情可以反映人類內心真實情感,了解一個人內心的真實情感有利于我們更好地與這個人溝通以及為其服務.因此人臉表情識別有很重要的研究意義,人臉表情識別的應用領域也很廣泛,包括人機交互、機器人制造、心理咨詢、智能汽車等領域.在進行人臉表情識別之前有兩個很重要的過程:特征提取與數據降維.

人臉表情識別中常用的特征提取方法有ASM[1,2]、AAM[3-5]、LBP[6]、彈性圖匹配法、Fisher判別、Gabor[7,8]變換等.

人臉表情識別中常用的數據降維算法分為線性降維與非線性降維.常見的線性降維算法有PCA[9]、LDA等,常見的非線性降維算法有Isomap、LLE[10]、LEE[11]、MVU等.

本文特征提取采用Gabor變換,數據降維采用LLE系列算法.LLE算法是Sam T.Roweis和Lawrence K.Saul在2000年提出的一種非線性降維方法.LLE算法可以通過局部線性擬合來恢復全局非線性結構,因此通過LLE降維后的數據會保持原有的拓撲結構.雖然LLE算法有很好的降維效果,但是LLE算法沒有考慮樣本的類別信息,因此Dick和Robert在2003年提出一種針對有監督的LLE算法,即SLLE[12,13]算法.雖然SLLE算法考慮到了樣本的類別信息,但是沒有考慮到人臉表情識別問題上各種表情之間的關系.因此本文提出了一種改進的SLLE算法,該算法在計算不同類別之間最大類間距離時,將中性表情看成n維空間的中心,其他各種表情分別在n個不同的維度上,因此其他各種表情到中性表情之間的距離為它們之間的歐式距離,其他各種表情中的2種不同表情之間的距離的平方是這2種表情到中性距離的平方和.該算法在JAFFE數據庫上獲得了較好的實驗結果,說明該算法是一種有效的算法.

1 特征提取

Gabor變換是Dennis Gabor提出的一種特殊情況下的短時傅里葉變換.它用來確定局部信號隨時間變化對應著的正弦頻率與相位.Gabor變換的功能是,首先乘以一個被視為窗口的高斯函數,然后將該結果通過傅里葉變換得到信號的時間頻率分析轉換.

1.1 Gabor濾波器

在圖像處理中,Gabor濾波器是一種以Gabor變換為基礎的用于邊緣檢測的線性濾波器.Gabor濾波器中頻率和方向的表現類似于人類的視覺系統,它們被發現特別適合紋理的表示和區別.因此Gabor濾波器作為一種特征提取的方法,在圖像處理,模式識別等領域得到了廣泛的應用.在空間域中,一個二維Gabor濾波器是一種由正弦平面波調制的高斯核函數,具體如下:

復數形式:

1.2 Gabor特征提取

通常采用多個在不同波長和方向上的Gabor濾波器組成濾波器組來提取人臉圖像的Gabor特征.本文選擇5種波長和8種方向,令ψ為0,σ為通常一般是選擇5種頻率尺寸與8種方向,因為上面的公式(1),公式(2),公式(3)中用到的都是波長λ這個參數,所以本文這里使用的5種波長,實際上波長與頻率尺度的乘積是2π.

5種波長對應的λ為:

8種方向對應的θ為:

40個濾波器的實部如圖1所示.

圖1 濾波器的實部

2 數據降維

Gabor提取的特征的維度比較大,所以需要對其進行數據降維操作.

2.1 LLE算法

LLE算法對數據進行降維的特點如下:

令高維樣本集X=[x1,x2,…,xN],X中每一個樣本為xi=[xi1,xi2,…,xiD]T.X的低維流形表示為Y =[y1,y2,…,yN],其中 yi=[yi1,yi2,…,yid]T,d<

LLE算法降維流程如下所示:

步驟一.計算每個樣本點到其他樣本點的距離,求出該樣本點的k個近鄰點,各個樣本之間的距離公式如下:

步驟二.計算每個樣本點到其近鄰點的權值.

這里定義一個誤差函數,如下:

ε(w)最小時可求得權值.其中xij為xi的k個近鄰點,wij是 xi與 xij之間的權值,且要滿足條件:,這里求取W矩陣,需要構造一個局部協方差矩陣Qi.

在實際運算過程中,Qi有可能是一個奇異矩陣,此時必須對Qi進行正則化操作,如下所示:

其中r是正則化參數,I是一個k×k的單位矩陣.

步驟三.將所有原始的高維樣本點映射到低維空間中.

映射條件滿足如下:

其中,ε(Y)是損失函數,當其最小時可以求得輸入向量,yi是xi的輸出向量,yij(j=1,2,3,…,k)是yi的k個近鄰點,且要滿足兩個條件:

其中I是m×m的單位矩陣.這里的wij(i=1,2,3,…,n;j=1,2,3…,n)可以存儲在n×n的稀疏矩陣W中,當xj是xi的近鄰點時,Wi,j=wij,否則Wi,j=0.則損失函數可重寫為:

其中M是一個n×n的對稱矩陣,其表達式為:

要使ε(Y)的值最小,則取Y為M的最小m個非零特征值所對應的特征向量.在處理的過程中,將M的特征值從小到大依次排列,由于第一個特征值非常接近于零,所以舍去第一個特征值.一般取第2～m+1之間的特征值所對應的特征向量作為輸出結果即高維樣本降維后的結果.

2.2 SLLE算法

雖然LLE算法在人臉表情識別中有很好的降維效果,但是它沒有考慮到樣本的類別信息,因此有了SLLE算法.傳統的LLE算法在第一步尋找樣本的k個近鄰點時采用的距離公式是公式(6).而SLLE算法在處理這一步時卻有所不同,它在計算距離時考慮到了樣本點的類別信息.SLLE算法的其余步驟與LLE算法是一致的.

SLLE算法在計算兩個樣本點之間的距離時,采用如下公式:其中D’表示更正后的距離;D表示通過公式(6)計算出來的兩個樣本點之間的距離;max(D)是表示類與類之間的最大歐式距離;Δ取0或者1,當兩個樣本點屬于同一類別時,Δ取為0,否則取1;Δ是控制樣本點之間的距離參數,α∈[0,1]是一個經驗參數.當α取為零時,此時的SLLE算法和LLE算法相同.

LLE算法是將所有樣本一起進行處理,而SLLE算法需要先處理訓練樣本后處理測試樣本.

對訓練樣本的降維過程和LLE算法中的降維過程類似,不同的是第一步計算距離的公式變了,此時計算距離的公式是公式(14),并且在此之前要先計算出不同表情分類之間的最大距離.

對測試樣本的降維過程如下:

假設訓練樣本為X(dxN),訓練樣本降維后的輸出為Y(mxN),d為訓練樣本的維數,m為訓練樣本的輸出維數即降維后的維數,N為訓練樣本的個數.設X’為測試樣本的集合.主要算法分為三步:

步驟二.計算出xe與其k個近鄰點間的權值系數:

步驟三.計算xe降維后的輸出向量ye.

其中yej為測試樣本降維過程中xej的輸出向量.

2.3 改進的SLLE算法

SLLE算法雖然考慮到了樣本的類別信息,但是還有很多不足的地方.比如針對人臉表情識別這個問題,SLLE算法沒有考慮到各種表情之間的關系.

本文采用JAFFE數據庫作為實驗數據,該數據庫表情有7種分類:中性、生氣、厭惡、恐懼、高興、悲傷、驚訝.在計算最大類間距離時,中性表情可以看成是所有表情的中心,其他6種表情可以看成是在6維空間中6個不同的維度上,所有表情都是以中性表情為中心,在6個不同維度上波動的.

此時對訓練數據的降維過程與SLLE中對訓練數據的降維過程中的操作類似,不過公式(14)中的max(D)依然表示類與類之間的最大距離,但是當兩個類之間有一個是中性表情時,直接計算出兩個類之間的最大距離,當兩個類中都不是中性表情時,根據兩個類到中性表情的最大距離,求出兩個類之間的最大距離,計算公式如下:

其中d1表示一個表情類別到中性表情的最大距離,d2表示另一個表情類別到中性表情的最大距離.

對測試數據的降維過程與SLLE相同.

3 實驗結果分析

本文對人臉表情進行識別的實驗數據來自日本女性人臉表情JAFFE庫.JAFFE庫由10個人共213幅靜態表情圖像組成,包含7種表情(中性、生氣、厭惡、恐懼、高興、悲傷、驚訝).這些圖像都是256×256的8位灰度圖像.

采用交叉校驗方式進行測試來降低測試結果的偶然性,保證測試結果的一般性.將所有樣本隨機平分為10份,其中有7份中都是21張圖像,另外3份中都是22張圖像.每次依次取其中的9份作為訓練樣本而剩余的1份作為測試樣本,最后再將得到的10個識別率取平均得到整體識別率.

LLE、SLLE、改進的SLLE三種算法k取不同值時的表情識別率如圖2所示,縱軸表示表情的識別率,單位是%,橫軸表示近鄰點的個數k.

圖2 不同 k 值下面的表情識別率

基于Gabor特征提取的PCA,LLE,SLLE,改進的SLLE 4種降維算法的實驗結果對比如表1.

表1 4種降維算法的識別率

實驗結果表明改進的SLLE算法比PCA,LLE,SLLE有更好的識別率,是一個有效的算法.

4 結語

本文利用Gabor變換來進行人臉表情圖像的特征提取,利用LLE系列算法來進行數據降維.LLE算法在人臉表情識別中有很好的降維效果,但是它沒有考慮到樣本的類別信息.SLLE算法雖然考慮到了樣本的類別信息,但是針對人臉表情識別這個問題,沒有考慮到各種表情之間的關系.本文針對人臉表情識別這個問題,提出了一種改進的SLLE算法,該算法假定了中性表情是所有表情的中心.該算法在JAFFE庫上獲得了比LLE算法與SLLE算法更好的表情識別率,它是一種有效的算法.

1 Kim DJ.Facial expression recognition using ASM-based post-processing technique.Pattern Recognition and Image Analysis,2016,26(3):576–581.[doi:10.1134/S1054661816 03010X]

2 Lozano-Monasor E,López MT,Fernández-Caballero A,et al.Facial expression recognition from webcam based on active shape models and support vector machines.Pecchia L,Chen LL,Nugent C,et al.Ambient Assisted Living and Daily Activities.Cham,Switzerland:Springer,2014,(8868):147–154.

3 Wang L,Li RF,Wang K.A novel automatic facial expression recognition method based on AAM.Journal of Computers,2014,9(3):608–617.

4 Edwards GJ,Cootes TF,Taylor CJ.Face recognition using active appearance models.Burkhardt H,Neumann B.Computer Vision-ECCV’.Berlin,Heidelberg,Germany:Springer,1998.581–595.

5 左坤隆,劉文耀.基于活動外觀模型的人臉表情分析與識別.光電子?激光,2004,15(7):853–857.

6 Zhao XM,Zhang SQ.Facial expression recognition based on local binary patterns and kernel discriminant isomap.Sensors,2011,11(10):9573–9588.

7 朱健翔,蘇光大,李迎春.結合Gabor特征與Adaboost的人臉表情識別.光電子?激光,2006,17(8):993–998.

8 劉曉旻,章毓晉.基于Gabor直方圖特征和MVBoost的人臉表情識別.計算機研究與發展,2007,44(7):1089–1096.

9 Chakrabarti D,Dutta D.Facial expression recognition using PCA and various distance classifiers.In:Sengupta S,Das K,Khan G,eds.Emerging Trends in Computing and Communication.New Delhi,India:Springer,2014.79–85.

10 Roweis ST,Saul LK.Nonlinear dimensionality reduction by locally linear embedding.Science,2000,290(5500):2323–2326.[doi:10.1126/science.290.5500.2323]

11 Shao H,Chen S,Zhao JY,et al.Face recognition based on subset selection via metric learning on manifold.Frontiers of Information Technology &Electronic Engineering,2015,16(12):1046–1058.

12 de Ridder D,Kouropteva O,Okun O,et al.Supervised locally linear embedding.In:Kaynak O,Alpaydin E,Oja E,et al,eds.Artificial Neural Networks and Neural Information Processing-ICANN/ICONIP 2003.Berlin,Heidelberg,Germany:Springer,2003.333–341.

13 應自爐,李景文,張有為,等.基于表情加權距離SLLE的人臉表情識別.模式識別與人工智能,2010,23(2):278–283.

Facial Expression Recognition Based on Gabor Transform and Improved SLLE

GONG An,ZENG Lei
(College of Computer &Communication Engineering,China University of Petroleum (East China),Qingdao 266580,China)

In this paper,we adopt the Gabor transform to extract features of facial expression images and use a series of locally linear embedding(LLE)algorithms to reduce the data dimension.The LLE algorithm widely used in facial expression recognition is a kind of nonlinear dimension reduction algorithm.It is able to make dimension-reduced data keep the original topology.Because the LLE algorithm does not take the category information of samples into account,the supervised locally linear embedding(SLLE)algorithm appears.But the SLLE algorithm only considers the category information of samples,and does not take the relationship among various expressions into account.Therefore,in this paper,we propose an improved SLLE algorithm,which regards the neutral expression as the center of the other expressions.The results of facial expression recognition experiments on the JAFFE database show that our algorithm obtained better facial expression recognition rate compared with the LLE algorithm and the SLLE algorithm.Our algorithm is more effective

Gabor transform;facial expression;extract features;LLE;SLLE

龔安,曾雷.基于Gabor變換與改進SLLE的人臉表情識別.計算機系統應用,2017,26(9):210–214.http://www.c-s-a.org.cn/1003-3254/5949.html

2016-12-23;采用時間:2017-01-18