基于Gabor小波變換的人臉表情識別

謝勁芳,馮 桂

(華僑大學信息科學與工程學院,福建廈門361021)

基于Gabor小波變換的人臉表情識別

謝勁芳,馮 桂

(華僑大學信息科學與工程學院,福建廈門361021)

在人臉表情識別中,針對Gabor小波變換特征維數(shù)很大的問題,提出了一種新的多方向特征編碼方法。通過對Gabor特征幅值進行統(tǒng)計處理,將每個像素點同一尺度不同方向的Gabor特征幅值閾值化成二進制,加強了Gabor小波對圖像局部結(jié)構(gòu)信息的表征。同時,結(jié)合了類似旋轉(zhuǎn)不變LBP的方法對圖像進行降維。為了進一步提高表情的正確識別率,采用一種局部區(qū)域融合的方法,最后在JAFFE表情庫上進行測試,得到比較好的識別率,驗證了所提方法的有效性。

表情識別 Gabor小波特征降維 局部區(qū)域融合

0 引 言

人臉表情識別是人臉分析研究的重要組成部分,涉及了計算機視覺、機器學習、圖像處理等多個領(lǐng)域,在安全駕駛、網(wǎng)絡(luò)教學、人機交互等方面都有重要的應(yīng)用[1]。通過用戶的表情來了解其內(nèi)心活動,可以使計算機進行更有效地監(jiān)督輔助工作。

表情識別系統(tǒng)中最重要的部分是提取有效的特征,以便提高分類的準確性。基于Gabor小波的特征提取方法因為其能夠捕捉對應(yīng)空間位置、空間頻率和方向選擇性等局部結(jié)構(gòu)信息,而被廣泛應(yīng)用于人臉表情識別研究[2]。

由于圖像經(jīng)過Gabor小波變換后得到的特征維數(shù)非常大,限制了其在實際中的應(yīng)用。因此研究人員針對該問題提出了以下3類方法:第一類是利用fastPCA+LDA[3]等線性降維方法,該類方法有可能丟失一些重要信息;第二類只對人臉圖像的特征點進行Gabor小波變換,如彈性模板匹配[4],該類方法雖然降低了維數(shù),但是十分依賴于特征點的提取;第三類選取部分尺度和方向的Gabor特征[5-6]作為分類特征,該類方法容易損失有效的決策信息。

針對這些問題,文中提出一種對同一尺度不同方向的Gabor小波特征幅值進行編碼的方法,在降低特征維數(shù)的同時,保留了每個Gabor濾波器的有效信息,并增強了圖像旋轉(zhuǎn)不變性。另外對多個信息源的信息進行融合可以提高決策精度[7],所以文中還提出了一種局部區(qū)域融合方法,加強了人臉敏感區(qū)域(如眼睛和嘴巴)對表情分類的影響。最后在JAFFE表情庫上進行實驗,得到比較好的識別率,驗證了文中所提方法的有效性。

1 特征融合

1.1 Gabor小波變換

2D-Gabor函數(shù)是唯一能夠達到測不準原理下界的函數(shù),能夠同時在空域和頻域中取得最優(yōu)分辨率[2]。2D-Gabor函數(shù)定義[8]如下:

式中,ku,v=kv(cosφu,sinφu)T,kv=表示小波核的頻率,Gabor濾波器的方向則表示為φu=u,z是給定位置的圖像坐標。σ為Gabor濾波器的帶寬,一般取2π。

文中將表情圖像I(z)與5個尺度和8個方向的Gabor濾波器組ψu,v(z)(u=0,1,…,4;v=0,1,…,7, K=8)進行卷積,獲得40個對應(yīng)不同尺度和方向的Gabor特征。因為相位不穩(wěn)定,采用濾波后的幅值作為圖像I(z)的Gabor特征,所采用的原始圖像和經(jīng)過Gabor小波變換后的幅值特征圖像如圖1所示。

圖1 人臉表情圖像的Gabor小波特征Fig.1 Gabor wavelet features of facial expression image

1.2 編碼方法

從人臉表情圖像的Gabor小波特征圖像可發(fā)現(xiàn),同一尺度下不同方向的特征值存在著很大的冗余性和相關(guān)性。為此,文中提出了一種特征值編碼方法,對同一尺度下不同方向的特征幅值進行融合。具體步驟如下:

1)每個像素點取同一尺度上的8個方向特征幅值的均值作為閾值來進行二值化處理:

式中,Gmean(z)為像素點z=(x,y)在某一尺度下8個方向特征幅值的均值,對應(yīng)于點z在u尺度v方向的Gabor特征幅值,點z經(jīng)過二值化后的值表示為Pu,v(z),v∈(0,1,…,7),u∈(0,1,…,4)。通過統(tǒng)計處理,在考慮特征值集中趨勢的前提下,可以將不同方向下變化明顯的特征值區(qū)分出來,進一步加強了Gabor小波對圖像局部結(jié)構(gòu)信息的表征。

繪制極點時假設(shè)三相濾波器的參數(shù)存在很小的誤差，模型參數(shù)的數(shù)據(jù)和控制器的參數(shù)存在10%的誤差，這樣更能證明由參數(shù)的不確定性來分析系統(tǒng)的魯棒性。

2)經(jīng)過二值化處理后得到8位二進制編碼,根據(jù)下面公式求得唯一表征局部紋理特征的十進制值:

3)由于文中采用的是八個方向的Gabor小波濾波器,由式(4)可知,在一個像素點上得到的BGP總共會有256種模式,無論對紋理的提取還是對于紋理的分類識別都是不利的,因此采用類似旋轉(zhuǎn)不變LBP的方法[9](簡稱為BGPri),將BGP映射成36種編碼值,減少了模式種類,使紋理識別更加容易,同時增強了圖像的旋轉(zhuǎn)不變性。

通過上述編碼方法處理后,可得到5個尺度的編碼特征圖像,如圖2所示。

圖2 不同尺度上的編碼特征圖像Fig.2 Coded feature images on different scales

編碼特征圖像含有豐富的紋理信息,通常會與直方圖結(jié)合使用,以獲得紋理圖像的全局特征。如果直接對整幅圖像使用直方圖統(tǒng)計,將會丟失很多結(jié)構(gòu)上的細節(jié)信息[10]。因此,文中將編碼特征圖像分割成大小為32×26的不重疊子塊,計算各分塊的直方圖分布,將其連接起來作為該尺度的特征向量,最后將不同尺度的特征向量連接起來作為圖像的表情特征向量。

1.3 局部特征融合

因為人臉表情變化主要體現(xiàn)在眼睛(含眉毛部分)和嘴巴區(qū)域,所以這些區(qū)域?qū)Ρ砬榉诸惖呢暙I率較大[11],文中對每幅圖像提取出眼睛和嘴巴兩個局部區(qū)域,并對這些區(qū)域按上節(jié)提出的方法進行處理,從而得到局部區(qū)域特征向量(分別設(shè)為Feye, Fmouth),最后與人臉區(qū)域的特征向量(Fface)連接起來進行識別。進行識別的融合表情特征向量為Feature={Fface,Feye,Fmouth}。

2 實驗描述與結(jié)果分析

2.1 實驗條件

文中采用日本女性表情數(shù)據(jù)庫(JAFFE)進行實驗,數(shù)據(jù)庫由10個人的213幅圖像組成,每個人有生氣、厭惡、恐懼、高興、悲傷、驚奇和中性7種基本表情,每種表情各3～4幅圖像。本實驗中每人每種表情隨機抽取一幅圖像作為訓練樣本,共70幅圖像,其余143幅圖像作為測試樣本。

實驗的流程如圖3所示。

圖3 表情識別流程Fig.3 Flow chart of expression recognition system

其中預(yù)處理包括對表情庫圖像進行旋轉(zhuǎn)規(guī)范化和灰度歸一化處理,并裁剪出人臉區(qū)域、眼睛區(qū)域和嘴巴區(qū)域,大小分別歸一化為128×104、32×104、32× 56,如圖4所示。

圖4 預(yù)處理圖像Fig.4 Preprocessed image

人臉區(qū)域的表情圖像經(jīng)過Gabor變換后特征維數(shù)為128×104×40,通過特征編碼和分塊直方圖統(tǒng)計后得到的特征向量維數(shù)為2880,相比原Gabor小波維數(shù)降低了180多倍,很大程度上降低了數(shù)據(jù)的規(guī)模與計算的復(fù)雜性。對上述得到的特征向量進一步采用PCA+LDA[3]進行降維處理,并將獲得的表情特征向量進行k近鄰分類,所得到的實驗結(jié)果如下。

2.3 結(jié)果分析

1)利用文中提出的編碼方法首先對人臉區(qū)域(face)進行三組實驗,并取平均值,結(jié)果如表1所示。

表1 人臉區(qū)域的識別結(jié)果Table 1 Experimental results of facial regions

通過上述實驗結(jié)果,可以發(fā)現(xiàn)各種表情都有比較好的識別率,證明了文中方法的有效性,即通過對同一尺度8個方向特征進行編碼,在降低特征維數(shù)的同時,保留了Gabor小波變換的有效信息。生氣和恐懼的識別率偏低一些,主要原因在于這兩種表情在人臉上的變化與其它表情比較相似,容易被誤判。

2)其次分別對人臉區(qū)域(face)、局部區(qū)域(eye+ mouth)以及綜合人臉和局部區(qū)域(face+eye+ mouth)三種情況,進行文中提出的編碼方法處理后,得到的識別結(jié)果如表2所示。

表2 人臉和局部區(qū)域的實驗結(jié)果Table 2 Experimental results of the face and local regions

通過表2可得出,聯(lián)合face+eye+mouth比單純用face區(qū)域作為特征區(qū)域分類的識別率要高,這是因為人臉表情變化主要體現(xiàn)在眼睛和嘴巴區(qū)域,而將eye+mouth的表情特征向量與face的表情特征向量連接起來,相當于對這兩個區(qū)域進行了加權(quán)處理,增加了對表情識別貢獻度大的區(qū)域的權(quán)重。

3)最后對文中所提出的方法與其它文獻的識別結(jié)果進行比較,由表3可以看出文中方法在與其他方法識別速度相差不大的情況下,識別率有所提高,間接證明了文中算法的有效性。

表3 文中方法與其它方法的比較Table 3 Comparison of the proposed method with other methods

3 結(jié) 語

為了快速而準確地識別人臉表情,文中提出了一種基于Gabor小波的多方向特征編碼方法。文中的主要工作有兩方面:①為了降低Gabor小波的特征維數(shù),對Gabor小波同一尺度不同方向的特征幅值進行均值二值化和BGPri處理,在保留了每個Gabor濾波器的有效信息的同時,大大降低了特征維數(shù),并增強了圖像的旋轉(zhuǎn)不變性;②將人臉與局部區(qū)域特征融合起來作為分類特征,加強了人臉表情敏感區(qū)域?qū)Ρ砬榉诸惖挠绊憽Ｍㄟ^實驗分析驗證了文中所提出方法的有效性,但是文中對不同區(qū)域的特征向量只是簡單地連接起來作為分類特征,接下來的工作是對不同區(qū)域信息融合方法做進一步的研究,并設(shè)計更有效的分類器,來精確識別各種復(fù)雜的表情。

[1]蔣斌,賈克斌,楊國勝.人臉表情識別的研究進展[J].計算機科學,2011,38(04):25-30.

JIANG Bin,JIA Ke-bin,YANG Guo-sheng.Research Advance of Facial Expression Recognition[J].Computer Science,2011,38(04):25-30.

[2]孔銳,張冰.Gabor濾波器參數(shù)設(shè)置[J].控制與決策,2012,27(08):1277-1280.

KONG Rui,ZHANG Bing.Design of Gabor Filters'Parameter[J].Control and Decision,2012,27(08):1277-1280.

[3]王甫龍,薄華.基于Gabor小波的人臉表情特征提取研究[J].電子設(shè)計工程,2012,20(03):63-66.

WANG Fu-long,BO Hua.Facial Expression Recognition based on Gabor Wavelet Transform[J].Electronic Design Engineering,2012,20(03):63-66.

[4]黃永明,章國寶,董飛,等.基于Gabor,Fisher臉多特征提取及集成SVM的人臉表情識別倡[J].計算機應(yīng)用研究,2011,28(04):1536-1543.

HUANG Yong-ming,ZHANG Guo-bao,DONG Fei,et al.Multiple Features Extraction Using Gabor Wavelet Transformation,Fisher Faces and Integrated SVM with Application to Facial Expression Recognition[J].Application Research of Computers,2011,28(04):1536-1543.

[5]LAJEVARDI S M,HUSSAIN Z M.A Novel Gabor Filter Selection based on Spectral Difference and Minimum Error Rate for Facial Expression Recognition[C]//Digital Image Computing:Techniques and Applications(DICTA),2010 International Conference.Sydney,NSW: IEEE,2010:137-140.

[6]印勇,李榮崗,王建東.人臉表情識別的Gabor變換最優(yōu)通道模糊融合方法[J].重慶大學學報報,2010,33 (07):97-101.

YIN Yong,LI Rong-gang,WANG Jian-dong,et al.A Fuzzy Fusion Approach to Gabortransform Optimal Channels for Facial Expression Recognition[J].Journal of Chongqing University,2010,33(07):97-101.

[7]應(yīng)自爐,張有為,李景文.融合人臉局部區(qū)域的表情識別[J].信號處理,2009,25(06):963-966.

YING Zi-lu,ZHANG You-wei,LI Jing-wen.Facial Expression by Fusing Local Facial Regions[J].Signal Processing,,2009,25(06):963-966.

[8]趙三平,蘇麗秋.基于Gabor變換的圖像紋理識別[J].通信技術(shù),2008,41(12):259-261.

ZHAO San-ping,SU Li-qiu.Gabor Transformation based Image Texture Recognition[J].Communications Technology,2008,41(02):259-261.

[9]ZHANG L,ZHOU Z,LI H.Binary Gabor Pattern:An Efficient and Robust Descriptor for Texture Classification [C]//Image Processing(ICIP),2012 19th IEEE International Conference on.Orlando,FL:IEEE,2012:81-84.

[10]劉曉旻,章毓晉.基于Gabor直方圖特征和MVBoost的人臉表情識別[J].計算機研究與發(fā)展,2007,44 (07):1089-1096.

LIU Xiao-min,ZHANG Yu-jin.Facial Expression Recognition based on Gabor Histogram Feature and MVBoost[J].Journal of Computer Research and Development,2007,44(07):1089-1096.

[11]KHAN R A,MEYER A,KONIK H,et al.Exploring Human Visual System:Study to Aid the Development of Automatic Facial Expression Recognition Framework [C]//Computer Vision and Pattern Recognition Workshops(CVPRW),2012 IEEE Computer Society Conference.Providence,RI:IEEE,2012:49-54.

謝勁芳(1988—),女,碩士研究生,主要研究方向為模式識別;

XIE Jin-fang(1988-),female,graduate student,majoring in pattern recognition.

馮 桂(1960—),女,博士,教授,主要研究方向為信號與信息處理、通信系統(tǒng)信息安全理論、多媒體通信、計算機視覺、模式識別與影像理解等。

FENG Gui(1960-),female,Ph.D.,professor,mainly working at signal and information processing,communication systems and information security theory,multimedia communication,computer vision,pattern recognition and image understanding,et al.

Facial Expression Recognition based on Gabor Wavelet Transform

XIE Jin-fang1,FENG Gui2
(College of Information Science and Engineering,Huaqiao University,Xiamen Fujian 361021,China)

Aiming at the high dimensions of Gabor wavelets feature in facial expression recognition,a new method for coding Gabor multi-orientation features is proposed.After statistical processing of the Gabor features and binary processing of the magnitudes of different orientations,the local structural information representation of the image by Gabor wavelet is enhanced.Meanwhile,for reducing the image dimensions, a similar method as in the Rotation Invariant LBP is used and discussed.Furthermore,a method for fusing the local facial regions is employed,thus to improve the expression recognition rate.The experiment on JAFFE database indicates a fairly good recognition rate,and this verifies the effectiveness of the proposed algorithm.

facial expression recognition;TTT dimension reduction of Gabor wavelets feature;fusion of local regions

TP391

A

1002-0802(2014)01-0033-04

10.3969/j.issn.1002-0802.2014.01.007