基于多尺度Gabor特征的三維人臉識別方法

鄒紅艷 達飛鵬 王朝陽

(1東南大學自動化學院,南京210096)

(2南京林業大學機械電子工程學院,南京210037)

人臉是人類固有的、隨著生命的成長持續穩定的生物特征.近年來,隨著三維數據采集技術的發展,基于三維人臉模型的識別技術得到迅速發展.三維形狀采集設備對光照變化的魯棒性和三維點云的對齊算法使三維人臉模型不受光照和姿態變化的影響,但是表情變化帶來的非剛性形變是目前三維人臉識別技術最大的挑戰之一[1-2].

三維人臉識別方法致力于提取具有身份表征性以及表情不變性的識別特征來保持類間差異并縮小類內差異.受二維人臉識別方法啟發,一些三維人臉識別方法將三維人臉模型映射至深度圖像或EGI(extended Gaussian image)圖像,然后利用二維人臉識別的方法實現三維人臉識別.Hesher等[3]在三維人臉模型的深度圖像上分別進行PCA(principal component analysis)和ICA(independent component analysis)處理,然后用最近鄰分類器對相似度進行分類.Srivastava等[4]將三維人臉的深度圖像映射至利用格拉斯曼流形(Grassmann manifold)的隨機最優算法訓練的子空間,再用最近鄰分類器或支持向量機進行分類,得到了優于PCA和ICA算法的識別結果.

Gabor變換是廣泛應用于圖像處理、計算機視覺、模式識別等領域的圖像分析工具.Daugman[5]指出Gabor核函數的結構特征與哺乳動物視網膜細胞類似,能夠捕捉不同的空間頻率、空間位置以及方向性等局部結構信息.Cook等[6]使用log-Gabor濾波器分解三維人臉模型的深度圖像和灰度圖像,然后用PCA方法將分解后的圖像特征降維,最后用Mahalinobis余弦距離計算相似度.Xu等[7]對三維人臉模型的深度圖像和灰度圖像進行Gabor變換,然后用基于LDA以及AdaBoost學習方法的級聯分類器選擇具有表情不變性的Gabor響應系數.

幾何圖像(geometry image)不僅保留了點集的空間坐標信息,同時包含了三維網格的拓撲信息.本文用多尺度Gabor變換將三維人臉的幾何圖像分解為不同尺度下包含不同頻率、不同方向人臉信息的Gabor響應,提取各尺度下的垂直低頻Gabor響應作為三維人臉的Gabor特征,然后計算多尺度Gabor特征的相似度來識別人臉.大量的實驗證明多尺度Gabor特征不僅很好地保持了三維人臉的類間差異,而且大大縮小了表情變化帶來的類內差異,因此本文提取的特征具有較好的身份表征性.

1 三維人臉預處理與幾何圖像生成

本文實驗中采用的FRGC (face recognition grand challenge) v2.0數據庫三維人臉模型是三維空間中8×104～13×104個點構成的點云,其中每個點由x,y,z坐標唯一表示.根據各點的形狀指數(shape index, SI)[8]以及幾何約束定位鼻尖點,然后采用文獻[9]中的方法獲得人臉臉部區域并進行姿態校正,使三維人臉在統一坐標系下具有相同的正面姿態(見圖1(a)).對臉部區域的點云三角化并用基于網格的平滑算法去除噪聲,最后將受表情影響最大的嘴部區域切除,得到光滑的上半張人臉模型(見圖1(b)).

將預處理后的三維人臉模型映射至平面上的參數化網格.即把空間三維網格的邊界點均勻地映射到平面上一個128×128像素大小的正方形的四條邊上,把非邊界點映射到正方形內部.空間三維網格的頂點記為v=(x,y,z),拉普拉斯矩陣L=D-A.其中,A為頂點的鄰接矩陣,A=(aij),當點vi與點vj相連時aij為1,否則為0;D為對角矩陣,位置(i,i)的值為頂點vi的度.

圖1 預處理與幾何圖像生成

(1)

2 Gabor特征

2.1 Gabor變換

Gabor濾波器是高斯包絡函數約束的正弦曲線,其實質是一組帶通濾波器，表達式如下:

(2)

式中,u=xcosθ+ysinθ,v=-xsinθ+ycosθ,θ為核函數的濾波方向;σu和σv分別為高斯包絡在u軸和v軸上的標準差,決定了二維Gabor濾波掩模的大小;ω為用于調制核函數的中心頻率.

用具有不同調制頻率、掩模尺寸以及濾波方向的Gabor濾波器對幾何圖像的x,y,z通道分別進行卷積運算,得到包含不同空間頻率、空間位置以及不同方向的局部結構信息的Gabor響應系數.用5種不同中心頻率和4個濾波方向的Gabor濾波器組分解幾何圖像(以z通道為例),得到不同頻段、不同方向的Gabor響應如圖2所示.

圖2 幾何圖像Gabor響應

2.2 多尺度Gabor特征提取

Gabor濾波器的通帶中心頻率隨調制頻率ω的變化而變化,圖2中各列Gabor濾波器的中心頻率依次遞增,對幾何圖像進行卷積運算后得到Gabor響應系數.中心頻率較低的Gabor濾波器提取幾何圖像低頻段信息,對應于空間中三維人臉的輪廓和邊緣等特征.中心頻率較高的Gabor濾波器提取幾何圖像高頻段信息,主要對應于三維人臉的細微紋理等.由于細微紋理對噪聲和人臉表情較敏感而且有用信息量少,因此本文主要使用低頻Gabor響應進行三維人臉識別.

圖2中各行Gabor濾波器的濾波方向分別為0,π/4,π/2和3π/4,相應的Gabor響應為水平、主對角線、垂直和次對角線方向的Gabor響應.其中水平方向Gabor響應體現人臉的眼睛等水平邊緣特征,主對角線和次對角線方向的Gabor響應反映了人臉的對角線方向邊緣信息,垂直方向的Gabor響應反映人臉的鼻子、輪廓等垂直邊緣特征.

人的眼睛在不同的表情下具有不同的形態,因此表征眼睛特征的水平Gabor響應不適合作為三維人臉的識別特征.此外,幾何圖像對角線方向邊緣信息受表情和姿勢影響較大,因此對角線方向的Gabor響應同樣不適合作為三維人臉的識別特征.根據文獻[10],鼻子區域是人臉表面受表情影響最小的局部區域,而且人臉的外觀輪廓在各種表情下基本保持穩定,因此幾何圖像的垂直Gabor響應具有一定的表情不變性.

不同的人臉表情行為具有不同的尺度[11],例如驚訝的表情使面部區域大范圍地發生形變,需要在大尺度下對其進行分析,而微笑的表情只對嘴部區域有明顯的影響,因此需要在小尺度下進行分析.本文用3個不同尺度的Gabor濾波器提取幾何圖像的垂直低頻Gabor響應作為人臉的Gabor特征.分別計算各尺度下Gabor特征的均方差MSE,并求和作為總相似度,最后用最近鄰分類器判別人臉身份。

3 實驗與分析

由圣母諾特丹大學(University of Notre Dame)采集并建立的FRGC v2.0數據庫是目前應用得較廣泛的三維人臉數據庫.本文在FRGC v2.0數據庫中隨機選擇來自21個個體的200張人臉來進行識別實驗和認證實驗,實驗結果分別用CMC (cumulative match characteristic)曲線和ROC (receiver operating characteristic)曲線表示.

3.1 低頻Gabor響應的身份表征性

用調制頻率分別為0.01,0.02,0.03,0.05和0.08的Gabor濾波器對幾何圖像進行卷積運算,得到包含不同頻段人臉信息的Gabor響應.分別以各頻段垂直方向Gabor響應作為人臉特征進行識別和認證實驗,得到的實驗結果如表1所示.

表1 不同頻段Gabor響應作為人臉特征的實驗結果

由表1可看出,以高頻Gabor響應(ω>0.03)作為識別特征的識別率與認證率遠低于以低頻Gabor響應(ω≤0.03)為識別特征的實驗.說明低頻Gabor響應包含三維人臉的主要幾何信息,身份表征性較好.本文使用調制頻率分別為0.01,0.02和0.03的低頻Gabor濾波器組提取識別特征.

3.2 多尺度Gabor特征

利用濾波方向θ分別為0,π/4,π/2和3π/4的低頻Gabor濾波器組提取幾何圖像的水平方向、主對角線方向、垂直方向和次對角線方向的Gabor響應.以各個方向的低頻Gabor響應作為人臉特征的實驗結果如表2所示.

表2 不同方向低頻Gabor響應作為人臉特征的實驗結果

由表2可看出,主對角線和次對角線方向的Gabor響應實驗結果較差,說明幾何圖像的主對角線方向和次對角線方向的邊緣信息受噪聲影響明顯,穩定性差.水平方向實驗結果稍好,說明幾何圖像的水平邊緣信息具有一定的身份表征性,但是仍然受表情變化的影響.而以垂直方向的低頻Gabor響應作為人臉特征則得到較高的識別率和認證率,說明垂直方向的低頻Gabor響應具有較高的身份表征性以及表情不變性,可以選作三維人臉識別的Gabor特征.

為了克服不同表情帶來的不同尺度的非剛性形變,本文用大小分別為15×15,31×31和51×51的Gabor濾波掩模對幾何圖像進行卷積運算并提取各尺度下的Gabor特征.計算各尺度Gabor特征的MSE并相加作為人臉識別的相似度.以多尺度Gabor特征為識別特征的實驗取得了98.81%的Rank-1識別率和95.3%的正確認證率(FAR為0.1%),說明多尺度Gabor特征具有較好的身份表征性.

3.3 嘴部區域對人臉識別的干擾

嘴部區域是三維人臉區域受表情影響最大的子區域[10],不同表情下嘴部的姿態變化使三維人臉模型產生非剛性形變,嚴重影響識別算法的穩定性.

在整張人臉區域和上半張人臉區域上分別提取多尺度Gabor特征并進行識別實驗和認證實驗,實驗結果如圖3所示.使用整張人臉的實驗得到92.8%的Rank-1識別率以及86.7%的正確認證率,而去除嘴部區域后,使用上半張人臉的實驗得到98.81%的Rank-1識別率以及95.3%的正確認證率(FAR為0.1%).因此去除嘴部區域的干擾后,三維人臉識別方法的精度得到了明顯的提高.

3.4 與其他方法的比較

ICP剛性匹配方法是FRGC v2.0數據庫的基準識別方法,圖4為本文方法與ICP方法的對比結果.由圖可見,ICP方法的Rank-1識別率為91.67%,本文方法的Rank-1識別率為98.81%.在FAR為0.1%時,ICP方法的正確認證率為90.4%,而本文方法的正確認證率為95.3%.

圖3 CMC和ROC曲線

圖4 本文方法與ICP基準方法的比較

Cook等在文獻[6]中將三維人臉深度圖像的147個log-Gabor響應作為識別特征,得到了92.93%的Rank-1識別率和92.31%的正確認證率.Xu等在文獻[7]中提取三維人臉模型的深度圖像和灰度圖像的Gabor響應作為識別特征,取得的正確認證率略高于本文方法,但是文獻[7]使用基于LDA以及AdaBoost學習方法的級聯分類器選擇Gabor特征,運算效率低于本文方法.對比結果表明,相對于數據庫的基準算法以及其他使用Gabor特征在FRGC v2.0數據庫中進行實驗的算法相比,本文提出的三維人臉識別方法的識別率有較明顯的提高.

3.5 運行時間分析

在電腦配置為Core(TM)2 Duo 2.34 GHz CPU,4.0 GB內存的計算機上,使用Matlab與C++混合編程.算法各步驟的運算時間如表3所示,其中平滑和網格參數化過程中采用了MEX C++加速.

表3 算法各步驟運算時間分析

從表3可看出,預處理過程占據了大部分運算時間,特征提取和匹配用時較少.由于原始三維人臉數據點云在106數量級,剪切平滑后的三角面片也在103數量級,如此高的數量級使生成幾何圖像的過程耗費較長時間.但從總體來看,本文方法進行一次三維人臉認證所需要的時間在可接受的范圍內.

4 結語

本文提出了一種基于多尺度Gabor特征的三維人臉識別方法.首先將三維人臉模型的上半張人臉區域經過平面參數化和線性插值映射至幾何圖像,利用多尺度Gabor變換將幾何圖像分解為不同尺度下包含不同頻率、不同方向人臉信息的Gabor響應.然后選用3個不同尺度下的垂直低頻Gabor響應作為三維人臉Gabor特征.在FRGC v2.0數據庫中進行的大量實驗表明，本文提出的方法識別效果較好,提取的特征具有較好的身份表征性.

)

[1] Al-Osaimi F, Bennamoun M, Mian A. An expression deformation approach to non-rigid 3D face recognition[J].InternationalJournalofComputerVision, 2008,81(8):1346-1357.

[2] Wang Yueming, Liu Jiangzhuang, Tang Xiaoou. Robust 3D face recognition by local Shape difference boosting[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2010,32(10): 1858-1870.

[3] Hesher C, Srivastava A, Erlebacher G. A novel technique for face recognition using range imaging[C]//ProceedingsoftheSymposiumonSignalProcessingandItsApplications. Paris, France, 2003:201-204.

[4] Srivastava A, Liu X, Hesher C. Face recognition using optimal linear components of range images[J].ImageandVisionComputing, 2006,24(3): 291-299.

[5] Daugman J. Complete discrete 2-D Gabor transforms by neural networks for image analysis and compression[J].IEEETransactionsonAcoustics,Speech,andSignalProcessing, 1988,36(7):1169-1179.

[6] Cook J A, Chandran V, Fookes C B. 3D face recognition using log-Gabor templates[C]//BritishMachineVisionConference. Edinborough, Scotland, 2006:1-10.

[7] Xu Chenghua, Li Stan, Tan Tieniu, et al. Automatic 3D face recognition from depth and intensity Gabor features[J].PatternRecognition, 2009,42(9):1895-1905.

[8] Dorai C, Jain A K. COSMOS—a representation scheme for 3D free-form objects [J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 1997,19(10): 1115-1130.

[9] 鄒紅艷, 達飛鵬, 李曉莉.基于面部曲線特征融合的三維人臉識別[J].東南大學學報：自然科學版,2012,42(4):618-622.

Zou Hongyan, Da Feipeng, Li Xiaoli. 3D face recognition using compositional features from facial curves[J].JournalofSoutheastUniversity:NaturalScienceEdition, 2012,42(4):618-622.(in Chinese)

[10] Fltemier T, Bowyer K, Flynn P. Using a multi-instance enrollment representation to improve 3d face recognition[C]//FirstIEEEConferenceonBiometrics:Theory,Application,andSystem. Washington, DC, USA, 2007:1-6.

[11] 劉帥師,田彥濤,萬川.基于Gabor多方向特征融合與分塊直方圖的人臉表情識別方法[J].自動化學報, 2011, 37(12):1455-1463.

Liu Shuaishi, Tian Yantao,Wan Chuan. Facial expression recognition method based on Gabor multi-orientation features fusion and block histogram[J].ActaAutomaticaSinica, 2011,37(12): 1455-1463.(in Chinese)