一種基于Gabor小波及互協方差降維運算的人臉識別方法

李雅倩 張少偉 李海濱 張文明 張 強②

?

一種基于Gabor小波及互協方差降維運算的人臉識別方法

李雅倩*①張少偉①李海濱①張文明①張 強①②

①(燕山大學工業計算機控制工程河北省重點實驗室 秦皇島 066004)②(東北大學信息科學與工程學院 沈陽 110819)

針對傳統的人臉識別方法對人臉圖像的曝光量、表情比較敏感，并且具有較大類內離散度的缺點，該文提出一種基于Gabor小波以及加權互協方差運算的人臉識別算法。該算法首先對人臉圖像提取Gabor特征，然后使用加權的互協方差矩陣對經過處理的特征圖像進行降維及特征提取；最后使用最近鄰分類器進行分類。在ORL數據庫和AR數據庫上的實驗表明，該方法的降維和識別性能優于傳統2DPCA及其改進算法，能兼顧維度簡約性和準確性，有效地提高了識別性能。

人臉識別；Gabor小波；2維主成分分析；互協方差矩陣

1 引言

作為模式識別、圖像處理領域的典型研究課題，人臉識別不僅在理論上具有重要價值，而且在安全、金融等領域具有重要的應用前景，雖然人臉識別技術在商業上得到一定推廣，但是遮擋、外界光照、拍攝角度以及人臉表情對識別結果的干擾一直是該領域的研究重點與難點。近年來，鑒于對人臉圖像的曝光量、表情以及人臉角度具有良好的魯棒性能，多尺度、多方向的Gabor小波變換逐漸成為一種重要的特征提取方法。針對Gabor小波多尺度多方向濾波帶來的圖像高維度問題，PCA被廣泛應用于圖像降維，但是PCA降維不可避免地丟失了圖像的結構信息。為了保留圖像結構信息，文獻[3]提出2維主成分分析(2DPCA)思想，Zhang等人[4]提出按列分組進行特征提取的方法和基于對角線分組進行特征提取的方法[5](DiaPCA)，文獻[6]提出了加權變形的2DPCA(WV2DPCA)算法，文獻[7]提出將圖片分為局部視覺基元進行分類的算法，文獻[8]提出了結合行、列作為分組策略進行特征提取的((2D)2PCA)方法，文獻[9]使用相似性融合技術改進PCA算法來識別人臉。但是，以上的關于2DPCA的改進方法僅僅保存了PCA的協方差矩陣的主對角線上的元素。文獻[10]中也提到2DPCA的協方差矩陣與PCA的對角線上的協方差矩陣是等價的，這表明2DPCA忽略了一些對于人臉識別有用的協方差信息。

為了克服降維過程中的信息丟失，減少類內離散度并保持算法魯棒性，本文提出了一種使用Gabor小波進行圖片預處理，使用基于互協方差運算的2DPCA方法進行降維的人臉識別方法。該方法首先使用Gabor小波對圖片進行預處理，得出5個不同尺度、8個不同方向的40幅人臉Gabor小波特征圖像，然后經過擴張連接組成一幅特征圖像。將所得特征圖片分別以行、列作為隨機向量，使用互協方差方法[11]進行交叉運算，得出左、右映射矩陣進行加權的聯合映射，隨后采用最近鄰分類器進行分類并得出識別結果。通過實驗結果對比，該實驗方法相比傳統的方法具有較高的識別率，在安防、遠程人臉開戶等應用領域具有更高的使用價值。

2 基于互協方差降維運算(Cro2DPCA)的提出

2.1 2DPCA的求解過程概述

(2)

對于2DPCA使用行向量進行協方差矩陣的計算，其協方差矩陣可以表示為

(4)

結合式(3)，雖然2DPCA不用將圖像信息轉換為行向量，減小了計算維度，但是2DPCA及其改進算法在計算協方差矩陣的過程中只獲取了圖像的協方差信息，而忽略了一些對特征識別有幫助的互協方差信息，類內離散度較大，影響后續對圖像的特征提取。

2.2基于互協方差矩陣的2DPCA

鑒于傳統2DPCA算法在降維過程中存在的問題，本文提出了基于互協方差矩陣降維運算的2DPCA方法來獲得更多對分類有用的協方差信息。

(6)

對于幅訓練集圖像矩陣，其左奇異矩陣為

(9)

通過對比分析，使用基于互協方差矩陣的2DPCA方法進行降維不但保證了圖像的結構信息，而且在降維過程中保留了圖像的協方差和互協方差信息，可以減少后續投影矩陣的信息冗余，減小了類內離散度，便于在較小的特征維度下取得較高的識別率。

3 特征提取

使用奇異值分解可以獲得左奇異矩陣和右奇異矩陣的特征向量，用這些特征向量可以組成特征空間，從測試空間到特征空間的映射稱為特征提取的過程。在上一節中我們得到了維的左奇異矩陣和維的右奇異矩陣，通過奇異值分解可以得到對應的特征向量。為了解決使用2DGabor小波濾波引起的特征圖像維度過高、分類時間過長的問題，使左右奇異矩陣分別取,個主成分進行特征提取，則加權處理后可以得到大小為維的左特征矩陣和大小為維的右特征矩陣。對于一幅大小為的圖像矩陣，其特征矩陣可以表示為

基于上述分析，對于給定的C類，幅訓練樣本和幅測試集圖片，本算法步驟可以概括如下：

(1)進行2DGabor小波濾波[12]。將訓練集和測試集圖片經過2DGabor小波進行濾波，得到融合后的圖像；

(2)求解左右奇異矩陣。使用經過步驟(1)處理的訓練集圖片，結合式(9)求解左右奇異矩陣；

(3)計算左右特征矩陣。經過奇異值分解得到左右奇異矩陣的特征向量，分別取,個主成分進行特征提取，得到左特征矩陣和右特征矩陣；

(4)特征提取。將所有經過步驟(1)處理的圖片經過式(10)進行特征提取；

(5)分類識別。應用最近鄰分類器[3]對測試集進行分類。

4 實驗分析

為了驗證該算法的有效性，本實驗將在ORL與AR人臉數據庫上對2DPCA算法、2DPCA+Gabor算法、基于互協方差降維運算的2DPCA算法(Cro2DPCA算法)以及本文方法(Cro2DPCA+ Gabor算法)進行對比說明。實驗使用配置為i5- 3210M的CPU, 4核2.4 GHz, 8 G內存的筆記本電腦，使用MATLAB R2014a進行編程。

4.1 人臉庫介紹

ORL人臉數據庫是由不同年齡、性別、以及種族的40人，每人10幅共400幅圖像組成。其中每幅圖像的大小為112×92像素，人臉部分表情和細節均有變化。例如笑與不笑、睜眼與閉眼、戴與不戴眼鏡等。人臉姿態也有變化，其傾斜和旋轉角可達，人臉尺寸也有最多10%的變化[6]。該實驗選用每人前2幅圖片作為訓練集，后8幅圖片為測試集用以對比在小訓練樣本下的各識別方法效果。

AR數據庫由126人分兩個不同時期采集的超過4000幅圖片組成，本實驗選用其中的120人，每人14幅無遮擋圖片作為實驗樣本，每幅圖片被裁剪為50×40像素。對于每個樣本，分別對應中性表情、微笑、生氣、尖叫、左臉強光照射、右臉強照射、正面強光的情況，且前7張和后7張圖片有兩周的拍攝時間間隔[3]。本實驗選用第1~4, 8~11張圖片用于訓練，其余圖片用于測試，用來驗證各算法在不同曝光量、不同表情下的實驗效果。

4.2實驗結果分析

圖1分別給出了在ORL和AR數據庫上4種算法在不同維度下的識別效率。為了便于比較，在本圖中令Cro2DPCA算法與本文算法的左右特征矩陣主成分數相同()。通過對比可得：對于ORL人臉數據庫，在小訓練樣本情況下，4種算法均在達到最高識別率后有所下降并保持穩定。本文提出的算法達到最高識別率所需維度稍高于另外3種算法，但在較寬的維度范圍內識別率取得最大值且穩定，比另外3種算法的識別率分別高出約4%, 10%, 13%。對于AR數據庫，Cro2DPCA算法比2DPCA算法提高約6%，本文提出的算法的識別率隨著維度增加提高明顯，并且在取較少主成分數時達到最高識別率，較2DPCA+Gabor算法提高約8%，較另外兩種算法提高約30%。綜合分析，由于Cro2DPCA算法減小了類內離散度，2DPCA+Gabor算法具有較好的魯棒性，使兩種算法比2DPCA算法均取得較好效果。而本文提出的算法結合了兩者優點，取得了高于兩者的識別率，驗證了該算法的有效性。

表1和表2分別給出了在ORL數據庫和AR數據庫下各算法的最高識別率以及對應維數和所需時間。對于2DPCA算法以及Cro2DPCA算法，預處理時間為MATLAB讀入圖片所需時間；對于2DPCA+Gabor算法和本文提出的Cro2DPCA+ Gabor算法，預處理時間為MATLAB讀入圖片所需時間與Gabor小波濾波變換時間之和。本文為了突出基于互協方差降維運算的有效性，以是否加入Gabor小波為區別將2DPCA算法、Cro2DPCA算法作為第1組，將2DPCA+Gabor算法、本文算法作為第2組進行說明。由于加入Gabor小波進行濾波，使用于特征提取的圖像擴大了近40倍，因此第2組總體所用時間較多。對于ORL數據庫實驗，由表1可知，與第1組數據相比，第2組數據由于加入了Gabor小波進行圖片預處理使耗費時間增多，但識別率有明顯提升。在第2組實驗內部，本文提出的算法比2DPCA+Gabor算法在識別率與耗費時間上均具有明顯優勢。對于AR數據庫實驗，在第1組實驗內部，使用加權的互協方差運算(Cro2DPCA)后識別率有所提升，且減小了取得最高識別效果時的維度，使特征提取時間降低為2DPCA算法的19.4%，分類時間降低為2DPCA算法的13.6%，總時間降為2DPCA算法的17.3%。與第1組實驗相比，第2組實驗的2DPCA+Gabor算法耗費時間為2DPCA算法的6.7倍，識別率提升近30%。所結合上述兩種算法的優點，不但保證了維數的簡約性，而且大幅度提升了識別率，保證了算法對光照情況更加健壯。

通過兩組數據組內與組間的對比實驗可得結論，無論是對于小訓練樣本還是大量的訓練樣本數據，本文算法比其它3種方法的識別效果都具有明顯優勢。

圖1 ORL與AR庫上各算法維度對應的識別率對比

表1 ORL數據庫下各算法最高識別率以及對應維度、時間對比

表2 AR數據庫下各算法最高識別率以及對應維度、時間對比

5 結束語

本文提出一種改進的降維以及特征提取方法，并結合2DGabor小波濾波優勢，將其應用到人臉識別中。一方面，通過2DGabor小波濾波增強識別魯棒性，減少視角、光照變化、姿態等對識別率影響；另一方面，基于互協方差矩陣的2DPCA算法充分利用了有用的互協方差信息，減少了類內離散度；最后，對左右奇異矩陣進行加權特征提取有效地解決了2DGabor小波濾波帶來的高維度，用時長問題。在ORL和AR數據庫上的實驗結果驗證了該算法無論在小訓練樣本還是多訓練樣本上都具有明顯優勢。

鑒于非負矩陣分解具有特征辨識的物理意義，符合大腦對信息的處理機制和人的認知過程，如何結合非負矩陣分解與互協方差運算以獲得更高的識別效果是我們下一步的研究內容。

[1] KAMARUZAMAN F and SHAFIE A A. Optimization of real-time Gabor-based face recognition[C]. IEEE International Symposium on Robotics and Intelligent Sensors, Langkawi, Malaysia, 2015: 301-306. doi: 10.1109/IRIS.2015. 7451629.

[2] DOSODIA P, POONIA A, GUPTA S K,New Gabor- DCT feature extraction technique for facial expression recognition[C]. International Conference on Communication Systems & Network Technologies, Gwalior, India, 2015: 546-549. doi: 10.1109/CSNT.2015.162.

[3] YANG Jian, ZHANG David, FRANGI A F,Two- dimensional PCA: A new approach to appearance-based face representation and recognition[J]., 2004, 26(1): 131-137. doi: 10.1109/TPAMI.2004.1261097.

[4] ZHANG Daoqiang and ZHOU Zhihua. (2D)2PCA: Two- directional two-dimensional PCA for efficient face representation and recognition[J]., 2005, 69(1-3): 224-231. doi: 10.1016/j.neucom.2005.06.004.

[5] ZHANG Daoqiang, ZHOU Zhihua, and CHEN Songcan. Rapid and brief communication: Diagonal principal component analysis for face recognition[J]., 2006, 39(1): 140-142. doi: 10.1016/j.patrec.2005. 08.002.

[6] 曾岳, 馮大政. 一種基于加權變形的2DPCA的人臉特征提取方法[J]. 電子與信息學報, 2011, 33(4): 769-774. doi: 10.3724/ SP.J.1146.2010.01003.

ZENG Yue and FENG Dazheng. An algorithm of feature extraction of face based on the weighted variation of 2DPCA[J].&, 2011, 33(4): 769-774. doi: 10.3724/SP.J.1146.2010.01003.

[7] 曹明明, 干宗良, 崔子冠, 等. 基于2D-PCA特征描述的非負權重鄰域嵌入人臉超分辨率重建算法[J]. 電子與信息學報, 2015, 37(4): 777-783. doi: 10.11999/JEIT140739.

CAO Mingming, GAN Zongliang, CUI Ziguan,Novel neighbor embedding face hallucination based on non-negative weights and 2D-PCA feature[J].&, 2015, 37(4): 777-783. doi: 10.11999/ JEIT140739.

[8] JEONG D, LEE M, and BAN S W. (2D)2PCA-ICA: A new approach for face representation and recognition[C]. IEEE International Conference on Systems, Man and Cybernetics, San Antonio, TX, USA, 2009: 1792-1797. doi: 10.1109/ ICSMC.2009.5346886.

[9] CAMENT L A, GALDAMES F J, BOWYER K W,Face recognition under pose variation with active shape model to adjust Gabor filter kernels and to correct feature extraction location[C]. International Conference on Automatic Face and Gesture Recognition, Slovenia, Yugoslavia, 2015: 1-6. doi: 10.1109/FG.2015.7163139.

[10] SAFAYANI M, SHALMANI M T M, and KHADEMI M. Extended two-dimensional PCA for efficient face representation and recognition[C]. International Conference on Intelligent Computer Communication and Processing, Cluj-Napoca, Romania, 2008: 295-298. doi: 10.1109/ICCP. 2008.4648390.

[11] GAO Yongxin, LI X R, and SONG Enbin. Robust linear estimation fusion with allowable unknown cross- covariance[C]. International Conference on Information Fusion, Salamanca, Spain, 2014: 1-12. doi: 10.1109/TSMC. 2015.2487882.

[12] SRINIVASAN M. Using Bayesian statistics and Gabor wavelets for recognition of human faces[C]. Eighth International Conference on Advances in Pattern Recognition, Kolkata, India, 2015: 1-6. doi: 10.1109/ICAPR.2015. 7050658.

Face Recognition Method Using Gabor Wavelet and Cross-covariance Dimensionality Reduction

LI Yaqian①ZHANG Shaowei①LI Haibin①ZHANG Wenming①ZHANG Qiang①②

①(,,066004,)②(,,110819,)

The traditional face recognition is sensitive to light condition as well as facial expression, and has a shortcoming of high intra-group dispersion, a novel method is proposed to overcome these defects by combining Gabor wavelet and a weighted computation based on the cross-covariance. Firstly, Gabor features are extracted from the face image. Then, a weighted cross-covariance matrix is used for dimension reduction and feature extraction. Finally, the nearest neighbor classifier is performed for classification. Experimental results on the ORL face database and the AR face database show that the recognition performance of the proposed method is superior over the 2DPCA and its improved algorithm. It also reduces the dimensionality of feature and improves the recognition performance effectively.

Face recognition; Gabor wavelet;2-Dimensional Principal Component Analysis (2DPCA); Cross- covariance matrix

TP391.41

A

1009-5896(2017)08-2023-05

10.11999/JEIT161103

2016-10-18；

改回日期：2017-03-01；

2017-04-14

李雅倩 yaqian.li@gmail.com

河北省自然科學基金(F2015203212)

The Natural Science Foundation of Hebei Province (F2015203212)

李雅倩： 女，1982年生，副教授，研究方向為機器視覺、模式識別.

張少偉： 男，1990年生，碩士生，研究方向為機器視覺、模式識別、人臉識別.

李海濱： 男，1978年生，教授，研究方向為工業過程控制、機器視覺、人工智能.

張文明： 男，1979年生，副教授，研究方向為工業過程控制、機器視覺.

張 強： 男，1982年生，博士生，研究方向為機器視覺.