基于Ｇａｂｏｒ小波和模型自適應的魯棒人臉識別方法

摘 要：提出了一種基于Gabor小波人臉特征和模型自適應算法的新魯棒人臉識別方法。該方法在真實識別前，通過用與真實識別相同的環境條件下所獲得的人臉圖像數據對原始模型進行更新補償，實現了模型自適應。該模型自適應更新算法是加性的，其具有較低的時間和空間復雜度。通過模型自適應更新，新方法可以有效地減少模型和識別數據間的失配，從而提高識別率。在ATT和MITCBCL人臉數據庫上的測試結果表明，該方法是有效的。

關鍵詞：模型補償； 人臉識別； 模型自適應； Gabor； 聯想記憶模型

中圖分類號：TP39141 文獻標志碼：A

文章編號：10013695(2008)09286804

Robust face recognition by Gabor features and model adaptation

LIN Jie， LI Jianping

(School of Computer Science Engineering， University of Electronic Science Technology of China， Chengdu610054， China)

Abstract:This paper proposed a robust face recognition algorithm based on Gabor wavelet representations and model adaptation. The models used in this work were from linear associative memory method and fast compensated by adaptively learning from the given facial data， which were obtained in same condition as testing. The proposed adaptation algorithm is incremental. It has low time and space complexity. By compensating models， this method can efficiently reduce the mismatch between models and testing data， substantially improving the performance of classifier. The new recognition method was tested using two widely used face datasets：ATT and MITCBCL face database. Results indicate that the algorithm is effective. And due to the computational simplicity， the algorithm is also efficient.

Key words：model compensation; face recognition; model adaptation; Gabor; associative memory model

隨著圖像處理和模式識別技術的發展，近幾年，人臉識別已經成為模式識別和人工智能領域的研究熱點之一。目前主要的人臉識別方法有PCA方法^[1，2]、Fisher臉方法^[3]、支持向量機(SVM)^[4，5]和聯想記憶模型(associative memory， AM)^[6~9]等。但是在實際應用中這些算法的性能并不理想。其主要原因是在實際應用中，光照條件、人臉旋轉角度、表情、發型和背景等因素的變化造成了模型和識別數據間的失配，從而影響了識別算法的性能。

Gabor濾波器^[10，11]能夠提取諸如空間位置、方向取向選擇性和空間頻率特性等視覺特征，并且該特征具有對亮度和人臉表情變化不敏感的優點，采用Gabor小波變換作為人臉特征提取方法。同時結合Gabor小波人臉特征，本文提出了一種基于Gabor小波人臉特征和模型自適應更新算法的魯棒人臉識別新方法。該方法可以有效地減小由光照條件、發型和背景等因素的變化所造成的模型和識別數據間的失配，從而有效地提高識別效果。該方法采用聯想記憶模型(AM)作為基本模型。在新方法中，為了有效地減小模型和識別數據間的失配，在識別前，通過用與識別相同的環境條件下所獲得的人臉圖像數據對原始模型進行更新和補償，從而使模型自適應于相應的識別環境。因而新方法的識別過程由兩個階段組成，即模型自適應階段和真實識別階段。在模型自適應階段，筆者用在與真實識別階段相同的環境條件下所獲得的人臉圖像對原始模型進行更新，實現模型自適應，從而減小了模型與識別數據間的失配。一種較簡單的模型自適應方法為重新訓練法，其通過用最初的訓練數據集和模型自適應階段獲得的人臉圖像數據對模型進行重新訓練來實現模型自適應。但是當人(類)數目較大時，該算法具有很大的時間和空間復雜度。本文提出了一種更實際和有效的加性模型自適應算法。該算法的優點在于有很低的時間和空間復雜度，并且其效果近似于重訓模型方法。在真實識別階段，首先獲得待識別人臉圖像的Gabor小波人臉特征；然后基于更新后的聯想記憶模型和相似度判斷，選擇具有最大相似度的一類作為識別結果。

1 Gabor小波人臉特征

Gabor濾波器的特性使得其對于亮度和人臉表情變化不敏感，這對于人臉識別極為有利，因此在人臉識別中得到了廣泛應用。二維Gabor濾波器^[10]可表示為

其中：z=(x，y)為坐標值，kμ，v=kvei u，kv=kmax/fv，μ=πμ/8。f為頻率域中的采樣步長，通常取f=2。kmax對應最大的采樣頻率，取kmax=π/2。參數σ決定了高斯窗的寬度與波向量長度的比率，在本文中取σ=7π/4。參數v控制Gabor濾波器的尺度，即確定濾波器的頻域中心；μ控制濾波器的方向取向，選取不同的參數，則形成不同的帶通濾波器。本文中濾波器取下列參數：尺度v∈{0，1，2，3，4}；方向取向μ∈{0，1，2，3，4，5，6，7}。

一幅人臉圖像的Gabor小波表示是通過圖像與一組Gabor變換核的卷積得到的。假定I(x，y)是一幅灰度圖像，其Gabor小波變換定義如下：

其中：T表示轉置運算。本文令采樣因子ρ為4×4，即對矩陣的行和列分別以4為間隔進行下采樣。

2 聯想記憶模型

本章對聯想記憶模型^[6~9]理論作簡要介紹。聯想記憶是神經元網絡模擬人腦的一種重要的記憶方式，具有容錯性及抗干擾性。聯想記憶的過程分為兩個階段：第一個階段是樣本的存儲及構建聯想記憶矩陣P。假設輸入向量為xk輸出向量為yk（k=1，2，…，N），聯想記憶矩陣P的基本構造方法如下式所示：

P=YX+（5）

這里Y=(y1，y2，…，yN)，X=(x1，x2，…，xN)分別為所有輸入輸出向量組成的矩陣；X+是矩陣X的偽逆矩陣，X+=〈X，X〉-1X T。

第二階段是聯想記憶。當輸入一信息xk時，經過聯想矩陣P，由下式可得到輸出向量:

聯想記憶模型可以有效地應用于人臉識別中。假設第m（m=1，2，…，M）個人的第k幅訓練人臉圖像經Gabor小波變換后得到的特征矢量為xmk，訓練階段可由式（5）構造第m（m=1，2，…，M）個人的聯想記憶模型Pm=XmXm+。這里Xm=(xm1，xm2，…，xmN)，N為第m個人的訓練圖像數。在識別時，將待識別人臉圖像的Gabor特征向量y輸入這M個模型，即可由m=P(m)y（m=1，2，…，M）獲得待識別人臉圖像的M個估計值。然后可基于歐式距離或相似性獲得y與m（m=1，2，…，M）的距離或相似度，并選擇具有最小距離d(y，m)或最大相似度sim(y，m)的一類為識別結果。距離和相似性函數定義如下：

d(y，m)=‖y-m‖=‖y-P(m)y‖（7）

sim(y，m)=(yT·(P(m)y))/(‖y‖·‖P(m)y‖)（8）

本文使用相似性函數作為分類判別函數。

3 模型自適應更新算法

如前所述，在實際情況中，由于光照、發型、背景、表情等因素的變化造成了模型和識別數據間的失配，很大程度地影響了人臉識別系統的性能。一種有效的減小模型和識別數據間的失配方法是用與識別相同的環境條件下所獲得的人臉圖像數據對原始模型進行更新和補償，從而使模型自適應于相應的識別環境。一種較簡單的模型自適應方法為重新訓練法。其方法是首先把最初的訓練數據集X和模型自適應階段獲得的新人臉圖像數據U構成一新的訓練數據集[X U]，然后用式（5）和此新訓練集重新訓練一新模型，從而實現模型自適應更新。但是這種方法存在以下兩個缺點：a)為了對模型進行更新，需要存儲以往所有的訓練數據，所以當類數目較大時，需要大量的存儲空間來保存以往的訓練樣本集，因而該方法無法應用于內存空間有限的情況。b)由于每次對模型的自適應更新需要將新得到的訓練樣本和以往所有的訓練樣本構成一新訓練數據集，然后用式(5)重新訓練聯想記憶矩陣P，當訓練樣本數目較大并且類數較多時，模型更新過程具有較高的時間復雜度的缺點。

相對于重新訓練方法，根據投影矩陣更新方法^[12]，本文提出了一種新的更為實際和有效的加性模型自適應更新算法。采用加性自適應更新算法有以下兩個優點：a）不需要對以往的所有訓練數據進行存儲，而只需存儲以往計算得到的模型數據，因而有效地減少了對存儲容量的需求。b）用加性更新避免了對模型進行重新訓練，有效地降低了計算復雜度。因而本文所提出的新算法可以有效地解決重新訓練法的兩大缺點，有效地減少時間和空間復雜度。

設初始訓練數據集為X，模型自適應階段獲得的新人臉圖像數據為U=(u1，u2，…，uK)。本文的目的是獲得與新子空間[X U]對應的新聯想記憶矩陣PX，U，從而實現模型的自適應更新。根據文獻[12]，設由初始訓練數據訓練得到的聯想記憶矩陣為PX，求更新的矩陣PX，U的加性更新方法是將PX，U分解為兩個部分之和：一部分是非自適應部分，即已知部分PX；另一部分為自適應補償部分Pw?？赏ㄟ^式（9）對原始模型進行加性自適應更新。

PX，U=PX+αPw(9)

其中：α為補償系數。通過實驗筆者發現，α取0.6~0.8時所產生的識別效果最佳。在闡述該加性自適應更新算法之前，首先給出一個定理。

定理1 PTX=PX

證明 PTX=(X(XTX)-1XT)T=X((XTX)-1)TXT=X(X-1(XT)-1)TXT=X(X-1(X-1)TXT=X(X

解決式（9）的一種較簡單方法是假設PX與Pw彼此正交，及PX⊥

由于更新是通過原始模型PX和模型自適應階段獲得的新數據U實現的，而PX中不包含模型自適應階段所獲得的新數據的任何作用，正交分解中的更新部分Pw應該包含模型自適應階段獲得的新數據U。不妨令w=HU，根據式（5），Pw可寫為

只可能有PXH=0。這表明H和PX正交，即H可記為P⊥X，并可由下式定義：

這里很容易證明PX(I-PX)=0。從而w可重寫為

4 新魯棒人臉識別方法

本文所提出的新魯棒人臉識別方法結合了第1章描述的Gabor小波人臉特征、基本AM模型和第3章提出的模型自適應更新算法。完整的模型由M個獨立的AM模型組成。其中每一個AM模型對應一個人（類）。新方法由訓練、模型自適應和真實識別三個階段組成。

41 模型訓練階段

假設訓練圖像集為O=(O(1)，O(2)，…，O(M))。M為人（類）數。O(m)=(O(m)1，O(m)2，…，OmN)(m=1，2，…，M)為第m個人的訓練圖像集。N為第m個人的訓練圖像數。

在訓練時首先利用Gabor小波變換對人臉圖像進行特征提取，得到訓練特征集X=(X(1)，X(2)，…，X(M))。這里，X(m)=(x(m)1，x(m)2，…，xmN)（m=1，2，…，M）為第m個人的訓練特征集合，xmi為訓練人臉圖像Omi的Gabor小波人臉特征矢量，然后由式（5）和X(m)構建第m（m=1，2，…，M）個人的AM模型Pm（m=1，2，…，M）。

4.2 模型自適應階段

由于識別環境中光照、發型、背景等條件與訓練環境有所不同，在識別前需要根據不同的識別環境對所訓練的聯想記憶模型進行自適應更新。在真實識別之前，首先在與真實識別相同的環境條件下采集人臉圖像數據集。然后通過Gabor變換得到相應圖像的人臉特征矢量U=(U1，U2，…，UM)，M為人（類）數。其中：Um=(um1，um2，…，umK)(m=1，2，…，M)是第m個人的模型自適應階段獲得的人臉圖像特征集，其包含了在模型自適應階段采集到的該人的K幅人臉圖像的Gabor人臉特征。最后根據式（13）和（16），分別用Um更新第m（m=1，2，…，M）個AM模型，獲得更新后的模型P

4.3 真實識別階段

在識別時，未知人臉圖像O′被輸入系統，如同前面所述，首先用 Gabor小波變換獲得該人臉圖像的Gabor小波人臉特征y；然后通過m=PmX，Uy 獲得M個待識別人臉圖像特征的估計值m（m=1，2，…，M）；最后通過式（8）計算待識別人臉圖像特征和各類估計值的相似度，并選擇相似度最大的一類為識別結果。

5 實驗及結果分析

51 ATT人臉數據庫

第一個實驗數據庫為ATT人臉數據庫^[13]。該數據庫包括40個不同年齡和性別的人的人臉圖像。每個人有10幅人臉圖像，其大小為112×92。在每個人的10幅圖像中分別存在表情變化（如睜眼、閉眼）和人臉細節變化（如有眼鏡和無眼鏡）。但是所有圖像都是在相同光照和背景條件下采集得到的。

本文實驗重復了四次，每次隨機地選擇200幅圖像（每個人5幅，共40個人）作為訓練集。為了證明筆者提出的新方法對光照變化和表情變化的魯棒性效果，隨機地改變了剩下的200幅圖像的光照條件，并由改變后的200幅人臉圖像構成了自適應和真實測試數據集（每個人5幅，共40個人）。其中自適應數據集由每個人剩下的5幅圖像中的2幅構成，真實測試數據集由每人剩下的3幅人臉圖像組成。圖1為其中一個人分別在訓練和自適應與真實測試集中的人臉圖像。實驗中α=0.8。為了證明新算法的性能，在相同的條件下同時對新方法、基本AM模型方法、用重訓練方法作為自適應更新法的AM模型方法和PCA^[1]方法作了對比測試。

表1為在ATT數據庫中各個算法的平均識別率。從表1可以看出，本文提出的新算法識別精度要高于基本AM模型和PCA方法，特別是相比PCA方法，新方法所獲得的識別率要高出近10%。這是因為新方法用模型自適應階段得到的人臉圖像數據自適應地更新了AM模型，減小了模型和識別數據間的失配，提高了識別率。同時也可以看出本文提出的方法和用重訓練方法作為自適應更新法的AM模型方法有相同的識別效果。但是相比重訓練方法，本文方法無須對以往的所有訓練數據進行存儲，而只需存儲以往計算得到的模型數據，因而有效地減少了對存儲容量的需求。同時新方法由于用加性更新算法對模型進行自適應更新，相比用重訓練法有更低的時間復雜度。在ATT數據庫中的實驗表明，用新算法對模型進行更新的速度相比用重訓練模型更新算法平均要快近2倍。

52 M ITCBCL人臉數據庫

第二個實驗數據庫為MITCBCL^[14]。該數據庫包括了10個人的人臉圖像。每個人有200幅圖像。該圖像庫中存在人臉旋轉角度、發型、光照條件和背景變化。最初的圖像大小為115×115、100×100和82×82。筆者將所有圖像大小調整為100×100。

實驗中，從每個人的200幅圖像中選出40幅有相似光照條件或背景的人臉圖像組成每個人的訓練集。自適應和真實測試集由剩下的與訓練圖像有不同光照條件或背景的人臉圖像組成。其中用于模型自適應的圖像集由10×10（每個人10幅圖像）或20×10（每個人20幅圖像）組成。真實測試集由每個人剩下的140幅圖像中的80幅組成，共80×10幅。圖2分別為其中兩個人在訓練、自適應和測試集中的人臉圖像。

表2 為新方法和重訓法AM模型方法分別用10或20幅圖像進行模型自適應更新后所獲得的識別率。表3 為新方法、基本AM模型方法、重訓法AM模型方法和PCA方法在MITCBLC人臉數據庫上的識別率。從表2和3可以看出，在自適應階段，小數目的人臉圖像數據已經可以有效地對模型進行調整，從而減小模型與識別數據間的失配，提高識別率。相比沒有進行模型更新的傳統AM方法和PCA方法，新方法和用重訓練方法作為自適應更新法的AM模型方法所獲得的識別率要高出近25%。同樣從表2可以看出，新算法和用重訓練方法作為自適應更新法的AM模型方法有相近的識別效果。但是與實驗一相同，在MITCBCL數據庫上的實驗表明，用新算法對模型進行更新的速度相比重新訓練模型更新算法平均要快近2.5倍。

6 結束語

在實際情況中，由于光照、發型、背景、表情等因素的變化造成了模型與識別數據間的失配，極大地影響了人臉識別系統的性能。本文提出了一種新的魯棒人臉識別方法。該方法采用對亮度和表情變化不敏感的Gabor小波人臉特征作為人臉特征，同時結合模型自適應更新方法在真實識別前用模型自適應階段獲得的人臉圖像數據對模型進行自適應補償，從而減小了模型與識別數據間的失配，提高了識別率。一種簡單的模型更新方法是重訓練法。其通過用最初的訓練數據集和模型自適應階段獲得的人臉圖像數據對模型進行重新訓練，來實現模型自適應更新。但是該方法具有較高的時間和空間復雜度。本文提出了一種加性的自適應模型更新算法。該算法的優點在于有很低的時間和空間復雜度，并且其效果近似于重訓模型方法。在ATT和MITCBCL人臉數據庫上的測試結果表明本文所提出的算法是有效的。在此基礎上，下一步工作是研究更具魯棒性的人臉特征和識別模型。

參考文獻：

［1］TURK M， PENTLAND A. Eigenfaces for recognition[J]. Journal of Congnitive Neuroscience，1991，13(1):7186.

[2]XIE Xudong， LARN K M. Gaborbased kernel PCA with doubly nonlinear mapping for face recognition with a single face image[J].IEEE Trans on Image Processing，2006，15(2):24812492.

[3]CHEN Wensheng， YUEN Pongchi， HUANG Jian，et al. Face classification based on Shannon wavelet kernel and modified fisher criterion[C]//Proc of the 7th International Conference on Automatic Face and Gesture Recognition.Southampton:[s.n.]，2006:467474.

[4]DAI Guang， ZHOU Changle. Face recognition using support vector machines with the robust feature[C]//Proc of the 12th IEEE International Workshop on Robot and Human Interactive Communication. Roman:[s.n.]，2003:4953.

[5]GUO Guodong， LI S Z， CHAN K. Face recognition by support vector machines[C]//Proc of the 4th IEEE International Conference on Automatic Face and Gesture Recognition. Grenoble:[s.n.]，2000:196201.

[6]KOHONEN T. Associative memory: a system theoretic approach [M]. Berlin: SpringerVerlag， 1977.

[7]TEUVO K. Selforganization and associative memory[M]. Berlin: SpringerVerlag， 1989.

[8]ZHANG Bailing， ZHANG Haihong， GE S S Z. Face recognition by applying wavelet subband representation and kernel associative memory[J].IEEE Trans on Neural Networks，2004，15(3):166177. 

[9]ZHANG Bailing， LEUNG C. Robust face recognition by multiscale kernel associative memory models based on hierarchical spatialdomain Gabor transforms[C]//Proc of the 7th International Conference on Automatic Face and Gesture Recognition. Southampton:[s.n.]，2006.

[10]WANG Guoqiang， OU Zongying. Face recognition based on image enhancement and Gabor features[C]//Proc of the 6th World Congress on Intelligent Control and Automation. Dalian:[s.n.]， 2006:97619764.

[11]LIU Chengjun， WECHSLER H. Independent component analysis of Gabor features for face recognition[J].IEEE Trans on Neural Networks，2003，14(4):919928.

[12]張賢達. 矩陣分析與應用[M].北京: 清華大學出版社， 2000.

[13]ATT. Laboratories Cambridge facial database [EB/OL].(2002). http://www.uk.research.att.com/facedatabase.html.

[14]MITCBCL.Massachusetts Institute ofTechnology，the Center for Biological and Computational Learning facial database[EB/OL].(2004). http://cbcl.Mit.edu/softwaredatasets/heisele/facerecognitiondatabase.html