基于因子分析與稀疏表示的多姿態人臉識別

張疆勤，廖海斌，李 原

1.安徽科技學院 網絡中心，安徽 滁州 233100 2.武漢大學 電子信息學院，武漢 430072

基于因子分析與稀疏表示的多姿態人臉識別

張疆勤1，廖海斌2，李 原1

1.安徽科技學院 網絡中心，安徽 滁州 233100 2.武漢大學 電子信息學院，武漢 430072

1 引言

人臉識別技術在安全、金融、法律、人機交互等領域具有廣闊的應用前景，因此得到了研究人員的廣泛關注。目前，盡管已經產生了許多自動人臉識別產品和算法，但它們無法可靠地處理真實世界中人臉的識別問題。根據美國國家標準技術局（NIST）舉辦的人臉識別開發商測試大會（FRVT2006）表明[1-2]：當對由同一個相機拍攝得到的相同姿勢、不同表情的圖像進行識別時，一些算法取得了理想的結果。在一定條件，有些技術甚至超過了人類的人臉識別能力。而在對真實世界人臉圖像進行識別時，即使圖像質量一致且在已知姿態、光照與表情（Pose Illumination and Expression，PIE）條件下獲得，可以得到的最佳識別率也只有73%。由此可見，現有的人臉識別系統性能與人類的識別能力差距還相當大。

由上分析可知，自動人臉識別在實際應用中面臨著巨大挑戰，真實世界中人臉的姿態和遮擋變化是人臉識別面臨最大難題之一。

多姿態人臉識別近幾年研究比較多，它被稱作是計算機視覺與模式識別領域尚未較好解決的重要問題之一，針對多姿態人臉識別的問題提出的方法大致可以分為三類[3]：常規方法[4-6]、二維研究方法[7-8]、三維研究方法[9-10]。常規算法主要解決由光照、表情、年齡等變化引起的問題，而對于觀察視角的不同引起的人臉圖像的變化研究較少。三維研究方法一般是需要從盡可能多的角度采集人臉組成人臉三維模型，并使用三維模型來構建人臉庫，待識別人臉與這些三維模型逐個匹配來進行識別。三維研究方法的問題是計算量大，需要巨大存儲空間，而且當前人臉庫不能滿足其需要，因此其走向實用化需要較長時間。二維研究方法多是尋找各個較多姿態人臉到正臉的變換關系，并將待識別人臉轉成正臉來進行識別，其理論依據是同一個人不同姿態的人臉圖像差異比不同人相同姿態人臉之間的差異還要大。二維研究方法與三維研究方法相比，它的優點是計算復雜度低，計算速度快，存儲容量小。

由于人臉遮擋與偽裝的隨意性，因此它是人臉識別面臨的最大問題之一。目前，針對人臉遮擋與偽裝問題主要分為三類解決方法：（1）采用局部特征的方法；（2）采用人臉分塊識別的方法；（3）采用稀疏表示與冗余理論的方法。局部特征主要描述人臉的細節變化[11-12]，比如面部器官的特點以及面部的一些奇異特征，用來進行精細的確認。所以這種方法即使人臉有一小部分遮擋，其影響相對全局特征來說會相應小些。但是這種方法忽略了全局輪廓信息，不利于整個識別率的提高。后來，學者們又提出分部人臉識別方法[13-14]。這種方法主要通過對人臉進行分塊后，分別進行識別，最后融合各分塊得出最終結果。當人臉某部分存在遮擋時，通過降低其權值的方法來達到對遮擋的魯棒性。通過實驗證明，基于分部的方法在一定程度上改善識別算法對于遮擋的適應能力。但是在他們提出的方法中，人臉分塊的產生均由作者自身的經驗和主觀的臆斷進行，而并沒有提出一種較為科學的人臉劃分方法；且在權值選擇時，大多也是采用先驗經驗的方法確定，缺乏自適應性。基于稀疏表示的方法[15]（Sparse Representationbased Classification，SRC）是最近興起的一種方法，它主要利用壓縮感知理論和線性組合的思想進行有效的人臉分類。與現有多數方法相比，SRC方法直接利用了高維數據分布的稀疏性進行統計推斷，可以有效地應對維數災難問題。同時，SRC方法直接利用原始像素進行人臉識別，避免了各種預處理過程造成的信息丟失。由于SRC方法利用了數據的冗余性，因此當人臉存在部分遮擋時，利用其冗余數據仍然可以進行識別。但這種方法要求訓練樣本足夠多，且樣本間存在稠密對應關系。也就是說這種方法雖然對人臉遮擋具有很好的魯棒性，但對人臉姿態變化很敏感。這是因為當人臉具有姿態變化時，同一個人不同姿態情況下很難對應起來，這違背線性組合的前提條件。

為了克服稀疏表示方法對人臉姿態變化表現敏感的問題，本文提出基于因子分析與稀疏表示的多姿態、遮擋人臉識別方法。通過對人臉進行因子分析，分離出人臉姿態因子，得到合成的正面虛擬人臉；然后，再利用稀疏表示方法在虛擬人臉上進行人臉分類識別。本文提出的這種方法不但能解決人臉的姿態變化問題，同時對人臉的遮擋問題也具有很好的魯棒性。

2 因子分析模型

2.1 兩因子分析

把內容和風格看作影響一個事物的兩個互相獨立的因素。在本文中，將正規人臉（正面，中性，光照歸一化）看成是內容，而人臉的姿態、光照、表情等變化看成是風格[16]。人臉識別的任務就是根據人臉內容信息識別出不同的人，如果能將影響人臉特征的風格因素（不利因素）分離出來，并加以去除，那將有利于人臉識別。

如果人臉內容ωi具有風格δj，這個人臉樣本的觀測x可以表示成：其中，a表示由人臉圖像所決定的內容信息，b表示由人臉圖像所決定的風格信息，而 f(a，b)表示這個信息相互影響的作用函數。這里的觀測可以看作原始圖像。由于本文只考慮人臉姿態與遮擋變化，因此這里的b表示人臉的姿態因子，用兩個簡單的符號P和C來標記姿態和內容，這樣有：

其中，aC是表示內容的向量，bP是表示姿態的向量。

2.2 因子訓練與分離

根據前期的工作表明，在實用人臉識別中，人臉的姿態因子顯著性往往比人臉的內容因子的顯著性大[16]。當出現這種情況時，就必須降低xCP中姿態因子的影響，讓同一內容下的風格姿態差異對xCP差異影響盡可能得小。最近Jenkins R.等人[17]在《Science》雜志上發表文章指出100%人臉自動識別方法，其中主要用到平均人臉處理方法。并且Jenkins R.等人通過PCA證明由平均臉生成的特征臉在識別中的準確率優于由訓練集圖像生成的特征臉。因此譚曉衡等人[18]在其專利中提出一種基于平均臉的正臉補償算子的多姿態人臉識別方法。他們的方法主是通過統計平均的方法訓練出側臉的正臉補償算子，對輸入的側臉加上其相應的正臉補償算子后，使用PCA進行降維，最后使用距離度量法進行識別。這種方法簡單有效，但專利中對人臉姿態具體的劃分并未做詳細說明，訓練樣本也是簡單地使用了20個人，不具代表性和統計意義。且分類方法只是簡單地使用基于PCA的距離法，文中也沒有給出具體的識別率與參考比較。本文也將采用平均臉的統計方法進行姿態因子訓練，且采用加性模型進行因子分離。姿態因子訓練與分離具體實施包括如下三個過程。

（1）人臉歸一化

由于本文是采用統計平均的方法，因此對歸一化要求低。具體做法是：將各姿態人臉與正臉圖像的人眼固定在指定的位置，并將圖像縮放到相同的大小，然后對人臉圖像進行直方圖均衡化，去除不同光照帶來的噪聲影響。

（2）人臉姿態訓練

從XJTU人臉庫[19]中取500個人，每個人從視點數據庫中取有姿態變化的19張人臉圖像作為姿態訓練庫。部分姿態人臉訓練庫如圖1所示。

圖1 人臉姿態訓練庫

那么在水平偏轉角度為k下的姿態因子可以表示為：

（3）姿態因子分離

由第二步得到人臉樣本的姿態因子后，就可以根據其姿態減去其相對應的姿態因子，得到與人臉姿態無關的特征，即降低了人臉風格信息。稱之為平均臉加性模型：

其中，y為進行姿態因子分離后的人臉特征，yPk為輸入的側臉圖像，Fk為姿態因子。

3 基于稀疏表示的人臉分類

基于稀疏表示的人臉識別方法實質為線性方程組的求解問題[15]：

其中，A由全體人臉訓練樣本向量組成，y為待測試的人臉圖像向量，x為待求的線性組合系數，‖x‖1為x的1-范數。有關稀疏表示的人臉識別方法詳細介紹可以參見文獻[15，20]。

稀疏表示人臉識別轉化為式（7）的最小化求解問題。理論上-x1應該只與訓練樣本中的某一類的測試樣本相關，其對應的表征系數非0，而其他類樣本均為0。根據非0系數就可以對待測樣本進行分類。然而，由于噪聲以及建模誤差會引起待測樣本的部分非相關的類別表征系數出現數值很小的非0元素，給正確分類帶來影響。考慮到待測樣本在訓練樣本集合上稀疏表示是基于整體訓練集合的，據此考慮將待測樣本在訓練樣本集合上的表示系數有效性累計，以累計值最大作為判定分類的依據。因此基于稀疏表示的人臉識別為：

其中，f(·)是個特殊函數，表示將稀疏表示系數的負因子置0；δi:RN→RN是個選取函數，僅選擇稀疏表示系數中第i類子空間矩陣所對應的表示系數，并且將其他置0；pi(y)是訓練樣本集合中第i類子空間與其對應的稀疏表示系數的有效性累計因子。

4 實驗結果與分析

4.1 人臉姿態分離

實驗從XJTU人臉庫中取500個具有代表性的人，每個人從視點數據庫中取有姿態變化的19張人臉圖像作為姿態訓練庫。其平均臉如圖2所示，其中（a）為-30°的平均側臉，（b）為平均正臉，（c）為對應的姿態因子。人臉姿態因子分離如圖3所示，從圖3可以看出通過因子分離后的人臉雖然從圖像表面來看不像人臉（對于電腦識別來說并不會影響其識別），但是，通過因子分離后恢復了其正臉的輪廓信息（這對識別率的提高很重要）。

圖2 平均臉與姿態因子示意圖

圖3 人臉姿態因子分離對照圖

這里需要說明的是，通過對稱處理可以從感觀上使輸入的側臉趨于正臉，但是對于識別率的提高并沒有什么作用。因為對大多數人臉來說，從正面角度來看大致是一個左右對稱的圖形，而對于有偏轉的側臉，左右兩邊的信息是不同的。由于遮擋的作用，面向外側的臉部信息量要多于背向外側的信息量。如果簡單地進行對稱處理會去掉內側包含的外側沒有的信息，且中間部分會出現圖像像素的突變，因而會導致識別率的下降。

為了進一步顯示進行因子分離后效果，分別對分離前和分離后的人臉進行1層小波變換，結果如圖4所示。其中低頻子帶分量為圖像的平滑像；高頻子帶分量保持了人臉的輪廓邊緣信息。從圖中可以看出，有偏轉的圖像，不管是原圖像還是因子分離后的圖像，其高頻子帶都與正面人臉的高頻子帶完全不同。但是，通過觀察右上角和右下角的高頻子帶圖像（因子分離后）發現其基本趨于一致；而此時左上角和左下角的高頻子帶圖像（因子分離前）卻完全相反。說明經過因子分離后，使不同偏轉角度圖像的輪廓邊緣趨于一致，即恢復了偏轉圖像的正臉輪廓信息。4.2.1 基于因子分析的人臉識別實驗比較

圖4 小波變換

圖5 實驗所用的人臉庫

為了驗證基于因子分析的人臉識別方法對多姿態人臉的魯棒性，設計實驗比較基于因子分析+Fisherface臉法（本文方法）與Fisherface臉法、非線性方法（KFDA）進行人臉識別。其識別結果如圖6所示，從圖中可以看出本文方法的識別最高，當樣本數小于4時，Fisher臉法與KFDA方法的識別率都低于50%。說明針對此人臉庫這些方法基本失效。這是因為此人臉庫具有巨大的姿態變化，選用的測試人臉故意沒有選用正臉，導致測試人臉與其匹配的人臉最少相差20°，最大相差180°。由于存在大量的姿態因子的干擾，因此線性判別方法無法將不同類別的人臉分開。此時傳統的方法是采用非線性的方法，把低維數據空間轉換到高維空間，在高維空間進行線性判別分析。傳統的非線性方法（KFDA）的識別率比Fisher臉法有所提高，但提高的識別率不是十分理想。本文采用因子分離后再進行線性判別的方法，不但簡單，而且得到了不錯的識別率，此時識別率為超過50%。

與此同時，從表1可以看出本文算法的識別時間與Fisher臉法相比相差無幾，而非線性方法的識別時間是最多的。從以上分析可以看出基于因子分析的人臉識別方

圖6 不同方法識別結果

以下實驗采用分頻融合的方法，即先對原圖像進行姿態因子分離；然后對因子分離后的圖像進行1層小波分解，在4個不同子帶圖像中進行基于稀疏表示的人臉分類識別，最后融合4部分的結果進行最后判別。

1.11 統計學分析 應用SPSS22.0軟件對數據進行統計學分析，計量資料以（±s）表示，多組間對比采用單因素方差分析，兩兩對比采用q檢驗，P＜0.05為差異有統計學意義。

4.2 人臉分類識別

本文所用實驗人臉數據為XJTU人臉庫。XJTU人臉庫由西安交通大學人工智能與機器人研究所創建，包括人臉視點和光照兩個子庫，共采集并整理了1 247位志愿者的33 669幅人臉圖像。其中，每位志愿者拍攝19張視點圖像和8張光照圖像。從XJTU人臉庫中抽取100個不同于姿態訓練庫的人作為人臉識別的數據庫。每個人包括19張不同視點圖像和3張不同光照的圖像，其部分圖像見圖5。法在人臉具有較大外因素干擾的復雜條件下具有比傳統方法更好的識別效果。

表1 不同方法識別時間 s

圖7 不同方法對遮擋的實驗結果

4.2.2 基于稀疏表示方法的人臉識別比較

為了驗證稀疏表示（SRC）方法對分類的有效性，本節首先將基于SRC的人臉識別方法與幾種經典的分類方法進行比較即，最近鄰法（NN），最近子集法（NS），支持向量機（SVM）。實驗時，用本文提出的因子分析方法對人臉進行姿態因子分離后再分別采用不同的分類方法進行識別，訓練樣本為10。識別結果如表2所示。從表中可以看出，對于本人臉庫SRC的分類方法識別率最高。分析其原因，對于NN方法，測試樣本的類別為距離其最近的訓練樣本的類別，當訓練樣本足夠稠密，以至于測試樣本可以用一個訓練樣本表示時，基于稀疏表示的分類方法等同于NN方法。對NS方法，測試樣本的類別為距離其最近的子空間的類別，當測試樣本可以用訓練集中某類樣本的線性組合表示時，基于稀疏表示的方法等同于NS。

表2 不同分類器的識別結果

為了進一步說明SRC方法對遮擋的魯棒性，下面對測試圖像作一些改變，對測試圖像用不同大小的白色方塊擋住人臉面部（如圖7（a））。模擬0%到50%不同水平的連續遮擋，每個測試圖像的遮擋位置是隨機選擇，且對計算機來說也是未知的。圖7（a）是遮擋30%的圖像，圖7（b）為估計稀疏誤差7（c）顯示了4種不同分類方法對不同程度遮擋的識別率。同樣地，SRC方法優于其他3種方法。當30%遮擋時，算法表現得相當好，識別率達基本不受什么影響；即便是遮擋達到40%時，其識別率也只下降10%左右，而此時其他三種方法下降50%左右的識別率。SRC方法對遮擋有如此好的錯誤糾正和魯棒性的關鍵是合理地利用了冗余和稀疏性。

目前對于多姿態人臉識別，研究者們提出了許多解決方法。與本文相關且具代表性的有J.D.Simon等人提出的因子分析方法[21]，和最近譚曉衡提出的基于正臉補償算子的多姿態人臉識別方法[18]。J.D.Simon等人將具有多姿態人臉的觀察空間看成是由姿態無關的身份空間乘以一個姿態因子再加一個噪聲項組成。通過（期望最大法）EM算法求解性線變化和噪聲參數，得出每個人的身份空間。他們具體做法是采用分部的方法，對每個分部分別建立因子分析模型和求解結果，最后融合每個分部得出最終結果。為了更公平地與J.D.Simon等人提出的因子分析方法進行比較，本實驗也采用分部的方法，對人臉進行分塊，然后對每塊進行姿態因子分離，最后融合各部分進行最終判別。

三種方法的最佳識別率見表3，可以看出在人臉無遮擋時，文獻[21]的方法識別率最高，在人臉具有姿態變化20°到180°時，最佳識別率達到91.5%，本文方法次之，達到88%，文獻[18]的方法最低只有75%。雖然文獻[18]通過平均臉的方法訓練出正臉補償因子，但是其在分類識別時只采用了最簡單的PCA+距離的分類器。所以識別率沒有本文高。文獻[21]的方法雖然比本文方法識別率高了3.5%，但是以復雜算法為代價。而本文通過更簡單的方法達到與其相當的識別率。當人臉有20%遮擋時，其他兩種方法識別率都有10%左右的下降，而本文方法卻保持不變。

表3 不同方法的最佳結果比較

5 結束語

針對人臉姿態與遮擋變化問題，本文提出基于因子分析和稀疏表示的人臉識別方法。這種結合方法不但能充分發揮稀疏表示方法對人臉的噪聲和遮擋的魯棒性，還能克服其對人臉姿態變化的敏感性。與其他技術相比，本算法使用平均統計方法訓練姿態因子，沒有采用將人臉庫中人臉組成一個大矩陣來進行訓練的方法，減少了計算量。同時對人臉歸一化要求低，人臉庫容易選擇。此外，本文使用的算法簡單，通過簡單的加減運算就能達到很好的識別效果，而且對各種姿態人臉進行識別都能通用。

[1]Zhao W，Chellappa R，Phillips P J，et al.Face recognition：a literature survey[J].ACM Computing Surveys，2003，35（4）：399-458.

[2]Phillips P J，Scruggs W T，O'Toole A J.FRVT 2006 and ICE 2006 large-scale experimental results[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32 （5）：831-845.

[3]Zhang Xiaozheng，Gao Yongsheng.Facerecognition across pose：a review[J].Pattern Recognition，2009，42：2876-2896.

[4]Turk M A，Pentland A P.Face recognition using eigenfaces[C]// Proceedings of the IEEE Conference on CVPR.Maui，HI：[s.n.]，1991：586-591.

[5]Belhumeur P N，Hespanha J P，Kriegman D J.Eigenfaces vs. Fisherfaces：recognition using class specific linear projection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19（7）：711-720.

[6]盧春梅，牛海軍，郝琳波.消除光照和姿態變化影響的人臉識別[J].計算機工程與應用，2008，44（10）：166-168.

[7]Kahraman F，Kurt B，Gokmen M.Robust face alignment for illumination and pose invariant face recognition[C]//Proceedings of the IEEE Conference on CVPR.Minneapolis，MN：[s.n.]，2007：1-7.

[8]龔衛國，黃瀟瑩，李偉紅.基于正弦變換的人臉姿態校正及識別研究[J].計算機工程與應用，2010，46（22）：213-216.

[9]Blanz V，Vetter T.Face recognition based on fitting a 3D morphable model[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25（9）：1063-1074.

[10]Jiang D，Hu Y，Yan S，et al.Efficient 3D reconstruction for face recognition[J].Pattern Recognition，2005，38（6）：787-798.

[11]Ahonen T，Hadid A，Pietikainen M.Face recognition with localbinary pattern[C]//Proc ofthe European Confon Computer Vision.Berlin：Springer，2004：469-481.

[12]Li S Z，Hou X W，Zhang H J，et al.Learning spatially localized parts based representation[C]//Proc of the Int'l Conf on Computer Vision and Pattern Recognition.Washington：IEEE Computer Society Press，2001：207-212.

[13]Ivanov Y，Heisele B，Serre T.Using component features for face recognition[C]//Proceedings ofthe 6th International Conference on Automatic Face and Gesture Recognition. Washington，DC，USA：IEEE Computer Society，2004.

[14]Ahonen T，Hadid A，Pietikainen M.Face description with local binary patterns：application to face recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28（16）：2037-2041.

[15]Wright J，Yang A Y，Ganesh A.Robust face recognition via sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，31（2）：210-227.

[16]廖海斌，陳慶虎，鄢煜塵.基于因子分析的實用人臉識別研究[J].電子與信息學報，2011，33（7）：1611-1616.

[17]Jenkins R，Burton A M.100%accuracy in automatic face recognition[J].Science，2008，319（25）：435-439.

[18]譚曉衡，張建慧，陳林，等.基于正臉補償算子的多姿態人臉識別方法：中國：201010591396.3[P].2011-04-14.

[19]AI& R Institute of Artificial Intelligence and Robotics. Oriental face database[EB/OL].[2011-08-11].http：//www.aiar. xjtu.edu.cn/groups/face/Chinese/Homepage.htm.

[20]廖海斌，郝寧波，陳慶虎.基于奇異值與稀疏表示的穩健性人臉識別[J].電視技術，2010（7）：99-103.

[21]Prince S J D，Warrell J，Elder J H，et al.Tied factor analysis for face recognition across large pose differences[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2008，30（6）：970-984.

ZHANG Jiangqin1,LIAO Haibin2,LI Yuan1

1.Network Information Center,Anhui Science and Technology University,Chuzhou,Anhui 233100,China 2.School of Electronic Information,Wuhan University,Wuhan 430072,China

Under uncontrolled environment,one of the greatest remaining research challenges in face recognition is to recognize faces across different poses and occlusion.The face recognition method via Sparse Representation（SRC）considers that the test image can be represented as a sparse linear combination of the training images,and further use the combination coefficients for face recognition.This method is robust to face occlusion and noise,butor performance to face pose varying.The reason is that SRC requires exact alignment between each testing and training image,the variation of pose results in alignment error which is contrary to the prerequisite of the linear combination.In order to overcome of face occlusion and pose variations problem,this paper applies factor analysis to human faces to separate the face pose factors and obtain virtual frontal faces for SRC face recognition.Experimental results demonstrate that the presented algorithm possesses good robustness for the face variation of poses and occlusion.

face recognition;factor analysis;factor separation;sparse representation

在非可控環境下，人臉識別面臨的最大難題之一是姿態變化與遮擋問題。基于稀疏表示的人臉識別方法將測試人臉表示成訓練人臉的稀疏線性組合，根據其組合系數的稀疏性進行人臉識別。該方法對人臉的噪聲和遮擋變化具有很好的魯棒性，但對人臉的姿態變化表現力極差，這是因為當人臉具有姿態變化時，同一個人不同姿態情況下很難對應起來，這違背線性組合的前提條件。為了克服稀疏表示方法對人臉姿態變化表現力極差問題，對人臉進行因子分析，分離出人臉姿態因子，得到合成的正面人臉；利用稀疏表示進行人臉分類識別。實驗結果表明，該方法對人臉的遮擋和姿態變化具有很好的魯棒性。

人臉識別；因子分析；因子分離；稀疏表示

A

TP391.4

10.3778/j.issn.1002-8331.1210-0298

ZHANG Jiangqin,LIAO Haibin,LI Yuan.Multi-view face recognition based on factor analysis and sparse representation.Computer Engineering and Applications,2013,49（5）：154-159.

中央高校基本科研業務費專項資金資助（No.20102120103000004）；河南省重大科技攻關項目（No.072SGZS38042）。

張疆勤（1979—），女，實驗師，主要研究方向為圖像處理與模式識別；廖海斌（1982—），男，博士，主要研究方向為圖像處理與模式識別。E-mail：liao_haibing@163.com

2012-10-29

2012-12-04

1002-8331（2013）05-0154-06