基于Fisherface和SIFT特征集成的人臉識別

周琳琳，何中市

（重慶大學計算機學院，重慶 400044）

基于Fisherface和SIFT特征集成的人臉識別

周琳琳，何中市

（重慶大學計算機學院，重慶 400044）

針對人臉識別中人臉表情變化、光照影響、遮擋問題，提出一種基于Fisherface全局特征和SIFT局部特征集成的人臉識別方法：首先利用Fisher線性鑒別方法提取全局面部特征，然后利用SIFT算法和K-Means算法提取SIFT特征及劃分子區域來構造局部面部特征，并采用概率統計的方法為子區域賦予權值來計算局部特征相似度，最后采用加權求和的方式將全局和局部面部特征并行集成來提高人臉識別的準確率。實驗結果表明，該方法取得較好的識別效果，具有很好的魯棒性。

Fisherface；SIFT特征；K-Means；人臉識別

0 引言

一直以來，人臉識別技術備受關注，它涉及研究領域眾多，應用前景廣泛。人臉識別包括人臉檢測、特征提取、人臉認證三個主要部分，其中能否正確提取人臉的真實特征信息將直接影響識別效果。目前，人臉特征提取技術主要可分為三大類：基于先驗知識、基于特征不變性和基于子空間的方法[1]。其中，基于子空間的特征提取方法應用最為廣泛，其特點是能提取圖像中最能表示人臉的特征，并將高維特征映射到低維空間降低計算復雜度。Eigenface、Fisherface是該類方法的典型代表。Eigenface[2]利用主成分分析法（PCA）提取人臉的主成分即“特征臉”，優點是計算簡單，缺點是不能表達人臉的局部特征，光照、表情等變化對其影響較大。Eigenface[3]先采用PCA進行特征降維，然后利用線性判別分析法（LDA）尋找最佳投影方向，該方法較Eigenface識別效果好，但無法應用于線性不可分問題的研究。

由于受到姿態變化、面部遮擋、光照強度、表情變化等因素的影響，基于單特征的人臉識別具有一定局限性，因此基于多特征集成的人臉識別是一種提高識別率的有效方法。基于此，本文提出了一種基于Fisherface和SIFT雙特征集成的人臉識別方法：首先利用Fisher線性鑒別方法提取全局面部特征，然后利用SIFT與K-Means聚類算法提取局部面部特征，最后采用加權求和的方法將全局面部特征和局部面部特征并行集成來進行人臉識別。實驗結果表明，該方法較基于單特征的Fisherface和SIFT方法識別準確率率更高，能夠有效地提高人臉識別性能。

1 Fisherface特征提取

1.1 主成分分析（Principal Component Analysis，PCA）

PCA主要是基于K-L變換實現的，它的主要思想是從原始數據中提取主要特征并進行特征降維，在特征降維的過程中原始數據中絕大部分有用信息均被保留，降低了計算復雜性。

假設一個具有f維的訓練樣本集X，X中共有n個樣本：x1，x2，…，xn，這些樣本共有c類。X中的任何一個樣本xi均屬于一個己知的類wj，即xi∈wj，i∈[1，n]，j∈[1，c]。則構建樣本的協方差矩陣公式如下：

其中m表示所有樣本的均值，PCA的實現過程是求公式（2）求解，當特征值最大時，其對應的特征向量組成的矩陣P即為最優特征向量矩陣。

1.2 Fisher線性鑒別分析

針對訓練樣本集X，Fisher線性鑒別的目標是從高維特征空間中提取出最具有鑒別能力的低維特征，即在投影軸上找到使樣本類間離散度最大，類內離散度最小的投影方向。

樣本的類間離散度矩陣為：

其中，m為所有樣本的均值，mk為第k類樣本的均值。

樣本的類內離散度矩陣為：

最優的投影方向為:

將訓練樣本通過最優投影方向投影，得到的投影系數向量即為Fisher特征向量。

2 SIFT特征提取

2.1 人臉SIFT特征提取

SIFT（Scale-Invariant Feature Transform）特征是由David Lowe發表并總結的一種基于尺度空間的圖像局部特征描述算子[4]。該方法主要由生成尺度空間、檢測極值點、精確定位極值點、為關鍵點指定方向參數、生成特征描述算子等部分組成[5]，具有位置穩定、尺度不變性和旋轉不變性等特征。因此，通過提取人臉SIFT特征可以對不同視角的人臉圖像進行匹配和識別。圖1展示的是對兩張人臉圖像進行SIFT特征提取以及進行特征匹配的結果。

2.2 K-Means聚類

K-Means是一種基于距離的迭代式算法[6]，主要思想是通過迭代的方式把數據劃分為不同的類別，使得平均誤差準則函數E達到最小值，使聚類后類內緊湊，類間獨立。

假設給定含有n個樣本的數據集X，X=｛xm|m= 1，2，…，n｝，并且每個xm為a維的向量。數據樣本xi=（xi1，xi2，…，xid）和xj=（xj1，xj2，…，xjd）之間的相似度用它們之間的歐氏距離來表示，公式如下：

K-Means將上述數據集分成k類｛S1，S2，…，Sk｝，使每個數據到它所在的聚類類心的距離比到其他聚類類心的距離更小，即對平均誤差準則函數E求最小值：

其中，μi表示分類Si的平均值

3 基于Fisherface和SIFT的雙特征集成算法

本文提出的互補雙特征提取算法主要有三部分，一是對人臉訓練樣本進行Fisherface特征提取，得到全局特征向量，即構建全局分類器GC；二是對訓練樣本提取SIFT特征并聚類，得到局部特征向量，即構造局部分類器LC；最后利用加權求和的方法將全局分類器和局部分類器進行并行集成構建整體分類器UC，即將各個特征向量的相似度利用加權求和的方法計算最終相似度。構建過程如圖2所示。

圖1 人臉圖像的SIFT特征提取和匹配

圖2 分類器的構建過程

3.1 構造全局分類器

全局分類器的構造主要是通過對人臉訓練樣本進行Fisherface特征提取，得到全局特征向量，算法過程如下：

輸入：訓練樣本（n維數據）；輸出：Fisher特征向量（d維數據，其中n≥d）

算法步驟：

（1）對所有訓練樣本用PCA方法進行降維，即作K-L變換，將原始數據映射到低維空間；

（2）在變換之后的空間內，利用公式（3）（4）計算數據的類內離散度矩陣和類間離散度矩陣；根據公式（5）得到最優投影方向Wopt；

（3）將原始樣本向最優投影方向做投影，得到低維的Fisher特征向量。

3.2 構造局部分類器

局部分類器的構造主要是通過對訓練樣本提取SIFT特征，并采用K-Means聚類算法對SIFT特征進行子區域劃分，并利用3.2（2）提到的局部特征相似度計算方法計算子區域的相似度。

（1）特征子區域劃分

不同人臉圖像的SIFT特征點的數目和位置也不一樣，為了對物理意義相近的特征區域獨立進行匹配識別，本文采用K-Means聚類算法將SIFT特征點劃分成k個特征子區域，同一子區域中的特征點表示的物理意義相近。具體算法步驟如下：

①隨機地從輸入圖像的特征點中取k個點，作為k個子區域各自的中心。

②利用公式（6）分別計算每幅圖像中的特征點與各子區域中心點的距離，將這些特征點劃歸到與其距離最小的子區域中。

③根據聚類結果，重新計算k個子區域的中心，計算方法是取每個子區域中所有特征點位置的平均值。

④重復步驟②③，直到平均誤差準則函數E即公式（7）達到最小值，并將此時的k個子區域作為最終結果。

在本文中，我們令k等于3，也就是把人臉圖像劃分成三個特征子區域，各子區域的特征點用不同的顏色來標識區分。從圖3中可以看出，聚類后劃分的子區域主要為左眼、右眼、鼻口三部分。通常情況下，這些區域在人臉識別中區分能力最強。

圖3 人臉圖像特征子區域劃分

（2）局部特征相似度計算

在上文中，一幅人臉圖像I被劃分成k個特征子區域，假設第i個特征子區域的SIFT特征點數目用ni表示，第i個子區域中的第j個SIFT特征向量用fij表示。那么兩幅人臉圖像It和Ir之間的局部相似度用公式（9）計算。在計算的過程中，為了弱化表情變化的影響，采用對特征子區域相似度d取平方的方法。wLi表示各特征子區域所占的權重。因為各特征子區域作為局部特征相互獨立，所以在構造局部分類器時，應給予各特征子區域不同的權重來計算局部相似度。假設各個特征子區域彼此獨立并且使用概率相等，對其分別進行人臉識別實驗獲得識別率Pi，根據Pi利用公式（11）計算出權重wLi。

3.3 構建整體分類器

全局分類器和局部分類器構建完成后，本文采用加權求和的方式對其采用并行的方式進行集成，即將各個特征向量的相似度進行加權求和得到最終相似度，計算公式如下：

其中wG表示全局分類器的權值，0≤wG≤1。通過實驗驗證發現，當wG取值為0.6的時候，分類效果最好。

4 實驗與結果

4.1 實驗描述

本文的實驗過程如下：

（1）利用4.1中描述的算法過程對人臉訓練樣本進行Fisherface特征提取，構造Fisher特征向量即構造全局分類器；

（2）利用SIFT算法提取訓練樣本的SIFT特征點，并利用4.2（1）中描述的方法對特征點進行特征子區域劃分，得到3個局部特征向量；

（3）對3個特征子區域獨立進行識別實驗，獲得各自的識別準確率，進而根據公式（10）計算出各個特征子區域相似度的權重，然后根據公式（8）計算圖像的局部特征的相似度，即構造局部分類器；

（4）根據公式（11）對全局分類器和局部分類器進行集成，獲得整體分類器；

（5）利用整體分類器進行人臉識別實驗。

另外，為了驗證本文算法的有效性和魯棒性，我們選擇了AR人臉數據庫[7]進行實驗。該數據庫包含了男、女各50人，且每個對象包含26張不同表情、光照、遮擋等圖像，共計100×26=2600幅圖像。在子區域相似度權重計算和人臉識別的實驗中，均從數據庫中選取了2000個訓練樣本，其中包含男女各50人，每人包含20張不同干擾因素的圖像，并為每個樣本選取了6張共計100×6=600幅圖像。

4.2 子區域相似度權重計算

本實驗中，通過對600個測試樣本的3個子區域單獨進行識別實驗（子區域相似度大于閾值0.7即為識別正確），獲得各特征子區域識別的準確率，進而根據公式（10）計算出各特征子區域相似度的權重，結果如表1所示。

表1 各子區域識別的準確率與權重

4.3 識別率對比

對數據庫中選取的2000個訓練樣本進行訓練后，對600張測試圖像分別采用Fisherface、SIFT+K-Means算法及Fisherface與SIFT特征集成的算法進行人臉識別實驗，最終的識別結果如表2所示。同時將本文提出的算法與文獻[8,9,10]中的方法進行對比（表2中前三組數據來自文獻[8,9,10]）。因為本文用的數據庫、訓練樣本、測試樣本均與三篇文獻中使用的相同，所以實驗數據是有可比性的。從實驗結果可以看出，本文算法的識別準確率明顯高于文獻[8,9,10]中提出的算法，具有較好的識別效果。

表2 不同算法的識別率對比

5 結語

本文提出了一種基于Fisherface和SIFT雙特征集成的人臉識別方法，該方法集成了Fisherface和SIFT各自優點，有效地提高了人臉識別準確率。通過實驗表明，針對單張人臉圖像中光照變化、表情變化和飾物遮擋等影響因素，本文方法取得了較好的識別效果，具有很好的魯棒性。本文沒有考慮人臉姿態變化、年齡變化、角度變化等因素的影響，在后續的研究中，將針對這些影響因素設計更好的特征提取方法，進一步提高人臉識別準確率。

[1]李明麗,孫連英,李剛.基于特征提取技術的人臉識別綜述[J].計算機科學,2014,41（10）:1066-1069.

[2]M.Turk,A.Pentland.Eigenfaces for Recognition[J].Cognitive Neuroscience,1991,3（1）:71-86.

[3]Belhumeur P N,Hespanha J P,Kriegman D J.Eigenfaces vs.Fisherfaces:Recognition Using Class Specific Linear Projection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1997,19（7）:711-720.

[4]Lowe D.Distinct Image Features from Scale-invariant Key Points[J].International Journal of Computer Vision,2004,60（2）:91-110.

[5]Schemer W J,Rocha A,Michealsrj,et al.Meta-Recognition:the Theory and Practice of Recognition Score Analysis[J].IEEE Trans. Pattern Analysis and Machine Intelligence,2010,33（8）:1689-1695．

[6]李衛軍.K-Means聚類算法的研究綜述[J].現代計算機:專業版,2014（23）:31-32.

[7]Martinez A M,Benavente R.The AR Face Database[EB/OL].http://cobweb.ecn.purdue.edu/～aleix/aleixfaceDB.html,1998-06-21.

[8]Yang J.,Zhang D.,Frangi A.F.&Yang J..Two-dimensional PCA:A New Approach to Appearance Based Face Representation and Recognition.IEEE Trans.Pattern Analysis and Machine Intelligence,2004,26（1）:131-137.

[9]Martinez,A.M.Recognizing Imprecisely Localized,Partially Occluded,and Expression Variant Faces from a Single Sample Per Class. IEEE Trans.Pattern Analysis and Machine Intelligence,2002,25（6）:748-763.

[10]Tan X.,Chen S.C.,Zhou Z.-H.,Zhang F.Recognizing Partially Occluded,Expression Variant Faces from Single Training Image Per Person with SOM and Soft kNN Ensemble.IEEE Transactions on Neural Networks,2005,16（4）:875-886.

Face Recognition Based on Fisherface and SIFT Features Integration

ZHOU Lin-lin，HE Zhong-shi

（College of Computer Science,Chongqing University,Chongqing 400044）

To solve the problems of facial expression changes,illumination effect and face occluded in face recognition,proposes a face recognition method based on Fisherface global and SIFT local features integration.First,uses fisher linear identification method to extract the global facial features.Then uses SIFT algorithm and K-Means clustering algorithm to extract SIFT features and divide sub domains in order to construct local facial features.In this part,method of weight calculation based on probability statistics is used to calculate local features similarity.Finally,weighted sum method is used to combine the global and local facial features in parallel manner in order to improve the accuracy of face recognition.The experimental result shows that the method achieves better recognition results and has good robustness.

Fisherface;Scale Invariant Feature Transform(SIFT)Feature;K-Means;Face Recognition

1007-1423（2017）02-0058-05

10.3969/j.issn.1007-1423.2017.02.015

周琳琳（1990-），女，山東萊西人，碩士研究生，學生，研究方向為數字圖像處理

2016-11-22

2017-01-10

何中市（1970-），男，重慶人，博士后，教授，研究方向為模式識別、機器學習與數據挖掘、自然語言處理與數字圖像處理