基于局部二元模式和重采樣雙向2DLDA的人臉識別算法

蘇立明,王 瑩,姜園媛,李文輝

(1. 長春工業大學 基礎科學學院,長春 130012；2. 吉林大學 計算機科學與技術學院,長春 130012)

線性判別分析(linear discriminant analysis,LDA)[1]在最小化類內距離的同時可最大化類間距離,從而得到最優的投影方向,產生最好的分類結果. 但LDA算法具有一定的局限性,主要表現在小樣本問題[2-3]和光照、 表情等變化而帶來的識別率下降問題.

小樣本問題(small sample size problem,SSS)是指樣本的特征維數遠大于樣本數量,使得樣本間距離度量失效,引起LDA算法中的類內離散度矩陣奇異. 目前解決小樣本問題的主要方法是直接在二維圖像矩陣上進行二維線性鑒別分析,即2DLDA[4]或擴展2DLDA(E2DLDA),同時利用兩個方向上的判別信息算法[5-8].

除SSS問題外,光照、 表情等變化也會導致圖像像素產生較大變化,從而影響基于表觀[9]的識別算法性能,盡管局部二值模式(local binary pattern,LBP)[10]引入人臉識別后能較好地抑制這種影響,但由于光照、 表情等變化的多樣性和人臉樣本采集的難度,基本不可能采集到所有變化情況下的樣本. 目前主要有兩類方法解決上述問題: 1) 利用已有訓練樣本進行虛擬圖像的變換構建[11],其缺點是計算量和存儲量無均較大；2) 引入集成技術,在設計人臉分類器時,利用重采樣集成人臉弱分類器[12],構建強分類器,以提高分類器的識別性能.

本文根據文獻[13]中對2DLDA和E2DLDA具有判別信息互補性的特征,提出一種新的人臉識別算法LBP-RB2DLDA. 該算法先通過LBP算子提取人臉圖像的LBP圖譜,然后利用重采樣技術融合2DLDA和E2DLDA提取雙向特征,獲得更優的識別效果. 本文算法的優點：1) 利用LBP特征提取人臉圖像的細節信息,可有效降低光照、 表情和姿態變化的影響;2) 算法始終在二維空間中進行,能夠保留圖像空間上的結構關系,提取到的水平和垂直方向的判別信息,充分利用了兩類信息的互補性;3) 重采樣技術能擴充現有樣本,從而提高分類器的識別性能.

1 2DLDA和E2DLDA定義

2DLDA的目的是找到投影方向:

(1)

E2DLDA求解的最佳投影方向R可類似定義：

(2)

2 LBP-RB2DLDA算法

2.1 LBP人臉特征圖譜

(3)

(A) 原始圖像 (B) LBP人臉特征圖譜圖1 LBP特征圖譜提取結果Fig.1 Result of LBP feature map

Ahonen等[15]將LBP算子應用于人臉識別并取得了較好的識別率. 本文借鑒U-LBP編碼方式,提取樣本圖像的LBP人臉特征圖譜,如圖1所示,并將該結果作為后續2DLDA/E2DLDA的輸入樣本圖像集合X.

2.2 2DLDA和E2DLDA提取信息的一致性和互補性

因此,經過2DLDA和E2DLDA后,二者共同的方差信息為圖像對應像素間的方差信息. 此外,經過2DLDA的其余方差信息為相同列上不同像素間的方差信息,經過E2DLDA后的其余方差信息為相同行上不同像素間的方差信息,即其余方差信息完全不同. 從矩陣的角度考慮,2DLDA利用了垂直方向的判別信息,E2DLDA則利用水平方向的判別信息,即2DLDA和E2DLDA中所使用的判別信息具有一定的一致性和信息互補性,為融合兩個方向的判別信息、 提高分類器的識別率提供了理論基礎.

2.3 重采樣

在人臉識別中,訓練樣本的變化會導致識別結果受到較大影響,使識別結果不穩定. 本文在分類器的設計中引入重采樣算法,不直接使用有限的訓練樣本,在訓練樣本集中進行隨機采樣,利用被采樣的若干子訓練樣本集進行分類器訓練,得到識別性能相對較低的弱分類器,然后集成多個弱分類器,得到識別性能更優的人臉強分類器. 雖然單個分類器的識別性能下降,但集成后會獲得更好的識別效果,同時提高了在受到光照變化、 表情變化影響下分類器的魯棒性和穩定性.

基于2DLDA/E2DLDA的識別算法中使用了類內和類間離散度矩陣,所以本文的重采樣算法并不是在整個訓練樣本集上進行,而是在每個類別中進行隨機采樣,并保證每個類別中采集到的樣本數一致,從而得到若干樣本數一致的子訓練樣本集.

通過重采樣訓練樣本集得到若干子樣本集后,在這些子樣本集上進行2DLDA和E2DLDA的訓練,得到若干基于歐式距離的最近鄰分類器,將若干分類器進行集成從而得到最終的人臉分類器. 目前的集成方法主要有總和規則和最大規則兩種. 一般子樣本集個數足夠多時,才能得到更準確的分類結果.

2.4 LBP-RB2DLDA流程

算法流程如圖2所示.

圖2 RB2DLDA流程Fig.2 RB2DLDA framework

1) 提取人臉圖像的LBP特征圖譜,作為訓練樣本集X;

2) 利用重采樣從樣本數為N的樣本集X分別獨立地選出K個子樣本集{T1,T2,…,TK},每個子樣本集Ti中的每個類別都采樣S個樣本,保證隨機選擇且無重復,每個子樣本集Ti中的總樣本個數N′

3) FORK=1∶K

對于TK,使用2DLDA算法訓練得到相應的基于歐式距離的最近鄰分類器；

對于TK,使用E2DLDA算法訓練得到相應的基于歐式距離的最近鄰分類器；

END;

4) 對訓練得到的K×2個分類器進行集成,得到最終的分類器C. 因為本文中設置的2DLDA和E2DLDA投影后的維數并不相同,因此采用最大規則能獲得較好的識別效果,余弦距離越大,表明匹配度越高.

3 實驗結果

3.1 實驗樣本及方法

使用AR人臉庫進行測試. AR庫中每人包含2個Session的26張圖像,其中每個Session均包含表情變化、 光照變化和遮擋等情況. 本文主要關注存在表情、 光照變化下的識別情況,為了平衡性別對識別的影響,選擇庫中100人(50名男性,50名女性)在Session 1的圖像,分別為正常、 微笑、 生氣、 左側光照、 右側光照、 兩側光照,如圖3所示,即樣本總類別為100,每類6張,共600張圖片,統一縮放至24×33.

圖3 AR庫中的實驗樣本Fig.3 Samples from AR face database

采用交叉驗證法中的留一法進行識別率測試,即依次從6張樣本中留下1張用于測試,剩余5張用于訓練. 例如: 測試樣本為左側光照的識別情況,則從不含左側光照的剩余5張樣本中隨機選擇若干張進行訓練,如此實驗50次,2DLDA和E2DLDA的累計貢獻率均設定為60%,其平均識別率作為分類器最終的識別結果. 實驗目的是考慮到實際應用中可能采集的樣本情況并不相同,且測試樣本極可能會出現訓練樣本庫中未采集到的情況. 實驗包括兩部分：1) 對表情變化、 光照變化及同時存在表情變化和光照變化這3種情況進行識別實驗,并觀察子訓練樣本集數K每類訓練樣本數S不同對識別結果的影響；2) 綜合分析算法的識別性能.

3.2 K,S不同時對識別結果的影響

不同K,S對LBP-RB2DLDA識別率的影響如圖4所示. 由圖4可見,多數情況下隨著子訓練樣本集數K的增加,識別率呈上升趨勢,表明算法在多數情況下均能利用雙向判別信息提高分類器的識別性能及穩定性；但在雙側光照情況下,隨著K值增加,識別率有較大波動,表明光照對識別情況具有較大影響. 同時,與其他線性鑒別分析算法識別性能類似,隨著訓練樣本數增加,算法識別的正確率有較大提高.

圖4 不同K,S對LBP-RB2DLDA識別率的影響Fig.4 Recognition accuracy of LBP-RB2DLDA with different values of K,S

3.3 不同算法在不同情況下的識別結果比較

表1分別列出了在正常、 存在表情變化、 存在單側光照變化、 存在兩側光照變化的情況下,LBP-RB2DLDA與其他同類鑒別分析算法的對比識別結果. 其中LBP-RB2DLDA算法取K=6的識別結果,累計貢獻率均設定為60%；而其他對比算法均為1張測試,5張訓練,累計貢獻率均設定為90%.

表1 不同算法的識別率(%)Table 1 Recognition accuracy of different methods (%)

由表1可見,正常情況和存在輕微表情變化的情況下,2DLDA/E2DLDA能利用兩個方向的信息互補性,提高識別效果. 而存在光照變化時,E2DLDA算法的識別率較差. 這是由于E2DLDA利用水平方向上的信息進行識別,但光照變化,特別是雙側光照變化,使所有行上水平方向的判別信息產生了較大變化,從而影響了E2DLDA的識別結果. 對于單側光照變化2DLDA表現出較好的識別結果,因為AR庫中這種左右側的光照變化并不會影響所有列上的垂直方向信息,從而有足夠多的正確信息保證得到正確的識別結果. 增加了LBP特征提取后,在存在表情和光照變化下,LBP-RB2DLDA算法的識別性能顯著提高,優于其他鑒別分析類算法.

綜上,本文證明了2DLDA和E2DLDA這兩個方向上的信息具有一致性和互補性,因此融合兩個方向上的判別信息,可獲得較好的識別性能. 同時,通過提取LBP特征和引入重采樣算法進行2DLDA和E2DLDA特征的融合,進一步提升了算法性能. 在AR人臉庫上的實驗結果表明,LBP-RB2DLDA算法具有更好的魯棒性,特別當存在表情變化和光照變化的情況時,能取得較好的識別效果.

[1] Belhumeur P N,Hespanha J,Kriegman D J. Eigenfaces vs Fisherfaces: Recognition Using Class Specific Linear Projection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,1997,19(7): 711-720.

[2] Raudys S J,Jain A K. Small Sample Size Effects in Statistical Pattern Recognition: Recommendations for Practitioners [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,1991,13(3): 252-264.

[3] HUANG Rui,LIU Qing-shan,LU Han-qing,et al. Solving the Small Sample Size Problem of LDA [C]//Proceedings of the 16th International Conference on Pattern Recognition. Piscataway: IEEE Press,2002: 29-32.

[4] XIONG Hui-lin,Swamy M N S,Ahmad M O. Two-Dimensional FLD for Face Recognition [J]. Pattern Recognition,2005,38(7): 1121-1124.

[5] KONG Hui,WANG Lei,Teoh E K. A Framework of 2D Fisher Discriminant Analysis: Application to Face Recognition with Small Number of Training Samples [C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE Press,2005: 1083-1088.

[6] YE Jie-ping,Janardan R,LI Qi. Two-Dimensional Linear Discriminant Analysis [J]. Neurocomputing,2005,69(1/2/3): 224-231.

[7] YANG Jian,Zhang D,YONG Xu,et al. Two-Dimensional Discriminant Transform for Face Recognition [J]. Pattern Recognition,2005,38(7): 1125-1129.

[8] Noushath S,Kumar G H,Shivakumara P. (2D)2LDA: An Efficient Approach for Face Recognition [J]. Pattern Recognition,2006,39(7): 1369-1400.

[9] Roth P M,Winter M. Survey of Appearance-Based Methods for Object Recognition [R]. Graz: Graz University of Technology,2008.

[10] Ojala T,Pietikainen M,Harwood D. A Comparative Study of Texture Measures with Classification Based on Feature Distributions [J]. Pattern Recognition,1996,29(1): 51-59.

[11] LIU Jun,CHEN Song-can,ZHOU Zhi-hua. Single Image Subspace for Face Recognition [C]//Proceedings of the 3rd International Conference on Analysis and Modeling of Faces and Gestures(AMFG’07). Heidelberg: Springer-Verlag,2007: 205-219.

[12] LIU Jun,CHEN Song-can. Resampling LDA/QR and PCA+LDA for Face Recognition [C]//Proceedings of Australian Conference on Artificial Intelligence. Berlin: Springer,2005: 1221-1224.

[13] LI Wen-hui,JIANG Yuan-yuan,WANG Ying,et al. A Face Recognition Algorithm Using a Fusion Method Based on Resampling Bidirectional 2DLDA [J]. Acta Electronica Sinica,2011,39(11): 2526-2533. (李文輝,姜園媛,王瑩,等. 一種基于重采樣雙向2DLDA融合的人臉識別算法 [J]. 電子學報,2011,39(11): 2526-2533.)

[14] Ojala T,Pietikainen M,Maenpaa M. Multiresolution Gray-Scale and Rotation Invariant Texture Classification Width Local Binary Patterns [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7): 971-987.

[15] Ahonen T,Hadid A,Pietikainen M. Face Description with Local Binary Patterns: Application to Face Recognition [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(12): 2037-2041.