二維判別監督LPP算法在人臉識別中的應用

趙璇　劉輝

摘要：一維常規LPP方法應用于人臉識別數據時，由于通常存在矩陣奇異性問題，相應特征方程不可直接求解；目前已提出了二維局部保持投影算法（2DLPP）可以解決上述問題。但需要指出的是，2DLPP是一個非監督的學習方法，其只考慮了數據的距離關系，而忽視了合理處理不同類別樣本間關系的問題。本文將介紹的2DLPP改進方法——二維判別監督局部保持投影（2DDSLPP）的方法能利用監督學習的手段改進2DLPP，提高其分類性能。通過實驗證明，可以大大提高識別率。

Abstract： Because of the matrices singularity， the corresponding characteristic equations can not be directly solved when the one dimensional regular LPP method is applied to face recognition data， the two dimensional locality preserving projection （2DLPP） can directly solve the above problems. But it should be pointed out that， 2DLPP is an unsupervised learning method， it only considers the distance relationship of the data， and ignores to reasonably deal with the relationship among different categories. This article will introduce the improved method of 2DLPP——two-dimensional discrimination and supervision locality preserving projection （2DDSLPP）， it can use supervised learning method to improve 2DLPP， improve its classification performance. The experiment proves that the recognition rate is improved greatly.

關鍵詞：人臉識別；局部保持投影；線性判別分析；子空間

Key words： face identification；locality preserving projection；linear discriminant analysis；subspace

中圖分類號：TP391.4 文獻標識碼：A 文章編號：1006-4311（2016）05-0219-02

0 引言

人臉識別在身份識別、安全監控等領域的廣泛應用，使其逐漸成為模式識別及人工智能的重要組成部分。近期，基于子空間方法的人臉識別迅速發展，已提出很多識別方法，如主成分分析（Principal Component Analysis，簡稱PCA）和線性判別分析[1]（Linear Discriminant Analysis，簡稱LDA）。而PCA和LDA方法的前提條件是樣本服從多元正態分布，而研究表明，人臉圖像不一定服從正態分布[2]，在此背景下，兩種方法都無法獲得預期的應用效果。因此，局部保持投影（Locality Preserving Projection，簡稱LPP）應運而生。與上述方法相比，LPP在投影時可以保持樣本的局部結構[3]，投射到流形結構上的人臉圖像更能反映其本質，因此LPP的應用性能遠優于PCA。近期研究表明，常規的LPP方法理論上存在一些問題[4]：首先，一維LPP方法應用于高維數據時，通常存在矩陣奇異性問題，其相應特征方程不可直接求解；另外，在高維數據情況下，雖然已有的PCA+LPP方案能得出可直接求解的特征方程，但也存在變換結果與真正的具有較強局部拓撲結構保持性質的變換結果相差太大的理論缺陷[6]。

目前研究者已提出了二維局部保持投影算法[7]（2DLPP）。2DLPP算法和LPP算法相比，擁有很低的時間復雜度。而且，由于2DLPP中矩陣的維數遠低于一維LPP，2DLPP一般不存在小樣本問題。但是，2DLPP是一個非監督的學習方法[8]，其只考慮了數據的距離關系，而忽視了合理處理不同類別樣本間關系的問題。假如能利用監督學習的手段改進2DLPP，則有望提高其分類性能。本文將介紹的2DLPP——二維判別監督局部保持投影（2DDSLPP）的方法正是基于此提出的。

1 局部保持投影（LPP）

LPP基于一些性能目標尋找線性變換W，繼而對高維數據進行降維：

已知存在l個訓練樣本X={xi}li=1∈Rm，將下列目標函數進行最小化處理，得到變換矩陣W：

其中S是權值矩陣，可采用k近鄰來定義：

在式（3）中，ε>0，t>0，另外ε還是一個足夠小的常量。

通過式（2）可對目標函數進行降維后，所得到的特征空間可以保持原始高維空間的局部結構。因此，我們運用式（4）對式（2）進行代數變換：

在式（4）中，X=[x1，x2，…，xl]，D是l×l對角陣，對角線元素Dii=Sij，L=D-S。

通過式（5）求解廣義本征值問題，得到一個變換矩陣W，將W代入式（4）可得到一個最小值。

式（5）的d個最小的非零特征值所對應的特征向量構成投影矩陣W=[w1，w2，…，wd]。

在人臉識別領域，LPP算法常常會遇到小樣本問題，常規的解決方法是先采用PCA降維，然后在PCA子空間應用算法，但存在上述缺陷，于是學者們提出了二維局部保持投影算法（2DLPP）。而2DLPP是一個非監督的學習方法，其只考慮了數據的距離關系，而忽視了合理處理不同類別樣本間關系的問題。進而通過改進引入二維監督的局部保持投影算法（2DSLPP）。

2 二維判別監督的局部保持投影（2DDSLPP）

本節主要討論的二維判別監督局部保持投影（2DDSLPP）不僅利用了樣本的類別信息，而且要求降維后同類樣本之間保持近鄰關系，不同類的樣本之間距離變遠。仍然假設從原樣本空間到特征空間的投影向量是列向量a，則原樣本Xi的投影結果為Yi=aTXi。二維判別監督局部保持的目標函數為如下定義，即

min（6）

式中：S表示關于同類樣本之間的關系矩陣；SD表示不同類樣本之間的樣本關系矩陣。S的定義如下：如果Xi，Xj來自同一類，則S=exp- Yi-Yj /t，否則，令其為零。SD的定義為：如果Xi，Xj來自不同類，則S=exp- Yi-Yj /t，否則，令S=0。式（8）可以變換為

min=min（7）

令c為常量，TX（L2In）XTa=c（c≠0）。用Lagrange條件極值求解方法，式（6）與如下Lagrange函數同時取得極值，即

對Lagrange函數L（a，λ），其極值在？鄣L（a，λ）/？鄣a=0的條件下獲得。因此，極小值問題式（8）可轉換為求解式（11）的最小特征值對應特征向量的問題，即

假設列向量a1，a2，…，ad是特征方程式（11）前d個最小特征值對應的特征向量，按照特征值有小到大排列：λ1<λ2<…<λd。令A=[a1，a2，…，ad]，則原樣本Xi的投影結果為Yi=ATXi。

3 實驗

對AR數據庫中120人的3120幅人臉圖像（每人26幅圖像）進行了實驗。每幅人臉圖像首先被縮小為40*50大小。為了簡單，本實驗采用AR數據庫中前40人的1040幅人臉圖像（每人26幅圖像）進行了實驗。實驗分為4種情況，4種情況下訓練樣本的個數分別為6、8、10、12，而測試樣本的個數分別為20、18、16、14。對每種情況，分別進行10次實驗；每次實驗的訓練樣本與測試樣本均隨機選擇。例如，在第一種情況下，10次實驗中的每次都隨機的選擇6個訓練樣本與20個測試樣本，然后運行各方法并計算出正確的識別率。由于每次實驗中正確識別率均隨變換軸的個數變化而變化，我們只記錄下每次實驗中的最大正確率。表1顯示了每種情況的10次實驗的最大正確識別率的均值。可以看到，2DSLPP和2DDSLPP的正確率均高于2DLPP，且2DDSLPP的正確識別率比2DDLPP、2DLDA的正確識別率都要高。圖1給出的是，在訓練樣本和測試樣本個數分別為10和16情況小的一次實驗中，正確識別率隨變換軸個數的變化。

4 結束語

本文提出了二維判別監督局部保持投影算法。將該算法應用在實際問題中，LPP方法對光照、姿態變化敏感的缺點就迎刃而解，并且能實現降維后同類樣本之間保持近鄰關系，不同類的樣本之間距離變遠。實驗結果表明，LPP 方法對光照和姿態變化具有一定的魯棒性，能夠對人臉圖像進行有效的降維處理，從而進一步提高人臉識別率。但是關于該方法的魯棒性，在今后的應用中還有待進一步的研究和驗證。

參考文獻：

[1]Bo Li，Chun-Hou Zheng，De-Shuang Huang. Locally linear discriminant embedding： An efficient method for face recognition[J]. Pattern Recognition， 2008 （12）.

[2]Weiwei Yu， Xiaolong Teng，Chongqing Liu. Face recognition using discriminant locality preserving projections[J]. Image and Vision Computing， 2005 （3）.

[3]D. Cai，X. He，J. Han.SRDA：An efficient algorithm for large scale discriminant analysis. Computer Science Department UIUC UIUCD CS-R-2007-2857 Tech. Rep. 2007.

[4]趙芬慶.基于LPP的人臉圖像分析[D].西安電子科技大學， 2013.

[5]Ye J P，Janardan R，Li Q.Two-dimensional linear discriminant analysis. Advances in Neural Information Processing Systems， 2004.

[6]Huang R，Liu Q，Lu H，et a1.Solving the small sample size problem of LDA. Proceedings of International Conference on Pattern Recognition， 2002.

[7]龐爾平.人臉識別中基于稀疏降維方法的研究[D].吉林大學，2013.

[8]華顯明.結合2DPCA和有監督LPP人臉識別算法研究[D]. 重慶師范大學，2013.