具有最大散度無關性的局部保持投影算法

李 姝，于金剛

1(沈陽理工大學 裝備工程學院，沈陽 110159) 2(中國科學院 沈陽計算技術研究所，沈陽 110168) E-mail ：lishucx@163.com

1 引 言

在復雜環境下的人臉識別中，由于受到人臉本身表情、年齡以及外部的光照等方面的影響，導致人臉圖像存在許多的非線性結構.雖然經典的基于流形學習的人臉識別算法，如保持局部非線性結構不變的局部保持投影(Locality Preserving Projections，LPP)[1，2]算法，對于解決現實中的非線性問題有一定的貢獻，但其忽略了人臉類間信息的價值.在實際應用中，高分辨率的人臉識別系統需要滿足對于同一張人臉提取的特征具有穩定性，對于不同人臉提取的特征有差異性，因此要想達到高效的特征提取，引用類間信息是十分重要的.

本文基于LPP算法和最大散度準則(Maximum Scatter Difference Criterion，MSDC)[3，4]，提出了一種具有最大散度無關性的局部保持投影算法MULPP.該算法通過將最大散度差準則引入到LPP算法之中，即將最佳的類間信息引入到目標函數之中，使算法具有最大的類間散度和最小的類內散度，提高分類性能；并且將統計不相關的約束條件引入到算法中，通過求取最優的統計無關鑒別矢量集，能夠有效地消除特征投影變換后各個特征分量之間的相關性，與此同時具有共軛正交性的鑒別矢量集，消除了特征間的冗余，更利于數據重構.此算法提高了人臉識別系統的識別性能，不需要復雜的分類器就能達到較高的識別率.

2 MSDC準則

MSDC準則是一種線性鑒別準則，其通過尋找到一個最優的變換矩陣，利用線性變換的方法，將高維空間數據集投影到低維空間，使得樣本的類間散度與類內散度差最大，即不同類的樣本在投影后有最大的類間距離，同類樣本有最小的類內距離.另外，MSDC準則不同于Fisher鑒別準則[5]，其采用廣義最大散度差作為數據集投影后類間、類內的度量標準，而不再沿用廣義的Rayleigh商.

設有樣本空間向量集X={x1，x2，…，xl}∈Rd，共l個類.第i類的訓練樣本數為Ni個，則第i類樣本平均值為mi，總樣本平均值為m，樣本總體散度矩陣為St，樣本類內散度矩陣為Sw，樣本類間散度矩陣為Sb，它們定義分別為：

(1)

(2)

(3)

St=Sw+Sb

(4)

(5)

MSDC準則定義函數如下：

(6)

=maxvT(Sb-C·Sw)v

(7)

(8)

3 統計不相關最優鑒別矢量集

雖然具有局部保持投影的LPP算法成功地應用于人臉識別領域，并取得了較好的實驗效果，但是通過LPP算法獲得的投影特征矩陣列向量并不是兩兩正交的，特征間仍然有冗余性，不便于數據重構；再則，類間特征盡可能是統計無關的，這樣會便于分類.鑒于此，將正交完備性概念引入鑒別矢量集是非常有意義的[6-9].

統計不相關定義：如果隨機變量ξ和η滿足等式(9)，則稱ξ和η為統計不相關的.

E[ξ-Eξ][η-Eη]=0

(9)

已知Fisher鑒別函數為公式(10)，其中v為任一n維非零列矢量.

(10)

樣本最優鑒別矢量中，我們將v1作為第一個矢量方向，第r(r≧1)個矢量方向依次為v1，v2，…，vr，則第(r+1)個最優矢量方向是vr+1，它既是令Fisher鑒別準則函數表達式達到最大值的向量，它又滿足共扼正交條件式(11).

(11)

引理2. 具有統計無關性的最優鑒別矢量集的第r+l個最優鑒別方向vr+1是廣義特征方程(12)中最大特征值對應的特征向量.

PkSbv=λSwv

(12)

4 MULPP算法設計

本文在LPP方法的基礎上，引入了統計無關特性和最大類間信息散度準則，提出一種提出了具有最大類間散度無關性的局部保持映射算法(MULPP).本文提出的算法，可以使投影映射后的特征既保持了原有局部非線性特性，同時又保留了類別信息，在保持類內間距最小的同時，使類間間距最大.MULPP算法目標函數定義如下：

MULPP算法目標函數定義如下：

(13)

(14)

簡化后的目標函數J(V)被減數部分為：

=vTMBMTv

(15)

化簡目標函數J(V)的減數部分為：

(16)

=2vTXLXTv

其中，D為對角矩陣Dii=∑jWij，L=D-W是Laplacian矩陣.將2vTXLXTv這部分作為投影變換后的類內離散度量矩陣.

將(15)和(16)代入(13)得到

=maxvT(MBMT-2rXLXT)v

(17)

=maxvT(MBMT-2rXLXT)v

另外，考慮令yi和yj的特征具有統計無關性，則統計無關約束條件需要滿足下列關系：

(18)

(19)

由下式可知

(20)

其中，G=I-eeT/n，e=(1，1，…，1)T為n維列向量.

已知單位矩陣的任何正交變換仍是單位矩陣.對于在統計無關空間中任意兩個共軛正交向量，都可得到其相應的最優鑒別矢量，使訓練樣本集在它們上的投影具有統計無關性.最終，MULPP算法的最優模型表示為：

(21)

5 實驗結果與分析

在AT&T和Yale兩個標準人臉圖像庫上進行實驗驗證.分別測試、比較主成分分析(PCA)方法、局部保持投影(LPP)、最大散度準則(MSDC)、典型相關分析(CCA)和本文所提出的MULPP算法的識別性能.

5.1 基于AT&T人臉庫實驗

AT&T人臉圖像庫是由劍橋大學AT&T實驗室創建，它又被稱為ORL人臉庫，相對于其他人臉圖像庫，AT&T人臉庫是一個容量較小的人臉庫，它包含有400張人臉灰度圖像，其中由40個人，每人10幅人臉圖像構成.所有人臉圖像均為尺度10%左右、旋轉20%左右、和傾斜20%左右的單一黑色背景正面圖像[9].圖1為某個人在AT&T人臉圖像庫中的10個樣本圖像.

圖1 AT&T人臉數據庫中某一人的十幅圖像Fig.1 Ten images of one person in AT&T face database

樣本選取，隨機地從AT&T人臉庫里選擇某一人的5幅人臉圖像作為識別的訓練樣本，剩余的 5幅圖像為測試樣本.測試樣本P測試=200，訓練樣本P訓練=200，實驗采取獨立訓練10次，求取平均識別率的方法.樣本主分量p=50.本實驗的目的：測試、比較各個算法在AT&T人臉庫上的表現.圖2表示在不同特征維數下，各算法的識別率變化情況.

圖2 各算法識別率比較Fig.2 Recognition rates of comparing various projection methods

從圖2和表1可知MULPP算法在20維度時，已經達到最高識別率98.99%.相比較其他算法，MULPP算法具有很高的識別率，而且達到最高識別率所需的特征維數較低；在特

表1 各算法在AT&T庫最高識別率及相應特征維數Table 1 Comparison of maximum recognition rates between methods on the AT&T database

征維數10以后，MULPP算法識別率都在96%以上一直高于其他算法.并且在特征維數20以后，MULPP算法的識別率始終穩定在98%～99%之間，表明其具有較好的穩定性.對比實驗表明了，MULPP算法對于存在人的臉部細節和表情變化，及人臉圖像存在旋轉變化、尺度變化和傾斜變化的AT&T人臉庫中的表現非常出色.其可以在較低的維數下，達到較高的識別率.

(3)0～9.8 m孔段：鉆孔孔徑550 mm，下入?425 mm×8 mm表層套管9.9 m，并用強度為M10的水泥砂漿固井；

5.2 基于YALE人臉庫實驗

Yale的人臉圖像庫也是人臉識別中常用到的圖像庫.Yale的人臉圖像庫圖像數據比較少，只包含15個人，共165幅人臉照片，每人擁有11張不同的表情[9].Yale人臉圖像庫圖像有表情和光照的變換.圖3是Yale人臉圖像庫中其中一個人的所有樣本.

圖3 Yale人臉圖像庫Fig.3 Face examples from the Yale database

實驗從YALE人臉圖像中15個人里，每人隨機地選取5張人臉圖像作訓練樣本，測試樣本為剩余的6張圖像，則訓練樣本總數P訓練=75，測試樣本總數P測試=90.采用獨立訓練10次，求平均識別率的方法.樣本主分量數 p=50.圖3表示PCA算法、CCA算法、LPP算法、MSDC算法與MULPP算法分別在Yale人臉圖像庫中特征維數與識別率對比.表2表示上述5類算法分別在YALE人臉圖像中的又具有的最高識別率，及對應特征維數.

表2 YALE庫中各算法最高識別率及對應特征維數Table 2 Comparison of maximum recognition rates between methods on the YALE database

圖4 各類算法識別率比較Fig.4 Recognition rates of comparing various projection methods

從表2和圖4可知：MULPP算法的最高識別率是98.67%.相比較其他算法，MULPP算法在20維度時已經到最高識別率，而其它算法的最高識別率在86.11%到92.97%之間，且需要達到較高的特征維數.在YALE人臉圖像的實驗中，MULPP算法的綜合識別性能都優于其它算法，算法曲線圖變化平穩、穩定性強.在Yale圖像庫實驗結果表明，在人臉圖像角度及方位保持不變，但存在外界光線的干擾和表情變化，及部分圖像不完整情況時，MULPP算法仍然表現出很高的識別率.

6 結 論

本文提出了一種具有最大散度無關性的局部保持投影算

法.該算法采用統計不相關性的最佳鑒別矢量的計算方法，通過求取最優的降維映射矢量集，既消除了信息間的冗余，又使得投影后的異類特征保持最大的類間距離，而同類特征保持最小類內距離，從而提高算法的識別率.

本文提出的算法能夠使同類特征點相互集中，異類特征點相互分離，從而形成高聚簇作用.即使在人臉圖像存在表情不一、角度偏轉和圖像不完整的情況下，識別算法仍然能表現穩定.通過實驗表明，MULPP算法具有良好的分類性能，及較高的穩定性，在低維特征空間，就達到了較高的識別率.

[1] Gupta D，Kaushik P.Face recognition using binary locality preserving projections[J].Biometrics & Bioinformatics，2014，6(5)：216-221.

[2] He X F，Yan S C,Hu Y X，et al.Face recognition using laplacianfaces[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27(3)：328-340.

[3] Song F X，Cheng K ，Yang J Y ，et al.Maximum scatter difference，large margin linear projection and support vector machines[J].Acta Automatica Sinica，2004，30(6)：890-896.

[4] Lin Yu-sheng，Wang Jian-guo，Yang Jing-yu.A New efficient feature extraction method based on maximum scatter difference criterion[J].Computer Science，2007，34(12)：157-160.

[5] Zheng Yu-jie，Yang Jing-yu，Xu Yong，et al.A new feature extraction method based on fisher discriminant minimum criterion[J].Journal of Computer Research and Development，2006，43(7)：1201-1206.

[6] Lin Ke-zheng，Rong You-hu，Wu Di，et al.Orthogonal complete discriminant locality preserving projections of kernel[J].Pattern Recognition and Artificial Intelligence，2015,32(5)：1589-1592.

[7] Li Kun-lun，Geng Xue-fei，Cao Jing-yuan.Face recognition based on discriminant sparsity preserving projection[J].Journal of Chinese Computer Systems，2017，38(2)：376-380.

[8] Qi Yong-feng，Yang Hong-wei.A face recognition method based on sparse random projection[J].Radio Engineering，2015，45(3)：19-21.

[9] Lin Ke-zheng，Wu Di，Liu Shuai，et al.3D face recognition algorithm based on partial differential equations deformable mode[J].Computer Application Research，2015，32(9)：2827-2843.

附中文參考文獻：

[4] 林宇生，王建國，楊靜宇.一種新的基于最大散度差準則的特征抽取方法[J].計算機科學，2007，34(12)：157-160.

[5] 鄭宇杰，楊靜宇，徐 勇，等.一種基于Fisher鑒別極小準則的特征提取方法[J].計算機研究與發展，2006，43(7)：1201-1206.

[6] 林克正，榮友湖，吳 迪，等.核的正交完備鑒別局部保持投影[J].模式識別與人工智能，2015,32(5)：1589-1592.

[7] 李昆侖，耿雪菲，曹靜媛.鑒別稀疏保持投影的人臉識別算法[J].小型微型計算機系統，2017，38(2)：376-380.

[8] 齊永峰，楊宏偉.一種基于稀疏隨機投影的人臉識別方法[J].無線電工程，2015，45(3)：19-21.

[9] 林克正，吳 迪，劉 帥，等.基于PDE形變模型的三維人臉識別算法研究[J].計算機應用研究，2015，32(9)：2827-2843.