基于仿生學的不相關局部保持鑒別分析

寧 欣 李衛軍 李浩光 劉文杰

(中國科學院半導體研究所 北京 100083) (ningxin@semi.ac.cn)

?

基于仿生學的不相關局部保持鑒別分析

寧 欣 李衛軍 李浩光 劉文杰

(中國科學院半導體研究所 北京 100083) (ningxin@semi.ac.cn)

由于形象思維方式是人類的一種本質思維方式，人類通過各種感官來認知事物的規律性，進而提取出具有代表性的特征，因此通過形象思維的方法來提取事物的本質特征符合人類認知事物的規律.針對人臉識別中特征提取問題，該算法以形象認知規律與無監督判別投影為理論基礎，提出了一種仿生不相關空間局部保持鑒別分析(biomimetic uncorrelated locality preserving discriminant analysis, BULPDA)算法.算法首先根據人類形象認知的特性構建了一種新的相似系數表示方法；然后結合不相關空間概念，確保矢量空間具有不相關性；最后給出了基于奇異值分解的矢量空間求解方法，形成了一種特征提取新思路.在標準數據庫上的實驗結果表明，新算法優于傳統的特征提取方法和其他改進的局部保持投影方法.

無監督判別投影；形象認知；不相關空間；特征提取；奇異值分解

在基于子空間分析的方法中，He等人[1]提出的局部保持投影 (locality preserving projection， LPP) 算法是一種經典特征提取算法，該算法由于考慮了樣本的流形結構，在模式識別中取得了較好的識別效果，因而得到了關注，并從不同角度提出了改進的算法，均取得了較好的識別效果[2-8]；文獻[2]給出了LPP在應用于高維小樣本時的具體求解框架；文獻[3]則針對LPP數值解的穩定性進行了研究，給出了一種穩定的求解模型；文獻[4]則針對LPP中的相似矩陣進行了研究，給出了一種優化相似矩陣的LPP；但上述改進方法并沒有從分類的角度考慮問題，文獻[9]提出的無監督判別投影(unsupervised discriminant projection， UDP)算法更適合分類，該方法目標函數類似于Fisher線性鑒別分析，使得投影后同類樣本相互靠近，非同類樣本相互遠離，但是該方法沒有用到樣本間的類別信息，當人臉圖像的表情、姿態等發生較明顯變化時，算法的識別性能會明顯下降；因此，后續有很多基于UDP算法的改進[10-11]，文獻[11]提出了一種基于Fisher的保局投影(Fisher locality preserving projections, FLPP)算法，改善了算法的識別性能，但是未考慮到類別內部與不同類之間的規律.

總而言之，現有的特征提取技術是從邏輯思維的方法來解決形象思維的問題，但是以定理、推論等手段的邏輯思維方法很難反映人類認知過程的本質性.而形象思維方法是人的一種本質思維方式，通過人的各種感官來認知事物的規律性，進而提取出具有代表性的特征，因此形象思維的問題通過形象思維的方法來解決是具有優勢的.另一方面，上述方法所求的鑒別矢量之間不具有不相關性，在特征提取理論中，通常希望所獲得的鑒別矢量相關性越低越好，從而提高識別率.本文結合人類形象思維的特性提出了一種仿生不相關局部保持鑒別分析(biomimetic uncorrelated locality preserving discriminant analysis, BULPDA)算法.BULPDA算法以UDP算法為理論基礎，根據形象思維的特性提出了一種新的相似系數構造方法，不僅利用了樣本間的類別信息，而且反映了同類樣本之間的規律和不同類樣本間的相似性；另外，BULPDA算法引入了不相關空間，使得最終的矢量集具有不相關性，不僅進一步發展了UDP算法，而且形成了一種特征提取的新思想和新方法.

1 無監督判別投影

UDP算法[9]是對LPP算法的改進，其目標函數類似于Fisher線性鑒別分析，因此，相比于LPP算法，UDP算法更加適合分類，但是仍然沒有用到類別信息.樣本空間X=[x1,x2,…,xi]，每個xi代表一幅人臉圖像，首先給出UDP算法中局部散度矩陣SL、非局部散度矩陣SNL與總體散度矩陣Stotal的定義為

(1)

(2)

(3)

式(1)與式(2)中的相似系數si j計算為

(4)

局部散度矩陣SL與非局部散度矩陣SNL類似于Fisher線性判別分析中的類內散度矩陣和類間散度矩陣，但是并沒有用到樣本的類別信息.UDP算法的目標函數為

(5)

或者

(6)

(7)

或者

(8)

假設把求得的特征值按降序排列λi≥λi+1，選擇對應前d(通常d

2 不相關空間局部保持鑒別分析

2.1 仿生形象思維特性

仿生形象思維方法應用于信息科學領域以來，成功地應用于模式識別等多領域[12-14].相對于用邏輯思維方法來解決信息科學領域問題，以形象思維方法研究為基礎的方法，是目前解決圖像處理、語音識別等形象思維問題的有效方法.本文算法主要是依據2個形象思維特性：

1) 同源連續性

來源于同一個事物并表征其不同狀態的樣本，稱為同源樣本.一般情況下，2個同源樣本α1與α2之間至少存在1條連續的通道η，該通道中的每一個點均屬于α1與α2的同源樣本，使得樣本α1沿著通道η所表示的是一個連續漸變的過程，可以逐步演變為同源樣本α2.同源樣本之間所存在的上述內在規律，我們稱之為同源連續性規律(principle of homology continuity， PHC)[15-16].

2) 異源相似性

2個不同類的樣本存在著一定的相似性.從人類形象認知方面出發，假設人區分1只狗和1只羊的認知難度為β1，區分1只狗和1只狼的認知難度為β2，那么很顯然有β1>β2，因為狗與狼之間的相似性大于狗與羊的相似性，更加難以區分.因此，一個樣本點和不同的異類樣本點之間的相似性是不同的，相似性的量化值是漸變的，這個關于異源的樣本間的相似性規律，我們稱之為異源相似性原理.

傳統的模式識別方法做訓練時，將訓練樣本嚴格分為正樣本和負樣本，但是并未考慮到正樣本內在的規律，也沒有考慮到正樣本與負樣本之間的聯系，因此，并不符合人類形象思維的認知過程.

2.2 BULPDA算法描述

在上述UDP算法中的局部散度矩陣SL和非局部散度矩陣SNL均用到了相似系數si j，si j表示樣本xi與樣本xj之間的相似關系.LPP算法中，si j構成近鄰矩陣S表示不同樣本之間的位置相似權值.但是，算法UDP與LPP均未用到樣本間的類別信息，只是利用樣本的近鄰關系來構造相似系數.文獻[7]用到了類別間的信息，但是未考慮到類別內部的同源連續性與不同類之間的異源相似性.在此，給出按照形象思維特征構造的相似系數hi j：

若xi與xj為同類樣本，則：

(9)

若xi與xj為不同類樣本，則：

(10)

其中,t為可調參數，取值范圍為0

(11)

顯然式(11)可以等價于

(12)

此時目標函數中的W沒有任何限制，然而在特征提取理論中，一般希望獲得的鑒別矢量空間相關性盡可能小，最好是不相關的，從而提高算法的識別率.下面給出不相關鑒別空間的定義.

根據定義1可知若使W具有不相關性，需滿足：

(13)

綜合式(12)與式(13)可得最優函數為

(14)

2.3 BULPDA算法的求解

由于最終的鑒別矢量W=(w1,w2,…,wr)之間具有不相關性，所以存在1個不相關空間P，使得PTStotalP=I.BULPDA算法求解的關鍵一步是不相關空間的構造，下面給出不相關空間P的構造過程.

首先對Stotal進行奇異值分解，由于Stotal為對稱的半正定矩陣，根據矩陣定理可被分解為

(15)

其中，U和V分別為正交矩陣，Σ2m是按照降序排列的對角矩陣，m=rank(Stotal).令U=(U1,U2)，U1∈n×m，U2∈n×(n-m)，n為樣本的維數.U1為Stotal非零特征值對應的特征向量，令，則有：

(16)

由于P滿足不相關空間的定義，故P即為所求的不相關空間.

P為Stotal經過奇異值分解后得出的不相關空間，P∈m×m；Q為進行特征值分解后前r個最大特征值對應的特征向量，Q∈m×r.令W=PQ，其中QTQ=Ir，r為最終選取特征的個數，則式(14)可以轉化為

(17)

(18)

綜上所述，關于BULPDA算法的具體實現步驟如下：

1) 根據式(9)和式(10)計算出具有形象思維特性的相似系數hi j，并將其線性歸一化為0～1范圍之間；

3) 對Stotal進行奇異值分解，然后求出不相關空間P；

6) 令W=PQ=[w1,w2,…,wr]，即W為所求的仿生不相關局部保持鑒別矢量集.

3 實驗和分析

為了驗證BULPDA算法的性能，在YALE和CMU PIE數據庫上進行了實驗，為了盡可能地避免識別部分的干擾，采用最近鄰分類器進行分類.

YALE人臉庫中人臉圖像光照表情變化較大，該人臉庫包含15個人的165幅圖像，每人11幅圖像，每人的每幅圖像均是從不同的視角獲得，有較大的表情變化、光照變化以及部分缺損，每幅圖像的分辨率為100×100，圖1為YALE人臉庫的部分圖像.CMU PIE數據庫包含68個人的41 368張人臉圖片，采集于不同的姿態、表情和光照條件.在本實驗中我們選取了C29子集的1 632張圖片作為實驗圖像，一共68個人，每個人24張圖像.圖2為CMU PIE人臉庫的部分圖像.

Fig. 1 11 samples of YALE face database.圖1 YALE人臉庫11個樣本

Fig. 2 24 samples of CMU PIE face database.圖2 CMU PIE人臉庫24個樣本

3.1 特征維數實驗及結果分析

人臉識別的識別率主要受到樣本維數與所提取的特征維數的影響.本實驗中，為了驗證算法的有效性，我們在YALE和CMU PIE數據庫上分別選取2個數據庫中前n張圖像作為訓練樣本(YALE數據庫選6張，CMU PIE數據庫選14張)，剩余圖像作為測試樣本.實驗發現，FLPP算法與BULPDA算法最大特征個數取C-1時效果最佳(C為樣本類別數)，因此，在下面實驗中，各算法的最大特征個數都取為C-1.將BULPDA，LPP，UDP，FLPP[11]算法在提取不同特征數目時的識別性能進行了比較，結果如圖3和圖4所示:

Fig. 3 The recognition rate of four algorithms in YALE database.圖3 YALE人臉庫上4種算法的性能比較

Fig. 4 The recognition rate of four algorithms in CMU PIE database.圖4 CMU PIE人臉庫上4種算法的性能比較

從圖3與圖4可知，總體上來看，隨著特征數目的增加4種算法的識別率都有明顯的提升.算法FLPP與BULPDA無論在YALA數據庫上還是CMU PIE數據庫上最佳識別率都高于算法LPP與UDP，這是因為二者利用到了樣本間的類別信息，屬于有監督.另外，可以發現，算法BULPDA在特征數目比較少時優勢并不明顯，但是隨著特征數目的增加識別率快速上升，最終高于其他3種算法，這是由于算法BULPDA提取的矢量空間具有不相關性，隨著特征數目的增加，這種優勢會更加明顯.

3.2 不同樣本個數實驗及結果分析

不同的樣本個數對算法的識別率也有較大影響，為了消除算法BULPDA識別結果的偶然性，每次實驗中，在YALE和CMU PIE數據庫中分別隨機選取n幅圖像作為訓練樣本，剩余圖像作為測試樣本，每組實驗重復進行10次，取平均值作為實驗結果.為了驗證基于仿生特性相關系數的有效性，將UDP算法中的相關系數更換為本文基于仿生學的相關系數構造方法，求解過程不變，構成BUDP(biomimetic unsupervised discriminant projection)算法.將算法BULPDA與算法LPP，UDP，FLPP，BUDP在取不同樣本個數時的識別性能進行了比較，結果如表1與表2所示.

Table 1 The Recognition Rate of Five Algorithms in YALE Database

Table 2 The Recognition Rate of Five Algorithms in CMU PIE Database

由表1與表2可知，總體上5種算法的識別率隨著樣本數量的增高而增高.可以看出，BUDP算法在2個數據庫中取不同樣本時的識別率均高于UDP算法，說明了基于仿生學的相關系數構造方法比傳統的構造方法更加有效；BULPDA算法的識別率均高于另外4種算法，但是本文算法在多樣本下的優勢比少量樣本情況下更明顯.例如，在YALA數據庫中，樣本數為6時BULPDA算法識別率比FLPP算法高4.2%，樣本數為3時BULPDA算法識別率比FLPP算法高0.6%，說明算法在多樣本情況下優勢更明顯，因為多量樣本數據規律性更加明顯，少量樣本數據規律難以提取，這也符合人類分類認知的規律.

4 總 結

本文討論了UDP算法以及其他LPP改進算法的特點與不足，并在此基礎上提出了一種仿生不相關局部保持鑒別分析算法BULPDA.本文算法根據人類形象認知的特性提出了一種新的相似系數構建方法，并且引入了不相關空間概念，使得最終求得的鑒別矢量空間具有不相關性，最后給出了具體的求解過程.YALE與CMU PIE人臉庫上的實驗結果也驗證了算法的有效性.盡管本文算法具有一定優勢，但是其本質是一種有監督算法，在現實問題中往往很難獲得大量有類別標簽的樣本，因此如何充分利用無標簽樣本，即將算法拓展為一種半監督算法是我們下一步研究的重點.

[1]He Xiaofei, Yan Shuicheng, Hu Yuxiao, et al. Face recognition using Laplacianfaces[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2005, 27(3): 328-340

[2]Zhang Yinling, Yang Fan, Zhao Xuetang. An improved LPP algorithm[C] //Proc of the 21st Int Conf on Niu Jing Systems and Infomatics. Piscataway, NJ: IEEE, 2012: 664-668

[3]Xu Yong, Song Fengxi, Feng Ge, et al. A novel local preserving projection scheme for use with face recognition[J]. Expert Systems with Applications, 2010, 37(9): 6718-6721

[4]Zhang Limei, Qiao Lishan, Chen Songkan. Graph-optimized locality preserving projections[J]. Pattern Recognition, 2010, 43(6): 1993-2002

[5]Lin Yu’e, Li Jingzhao, Liang Xingzhu. Direct orthogonal discrimination locality preserving projections method[J]. Journal of Optoelectronics·Laser, 2012, 23(3): 561-565 (in Chinese)

(林玉娥, 李敬兆, 梁興柱. 直接正交鑒別保局投影算法[J]. 光電子·激光, 2012, 23(3): 561-565)

[6]Wang Qingjun, Zhang Rubo, Pan Haiwei. Face recognition based on kernel orthogonal local discrimination embedding[J]. Journal of Optoelectronics·Laser, 2010, 21(9): 1386-1389 (in Chinese)

(王慶軍, 張汝波, 潘海為. 基于核正交局部判別嵌入的人臉識別[J]. 光電子·激光, 2010, 21(9): 1386-1389)

[7]Dornaika F, Assoum A. Enhanced and parameterless locality preserving projections for face recognition[J]. Neurocomputing, 2013, 99(1): 448-457

[8]Lin Guojun, Xie Mei. A face recognition algorithm using Gabor wavelet and orthogonal locality preserving projection[C] //Proc of 2012 Int Conf on Computational Problem-Solving. Piscataway, NJ: IEEE, 2012: 320-324

[9]Wong W, Zhao Haitao. Supervised optimal locality preserving projection[J]. Pattern Recognition, 2012, 45(1): 186-197

[10]Yang Jian, Zhang Dong, Yang Jingyu, et al. Globally maximizing, locally minimizing: Unsupervised discriminant projection with applications to face and palm biometrics[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2007, 29(4): 650-664

[11]Yang Wankou, Sun Changyin, Zhang Lei. A multi-manifold discriminant analysis for image feature extraction[J]. Pattern Recognition, 2011, 44(8): 1649-1657

[12]Wang Guoqiang, Shu Yunxing, Liu Dianting. Fisher locality preserving projections for face recognition[J]. Journal of Computational Information Systems, 2013, 9(8): 2993-3000

[13]Wang Shoujue, Lai Jiangliang. High dimensional imagery geometry and it’s applications[J]. Chinese Journal of Electronics, 2006, 15(4): 761-767

[14]Zhou Quanqiang, Zhang Fuzhi. Ensemble approach for detecting user profile attacks based on bionic pattern recognition[J]. Journal of Computer Research and Development, 2014, 51(4): 789-801 (in Chinese)

(周全強, 張付志. 基于仿生模式識別的用戶概貌攻擊集成檢測方法[J]. 計算機研究與發展, 2014, 51(4): 789-801)

[15]Yang Guowei, Wang Shoujue, Wei Chengbing. Pattern classification neural network model based on homologue connectedness[J]. Acta Electronica Sinica, 2013, 41(1): 52-55 (in Chinese)

(楊國為, 王守覺, 衛成兵, 等. 基于同源的同類事物連通本性的模式分類神經網絡模型[J]. 電子學報, 2013, 41(1): 52-55)

[16]Wang Shoujue, Lai Jiangliang. First Step to Multi-Demensional Space Biomimetic Informatics[M]. Beijing: National Defence Industry Press, 2008

Ning Xin, born in 1989. PhD candidate in the Institute of Semiconductors, Chinese Academy of Sciences. His main research interests include machine learning, digital image processing and pattern recognition.

Li Weijun, born in 1975. PhD and Professor in the Institute of Semiconductors, Chinese Academy of Sciences. His main research interests include machine learning, pattern recognition and intelligent system.

Li Haoguang, born in 1981. PhD candidate in the Institute of Semiconductors, Chinese Academy of Sciences. His main research interests include machine learning, digital image processing and pattern recognition.

Liu Wenjie, born in 1989. PhD candidate in the Institute of Semiconductors, Chinese Academy of Sciences. His main research interests include machine learning, digital image processing and pattern recognition.

Uncorrelated Locality Preserving Discriminant Analysis Based on Bionics

Ning Xin, Li Weijun , Li Haoguang, and Liu Wenjie

(InstituteofSemiconductors,ChineseAcademyofSciences,Beijing100083)

Imagery thinking model is an essential way of thinking for human being. It cognizes the regularity of things through various human senses, and then extracts the representative features. Therefore, using the method of imagery thinking to extract the essential characteristics of things is in conformity with the law of human cognition. According to the problem of feature extraction in face recognition technology, we propose an uncorrelated space locality preserving discriminant analysis algorithm—BULPDA based on the theory of unsupervised discriminant projection and image cognitive law. On the basis of the characteristics of human image cognitive, the proposed algorithm first builds a new construction method of similarity coefficient. Then, it applies uncorrelated space concepts to ensure the non-relevance of vector space. Finally, it gives the solution of the proposed algorithm based on singular value decomposition. The algorithm presents a new idea of feature extraction. The experimental results on the standard face database show that the proposed algorithm is better than the traditional preserving projection algorithms.

unsupervised discriminant projection; image cognitive; uncorrelated space; feature extraction; singular value decomposition

2015-07-02；

2015-11-19

國家自然科學基金項目(90920013，61572458)；國家公派訪問學者項目(201404910237)；國家重大科學儀器設備開發專項項目(2014YQ470377)

李衛軍(wjli@semi.ac.cn)

TP391.4

This work was supported by the National Natural Science Foundation of China (90920013，61572458), the China Scholarship Council (201404910237), and the National Key Scientific Instrument and Equipment Development Project (2014YQ470377).