基于改進型深度數(shù)據(jù)流形的數(shù)據(jù)分類算法及在人臉中的應用*

宋全有,劉曉樂,韓忠華

(1.河南交通職業(yè)技術學院交通信息工程系,鄭州 450052;2.河南工程學院計算機學院,鄭州 451191;3.中國科學院沈陽自動化研究所,沈陽 110016)

?

基于改進型深度數(shù)據(jù)流形的數(shù)據(jù)分類算法及在人臉中的應用*

宋全有1*,劉曉樂2,韓忠華3

(1.河南交通職業(yè)技術學院交通信息工程系,鄭州 450052;2.河南工程學院計算機學院,鄭州 451191;3.中國科學院沈陽自動化研究所,沈陽 110016)

摘要:針對數(shù)據(jù)分類問題的局限,提出一種基于改進型深度數(shù)據(jù)流形的數(shù)據(jù)分類算法并將其應用到人臉識別中。首先,通過采集人臉圖像的深度信息,利用稀疏表示對其進行去噪處理;再結合圖像的顏色信息,重新生成三維人臉信息數(shù)據(jù)庫,通過對人臉數(shù)據(jù)的流形分析得到最優(yōu)的降維結果,按十字十乘交叉驗證法的原則選取訓練集和測試集,將訓練集輸入支持向量機算法建立數(shù)據(jù)分類器;最后,將測試集輸入訓練完成的分類器中,實現(xiàn)人臉數(shù)據(jù)分類。選取ORL、Yale兩類人臉圖像標準數(shù)據(jù)庫與傳統(tǒng)人臉識別算法進行交叉對比實驗,驗證算法的優(yōu)越性和可行性。實驗結果表明:所提出的算法有較高的分類準確率,可有效地完成人臉識別。

關鍵詞:數(shù)據(jù)分類;人臉識別;數(shù)據(jù)流形;深度;降維;支持向量機

近年來,數(shù)據(jù)分類問題是數(shù)據(jù)挖掘領域較為熱點的問題。一些特定的特征提取算法與數(shù)據(jù)分類算法結合,可以有效地完成高維數(shù)據(jù)分類問題,由于人臉圖像屬于高維數(shù)據(jù),特征提取可有效地解決高維數(shù)據(jù)計算復雜度高的問題,其代表算法有:主成分分析(PCA)[1],核主成分分析(KPCA)[2],梯度方向直方圖(HOG)[3]等。這些算法的本質(zhì)是提取人臉圖像的特征向量,在輸入到訓練完成的分類器,數(shù)據(jù)分類算法有:支持向量機(SVM)[4],線性判別分析(LDA)[5],核線性判別分析(KLDA)[6]等。利用特征向量和分類器即可完成高維數(shù)據(jù)分類,進而完成人臉識別。

針對數(shù)據(jù)流形問題,Roweis等人[7]提出局部線性嵌入算法,利用流形降維的方式區(qū)別各類數(shù)據(jù),翟永前等人[8]將改進Gabor算法,提出簡化的Gabor小波進行高維數(shù)據(jù)分類,有效地完成人臉的識別;王憲等人[9]將KPCA算法和曲波核相結合,有效地解決人臉識別問題,而這些算法只是結合圖像像素信息處理二維平面人臉圖像,并沒有有效地使用三維立體信息,在背景復雜的環(huán)境下,往往識別率受到局限。

針對圖像噪聲問題,肖泉[10]等人提出利用針對稀疏表示對圖像深度信息進行去噪處理,筆者結合人臉識別問題的特點,提出一種基于改進型深度數(shù)據(jù)流形的數(shù)據(jù)分類算法并將其應用到人臉識別中,利用稀疏表示對人臉深度信息進行重構去噪處理,再將處理后的深度信息加入到傳統(tǒng)圖像的顏色信息中去,擴展了人臉圖像信息量,利用數(shù)據(jù)流形的特點對人臉圖像數(shù)據(jù)進行降維,輸入到SVM算法中進行分類。選取ORL數(shù)據(jù)集和Yale數(shù)據(jù)集驗證算法在高維數(shù)據(jù)分類的可行性。

1　稀疏表示

1.1基本原理

在對信號進行處理時,常常可以把信號表示成一些基本信號或者函數(shù)的線性組合。例如,可以把單個信號表示成為一系列正弦信號或者余弦信號的組合。這些正弦信號和余弦信號通常是正交的。

(1)

其中,x=(x1,x2,…,xn)為向量b線性表達式的系數(shù)矩陣,A為n維空間的一組基。對于稀疏表示理論,我們用字典代替?zhèn)鹘y(tǒng)的正交基,而所用的字典要盡可能包含被表達信號的所有信息結構。利用所選用的字典對信號進行重構,重構過程實質(zhì)就是對含有噪聲的信號進行逼近的過程,重構后的信號也就去除了噪聲。

定義:設原始信號由逼近信號和噪聲組成,表示為式(2),

w=wm+wr=Dα+wr

(2)

其中w為原始信號,wm為逼近w的逼近信號,wr為信號w中的噪聲,D為學習字典,α為逼近信號的稀疏矩陣。從稀疏的角度出發(fā),希望在使wr為最小的情況下,得到最稀疏的α解。由此,可構造優(yōu)化函數(shù)如下:

(3)

1.2稀疏編碼

稀疏編碼問題實質(zhì)就是L1范數(shù)正規(guī)化的線性最小二乘問題。目前的一些解決此類問題的方法是基于帶軟閾值的坐標下降法。當字典的每一列原子不相關時,這些簡單的方法很有效,但是當學習字典的每個列原子相關時,這些算法在訓練集中計算時很慢。LARS-Lasso[11]算法能很好解決這一問題,能夠得到與基于軟閾值方法相同的速度,并且具有很高的準確率和很強的魯棒性。

1.3字典更新

字典更新的目的是得到最優(yōu)的字典,使基于此字典的稀疏表示逼近信號對于訓練樣本的方差最小。設目標函數(shù)如下:

(4)

其中w為訓練樣本;D學習字典,每一列對應一個字典原子;α為系數(shù)矩陣;T0為稀疏表示中不為0元素的設定最大值。

在滿足最小均方差的前提下,利用迭代逐個更新學習字典中的原子。首先,通過對一般正交基進行擴展得到初始字典,并提供訓練樣本集,此訓練樣本集要盡可能包含所有的信號成分,然后利用訓練樣本集對初始字典進行迭代訓練,從而得到滿意的字典。具體步驟如下:

初始化階段構造初始字典D0,并提供訓練樣本集w={w1,w2,…,wn-1},同時設定學習規(guī)則A′=f(A,α)及循環(huán)截止條件T。

訓練更新階段

(1)令k=0,并設D=D0;

(2)當不滿足循環(huán)截止條件T且k

(3)稀疏編碼:求解式(3),得到

(4)字典更新:Dk+1=f(Dk,αk)

(5)k=k+1,然后執(zhí)行(2)進行判斷。

(6)學習字典D=Dk。

圖1　人臉圖像去噪結果

2　基于數(shù)據(jù)流形的降維算法

從流形[12-15]的角度可認為n維數(shù)據(jù)是n維的歐氏空間中的一個數(shù)據(jù)點,而多個n維數(shù)據(jù)點在此歐氏空間中必然組成一個流形,其形狀不可預測,但在此流形中的同類數(shù)據(jù)點歐氏距離往往很小。假定N個輸人向量X,通過流形的映射法則得到輸出向量Y,其實現(xiàn)過程如圖2所示。

圖2　數(shù)據(jù)映射流程圖

根據(jù)圖2可得:算法主要是通過選取數(shù)據(jù)之間的鄰近點,按照鄰近點映射法則對高維數(shù)據(jù)進行降維,其過程可分為以下3個步驟:

Step1:計算出每個樣本點的k個鄰近點。把相對于所求樣本點距離最近的k個樣本點作為樣本點的k個鄰近點。

Step2:計算出樣本點的局部重建權值矩陣。這里定義一個代價誤差函數(shù):

(5)

(6)

(7)

在實際運用中,Qi可能是一個奇異矩陣,此時必須正則化Qi,即:

Qi=Qi+rI

(8)

其中r是正則化參數(shù),I是一個k×k的單位矩陣。

Step3:將所有的樣本點映射到低維空間中,必須滿足以下條件:

(9)

其中,ε(Y)為損失函數(shù)值,yi是xi的輸出向量,yij(j=1,2,…,k)是yi的k個鄰近點,且滿足以下條件:

(10)

其中,M是一個N×N的對稱矩陣,表示為:

M=(I-W)T(I-W)

(11)

要使損失函數(shù)值達到最小,需取Y為M的最小m個非零特征值所對應的特征向量。在處理過程中,將M的特征值從小到大排列,第1個特征值幾乎接近于零,那么舍去第1個特征值。通常取第2～第m+1間的特征值所對應的特征向量作為輸出結果。

3　算法在人臉識別中的應用

3.1圖像深度數(shù)據(jù)重構

對深度數(shù)據(jù)進行重構時,只要設定合適的誤差容限ε,就可以實現(xiàn)對含噪聲的信號進行去噪。試驗中設置ε=kσ2,其中,令k=1.05,σ為噪聲標準差。

(12)

(13)

由式(12)、式(13),得到了去除噪聲后的深度信息。

3.2數(shù)據(jù)流形降維處理

(14)

按照第3節(jié),數(shù)據(jù)流形降維理論,我們可以將式(14)進行降維處理,將人臉數(shù)據(jù)集w輸入到映射法則下,可得到最優(yōu)的數(shù)據(jù)降維結果。

4　實驗分析

本文在Inter(R)Core(TM)Duo-E7500的CPU,內(nèi)存6G的Windows7操作系統(tǒng)下進行實驗,利用支持向量機(SVM)算法對4.2節(jié)所得到的最優(yōu)降維結果進行分類器的訓練,進而完成對人臉數(shù)據(jù)的分類,選取ORL人臉數(shù)據(jù)庫和Yale人臉數(shù)據(jù)庫兩類人臉標準數(shù)據(jù)庫進行實驗驗證,按照第4節(jié)的方法,對兩類數(shù)據(jù)庫中的人臉圖像數(shù)據(jù)進行處理,利用十字十乘交叉驗證法,對本文算法進行可行性和優(yōu)越性的驗證。

4.1ORL人臉數(shù)據(jù)庫實驗

ORL人臉數(shù)據(jù)庫是由劍橋大學AT&T實驗室創(chuàng)建,包含40人每人10張圖像,共400張面部圖像,圖像包括了不同時間,不同光照條件,面部表情,飾物等變化。選取每人的全部圖像作為訓練樣本,數(shù)據(jù)庫中部分圖像如圖3所示。

圖3　部分ORL人臉數(shù)據(jù)庫圖像

假設實驗數(shù)據(jù)個數(shù)為nc,準確識別的個數(shù)為nt,則可將識別準確率定義為

(15)

利用十字十乘交叉驗證法對其進行驗證,將本文算法與PCA算法、KPCA算法、HOG算法、LLE算法進行比較,比較結果如表1所示。

表1　ORL數(shù)據(jù)庫識別率比較結果

由表1可得,本文算法在ORL數(shù)據(jù)庫中較傳統(tǒng)算法有更好的識別率,本文算法的檢測率平均保持在93%左右,而KPCA算法,PCA算法,HOG算法,LLE算法分別保持在84%,81%、82%、86%左右,這是由于本文算法加入了圖像深度信息,并對深度信息進行去噪處理,結合圖像顏色信息,得到更為準確的圖像特征數(shù)據(jù)。

4.2Yale人臉數(shù)據(jù)庫實驗

Yale人臉數(shù)據(jù)庫包含5 760張人臉圖像,共由10個人,每人在不同的光照條件,不同姿態(tài)表情下的人臉圖像576張,其部分數(shù)據(jù)圖像如圖4所示。

圖4　部分Yale人臉數(shù)據(jù)庫圖像

我們按照4.1節(jié)的實驗方法,對Yale數(shù)據(jù)庫進行人臉識別驗證,將所得結果再次與PCA算法、KPCA算法、HOG算法、LLE算法所得結果進行比較,其結果如表2所示。

表2　Yale數(shù)據(jù)庫識別率比較結果

由表2可得,本文算法在Yale數(shù)據(jù)庫實驗中也保持較好的識別率,平均識別率為89.3%,高于傳統(tǒng)算法中平均識別率最高的KPCA算法5%左右,本文算法在ORL和Yale兩類數(shù)據(jù)庫中均有較好的識別率,證明本文算法具有一定可行性和優(yōu)越性。

5　結論

本文對數(shù)據(jù)分類問題進行深入研究,結合圖像深度信息去噪和人臉圖像數(shù)據(jù)流形,提出一種改進型深度數(shù)據(jù)流形的數(shù)據(jù)分類算法并將其應用于人臉識別。

在ORL和Yale兩個人臉圖像標準數(shù)據(jù)庫中的實驗結果表明:本文算法有較強的適用能力,針對多個數(shù)據(jù)庫具有較好的識別率。ORL數(shù)據(jù)庫和Yale數(shù)據(jù)庫實驗表明算法針對圖像數(shù)據(jù)具有較高的檢測率,平均保持在93.1%和89.3%,優(yōu)于傳統(tǒng)算法,體現(xiàn)算法在高維數(shù)據(jù)分類中具有一定的優(yōu)勢,今后的任務是進一步提高算法抗干擾能力。

參考文獻:

[1]Rencher A C,Christensen W F.Methods of Multivariate Analysis[M].Third Edition,Hoboken:Wiley Press,2012:405-433.

[2]Wang J,Zhou Y S,Du X J,et al.Personal Credit Assessment Based on KPCA and SVM[C]//Proceedings of International Conference on Business Intelligence and Financial Engineering,Beijing:IEEE Press,2012:25-28.

[3]Dalai N,Triggs B.Histograms of Oriented Gradients for Human Detection[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,San Diego:IEEE Press,2005:886-893.

[4]Gentle J E,H?rdle W K,Mori Y C.Handbook of Computational Statistics:Concepts and Methods[M].Second Edition,Germany:Springer Press,2012:883-926.

[5]Iosifidis A,Tefas A,Nikolaidis N,et al.Multi-View Human Movement Recognition Based on Fuzzy Distances and Linear Discriminant Analysis[J].Computer Vision and Image Understanding,2012,116(3):347-360.

[6]Zafeiriou S,Tzimiropoulos G,Petrou M,et al.Regularized Kernel Discriminant Analysis with a Robust Kernel for Face Recognition and Verification[J].IEEE Transactions on Neural Networks and Learning Systems,2012,23(3):526-534.

[7]Roweis S T,Saul L K.Nonlinear Dimensionality Reduction by Locally Linear Embedding[J].Science,2000,290(5500):2323-2326.

[8]翟永前,喬建,趙力.基于簡化Gabor小波的人臉識別 算法研究[J].電子器件,2012,35(6):687-681.

[9]王憲,慕鑫,張彥,等.基于曲波域與核主成分分析的人臉識別[J].光電工程,2011,38(10):98-102.

[10]肖泉,丁興號,王守覺.基于自適應超完備稀疏表示的圖像去噪方法[J].儀器儀表學報,2009,30(9):1886-1890.

[11]Osborne M R,Presnell B,Turlach B A.A New Approach to Variable Selection in Least Squares Problems[J].IMA Journal of Numerical Analysis,2000,20(3):389-403.

[12]Pan Jun,Kong Fansheng,Wang Ruiqin.Locality Sensitive Discri-minant Transductive Learning[J].Journal of Zhejiang University(Engineering Science),2012,46(6):987-994.

[13]Kim W,Crawford M M.Adaptive Classification for Hyperspectral Image Data Using Manifold Regularization Kernel Machines[J].IEEE Transactions on Geoscience and Remote Sensing,2010,48(11):4110-4121.

[14]Zhao Xiaoming,Zhang Shiqing.Facial Expression Recognition Using Local Binary Patterns and Discriminant Kernel Locally Linear Embedding[J].EURASIP Journal on Advances in Signal Processing,2012,2012(1):1-9.

[15]Cherigui S,Guillemot C,Thoreau D,et al.Map-Aided Locally Linear Embedding Methods for Image Prediction[C]//Proceedings of IEEE International Conference on Image Processing,IEEE Press,2012:2909-2912.

宋全有(1963-),男,河南孟州人,碩士,副教授,主要研究方向為計算機應用,通信與系統(tǒng)系統(tǒng),61915600@163.com。

ANovelDataClassificationAlgorithmandApplicationResearchBasedonModifiedDepthDataManifold*

SONGQuanyou1*,LIUXiaole2,HANZhonghua3

(1.Department of Traffic Engineering,Henan Vocational and Technical College of Communications,Zhengzhou 450052,China;2.Computer College,Henan Institute of Engineering,Henan 451191,China;3.Shenyang Institute of Automation(SIA),Chinese Academy of Sciences,Shenyang 110016,China)

Abstract:For the localization of data classification,a novel data classification algorithm based on modified data manifold is proposed.It is used as the method of face recognition.Firstly,the depth information of images are collected by Kinect,and the sparse representation can be used to do the denoising.Secondly,the three-dimensional face data base can be established by the colour information and depth information.The dimension of data sets is reduced by the analysis of the data manifold,and optimal results of data dimension reduction can be gotten.The training and test sets are gotten by the principle of ten cross validation,and data classifier can be gotten by the support vector machine.Finally,the test sets are inputted,and the face data classification can be achieved.The two classes of data sets are selected as the experimental data,which consist of ORL and Yale.The comparison experiments can be achieved by the two data sets,and the experiment results show that the proposed method not only has a higher classification accuracy rate,but it has a great effect to achieve face recognition.

Key words:data classification;face recognition;data manifold;depth;dimension reduction;support vector machine

doi:EEACC:6210C10.3969/j.issn.1005-9490.2014.05.010

中圖分類號:TP391.41

文獻標識碼:A

文章編號:1005-9490(2014)05-0844-06

收稿日期:2014-01-06修改日期:2014-02-18

項目來源:國家自然科學基金項目(61272253)