人臉識(shí)別中基于學(xué)習(xí)的核圖像微分濾波器

房貽廣,劉 武,張 驥,張令臣,袁玫瑰,屈 磊

1.國(guó)網(wǎng)安徽省電力公司 安全監(jiān)察質(zhì)量部, 合肥 230022; 2.國(guó)網(wǎng)安慶供電公司 安全監(jiān)察質(zhì)量部,安徽 安慶 246000;3.安徽南瑞繼遠(yuǎn)電網(wǎng)技術(shù)有限公司, 合肥 230088; 4.安徽大學(xué) 電子信息工程學(xué)院, 合肥 230601)(*通信作者電子郵箱qulei@ahu.edu.cn)

人臉識(shí)別中基于學(xué)習(xí)的核圖像微分濾波器

房貽廣1,劉 武2,張 驥3,張令臣4,袁玫瑰4,屈 磊4*

1.國(guó)網(wǎng)安徽省電力公司 安全監(jiān)察質(zhì)量部, 合肥 230022; 2.國(guó)網(wǎng)安慶供電公司 安全監(jiān)察質(zhì)量部,安徽 安慶 246000;3.安徽南瑞繼遠(yuǎn)電網(wǎng)技術(shù)有限公司, 合肥 230088; 4.安徽大學(xué) 電子信息工程學(xué)院, 合肥 230601)(*通信作者電子郵箱qulei@ahu.edu.cn)

針對(duì)人臉識(shí)別應(yīng)用,提出一種基于學(xué)習(xí)且具有鑒別能力的核圖像微分濾波器。首先,區(qū)別于現(xiàn)有濾波器的手工設(shè)計(jì)方法,該濾波器利用訓(xùn)練集動(dòng)態(tài)學(xué)習(xí)獲得,通過在學(xué)習(xí)過程中融入線性判別分析(LDA)思想,可在增加濾波后圖像類內(nèi)相似度的同時(shí)減小類間相似度;其次,在線性濾波分類器的基礎(chǔ)上進(jìn)一步引入二階微分信息,并結(jié)合核方法在高維空間下進(jìn)行濾波器學(xué)習(xí),使得圖像中的細(xì)節(jié)和非線性信息可以得到更好的利用并獲得更具鑒別力的特征描述。AR和ORL人臉庫(kù)上的多組對(duì)比實(shí)驗(yàn)結(jié)果表明, 與線性可學(xué)習(xí)圖像濾波器IFL、不考慮微分信息的核圖像濾波器以及只考慮一階微分信息的核圖像濾波器進(jìn)行比較，所提算法可有效提高識(shí)別性能。

濾波器學(xué)習(xí); 線性判別分析;核空間;二階微分;人臉識(shí)別

0 引言

提取高效且具有鑒別力的特征描述是人臉識(shí)別及其他模式識(shí)別應(yīng)用中的一個(gè)關(guān)鍵問題,特征提取質(zhì)量的好壞將直接影響后繼分類、識(shí)別的性能。特征提取的目標(biāo)是在獲得高效鑒別能力的同時(shí)盡可能增加特征的類內(nèi)相似度并減小類間相似度。然而,在人臉識(shí)別應(yīng)用中由于表情、光照、姿勢(shì)、遮擋等各種因素的影響,高效、魯棒的特征提取仍然是一個(gè)熱點(diǎn)研究問題。

現(xiàn)有人臉特征描述方法總體上可分為整體特征提取和局部特征提取兩大類。整體特征提取常用的方法有主成分分析(Principal Components Analysis, PCA)[1]、線性判別分析(Linear Discriminant Analysis, LDA)[2]、判別共同矢量(Discriminant Common Vector, DCV)[3]、廣義判別分析(Generalized Discriminant Analysis, GDA)[4]、核判別共同矢量(Kernel Discriminant Common Vector, KDCV)[5]等。PCA旨在尋找使全局特征樣本向量方差最大化下的降維投影,在保證重建誤差最小的情況下把人臉圖像向量從復(fù)雜的高維降到更容易區(qū)分的低維向量；LDA進(jìn)一步利用了樣本的標(biāo)簽信息,尋找在擴(kuò)大樣本類間差異的同時(shí)又能縮小類內(nèi)樣本差異的降維投影；DCV算法在類內(nèi)協(xié)方差矩陣的零空間內(nèi)尋找判別共同矢量,通過判別共同矢量組得到最優(yōu)的投影矩陣對(duì)高維人臉樣本向量進(jìn)行降維特征提取；GDA和KDCV分別是對(duì)LDA和DCV在核空間的擴(kuò)展,其把原始向量向更高維空間進(jìn)行非線性投影后再進(jìn)行降維以提取更具鑒別力的特征。Gabor小波[6]和局部二值模式(Local Binary Pattern, LBP)[7]是常見的局部特征描述子,二者對(duì)于局部光照、表情變化以及圖像的非精確對(duì)齊有較好的魯棒性。Gabor小波可以獲得不同尺度和方向下的局部特征結(jié)構(gòu),對(duì)光照和表情變化都比較魯棒；LBP用鄰域各點(diǎn)灰度值與中心點(diǎn)相比較,是簡(jiǎn)單有效的人臉特征描述方法。為了更好地提取局部特征,在LBP的基礎(chǔ)上又發(fā)展形成了多尺度分塊局部二值模式(Multi-scale Block LBP, MBLBP)[8]、局部Gabor二值模式(Local GBP, LGBP)[9]、局部方向模式(Local Direction Pattern, LDP)[10]等算法。

上述人臉特征描述均采用手工設(shè)計(jì)的特征描述子,該類方法從主觀的手動(dòng)設(shè)計(jì)原則出發(fā),很難得到最優(yōu)的編碼方案。針對(duì)該問題,Lei等[11]于2012年提出了一種具有分類判別作用的可學(xué)習(xí)圖像濾波器(Image Filter Learning, IFL)并將其與LBP結(jié)合在特征描述階段就對(duì)人臉圖像實(shí)現(xiàn)初步分類判別。隨后,IFL又被應(yīng)用到可學(xué)習(xí)人臉特征描述器(Discriminant Face Descriptor, DFD)[12]上。IFL將Fisher判別準(zhǔn)則與LBP算法融合,在提取各張人臉圖片特征的同時(shí)獲取不同樣本圖片間的類別特征,提高了濾波后圖像的分類鑒別能力。可學(xué)習(xí)圖像濾波器IFL不僅能使濾波后的人臉圖像更具有鑒別力,更重要的是其由訓(xùn)練集動(dòng)態(tài)學(xué)習(xí)得來,具有自適應(yīng)性,在不同的訓(xùn)練集上可針對(duì)性地獲得最優(yōu)濾波器參數(shù)。由于IFL直接在像素空間進(jìn)行濾波器學(xué)習(xí),光照、表情、姿勢(shì)等因素往往會(huì)造成人臉識(shí)別過程中的非線性問題,而線性的IFL不能夠更好地處理此類問題。此外,為模擬LBP的鄰域像素對(duì)比的思想,IFL在進(jìn)行濾波器學(xué)習(xí)過程中僅利用了圖像的一階微分信息,而圖像中的角點(diǎn)、灰度變化率等高階微分信息并未充分利用。

針對(duì)以上問題,本文在IFL的基礎(chǔ)上提出一種基于學(xué)習(xí)的核圖像微分濾波器(Kernel Image Differential Filter, KIDF)。該算法首先通過引入核運(yùn)算將濾波器學(xué)習(xí)從像素空間轉(zhuǎn)換到高維空間,使得原本在低維空間中的線性不可分問題轉(zhuǎn)化為在高維特征空間的線性可分問題;其次,為了更加充分利用人臉的豐富細(xì)節(jié)特征,在濾波器學(xué)習(xí)時(shí)除一階微分信息外還進(jìn)一步考慮了圖像的二階微分信息。實(shí)驗(yàn)結(jié)果表明了本文方法的有效性。

1 基于學(xué)習(xí)的線性判別濾波器

基于學(xué)習(xí)的線性判別濾波器(IFL)[11]將傳統(tǒng)LBP的鄰域像素灰度比較思想推廣至相鄰的局部區(qū)域內(nèi)各像素灰度按對(duì)應(yīng)位置依次比較,同時(shí)融合Fisher線性判別分析原理,使濾波后樣本集內(nèi)屬于同一分類下圖像間像素差異程度減小,且不同分類下的圖像間像素差異程度擴(kuò)大。

線性判別濾波器的濾波處理為逐像素進(jìn)行。令p點(diǎn)為待濾波圖像的一個(gè)像素點(diǎn),以p為中心的3×3局部圖像塊如圖1左側(cè)所示。將該圖像塊按行拉成一列向量,獲得如圖1右側(cè)所示的圖像塊向量。將圖像塊向量與濾波器向量做內(nèi)積運(yùn)算,所得結(jié)果取代原p點(diǎn)像素值即可完成p點(diǎn)處的濾波。

圖1 圖像塊轉(zhuǎn)為圖像塊向量

設(shè)訓(xùn)練集中包括C個(gè)人的共N個(gè)樣本圖像,Ni為第i個(gè)人的樣本數(shù)。給定圖像I,令f(I)為濾波后圖像,類似LBP的局部像素比較思想,p點(diǎn)處的像素差異向量可寫為:

df(I)p=[f(I)p1-f(I)p,f(I)p2-f(I)p,…,f(I)pd-f(I)p]

(1)

(2)

按照Fisher判別準(zhǔn)則,像素差異矩陣的類內(nèi)和類間散度可分別寫為:

(3)

(4)

令待學(xué)習(xí)的圖像濾波器向量為w,有

f(I)p=wTIp

(5)

df(I)ij=wTdIij

(6)

其中:dIij和df(I)ij分別為濾波前后第i個(gè)人的第j個(gè)樣本的像素差異矩陣。式(5)表示圖像I在像素p點(diǎn)處的濾波過程。將式(6)代入式(3)、(4)中可得:

(7)

(8)

2 基于學(xué)習(xí)的核圖像微分濾波器

線性判別濾波器使用圖像塊向量同濾波器向量的內(nèi)積替換當(dāng)前像素,并直接在像素空間進(jìn)行濾波器學(xué)習(xí)。而實(shí)際人臉識(shí)別中,光照、表情、姿勢(shì)等因素引入的非線性極大限制了線性判別濾波器的性能。此外,IFL中的濾波器向量是在像素差異矩陣的基礎(chǔ)上學(xué)習(xí)獲得,像素差異矩陣本質(zhì)上可看成是圖像一階微分信息集合,而包含角點(diǎn)、灰度變化率等豐富細(xì)節(jié)的高階微分信息并未得到充分利用。

為解決上述問題,本文首先在IFL的基礎(chǔ)上引入核運(yùn)算。核運(yùn)算[13]在解決非線性分類問題上的有效性已在很多應(yīng)用中得以證明。核運(yùn)算將低維特征映射到高維,使得原本在低維空間中的線性不可分問題轉(zhuǎn)化為在高維特征空間中的線性可分問題,同時(shí)巧妙地運(yùn)用了隱式投影在不顯著增加計(jì)算量的前提下實(shí)現(xiàn)映射。其次,不同于IFL利用像素差異矩陣隱式使用圖像一階微分信息,本文提出在圖像塊向量構(gòu)建時(shí)顯式地引入圖像一階、二階微分以及原始像素灰度信息,這些豐富特征信息的引入將有助于學(xué)習(xí)更具鑒別力的濾波器。

2.1 圖像塊向量的微分信息擴(kuò)充

由第1章可知,線性判別濾波器中任意一點(diǎn)p對(duì)應(yīng)的圖像塊向量由以p為中心的局部區(qū)域按行拉伸組成,因此該圖像塊向量?jī)H包含p的鄰域像素信息。為進(jìn)一步考慮鄰域內(nèi)的微分信息,可在上述圖像塊向量的基礎(chǔ)上進(jìn)行維數(shù)擴(kuò)充,引入該像素點(diǎn)處的一階和二階微分信息(如圖2所示)。

假設(shè)p點(diǎn)坐標(biāo)為(i,j),該點(diǎn)處沿x、y方向的一階微分近似可由式(9)獲得:

(9)

該點(diǎn)處沿x、y方向的二階微分近似由式(10)獲得:

(10)

其中:I(i,j)為圖像在坐標(biāo)(i,j)處的亮度。

圖2 圖像塊向量的微分信息擴(kuò)充

2.2 核圖像微分濾波器學(xué)習(xí)

類似第1章中描述,此時(shí)類內(nèi)散布陣和類間散布陣分別表示為:

(11)

(12)

為了解決特征的非線性問題,引入核運(yùn)算后式(11)和(12)可改寫為:

(13)

(14)

其中:帶有前置符號(hào)φ的數(shù)據(jù)表示原樣本空間中數(shù)據(jù)投影到高維空間下對(duì)應(yīng)的高維數(shù)據(jù)。

圖3 圖像塊向量矩陣構(gòu)建

3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文算法的有效性,實(shí)驗(yàn)在AR和ORL兩個(gè)人臉數(shù)據(jù)庫(kù)上進(jìn)行,并將本文算法同線性可學(xué)習(xí)圖像濾波器IFL以及本文方法的一些變種方法,即不考慮微分信息的核圖像濾波器(KIDF)以及只考慮一階微分信息的核圖像濾波器(KIDF(1))進(jìn)行比較。為保證實(shí)驗(yàn)結(jié)果的客觀性,在實(shí)驗(yàn)中隨機(jī)選取60%的樣本圖像進(jìn)行訓(xùn)練,剩下的40%進(jìn)行測(cè)試,并取30次隨機(jī)測(cè)試識(shí)別率的均值作為最終結(jié)果參與比較。

3.1 直觀比較實(shí)驗(yàn)

圖4給出了兩組人臉圖像濾波前后效果的直觀對(duì)比,其中左側(cè)為原始圖像,右側(cè)為本文算法濾波后圖像。可以看出,原始圖像中相同個(gè)體的兩個(gè)樣本圖像均存在明顯的姿態(tài)差異,而經(jīng)過濾波后相同個(gè)體不同樣本間的差異明顯縮小,不同個(gè)體間的差異加大。該實(shí)驗(yàn)在直觀上證實(shí)了本文算法在提取鑒別特征時(shí)增大類內(nèi)相似度、減小類間相似度上的有效性。

3.2AR庫(kù)上的實(shí)驗(yàn)

AR庫(kù)共有100人,每人14張圖片。圖5給出該庫(kù)中的部分樣本圖像,可以看出AR庫(kù)存在明顯的光照和表情變化,這些因素引入的特征非線性有利于驗(yàn)證本文結(jié)合核運(yùn)算的圖像濾波器的有效性。

圖4 基于學(xué)習(xí)的微分核圖像濾波器的濾波效果

圖5 AR庫(kù)人臉樣本圖像

表1中給出了本文算法同LBP和IFL在L1范數(shù)距離(L1)、卡方檢驗(yàn)(χ2)、最近鄰(NearestNeighbor,NN)、直方圖相交(HistogramIntersection,HI)和支持向量機(jī)(SupportVectorMachine,SVM)五種不同相似性度量下的識(shí)別率對(duì)比,其中KIFL表示不考慮微分信息的核圖像濾波器,其僅在IFL算法基礎(chǔ)上使用核空間擴(kuò)展,KIDF(1)表示只考慮一階微分和核運(yùn)算的算法。由于SVM在分類時(shí)也采用了核運(yùn)算,可以看出本文算法除在SVM分類器下識(shí)別率同IFL持平外,在其余度量下均穩(wěn)定地優(yōu)于其他算法。

表1 AR庫(kù)識(shí)別率對(duì)比 %

3.3ORL庫(kù)上的實(shí)驗(yàn)

ORL庫(kù)共有40人,每人10張圖片。表2中給出了本文算法同其他算法的平均識(shí)別率對(duì)比。可以看出,本文算法在不同度量方法下的識(shí)別率均優(yōu)于其他算法,這也說明了本文引入二階微分和核運(yùn)算的有效性。

表2 ORL庫(kù)識(shí)別率對(duì)比 %

4 結(jié)語

針對(duì)人臉識(shí)別的圖片預(yù)濾波處理階段,提出了一種基于學(xué)習(xí)的核微分濾波器。該濾波器的設(shè)計(jì)目標(biāo)是增加濾波后圖像的類內(nèi)相似度同時(shí)減小類間相似度,從而便于后繼的特征提取及識(shí)別。通過將濾波器學(xué)習(xí)轉(zhuǎn)換到高維核空間,隱含在圖像中的非線性信息得以更充分的利用。此外,在濾波器學(xué)習(xí)中引入圖像的二階微分信息,進(jìn)一步增強(qiáng)了學(xué)習(xí)濾波器的鑒別能力。在AR庫(kù)和ORL庫(kù)上的實(shí)驗(yàn)對(duì)比結(jié)果驗(yàn)證了本文方法的有效性。

)

[1]KIMK.Facerecognitionusingprinciplecomponentanalysis[C]//Proceedingsofthe1996InternationalConferenceonComputerVisionandPatternRecognition.Piscataway,NJ:IEEE, 1996: 586-591.

[2]BELHUMEURPN,HESPANHAJP,KRIEGMANDJ.Eigenfacesvs.fisherfaces:recognitionusingclassspecificlinearprojection[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 1997, 19(7): 711-720.

[3]CEVIKALPH,NEAMTUM,WILKESM,etal.Discriminativecommonvectorsforfacerecognition[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2005, 27(1): 4-13.

[4]BAUDATG,ANOUARF.Generalizeddiscriminantanalysisusingakernelapproach[J].NeuralComputation, 2000, 12(10): 2385-2404.

[5]CEVIKALPH,NEAMTUM,WILKESM.Discriminativecommonvectormethodwithkernels[J].IEEETransactionsonNeuralNetworks, 2006, 17(6): 1550-1565.

[6]LIUC,WECHSLERH.GaborfeaturebasedclassificationusingtheenhancedFisherlineardiscriminantmodelforfacerecognition[J].IEEETransactionsonImageProcessing, 2002, 11(4): 467-476.

[7]AHONENT,HADIDA,PIETIKAINENM.Facedescriptionwithlocalbinarypatterns:Applicationtofacerecognition[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2006, 28(12): 2037-2041.

[8]LIAOS,ZHUX,LEIZ,etal.Learningmulti-scaleblocklocalbinarypatternsforfacerecognition[C]//ICB2007:Proceedingsofthe2007InternationalConferenceonAdvancesinBiometrics.Berlin:Springer, 2007: 828-837.

[9]ZHANGW,SHANS,GAOW,etal.LocalGaborBinaryPatternHistogramSequence(LGBPHS):anovelnon-statisticalmodelforfacerepresentationandrecognition[C]//ICCV2005:ProceedingsoftheTenthIEEEInternationalConferenceonComputerVision.Piscataway,NJ:IEEE, 2005, 1: 786-791.

[10]JABIDT,KABIRMH,CHAEO.FacialexpressionrecognitionusingLocalDirectionalPattern(LDP)[C]//Proceedingsofthe2010IEEEInternationalConferenceonImageProcessing.Piscataway,NJ:IEEE, 2010: 1605-1608.

[11]LEIZ,YID,LIS.Discriminantimagefilterlearningforfacerecognitionwithlocalbinarypatternlikerepresentation[C]//Proceedingsofthe2012IEEEConferenceonComputerVisionandPatternRecognition.Piscataway,NJ:IEEE, 2012: 2512-2517.

[12]LEIZ,PIETIKAINENM,LISZ.Learningdiscriminantfacedescriptor[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2014, 36(2): 289-302.

[13] SCHOLKOPFT B, MULLERT K R. Fisher discriminant analysis with kernels[EB/OL]. [2016- 03- 01]. http://courses.cs.tamu.edu/rgutier/csce666_f16/mika1999kernelLDA.pdf.

This work is partially supported by National Natural Science Foundation of China (61201396, 61301296), the National Science and Technology Support Program (2014BAH27F01), the Science and Technology Project of China State Grid Corporation (5212D01502DB).

FANG Yiguang, born in 1969, M. S., senior engineer. His research interests include electric power safety monitoring.

LIU Wu, born in 1978, M. S. His research interests include electric power safety monitoring.

ZHANG Ji, born in 1982, M. S. His research interests include electric power video surveillance.

ZHANG Lingchen, born in 1989, M. S. His research interests include signal processing, pattern recognition.

YUAN Meigui, born in 1991, M. S. Her research interests include signal processing, pattern recognition.

QU Lei, born in 1980, Ph. D., professor. His research interests include signal processing, pattern recognition.

Learning based kernel image differential filter for face recognition

FANG Yiguang1, LIU Wu2, ZHANG Ji3, ZHANG Lingchen4, YUAN Meigui4, QU Lei4*

(1. Safety Supervision Quality Department, State Grid Anhui Electric Power Supply Company, Hefei Anhui 230022, China;2. Safety Supervision Quality Department, State Grid Anqing Electric Power Supply Company, Anqing Anhui 246000, China;3. Anhui Jiyuan Electric Power System Technology Company Limited, Hefei Anhui 230088, China;4. School of Electronics and Information Engineering, Anhui University, Hefei Anhui 230601, China)

For the applications of face recognition, a learning based kernel image differential filter was proposed. Firstly, instead of designing the image filter in a handcrafted or analytical way, the new image filter was designed by dynamically learning from the training data. By integrating the idea of Linear Discriminant Analysis (LDA) into filter learning, the intra-class difference of filtered image was attenuated and the inter-class difference was amplified. Secondly, the second order derivative operator and kernel trick were introduced to better extract the image detail information and cope with the nonlinear feature space problem. As a result, the filter is adaptive and more discriminative feature description can be obtained. The proposed algorithm was experimented on AR and ORL face database and compared with linearly learning image filter named IFL, kernel image filter without differential information, and kernel image filter considering only one order differential information. The experimental results validate the effectiveness of the proposed method.

filter learning; Linear Discriminant Analysis (LDA); kernel space; second order derivative; face recognition

2016- 08- 15;

2016- 12- 23。 基金項(xiàng)目:國(guó)家自然科學(xué)基金資助項(xiàng)目(61201396,61301296);國(guó)家科技支撐計(jì)劃項(xiàng)目(2014BAH27F01);國(guó)家電網(wǎng)公司科技項(xiàng)目(5212D01502DB)。

房貽廣(1969—),男,安徽淮北人,高級(jí)工程師,碩士,主要研究方向:電力安全監(jiān)察; 劉武(1978—),男,安徽安慶人,碩士,主要研究方向:電力安全監(jiān)察; 張?bào)K(1982—),男,安徽銅陵人,碩士,主要研究方向:電力視頻監(jiān)控; 張令臣(1989—),男,安徽宿州人,碩士,主要研究方向:信號(hào)處理、模式識(shí)別; 袁玫瑰(1991—),女,安徽銅陵人,碩士,主要研究方向:信號(hào)處理、模式識(shí)別; 屈磊(1980—),男,安徽阜陽(yáng)人,教授,博士,主要研究方向:信號(hào)處理、模式識(shí)別。

1001- 9081(2017)04- 1185- 04

10.11772/j.issn.1001- 9081.2017.04.1185

TP391.41

A