基于超分辨率的人臉識(shí)別身份認(rèn)證系統(tǒng)

任李

摘 要 為提高人臉識(shí)效率別，結(jié)合引入圖像超分辨率重建技術(shù)及深度圖像信息，開發(fā)設(shè)計(jì)了基于超分辨率的人臉識(shí)別身份認(rèn)證系統(tǒng)。本系統(tǒng)考慮實(shí)際應(yīng)用當(dāng)中采集圖像分辨率不高影響識(shí)別效果的問題，在圖像采集環(huán)節(jié)利用kinect 2.0攝像頭采集彩色-深度圖像信息，并加入了圖像超分辨率重建，提升了輸入圖像的質(zhì)量，降低了檢測(cè)誤差。

關(guān)鍵詞 人臉識(shí)別 超分辨率 Kinect

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A

0引言

在現(xiàn)代社會(huì)，快速、精確的身份識(shí)別是保障社會(huì)高效運(yùn)轉(zhuǎn)和公共安全的必要前提，日益受到人們的高度重視。傳統(tǒng)的人臉識(shí)別受非均勻光照、姿勢(shì)變化、表情變化、面部遮擋等影響較大，因此提高人臉識(shí)別算法魯棒性的問題亟待解決。基于彩色-深度圖像數(shù)據(jù)的人臉識(shí)別，將面部的深度信息與彩色信息相結(jié)合，在進(jìn)行人臉識(shí)別時(shí)，能夠更好的識(shí)別出物體的視角和姿態(tài)等信息，提高了算法的魯棒性和識(shí)別率。

1深度圖像與人臉識(shí)別對(duì)接研究

基于彩色-深度數(shù)據(jù)的人臉識(shí)別，將人臉的面部深度信息與彩色信息相結(jié)合，在進(jìn)行人臉識(shí)別時(shí)，能夠更好的識(shí)別出物體的視角和姿態(tài)等信息，提高了算法的魯棒性和識(shí)別率。

通過采用微軟公司推出的高性價(jià)比體感設(shè)備Kinect 2.0深度攝像頭作為人臉識(shí)別研究過程中人臉圖像采集設(shè)備，將采集得到的彩色人臉圖片以及深度人臉圖片數(shù)據(jù)相結(jié)合來進(jìn)行人臉識(shí)別。在人臉特征提取與多特征融合方面改進(jìn)基于稀疏表達(dá)的人臉識(shí)別算法，提高了人臉識(shí)別算法的魯棒性。

（1）將人臉圖片彩色數(shù)據(jù)與深度數(shù)據(jù)相結(jié)合進(jìn)行人臉識(shí)別，采用粒子群優(yōu)化算法對(duì)人臉彩色、深度圖片的特征維數(shù)和權(quán)重進(jìn)行自適應(yīng)選取。通過對(duì)人臉識(shí)別算法的研究和實(shí)驗(yàn)分析發(fā)現(xiàn)，三維數(shù)據(jù)能夠給出更為準(zhǔn)確的人臉空間結(jié)構(gòu)信息，相比于二維人臉圖像對(duì)于光照、姿態(tài)、遮擋等條件的變化在人臉識(shí)別過程中具有更好的表現(xiàn)，多特征的融合相比于單一特征具有更高的識(shí)別率，特征的權(quán)重和維數(shù)的變化也對(duì)識(shí)別率造成影響。

（2）多模態(tài)聯(lián)合稀疏表達(dá)的人臉識(shí)別，將彩色人臉特征以及深度人臉特征作為兩種不同的模態(tài)聯(lián)合求解稀疏表達(dá)系數(shù)，再進(jìn)行人臉識(shí)別。在人臉特征提取的過程中，引入核函數(shù)，將人臉特征映射到核空間，解決了實(shí)際應(yīng)用中存在的非線性人臉特征問題，并對(duì)不同的模態(tài)增加了模態(tài)分類權(quán)重以及采用SCI值作為人臉圖像質(zhì)量的約束因子，提高了人臉識(shí)別率。

2人臉識(shí)別系統(tǒng)功能實(shí)現(xiàn)

（1）圖像采集：本系統(tǒng)使用的是一款Kinect2.0攝像頭，kinect for windows sdk 2.0。Opencv2.4是一個(gè)開放源碼的計(jì)算機(jī)視覺庫，能夠直接以IplImage的形式返回采集到的視頻圖像，采集到的圖像以隊(duì)列的方式進(jìn)行存取。

（2）基于彩色-深度圖像信息分析：將人臉圖片彩色數(shù)據(jù)與深度數(shù)據(jù)相結(jié)合進(jìn)行人臉識(shí)別，采用粒子群優(yōu)化 算法對(duì)人臉彩色、深度圖片的特征維數(shù)和權(quán)重進(jìn)行自適應(yīng)選取。

（3）超分辨重建：通過圖像超分辨率處理具有互補(bǔ)信息的低分辨率圖像序列，重建出人臉高分辨率圖像。利用超分辨率技術(shù)，可以在硬件設(shè)備無需改變的前提下，實(shí)現(xiàn)圖像分辨率的有效提升。同時(shí)，在處理過程中還可以通過相關(guān)的預(yù)處理消除圖像模糊和噪聲的影響，改善圖像的質(zhì)量。

（4）人臉檢測(cè)：人臉檢測(cè)就是對(duì)輸入視頻幀先判斷是否包含有人臉，對(duì)包含有人臉的用矩形框標(biāo)記出來，然后剪切出人臉，為后續(xù)人臉識(shí)別做準(zhǔn)備。目前常用于人臉檢測(cè)的方法主要有：基于特征的人臉檢測(cè)，例如，顏色特征、紋理特征、輪廓特征等；基于模板匹配的人臉檢測(cè)，根據(jù)人臉的局部特征預(yù)先設(shè)定好人臉的標(biāo)準(zhǔn)樣式，然后按照一定的模板匹配策略對(duì)待檢測(cè)人臉進(jìn)行比對(duì)；基于統(tǒng)計(jì)的人臉檢測(cè)，首先要搜集大量的人臉和非人臉樣本，然后使用某種統(tǒng)計(jì)算法對(duì)人臉和非人臉樣本進(jìn)行訓(xùn)練獲得一個(gè)二分類器，最后把待檢測(cè)的人臉輸入分類器進(jìn)行判別。

人臉檢測(cè)識(shí)別是系統(tǒng)的核心，本系統(tǒng)采用基于多尺度的多層匹配追蹤的算法（Multiscale -HMP），提高人臉識(shí)別率。基于Multiscale -HMP的人臉識(shí)別系統(tǒng)，同樣由訓(xùn)練和識(shí)別兩部分組成，訓(xùn)練階段，首先是讀入所有的訓(xùn)練庫圖像，然后每一張人臉圖像進(jìn)行基于Multiscale -HMP的人臉特征提取，獲得訓(xùn)練圖像集的特征向量矩陣，最后送入SVM分類器進(jìn)行訓(xùn)練。測(cè)試階段首先是加載訓(xùn)練好的SVM分類器，然后對(duì)測(cè)試人臉進(jìn)行基于Multiscale -HMP的人臉特征提取獲得人臉特征向量，最后送入分類器得出最終識(shí)別結(jié)果。

圖1基于Multiscale -HMP的特征提取，人臉圖像首先要分別以不同的尺度進(jìn)行分塊，然后對(duì)每一塊在相應(yīng)尺度的多層字典下進(jìn)行多層匹配追蹤提取特征，得到兩個(gè)尺度上的特征向量后進(jìn)行特征融合，最后得到整個(gè)人臉圖像的總體特征。

（5）圖像預(yù)處理及歸一化：在實(shí)際使用過程中，我們采集到的人臉圖像常受到許多外界干擾，如一些光照、噪聲、傾斜以及大小不一樣等問題，如果直接使用檢測(cè)到的人臉會(huì)對(duì)后續(xù)的人臉識(shí)別帶來干擾。為了提高識(shí)別率，這就要求我們對(duì)圖像做好預(yù)處理工作。所以在這一階段要求對(duì)圖像進(jìn)行人臉的傾斜矯正，光照補(bǔ)償，去噪，圖像增強(qiáng)，歸一化等操作。

（6）樣本采集：本系統(tǒng)的訓(xùn)練人臉樣本庫是通過樣本采集線程實(shí)現(xiàn)的，在進(jìn)入樣本采集線程前首先要填寫樣本名字，然后對(duì)采集到的人臉歸一化圖像進(jìn)行保存，直到滿足設(shè)定的預(yù)值，本系統(tǒng)設(shè)定需要采集樣本的數(shù)量為20張，最后對(duì)采集到的人臉進(jìn)行選擇，祛除模糊的或者不完整的人臉，保存10張整潔、完整、并且表情豐富的人臉到樣本庫。

（7）顯示識(shí)別結(jié)果：本模塊主要是對(duì)識(shí)別的最終結(jié)果進(jìn)行樣本名字顯示和語音播報(bào)。在指定地方顯示現(xiàn)場(chǎng)采集人臉和樣本庫返回的匹配人臉。語音播報(bào)使用的是調(diào)用微軟的SAPI，將文本信息轉(zhuǎn)化為語音信息進(jìn)行播報(bào)。

3實(shí)驗(yàn)結(jié)果分析

根據(jù)系統(tǒng)實(shí)時(shí)測(cè)試的結(jié)果，分別從三個(gè)監(jiān)控場(chǎng)景：1代表簡(jiǎn)單場(chǎng)景、2代表一般場(chǎng)景、3代表復(fù)雜場(chǎng)景分析系統(tǒng)的功能。從圖2柱狀圖中可以看出，在簡(jiǎn)單監(jiān)控場(chǎng)景中，系統(tǒng)的人臉識(shí)別率能夠達(dá)到95%以上。由于系統(tǒng)采用的人臉檢測(cè)方法是基于稀疏表達(dá)的檢測(cè)方法，此方法對(duì)光照變化敏感性較若，因此在一般場(chǎng)景和復(fù)雜場(chǎng)景，人臉識(shí)別率也能分別達(dá)到93%和88%。

4結(jié)束語

本文設(shè)計(jì)實(shí)現(xiàn)了一種針對(duì)公共安全身份認(rèn)證的基于超分辨率的人臉識(shí)別身份認(rèn)證系統(tǒng)。本系統(tǒng)考慮實(shí)際應(yīng)用當(dāng)中采集圖像分辨率不高影響識(shí)別效果的問題，在圖像采集環(huán)節(jié)加入了圖像超分辨率重建，提升了輸入圖像的質(zhì)量。整個(gè)系統(tǒng)由圖像采集，人臉檢測(cè)，圖像預(yù)處理、結(jié)果文本顯示與語音播報(bào)等模塊組成一個(gè)完整的面向?qū)嶋H應(yīng)用的人臉識(shí)別系統(tǒng)。為了進(jìn)一步提升識(shí)別率，系統(tǒng)在人臉檢測(cè)和超分辨率重建環(huán)節(jié)采用基于稀疏表示的思想方法，在實(shí)際測(cè)試中，對(duì)一定光照，表情范圍的變化，幅度狀態(tài)變化具有較強(qiáng)魯棒性。特征多，檢測(cè)效率相對(duì)較低，將是下一個(gè)階段要解決的問題。

參考文獻(xiàn)

[1] Turk， M.A.& A.P. Pentland. Face recognition using eigenfaces. in Computer Vision and Pattern Recognition， 1991. Proceedings CVPR'91.， IEEE Computer Society Conference on. 1991. IEEE.

[2] Belhumeur，P.N.&J.P.Hespanha&D.Kriegman.Eigenfaces vs. fisherfaces： Recognition using class specific linear projection[J]. Pattern Analysis and Machine Intelligence，IEEE Transactions on， 1997，19（07）： 711-720.

[3] 吳煒，楊曉敏，陳默等.基于流形學(xué)習(xí)的人臉圖像超分辨率技術(shù)研究[J].光學(xué)技術(shù)，2009，35（01）： 84-88.endprint