相似遮擋區(qū)域碎片重構(gòu)的魯棒人臉識(shí)別算法

李桂珍

?

相似遮擋區(qū)域碎片重構(gòu)的魯棒人臉識(shí)別算法

李桂珍

基于壓縮感知技術(shù)，提出了一種面向遮擋的人臉識(shí)別算法。首先，將圖像分成各個(gè)局部小塊，并構(gòu)建相似遮擋區(qū)域；然后，重構(gòu)圖像碎片，從而檢測(cè)遮擋區(qū)域；最后，利用非遮擋區(qū)域獲取遮擋截面，投票機(jī)制完成人臉識(shí)別。實(shí)驗(yàn)結(jié)果顯示，其算法在AR和LFW人臉庫(kù)上的最高識(shí)別率分別可高達(dá)99.8%和83.8%，優(yōu)于其他幾種遮擋人臉識(shí)別算法，此外，該算法對(duì)不同遮擋級(jí)別的人臉具有較好的魯棒性。

人臉識(shí)別；壓縮感知；遮擋區(qū)域檢測(cè)；圖像碎片重構(gòu)；魯棒性；投票機(jī)制

0 引言

目前，人臉識(shí)別已廣泛應(yīng)用于社交網(wǎng)絡(luò)、照片管理軟件和訪(fǎng)問(wèn)控制系統(tǒng)[1]。人臉識(shí)別過(guò)程中將面臨許多難點(diǎn)，例如，拍攝人臉時(shí)經(jīng)常會(huì)伴隨眼睛、圍巾、長(zhǎng)發(fā)等遮擋，大大地增加了識(shí)別難度[2,3]。

文獻(xiàn)[4]提出了一種抗遮擋的人臉識(shí)別方法，將人臉圖像序列歸一化到相同形狀，利用PCA將數(shù)據(jù)庫(kù)中的每個(gè)特殊人臉進(jìn)行紋理重建，重建后遮擋的像素點(diǎn)與人臉圖像序列差異變大，從而可以很好地識(shí)別遮擋像素點(diǎn)。然而，該方法檢測(cè)和識(shí)別遮擋區(qū)域時(shí)會(huì)產(chǎn)生較高的計(jì)算成本，且對(duì)不同遮擋級(jí)別得人臉的魯棒性不是很好。

基于壓縮感知技術(shù)，提出了一種對(duì)不同遮擋級(jí)別的人臉具有較強(qiáng)魯棒性的人臉識(shí)別方法。將人臉圖像劃分成更小的圖像塊，分別處理各個(gè)圖像塊，構(gòu)建相似遮擋區(qū)域時(shí)會(huì)產(chǎn)生不必要的遮擋碎片，識(shí)別階段將這些區(qū)域去掉。評(píng)估結(jié)果表明，本文算法的性能優(yōu)于其他幾種人臉識(shí)別方法。

1 人臉識(shí)別模型

為了建立一個(gè)準(zhǔn)則去判斷是否識(shí)別過(guò)程順利完成，文獻(xiàn)[8]定義了向量的一個(gè)系數(shù)（稀疏集中指數(shù)），即，，，表示不同類(lèi)別或字典中的個(gè)體。是上的函數(shù)，將與類(lèi)中元素不相符的中系數(shù)設(shè)為零。

為了判斷識(shí)別的人臉是否位于字典中，定義余量如公式（1）：

當(dāng)需要識(shí)別的人臉發(fā)生部分遮擋時(shí)，需將產(chǎn)生的錯(cuò)誤情況進(jìn)行特殊建模。因此，可將遮擋當(dāng)成影響部分人臉圖像的錯(cuò)誤如公式（2）：

服從的（3）

然后，為了計(jì)算出檢測(cè)到的個(gè)體的身份，對(duì)公式（1）中的余量進(jìn)行變形，改寫(xiě)為公式（4）：

去除每個(gè)小塊后，利用投票機(jī)制決定這個(gè)人臉?biāo)鶎?duì)應(yīng)的身份。利用這種方法，可以預(yù)見(jiàn)到當(dāng)某些人臉區(qū)域發(fā)生遮擋，可利用其余的區(qū)域獲取正確的人臉身份。而且，可利用每個(gè)圖像塊計(jì)算所得的系數(shù)確定最易受遮擋影響的圖像塊。

式中得公式（6）、（7）：

（6）

主要問(wèn)題在于能否檢測(cè)到使遮擋盡量少的影響圖像塊的最優(yōu)劃分方法，當(dāng)然也存在其它方面的問(wèn)題，即該方法僅利用了每個(gè)分割塊中的局部特性，沒(méi)有考慮正副人臉圖像的全局信息。為了克服該限制，提出了一種能夠檢測(cè)出遮擋區(qū)域的方法。

2 提出的遮擋檢測(cè)算法

2.1 構(gòu)建相似遮擋區(qū)域

如圖1所示：

（a）合成遮擋圖像；（b）相同目標(biāo)的其它圖像，姿勢(shì)、表情和光照條件相似；（c）圖（a）和（b）的差分結(jié)果圖像；（d）閾值時(shí)的結(jié)果圖像。

對(duì)于如圖1（a）中所示圖像，假設(shè)可使用某種技術(shù)獲取同一個(gè)對(duì)象的無(wú)遮擋人臉圖像，如圖1（b）所示，這些圖像擁有相同的姿勢(shì)、表情以及光照條件。利用圖1（a）和圖1（b）差值的絕對(duì)值獲得圖1（c），圖1（c）中的非空像素點(diǎn)表示受到遮擋影響的像素點(diǎn)。通過(guò)閾值獲取圖像1（d），通過(guò)圖像1（d）獲取相似的遮擋區(qū)域。圖1（d）顯示了一些標(biāo)記的感興趣點(diǎn)，從圖中可看出，嘴和鼻子附近存在一些被錯(cuò)誤識(shí)別為遮擋的截面，通過(guò)對(duì)應(yīng)鄰近像素間的比較可去除這些錯(cuò)誤截面。此外，圖像的右上角一些頭發(fā)被當(dāng)成遮擋障礙物。圖像1（a）中圖像前方部位的頭發(fā)在圖1（b）中并沒(méi)有出現(xiàn)，檢測(cè)到的遮擋區(qū)域包括兩幅圖像中頭發(fā)覆蓋的區(qū)域。眼睛中的虹膜區(qū)域沒(méi)有標(biāo)記為遮擋區(qū)域，這是由于合成遮擋圖1（a）中并沒(méi)有將黑色區(qū)域作為非典型值。

2.2 圖像碎片重構(gòu)

2.3 識(shí)別

運(yùn)用算法1處理含有較高遮擋像素比例的像素集合，獲取的結(jié)果圖像有可能與圖像序列差異很大。在所有獲取的圖像中，尋找一個(gè)最大的圖像，其中，表示像素點(diǎn)個(gè)數(shù)，，是給定的閾值。

利用算法2中的迭代過(guò)程可以提高精確度，算法2對(duì)不同的子集進(jìn)行處理選取最優(yōu)的結(jié)果。

算法2：利用非遮擋區(qū)域完成識(shí)別

5）：end for

3 實(shí)驗(yàn)結(jié)果及分析

在AR數(shù)據(jù)庫(kù)[9]及戶(hù)外人臉數(shù)據(jù)庫(kù)LFW[10]上進(jìn)行實(shí)驗(yàn)，設(shè)置閾值。實(shí)驗(yàn)均在4G內(nèi)存Intel(R) Core(TM) 2.93GHz Windows XP機(jī)器上完成，編程環(huán)境為MATLAB 7.0。

3.1 數(shù)據(jù)庫(kù)

AR數(shù)據(jù)庫(kù)由126個(gè)人的正面人臉超過(guò)3200幅彩色圖像組成：70個(gè)男性和56個(gè)女性，每個(gè)人有26幅不同的圖像，對(duì)于每個(gè)對(duì)象，間隔兩周在兩個(gè)不同會(huì)話(huà)采集圖像，每個(gè)會(huì)話(huà)由13幅圖像組成，臉部表情、光照和局部遮擋各有不同。樣本示例如圖2所示：

圖2 AR人臉數(shù)據(jù)庫(kù)中的圖像示例

戶(hù)外人臉數(shù)據(jù)庫(kù)包含大街上光照不受控制的陌生人臉圖像的正面照，遮擋源包括眼鏡、帽子、頭發(fā)和放在臉上的手，除了遮擋，這些圖像也包含表情變化和姿勢(shì)變化，圖像示例如圖3所示：

圖3 戶(hù)外人臉數(shù)據(jù)庫(kù)中的圖像示例

3.2 子塊大小影響

在AR人臉數(shù)據(jù)庫(kù)上研究子塊大小對(duì)本文算法識(shí)別性能的影響，選取40個(gè)人每人10張無(wú)遮擋圖像用于訓(xùn)練，1張無(wú)遮擋圖像和5張遮擋圖像用于測(cè)試，測(cè)試圖像的遮擋級(jí)別從0到50%，所有圖像都裁剪為大小，子塊大小設(shè)置為至之間，結(jié)果如圖4所示：

圖4 子圖像的大小對(duì)識(shí)別率的影響

3.3 識(shí)別結(jié)果比較

3.3.1 AR人臉庫(kù)

使用每人8幅圖庫(kù)圖像算法與幾種較為先進(jìn)的面部遮擋人臉識(shí)別算法進(jìn)行了比較，所有算法僅使用灰度值特征，結(jié)果如表1所示：

表1 AR數(shù)據(jù)庫(kù)上幾種算法的識(shí)別率（%）

從表1可以看出，相比其他幾種算法，本文算法能獲得與這些算法相當(dāng)甚至更好的識(shí)別率。而在識(shí)別效率上，本文算法的識(shí)別速率約為文獻(xiàn)[4]算法的15倍。在圍巾集這種幾乎遮擋住一半人臉的數(shù)據(jù)集上，本文算法僅對(duì)2%的圖像誤分類(lèi)，表明了本文算法對(duì)圍巾遮擋圖像具有較好的魯棒性。

3.3.1 LFW人臉庫(kù)

在LFW人臉數(shù)據(jù)庫(kù)上測(cè)試本文算法。實(shí)驗(yàn)選擇包含55個(gè)對(duì)象的一個(gè)圖像集，對(duì)于每個(gè)對(duì)象，分別選擇幅未遮擋的圖像用于訓(xùn)練，有不同遮擋級(jí)別的110幅圖像用于測(cè)試，訓(xùn)練集與測(cè)試集不相交。從每幅圖像的背景中裁剪出人臉區(qū)域，調(diào)整大小為。識(shí)別結(jié)果如表2所示：

表2 LFW上的識(shí)別率（%）

從表2可以看出，由于自然遮擋的挑戰(zhàn)，所有算法的整體識(shí)別率相對(duì)較低，但相比其他幾種算法，本文算法總體上仍能獲得最好的識(shí)別性能，由此可見(jiàn)其可靠性及優(yōu)越性。

4 總結(jié)

為了提高人臉識(shí)別算法對(duì)不同級(jí)別遮擋的魯棒性，基于壓縮感知林雨技術(shù)，提出了一種新穎的人臉識(shí)別算法。檢測(cè)遮擋區(qū)域，在識(shí)別處理階段提取這些遮擋區(qū)域，利用這些區(qū)域所包含的信息進(jìn)行識(shí)別。實(shí)驗(yàn)結(jié)果顯示，相比其他幾種遮擋人臉識(shí)別算法，本文算法取得了更高的識(shí)別率，且對(duì)不同級(jí)別的遮擋具有較好的魯棒性。

實(shí)驗(yàn)表明，成功檢測(cè)遮擋區(qū)域?qū)τ谡_識(shí)別至關(guān)重要，在檢測(cè)遮擋區(qū)域過(guò)程中像素集合的選取十分重要，這將是今后研究的重點(diǎn)。

參考文獻(xiàn)：

[1] Goldberg L J. Face Recognition and the Social Individual[J]. Biosemiotics, 2013, 6(3): 573-583.

[2] 薛雨麗, 毛峽, 呂善偉. 遮擋條件下的魯棒表情識(shí)別方法[J]. 北京航空航天大學(xué)學(xué)報(bào), 2010, 36(4): 429-433.

[3] 薛冰, 郭曉松, 蒲鵬程. 人臉識(shí)別技術(shù)綜述[J]. 四川兵工學(xué)報(bào), 2010, 31(7): 119-121.

[4] Chiang C C, Chen Z W. Recognizing partially-occluded faces by recovering normalized facial appearance [J]. International Journal of Innovative Computing Information & Control, 2011, 7(11): 6219-6234.

[5] 熊鵬飛, 劉昌平, 黃磊. 基于三維建模的眼鏡遮擋下人臉識(shí)別[J]. 模式識(shí)別與人工智能, 2011, 24(5): 692-699.

[6] 程正東. 基于子空間的人臉識(shí)別[M]// 基于子空間的人臉識(shí)別. 清華大學(xué)出版社, 2009.

[7] Liu G, Yan Y, Wang H. Robust Modular Linear Regression Based Classification for Face Recognition with Occlusion[C]// IEEE: International Conference on Image and Graphics. IEEE: NY, USA. 2013: 509-514.

[8] Wright J, Yang A Y, Ganesh A, et al. Robust Face Recognition via Sparse Representation [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2009, 31(2): 210 - 227.

[9] 陸華. 基于局部二值模式的人臉識(shí)別和表情識(shí)別研究[D]. 山東大學(xué), 2014.http://vis-www.cs.umass.edu/lfw/index.html

Robust Face Recognition Using Fragment Reconstruction in Similar Occlusion Area

Li Guizhen

(Xinjiang Agricultural Vocational Technigcal College, Changji 831100, China)

A face recognition algorithm based on compressed sensing technology for occlusion is proposed. Firstly, images are divided into each local small piece, and similar occlusion areas are constructed. Then, images fragments are reconstructed to detect occlusion area. Finally, non-occlusion areas are used to get occlusion section, and voting mechanism is used to finish face recognition. Experimental results show that the face recognition accuracy of proposed algorithm can achieve at 99.8% on AR and 83.8% on LFW databases, respectively, which is higher than several other occlusion algorithms. Besides, proposed algorithm has good robustness for face with different occlusion levels.

Face Recognition; Compressed Sensing; Occlusion Area Detection; Image Fragment Reconstruction; Robustness; Voting

1007-757X(2016)04-0036-04

TP391.4

A

（2015.12.10）

新疆維吾爾自治區(qū)自然科學(xué)基金項(xiàng)目（2013211A031）

李桂珍（1982-），女，新疆農(nóng)業(yè)職業(yè)技術(shù)學(xué)院，信息技術(shù)學(xué)院，碩士，講師，研究方向：圖像處理、軟件工程等，昌吉，831100