人臉識(shí)別中發(fā)型遮擋檢測方法研究*

王志一, 楊大利

(1.網(wǎng)絡(luò)文化與數(shù)字傳播北京市重點(diǎn)實(shí)驗(yàn)室，北京 100101; 2.北京信息科技大學(xué) 計(jì)算機(jī)學(xué)院，北京 100101)

人臉識(shí)別中發(fā)型遮擋檢測方法研究*

王志一1,2, 楊大利1,2

(1.網(wǎng)絡(luò)文化與數(shù)字傳播北京市重點(diǎn)實(shí)驗(yàn)室，北京 100101; 2.北京信息科技大學(xué) 計(jì)算機(jī)學(xué)院，北京 100101)

人臉識(shí)別中，發(fā)型遮擋是一種十分常見的遮擋類型，并且對(duì)人臉的正確識(shí)別具有極大的干擾。提出一種將頭發(fā)的顏色模型和發(fā)型特征相結(jié)合的遮擋檢測方法。首先，采用機(jī)器學(xué)習(xí)的方法，對(duì)頭發(fā)的顏色進(jìn)行學(xué)習(xí)建模。然后，利用發(fā)際線的特征，將人臉劃分為若干扇形并分塊，采用逐步精細(xì)的方法對(duì)人臉的發(fā)型遮擋區(qū)域進(jìn)行檢測。實(shí)驗(yàn)結(jié)果表明，該方法對(duì)人臉區(qū)域發(fā)型遮擋檢測的準(zhǔn)確率和召回率都達(dá)到88%以上，相比PCA檢測方法提高了約20%，驗(yàn)證了該方法的有效性。

人臉識(shí)別；發(fā)型遮擋；遮擋檢測

0 引言

人臉識(shí)別作為模式識(shí)別領(lǐng)域的熱點(diǎn)研究問題受到了廣泛的關(guān)注，人臉識(shí)別技術(shù)在眾多領(lǐng)域的身份驗(yàn)證中有著廣闊的應(yīng)用前景[1]。在實(shí)際人臉圖像處理過程中，人臉圖像的遮擋會(huì)經(jīng)常出現(xiàn)，如頭發(fā)、口罩、圍巾等，而遮擋對(duì)人臉識(shí)別有很大的影響。因此，如何準(zhǔn)確、自動(dòng)地檢測人臉遮擋區(qū)域成為遮擋人臉識(shí)別處理的關(guān)鍵問題之一。

主流的人臉遮擋區(qū)域檢測方法是基于PCA分析檢測方法[2-3]。該方法包括兩個(gè)關(guān)鍵步驟：在分析階段，將遮擋人臉圖像投影到人臉特征空間，并利用投影系數(shù)重建人臉；在檢測階段，將遮擋人臉圖像與重建人臉圖像進(jìn)行比較，差異越大，判定為遮擋的可能性越大。遮擋區(qū)域根據(jù)重建人臉與原始遮擋人臉的差異來估計(jì)?；谄骄四樀娜四樥趽鯀^(qū)域檢測方法[4]與基于PCA分析檢測方法類似，只是參考圖片選取的是平均臉圖像。

在遮擋人臉識(shí)別中，頭發(fā)是極為常見的遮擋物體，給識(shí)別帶來較大的不利影響。目前，基于PCA或平均臉的分析檢測方法在很大程度上依賴于參考樣本，對(duì)于人臉的位置、姿勢等十分敏感，而發(fā)型遮擋往往伴隨著不同的人臉姿勢。本文在分析了各類遮擋檢測算法后，通過建立發(fā)色模型并結(jié)合發(fā)型特征，提出了一種針對(duì)發(fā)型遮擋的人臉遮擋區(qū)域檢測方法。

1 方法概述

本文方法主要分為兩個(gè)部分：發(fā)色模型的線下學(xué)習(xí)和發(fā)型遮擋區(qū)域的在線檢測。線下學(xué)習(xí)是利用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行發(fā)色和膚色的學(xué)習(xí)，建立頭發(fā)的顏色模型，以便于在線檢測使用；在線檢測是實(shí)時(shí)檢測遮擋圖片的發(fā)型遮擋區(qū)域，給出檢測結(jié)果。

(1)圖1給出了發(fā)色模型學(xué)習(xí)的詳細(xì)步驟：對(duì)發(fā)色和膚色RGB樣本數(shù)據(jù)，利用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行發(fā)色和膚色訓(xùn)練學(xué)習(xí)，得到一個(gè)發(fā)色模型。給定一個(gè)像素點(diǎn)的RGB值，可以通過該模型粗略評(píng)估其是頭發(fā)的概率。

圖1 發(fā)型遮擋檢測框架

圖2 面部發(fā)型遮擋區(qū)域檢測

(2)圖2給出了發(fā)型遮擋區(qū)域的檢測步驟：給定一幅圖像，首先根據(jù)人臉進(jìn)行歸一化；之后，以嘴部中心為圓心，將給定的人臉區(qū)域按照角度劃分為若干扇形；對(duì)于每個(gè)扇形，按照半徑長度平均劃分為相等數(shù)量的區(qū)塊；然后，對(duì)于每個(gè)扇形區(qū)塊，按照距離圓心的距離，由遠(yuǎn)及近進(jìn)行粗略檢測。對(duì)于一個(gè)扇區(qū)，取發(fā)色區(qū)塊的下一個(gè)(離圓心更近的)區(qū)塊進(jìn)行精細(xì)分割。

2 結(jié)合發(fā)色模型和發(fā)型特征的遮擋檢測

發(fā)型特征包括：長度、體積、發(fā)色等。 對(duì)于解決發(fā)型遮擋的檢測問題，可以利用發(fā)色、發(fā)際線等特征。本文將發(fā)色模型和發(fā)型特征進(jìn)行有機(jī)結(jié)合，對(duì)人臉的面部發(fā)型遮擋區(qū)域進(jìn)行檢測。

2.1 基于人工神經(jīng)網(wǎng)絡(luò)的發(fā)色模型

2.1.1 BP人工神經(jīng)網(wǎng)絡(luò)簡介

BP神經(jīng)網(wǎng)絡(luò)[5]是人工神經(jīng)網(wǎng)絡(luò)的一種，它是采用誤差反向傳播的多層前饋神經(jīng)網(wǎng)絡(luò)。其中，3層的BP 網(wǎng)絡(luò)包括一個(gè)輸入層、一個(gè)隱含層、一個(gè)輸出層，如圖3所示。

圖3 三層BP神經(jīng)網(wǎng)路

BP神經(jīng)網(wǎng)絡(luò)的基本思想是采用信號(hào)的正向傳播和誤差的反向傳播。在正向傳播中，從輸入層傳入的數(shù)據(jù)，依次在各隱含層進(jìn)行處理，最終到達(dá)輸出層。如果輸出值與期望輸出不同，則將輸出層的誤差作為調(diào)整信號(hào)進(jìn)行反向傳播，根據(jù)誤差不斷調(diào)整權(quán)值和閾值，最終得到網(wǎng)絡(luò)可以接受的精度并輸出。

2.1.2 發(fā)色模型

頭發(fā)的顏色與皮膚的顏色往往有比較明顯的區(qū)別，利用發(fā)色能夠有效提高面部發(fā)型遮擋區(qū)域檢測的正確率。

2.2 基于發(fā)型特征的扇形分割

給定輸入圖像和發(fā)型區(qū)域，以嘴部位置的中心區(qū)域?yàn)閳A心，將嘴部以上的區(qū)域以每10°劃分為一個(gè)扇形，共18個(gè)徑長不等的扇形(以下簡稱為扇區(qū))，按照逆時(shí)針方向記為S1～S18。對(duì)任意的扇形區(qū)域Si，按照徑長平均分為10個(gè)區(qū)塊(以下簡稱為區(qū)塊)，按照離圓心的距離由遠(yuǎn)及近依次標(biāo)記為Si,1～Si,10。

2.2.1 粗略檢測

形式地，將X={xij:xij∈S}定義為區(qū)塊S的像素點(diǎn)，用Ix表示一個(gè)像素點(diǎn)的顏色向量，Ix=(Rx,Gx,Bx)T；LX=(l1,l2,…,lm)T表示標(biāo)號(hào)向量，其中m表示區(qū)塊S中的像素點(diǎn)數(shù)，并且lx=1表示x屬于頭發(fā)，lx=0表示x屬于皮膚。將一個(gè)像素是頭發(fā)的概率表示為P(lx=1)，簡單地，P(lx=1)=ax，其中，ax是ANN發(fā)色模型的輸出值。

對(duì)于人臉區(qū)域的每個(gè)扇形，首先對(duì)最外層區(qū)塊(S1,1,S2,1,…,S18,1)進(jìn)行檢測。區(qū)塊Si,1中的像素點(diǎn)x，將其RGB值作為ANN發(fā)色模型的輸入，得到輸出值ax。當(dāng)該點(diǎn)的預(yù)測為頭發(fā)概率大于給定閾值時(shí)，則認(rèn)為該像素點(diǎn)屬于頭發(fā)區(qū)域。如果區(qū)塊Si,1中的像素大部分都判定為頭發(fā)區(qū)域時(shí)，則認(rèn)為該區(qū)塊Si,1屬于頭發(fā)區(qū)域，記為預(yù)測遮擋塊。對(duì)所有的扇區(qū)，由遠(yuǎn)及近地進(jìn)行區(qū)塊的檢測，直到區(qū)塊不再是預(yù)測遮擋塊為止。每個(gè)扇區(qū)中第一個(gè)不是預(yù)測遮擋塊的區(qū)塊稱為精細(xì)分割塊(以下簡稱精割塊)，放到下一步進(jìn)行圖割[6]處理。

2.2.2 精細(xì)分割

經(jīng)過2.2.1節(jié)中粗略檢測得到了若干個(gè)精割塊，下一步是在此范圍內(nèi)進(jìn)行精細(xì)的分割。采用2.2.1中相同的定義，將X={xij:xij∈S}定義為精割塊S的像素點(diǎn)，用Ix表示像素點(diǎn)的顏色向量，Ix=(Rx,Gx,Bx)T；LX=(l1,l2,…,lm)T表示標(biāo)號(hào)向量，其中m表示精割塊S中的像素點(diǎn)數(shù)，并且lx=1表示x屬于頭發(fā)，lx=0表示x屬于皮膚。將一個(gè)像素是頭發(fā)的概率表示為P(lx=1)。定義如下能量函數(shù)：

E(L)=C(L)+αB(L)

(1)

(2)

其中，nx表示精割塊S中像素點(diǎn)的數(shù)量,c(lx)表示發(fā)色模型對(duì)像素點(diǎn)x的預(yù)測概率。

式(1)中第二項(xiàng)中的B(L)定義為：

(3)

(4)

(5)

其中，np表示像素點(diǎn)p的相鄰點(diǎn)的個(gè)數(shù)，σ表示圖像的平均平滑度。式(4)采用8-鄰域系統(tǒng)，選擇像素點(diǎn)的相鄰點(diǎn)。由于精割塊的形狀大小不同，進(jìn)行了均值化處理。

2.2.3 優(yōu)化

直接對(duì)式(1)進(jìn)行最小化計(jì)算，復(fù)雜度較高，計(jì)算量非常大。本文提出了一種求近似解的計(jì)算方法。首先，將精割塊S中的像素按照ANN預(yù)測的發(fā)色程度按照從小到大排列；然后，將區(qū)塊內(nèi)所有像素的區(qū)塊起始標(biāo)號(hào)都置為1，按照發(fā)色的概率從小到大排序依次將像素標(biāo)號(hào)置為0；最后，分別計(jì)算能量函數(shù)的值。選取使能量函數(shù)達(dá)到最小值時(shí)的標(biāo)號(hào)向量作為最優(yōu)解。

3 實(shí)驗(yàn)和結(jié)果分析

實(shí)驗(yàn)數(shù)據(jù)采集28個(gè)人的人臉圖像，分為正面、左側(cè)面和右側(cè)面三個(gè)姿勢，偏轉(zhuǎn)角度在10°～30°之間，發(fā)型遮擋包括正面單側(cè)遮擋、正面兩側(cè)遮擋、左側(cè)面遮擋、右側(cè)面遮擋、發(fā)簾遮擋等類型。人臉圖像庫包括28人269張發(fā)型遮擋圖像，每張圖像歸一化為50×75像素。

實(shí)驗(yàn)1 該實(shí)驗(yàn)采用數(shù)據(jù)集中的正面人臉，數(shù)據(jù)包含109張遮擋人臉圖像，實(shí)驗(yàn)結(jié)果如表1所示。

表1 正面人臉下遮擋檢測算法比較

表2 不同姿勢下遮擋檢測算法比較

由表1可以看出，在正面人臉的條件下，PCA檢測方法的F-value為69%，相應(yīng)的準(zhǔn)確率和召回率分別為63%和76%。本文方法比PCA檢測方法的F-value提高了20%，準(zhǔn)確率和召回率分別提高了27%和12%。

實(shí)驗(yàn)2 該實(shí)驗(yàn)采用全部的數(shù)據(jù)，包含269張不同姿勢的遮擋人臉圖像，實(shí)驗(yàn)結(jié)果如表2所示。

由表2可以看出，在不同姿勢的人臉條件下，PCA檢測方法的F-value為57%，相比正面人臉條件下降低了12%，相應(yīng)的準(zhǔn)確率和召回率降低10%左右。而本文方法與正面人臉條件下的F-value相比變化不大，說明比PCA檢測方法具有更強(qiáng)的魯棒性。

4 結(jié)論

發(fā)型遮擋對(duì)人臉識(shí)別具有極大的干擾，如何準(zhǔn)確獲取遮擋區(qū)域是處理遮擋中需要解決的問題。由于各種形狀和不同紋理，使得發(fā)型遮擋區(qū)域檢測非常困難 。實(shí)驗(yàn)表明，本文提出的方法比PCA遮擋檢測方法具有更高的準(zhǔn)確率和召回率，驗(yàn)證了該方法的有效性。

[1] CHELLAPPA R, WILSON C L, SIROHEY S. Human and machine recognition of faces: a survey[J]. Proceedings of the IEEE, 1995, 83(5): 705-741.

[2] 杜成, 蘇光大. 用于人臉識(shí)別的正面人臉圖像眼鏡摘除[J]. 清華大學(xué)學(xué)報(bào)(自然科學(xué)版), 2005, 45(7): 928-930.

[3] 王志明, 陶建華. 人臉遮擋區(qū)域檢測與重建[J]. 計(jì)算機(jī)研究與發(fā)展, 2015, 47(1): 16-22.

[4] 李冬梅, 熊承義, 高志榮,等. 基于異值區(qū)域消除的遮擋人臉識(shí)別[J]. 計(jì)算機(jī)科學(xué), 2015, 42(3):289-295.

[5] MCCLELLAND J L, KAWAMOTO A H. Parallel distributed processing[C]. Rumelhart and McClelland (eds.)， 1986(I):45-76.

[6] BOYKOV Y, VEKSLER O, ZABIH R. Fast approximate energy minimization via graph cuts[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(11): 1222-1239.

Research on detection method of hair-occlusion in face recognition

Wang Zhiyi1,2,Yang Dali1,2

(1.Beijing Key Laboratory of Internet Culture and Digital Dissemination Research,Beijing 100101,China;2.School of Computer,Beijing Information Science&Technology University,Beijing 100101,China)

In face recognition, the hair is a very common object in face occlusion, and it has a great disturbance to the correct recognition of human face. In this paper, a method of hair-occlusion detection is proposed, which is based on the combination of color model and hair style. First of all, using machine learning method to learn the color of hair and build the hair-color model. Then, the face is divided into several segments by using the feature of the hair line, and then the hair-occlusion area is detected by the method of fine precision. Experimental results show that the accuracy and recall rate of the proposed method is more than 88%, compared to the PCA detection method increased by about 20%.

face recognition; hair occlusion; occlusion detection

北京市屬高等學(xué)校創(chuàng)新團(tuán)隊(duì)建設(shè)與教師職業(yè)發(fā)展計(jì)劃基金項(xiàng)目(IDHT20130519)；北京市學(xué)科與研究生教育基金(PXM2015_014224.000018)

TP391.4

A

1674-7720(2016)02-0032-03

王志一,楊大利. 人臉識(shí)別中發(fā)型遮擋檢測方法研究[J] .微型機(jī)與應(yīng)用，2016,35(2)：32-34.

2015-08-16)

王志一(1988-)，通信作者，男，碩士研究生，主要研究方向：人臉識(shí)別。E-mail:wzy_bistu@163.com。

楊大利(1964-)，男，教授，碩士生導(dǎo)師，主要研究方向：機(jī)器學(xué)習(xí)、信號(hào)增強(qiáng)。