局部遮擋條件下的人臉識(shí)別

岳 震 陳凱勇

(杭州電子科技大學(xué)信息與控制研究所 浙江 杭州 310018)

0 引 言

由于廣泛的實(shí)用價(jià)值和潛在的科研價(jià)值，人臉識(shí)別依然是生物特征識(shí)別領(lǐng)域的重要研究課題[1]。近幾十年來，人臉識(shí)別技術(shù)雖然取得了很大的成就和長足的發(fā)展。但在面對(duì)遮擋、光照、表情變化等不利因素的影響時(shí)依然表現(xiàn)得不夠魯棒。目前，人臉識(shí)別算法針對(duì)遮擋條件下的人臉識(shí)別算法的研究還比較少。特征提取是整個(gè)人臉識(shí)別過程中最為關(guān)鍵的，全面而有效地提取特征決定了系統(tǒng)識(shí)別分類的性能。一幅人臉圖像通常可以分為全局和局部兩個(gè)方面來看:全局特征主要反映了目標(biāo)圖像的整體性，它主要描述人臉的膚色、整體的輪廓、五官的分布等；局部特征則反映了人臉中微小的特征變化，譬如酒窩、傷疤以及痣點(diǎn)等臉部痕跡。因此考慮可以將全局和局部的特征信息結(jié)合起來進(jìn)行分類可以取得比較優(yōu)異的識(shí)別性能。目前主流的全局特征提取法有主成分分析PCA(Principle Component Analysis)[2]、獨(dú)立成分分析ICA(Independent Component Analysis)[3]、線性判別分析LDA(Linear Discriminant Analysis)[4]等。主流的局部特征有Gabor小波變換GWT(Gabor Wavelet Transform)[5]、局部二值模式LBP(Local Binary Pattern)[6]、梯度方向直方圖HOG特征[7]等。Gabor特征具有和人類視覺系統(tǒng)相近的特點(diǎn)，同時(shí)具備很強(qiáng)的人臉表征能力，所以其被廣泛應(yīng)用于人臉的局部紋理特征的提取。但由于該特征維數(shù)過高、計(jì)算繁瑣難以滿足識(shí)別的時(shí)效性的目的。LBP特征具有計(jì)算簡便、分類能力強(qiáng)的特點(diǎn)，但容易受到噪聲的影響且對(duì)光照等因素十分敏感。HOG特征具有計(jì)算簡便且對(duì)旋轉(zhuǎn)、光照等不利因素魯棒性強(qiáng)，因此也越來越多地被應(yīng)用于人臉的識(shí)別方面。HOG特征是來自于SIFT算法的最后一步的統(tǒng)計(jì)梯度直方圖描述子，是一種描述局部圖像目標(biāo)的梯度統(tǒng)計(jì)信息的描述算子。最初是在2005年由Dala1等[8]提出并結(jié)合SVM分類器用在行人檢測(cè)方法中取得了較好的成果。到2011年Deniz等[9]將其應(yīng)用于人臉識(shí)別中，并取得了較高的識(shí)別率。

本文采用全局信息和局部信息[10]相結(jié)合的方法進(jìn)行識(shí)別分類。全局信息采用PCA算法，但考慮到傳統(tǒng)PCA算法提取算法有易丟失高頻信息、重建圖像分辨率不高、人臉變異模糊的缺點(diǎn)。因此，首先對(duì)目標(biāo)圖像進(jìn)行線性重構(gòu)得到誤差圖像，然后將誤差圖像的特征向量信息與PCA全局的特征信息經(jīng)雙屬性模型進(jìn)行融合，得到雙屬性特征信息。同時(shí)，采用HOG算子對(duì)目標(biāo)圖像進(jìn)行均勻分塊提取局部的HOG特征信息，通過整體分類器對(duì)雙屬性特征信息和局部特征信息進(jìn)行分類，判別目標(biāo)圖像屬于哪一類。雙屬性模型主要是將不同的兩種特征向量進(jìn)行相似度比較，按照一定的權(quán)值比進(jìn)行結(jié)合，得到一種新的特征向量。該算法解決了在提取圖像特征時(shí)丟失的高頻信息、個(gè)體差異性以及局部信息，有效解決了圖像在特征空間的訓(xùn)練過程中由光照、遮擋等因素造成圖像中人臉圖像的失真，從而提高了人臉識(shí)別的準(zhǔn)確性。

1 基于雙屬性模型的PCA算法

1.1 基于PCA算法的全局特征向量提取

(1)

由此可得到每張人臉圖像相對(duì)于Xave的均差為：

φi=Xi-Xave

(2)

構(gòu)造協(xié)方差矩陣：

(3)

要求C的特征值λk和特征向量μk，可轉(zhuǎn)化成求另一個(gè)矩陣S的特征值和特征向量νk，這樣就可以使計(jì)算復(fù)雜性大大降低。

(4)

這些求出的特征向量所形成的向量空間就可以表示人臉圖像的主要特征信息。對(duì)于圖像中的所有N個(gè)圖像都可向此空間進(jìn)行投影，得到投影向量為ω=[ω1,ω2,…,ωL]。例如將圖像庫中任一人臉圖像向此空間作投影，得到它的投影向量為：

(5)

式中：向量元素?i可由公式得到：

(6)

1.2 基于線性重構(gòu)的誤差特征向量提取

考慮到上述PCA算法主要對(duì)人臉的主成分進(jìn)行分析，要是受到光照、尺度、遮擋等因素影響，人臉識(shí)別的準(zhǔn)確率就會(huì)過低。本文為了對(duì)全局特征信息進(jìn)行補(bǔ)償，采用線性回歸算法得到人臉誤差圖像，對(duì)誤差圖像進(jìn)行特征提取，得到誤差特征信息。

因此，假設(shè)訓(xùn)練樣本的集合為X，測(cè)試樣本集合為y，共有m幅圖像。首先利用最小二乘法得到訓(xùn)練樣本X對(duì)應(yīng)的系數(shù)向量x，然后將對(duì)應(yīng)的預(yù)測(cè)圖像與訓(xùn)練樣本進(jìn)行差異性比較，得到誤差圖像，最后將誤差圖像投影到式(4)的特征向量所形成的向量空間中得到誤差圖像的特征向量。首先假設(shè)下式近似滿足：

y=b1x1+b2x2+…+bnxn

(7)

式中：bi是人臉模型中每一類對(duì)應(yīng)的線性回歸系數(shù)。然后計(jì)算人臉模型對(duì)應(yīng)的線性回歸系數(shù)矩陣，矩陣形式如公式所示：

(8)

接著，計(jì)算測(cè)試圖像和預(yù)測(cè)圖像的差異，記為誤差圖像：

(9)

最后將誤差圖像的特征向量作為對(duì)PCA特征提取的特征向量的全局補(bǔ)償，這樣就得到了誤差特征向量：

σ=μ-1θ

(10)

那么可以通過雙屬性模型，將全局特征向量和誤差特征向量進(jìn)行融合，得到雙屬性特征向量作為分類器主要的訓(xùn)練目標(biāo)。

1.3 雙屬性模型

(11)

式中：≈表示相似性比較操作。從而可定義特征向量G1、G2之間的主分量的相似度為：

(12)

對(duì)特征向量ω、б進(jìn)行融合，得到雙屬性表示模型：

Gtotal(ω,σ)=ω+(λI-Sν)σ

(13)

式中：λI-Sv用于保持圖的拓?fù)浣Y(jié)構(gòu)，也可看作一種權(quán)值。

使用雙屬性模型來表示目標(biāo)圖像的全局特征，首先對(duì)于人臉圖像，根據(jù)人臉各個(gè)部位的特征點(diǎn)，得到人臉模型。然后對(duì)人臉圖像進(jìn)行PCA變換，得到人臉特征模型上各特征點(diǎn)的PCA系數(shù)，作為一組人臉特征向量。同時(shí)，通過LRC算法得到人臉的誤差圖像，對(duì)誤差圖像的特征提取獲得誤差特征向量，作為另外一組誤差特征向量。因此對(duì)于人臉模型上的任一特征點(diǎn)來說，該特征點(diǎn)都具有兩個(gè)屬性，這樣根據(jù)這些特征點(diǎn)生成人臉雙屬性圖。

2 基于HOG局部特征提取

HOG特征提取的一般過程為:將人臉圖像均勻劃分為多個(gè)大小一致的小塊block。接著每個(gè)block以互不重疊模式劃分為2×2或者4×4大小的cell單元，在每個(gè)cell單元內(nèi)計(jì)算每個(gè)像素的梯度方向和幅度值。在每個(gè)block內(nèi)統(tǒng)計(jì)每個(gè)cell的梯度方向直方圖并將其連成一個(gè)向量。最后級(jí)聯(lián)所有block的特征向量得到圖像的全局HOG特征。本算法所設(shè)置的參數(shù)為：(1) 梯度計(jì)算使用中心對(duì)稱算子[-1,0,1]，人臉圖像灰度化，不作平滑處理;(2) 采樣窗口(即block)大小為8×8像素分為4個(gè)4×4像素的cell，不計(jì)算高斯加權(quán);(3) 初始的方向角是unsigned的0～180°，分為8個(gè)方向角(bin);(4) L2-norm的block標(biāo)準(zhǔn)化方法;(5) 塊與塊之間互不重疊[11]。

本算法首先對(duì)人臉圖像進(jìn)行光照預(yù)處理操作，接著進(jìn)行區(qū)域分塊，這里的塊并非是HOG描述子中的block，而要比其大。由多個(gè)blocks組成一個(gè)局部的區(qū)域塊，為了簡化計(jì)算，采用平均分塊的方式，然后在每個(gè)塊上提取HOG特征。同時(shí)為了防止邊緣對(duì)提取工作的影響和計(jì)算的簡便，實(shí)際做法是先提取全局的HOG特征，然后按空間區(qū)域不同將其劃分到不同塊中，將每個(gè)區(qū)域獲得的特征作為局部HOG特征向量(LHOGFV)。最后按照?qǐng)D1的方式對(duì)圖像進(jìn)行分塊，這里分為L塊并對(duì)每個(gè)塊用HOG描述子提取局部HOG特征向量(LHOGFV)得到L個(gè)LHOGFV特征Fi={Li|i=1,2,…,L}，那么目標(biāo)圖像可以用這L個(gè)局部特征表示為F=[F1,F2,…,FL]。

圖1 分塊提取局部HOG特征的過程

3 分類器的設(shè)計(jì)

首先通過雙屬性模型將全局特征信息和誤差特征信息進(jìn)行融合，然后通過分塊提取N個(gè)局部的HOG特征信息，這樣就可以得到N+1個(gè)特征向量(1個(gè)雙屬性特征向量以及N個(gè)局部HOG特征向量)。現(xiàn)有一目標(biāo)測(cè)試圖像需要進(jìn)行識(shí)別，那么可以將該目標(biāo)圖像進(jìn)行上述處理，得到N+1個(gè)特征向量，然后與訓(xùn)練樣本的N+1個(gè)特征向量進(jìn)行對(duì)比，從而可以的到N+1個(gè)相似度值。最后根據(jù)最近鄰分類算法對(duì)這N+1個(gè)相似度值進(jìn)行計(jì)算，確定目標(biāo)圖像的人臉類別。

現(xiàn)將雙屬性特征向量和局部HOG特征向量的分類器分別稱為：雙屬性分量分類器DAC(Double Attribute Classifier)和局部分量分類器LCC(Local Component Classifier)。這兩類分類器針對(duì)的是不同的特征向量信息從而得到的相似度存在一定的差異性，它們之間可以互補(bǔ)從而提高算法的識(shí)別率。本文采用權(quán)重值分配方式將上述得到兩種分類器進(jìn)行融合，即采用加權(quán)分配的策略將局部分量分類器和雙屬性分量分類器產(chǎn)生的N+1相似度進(jìn)行權(quán)重分配得到一個(gè)新的整體分類器OC(Overall Classifier)。

對(duì)于局部分量分類器的權(quán)重分配方法，鑒于文獻(xiàn)[10]中所提到，采用不同的權(quán)重分配對(duì)識(shí)別率的提高不大且為了計(jì)算的簡便，故采用平均權(quán)重的方法，即每個(gè)分類器的權(quán)重值是WLi=1/L，其中L是分塊區(qū)域的個(gè)數(shù)為20。根據(jù)分塊區(qū)域的權(quán)重值，將所有局部分量進(jìn)行加權(quán)求和，那么就可以得到局部分類器的集合LC：

(14)

式中：WLi表示第i塊區(qū)域的局部分量所占權(quán)重值。接著將雙屬性分量分類器和局部分類器集合進(jìn)行加權(quán)求和計(jì)算進(jìn)行并行集成，從而得到整體分類器OC：

OC=wDA×DAC+(1-wDA)×LC

(15)

式中：WDA表示雙屬性特征向量所占權(quán)重值。對(duì)于WDA的取值是通過在AR人臉庫上做實(shí)驗(yàn)來設(shè)定的。實(shí)驗(yàn)結(jié)果顯示當(dāng)WDA=0.25左右時(shí)，人臉的識(shí)別率達(dá)到最高。因此在后續(xù)的實(shí)驗(yàn)中，將WDA設(shè)置為0.25。構(gòu)建整體分類器OC的完整過程如圖2所示。

圖2 整體分類器構(gòu)建的全過程

4 實(shí) 驗(yàn)

4.1 實(shí)驗(yàn)數(shù)據(jù)

為了驗(yàn)證本文算法的可行性及有效性，本文選擇在人臉數(shù)據(jù)庫AR[12]、Yale-B[13]上進(jìn)行人臉識(shí)別實(shí)驗(yàn)。

AR數(shù)據(jù)庫包含76名男性和60名女性的人臉數(shù)據(jù)，超過3 000張的人臉圖像組成。原始圖像分辨率為768×576。選擇其中120人(60名男性和60名女性)，每人10幅圖，并對(duì)圖像大小裁剪為80×64大小，進(jìn)行實(shí)驗(yàn)測(cè)試算法識(shí)別率。圖3為AR人臉數(shù)據(jù)庫中選擇的訓(xùn)練樣本以及對(duì)應(yīng)的測(cè)試樣本。

圖3 AR訓(xùn)練樣本及測(cè)試樣本的人臉圖像

Yale-B人臉數(shù)據(jù)庫中的人臉圖像主要對(duì)10個(gè)目標(biāo)對(duì)象進(jìn)行采集，每個(gè)人都拍攝了576幅圖像，包含了9種姿勢(shì)以及65種光照變化的圖像。為了實(shí)驗(yàn)的便捷性，對(duì)所有圖像進(jìn)行尺度歸一化，所有圖像均被裁剪為80×64大小的尺寸。該圖像根據(jù)光照的強(qiáng)度和角度的不同，可劃分為5個(gè)子集，如圖4所示。

圖4 Yale-B人臉數(shù)據(jù)庫圖像

為了測(cè)試提出的方法對(duì)于隨機(jī)被遮擋圖像的魯棒性。本節(jié)選取Yale-B03的子集1作為訓(xùn)練樣本，子集2和子集3作為測(cè)試樣本并采用猴子臉部圖像作為遮擋圖像用于遮擋測(cè)試樣本，分別遮擋測(cè)試樣本的10%到60%的面積，并且將被遮擋的位置進(jìn)行隨機(jī)選擇，這樣可以驗(yàn)證方法的抗干擾性。圖5為子集2的測(cè)試樣本進(jìn)行10%到60%的遮擋。

圖5 測(cè)試樣本在不同遮擋率下的示例圖像

4.2 實(shí)驗(yàn)結(jié)果與分析

本文主要設(shè)置兩組實(shí)驗(yàn)：實(shí)驗(yàn)一，在有遮擋的AR人臉數(shù)據(jù)庫，分析本文算法的可行性以及可靠性，并與算法SRC和LRC算法進(jìn)行對(duì)比；實(shí)驗(yàn)二，在Yale-B人臉數(shù)據(jù)庫進(jìn)行人臉圖像隨機(jī)遮擋識(shí)別實(shí)驗(yàn)。

從表1-表3的實(shí)驗(yàn)結(jié)果可以看出，本文算法在AR、Yale-B數(shù)據(jù)庫上都取得了較高的識(shí)別率，均優(yōu)于其他傳統(tǒng)的算法。

表1 Yale-B人臉數(shù)據(jù)庫中子集1作為訓(xùn)練樣本集本，子集2作為測(cè)試樣本 %

表2 Yale-B人臉數(shù)據(jù)庫中子集1作為訓(xùn)練樣本，子集3作為測(cè)試樣本 %

表3 基于AR人臉數(shù)據(jù)庫的三種算法的性能比較

在AR人臉數(shù)據(jù)庫上，通過圖6的識(shí)別率分布圖，可以得出SRC和LRC算法的識(shí)別率會(huì)隨著訓(xùn)練樣本數(shù)的增加而逐漸的減小。這就說明了當(dāng)增加了訓(xùn)練樣本數(shù)時(shí)，SRC和LRC提取的特征向量信息相似度會(huì)比較相近，進(jìn)而使得測(cè)試樣本無法正確歸類。而對(duì)于本文算法就有比較穩(wěn)定的識(shí)別率，受訓(xùn)練樣本數(shù)量的影響比較小。表3表明了不同算法在該實(shí)驗(yàn)中的平均識(shí)別率和算法執(zhí)行時(shí)間。由于本文算法的復(fù)雜性導(dǎo)致執(zhí)行時(shí)間比其他兩種算法稍長，但識(shí)別率有顯著的提高。隨著計(jì)算機(jī)技術(shù)的發(fā)展，識(shí)別時(shí)間會(huì)有所縮短。因此，通過該實(shí)驗(yàn)可以得出該算法具有比較好的穩(wěn)定性、可靠性和一定的實(shí)時(shí)性。

圖6 SRC、LRC、本文算法識(shí)別率隨訓(xùn)練樣本數(shù)的變化

在Yale-B數(shù)據(jù)庫上，通過表1、表2的識(shí)別結(jié)果可以看出在無遮擋的情況下，各個(gè)算法都可以獲得較高的識(shí)別率，本文算法取得最高的99.53%和97.25%。在遮擋的情況下，各個(gè)算法識(shí)別率都會(huì)有所降低。然而本文算法在不同比例的遮擋下均優(yōu)于其他方法。 對(duì)于子集2中的情況，在遮擋率不高于30%時(shí)，本文算法的識(shí)別率都在90% 以上，但當(dāng)遮擋超過30%以上時(shí)，識(shí)別率會(huì)有明顯的下降。對(duì)于子集3作為測(cè)試樣本，不僅有隨機(jī)遮擋的影響，而且還有著一定程度上光照強(qiáng)度的影響。因此，該條件下的人臉識(shí)別難度更加高。如表2所示。可以看出所提出的方法在光照和遮擋的影響也有很強(qiáng)的抗干擾性。而對(duì)于Eigenfaces+kN的方法，在光照和遮擋雙因素的影響下，識(shí)別率極低。當(dāng)遮擋率高于20%時(shí)，SRC和LRC的識(shí)別率也都急劇的降低，說明在光照條件和遮擋雙因素影響下，傳統(tǒng)的識(shí)別算法，還是有很大的缺陷的。

5 結(jié) 語

針對(duì)局部遮擋條件下的人臉識(shí)別問題，提出一種基于雙屬性模型的HOG特征人臉識(shí)別算法。本算法從線性子空間角度來解決遮擋人臉識(shí)別的問題。首先，完成了對(duì)雙屬性模型的設(shè)計(jì)，完成了全局特征向量與誤差特征向量的融合。其次，利用HOG描述算子成功實(shí)現(xiàn)了對(duì)人臉分塊的局部HOG特征提取。最后，利用多類特征信息的相似度進(jìn)行權(quán)值匹配計(jì)算，實(shí)現(xiàn)了該算法在遮擋條件下進(jìn)行有效識(shí)別的目的。在AR、Yale-B數(shù)據(jù)庫上進(jìn)行實(shí)驗(yàn)表明，本算法優(yōu)于其他傳統(tǒng)算法，具有較高的識(shí)別率并對(duì)遮擋及一定的光照等具有魯棒性強(qiáng)的特點(diǎn)。

參 考 文 獻(xiàn)

[1] 孫強(qiáng),葉玉堂,邢同舉,等.基于主成分分析法的人臉識(shí)別的探討與研究[J].電子設(shè)計(jì)工程,2011,19(20):101-104.

[2] Abdi H,Williams L J.Principal component analysis[J].Wiley interdisciplinary reviews:computational statistics,2010,2(4):433-459.

[3] Du K L, Swamy M N S. Independent component analysis[M]//Neural Networks and Statistical Learning.Springer London,2014:419-450.

[4] Izenman A J.Linear discriminant analysis[M]//Modern multivariate statistical techniques.Springer New York,2013:237-280.

[5] 王憲,陸友桃,宋書林,等.基于Gabor小波變換與分塊PCA的人臉識(shí)別[J].計(jì)算機(jī)工程與應(yīng)用,2012,48(3):176-178, 231.

[6] 宋克臣,顏云輝,陳文輝,等.局部二值模式方法研究與展望[J].自動(dòng)化學(xué)報(bào),2013,39(6):730-744.

[7] Oreifej O,Liu Z.Hon4d:Histogram of oriented 4d normals for activity recognition from depth sequences[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2013:716-723.

[8] Dalal N,Triggs B.Histograms of oriented gradients for human detection[C]//Computer Vision and Pattern Recognition,2005.CVPR 2005.IEEE Computer Society Conference on.IEEE,2005,1:886-893.

[9] Déniz O,Bueno G,Salido J,et al.Face recognition using histograms of oriented gradients[J].Pattern Recognition Letters,2011,32(12):1598-1603.

[10] 蘇煜,山世光,陳熙霖,等.基于全局和局部特征集成的人臉識(shí)別[J].軟件學(xué)報(bào),2010,21(8):1849-1862.

[11] 譚恒良.基于融合全局和局部HOG特征的人臉識(shí)別方法[D].廣州:中山大學(xué),2011.

[12] 羅佳,石躍祥,段德友.基于SIFT特征的人臉識(shí)別方法[J].計(jì)算機(jī)工程,2010,36(13):173-174,177.

[13] Sinha P,Balas B,Ostrovsky Y,et al.Face recognition by humans:Nineteen results all computer vision researchers should know about[J].Proceedings of the IEEE,2006,94(11):1948-1962.