一種基于分治策略的Huffman-LBP多姿態(tài)人臉識別

周麗芳,杜躍偉,李偉生,李 宇

1(重慶郵電大學 軟件工程學院,重慶 400065) 2(重慶郵電大學 計算機科學與技術學院,重慶 400065) 3(重慶大學 自動化學院,重慶 400065) 4(重慶市公安局 科技信息化處,重慶 400020) E-mail:zhoulf@cqupt.edu.cn

1 引 言

近年來,隨著圖像處理技術的不斷進步和發(fā)展,可控環(huán)境下的人臉識別技術已經(jīng)趨于成熟,取得了較高的識別精度.然而在實時監(jiān)控和刑偵追蹤等應用領域,人臉識別的性能經(jīng)常會受到姿態(tài)、光照、表情和遮擋等因素的影響.其中,姿態(tài)變化是阻礙人臉識別技術邁向?qū)嵱没闹匾蛩刂?

目前,在多姿態(tài)人臉識別方面的研究工作大致可以歸納為兩種類型:3D技術和2D技術.從根源上講,人臉的姿態(tài)變化是由3D剛體的旋轉和變換所引起的,所以一些研究者認為通過3D技術來解決人臉姿態(tài)變化問題是最合理的,其中最具代表性的就是三維形變模型(3D Morphable Model,3DMM)[1].雖然此類方法取得了較高的識別率,但依然存在一些缺陷:模型擬合費時,離線深度信息需求量大以及掃描過程復雜等.

相比3D方法,基于2D 技術的方法更容易被實施和應用.2D 方法大致可以分為三類,第一類方法試圖通過回歸模型來尋找不同人臉姿態(tài)之間的關系,此類方法的代表方法有:局部線性回歸(Locally Linear Regression,LLR)[2]以及正交Procrustes回歸(Orthogonal Procrustes Regression,OPR)[3]等.第二類2D方法通過虛擬視圖重建的方式將不同姿態(tài)的人臉圖像歸一化為統(tǒng)一視圖,以便可以利用簡單的正面人臉識別算法進行識別,例如:馬爾可夫隨機場(Markov random Fields,MRFs)[4].但重建的虛擬圖像往往存在失真和扭曲現(xiàn)象,容易導致誤識別.近年來,隨著高性能計算的發(fā)展,深度學習技術在人臉識別領域大放異彩,涌現(xiàn)出了大量的基于深度網(wǎng)絡的人臉識別方法和商用人臉識別平臺,比如:堆疊漸進式自動編碼器(Stacked Progressive Auto-Encoders,SPAE)[5],FaceNet[6]以及Face++[7]等.但是,海量的帶標簽數(shù)據(jù)和較高的硬件(CPU)需求成為深度方法發(fā)展的巨大阻礙.還有大量的2D方法嘗試在姿態(tài)變化的人臉中提取姿態(tài)魯棒的特征,例如:局部Gabor二值模式(Local Gabor Binary Pattern,LGBP)[8],彈性圖匹配(Elastic Bunch Graph Matching,EBGM)[9]以及子空間點表達(Subspace Point Representation,SPR)[10]等.

由于人臉的姿態(tài)偏轉會造成圖像像素無法對準,所以基于全局的特征對姿態(tài)變化十分敏感.相比之下,局部的特征提取方法只作用在圖像的一些孤立區(qū)域上,對姿態(tài)變化帶來的影響有所緩解.在局部特征提取方法中,最具有代表性的就是局部二值模式(Local Binary Patterns,LBP)[11].LBP 不需要精確的模式位置信息,而是用直方圖的方式來統(tǒng)計局部區(qū)域內(nèi)的特征信息,它對小范圍內(nèi)的姿態(tài)偏轉具有一定的魯棒性.但是 LBP 在計算過程中忽略了對對比度信息的評估,有時會造成重要紋理信息的丟失.Huang[12]等人提出了由多層的LBP編碼所組成的擴展LBP算子(Extended LBP operator,ELBP),ELBP 不僅對像素鄰域中的灰度差值的符號進行了編碼.同時又對對比度的大小進行了編碼.Tan[13]等人在像素差值的編碼過程中添加了一個自定義的閾值,將LBP算子擴展成為了局部三值模式(Local Ternary Pattern,LTP),增強了對噪聲的抵抗能力.Chen[14]等人在LBP的基礎上進行了進一步的改進,提出了局部多層對比模式(Local Multi-layer Contrast Pattern,LMCP),LMCP算子通過線性分層的方式對像素的對比度區(qū)間進行了劃分,從而將像素之間的灰度差值映射到了相應的子層,保留了像素間的對比度信息,提高了對人臉圖像的表達能力.雖然以上的LBP改進方法展現(xiàn)出了較好的識別性能,但是它們在評估鄰域?qū)Ρ榷刃畔⒌倪^程中都存在著參數(shù)的最優(yōu)設置問題.

從2009年Wright[15]等人將稀疏表達分類(Sparse Representation based Classification,SRC)引入人臉識別領域以來,SRC 因其對圖像噪聲和遮擋的魯棒性而受到廣大研究者的喜愛.近年來,一些研究者[16,17]將 LBP 與SRC 相結合,在一定程度上解決了字典構建過程中的 “小樣本”問題,但是對于姿態(tài)變化下的人臉識別,依舊是個難點.

圖1 所提人臉識別算法流程圖Fig.1 Flow of the proposed algorithm

針對上述問題,我們提出了一種基于分治策略的Huffman-LBP多姿態(tài)人臉識別方法.本文首先采用了基于樹模型的人臉檢測方法[18]和基于多任務約束深度卷積網(wǎng)絡(Tasks-Constrained Deep Convolutional Network,TCDCN)的特征點標定方法[19]對圖像進行了預處理.隨后,所提出的區(qū)域選擇因子(Region Selection Factor,RSF)被用來對不同姿態(tài)的人臉圖像進行劃分,并選擇出有益于識別的人臉區(qū)域.此外,我們使用Huffman-LBP局部描述算子來提取圖像中具有判別力的特征.為了進一步地提高算法對姿態(tài)變化的容忍能力,一種基于patch的稀疏表達分類策略(Patch-based SRC)被用來進行分類.與目前較為流行的虛擬視圖重建的人臉識別方法相比,本文所提方法沒有改變圖像結構,不進行扭轉和重建,整個識別過程都只在原始圖像上進行,避免了因為失真而導致的誤識別.所提人臉識別算法的流程如圖1所示.

2 LBP和SRC算法

2.1 LBP算子

LBP算子的主要思想是通過判斷圖像圓形鄰域中周圍像素和中心像素的灰度值的大小關系,從而將灰度圖像轉換為由二進制碼組成的特征向量.只要外在因素不改變像素灰度差值的符號,那么由LBP表達的特征就是魯棒的.在一個圓形像素鄰域中,中心像素的LBP特征值可以通過公式(1)來計算得到.

(1)

其中gt和gc分別代表半徑為R的像素鄰域中中心像素和P個周圍像素的灰度值,s是閾值函數(shù),定義如下:

(2)

通過統(tǒng)計整個圖像像素的LBP特征值,可以獲得直方圖特征.最終的分類結果可以通過計算直方圖特征之間的相似度來確定.

2.2 SRC算法

假設由訓練圖像組成的字典A={A1,A2,…,Ak},其中Ai={vi,1,vi,2,…,vi,ni}∈Rm×ni,對于一個屬于i類的測試圖像y∈Rm,它可以由同樣來自i類的訓練圖像通過線性組合來表示:

y=ai,1vi,1+ai,2vi,2+…+ai,nivi,ni

(3)

因為字典A包含了所有類別的圖像,所以公式(3)可以改寫為:

y=Ax0∈Rm

(4)

在理想情況下,測試圖像y可以只是類別為i的訓練圖像通過線性組合來表示,即在系數(shù)向量x0中,除了與類別i相關的系數(shù)不為0外,其余的所有系數(shù)都為0:x0={0,…,0,ai,1,ai,2,…,ai,ni,0…,0}T.求取公式(4)的最稀疏的解等價于求解下方的優(yōu)化問題:

(5)

然而求解0范數(shù)的最小化問題是一個NP困難問題,當x0足夠稀疏時,0范數(shù)的最小化問題可以等價于1范數(shù)的最小化問題[20]:

(6)

最終,分類結果可以通過對殘差進行排序來確定:

(7)

indentity(y)=arg miniri(y)

(8)

其中,δi是一個可以挑選出與第i類相關系數(shù)的函數(shù).

3 Huffman-LBP 算子

為了保持像素灰度變化時鄰域像素之間相互關系的不變性,LBP 在編碼過程中只考慮了像素灰度差值的符號(+或者-),而忽略了對像素間對比度的衡量,造成了部分重要紋理信息的丟失.在本文中,我們利用Huffman編碼來衡量像素鄰域中的對比度信息,提出了一種叫做Huffman-LBP的特征提取方法.

Huffman編碼根據(jù)每個源符號的出現(xiàn)頻率(權重)來獲得最終的編碼結果,頻率越大的符號將會由少位的編碼來表達.換句話說,在一顆Huffman樹中,越靠近根節(jié)點的葉子節(jié)點的頻率越大,相反,離根節(jié)點越遠的葉子結點的頻率越小,并且每個葉子結點最終得到的Huffman編碼的碼長和該葉子結點到根結點的距離之間具有一致性.受此啟發(fā),我們將像素鄰域中每個灰度對比度的絕對值(|gt-gc|(t=0,1,…,P-1))視為葉子結點的頻率(權重),從而構建出Huffman樹,可以得到每個葉子節(jié)點(對比度)的二進制編碼序列:

(cl1,cl2,…,cln)=Huffman_coding{|gt-gc||t∈index+}

(9)

(ck1,ck2,…,ckm)=Huffman_coding{|gt-gc||t∈index-}

(10)

其中:

index+={t|gt-gc≥0}={l1,l2,…ln}

index-={t|gt-gc<0}={k1,k2,…km}

(11)

根據(jù)編碼長度,我們能夠衡量出每個對比度值的權重關系:

(12)

(13)

其中,length(c)表示Huffman編碼c的長度.最終,中心像素的Huffman-LBP的特征值可以通過公式(14)來計算得到.

(14)

其中,round(x)表示對x進行四舍五入取整,s+和s-為閾值函數(shù),定義如下:

(15)

圖2 Huffman-LBP特征值的計算過程Fig.2 Process of Hffman-LBP value

最終,通過統(tǒng)計圖像中所有像素的Huffman-LBP特征,我們能夠得到可以用于分類的直方圖特征.然而,特征維度過大是一個需要解決的問題,從Huffman-LBP的計算過程可以發(fā)現(xiàn),當P=8時,Huffman-LBP的最大取值為128,最小取值為0.又由于Huffman-LBP由正負域的兩層編碼組成,所以它的維度為:129*2=258,還要大于LBP編碼的256維.維數(shù)過大將不僅會導致直方圖稀疏,還會增加運算時間,因此必須采取一定的降維措施.Ojala[21]等人通過統(tǒng)計LBP模式中的“0”和“1”之間的跳變次數(shù),提出了LBP的等價模式(Uniform Pattern).這個創(chuàng)新的核心思想是:在現(xiàn)實的圖像中,絕大多數(shù)的LBP序列中的“0”和“1”之間的跳變次數(shù)是小于等于2的,所以可以將每個跳變次數(shù)小于等于2的LBP序列稱作一個等價模式類,將不是等價模式類的其他所有LBP序列歸為一類,這樣,LBP的模式數(shù)就從256降低為了58.在本文中,我們借鑒LBP等價模式的思想.通過對大量圖像的統(tǒng)計,我們發(fā)現(xiàn)Huffman-LBP的大量(約90%)取值都集中在54種模式上,如果將這54種模式之外的其它小概率的取值歸為另外一種模式,這樣,Huffman-LBP的維數(shù)就被大大降低了((54+1)×2=110 維).

4 分而治之策略

為了使所提方法對姿態(tài)變化的人臉識別是魯棒的,我們從MECE原則[22]中得到啟發(fā):分別在人臉表達和分類器的設計中引入了分而治之的策略,將姿態(tài)變化問題分解為了若干的子問題.再通過對各個子問題的一一攻破,從而最終解決多姿態(tài)人臉識別這一大難題.

4.1 通過區(qū)域選擇因子(RSF)進行分而治之的人臉表達

當姿態(tài)偏轉角度過大時,由于自我遮擋,2D人臉圖像上往往會存在一些不可見的區(qū)域.同時,3D旋轉又會引起圖像的扭曲和變形,因此可見的人臉區(qū)域也并非一定是對識別有益的.因為有效的圖像區(qū)域在人臉中的位置會隨著姿態(tài)偏轉的方向和角度的變化而不斷發(fā)生變化,所以我們應該對不同偏轉狀態(tài)的人臉圖像采取不同的表達策略.

在本文中,我們使用區(qū)域選擇因子(RSF)來將不同姿態(tài)的人臉圖像劃分為幾個類別,并同時判斷出圖像中對識別有益的人臉區(qū)域.具體來說,我們首先通過連接鼻尖和眉心將整張人臉圖像劃分為左右兩個人臉區(qū)域.接著,通過雙眼周圍的標定點坐標,我們可以定位出雙眼中心的位置:

(16)

其中,xeyes_center和yeyes_center分別代表待求取的眼睛中心的x和y的坐標,xeye_contours和yeye_contours分別是由眼睛輪廓上標定點的x和y的坐標組成的集合:

xeye_contours={x1,x2…xn},yeye_contours={y1,y2…yn},n 為眼睛輪廓上標定點的個數(shù).接著,我們就可以計算出右眼中心到右鬢的距離L1以及左眼中心到左鬢的距離L2.最后,區(qū)域選擇因子(RSF)可以通過公式(17)來確定.

(17)

閾值α的選擇對于人臉圖像的劃分是至關重要的,它嚴重影響著最終的識別結果.為了找到α的最優(yōu)設置,我們在FERET人臉數(shù)據(jù)庫上進行了實驗(實驗的設置與本文5.2參數(shù)討論部分的實驗設置一致),如圖3所示,當α的取值為2.9時,識別率達到了最高的96.83%.因為人臉圖像中的幾何結構之間的比例具有一般性,所以在本文中α的取值被固定為2.9不變.

圖3 α的取值和識別率的關系Fig.3 Relationship between the value of α and recognition rate

考慮到姿態(tài)變化容易引起全局特征發(fā)生不可預測的變化,所以我們采取局部patch的方式來表達人臉.具體來說,我們首先提取以RSF選擇的人臉區(qū)域中每個標定點為中心的固定尺寸的patch,為了保留空間信息,每個patch又被再次切割成互不重疊的block.最終,人臉圖像將會由所有patch的Huffman-LBP直方圖特征級聯(lián)成的特征池來表達:右偏人臉:{Vj,j=1,2,…,25},左偏人臉{Vj,j=18,19,…,42}和正面人臉{Vj,j=1,2,…,42}.其中Vj=[h1;h2;…;hk].如圖4所示,j表示人臉中對應于標定點的patch標號.hm表示標號為j的patch中第m個block的Huffman-LBP直方圖特征向量,k表示每個patch中block的數(shù)量.分而治之的人臉表達的整個過程如圖5所示.

圖4 人臉區(qū)域中標定點的標號Fig.4 Labels of landmark in the face region

4.2 基于patch的SRC分類策略(Patch-based SRC)

在分類器的設計上,我們依然借鑒了分治的思想,使用基于patch的SRC分類策略來對姿態(tài)變化的人臉樣本進行分類:我們將人臉圖像看做是patch的集合,每個patch 使用SRC進行獨立的分類,測試圖像的類別是根據(jù)所有patch分類的融合結果來決定的.這樣將會大大緩解“損壞的patch”給分類結果帶來的不利影響.

圖5 通過區(qū)域選擇因子進行分而治之的人臉表達Fig.5 Divide-and-rule face representation via region selection factor

具體來說,我們將所有訓練圖像上相同特征點位置的patch的直方圖特征向量組成獨立的子字典：Dm,Dm+1…,Dn,訓練圖像上patch的數(shù)量為n-m,Di=[v1,i,v2,i,…,vp,i],vj,i代表第j類圖像上第i個patch的直方圖特征向量,圖像的類別個數(shù)為p.每個測試樣本通過分而治之的表達后形成特征池:{vs,vs+1,…,vz},其中{s,s+1,…,z}是通過RSF被提取的z-s個patch相對于標定點的標號.通過SRC對每個patch進行單獨分類,得到殘差向量:

(18)

(19)

其中,max(m,s)≤i≤min(n,z),j=1,…,p,函數(shù)δj的功能是挑選出和第j類樣本相關的稀疏系數(shù).最后,將所有的patch經(jīng)過分類后所得到的殘差向量進行疊加并排序,得到最終的識別結果:

(20)

5 實驗分析

為了驗證所提算法應用于姿態(tài)變化下人臉識別的效果,本文分別在FERET人臉庫和CMU PIE人臉庫上進行了實驗.此部分由實驗設置、參數(shù)討論、算法貢獻評估以及性能對比四部分組成.

5.1 實驗設置

FERET數(shù)據(jù)庫[23]和CMU PIE數(shù)據(jù)庫[24]是人臉識別性能評估中運用最為廣泛的兩個數(shù)據(jù)庫.FERET數(shù)據(jù)庫中包含了14000張灰度圖像,根據(jù)不同的測試目的,這些圖像又被劃分成了多個子集.其中,FERET的姿態(tài)子集包含了200個不同的個體.如圖6所示,每一個體擁有9張不同姿態(tài)的人臉圖像(ba(0°),bb(+60°),bc(+40°),bd(+25°),be(+15°),bf(-15°),bg(-25°),bh(-40°)和bi(-60°)).CMU PIE數(shù)據(jù)庫中包含了來自68個不同個體的41368張人臉圖像,每一個體擁有13種不同姿態(tài),43種不同光照條件和4種不同表情的人臉圖像.如圖6所示,在CMU PIE姿態(tài)子集中有7種嚴格控制在水平方向上的人臉姿態(tài):C02,C37,C05,C27,C29,C11 和C14.

圖6 FERET數(shù)據(jù)庫(上方)和CMU PIE數(shù)據(jù)庫(下方)中不同姿態(tài)的人臉圖像Fig.6 Face images with different poses from the FERET database(top)and CMU PIE database(bottom)

在本文中,我們分別挑選了FERET姿態(tài)子集中的7種姿態(tài)(正面:ba,非正面:bc,bd,be,bf,bg 和 bh)和CMU PIE 姿態(tài)子集中的5種姿態(tài)(正面:C27,非正面:C11,C29,C05和C37)的圖像進行實驗,且這些圖像均被劃分成為了個體數(shù)量相同的兩個部分.其中一部分被用來討論算法參數(shù),另外一部分被用來測試算法的識別性能.

5.2 參數(shù)討論

由于識別的準確性可能會受到參數(shù)選擇的影響,所以我們在進行算法性能測試之前首先對各個參數(shù)(patch的大小(Patch_Size),patch中block的數(shù)量(Block_Number)以及Huffman-LBP的半徑(R))進行了討論.為了使評估更加客觀和準確,整個參數(shù)討論過程都是在測試圖像姿態(tài)未知的情況下進行的.具體來說,對于FERET數(shù)據(jù)庫,我們以ba子集中的正面人臉圖像作為訓練圖像,以bc,bd,be,bf,bg和bh這 6個子集中的非正面圖像作為測試圖像;類似的,對于CMU PIE數(shù)據(jù)庫,我們以C27子集中的正面人臉圖像作為訓練圖像,以C11,C29,C05 和 C37 這4個子集中的非正面圖作為測試圖像.識別率的高低將會作為參數(shù)選擇的依據(jù).各個參數(shù)在不同數(shù)據(jù)庫上的最終取值情況如表1所示.

表1 各個參數(shù)在不同數(shù)據(jù)庫上的最終取值Table 1 Value of each parameter on different database

5.3 算法改進對識別率的貢獻

為了評估所提的三個創(chuàng)新點對識別性能的貢獻,我們分別設置了四種不同的方法組合進行對比:

1)FP+LBP+SRC;

2)FP+LBP+RSF+SRC;

3)FP+Huffman-LBP+RSF+SRC;

4)FP+Huffman-LBP+RSF+Patch-based SRC.

其中,FP是指人臉預處理(Face Preprocessing,FP).該部分的實驗以FERET數(shù)據(jù)庫的ba子集中的正面人臉圖像為訓練集,分別以bc,bd,be,bf,bg 和bh子集中的偏轉人臉圖像作為測試集.

表2 四種不同方法組合在FERET數(shù)據(jù)庫上的平均識別率Table 2 Average recognition rates of different variants of our method on FERET Database.

圖7 四種不同方法組合在FERET數(shù)據(jù)庫上的識別率Fig.7 Recognition rates of four different methods on the FERET database

5.4 識別性能對比

5.4.1 FERET數(shù)據(jù)庫上的對比實驗

在此部分,我們以FERET數(shù)據(jù)庫中剩余的100個人的正面人臉圖像(ba)作為訓練集,分別以六種非正面的人臉圖像(bc,bd,be,bf,bg和bh)作為測試集,測試本文所提算法在姿態(tài)變化下的識別性能.識別結果分別與幾種先進的多姿態(tài)人臉識別方法(偏最小二乘法(Partial Least Squares,PLS)[25],嶺回歸與Gabor相結合的方法(Ridge Regression with Gabor features,RRG)[26],相鄰判別多重耦合的子空間(Adjacent Discriminant Multiple Coupled Subspace,ADMCLS)[27],基于形變位移場的3D方法(Morphable Displacement Field,MDF)[28],基于堆棧流的方法(Stack Flow)[29]以及堆疊漸進式自動編碼器(Stacked Progressive Auto-Encoders,SPAE)[5])進行了對比,實驗結果如表3所示.

表3 FERET數(shù)據(jù)庫上所提算法與現(xiàn)有方法的對比結果Table 3 Performance comparison with existing methods on the FERET database

從表3中可以看出,在大多數(shù)的情況下本文所提算法的識別性能都要優(yōu)于其他幾種對比方法.特別是,當姿態(tài)偏轉在25°范圍內(nèi)時,我們的方法的識別率達到了100%.雖然當姿態(tài)變化角度為+40°時,所提算法的識別率要略低于基于MDF的3D方法,但是需要注意的是,MDF利用了在實際應用中較難獲取的3D信息.

5.4.2 CMU PIE數(shù)據(jù)庫上的對比實驗

和FERET數(shù)據(jù)庫上的實驗類似,我們以CMU PIE數(shù)據(jù)庫剩余的34個人的C27子集中的正面人臉圖像作為訓練集,分別以C37,C05,C29 以及 C11子集中的非正面人臉圖像作為測試集,測試了所提算法的識別性能.實驗結果分別與基于馬爾科夫隨機場(Markov random fields,MRFs)[4]的方法、基于概率學習的視圖合成方法(the View Synthesis method based on Probabilistic Learning,VS-PL)[30],局部線性回歸(Locally Linear Regression,LLR)[2],三點立體匹配距離(the three-point Stereo Matching Distance,3ptSMD)[31],偏最小二乘法(Partial Least Squares,PLS)[25],正交概率回歸(Orthogonal Procrustes Regression,OPR)[3]以及特征光場(Eigen Light-Field,ELF)[32]進行了比較,表4展示了最終的對比結果.

從實驗數(shù)據(jù)可以看出,與ELF,LLR和VS-PL相比,我們的方法在各種姿態(tài)變化角度下均實現(xiàn)了較為穩(wěn)定的完美識別性能.同時也可以看出OPR和PLS同樣也實現(xiàn)了與我們的方法相同的識別精度(100%).然而需要注意的是,PLS需要預先獲知測試圖像的姿態(tài)信息,這就意味著當姿勢信息不可知時,PLS將變得不可用.對于OPR來說,姿態(tài)校正在其識別過程中是必需的,然而我們的方法并不需要進行姿態(tài)校正.

6 結束語

本文提出了一種基于分治策略的Huffman-LBP多姿態(tài)人臉識別方法.在人臉表達階段,我們首先通過區(qū)域選擇因子(RSF)執(zhí)行“分”操作,將不同姿態(tài)的圖像劃分成了幾種類型.接著在所選擇的臉部區(qū)域提取以標定點為中心的patch,并利用Huffman-LBP對每個patch提取特征.最后,Patch-based SRC被用于對人臉圖像進行分類,產(chǎn)生最終的識別結果.由于人臉表達和分類均是在對姿態(tài)變化較為不敏感的patch上進行的,所以我們的方法對姿態(tài)變化是魯棒的.在兩個數(shù)據(jù)庫(CMU PIIE和FERET)上的實驗結果表明,本文的方法在大多數(shù)情況下要優(yōu)于其他對比方法,并且具有普適性.在未來的工作中,我們將會進一步拓展我們的方法,使其應用于基于視頻的人臉識別中去.