基于LBP和幾何混合特征的人臉識別

蘇日娜，劉玉婷，王堃妍，于 娜，王存睿，段曉東

(大連民族大學 a.計算機科學與工程學院；b.大連市民族文化數字技術重點實驗室, 遼寧 大連 116605)

人臉識別技術是生物特征識別領域中重要研究課題之一，Kirby和Turk等人提出的主成分分析(Principal Components Analysis，PCA)方法通過線性變換找到在最小均方意義下最能代表原始人臉圖像的正交基，使得圖像數據從高維空間壓縮到低維空間，不僅得到了原始數據的緊致表達，而且大大降低了計算復雜度[1-2]。Bartlett等人提出的獨立成分分析(Independent Component Correlation Algorithm，ICA)方法是基于所有階統計意義下的去相關，它的計算復雜度要高于PCA，且在識別率上沒有優勢[3]。相對于全局特征來說，基于局部特征的人臉表達對于光照、姿態的變化不敏感[4]。1997年，Wiskott等人提出的彈性圖匹配(EBGM)算法，他們用一組描述人臉局部特征的Gabor小波變換系數對人臉圖像各部分進行最佳匹配，但它對特征點的選擇和配準有較高要求，且計算復雜[5]。2004年，Ahonen等人提出基于圖像局部紋理特征(Local Binary Pattern，LBP)的人臉表達方法，在FErET人臉庫上得到了最好的識別結果[6-7]。2008年，Zhao等人提出的將LBP和Gabor相結合的算法在表情識別上取得了相對于其他算法較好的效果[8]。

人臉識別過程中，人臉不僅具有全局的幾何特征，同時很多局部的紋理特征也是人臉中的重要標識特征。因此，本文提出一種將全局幾何特征與局部LBP特征相結合的新人臉識別方法。其中幾何特征特征維度較小、對光照不敏感[9]。LBP特征主要具有光照不敏感、旋轉不變性和灰度不變性等顯著的優點，可以很好描述局部細節紋理特征[10]。

1 基于人臉幾何特征向量的人臉識別

ASM(Active Shape Model)是一種基于點分布模型(Point Distribution Model)的算法[11]，通過訓練圖像樣本獲取特征點分布的統計信息，并且獲取特征點允許存在的變化方向，實現在目標圖像上尋找對應的特征點的位置。其優勢在于可以準確定位出特征點位置，并受外部影響較少。

1.1 基于ASM的特征點定位

在一組圖像中識別某人，人們首先會識別該人的臉部特征。例如，如果需要找一個方臉的人，只需在該組內搜索所有方臉的人即可。即人類面部幾何特征可以縮小人臉識別范圍。因此本文采用ASM提供的特征點來構造人臉的幾何特征向量，縮小人臉的選取范圍后，計算幾何相似度并與LBP取得的相似度結合，從而識別人臉。

為了提高人臉識別的效率和魯棒性，首先對ASM提取的特征點進行篩選，去除一些對識別影響很大和貢獻很小的特征點，然后用剩下的特征點構造人臉的幾何特征向量。特征點的選取要求包括5個要求：以盡可能少的特征點保證足夠的信息來反映人臉識別中最重要的特征；所選的特征點構成的幾何特征應該盡可能簡單；對光照的依賴性小；對人臉的表情變化不太敏感；在不同人臉上變化幅度較大[12]。本文比較了數百張人臉表情圖片后，從ASM提取的特征點中選取適用于人臉識別的14個關鍵點，分別為兩只眼的左右眼角(p1,p2,p3,p4)、鼻尖(p5)、鼻子兩側(p6,p7)、兩側兩頰點(p8,p9)、下巴(p10)、無表情時與嘴平行的下巴兩側點(p11,p12)和左右眉毛各兩個關鍵點(p13,p14)如圖1。

圖1 人臉定位的特征點

圖中所示的14個特征點均可由ASM模型提取得到，選取p8至p12五個特征點，可以表示人臉部輪廓，p1-p7七個特征點，可以表示出眼部和鼻子長度，p13-p14可以表示兩個眉毛之間的長度。本文未對嘴部的特征點為進行選取，主要原因是考慮到人在有表情的時候，嘴部的動作幅度較大，對整個面部影響較大，故排除。只要將其特定的兩個特征點進行連線則可以表示一個臉部部位，并可以描述人臉特征如圖2。

圖2 人臉幾何特征描述

本文需要利用選取的特征點來構造具有尺寸、旋轉和位移不變性的比例特征向量。由于不同人的臉型有所不同，為保證結果更具有魯棒性，本文采用比例特征向量作為特征值，需要選取面部特征中最長的兩個點作為基準距離。本文選取p5與p13，p14中間點連線距離作為記作垂直基準距離L1，p8和p9之間的距離記作水平基準距離L2，共選取了8個比例特征分量見表1。

表1 比例特征分量

最后形成特征向量R={r1,r2,r3,r4,r5,r6,r7,r8}，由于特征分量在數量級上有較大的差別，因此我們需要先對特征分量進行數量級統一，即特征向量歸一化[13]。最后利用歸一化后的數據進行相似度計算。

1.2 幾何相似度計算

由于特征之間所占有的權重不相同，若是直接使用特征向量比較會對結果產生較大的影響，故需要對每一個特征分量進行權值確定。本文采用權值空間搜索方法進行權值確定，本文選取20個人，每個人三種不同的姿態進行訓練，并給每一個特征分量5個認為合理的權值，通過三個姿態確定相似度，取同人不同姿態時相似度最高的作為最終權值，每個特征分量權值記為β={β1,…,β8}。

本文采用公式1計算兩幅圖片的相似度θ：

(1)

式中：α表示該特征是否占有一定的作用，有則為1，反之為0。

(2)

2 基于LBP的人臉局部特征提取

本文采用LBP提取局部特征作為判別依據，并將人臉圖片進行分塊處理，每一塊形成一幅直方圖，將其連接，使用PCA進行數據降維，并使用向量相關性進行向量相似度計算。

LBP算子的主要思想是設中心像素的灰度值為閾值，以該像素點為中心點，r為圓半徑，包含像素點個數為p的圓形區域，依次比較其圓形鄰域內的像素點與閾值的大小，得到二進制碼用來更新中心位置的像素值，該像素值可以表述局部紋理特征[14]。三種LBP模式如圖3。

圖3 不同p和r值對應的LBP算子

對任意的LBP算子，可由公式(3)進行表示。其中ip為周圍像素的灰度值，ic為中心像素的灰度值，最終算出的值為該部分的紋理特征。

(3)

LBP具體過程描述如圖4。

圖4 LBP過程描述

本文為了提高識別準確率，將人臉圖片均設成大小為210×210像素的圖片，如果僅對整個圖像直接統計LBP直方圖，可能會因為維數太小而失去很多重要的信息，而且這樣也很容易忽視局部信息。所以為了更好地描述人臉，防止由于不同的人臉區域的LBP特征相互影響，將人臉分割成若干小塊，本文將圖片分為7×7塊，并將每塊圖形的LBP直方圖進行相連，為解決連接后直方圖過長，影響計算效率，本文采用擁有59種二進制的均勻模式LBP(uniform LBP)對圖像進行LBP編碼，可降低數據的冗余度、減少高頻噪聲帶來的影響并提高程序執行效率，后將各部分直方圖進行連接使用PCA對直方圖進行降維，形成描述人臉的特征向量，處理過程如圖5。

(a)人臉圖片分割 (b)LBP后的人臉圖片 (c)直方圖連接 (d)PCA降維后形成的直方圖

本文通過比較數據相關性，來比較兩幅圖片特征直方圖的相似度，設兩幅圖片對應LBP特征向量為f1={b1 1,…,bn1}，f2={b1 2,…,bn2}，采用公式(4)計算兩幅圖片相似度σ：

(4)

3 基于全局和局部特征的人臉識別方法

由于面部近似度相同的不在少數，紋理相同或相近的人也很多，單獨使用兩種方式都無法精準的找出一個人，故本文將這兩種方法合二為一，首先運用幾何特征對比相似度找出面部幾何特征相近的人，再通過LBP特征求出每張圖片相似度，通過二者的加權求和，求出最終相似度，從而找出相近的人。若是采用先LBP后幾何的方式，由于面部局部特征很難反應全局特征，且無法在數據庫中使用篩選范圍縮小后結果造成不精確，如尋找一個方臉的使用LBP算法篩選出來的卻是圓臉，降低了系統的效率也增加了較多的不可靠因素。

本文提出的將全局幾何特征與局部LBP特征相結合的人臉識別算法流程如圖6。

圖6 算法流程圖

Step 1：利用ASM標定被測人臉幾何特征點，構造一組幾何特征向量；

Step 2：遍歷數據庫圖片，計算被測人臉圖片與數據庫圖片的相似度，篩選出相似度大于閾值的圖片；

Step 3：提取Step2所篩選圖片LBP特征，使用PCA對特征向量進行降維；

Step 4：計算篩選后的每幅圖片與待測圖片的相似度；

Step 5：將通過ASM和LBP所提取圖像的相似度進行加權求和，計算最終相似度，輸出識別結果。

本文采用線性回歸方式確定二者權值，圖像數據庫為JAFFE表情數據庫[15]，采用悲傷圖片作為測試圖片，數據庫中的每一個人隨機選取10張圖片與該人測試圖片進行幾何和LBP相似度計算，LBP相似度結果為x={x1,…,xn}，幾何相似度結果為y={y1,…,yn}，歸一化處理后采用線性回歸的方式進行擬合，擬合后結果為

y=b·x+a。

(5)

式中：avg(x)表示幾何相似度的均值，avg(y)表示LBP相似度的均值。

(6)

擬合后公式為y=-1.246x+1.458，最后計算相似度公式為smaliar=0.686y+0.855x，之后將每一人的與數據庫中的照片進行比較，獲取前六個最大的smaliar作為備選，并采用投票的方式進行人物定位。本文采用CK+數據庫隨機選取150張圖片進行測試[16]，經實驗證明，本文的方式取得了較好的效果，綜合識別率見表2。

表2 CK+中的識別率

4 結 論

本文通過對LBP和ASM算法的分析與研究，在此基礎上提出LBP與ASM算法相結合的全新算法，并在具有代表性的人臉數據庫中進行實驗和測試，以對該算法的可行性及有效性進行驗證，同樣地，為了驗證本文算法的有效性，本文與傳統的單獨使用LBP特征或ASM特征的人臉表情識別方法進行了比較，實驗結果表明多特征信息融合能夠提高人臉識別的識別率，優于傳統的LBP特征，ASM特征人臉識別方法。

[1] KIRBY M, SIROVICH L. Application of the Karhunen- Loeve procedure for the characterization of human faces[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(1): 103-108.

[2] TURKM, PENTLANDA. Eigenfaces for recognition[J]. Journal of Cognitive Neuroscience, 1991, 3(1): 72-86.

[3] BARTLETT M S, LADES H M, SEJNOWSKI T J. Independent component representations for face recognition[J]. Pro-ceedings of SPIE, 1998, 3299(3): 528-539.

[4] 李云峰.基于Gabor小波變換的人臉識別[D]. 大連：大連理工大學，2005.

[5] 惲鴻峰.基于Gabor小波變換的人臉識別研究[D]. 長春：吉林大學，2005.

[6] AHONEN T, HADID A, PIETIKAINEN M. Face recognition with local binary patterns[C]//ECCV. 8th European Conference on Computer Vision. Prague:ECCV, 2004: 469-481.

[7] AHONEN T, HADID A, PIETIKAINEN M. Face description with local binary patterns: Application to face recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(12): 2037-2041.

[8] TANG H L, SUN Y F, YIN B C, et al. Face recognition based on Haar LBP histogram[J].ICACTE, 2010, 6:235-238.

[9] 吳巾一,周德龍.人臉識別方法綜述[J].計算機應用研究,2009(9):3205-3209.

[10] 王憲,張彥,慕鑫,等.基于改進的LBP人臉識別算法[J].光電工程.2012(7):109-114.

[11] 黃飛,譚守標.基于改進主動表觀模型算法的人臉特征定位[J].計算機工程與應用，2015(16):204-209.

[12] 劉曉亮.一種改進的核FISHER鑒別分析算法在人臉識別中的應用[D].廣東：廣東工業大學,2009.

[13] 肖漢光,蔡從中.特征向量的歸一化比較性研究[J].計算機工程能與應用， 2009(22):117-119.

[14] 牛麗平,付仲良,魏文利.人臉識別技術研究[J].電腦開發與應用，2006(5):8-10.

[15] MICHAEL J L, JULIEN B, SHIGERU A. Automatic classification of single facial images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1999, 21 (12): 1357-1362.

[16] Cohn-Kanade AU-Coded Expression Database[EB/OL]. (2017-03-16)[2017-03-20].http://www.pitt.edu/～emotion/ck-spread.htm.