自適應閾值及加權局部二值模式的人臉識別

張潔玉 趙鴻萍 陳 曙

?

自適應閾值及加權局部二值模式的人臉識別

張潔玉*趙鴻萍 陳 曙

(中國藥科大學理學院 南京 211198)

針對局部二值模式(LBP)和中心對稱局部二值模式(CS-LBP)方法描述圖像紋理特征時，閾值不能自動選取并且圖像中不同子塊的貢獻也沒有進行區分的問題，該文提出一種自適應閾值及加權的局部二值模式方法。首先，將圖像進行分塊，采用設定的自適應閾值提取每個子塊的LBP或CS-LBP紋理直方圖；然后，將各子圖像的信息熵作為直方圖的加權依據，對每個子塊對應的直方圖進行自適應加權，并將所有子塊的直方圖連接成最終的紋理特征；最后，通過快速計算圖像均值加快了算法的計算速度。在人臉數據庫上進行的實驗證明，利用該文提出的方法提取紋理特征，并結合最近鄰分類法可以得到較高的正確識別率。

人臉識別；紋理特征；局部二值模式；自適應閾值；自適應加權

1 引言

圖像特征提取是圖像處理及計算機視覺等領域的一個重要研究內容，圖像配準、物體識別、目標跟蹤以及基于內容的圖像檢索等問題都可以通過特征的提取與匹配來實現[1]。常用的圖像特征有顏色特征、形狀特征及紋理特征，其中由于紋理特征簡單有效而倍受國內外學者的青睞。

目前紋理分析方法可以總結為4大類，即：統計法、結構法、模型法和空域/頻域聯合法，其中結構分析法的研究內容為如何描述紋理基元之間的內在相互關系和排列規則。在較早的結構分析法中，具有代表性的是由文獻[2]提出的通過描述中心像素和鄰域像素灰度差來描述紋理的方法[2]。文獻[3]提出了局部二值模式(Local Binary Pattern, LBP)紋理描述法[3]。該方法簡單高效，具有良好的旋轉不變性和灰度不變性，已經廣泛應用于目標檢測[4]、人臉識別[5,6]、紋理分類[7,8]、圖像匹配[9]、背景建模[10]、生物和醫學圖像分析等領域[11]。但在實際應用中，LBP方法難以適應不同粗糙度和尺度紋理的需要，近年來許多學者在具體應用中對LBP進行了不少相應的改進，其中較有代表性的是香港理工大學和清華大學共同針對LBP做了一系列深入的研究。例如，提出了基于方向統計的自適應局部二值模式，增加了圖像的空間結構信息[12]；提出了局部二值模式與方差相結合的紋理表示方法，將每個點的方差作為編碼值的權重，提高了紋理分類性能[13]。此外，文獻[14]在LBP的基礎上提出了局部三值模式(Local Ternary Patterns, LTP)[14], LTP通過0, 1和-1 3個值進行編碼，在均勻區域比LBP具有更強的判別能力。LTP特征已經在圖像匹配[15]、人臉識別[16]領域得到了較好的應用效果。

2 LBP與CS-LBP

2.1 LBP

其中

2.2 CS-LBP

3 W-LBPAT特征的構造

3.1 圖像分塊

原始LBP和CS-LBP模式都是一次性提取了整個圖像的紋理特征，沒有區別對待圖像中的不同子塊。但事實上，圖像中不同子塊包含的紋理細節是不同的。若有的子塊紋理細節較為豐富，應該將該子塊賦予較大的權重，而紋理細節較為稀少的子塊應賦予較小的權重，這樣最終得到的LBP或CS-LBP紋理特征才能最大程度地真實反映圖像紋理的變化情況。因此，在本文提出的W-LBPAT紋理模式中，首先將原始圖像劃分為若干小塊，然后求出每個子塊對應的LBP或CS-LBP統計直方圖特征，最后將它們串聯起來作為最終的紋理特征。

3.2 提取各子塊紋理特征

將圖像劃分為若干子塊之后，提取每個子塊的LBP或CS-LBP統計直方圖。提取時，涉及到兩方面的改進，即：自適應選取閾值和計算加權系數。

其中

3.2.2選取自適應加權系數 一般情況下，一幅圖像中不同子塊包含的信息量是不同的。紋理豐富的區域包含的信息量大，反之包含的信息量小。若不加區分地對待不同的區域，則會降低紋理特征的獨特性，影響識別率的提升。

3.3 生成W-LBPAT特征

圖1為采用W-LBPAT(CS-LBP)提取人臉圖像特征的效果圖，由于該算法的原理是利用自適應閾值判斷關于中心對稱的像素點灰度值的對比情況來描述紋理，因此可以得到非常清晰的圖像局部紋理的反差效果。

3.4 快速算法

本文提出的算法中，在提取W-LBPAT特征前，事先遍歷圖像中的每個像素點，計算出以每個像素點為中心的鄰域內所有像素的均值。而相鄰像素對應的鄰域之間包含大量的重疊部分(如圖2所示)，為了加快運算速度可以采取如下措施簡化計算過程。

其中，表示第列的, 和行的3個像素和；代表第列的,和行的3個像素和。按照此法，計算所有水平方向相鄰的兩個鄰域的均值時，后一個鄰域的均值都可用前一個鄰域的均值快速計算得到。同理，所有豎直方向相鄰的兩個鄰域，后一個鄰域的均值可用同樣的方法快速計算得到，如圖3所示。設以像素點和為中心的鄰域分別為和，鄰域的像素和為，則鄰域的像素和為式(12)所示。

圖2 水平相鄰像素鄰域示意圖 圖3 豎直相鄰像素鄰域示意圖

按照上述方法，遍歷整幅圖像中的所有像素點，可以快速求出所有像素點鄰域的均值，為后續提取W-LBPAT紋理特征做好準備。本文使用不加速W-LBPAT(CS-LBP)及加速W-LBPAT(CS-LBP)算法針對ORL人臉庫、YALE人臉庫和FERET人臉庫中大小分別為112×92(400幅)、100×100(165幅)和80×80(350幅)的人臉圖像進行了特征提取的時間測試，結果如表1所示。

表1 兩種算法提取人臉圖像特征的時間(s)

4 實驗與分析

4.1 自適應閾值T的選取

在改進算法中，自適應閾值的選取方法(見3.2.1節)為

ORL人臉庫包含40個人，每個人有10幅人臉圖像，共400幅，其中包括姿態、表情和面部飾物(如眼鏡)等變化。每幅圖像均為112×92的灰度圖像，圖4即為ORL人臉庫部分圖像。YALE人臉庫包括了15個人共165幅圖像，每個人有11幅圖像，其中的姿態和光照變化都是在嚴格控制的條件下采集的，每幅圖像均為100×100，圖5為YALE人臉庫的部分圖像。

FERET不僅包含通用的人臉庫還包含了通用的測試標準。該圖像庫包括ba,bj,be和bf等若干子庫，如圖6所示。它們都含有同樣的200個人的人臉圖像，其中ba含有每人1張正面人臉圖像，bj包含與ba中表情不同的每人1張圖像，be包含ba中每個人臉左轉15°的圖像，而bf中包含ba中每個人臉右轉15°的圖像。

本文結合最近鄰分類器進行人臉識別實驗，在ORL人臉庫中，對于每個人的10幅圖像隨機取5張作為訓練樣本，剩下的5張為測試樣本，則訓練樣本數和測試樣本數各為200。YALE人臉庫中，隨機取每個人的5幅圖像作為訓練樣本，剩下的6幅圖像作為測試樣本，訓練樣本數和測試樣本數分別為75和90。而在FERET人臉庫中，采用通用測試標準測試，即：利用子庫ba中的200張圖像作為訓練樣本，bj,be和bf 3個子庫作為測試樣本。

4.2 人臉識別實驗

為了檢驗W-LBPAT特征的有效性，本文將LBP, CS-LBP, LTP及W-LBPAT特征分別在ORL人臉庫、YALE人臉庫和FERET人臉庫上進行人臉識別實驗。其中，對于ORL人臉庫和YALE人臉庫通過隨機更換訓練樣本和測試樣本而各自分別進行3次識別實驗，最后取3次識別率的均值。而對于FERET人臉庫采用通用測試標準進行識別測試。

圖4 ORL人臉庫部分圖像

圖5 YALE人臉庫部分圖像

圖6 FERET人臉庫部分圖像

圖7 改進算法對應的識別率隨n值變化的曲線圖

各類算法均采用了分塊做法，即：先將圖像分成若干小塊，然后提取各子塊的LBP, CS-LBP或LTP特征，之后再將各個子特征進行串聯生成最終的紋理特征。在本文實驗中，首先將圖像分成了4×4 =16個子塊后再利用各算法進行人臉識別。每種算法對應的正確識別率見表2。

從表2可以得出以下結論：

(1)在各人臉庫中，識別率由低到高的順序基本可以歸納為：LBP, CS-LBP和LTP分塊一類算法，LBP, CS-LBP和LTP分塊并自適應加權一類算法，本文的W-LBPAT(CS-LBP), W-LBPAT(LBP)算法。通過各自比較每種特征相應的分塊算法、分塊并自適應加權算法以及本文算法，可以看出自適應加權策略對識別率的提升有一定的幫助。本文算法除了分塊并自適應加權外，還在提取特征時采用了自適應閾值的策略，致使識別率得到了進一步地提升。

(2)W-LBPAT(LBP)和W-LBPAT(CS-LBP)得到了最高的識別率，這是因為：(a)W-LBPAT算法是將圖像進行分塊后，計算了每個子塊的信息熵，并以此作為各個子塊的加權系數，然后提取每個子塊的特征后對各子塊進行加權串聯，形成了最終的W-LBPAT特征。(b)在提取每個子塊的CS-LBP或LBP紋理特征時，根據每個子塊的像素平均值自適應設定閾值，利用該閾值能夠依據圖像自身的情況提取真實的紋理特征，因此W-LBPAT得到了最高的正確識別率。

(3)在各種CS-LBP, LTP和LBP算法中，識別率由低到高的順序基本可以總結為：LBP一類算法、LTP一類算法和CS-LBP一類算法。這是因為：CS-LBP一類算法比以LBP為基礎的一類算法在梯度方向上能夠獲取更好的信息，而LTP一類算法是以LBP為基礎利用相同的提取原理得到了種類更多的紋理模式，因此使得LTP一類算法比LBP算法識別率更高，但是大多數情況其識別率要低于CS-LBP一類算法。

5 結束語

本文在LBP和CS-LBP算法的基礎上，提出了自適應閾值及加權的局部二值模式紋理特征提取算法。本文的工作主要包含3個方面：(1)不再提取整幅圖像的特征，而是將圖像分塊，提取每個子塊的特征后利用各個子塊的信息熵進行加權，再串聯成最終的特征；(2)提取每個子塊的LBP或CS-LBP特征時，根據子塊圖像自身的情況設定閾值，利用該閾值提取紋理特征；(3)采用快速計算圖像均值的方法，加快了本文提出算法的計算速度。在人臉數據庫上進行的實驗證明，本文提出的算法具有更高的正確識別率。

表2各種算法識別率比較

識別算法人臉庫 ORL(3次均值)YALE(3次均值)FERET(be子庫)FERET(bj子庫)FERET(bf子庫) 分塊LBP0.85830.73530.6150.6350.610 分塊CS-LBP0.94670.74180.6350.7400.740 分塊LTP0.91830.80090.6150.6500.620 分塊+自適應加權LBP0.87500.79410.6350.6500.615 分塊+自適應加權CS-LBP0.94330.78430.6650.7700.770 分塊+自適應加權LTP0.91670.81020.6150.6700.625 W-LBPAT(LBP)0.95000.83330.6900.7800.705 W-LBPAT(CS-LBP)0.96500.94910.7100.8450.800

[1] 張潔玉. 圖像局部不變特征提取與匹配及應用研究[D]. [博士論文], 南京理工大學, 2010.

[2] He D C and Wang L. Texture unit, texture spectrum, and texture analysis[J]., 1990, 28(4): 509-512.

[3] Ojala T, Pietikainen M, and Harwood D. A comparative study of texture measures with classification based on feature distributions[J]., 1996, 29(1): 51-59.

[4] 潘泓, 金立左, 夏思宇, 等. 基于多層次互補特征的通用目標檢測模型[J]. 電子與信息學報, 2012, 34(7): 1531-1537.

[5] 黃非非. 基于LBP的人臉識別研究[D]. [碩士論文] , 重慶大學, 2009.

[6] 徐杜功, 丁召, 劉橋. 基于稀疏表達和改進的LBP算子的人臉表情識別[J]. 計算機應用與軟件, 2013, 30(4): 246-248.

[7] 韓延彬, 尹鍵芹, 李金屏. 基于圖元旋轉不變性和相位統計信息的LBP算法在紋理分類中的研究[J]. 計算機學報, 2011, 34(3): 583-592.

[8] Ojala T, Pietikainen M, and Maenpaa T. Multi-resolution grayscale and rotation invariant texture classification with local binary patterns[J]., 2002, 24(7): 971-987.

[9] 鄭永斌, 黃新生, 豐松江. SIFT和旋轉不變LBP相結合的圖像匹配算法[J]. 計算機輔助設計與圖形學學報, 2010, 22(2): 286-292.

[10] 祖仲林, 李勃, 陳啟美. 基于CUDA的快速LBP紋理背景建模算法[J]. 武漢理工大學學報(交通科學與工程版), 2011, 35(1): 91-94.

[11] 陳廷寅, 張東, 楊艷, 等. 超聲圖像的LBP紋理特征提取[J].武漢大學學報(理學版), 2012, 58(5): 401-405.

[12] Guo Z H, Zhang L, Zhang D,.. Rotation invariant texture classification using adaptive LBP with directional statistical features[C]. Proceedings of the 17th IEEE International Conference on Image Processing, Hong Kong, China, 2010: 285-288.

[13] Guo Z H, Zhang L, and Zhang D. Rotation invariant texture classification using LBP variance (LBPV) with global matching[J]., 2010, 43(3): 706-719.

[14] Tan X and Triggs B. Enhanced Local Texture Feature Sets for Face Recognition under Difficult Lighting Conditions[M]. Berlin Heidelberg Springer, 2007: 168-182.

[15] 趙靈芝, 李偉生. 一種基于LTP特征的圖像匹配方法[J]. 計算機應用研究, 2009, 26(10): 3983-3985.

[16] 袁寶華, 王歡, 任明武. 融合LTP與Fisherfaces的分塊人臉識別[J]. 計算機工程, 2012, 38(10): 154-156.

[17] Heikkila M, Pietikainen M, and Schmid C. Description of interest regions with local binary patterns[J]., 2009, 42(3): 425-436.

[18] 盧建云, 何中市, 余磊. 基于多級CS-LBP特征融合的人臉識別方法[J]. 計算機工程與科學, 2010, 32(6): 48-51.

[19] 劉丹, 胡永健, 劉琲貝. 聯合SIFT特征點和CS-LBP特征描述子的復制粘貼篡改檢測[J]. 合肥工業大學學報(自然科學版), 2012, 35(3): 325-330.

[20] 劉毅, 黃兵, 孫懷江, 等. 結合CS-LBP紋理特征的快速圖割算法[J]. 計算機科學, 2013, 40(5): 300-302.

[21] 李勃, 郁健, 江登表, 等. 基于ST-CSLBP的混合時空背景建模算法[J]. 儀器儀表學報, 2011, 32(12): 2781-2786.

張潔玉： 女，1980年生，講師，研究方向為圖像處理及其在藥學領域的應用研究.

趙鴻萍： 女，1971年生，副教授，研究方向為藥學信息的獲取與數據挖掘.

陳 曙： 男，1965年生，教授，研究方向為信息技術和藥學信息學研究.

Face Recognition Based on Weighted Local BinaryPattern with Adaptive Threshold

Zhang Jie-yu Zhao Hong-ping Chen Shu

(,,211198,)

A new method called weighted Local Binary Pattern (LBP) with adaptive threshold is proposed in this paper to address the shortcomings of LBP and Center Symmetric Local Binary Pattern (CS-LBP), using unflexible threshold and non- discriminating respective sub-patches based on different textures. Firstly, the image is divided into several sub-images and LBP or CS-LBP texture histograms are extracted respectively from each sub-image based on the adaptive threshold. Then, the proposed algorithm adaptively weighted the LBP or CS-LBP histograms of sub-patches with information entropy as their basis and connected all histograms serially to create a final texture descriptor. Finally, the improved efficiency of the proposed algorithm is achieved by speeding up the computation of the average of an image. The experimental results by face databases show that a higher recognition accuracy can be obtained by employing the proposed method with nearest neighbor classification.

Face recognition; Texture features; Local Binary Pattern (LBP); Adaptive threshold; Adaptively weighted

TP391.41

A

1009-5896(2014)06-1327-07

10.3724/SP.J.1146.2013.01218

張潔玉 zhjy_xx@126.com

2013-08-13收到，2013-12-18改回

教育部直屬高校特色項目基金(O2600005)和中國藥科大學理學院青年教師科研資助課題