基于非局部二值模式算子的人眼定位

摘要：在人臉識別中，人臉特征定位尤其是人眼的定位是一個很重要以及很有挑戰性的任務。在我們提出的非局部二值模式NLBP（Non-Local Binary Pattern）算子以及基于這個算子的人臉特征定位方法的基礎上，我們進一步設計了新的能夠對人眼進行精確定位的方法。提出定位方法在標準的人臉數據集上取得了很好的效果，在困難人臉圖像上同樣顯示了很好的魯棒性。

關鍵詞：人臉識別；非局部二值算子NLBP；人臉特征定位

中圖分類號：TP18文獻標識碼：A 文章編號：1009-3044(2008)07-10000-00

1 引言

自動人臉特征定位，即在給定的圖像中搜索部分或所有人臉特征（如眼、鼻、嘴）等的位置或者關鍵點等，是一個非常重要的技術。首先在人臉識別中[1]自動人臉特征定位技術能夠用來消除誤配準（mis alignment）[2]對人臉圖像帶來的影響。自動人臉特征定位技術還可以被用作一些人臉識別方法如“基于成分的人臉識別”（Component based face recognition）[3]等的預處理技術。最后，自動人臉特征定位技術還可以被用來預測人臉圖像中人臉的姿態。在我們之前的工作中，我們提出了非局部二值算子NLBP[4]，它能夠提高人臉識別的準確率和魯棒性。另外因為NLBP算子能夠增強和突出人臉的關鍵特征，我們還設計了基于NLBP的人臉特征區域定位方法，在實驗中取得了非常好的定位效果。在本文中，我們將進一步設計新的人眼精確定位方法。本文其余部分的安排如下，第二章介紹了局部二值算子LBP算子，改進的NLBP算子及其性質，第三章給出了提出的人眼定位方法，第四章是提出方法的實驗以及結果分析，第五章是結論以及未來工作。

2 基于NLBP的人臉特征區域定位方法

2.1 LBP算子

LBP算子最初是被用來作為紋理描述方法的[5]，該算子對圖像每個像素fc的8鄰域采樣，每個采樣點fp (p=0，1，…，7)與中心像素fc做灰度值二值化運算S(fp－fc)：

其中fc表示該中心像素的灰度值; fp表示采樣點的灰度值。然后，通過對每個采樣點賦予不同的權系數2p來計算中心像素點的LBP值：

2.2 NLBP算子

在提出的NLBP（Non-Local Binary Pattern）算子中，像素級別的比較算子（1）被新的雙極比較算子[6]取代以實現任意大小的任意間隔的區域之間的比較。Dipole雙極比較算子的定義如所示：

其中 是高斯函數的尺度，因此它控制著兩個對比區域的空間尺度。Xp和Xc分別是兩個待比較區域的中心，f(X) 是圖像I在像素點X處的灰度值，而R代表了兩個區域中心點的距離。通過引入雙極比較算子，新的NLBP算子的定義可以表示如下：

其中Xc是中心區域的中心點。Xp (p=0，1，…，7)是與Xc距離R的8個待比較區域的中心點。

2.3基于NLBP算子的人臉特征區域定位方法

在我們之前的工作中[4]，我們研究了不同參數下NLBP對人臉關鍵特征的增強和突出效果。如圖1所示：

從圖中可以看出，大尺度的NLBP參數（如（16，8）以及（16，2））能夠提供關于人臉特征粗糙區域的有效信息。在[4]中我們使用大尺度的NLPP參數，設計了有效的人臉特征區域定位方法。從圖1也可以看出，小尺度的NLBP參數（如（4，2））保留了一定的特征輪廓信息并且提供了人眼精確位置的信息，但是也存在很多非相關區域帶來的噪聲。在下一章中我們將結合使用大小尺度的NLBP算子來設計新的人眼精確定位的方法。

3 基于NLBP算子的人眼精確定位

根據2.3節中的分析，如果要進行精確的人眼定位，我們可以先用大尺度的NLBP算子來粗略地定位出人眼所在的區域，然后利用小尺度NLBP算子計算NLBP人臉圖像，最后把對人眼的搜索集中在得到的粗糙區域中，這樣可以擺脫小尺度NLBP人臉圖像中大部分非相關區域噪聲的影響并且可以得到人眼所在的精確位置。

為了進一步去除小尺度NLBP人臉圖像中的非相關區域噪聲，我們采用了圖像腐蝕（erosion）和膨脹(dilation)算子。在腐蝕（erosion）和膨脹(dilation)算子中，結構元素（Structuring Element）的形狀被設置被正方形，其邊長w可以被設置成需要的數值（w=1時等效于不進行任何腐蝕和膨脹操作，w越大去除的噪聲點越多，但是大的w值也可能把人眼區域去掉）。采用腐蝕膨脹算子后的NLBP人臉圖像如圖2所示，可以看出處理后的人臉圖像中保留了人眼（眼球）區域的像素點/塊，去除了大部分非相關區域的噪音，通過簡單劃分區域和Y軸，X軸灰度值投影即可實現人眼的定位。

圖2采用腐蝕和膨脹算子處理后的人臉圖像。第二/三張圖是分別采用邊長為2/3的正方形結構元素進行處理的

結果

本文提出的人眼定位方法可以用圖3表示。我們的方法首先在圖像上使用NLBP（16，2）算子，利用得到的NLBP臉來確定人眼的兩個粗糙正方形區域，然后計算小尺度（4，2）的NLBP臉，對其使用大尺寸的結構元素邊長（如w=3）進行腐蝕和膨脹。根據得到的圖像以及兩個區域，進行人眼的精確搜索。如果兩只眼睛都檢測到了其位置，則結束定位算法，如果發生了一個或者兩個眼睛坐標的丟失，則自動降低w的值重新進行腐蝕和膨脹和人眼搜索，直到w降低為1（也就是不進行腐蝕和膨脹操作）。

4 實驗部分

為了驗證新提出的人眼定位方法的性能，我們在FRGC標準人臉數據集上進行了實驗，實驗結果如圖4（a）所示。從圖中可以看出在大部分人臉圖像上，提出的算法都準確地定位出了人眼的坐標，顯示出了算法的可靠性能。我們也在處理過的FRGC人臉數據（添加了遮擋塊或者進行了旋轉）以及部分Yale（戴眼鏡的人臉圖像）和GTAV數據（有輕微姿態變化的人臉圖像）上進行了實驗。實驗結果如圖4（b）所示，同樣顯示了提出的人眼定位算法的魯棒性。另外，值得注意的是，在實驗過程中，所有的定位過程都得到了很快的執行。

5 結束語

在本文中，我們根據之前提出的NLBP人臉區域定位方法，進一步設計了新的快速以及精確人眼定位方法。提出的方法在實驗中表現出很好的準確性，可靠性和快速性。在未來的工作當中，我們將研究如何把由這個方法得到的人眼坐標運用到人臉識別問題當中，如把人眼坐標用于人臉圖像的配準問題，或者人臉的姿態識別問題當中。

參考文獻：

[1] 袁燕. 人臉識別研究綜述[J]. 電腦知識與技術，2007，9. 1414-1421.

[2] 山世光.人臉識別中的“誤配準災難”問題研究[J]. 計算機學報， 2005.

[3] B. Heisele， P. Ho， J. Wu， and T. Poggio. Face Recognition: Component-Based versus Global Approaches. Compter Vision and Image Understanding， 2003， 91: 6-21.

[4] Yu Wang， Chengde Lin. Non-Local Binary Pattern for Robust Face Recognition and Facial feature localization. Paper submitted to Pattern Recognition Letters (in review)， 2008.

[5] Ojala， T.， Pietik¨ainen， M.， Harwood， D.A comparative study of texture measures with classification based on feature distributions[J]. Pattern Recognition， 1996，29: 51–59.

[6] Benjamin J. Balas， Pawan Sinha. Region-Based Representations for Face Recognition[J]. ACM Transactions on Applied Perception 2006， 3(4): 354-375.

“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文”