基于眼定位的人臉圖像歸一化方法

趙全友 張淑軍

（湖南科技學院 計算機與通信工程系，湖南 永州 425100）

基于眼定位的人臉圖像歸一化方法

趙全友 張淑軍

（湖南科技學院 計算機與通信工程系，湖南 永州 425100）

人臉圖像的歸一化對于人臉識別系統是一個承上啟下的步驟。本文提出了一種基于眼定位的人臉圖像歸一化方法。首先在人臉區域采用形態方法定位眼睛中心點；然后以雙眼中心點為基準的進行旋轉校正，保證了人臉方向的一致性；其次根據人臉各部分比例關系切割出人臉矩形區域，對切割后人臉矩形區域進行圖像縮放，保證人臉位置和大小的一致性，實現了幾何歸一化;最后采用光照歸一化方法，消除不均勻光照及亮度不一致，達到光線歸一化。該方法應用在識別系統中效果良好。

人臉歸一化；眼定位；光照歸一化

0 引言

人臉識別技術廣泛應用于身份識別、監控系統及自動門禁系統等方面，另外還有越來越多的領域也得益于人臉識別技術，如人機接口、電子商務等。相關研究在近些年中有了很大進展。在進行了人臉檢測后，人臉識別的下一步就是要從人臉圖像中提取純人臉圖像，并進行歸一化。歸一化后的人臉圖像需要消除人臉的大小、角度、光照等影響[1～3]，然后進一步特征提取實現人臉識別。

歸一化的主要作用有兩方面，其一，通常系統獲取的原始圖像不是完美的，例如由于噪聲、光照等原因，圖像的質量不高，所以需要進行歸一化，以有利于提取大家感興趣的信息。這種情況下，要根據系統的不足或環境的影響，例如，光照方面的影響，采取有針對性的措施。其二，是獲取的圖像信息不符合后續操作的具體要求，這時也同樣需要對圖像按照一定的要求進行歸一化，例如，尺寸、角度方面的要求。總之，歸一化是一個承上啟下的過程，需要全面考慮整個系統的性能。

在實際應用的人臉識別系統中，歸一化是一個非常重要的過程，其首要工作是面部特征點的定位以及人臉圖像的分割。另外，由于提取的特征在本質上依賴于圖像灰度在空間上的分布，故還特別需要對人臉圖像進行一系列的處理,以達到位置校準、光線歸一化的目的。歸一化過程的理想輸出是純人臉區域,使其具有統一的大小、形狀和歸一化的亮度值，并且去除光線和光照強度的影響。

本文給出了一個基于眼定位的人臉圖像歸一化方法，具體方法如圖1所示。首先在人臉檢測后，在人臉區域采用形態方法定位眼睛中心點。然后以雙眼中心點為基準的進行旋轉校正，無需二次定位特征點，保證了人臉方向的一致性。其次根據人臉各部分比例關系切割出人臉矩形區域，然后對切割后人臉矩形區域進行圖像縮放，在縮放時采用效果較好、速度較快的雙線形插值方法，人臉位置和大小的一致性，實現了幾何歸一化。最后對比了各種的光照歸一化方法，采用Tan提出的光照歸一化方法，消除不均勻光照及亮度不一致，達到光線歸一化。

圖1 人臉圖像歸一化處理流程

1 形態濾波眼定位

數學形態學是由一組形態學的代數運算子組成的，主要有膨脹(Dilation)和腐蝕(Erosion)及建立在這兩種運算基礎之上的開(Open)、閉(Close)運算，它們在二值圖像和灰度圖像中各有特點。這里討論灰度形態學，設f (x ,y)是輸入圖像函數， b( i ,j)是結構元素，則有灰度膨脹函數：

灰度腐蝕函數：

灰度膨脹運算是在由結構元素確定的區域中選取f+ b的最大值，可用于暗細節的消除，亮區域邊緣的增強。腐蝕運算是在由結構元素確定的區域中選取 f- b的最小值。輸出圖像表現為：邊緣部位較亮細節的灰度值會降低，較亮區域邊緣會收縮。

開運算(Open)定義為:

閉運算(Close)定義為:

開運算是先腐蝕運算后進行膨脹運算，能減弱局部小塊亮區域。閉運算則先膨脹運算后進行腐蝕運算，能填補局部小塊暗區域。

而眼睛區域既包含眼白這樣的小塊亮區域（峰值部分），又包含瞳孔這樣的小塊暗區域（谷值部分）。為了有效地提取眼睛的完整區域信息。給出眼睛濾波函數如下：

其中 (,)h x y為一低通平滑濾波器，本文選擇為7×7的平滑模版；而

其中RM(x, y) -Open( RM(x, y))能增強圖中的峰值部分；RM(x, y ) -Close( RM(x, y))則增強了圖中的谷值部分； Rt( x, y)是兩者和，能同時增強峰值和谷值部分。 G( x, y)是 Rt( x, y)模糊后結果。

這樣的處理能有效地突出眼部信息，減弱眼鏡、頭發的干擾，同時對眼睛的開閉不敏感。為了取出有效的眼睛區域，需要進行二值化。自適應二值化閾值設置為：

用thr對眼睛濾波圖 (,)G x y進行二值化，得到二值化的眼睛候選區 (,)M x y。

然后用 M( x, y)去 RM(x, y)中取出左右候選眼，然后對左右眼進行相關性評價。設有的 N個候選眼，則需要進行次匹配(N×(N-1))/2，運算量將較大。為了減少搜索空間，加入以下先驗知識進行約束：眼睛在臉部上方，且眼睛下方一定距離為平坦的臉頰；兩眼中心距離范圍一定，超過圖片寬度2/3的不是眼睛對，小于圖片寬度1/3的不是眼睛對。設兩個候選區域中心距離為 l,則分別在多尺度自商圖RM(x, y)中以兩候選眼為中心取出0.4l×0.8l兩候選眼睛窗區域，并計算這兩個候選眼睛窗的相關系數。給出的相關系數計算方法為：

其中 Lal和 Lar分別為左右候選眼區域的灰度值， Ml和Mr分別為左右候選眼的平均灰度值。

對所有候選眼睛對進行運用式計算相關性，其相關系數最高的眼睛對為最終確定的眼睛對。最后的左右眼睛區域的重心坐標就是最后定位的左右眼中心點坐標，分別為（Lx, Ly）、(Rx,Ry)。

2 旋轉歸一化

人臉的正面圖像往往也存在一定角度的傾斜，雖然傾斜得角度不大，但是微弱得變化也會產生一定程度的影響。如果人臉圖像中兩只眼睛不在同一水平線上，則要對圖像進行旋轉變換，使兩眼變換到同一水平線上，保證人臉位置的一致性，以便接下來進行圖像分割。根據人臉的生理學知識，絕大多數人臉滿足如下假設，即沒有旋轉的人臉正面圖像上兩眼是位于同一水平線上的。所以求出兩眼與水平線的夾角θ，按這個角度進行反向旋轉，就可以得到矯正后的圖片。人臉旋轉歸一化如圖2所示。

圖2 人臉旋轉示意圖

假設人臉圖像經面部特征檢測后得到左右眼中心點坐標分別為（Lx, Ly）、（Rx, Ry），則圖像上任意點（x, y）繞其雙眼中心中心（xcenter, ycenter)逆時針旋轉θ角度后，新的坐標位置（x′,y′）的計算公式為：

通過以上公式很容易將傾斜的人臉圖像旋轉到豎直狀態。而且旋轉后的左右眼中心點也很容易通過式（13）和（14）得到。這樣無需進行二次特征定位，提高了處理速度。

3 大小歸一化

在定位眼睛坐標并且將兩眼的位置旋轉到同一高度之后，就要根據眼睛坐標的位置對圖像進行剪切，把人臉區域從背景圖像中分割出來，作為單獨的一幅圖像進行處理。這樣可以去除圖像背景的影響，而只對人臉區域即有表情的區域進行分析、計算。

在對人臉圖像進行旋轉校正后，根據圖3所示的人臉各部分比例關系可切割出人臉表情矩形區域。設雙眼間距離為d，則純表情區域矩形高2.2d，寬1.8d，左右眼分別固定在（0.6d，0.4d）、（0.6d，1.4d）處。這樣可以有效的去除頭發，頸部的一些干擾，并且合理的分割出人臉表情區域，保證了人臉特征位置的一致性。

圖3 臉部特征比例關系

剪切后的圖像雖然長寬比例一致，但是大小不一，因此需要通過放縮變換將所有的圖像變換為大小一致的圖像，即尺度歸一化。尺度歸一化的思想是將尺寸各不相同的人臉圖像變換為統一的標準尺寸圖像以便于人臉特征的提取。本文選用了效果較好、速度較快的雙線形插值方法。具體算法如下：

1)尺寸的縮小：

其中，f′是變換后圖像的灰度值函數，f是原圖像的灰度值函數，l′和l，h′和h分別是變換前后圖像的寬度和高度。

2)尺寸的放大：

在尺寸放大的過程中會出現一些原始圖像中沒有的像素點，這是需要進行插值運算來計算出該點的像素值。為了能最好的消除放大時出現的馬賽克現象，我們采用雙線性插值的算法，首先將原始圖像中矩形頂點的灰度值復制到放大后的圖像矩形對應的頂點；然后對原始圖像中所有點的灰度值采用雙線性插值算法計算，實現尺寸歸一。假設點(x0,y0)和 (x1, y1)分別是矩形的兩個對角頂點，點(x,y)包含在該矩形中，且滿足 x ∈ (x0, x1),y ∈ (y0,y1),則求該點的灰度值f(x,y)的算法如下：

第一步：

第二步：

第三步：

根據以上旋轉、剪切、放縮變換，可以將人臉圖像變換為兩眼在一條水平線上，比例與大小都相同的標準圖像。

4 光照歸一化

人臉圖像經過幾何歸一化之后，雖然在幾何空間上達到了一致，但是圖像的灰度等級會因為拍照時光線的不同而分布在很寬的范圍內，而且同一種表情的圖像也會因為拍攝條件的不同而表現出很大的差別。為了消除光線的影響，人臉圖像在經過幾何預處理之后還要進行灰度預處理，以最大程度地消除光線的影響。常用的方法有：直方圖均衡化[4]、擬合平面法[5]、自商圖法[6]、Tan提出的算法[7]。

1）直方圖均衡化方法

圖像的灰度直方圖是一個關于圖像灰度值的離散函數，描述的是圖像中具有該灰度值的像素的個數，其橫坐標表示像素的灰度級別，縱坐標是該灰度級出現的頻率(像素的個數)。直方圖均衡化(Histogram Equalization)也稱灰度均衡，目的是通過點運算使輸入圖像轉換為在每一灰度級上都有相同的像素點數的輸出圖像(即輸出的直方圖是平的)。通過直方圖均衡化，把給定圖像的直方圖分布改變成均勻的直方圖分布，以增加圖像的對比度。對比度比較小的圖像，其灰度直方圖的分布集中在某一較小的范圍內，經過均衡化處理后，圖像所有灰度級出現的概率相同，此時圖像的嫡最大，圖像包含的信息量最大。灰度直方圖是圖像的重要統計特征，被認為是圖像灰度概率密度函數的近似。

該方法增加了圖像的對比度，但并沒有消除光照不均造成的影響。

2）基于平面擬合的圖像恢復方法

該方法基于平面擬合來估算出實際的光照強度分布,并根據圖像各點的反射系數不變這一特性來對圖像進行修正。設擬合的平面方程如下：

其中x , y為所在平面的坐標; P(x,y)為對應于點(x, y) 的光照強度值; A,B,C 為待定系數。

定義擬合平面P(x,y)與原圖I(x, y)的均方差為：

按均方差最小準則,令可解出參數A,B,C。于是光照糾正后圖像為：

該方法能消除光照不均造成的影響，但是不能保證圖像的亮度均值一致。

3）自商圖方法

自商圖像具有光照不變性，為這一問題提供了解決辦法。圖像 I(x,y) 的自商圖像 R(x,y)定義為

自商圖像也能消除不同方向的光照影響，相對于基于平面擬合的圖像恢復方法能消除更加復雜的光照不均現象。但同基于平面擬合的圖像恢復方法一樣，不能保證圖像的亮度均值一致。

4）Tan的方法

Tan等在文獻[7]中提出一種光照歸一化方法，該方法整合一系列步驟克服光照的變化，局部陰影以及高光現象，并同時保證視覺外觀基本不變。該方法包含以下步驟：

（1）伽瑪糾正。即用Iγ代替I，其0＜γ＜1，實驗中取γ=0.2。這樣能抑制高亮部分同時增強暗區域部分。

（2）DoG濾波。伽瑪糾正并不能消除陰影的影響，運用高斯差分濾波器作為帶通濾波器，抑制低頻光照變化和高頻噪聲。

（3）遮擋。運用蒙版去除人臉不相關區域，減少干擾。

（4）對比度正規化。首先利用兩步法實現正規化

其中a為壓縮因子，減少大值的影響；而τ為去除大值的閾值。實驗中取a=0.1，τ=10。

最后利用正切函數歸一化，I( x,y) ← τta n(I( x,y)/τ)，這樣I就轉換到（-τ，τ）范圍。

Tan的方法不僅能消除光照不均造成的影響，而且可減少高頻噪聲，同時也使對比度正規化了。圖5-4給出不同算法光照歸一化后的結果圖像，對比顯示Tan提出的方法非常有效，因此本文采用該方法進行光照歸一化。

圖4 不同光照歸一化效果對比

5 實驗結果

圖5給出了部分人臉圖像預處理過程實例。圖5 a)為人臉檢測后并進行眼睛特征定位后的圖像，圖5 b)為以雙眼中心點進行圖像旋轉歸一化后結果圖像，圖5 c)為進行人臉比例切割并縮放至統一大小后的結果圖像，圖5 d)為消除光照影響后的結果。經過一系列處理后的圖像具有統一的大小、形狀和歸一化的亮度值，并且去除光線和光照強度的影響。

圖5 部分圖像歸一化實例圖

6 結束語

人臉圖像的歸一化是一個承上啟下的過程，對于人臉識別系統是非常關鍵的。本文給出了一個基于眼定位的人臉圖像歸一化方法。首先在人臉區域采用形態方法定位眼睛中心點；然后以雙眼中心點為基準的進行旋轉校正，保證了人臉方向的一致性；其次根據人臉各部分比例關系切割出人臉矩形區域，對切割后人臉矩形區域進行圖像縮放，保證人臉位置和大小的一致性，實現了幾何歸一化;最后采用Tan提出的光照歸一化方法，消除不均勻光照及亮度不一致，達到光線歸一化。本方法應用在作者研究的人臉表情識別系統中,效果良好。

[1]琚生根,周激流,何坤,夏欣,王剛.頻域光照歸一化的人臉識別[J].電子科技大學學報,2009,38(6):1021-1025.

[2]劃敬,劉衍聰.局部歸一化的人臉光照處理方法[J].鄭兩天學學報(理學版),2008,40(3):98-101.

[3]章柏幸,蘇光大.人臉成像特性研究及人臉歸一化的目標[J].光電子 激光,2003,14(4):406-410.

[4]Zimmerman, John B. et al. An evaluation of the effectiveness of adaptive histogram equalization for contrast enhancement[J]. IEEE Trans on Medical Imaging, 1988, 7(4):304-312.

[5]白高峰. 一種基于平面擬合的圖像恢復方法[J]. 計算機應用, 2004, 24(11):126-127.

[6]王海濤,劉俊,王陽生. 自商圖像[J]. 計算機工程, 2005, 31 (18):179-179.

[7]X.Tan and B.Triggs. Enhanced Local Texture Feature Sets for Face Recognition under Difficult Lighting Conditions[A].In:Proceddings of the 2007 IEEE International Workshop on Analysis and Modeling of Faces and Gestures (AMFG'07) [C], LNCS 4778, pp.168-182, 2007.

（責任編校：何俊華）

TP391

A

1673-2219（2010）12-0073-05

2010－09－15

趙全友(1980－)，男，湖南永州人，博士，主要研究方向為圖像處理、模式識別、智能計算。