眼部特征自動檢測定位方法

張 超，盧韶芳，周付根

（1.北京航空航天大學 宇航學院，北京100191；2.吉林大學 通信工程學院，長春130022）

0 引 言

在機器人立體視覺系統下的面部圖像配準中，很多是基于面部特征點進行配準，其中眼睛是人臉的重要器官，含有重要的特征信息，所以虹膜及眼角的準確定位具有重要意義。經過多年的發展，國內外對這方面做了大量的研究，馮建強［1］對面部的二值圖像采用積分投影的方法對虹膜定位，這種方法對圖像二值化的分割閾值要求較高，分割閾值的準確性對虹膜定位結果有很大的影響；Li［2］將AdaBoost和Harris算法相結合，但該方法沒有考慮眼皮對虹膜的遮擋，只能提取可見虹膜區域，降低了虹膜中心定位的精度；Zhang［3］和李亞利［4］采用拋物線型模板擬合上下眼皮，利用兩個拋物線的交點定位眼角，該方法所用參數較多，計算較為復雜。Hamouz［5］使用Gabor濾波器檢測眼睛的內外眼角和眼睛的中心位置，此方法對圖像中的紋理特征過于敏感，當圖像紋理細節過于復雜時檢測結果會受到一定的影響。

本文在現有研究的基礎上提出了一種眼部特征自動檢測定位新方法。首先利用AdaBoost算法在復雜背景下實現人臉檢測，然后根據人臉區域的方差積分投影提取眼睛區域，同時設計了可變形圓形模板，并對優化匹配函數進行改進，以此來確定虹膜中心及半徑，最后在此基礎上將設計的線形模板與Harris角點檢測算法相結合，對眼睛的內外眼角進行精確定位。實驗結果表明，本方法可以很好地對復雜背景下面部圖像中人眼的虹膜及內外眼角進行準確定位。同時與經典算法相比較，本文提出的虹膜檢測方法在檢測精度上有一定的提高。

1 眼部及眼睛區域提取

1.1 臉部區域提取

AdaBoost算法［6－7］是具有自適應的boosting算法，是對boosting的有效改進。算法的基本思想是將弱分類器疊加起來，構成一個具有很強分類能力的強分類器。

本文中將級聯結構人臉檢測分類器的每一級都采用AdaBoost算法進行訓練。通過AdaBoost算法將Haar－like特征生成的弱分類器疊加成為強分類器，使之具有很強的檢測能力。圖1是人臉面部檢測結果。

圖1 面部檢測Fig.1 Face detection

1.2 眼睛區域提取

原始圖像是彩色圖像，由于彩色圖像為三維數據，為了不丟失彩色信息，這里用HSI彩色模型中的I分量來代表灰度圖像。因為在圖像采集的過程中，外界環境及攝像機內部不可避免地會對圖像質量產生影響，例如，噪聲及光照不均會對特征的識別和定位產生一定的影響，所以必須在處理之前對圖像進行預處理。中值濾波是一種能有效抑制圖像噪聲的非線性信號處理技術，它對于干擾脈沖和點狀噪聲有良好的抑制作用，同時又能保護好圖像邊緣，所以本文采用3×3中值濾波器對采集到的圖像進行濾波。另外，用灰度均衡化來增強圖像的對比度，減少不均勻光照對圖像質量的影響。

在提取出面部區域后，根據面部特征的先驗知識，計算面部區域圖像中的豎直及水平方向的方差積分投影［8］，然后通過對積分投影函數值的分析來提取眼睛區域。

根據先驗知識，從圖2可以容易看出第一個谷點A1為眉毛中心區域，第二個谷點A2為眼睛中心區域。根據人臉器官的比例分布規律，眉毛與眼睛之間的距離大約為眼睛的高度，所以計算圖2中A2點的橫坐標A2x與A1點的橫坐標A1x之差可以估計眼睛的高度，即眼睛的高度為A2x－A1x，所以在第二個谷點位置，左右各加減（A2x－A1x）／2，最后得到眼睛區域，如圖3所示。

圖2 豎直方向方差積分投影曲線Fig.2 Vertical variance integral projection curve

圖3 眼睛區域Fig.3 Eye region

圖4 水平方向方差積分投影曲線Fig.4 Horizontal variance integral projection curve

從圖4可以明顯看出：左右兩邊各有兩個較低的凹谷，因為眼睛區域的灰度強度較低，所以這兩個凹谷區域就是眼睛所在區域。根據“三停五眼”的規律，其中“五眼”指面部正面橫向可以分為五等分，以一個眼長為一個單位，即從外眼角垂線至外耳孔垂線之間為一個眼的距離，兩眼之間的距離為一個眼的距離。這里兩個最低谷點位置A3和A4可以看作眼球的中心位置，根據“五眼”的規律，在圖4中這兩個最低點的橫坐標之差應為兩個眼睛的距離，所以可以算出一個眼睛的距離，即為（A4x－A3x）／2，把這兩個最低谷點的位置左右各加減半個眼睛距離，即左右各加減（A4x－A3x）／4，最后可以得到兩個眼睛的區域，如圖5所示。

圖5 雙眼區域提取結果Fig.5 Result of eyes region detection

2 虹膜檢測定位

對于虹膜區域的檢測，關鍵是確定虹膜的半徑及虹膜的中心位置，所以虹膜檢測定位方法分為3步，第一步是粗略地估計虹膜半徑的范圍；第二步是確定虹膜的真實期望半徑R；第三步是用半徑為R 的圓形模板定位虹膜的中心位置。

2.1 虹膜檢測定位方法

因為虹膜的上部和下部可能會被眼皮遮擋，所以本文用Sobel的垂直分量對邊緣進行檢測，檢測到的邊緣圖像為S（x，y）。

因為虹膜區域的灰度較低，并且是圓形的，所以本文設計了一個可變形的圓形模板和圓環模板，圓形和圓環模板設計形狀如圖6所示，圖中黑色區域表示像素為0，白色區域表示像素為1。

圖6 圓形和圓環模板Fig.6 Circular and ring template

把上面兩個模板在眼睛區域圖像上進行匹配，其主要是對灰度強度I（x，y）和邊緣強度S（x，y）進行匹配。通過計算優化匹配函數來確定虹膜位置。設計的優化匹配函數如下：

式中：A 為圓形模板中圓形區域；l為圓環模板的圓周；r為模板半徑；P1為圓形模板覆蓋下的灰度強度；P2為圓環模板覆蓋下的邊緣強度。

通過分析可知：當式（3）中W（r）達到最大值時的位置可以確定為虹膜位置。但由于實際虹膜大小不確定，所以模板的大小也就不能確定，另外，圖像中偽虹膜邊緣等的干擾使得匹配函數很容易陷入局部極值。為了解決這個問題，本文在此基礎上進行了改進，將圓形模板設計為可變形圓形模板，同時引入虹膜期望半徑R 和灰度強度與邊緣強度權值C1和C2。即只有當圓形模板的實際半徑r和期望半徑R 相同時，優化匹配函數達到最大值的位置可以認定為虹膜位置，所以改進后的加權優化匹配函數如下：

式中：C1和C2分別表示灰度強度和邊緣強度的權值，本文中C1和C2定義為：

式中：rmax為模板實際半徑最大值，本文中rmax可取為圖5中眼睛圖像高度的一半。

2.2 虹膜期望半徑范圍粗略估計

因為實際虹膜半徑的不確定性，同時也為了提高計算速度，縮小期望半徑的搜索范圍，需要預先估計期望半徑范圍。

圖7 眼睛區域豎直方向方差積分投影曲線Fig.7 Vertical variance integral projection curve of eye region

在提取出圖5中的眼睛區域后，用1.2節的方法計算眼睛區域豎直方向方差積分投影。左眼區域的豎直方向方差積分投影如圖7所示。從圖7中可以看到中間有一個明顯凹谷，由于虹膜區域的灰度強度較低，所以可以推斷出中間的凹谷就是虹膜所在區域。計算圖7中曲線兩測的拐點r1和r2的橫坐標r1x和r2x，虹膜估計半徑R′＝（r2x－r1x）／2，所以粗略估計虹膜期望半徑范圍為［R′－ε，R′＋ε］。用同樣的方法可以得到右眼虹膜的期望半徑范圍。

2.3 虹膜期望半徑R 的確定

虹膜期望半徑范圍確定后，令圓形模板半徑r從R′－ε到R′＋ε分別計算改進后的優化匹配函數W（r），本文令ε＝4。圖8分別是圖5中左眼、右眼改進后的優化匹配函數變化曲線。半徑r過大或過小都得不到正確結果，所以這里計算得到的W（r）值會隨著半徑r的變化上下波動。

從圖8可以看出：當半徑較小時，曲線不規則地上下波動，即半徑r小于期望半徑R，只有當半徑r達到期望半徑R 時W（r）才能達到一個波峰，并隨著半徑的繼續增大，即當r大于期望半徑R 時，W（r）持續遞減。所以，把曲線一直持遞減狀態的最大點對應的半徑認定為期望半徑R，從圖8可以得到左眼、右眼虹膜的期望半徑R，即為圖8中A5點和A6點的橫坐標。

圖8 改進后的優化匹配函數變化曲線Fig.8 Improved optimization matching function curve

2.4 虹膜中心位置定位方法

在上面計算得到的期望半徑R 的基礎上生成半徑為R 的圓形模板，用此模板在眼睛圖像上找到令W（R）達到最大值的點，并把此點作為虹膜的中心。檢測結果如圖9所示。

圖9 虹膜檢測結果Fig.9 Result of iris detection

3 眼角檢測定位

3.1 眼角方向檢測

在圖像經過預處理后，首先進行Sobel邊緣檢測，然后在邊緣圖像上檢測最左側和最右側的邊緣點，以此來估計眼角的大概粗略位置。以虹膜中心為圓心，眼角的粗略位置與虹膜中心的距離為半徑，規定以兩個眼睛虹膜中心連線為零度方向，上下各30°（共60°）畫圓弧FG。從上到下圓弧上每個點與虹膜中心連線L（k），其中k＝1，2，3，…，60，計算每條連線L（k）上的灰度強度均值D1（k），并畫出D1（k）曲線，如圖10所示，其中水平軸為角度方向，縱軸為D1（k）值。

根據眼睛的結構可知：虹膜中心到眼角的連線上經過白色虹膜區域是最多的，所以在眼角方向的連線上D1（k）值應是最大的，所以找到D1（k）最大值時的圓弧角度方向即為眼角所在方向。在圖10中A7點對應的圓弧角度就是眼角相對虹膜中心的角度方向，即弧FG 上的E 點，如圖11所示。

圖10 外眼角D1（k）曲線Fig.10 curve D1（k）of outer canthus

圖11 眼角方向檢測Fig.11 Direction detection of canthus

3.2 眼角位置檢測

眼角具有很強的角點特征，而Harris角點檢測算法［9］具有旋轉不變性，同時對圖像亮度和對比度的變化不敏感，所以本文利用Harris角點檢測算法對眼角檢測。其主要處理過程如下：

式中：Ix和Iy分別為x 向和y 向的梯度；G 為高斯模板；det為矩陣行列式；trace為矩陣的跡；D2為角點響應值，角點響應值越大表明該點越有可能是角點，所以通過計算某點的角點響應值D2的大小就可以確定該點是否為角點。

眼角相對虹膜中心的方向確定之后，就在這個方向下搜索眼角的具體位置。在圖11中連接OE 并延長，與虹膜邊界交于B 點。以B 為起點沿著射線BE 的方向，計算射線BE 上的每一點的Harris角點響應值D2，并畫出D2曲線如圖12所示。

圖12 射線BE 上每一點角點響應曲線Fig.12 Corner response curve of ray BE

因為眼角具有明顯的角點特征，在圖12中的曲線上，眼角處的Harris角點響應值應處于一個波峰，另外眼角距離B 點最遠，所以在圖12中取最后一個波峰為眼角所在位置，即A8點。實驗結果如圖13所示。

圖13 眼角檢測結果Fig.13 Result of canthus detection

4 實驗結果分析

本文選用IMM 人臉庫作為實驗數據。IMM人臉庫中共240幅面部圖像，包括40位不同人的面部圖像，其中33位為男性，7位為女性，圖像尺寸為640×480。本文對庫中的120 幅正面人臉圖像、40幅單側強光圖像和80 幅大角度偏轉面部圖像分別做了實驗。部分實驗結果如圖14所示，圖14（a）為正面人臉圖像檢測結果，圖14（b）為單側強光圖像檢測結果，圖14（c）為大角度偏轉面部圖像檢測結果。

圖14 部分實驗結果Fig.14 Part of experimental results

為了表明算法的準確率，本文采用文獻［10］提出的方法，該方法用檢測值與實際值之間的相對誤差來判斷檢測的準確率，即：

式中：derr為檢測特征點與實際特征點的歐式距離；f 為眼睛內外兩個眼角的實際距離；規定當err 小于10%時為正確檢測，否則為錯誤檢測。

統計了本文方法分別應用于正面人臉圖像、單側強光圖像和大角度偏轉面部圖像檢測的準確率，實驗結果如表1所示。

表1 實驗結果Table 1 Experimental results

表1表明，應用本文方法可以較準確地提取眼部特征點。其中，本文方法對正面人臉圖像、單側強光圖像及大角度偏轉面部圖像下的虹膜定位準確率較高，均保持在96%以上。針對眼角的檢測，本文方法對正面人臉圖像及單側強光圖像下的眼角檢測準確率較好，但對大角度偏轉圖像下的眼角定位準確率略低，其主要原因是在面部發生偏轉后，虹膜與眼角較近，之間的眼白區域較小，使得眼角方向定位錯誤，使D1（k）陷入局部偽極值所致。

針對正面人臉圖像的虹膜檢測，本文與Wildes［11］提出的邊緣檢測結合Hough變換的經典算法做了對比，本文方法的準確率為98.3%，Wildes方法的準確率為98.1%。Wildes方法應用Hough變換對虹膜檢測前需先進行邊緣檢測，而有些圖像在邊緣檢測時會受到睫毛等細節的影響，使得虹膜中心的定位不準；同時，有些圖像在進行邊緣檢測時還會受到虹膜內部光斑的影響，在用Hough變換檢測虹膜時，檢測結果局限在實際虹膜內部，使得檢測結果比實際虹膜要小，而本文方法在虹膜的整體區域上，利用可變形圓形模板的匹配函數來優化定位虹膜中心和計算虹膜半徑，避免了睫毛和光斑等局部細節的影響，使得檢測結果相比經典方法準確率較高。

5 結束語

針對面部圖像中人眼虹膜的檢測及眼角定位提出了一種自動檢測定位的新方法。在虹膜檢測上，將圓形模板設計為可變形圓形模板，為了提高檢測的準確率，將優化匹配函數進行加權改進，以此來確定虹膜中心及半徑。實驗結果表明，本方法不僅可以對正面人臉圖像進行檢測，同時克服了單側強光及面部大角度偏轉的不利因素，其檢測準確率均保持在96%以上，所以在虹膜檢測上本文方法具有很好的應用價值和前景。在眼角定位上，本文方法僅需要兩步。提出用線型模板來確定眼角相對虹膜中心的角度方向，然后在該方向下搜索眼角的最佳位置。實驗結果表明：本文方法對正面人臉圖像的眼角定位具有較高的準確率，對單側強光影響較小，但對大角度偏轉面部圖像的眼角定位準確率略有下降，因此有待于繼續研究，進一步提高對大角度偏轉面部圖像的魯棒性。

［1］馮建強，劉文波，于盛林.基于灰度積分投影的人眼定位［J］.計算機仿真，2005，22（4）：75－76.Feng Jian－qiang，Liu Wen－bo，Yu Sheng－lin.Eyes location based on gray－level integration projection［J］.Computer Simulation，2005，22（4）：75－76.

［2］Li Xue，He Li－qiang.The implementation of eye location using adaboost and harris algorithm［C］∥2010International Conference on Management Science and Engineering（MSE2010），Wuhan，China，2010：462－463.

［3］Zhang Bai－zhen Ruan Qiu－qi.Facial feature extraction using improved deformable templates［C］∥2006 8th International Conference on Signal Processing，Beijing，2006：4.

［4］李亞利，王生進，胡斌，等.基于改進型拋物線Hough變換的眼睛特征提取［J］.清華大學學報：自然科學版，2010，50（1）：100－103.Li Ya－li，Wang Sheng－jin，Hu Bin，et al.Eye feature extracti on based on modified parabolic Hough transforms［J］.Journal of Tsinghua University（Science and Technology），2010，50（1）：100－103.

［5］Hamouz M，Kittler J，Kamarainen J K，et al.Feature－based affine－invariant localization of faces［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（9）：1490－1495.

［6］Madhuranath H，Babu T R，Subrahmanya S V.Modified Adaboost method for efficient face detection［C］∥2012 12th International Conference on Hybrid Intelligent Systems（HIS），Pune，2012：415－420.

［7］史東承，鄭超.基于相位的人眼狀態檢測［J］.吉林大學學報：工學版，2013，43（增刊）：265－269.Shi Dong－cheng，Zheng Chao.Eye states detection algorithm based on phase information［J］.Journal of Jilin University of Technology（Engineering and Technology Edition），2013，43（Sup.）：265－269.

［8］夏海英，嚴國萍，王標.加權方差投影在眼角定位中的應用［J］.中國圖象圖形學報，2011，16（2）：273－277.Xia Hai－ying，Yan Guo－ping，Wang Biao.Weighted variance projection for eye corner location［J］.Journal of Image and Graphics，2011，16（2）：273－277.

［9］Das A，Ghoshal D.Human eye detection of color images based on morphological segmentation using modified harris comer detector［C］∥2012International Conference on Emerging Trends in Electrical Engineering and Energy Management （ICETEEEM），Chennai，2012：143－147.

［10］Jesorsky O，Kirchberg K J，Frishchholz R.Robust face detection using the Hausdorff distance［C］∥Proceedings of the Thrid Internation Conference on Audio and Video based Biometric Person Authentication，Halmstad，Sweden，2001：90－95.

［11］Wildes R P.Iris recognition：An emerging biometric technology［J］.Proceedings of the IEEE，1997，85（9）：1348－1363.