一種改進的基于人臉圖像的瞳孔精確檢測方法

姜太平,汪小帆,潘 祥,劉 恒

(安徽工業大學 計算機圖像處理研究所,安徽 馬鞍山 243000) E-mail:Wang_xiaofan427@163.com

1 引 言

在計算機視覺研究領域,通過提取人眼特征開展技術研究一直是該領域的主要研究方向之一.瞳孔檢測作為人眼檢測中一個重要的中間環節,在表情識別,人機交互,人工智能,眨眼檢測等領域有著重要的應用前景.T.Megaw等[1]通過提取瞳孔的參數特征來評估駕駛員的疲勞程度,避免交通事故的發生.文獻[2]中通過提取的瞳孔特征參數進行眼球空間建模和視線估計建模,實現效果更好的人機交互系統.此外,利用精確的瞳孔檢測提取的瞳孔直徑、位置、大小等檢測結果,可用于注意力監測,心理研究,醫學研究等方面的應用.Kaklauskas等[3]設計開發了一套通過提取分析學生的瞳孔特征來評估學生學習狀態的分析系統.本文的瞳孔檢測方法是通過圖像處理的手段將在正常光照條件下獲得的人臉圖像中的瞳孔精確檢測出來,包括瞳孔區域的分割和瞳孔輪廓的擬合.

瞳孔的檢測往往會受到人眼周邊如睫毛、眼瞼、眼鏡等信息的干擾,同時也受圖像噪聲、白光邊緣的影響,這給瞳孔的檢測精度帶來了一定的難度.Hansen等[4]通過人眼周邊紋理,顏色分布和相似性度量等特征構造人眼模型,提出一種基于人眼形狀、外觀和兩者混合的人眼瞳孔檢測技術.該方法人眼模型構造較為復雜,且花費大量的時間.王德朋等[5]提出了一種融合Hough變換和ASM定位瞳孔中心點的方法,顯著改善了人眼瞳孔特征點定位的準確性,但該方法只能對相對完整的瞳孔進行定位,在有遮擋的情況下準確性達不到要求.張勇忠等[6]提出了一種基于改進對稱變換的瞳孔定位方法,根據人臉的梯度信息,人眼瞳孔區域與人眼反光區域梯度方向不同的特征,改進對稱變換算法,完成瞳孔的定位.該方法簡單,但準確性較低.研究表明,盡管現有的瞳孔檢測方法取得了卓有成效的研究成果,但是對瞳孔檢測的精度和效率的需求仍迫切需要解決.

充分考慮算法的復雜度,檢測精度,遮擋等因素,本文將在人眼定位的基礎上,提出一種結合瞳孔分割和輪廓匹配的瞳孔精確檢測方法,主要是在瞳孔分割的基礎上完成瞳孔的輪廓匹配,避免了在以往算法中存在的一些盲目搜索,實驗結果證明了方法的有效性和可行性.

2 結合瞳孔分割與輪廓匹配的瞳孔精確檢測方法

通過對已有人眼檢測以及瞳孔檢測方法的研究分析,本文提出一種改進的基于人臉圖像結合瞳孔分割與輪廓匹配的瞳孔精確檢測方法,方法具體流程如圖1所示.

圖1 方法流程框圖Fig.1 Flow diagram of the algorithm

首先,提取人眼圖像.通過對大量人眼檢測算法的研究分析,本文對人臉圖像采用了基于AdaBoost的人臉檢測算法,對獲得的人臉圖像利用水平積分投影和區域特征的算法快速定位人眼區域,然后利用區域投影的方法實現了人眼定位[8].

其次,瞳孔的分割.對獲得的人眼圖像采用行掃描線法定位瞳孔的中心,然后采用改進的星射線法完成瞳孔邊緣輪廓的提取,進而實現了瞳孔的分割,也為下一步瞳孔輪廓的匹配縮小范圍.

再次,瞳孔邊緣的橢圓擬合.考慮到人眼存在開度較小的情況,本文采用橢圓擬合來實現瞳孔特征的提取.瞳孔擬合樣本點的選取對瞳孔擬合的精度至關重要,本文通過改進的樣本點選取方案來提高瞳孔擬合的效率.

最后,根據橢圓擬合率的評價方法選出最優橢圓.本文將邊段樣本點的擬合率作為衡量橢圓擬合程度的指標,提高了橢圓擬合的精確性.

2.1 提取人眼圖像

2.1.1 人臉檢測

本文采用了Adaboost算法實現了人臉的檢測.Adaboost算法是一種基于弱分類器的迭代算法,其核心思想是針對同一個訓練集訓練不同的分類器,即弱分類器,然后把這些弱分類器集合起來構造一個更強的最終分類器.文獻[9]中深入分析了基于Haar-Like小波特征和AdaBoost算法構造強分類器的人臉檢測算法.Adaboost算法能夠實現人臉的快速定位,整個過程包括:圖像預處理,載入分類器,人臉檢測.如圖2所示,為由原始人臉圖像檢測出人臉的效果圖.

2.1.2 人眼定位

根據圖2所示的定位好的人臉圖像,首先進行圖像的預處理,根據人臉的面部特征縮小定位范圍,然后進行圖像增強和圖像水平灰度投影,進一步縮小人眼的范圍.本文采用的人眼定位方法綜合了邊緣檢測,膨脹處理及區域連通性分析算法.

1)邊緣檢測

本文采用Sobel算子對圖像進行邊緣處理.Sobel算子根據像素點上下、左右鄰點灰度加權差,在邊緣處達到極值這一現象檢測邊緣.對噪聲具有平滑作用,提供較為精確的邊緣方向信息.

2)膨脹處理

對一幅二值圖像的膨脹結果是用結構元素在圖像上移動,只要結構元素中有一個點與圖像中的點是重疊的就可以了.本文首先對邊緣檢測后的圖像進行閾值分割,然后再進行采用圓形結構元素的膨脹處理來恢復目標區域的大小.

3)區域連通性分析

本文采用區域增長法的區域連通性分析.區域增長法是一種遞歸式的區域增長算法,該算法采用了一個下推堆棧來實現區域增長,下推堆棧可以臨時保存區中有關像素的目標.經過連通性分析后,可以得到若干個子區域,通過設定區域像素點個數來篩選出眼睛區域.由此實現在人臉基礎上的人眼定位,如圖3所示.

圖2 人臉檢測效果Fig.2 Effectoffacedetection圖3 提取的人眼圖像Fig.3 Extractionofhumaneyeimage

2.2 瞳孔分割

2.2.1 瞳孔中心的定位

在上文獲得了簡單的人眼圖像,為準確提取出瞳孔的特征參數,需進一步縮小檢測的范圍.雖然瞳孔圖像中的灰度信息豐富,但灰度級相對明顯.文獻[11]中直接計算圖像灰度,灰度最小值點作為瞳孔內的任意一點,以灰度最小值作為閾值對圖像進行分割.本文利用瞳孔的幾何特性進行瞳孔的定位,由于瞳孔的灰度值最小而且其均值很小,所以在灰度直方圖中該區域像素點非常集中,這樣就很容易選定瞳孔與非瞳孔區域之間的閾值,根據此閾值遍歷圖像,粗略求取瞳孔的中心坐標.當瞳孔區域內像素數小于5時,則默認當前瞳孔圖像中無瞳孔信息.

具體的實現方法如下:

首先需要進行圖像的預處理,包括歸一化處理和平滑處理.歸一化處理能夠將待處理的圖像轉換成相同形式的標準圖像,平滑處理能消除無關的噪聲像素點.然后建立人眼區域圖像的灰度直方圖.如圖4所示,由灰度直方圖可以看出,圖中有三個波峰,分別代表眼睛的三個區域,其中灰度均值最小的一類就是瞳孔區域,適當的在第一,二波峰間選取灰度值作為閾值,就可以將瞳孔從采集的人眼圖像中區分出來[10].然后根據此閾值每隔5個像素單位掃描圖像,檢測灰度值低于閾值點的像素點,并記錄.滿足閾值條件的像素點有多個,設定低于閾值灰度的像素點為(xi,yi),1≤i≤n,瞳孔的圓心為(x0,y0),則

(1)

圖4 人眼圖像的灰度直方圖Fig.4 Gray histogram of human eye image

根據瞳孔中心的坐標,向四周取尺寸為20*20大小的圖像,將瞳孔圖像切割出來,作為下一步瞳孔輪廓匹配的基礎.圖5為該人臉圖像瞳孔切割后的效果.

圖5 分割后的瞳孔圖像Fig.5 Segmentationofthepupilimage圖6 星射線法示意圖Fig.6 Illustrationofstarraymethod

2.2.2 瞳孔邊緣點的提取

為提高瞳孔輪廓匹配的精確度,提取瞳孔邊緣點的步驟至關重要.許多文獻在提高邊緣檢測的準確性上進行了算法研究.文獻[11]中使用Laplacian邊緣檢測算子檢測瞳孔區域,然后根據圓的對稱性計算邊緣的圓心和半徑.本文根據定位的瞳孔中心(x0,y0),從中心點進行邊界的跟蹤,采用改進的星射線法找到瞳孔的邊緣.傳統的星射線法是以中心點為起始點,每隔5度向四周發散射線,對每條射線經過的像素,搜索出具有最大梯度值的像素作為瞳孔的邊緣點.由于受眼瞼和睫毛的影響,如文獻[12]提到當遮擋程度超過一定的瞳孔面積時,瞳孔檢測結果就會失去準確性,同時考慮到人在閉眼時上眼瞼覆蓋的面積比下眼瞼多,因此射線的角度區域限制在[-70°,60°]和[120°,250°]內,分別為圖6中的α和β角范圍內.本文方法可以處理更大遮擋條件下的瞳孔圖像.

2.3 瞳孔邊緣的橢圓擬合

2.3.1 最小二乘法的橢圓擬合原理

由于人眼的瞳孔近似為圓形,所以人們最早使用Hough圓變換來擬合瞳孔輪廓.文獻[13]中采用圓變換算法,但是標準Hough圓變換基于三維參數空間,且受到噪聲邊緣、睫毛邊緣、眼瞼邊緣的影響,檢測結果并不準確,且其計算量非常的大.基于最小二乘法的橢圓擬合是在隨機誤差為正態分布時由最大似然法推出的一個最優估計方案,它可使橢圓擬合時誤差的平方和最小,且在有噪聲的影響下仍然能擬合出橢圓來.最小二乘橢圓擬合算法基本原理如下[13]:

橢圓擬合的算法公式:

F(x,y)=Ax2+Bxy+Cy2+Dx+Ey+F=0,B2-4AC<0

(2)

其中A,B,C,D,E,F是橢圓參數表達式的系數,(x,y)是橢圓上的點.

當邊緣點個數足夠時(至少6個點唯一確定一個橢圓)即可得到橢圓參數,通過橢圓擬合可以得到A、B、C、D、E及F的值.根據擬合的橢圓公式可以得到如下瞳孔參數:

瞳孔中心坐標:

(3)

長短軸坐標:

(4)

(5)

長短軸比:

(6)

本文采用最小二乘橢圓擬合算法對瞳孔邊界上的邊緣點計算,具體過程如下:

設E為瞳孔分割后的實際邊緣,首先隨機選取瞳孔邊緣上的6個邊緣點(離散數據中至少6個點才能得到一個橢圓),然后進行橢圓擬合,得到多個擬合的橢圓邊緣,使用非線性最小二乘法找到與實際邊緣的歐氏距離最小的擬合橢圓邊緣.

算法如下:

實際邊緣到橢圓中心的歐式距離表示為:

(7)

擬合橢圓邊緣到橢圓中心的歐式距離表示為:

(8)

擬合橢圓邊緣到實際邊緣的歐式距離表示為:

(9)

取所有實際邊緣到擬合橢圓邊緣距離平方和小的橢圓作為最小二乘意義下的最優擬合

(10)

式中:

(11)

(12)

2.3.2 最小二乘橢圓擬合的改進

最小二乘橢圓擬合算法提取瞳孔參數的方法使得瞳孔邊緣上的所有樣本點都參與了運算,因此會對橢圓擬合的最后結果產生偏差且耗時較長.在文獻[14]中提出了橢圓擬合算法是基于代數距離提取瞳孔參數,不是基于幾何距離,因此在擬合含有噪聲的數據時,如果樣本點距離較近,擬合出來的最終橢圓和真實的橢圓誤差較大,擬合過程及結果就不具有意義,浪費了時間和效率.

EaEb圖7 橢圓擬合樣本點的選取Fig.7 Selectionofsamplepointstoellipsefitting圖8 瞳孔擬合結果Fig.8 Resultofpupilfitting

圖9 人臉圖像瞳孔擬合結果Fig.9 Result of Face image pupil fitting

圖10 瞳孔參數Fig.10 Pupil parameters

最終,該人臉圖像的瞳孔擬合結果如圖9所示,瞳孔參數如圖10所示.

2.4 評價方法

由于采用最小二乘法橢圓擬合完成的瞳孔輪廓匹配沒有考慮實際的擬合程度,因此僅能得到具有最小誤差的橢圓.為了使獲得的橢圓參數與實際的瞳孔參數更為吻合,本文設計了衡量所得橢圓擬合程度—擬合率的評價標準對所得橢圓進行快速篩選評估獲得最優橢圓.具體的過程如下:

首先從處理分割后的瞳孔圖像出發,由于本文分割的瞳孔邊緣點為滿足同心條件的雙弧段,因此通過ADM(Absolute Difference Mask,絕對差分模板)算子[17]檢測瞳孔圖像邊緣,它能夠產生準確的邊點集合,然后采用8-聯通方向鏈碼邊界跟蹤方法提取邊界[15].由于本文改進的最小二乘橢圓擬合方法存在對瞳孔區域的限制條件,故可以得到兩個邊段的混合集.通過計算邊段組合上的邊點落在擬合橢圓上的數量與邊段數量的比率來作為橢圓是否在圖像中合理存在的依據.比率越高的橢圓即擬合程度越高,將該依據作為選取擬合橢圓的一項指標可以大大降低擬合的誤差.

3 實驗分析

為了驗證本文改進方法的有效性,實驗采用在Microsoft Visual Stdio 2010的環境下,應用Windows 7.0 操作系統,同時借助OpenCV開源庫.從人臉數據庫中選取人臉圖像(圖像大小均為800*600)作為實驗數據,利用文獻[8]中的方法(方法1)、文獻[13]中的方法(方法2)與本文方法(方法3)對同樣的圖像做對比測試,完成人臉圖像的瞳孔提取實驗.

圖11 原始圖像Fig.11 Source image

本文給出了該3種方法對兩幅不同瞳孔姿態的人臉圖像的右眼瞳孔擬合結果,以此來比較3種方法的擬合率.

圖12 對圖像a的瞳孔提取實驗結果Fig.12 Experimental result of pupil extraction from image a

實驗證明,本文改進后的方法可以準確地實現瞳孔的分割與橢圓擬合.對正常瞳孔的正面人臉圖像進行擬合的效果如圖12中所示,和方法1,2比較,采用方法3定位更加準確,處理得到的最優擬合橢圓與瞳孔邊界幾乎吻合.圖13為非正常瞳孔姿態下的人臉圖像的擬合效果圖,和方法1,2相比較,方法3可以減小遮擋情況下的誤差,在瞳孔不完整的情況下仍然擬合出較為精確的瞳孔邊界.

圖13 對圖像b的瞳孔提取實驗結果Fig.13 Experimental result of pupil extraction from image b

觀察表1中各項結果值,方法3的擬合率達到94%左右,明顯高于傳統的方法.雖然方法2的擬合率與方法3相近,但是方法3簡化了橢圓擬合樣本點的選取過程,大大縮短了瞳孔擬合時間.此外,當人眼瞳孔受到眼鏡干擾時,方法3在準確擬合出瞳孔輪廓的基礎上,擬合時間基本穩定.

表1 三種方法擬合率的比較
Table 1 Comparison of three methods′s fitting rate

方 法擬合率(%)運行時間(ms)圖a圖b圖a圖b方法189.3383.55398417方法293.5590.53142181方法394.1293.678285

為驗證本文方法對人臉圖像提取瞳孔特征的普遍有效性,本文從人臉數據庫中采集200幅人臉圖像用于實驗.實驗結果表明該方法可以實現瞳孔的精確檢測,擬合率達到92%以上,運行時間較少.此外在受到睫毛,眼瞼、眼鏡等信息的干擾時,保證擬合率的同時,運行時間基本不會受到影響,具有良好的魯棒性.

4 結束語

在人臉圖像研究領域,本文基于現有方法進行分析改進,提出一種結合瞳孔分割和輪廓匹配的單張人臉圖像瞳孔精確檢測方法.在定位人眼的基礎上,首先采用改進的星射線法完成瞳孔的分割,然后在瞳孔擬合過程中改進了常規最小二乘擬合方法,簡化該方法中選取最優橢圓的過程,在準確度提高的同時,縮短了運行時間,最后在完成瞳孔擬合步驟之后設計了擬合率評價標準,減少了瞳孔的誤檢率.本方法在單張人臉圖像上可直接分割瞳孔并完成瞳孔輪廓的擬合,具有檢測精度高和檢測速度快的優點,對后續的基于視頻的人臉瞳孔的識別具有重要的意義.

[1] Megaw T,Sen T.Visual fatigue and saccadic eye movement parameters[C].Human Factors and Ergonomics Society Meeting,1983:728-732.

[2] Wu Yan-fan.The human-computer interaction system based on eye tracking[D].Changchun:Gilin University,2014.

[3] Kaklauskas A,Vlasenko A,Raudonis V,et al.Student progress assessment with the help of an intelligent pupil analysis system[J].Engineering Applications of Artificial Intelligence,2015,26(1):35-50.

[4] Hansen D W,Ji Q.In the eye of the beholder:a survey of models for eyes and gaze[J].IEEE Transactions on Software Engineering,2010,32(3):478-500.

[5] Wang De-peng,Lou Zhen.A method combining hough transformation with ASM to locate pupil landmarks[J].Computer System & Applications,2016,25(3):182-186.

[6] Zhang Yong-zhong,Lin Fu,Sun Ling-ming,et al.Pupil precise location method based on symmetry transform[J].Journal of Jilin University,2009,27(3):268-272.

[7] Mahadeo N K,Paplinski A P,Ray S.Model-based pupil and iris localization[C].International Joint Conference on Neural Networks,2012:1-7.

[8] Li Hong-xia.The human eye pupil location a lgorithm based on OpenCV[J].Electronics Quality,2012,33(11):14-17.

[9] Liao Hong-wen,Zhou De-long.Review of adaboost and its improvement[J].Computer System & Applications,2012,21(5):240-244.

[10] Lin Jing,Qin Hua-biao.An eyes location algorithm based on gray histogram and geometrical features[J].Microcomputer Information,2009,25(9):252-254.

[11] Zhao Jing.Iris inner edge location algorithm based on adaptive threshold segmentation and edge detection[J].Science,2012,29(16):41-42.

[12] Pan Lin,Lin Lin,Wei Li-fang,et al.The pupil diameter precise measurement under occlusion[J].Journal of Chinese Computer Systems,2011,32(8):1652-1654.

[13] Yan Pei,Wang Bin,Li Yuan.Optimal ellipse fitting method based on least-square principle[J].Journal of Beijing University of Aeronautics,2008,34(3):295-298.

[14] Lin Jin-long,Shi Qing-yun.Circle recognition through a point hough transformation[J].Computer Engineering,2003,29(11):17-18.

[15] Cui Jia-li,Gong He,Wang Yi-ding,et al.Optimazation and research on ellipse fitting and application based on algebraic distance[J].Computer Science,2014,41(s2):88-90.

[16] Hu Hai-ou,Zhu Jian-zhong.Direct least squares elliptic fitting based on arc combination[J].Journal of Hangzhou Normal University(Natural Sciences Edition),2011,10(6):556-560.

[17] Alzahrani F M.A real-time edge detector:algorithm and VLSI architecture[J].Real-Time Imaging,1997,3(5):363-378.

附中文參考文獻：

[2] 吳艷繁.基于視線追蹤的人機交互系統[D].長春:吉林大學,2014.

[5] 王德朋,婁 震.一種融合Hough變換和ASM定位瞳孔中心點方法[J].計算機系統應用,2016,25(3):182-186.

[6] 張勇忠,劉 富,孫令明,等.基于對稱變換的瞳孔定位方法[J].吉林大學學報信息科學版,2009,27(3):268-272.

[8] 李紅匣.基于OpenCV的人眼瞳孔定位算法[J].電子質量,2012,33(11):14-17.

[9] 廖紅文,周德龍.AdaBoost及其改進算法綜述[J].計算機系統應用,2012,21(5):240-244.

[10] 劉 婧,秦華標.基于灰度直方圖的幾何特征人眼定位方法[J].微計算機信息,2009,25(9):252-254.

[11] 趙 靜.基于自適應閾值分割及邊緣檢測的虹膜內邊緣定位算法[J].科技信息,2012,29(16):41-42.

[12] 潘 林,林 琳,魏麗芳,等.遮擋條件下瞳孔精確檢測方法[J].小型微型計算機系統,2011,32(8):1652-1654.

[13] 閆 蓓,王 斌,李 媛.基于最小二乘法的橢圓擬合改進算法[J].北京航空航天大學學報,2008,34(3):295-298.

[14] 林金龍,石青云.用點Hough變換實現圓檢測的方法[J].計算機工程,2003,29(11):17-18.

[15] 崔家禮,宮 賀,王一丁,等.基于代數距離的橢圓擬合的優化及應用研究{J].計算機科學,2014,41(s2):88-90..

[16] 胡海鷗,祝建中.基于弧段組合的直接最小二乘橢圓擬合[J].杭州師范大學學報(自然科學版),2011,10(6):556-560.