微操作中操作者瞳孔的定位方法研究

陳國良 馬 輝 張釧釧

武漢理工大學機電工程學院，武漢,430070

微操作中操作者瞳孔的定位方法研究

陳國良 馬 輝 張釧釧

武漢理工大學機電工程學院，武漢,430070

針對微操作中操作者的眼球偏轉小和眼睛圖像灰度變化小的特點，提出一種瞳孔定位的快速算法，首先對眼睛圖像提取特定的矩形區域，然后采用半精定位的方法縮小瞳孔所在區域，提高瞳孔區域的圖像占比，最后利用Hough變換精確定位瞳孔。實驗表明，該算法能快速、準確地定位瞳孔中心，適用于微操作中使用頭戴式設備的瞳孔圖像提取。

微操作；瞳孔定位；對稱性；Hough變換

0 引言

隨著現代科學技術的發展，人們對微操作系統的要求越來越高。現階段微操作系統的自動化程度較低，操作模式仍然以手動操作為主，無法自動完成較為復雜的微操作任務;操作者在顯微鏡下長期工作特別容易疲勞，操作效率和精度也易受到人為因素影響。將視線跟蹤技術應用于微操作中，能夠將操作者從狹小的顯微鏡視野中解放出來，可以有效改善人機交互環境，簡化操作步驟，使操作者的手部勞動轉化為微操作系統的自動化操作，推動了“所看即所得”的微操作人機交互技術的發展應用。瞳孔的精確定位是實現視線跟蹤的關鍵技術之一。目前，很多學者針對不同應用場合的瞳孔圖像特征的瞳孔定位進行了大量研究。蒲小勃等[1]針對頭戴式頭盔視線跟蹤系統，根據瞳孔遮擋程度的不同，提出了一種分級瞳孔定位方法，該方法同時兼顧了速度與精度。顏紅金等[2]依據醫用眼睛圖像中瞳孔灰度和幾何特征，將數學形態學與Hough變換結合實現了紅外與可見光下瞳孔的精確定位。Li等[3]集成基于特征和模型的瞳孔檢測方法，提出了一種基于Starburst算法的瞳孔定位方法，該算法具有很好的實時性。張文聰等[4]針對視線跟蹤過程中眼部圖像在干擾情況下出現的變形瞳孔，提出一種基于3點的隨機采樣一致性定位算法RANSAC_3，該算法對外部干擾具有較強的魯棒性。王長元等[5]基于視頻眼震圖的瞳孔圖像特征，先進行虹膜粗定位，然后再精確定位瞳孔，算法具有很好的抗干擾性與準確性。

針對微操作中操作者的眼球偏轉小和眼睛圖像灰度變化小的特點，本文采用計算機視覺及圖像處理技術，研究適合微操作技術及環境特點的操作者瞳孔定位算法，以達到快速獲取微操作中操作者的注視點的目的，使微操作系統具有獲取、定位操作者興趣視野目標的自動化能力，為實現微操作自動化提供基礎。

1 瞳孔圖像的特點

(a)頭戴式設備(b)操作者進行微操作圖1 系統實物圖Fig.1 The photos of equipment system

本文的頭戴式設備及操作者進行微操作的實物圖見圖1，其中頭戴式設備包括一個眼底照相機、一個濾光鏡片和一個紅外發光二極管。眼底照相機用于獲取微操作者的瞳孔圖像；濾光鏡片為紅外高反濾光片，起到反射紅外光、透射可見光的作用；紅外發光二極管為850nm紅外線發射管。眼底照相機所得到的瞳孔圖像屬于暗瞳圖像，如圖2a所示，暗瞳圖像的瞳孔灰度小于虹膜灰度，而虹膜灰度小于鞏膜灰度。

基于實驗中頭戴式設備的結構特點，所拍攝的瞳孔圖像中會出現眉毛以及周圍環境特征等一些干擾信息，圖2a為頭戴式設備拍攝的圖像。從圖2a中可以看出，眼睛區域占整體圖像比例較小，而且圖像周邊噪聲很多，如果直接在所獲取的圖像中進行瞳孔定位，那么會由于噪聲多而造成算法復雜化而且定位的精度也難以保證。而在頭戴式設備固定的情況下，照相機與眼睛的相對位置固定，故眼睛區域主要集中在大小特定的矩形區域內，如圖2b所示。確定特定的矩形區域模板的思路為：用一個很小的閾值對圖像進行二值化，然后采用Hough變換圓檢測，定位此二值圖像中瞳孔的中心(x1,y1)、半徑r1，以此來確定特定的矩形區域。具體算法如下：

(1)

式中，(x,y)為矩形區域的左上起始點；l、w分別為矩形區域的長度和寬度。

(a)眼睛圖像(b)特定矩形區域圖2 眼睛原圖及特定矩形區域圖Fig.2 The photos of eyes and a specific rectangle area

圖2b所示為從圖2a中提取的特定矩形區域，圖像包含了眼睛的大部分信息，使得瞳孔包含在內。這樣的操作不僅提升了瞳孔區域的圖像占比，提高了后續定位瞳孔的效率，而且消除了圖像周邊的噪聲，減少了一部分眉毛區域。需要說明的是，對于不同的微操作者，經試驗，在絕大多數情況下此特定矩形模板是合適的，如果出現不合適的情況，則需要重新計算此矩形模板。

同時，由于微操作的環境相對固定，所拍攝的圖像光線不會改變，因此圖像中一般不會出現因室外光照不均而引起的灰度變化。

基于微操作的特點，人機交互界面就是正常的電腦顯示屏大小，而且微操作的操作范圍較小。當微操作者在人機交互界面前操作時，眼球的偏轉較小，不會出現眼球極力向一個方向轉動而導致瞳孔大部分被眼瞼遮擋的情況。盡管瞳孔圖像質量較高，特征比較明顯，但是圖像中仍然有許多干擾因素，包括眉毛、睫毛以及由于紅外發光二極管造成的光斑等。

2 瞳孔中心的半精定位

基于眉毛和睫毛的灰度與瞳孔灰度相近，對定位過程有很大影響。在第一部分中提取的特定矩形區域消除了部分眉毛區域；為了降低睫毛的干擾程度，在文獻[6-7]的基礎上提出一種半精定位的方式縮小精定位的瞳孔區域圖像，提高瞳孔的圖像占比，從而使得瞳孔被完全包含在內而睫毛的干擾減到最小。半精定位是結合下采樣、固定閾值、8連通區域、線掃描法和基于對稱性的圓檢測方法的定位算法，具體方法如下。

2.1 下采樣

所謂下采樣，就是對一個原有的樣值序列，按某種規律進行間隔取樣，以得到一個新的圖像序列。下采樣使得圖像的像素點數據量呈指數級縮減，在保證一定程度精度的情況下能夠大大提高算法的運算速度。對提取的特定矩形區域圖像進行如下式處理：

Out(i,j) =Samp(I(x,y) )

(2)

其中，I(x,y)表示特定矩形區域，Samp(·)表示對特定矩形區域進行下采樣，設計為

Samp(·) =f( 1∶k∶m,1∶k∶n)

(3)

式中，m、n為圖像的大小；k為采樣率。

本文對圖像進行兩次下采樣得到一幅縮小的圖像，下采樣因子為2。經過這樣的處理之后，得到一幅縮小16倍的圖像，意味著參與計算的像素點為原來的1/16，這樣使得計算量和占用內存空間都大大地減小了。由于圖像的寬和高均為原圖的1/4，故定位的瞳孔坐標及半徑均為原圖的1/4。

2.2 固定閾值

考慮到基于微操作的固定環境特點，所拍攝的瞳孔圖像灰度變化不大，閾值相對固定，因此采用固定閾值法對圖像進行二值化處理。通過對50個樣本圖像閾值的提取確定最終固定閾值，采用文獻[8]提出的方法獲取每個樣本圖像的閾值。首先獲取樣本圖像的灰度直方圖，求其中第一個和第二個波峰之間的波谷對應的灰度值T0；然后計算T0與第一個波峰對應的灰度值的差值，若差值大于3，則T0就作為這幅圖像的最終閾值T；否則將第二個波谷對應的灰度值作為最終的閾值。圖3為這50個樣本圖像閾值的統計直方圖，可以看出圖像的閾值變化不大，選取所有閾值的均值作為本文最終的固定閾值，通過計算，固定閾值為22。二值化圖像如圖4所示。

圖3 樣本圖像閾值統計直方圖Fig.3 Sample image histogram

圖4 二值化圖像Fig.4 Binary image

2.3 提取及修正瞳孔

由于本文采用提取特定的感興趣區域方法，所以基本去除了眉毛、圖像周邊噪聲的干擾，二值化后瞳孔的連通域面積大于睫毛等噪聲的連通域面積，故采用八連通域方法[9]提取瞳孔區域。

采用線掃描法從水平和垂直方向對光斑進行填充，掃描過程如圖5所示，具體操作步驟如下：

(1)水平方向上，某一行從左到右掃描，x1為第一個灰度值為0的點；

(2)從右向左掃描，x2為第一個灰度值為0的點；

(3)將點x1和點x2之間所有點的灰度值置為0；

(4)重復上述過程完成水平方向和垂直方向的掃描。

圖5 線掃描過程Fig.5 The process of line scanning

圖6所示為瞳孔提取與修正的結果，從圖6a中可以看出，經過8連通域初步提取瞳孔，雖然很好地去除了睫毛等孤立噪聲的影響，但是不能去除瞳孔區域內光斑的干擾；從圖6b可以看出，經過線掃描法，瞳孔中由于光斑所形成的白色區域已經被填補，得到了質量較好的瞳孔區域。

(a)初步提取瞳孔 (b)修正后瞳孔

圖6 瞳孔的提取與修正

Fig.6 The extraction and revision of pupil

2.4 基于對稱性的圓檢測方法

考慮到是半精定位，既要保證一定的精度也要兼顧速度，采用一種基于對稱性的圓檢測方法定位瞳孔。

(a)獲取參數a0(b)獲取參數b0圖7 圓心的檢測Fig.7 The position of the center of circle

(4)

將圓心檢測中所得到的線掃描與圓的交點代入式(4)中，計算得到的數值ri在一維數組B中存儲，最終統計一維數組B中各個值的頻次，其最大頻次對應的值即為圓半徑值r0。

3 瞳孔精確定位

由半精定位方法定位出的瞳孔中心坐標為(a0,b0)和半徑r0，將圓心坐標和半徑放大到原來的4倍，得到原始尺度圖像具有一定精度的圓心坐標和半徑，即(4a0, 4b0)和4r0。所以用于精確定位的感興趣區域計算如下：

(5)

式中，(xl,yl)為感興趣區域的左上頂點坐標；(xr,yr)為感興趣區域的右下頂點坐標。

由于是半精定位的結果，為了確保瞳孔被完全包含在感興趣區域內，所以設置了誤差范圍d，本文d取10。

基于縮小的感興趣的區域圖像，結合固定閾值、8連通區域、線掃描法對瞳孔進行提取和修正，然后采用Canny算子對瞳孔區域的邊緣進行檢測，最后利用Hough變換定位出瞳孔的中心。根據Hough變換原理[10]，得出Hough變換檢測圓的x、y與ρ、θ映射關系。

在直角坐標系下圓的一般方程為

(x-a)2+(y-b)2=r2

(6)

在極坐標系的ρθ平面，圓的極坐標方程為

(7)

式中，a、b為圓心坐標；r為圓的半徑。

圖像空間中有三個參數a、b、r，因此，在參數空間中累加數組是三維的，通過Hough變換，將圖像空間(x,y)對應到參數空間(a、b、r)，算法的實現步驟如下：

(1)根據圖像的大小分別計算參數a、b、r的最大值和最小值，建立三維離散的參數空間，參數空間的大小由a、b、r的最大值和最小值決定；

(2)在參數空間中建立累加器數組A(a，b，r)，并對三維數組進行初始化；

(3)對圖像中的邊緣點作Hough變換，對表示該邊緣點的圓參數(a，b,r)進行投票，并在相應立方小格的累加器上加1；

(4)對三維陣列的所有累加器求峰值，其峰值小格的坐標就對應著圖像空間共圓周點的圓心。

實驗中Hough變換半徑范圍的選取直接影響圓檢測的結果。根據第2節中半精定位的半徑r0和圓心(a0，b0)可以有效縮小Hough變換中半徑、圓心坐標的大小范圍，本實驗選用的參數：半徑r的取值范圍為r0-δ1≤r≤r0+δ1，圓心(a,b)的取值范圍為a0-δ2≤a≤a0+δ2，b0-δ2≤b≤b0+δ2，半徑r的步長為0.5，角度θ的變化范圍為0～2π，θ的步長為0.1。考慮到半精定位的誤差，并在此基礎上放寬得到δ1和δ2，本實驗中設置δ1=5、δ2=5。半精定位之后所獲得的圖像的參量空間大小與原圖的參量空間大小相比大大減小了。瞳孔精確定位的完整流程見圖8。從圖8中的定位結果可以看出，圖像中的瞳孔得到了準確的定位。

圖8 瞳孔精確定位Fig.8 The precisely positioning of pupil

4 實驗與分析

瞳孔中心坐標的提取是視線追蹤的關鍵步驟。本實驗采用瞳孔-角膜反射向量法，利用本文提出的瞳孔中心定位算法進行視線追蹤。

本系統使用的顯示屏是19.5英寸液晶顯示屏，計算機配置為Intel的奔騰雙核G640，CPU頻率為2.4GHz，內存容量為2GB。

魯西的含氨基酸液體肥含多種游離態氨基酸，促進根系分化，加速根系發育，培育壯苗，促進插枝生根，提高存活率。而液鈣、氨基鈣葉面肥富含活性鈣，防止裂果效果明顯，在蔬菜和水果的結果期十分有效。提高作物的免疫力，抗外界不利影響能力，利用率100%。

實驗主要從速度性和準確性上對瞳孔定位算法進行衡量。

4.1 速度性

從表1中可以看出，本文算法平均運行時間最短。算法一與算法二相比以及算法三與本文算法相比共同區別在于，在進行Hough變換定位之前沒有進行瞳孔提取與修復，由眉毛、睫毛以及光斑等產生的噪點較多，使得計算量增大；將算法三與算法一進行對比可以看出速度提升較大，算法三經過半精定位之后有效縮小了瞳孔區域圖像，同時去除了眉毛區域和減小了睫毛區域，故定位速度提升很大；本文提出的算法經過半精定位之后，進行瞳孔提取與修復，最后用Hough變換進行定位，在速度方面提升明顯。

表1 兩種算法運行時間比較

4.2 準確性

瞳孔中心定位是視線跟蹤中最關鍵的步驟，其定位的準確性直接影響注視點估計的精確度。

實驗中在屏幕上標記的9個點坐標分布如圖9所示。操作者眼睛依次從左上角第一個點開始注視，每個點至少注視1.5 s。注視完之后，根據這9個點的坐標值以及對應的瞳孔-角膜反射向量坐標，用最小二乘法計算出映射模型的參數，之后就可以根據瞳孔-角膜反射向量計算操作者注視點的位置。視線跟蹤結果顯示如圖10所示。

圖10中，9個實心圓點是注視標定點，9個空心圓是利用映射模型估計的注視點；4個實心菱形是預先在屏幕上標注了的點，4個空心菱形是估計的注視點。

圖9 注視參考點Fig.9 The reference points of gazing

圖10 視線跟蹤結果Fig.10 Eye tracking results

經過分析，水平方向即x方向的平均誤差為5.69個像素點，最大誤差為17個像素點；垂直方向即y方向的平均誤差為9.15個像素點，最大誤差為25個像素點，出現誤差較大的原因是操作者輕微的頭部運動產生的誤差。

5 結論

(1)根據頭戴式設備特點，提取特定的矩形區域，有效去除了大部分眉毛區域和圖像周邊低灰度區域等的干擾。

(2)基于微操作環境相對固定的特點，采用固定閾值二值化的方式，縮短了計算閾值的時間。

(3)提出一種快速的半精定位方法，經過半精定位有效縮小了瞳孔區域圖像，去除了眉毛區域和減少了睫毛區域，在保證一定精度的同時兼顧了速度。

(4)通過提取和修正瞳孔，使得光斑得到修補，從而減少了Hough變換中對干擾點的投票計算。

(5)經過半精定位獲得的圖像，提高了瞳孔的圖像占比，使得用于Hough變換的參量空間大大減小。

(6)本算法能夠很好地定位出瞳孔中心，在速度方面優勢明顯，并具有良好的魯棒性和定位精度，完全能夠滿足微操作對瞳孔定位提出的快速性和準確性要求。

[1] 蒲小勃, 王月星, 鄧宏平，等. 視線跟蹤系統中的分級瞳孔定位算法[J]. 航空學報, 2012, 33(6): 1052-1059.PUXiaobo,WANGYuexing,DENGHongping,etal.TheClassifiedPupilLocalizationAlgorithmofLineofSightTrackingSystem[J].ActaAeronauticaetAstronauticaSinica, 2012, 33(6): 1052-1059.

[2] 顏紅金, 張永林. 醫用眼睛圖像中瞳孔特征值檢測算法的研究[J]. 計算機工程與設計, 2010, 31(23): 5124-5127.YANHongjin,ZHANGYonglin.ResearchonDetectingAlgorithmofPupil’EigenvaluesinMedicalEyeImage[J].ComputerEngineeringandDesign, 2010, 31(23): 5124-5127.

[3]LIDongheng,PARKHURSTDJ.Starburst:aHybridAlgorithmforVideo-basedEyeTrackingCombiningFeature-basedandModel-basedApproaches[C]//IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition.NewYork:IEEEComputerSociety, 2005:79-79.

[4] 張文聰, 李斌, 鄧宏平,等.視線跟蹤過程中變形瞳孔的定位[J]. 電子與信息學報, 2010, 32(2)：416-421.ZHANGWencong,LIBin,DENGHongping,etal.DistortedPupilLocalizationinEyeTracking[J].JournalofElectronics&InformationTechnology, 2010, 32(2)：416-421.

[5] 王長元, 史學穎. 基于視頻眼震圖的瞳孔定位方法研究[J]. 計算機與數字工程, 2011, 39(3): 128-130.WANGChangyuan，SHIXueying.ResearchontheMethodofPupilLocalizationBasedonVideonystagmograph[J].Computer&DigitalEngineering, 2011, 39(3): 128-130.

[6] 陳健, 鄭紹華, 潘林,等. 基于圖像特征的快速瞳孔提取算法[J]. 電子測量與儀器學報, 2014, 28(2): 203-210.CHENJian,ZHENGShaohua,PANLin,etal.FastPupilExtractionAlgorithmBasedonImageFeature[J].JournalofElectronicMeasurementandInstrumentation，2014, 28(2): 203-210.

[7] 王紅茹, 丁文. 一種改進的基于對稱性的Hough變換圓檢測[J]. 微電子學與計算機, 2014, 31(6)：121-124.WANGHongru,DINGWen.AnImprovedSymmetryBasedHoughTransformAlgorithmforCircleDetection[J].Microelectronics&Computer, 2014, 31(6)：121-124.

[8] 孫彩堂, 周春光, 劉向東,等.一種改進的虹膜定位方法[J]. 小型微型計算機系統, 2006, 27(7):1335-1338.SUNCaitang,ZHOUChunguang,LIUXiangdong,etal.ImprovedIRISLocationAlgorithm[J].Mini-microSystems, 2006, 27(7):1335-1338.

[9]LIAGHATDARA,KANGARLOOK,FAROKHIF.PupilLocalizinginVideoImagestheFirstStepTowardEyeMonitoring[C]//IEEEConferenceonMultimediaTechnology.NewYork:IEEE,2011: 3163-3166.

[10]WILDESRP.IRISRecognition:anEmergingBiometricTechnology[J].ProceedingsofIEEE, 1997, 85(9): 1348-1363.

[11] 張占強, 孟克其勞, 朝樂門. 基于閾值分割與Hough變換的瞳孔半徑測量算法研究[J]. 內蒙古農業大學學報, 2013, 34(4): 145-148.ZHANGZhanqiang,Mengkeqilao,Chaolemen.PupilRadiusMeasurementBasedonThresholdSegmentationandHoughTransformAlgorithm[J].JournalofInnerMongoliaAlriculturalUniversity, 2013, 34(4): 145-148.

[12] 王書強, 趙英杰, 張書強.Hough算法在眼跟蹤瞄準的應用[J]. 制造業自動化, 2009, 31(11): 73-74, 86.WANGShuqiang,ZHAOYingjie,ZHANGShuqiang.ApplicationofHoughAlgorithminEyeTrackingandTargeting[J].ManufacturingAutomation, 2009, 31(11): 73-74, 86.

(編輯 王艷麗)

Research on Operator Pupil Localization Method in Micro Operations

CHEN Guoliang MA Hui ZHANG Chuanchuan

School of Mechanical and Electronic Engineering,Wuhan University of Technology,Wuhan，430070

According to the small deflections of the operator’s eyeball and the small variations of the eye image grayscale, a fast pupil extraction and localization algorithm was proposed. Firstly, in order to extract high quality pupil areas, the specific interesting areas were extracted. Then, the semi-precise positioning method was adopted to narrow the pupil areas and increase the proportion of the pupil areas in the eye images. Finally, Hough transform was used to locate pupil center. The experimental results show that the new algorithm extracts high quality pupil areas, locates the pupil center and is suitable for pupil image captured by head-mounted devices.

micro operation; pupil localization; symmetry; Hough transform

2016-02-17

國家自然科學基金資助項目(61373110)；武漢市科技攻關項目(2014010101010005)

TP242.2

10.3969/j.issn.1004-132X.2017.04.002

陳國良，男，1972年生。武漢理工大學機電工程學院副教授。主要研究方向為智能控制與機器人技術、計算機視覺、機電一體化。發表論文20余篇。馬 輝，男，1990年生。武漢理工大學機電工程學院碩士研究生。張釧釧，女，1989年生。武漢理工大學機電工程學院碩士研究生。