基于KINECT的人眼視線方向估測方法研究

宋金淼，王楠楠，王心瀚,段曉東

(大連市民族文化數字技術重點實驗室,遼寧 大連 116605)

基于KINECT的人眼視線方向估測方法研究

宋金淼，王楠楠，王心瀚,段曉東

(大連市民族文化數字技術重點實驗室,遼寧 大連 116605)

提出一種基于KINECT的視線方向估測方法，通過KINECT獲取人臉圖像數據及人臉網格信息，檢測和消除人眼區域的光斑，進而利用人眼灰度分布特點對瞳孔進行粗定位得到瞳孔中心；通過計算眼睛參考點與瞳孔中心形成的距離和其連線與坐標軸形成的角度關系對視線方向進行分類處理，完成視線方向的估測。實驗結果表明所提出的方法在低分率的圖像條件下能準確地估測出人眼視線方向。

視線方向；瞳孔粗定位；光斑檢測和消除；眼部特征分析

視線方向是一個人觀察外界物體的方向，通常被定義為眼球中心與虹膜中心連接的直線方向，亦可定義為虹膜邊界所在支撐面的法線方向[1-2]，即眼球圍繞眼睛中心旋轉一定的角度所形成的幾何關系，反映被觀測者的興趣和注意力。視線方向估測常被廣泛用于軍事、助殘、人機交互、空中導航、犯罪心理分析、駕駛員疲勞檢測等各個方面。

視線方向按估測方法主要依據眼部特征分析。視線追蹤技術中廣泛運用的方法叫做“瞳孔—角膜反射方法”(the pupil center cornea reflection technique)，其利用眼動過程中保持不變的特征，是眼球角膜上的一個亮光點，由進入瞳孔的光線在角膜外表面上反射(corneal reflection)而產生。文獻[3]首先通過Hough變換計算出在低分辨率的情況下，人眼的上眼瞼圓周及內外角點、虹膜中心，然后在檢測視線方向上采取了分部處理的方法，先判斷視角，然后計算視線方向。該方法雖適用于低分辨率的圖像，但涉及的方法較多，增加了計算的復雜度。文獻[4]根據透視原理，首先利用橢圓來擬合虹膜，然后恢復成圓，并得到視線方向，但依然存在在低分辨率的條件下擬合精度不高的問題。文獻[5]提出了用混合投影的方法對虹膜進行定位，從而實現視線方向的估計[6-8]，但是這種方法存在抗干擾性差和對閾值敏感的問題。

眼動儀作為記錄人眼動軌跡特征的重要儀器已經得到廣泛使用，商業的眼動儀價格昂貴從十幾萬到幾十萬不等，而且操作復雜。KINECT2.0具有頭部運動和面部特征點實時跟蹤功能，此外提供紅外、深度和彩色視頻流。本文研究如何在廉價的KINECT傳感器的基礎上構建一種視線方向估測的方法。該方法利用KINECT采集人臉紅外圖像，利用圖像特征對瞳孔進行粗定位得到瞳孔中心，通過計算眼睛參考點與瞳孔中心形成的距離和其連線與坐標軸形成的角度關系判斷視線方向。

1 基于KINECT的眼部定位

根據瞳孔位置與參考點形成的角度與位置關系對視線方向進行分類處理，完成視線方向的估測[9-10]。本文依據KINECT人臉幾何網格數據實時對眼睛進行區域定位，進一步完成眼部光斑檢測與消除和瞳孔定位。

人臉網格對眼睛區域進行定位。KINECT可通過主動紅外對人臉進行快速檢測和特征點定位[11]。KINECT主要通過追蹤技術自動檢測出人臉位置，并采用區域生長法，從具有彩色信息的深度圖像中自動分割出完整的人臉區域，利用移動最小二乘法對人臉圖像進行濾波，并采用最近點迭代算法對人臉進行特征點定位，然后從KINECT獲取特征點中提取眼部特征點進而獲得三維人臉網格確定眼睛位置，具體流程如圖1。

圖1 眼部區域定位流程圖

眼部區域定位是視線方向估測的重要階段，對于確定視線方向的參考點具有重要的作用。三維人臉網格特征點定位可以確定上下眼瞼和內外眼角的位置信息，實驗前，利用這4個坐標位置確定眼部區域，并獲取紅外圖像、彩色圖像和深度圖像等區域的信息。經多次實驗表明，KINECT人臉網格定位眼部區域時，特征點會產生誤差，進而導致視線方向檢測出現誤差，為減小由于定位時產生的誤差，實驗中將眼睛區域在以獲取眼部區域大小的基礎上擴大10%，以減少特征點定位時產生的誤差。

1.1 光斑消除及瞳孔定位算法

在瞳孔定位之初，受外界可見光影響，可能會產生光斑。為保證瞳孔定位的準確性和穩定性需對光斑進行處理。本文采用灰度信息與梯度信息組合的方式來提取光斑。為方便描述，現做出如下假設：設彩色圖片為gf，灰度圖片為gi，每個像素點的灰度值為di，平均灰度值為q，差值閾值為σ，噪聲點位置集合為k。

眼部定位算法1：

Step1：將彩色圖片gf進行灰度化得到圖片gi；

Step2：求取圖片gi的灰度平均值，向上取整后賦給q；

Step3：對灰度圖像gi進行遍歷，計算每一像素點灰度值并賦值給di，若|di-q|>σ，該點被視為噪聲點；

Step4：將噪聲點的坐標存入集合k中，繼續執行Step3，直至結束，集合k即為要提取的光斑區域。

光斑提取完成后，利用局部灰度平均值填補噪聲點，以此消除光斑。如圖2左上角第1幅圖所示，灰度值高于周圍其他點的四個白色點即為噪聲點。文中以消除灰度值為150的噪聲點為例，描述噪聲點消除的過程。首先順時針向上選取左上角三個臨近點，求取三者的平均值并對其進行向上取整，用該值代替相應噪聲點的灰度值，重復以上步驟直至光斑完全消除，光斑的消除過程如圖2。

圖2 光斑消除過程

1.2 瞳孔粗定位

本文在消除光斑的圖像上對瞳孔進行粗定位。瞳孔區域雖然灰度信息豐富，但灰度級卻相對較為明顯，瞳孔最小，虹膜次之，其他區域(除睫毛外)則灰度值較大[12]。文中利用瞳孔區域灰度分布特點對瞳孔中心進行粗定位。實驗中使用普通攝像頭獲取人眼彩色圖像，然后對其進行灰度處理，消除由于外界光源引起的光斑后得到如圖3(b)所示的灰度圖像。然后采用固定閾值的方法，對灰度化后的眼睛圖片進行二值化處理，初步區分虹膜與鞏膜區域。其二值化后的圖片如圖3(c)。通過遍歷二值化后的圖片，找到虹膜區域(即圖3(c)所示的白色區域)，然后以該區域的密度最大點的灰度值作為瞳孔中心的灰度值，以該區域的質心位，置為瞳孔的坐標，記作A(x,y)，點A即為粗定義后的瞳孔位置，圖3(d)中以中心區域的黑色中心點來表示。

圖3 瞳孔定位過程

2 視線方向估計方法

本文在上述實驗的基礎上提出了一種新的用于估測視線方向的方法。首先對動點和參考點的選取，然后計算兩者的位置關系和角度關系，根據計算得出的關系提出了一種判別視線方向的思想，并將其應用到實際的視線方向檢測中。

當人眼處于紅外光環境下，在人眼中形成的反射光斑，由于眼睛結構可近似的看作一個球體，在單一光源下反射光斑是相對不動的，因此人們常將反射光斑作為人眼的參考點，通過計算瞳孔位置與參考點之間的關系確定視線方向。但是利用此方法，要求人的頭部要保持不動，盡管識別的準確率比較高，但中間需要涉及大量圖像處理和模式識別方面的知識，因此就有較大的難度。文獻[13]采用人眼角點作為參考點，主要依據人臉表情發生變化時很少影響人眼角點的位置發生變動，且其位置檢測也比較容易。該方法摒棄了傳統的mark點和反射光斑作為參考點時的缺點，允許頭部進行小幅度偏轉，但當眼睛角點識別不準確時，會影響整個參考系統。

本文在上述研究的基礎上，簡化動點和將人眼結構抽象為一個矩形，矩形的幾何中心作為人眼的中心位置即為參考點，而瞳孔的位置作為動點，具體情況如圖4。

圖4 動點和參考點的選取

現設ti時刻瞳孔的坐標位置為(xip,yip)，眼睛的參考點坐標為(xr,yr)，瞳孔與參考點的距離為di，角度為ai，計算公式表達為：

實驗時計算出的角度都是弧度制下的角度，在實際的應用中需要進行相互轉化。其具體的轉換關系見表1。

表1 不同象限下角度變換關系

研究表明人的兩個眼球不同于其他器官一樣可以獨立運動，雙目視覺運動要受到很多條件的約束[14]。人的兩只眼睛運動具有一定規律，海林等發現人的兩只眼睛運動時方向要么相同要么相反，且運動的距離大小是相同的，因此研究一只眼睛的運動情況就可以估測另一只。文中將視線方向粗略分為上、下、左、右、左上、左下、右上、右下、和中間等9個方向。文中將眼睛區域抽象為一個矩形框，眼睛框的幾何中心點O作為參考點。

圖5 依據劃分原則建立的視線方向參考系

其方向劃分方法為：首先以中心點O點為參考點，將矩形區域按角度八等分，每一份即為視線觀測的一個方向。然后以O點為圓心，r為半徑作圓。根據瞳孔中心點與參考點的位置關系確定視線方向，當瞳孔中心點位于圓內或圓上時，視為看中間位置；否則視為其他八種情況。其中為視線方向看中間時，瞳孔中心最大活動范圍，由多次實驗測定得出，是一個常數。依據劃分原則建立的參考系如圖6，其中向右為水平方向，向下為豎直方向。

圖6 視線方向的區域劃分與及其對應的角度范圍

經過計算，獲得ti到時刻瞳孔位置位置為A(xip,yip)距與參考點O距離di，點O與瞳孔A所形成的向量OA與水平正方向的夾角為ai，視線方向檢測及判斷過程如下：

Step1:計算瞳孔位置A距中心點C的距離為d；

Step2：若di

視線方向檢測的結果如圖7。為方便觀測在其上側用箭頭的形式表示其觀測方向。

圖7 視線方向檢測結果

3 實驗結果及分析

實驗的硬件環境為Intel(R)core(TM)i3-3240CPU@3.40GHZ6G內存，軟件環境為Windows7、VS2010。本文共采集152名測試者的136 805幀視頻圖像建立人眼特征數據庫，實驗時從人眼特征數據庫中選取15 000幀圖像數據作為實驗樣本，其中12 300幀作為訓練集，2 700幀作為測試集，分別對應九種視線狀態。經測試得其準確率見表2。

表2 測試結果

表2中，向右看、向左看時，系統識別的準確率最高，已達到95%；看中間、向左上看、向右上看、向上看系統識別的準確率也都達到90%以上，這是由于在上述狀態時，瞳孔位置偏離中間參考點的幅度比較大，瞳孔也較容易被檢測到。而當眼睛向下看時，眼皮對于虹膜的遮蓋區域較大，判斷的準確率明顯下降。

4 結 語

基于KINECT的視線方向估測方法使用KINECT普通攝像頭得到低分辨率下的圖像，通過分析瞳孔位置與眼睛參考點之間形成的距離和角度關系，提出了一種視線方向判斷的方法。通過實驗可以得出，該方法對低分辨率下的圖像具有較好的識別效果，但所有的檢測結果都是基于頭部不動和發生微小偏轉的假設下得出的，沒有針對頭部的偏轉建立相應的坐標補償機制，需要在以后實驗過程中進一步完善。

[1] 李濤. 基于視線角度的人眼視線檢測研究[J]. 計算機技術與發展, 2009, 19(8):37-40.

[2] 李東平, 郝群, 黃惠明. 基于普爾欽斑點的人眼視線方向檢測[J]. 光學技術, 2007, 33(4):498-500.

[3] 孫興華, 陳國勇, 趙春霞，等. 基于Hough變換和梯度信息的人眼視線方向估計[J]. 小型微型計算機系統, 2007, 28(6):1123-1128.

[4] 許潔. 基于透視投影的人眼視線方向估計算法[J]. 微型電腦應用, 2009, 25(9):36-38.

[5] 耿新,周志華,陳世福. 基于混合投影函數的眼睛定位[J]. 軟件學報, 2003, 14(8):1394-1400.

[6] 羅興賢, 魏生民, 劉雅婧，等.基于圖像處理的視線方向跟蹤研究[J]. 現代制造工程, 2007(1):87-90.

[7] 王霞, 陳華礎. 視線方向上飛機紅外特性計算方法[J]. 大氣與環境光學學報, 2008, 3(3):217-222.

[8] 李陽, 鄭華兵, 史冊，等. 安全駕駛中駕駛員視線方向的檢測研究[J]. 計算機測量與控制, 2010, 18(4):766-769.

[9] 吳艷繁. 基于視線追蹤的人機交互系統[D]. 長春：吉林大學, 2014.

[10] 于瓊. 視頻圖像序列內的視線跟蹤研究[D]. 武漢：武漢理工大學, 2011.

[11] 孟春寧. 人眼檢測與跟蹤的方法及應用研究[D]. 天津：南開大學, 2013.

[12] 羅興賢. 基于視頻圖像處理的視線方向跟蹤研究[D]. 西安：西北工業大學, 2007.

[13] 李郝. 人眼跟蹤與視線檢測算法研究[D]. 成都：西華大學, 2010.

[14] 葉永強, 沈建新, 周嘯. 基于瞳孔灰度特征的快速虹膜定位[J]. 光電工程, 2010, 37(3):127-132.

(責任編輯 趙環宇)

Eye Gaze Direction Estimation Method Based on KINECT

SONG Jin-miao, WANG Nan-nan, WANG Xin-han, DUAN Xiao-dong

(Dalian Key Lab of Digital Technology for National Culture,Dalian Minzu University,Dalian Liaoning 116605, China)

This paper proposes an eye gaze direction estimation method based on KINECT. The process of the estimation method includes getting face image and face grid information through KINECT， detecting and eliminating spots around the eye area， utilizing the gray-scale distribution characteristics of the human eyes to roughly position the pupil and then get the pupil center， classifying and processing the sight directions by calculating formulated distance from the eye reference point to the pupil center and the angle relationship formed by this distance connection and coordinate axis to complete the eye gaze direction estimation. The experimental results show that the proposed method can accurately assess the human eye gaze direction under the condition of the low rate of image.

gaze direction; pupil coarse positioning; spot detection and elimination; feature analysis of the eye

2017-03-14；最后

2017-03-28

國家自然科學基金項目(61672132，61370146);遼寧省科技支撐計劃項目(2013405003)；中央高校基本科研業務費專項資金資助項目(DC201502100401)。

宋金淼(1987-)，男，黑龍江齊齊哈爾人，助理工程師，主要從事模式識別和智能系統研究。

王楠楠(1980-)，女，遼寧沈陽人，工程師，主要從事民族信息化與智能系統研究，E-mail:wnn@dlnu.edu.cn。

2096-1383(2017)03-0263-05

TP391

A