基于改進型最大類間方差法的瞳孔定位方法

黃麗麗，楊 帆，王東強，唐云建

1.重慶郵電大學 計算機科學與技術學院，重慶 400065

2.重慶市科學技術研究院 信息與自動化技術研究中心，重慶 401123

基于改進型最大類間方差法的瞳孔定位方法

黃麗麗1，楊 帆2，王東強2，唐云建2

1.重慶郵電大學 計算機科學與技術學院，重慶 400065

2.重慶市科學技術研究院 信息與自動化技術研究中心，重慶 401123

1 引言

近年來，視線跟蹤[1-2]在人機交互中的應用已經成為一個熱門的研究趨勢，該方式使人機對話變得簡單，因此備受關注。瞳孔定位作為視線跟蹤中的一個重要研究課題，其準確性和有效性直接影響整個視線跟蹤系統的優劣。

目前，對瞳孔定位的研究方法很多，大多數方法是基于對圓的檢測，主要考慮到瞳孔的幾何特性，常將其看作一個圓或橢圓。常用的方法包括Hough變換[3]和橢圓擬合[4-5]的方法，就其本質而言，Hough變換和橢圓擬合都是利用圖像的邊緣信息作為基礎來獲得瞳孔的位置和大小。Hough變換的方法是通過參數搜索確定一個圓，而橢圓擬合主要是通過最小二乘法或其他方法來進行橢圓的擬合。Hough變換和橢圓擬合的方法首先都需要對眼部灰度圖像進行二值化，然后對二值圖像進行邊緣信息的提取，就其邊緣信息實現定位。然而在求取二值圖像時，閾值的選取成為困難，尤其在紅外光照下閾值的選取更是不易。Wildes[3]和Tisse[6]等通過Hough變換的投票機制在參數空間尋求最優值，Takeshi Takegami[7]等人提出Hough變換擬合橢圓的算法來定位橢圓，張書強、來躍深[8]等人利用Sobel算子結合Hough圓檢測的方法來定位瞳孔，王長元、史學穎[9]提出了基于強邊緣和弱邊緣的情況下采用Hough變換檢測圓的方法定位瞳孔。這些方法雖然取得了一定的準確性，但是采用固定閾值的方法無疑增加了方法的局限性，通用性較差，且Hough找圓的方法遍布整幅圖像，盲目搜索，同時該方法復雜度大、資源需求大，運算時間長。

朱柳柳、盧光明[10]在虹膜定位中提出基于最長弦定義邊界的檢測方法，該方法在圖像二值化時采用最大類間方差法來實現閾值的提取，最大類間方差法提高了圖像閾值選取的自適應性，但是在光線較暗情況下，效果不是很好，易造成較多黑色區域，且整個方法運算時間較長。

基于以上算法的不足，本文提出一種基于改進型最大類間方差法的瞳孔定位方法。該方法的特點是：（1）從圖像預處理入手，采用光線補償和中值濾波來提升紅外光線照射下采集的圖像質量；（2）從閾值提取入手，根據圖像直方圖，采用只對圖像中存在的像素灰度值計算最大類間方差的方法現實自適應閾值提取，獲取最佳二值圖像；（3）最后采用基于最小二乘法的橢圓擬合方法進行瞳孔中心的精確定位。實驗證明，該方法提高了瞳孔定位的準確性和運行速度。

2 方法實現

2.1 閾值提取

為了更好地將瞳孔部分分割出來，需要獲取能將瞳孔部分與其他部分區分的最佳二值圖像，因此閾值的選取成為整個過程的關鍵。最大類間方差法是一種常用的自適應閾值選取方法。該方法介紹如下。

2.1.1 最大類間方差法（OTSU）

最大類間方差法（OTSU）[11]又稱大津法。其主要原理為：

計t為圖片前景和背景的分割閾值，其中前景點數占整個圖像比例為w0，其圖像平均灰度值為u0，背景點數占圖像比例為w1，其圖像平均灰度值為u1，于是可計算得圖像總平均灰度為u。從最小灰度值到最大灰度值遍歷為t，當t使得類間方差值g最大時，此時t即為分割的最佳閾值。設圖像大小為M像素×N像素，L為圖像灰度級，設圖像中像素的灰度值小于t的像素個數記作N0，像素灰度大于t的像素個數記作N1，可計算得：

t將從0～L－1依次取值，當g取最大時的t值為圖像分割的最佳閾值。

由此可見，最大類間方差法主要是根據圖像的灰度特性，將圖像分成前景（即目標）和背景兩個部分。前景和背景之間的類間方差越大，圖像兩部分的差別就越大，圖像分割的效果就越好。

2.1.2 改進型最大類間方差法

最大類間方法目前適應較廣，但是在較暗光照條件下，效果仍然不好，例如用于本文實驗時，由于紅外光的照射，采集的眼部圖像會存在圖像整體偏暗和噪聲的情況，不能獲得較好的分割效果，同時該方法在計算最大類間方差時需要遍歷0～255的每一個灰度級，降低了運算效率。因此，本文主要采用一種改進型最大類間方差法來實現閾值的提取。該方法首先通過亮度補償和中值濾波來提升紅外光照下的圖像質量，利于區分瞳孔部分與其他部分；然后根據圖像的直方圖，只對圖像中存在的像素灰度值計算最大類間方差的方法來求取二值化圖像的最佳閾值，提高運行速度。

步驟1圖像預處理，增加圖像整體亮度及濾除噪聲。

由于眼部圖像是在紅外光源的采集下得到的，因此不可避免存在圖像偏暗、模糊和噪聲情況。如果將此圖像不做處理直接用最大類間方差法來提取閾值的話會造成背景和前景錯分概率大，不能獲得好的分割結果。因此可對采集的圖像進行預處理，提升圖像亮度和濾噪，主要采用光線補償和中值濾波來實現。光線補償時，通過眼部圖像的直方圖，統計出整個圖像中所有像素點的灰度值，求取最高約5%～10%的像素灰度值的平均值，以此平均值作為基準，將圖像其他部分的灰度值按比例系數進行補償。在圖像濾噪時，采用二維的中值濾波器[12]實現。

圖1（a）、（b）分別表示采集到的眼睛原圖和經過光線補償和中值濾波（Sobel模板）的結果圖像。

圖1 眼睛原圖和預處理效果圖

由圖1（a）、（b）對比可看出，經過光線補償和中值濾波后的眼部圖像，圖像整體亮度增加了，噪聲減少了，同時更利于區分瞳孔、虹膜、礬膜及皮膚。

步驟2根據直方圖，統計出圖像中未出現的像素灰度值，計算余下像素的最大類間方差。

根據最大類間方差法，將眼部圖像分成M0和M1兩類。M0由灰度值為0～t之間的像素組成，M1由t+1～L－1之間的像素組成。在計算最大類間方差時，t遍歷的過程將從圖像直方圖灰度級為0處一直遍歷到灰度值為255處。然而根據實驗，攝像機采集到的大量眼部圖像，經統計直方圖后發現，并非每個灰度級上都有像素數目，也有某些灰度值像素數目為零的情況，因此圖像并非完全覆蓋全部的256級灰度。如果在實驗過程中，對某個灰度值像素數目為零的像素也計算方差的話，這將增加不必要的運算量。因此，可以將這些數目為零的像素灰度值不納入類間方差的計算，而僅計算圖像中數目非零的像素的類間方差。根據這樣的思路，可以大大降低方差計算次數，提高運行速度。

圖2為眼部攝像機所采集到的某一眼部圖像所對應的直方圖，由該直方圖可看出，在圖像灰度級約0～35之間及210～255之間的這兩部份灰度級所對應的像素數目都為零，因此在求取最大類間方差時，先將圖像中這兩部分像素灰度值統計出來，不計算其所對應的類間方差值，只對余下的像素進行計算。

圖2 某一眼部圖像所對應的直方圖

為了驗證該算法的可行性，根據文獻[13]，可將式（6）推導如下：

其中，i為圖像中各個灰度級；ni為圖像中各個灰度級所對應的像素數目；Pi為圖像中各個灰度級所出現的概率；假設灰度值為t'的像素數目為0，即Pt'=0，若選t'-1為閾值時：

因此可知：gt'-1=gt。

若有連續灰度級t1，t2，…，tn的像素數目為0，仍可得到：

于是，根據推導，對于圖像中不存在的像素灰度值，也即是像素數目為零的灰度級，不計算以之為閾值時的類間方差，可將最近的像素數目不為零的較小灰度級所對應的類間方差作為其類間方差值。因此在求取最大類間方差時，對于數目為零的像素灰度級，并不計算其所對應的類間方差值，這并不影響最終閾值選取的結果。

圖3（a）為拍攝的三幅不同角度下的眼部圖像，（b）和（c）為采用改進型最大類間方差法所獲得的效果圖像，可知瞳孔部分已很好地分離出來，其中背景部分灰度值為255（白色），瞳孔部分灰度值為0（黑色）。

圖3 不同角度下的眼部圖像及采用改進型最大類間方差法相對應的效果圖

2.2 確定瞳孔中心及半徑

在通過改進型最大類間方差法計算得到二值化圖像的基礎上，通過輪廓提取方法（即掏空內部點的方法[14]）與最小二乘法的橢圓擬合方法的結合實現瞳孔的精確定位。在閾值提取基礎之上，可知，背景像素灰度值為255，瞳孔像素灰度值為0，瞳孔輪廓提取的步驟如下：

（1）若中心像素為255，不論其余相鄰的8個像素為何值，一律保留中心像素值255。

（2）若中心像素為0，且其余相鄰的8個像素值為0，則改變中心像素值為255。

（3）其余情況時，全部將中心像素值改為0。

瞳孔的邊緣信息是橢圓擬合的基礎條件，獲取到輪廓的邊緣信息后，可對邊緣信息進行橢圓擬合。本文采用基于最小二乘法來實現對邊緣點的擬合鏈接，其基本思想是求各候選點到圓上距離的平方和最小。設瞳孔橢圓方程為：

由此可得到一個線性方程組，然后結合約束條件，可解得方程系數A，B，C，D，E，F的值。于是橢圓的中心坐標(xp，yp)、長軸和短軸(a，b)均可通過以下式子求的，從而獲得了瞳孔的半徑和中心坐標值：

3 實驗結果與分析

本實驗基于XP環境下，通過在Visual Studio 2010+ OpenCV平臺下編程實現。利用本實驗室制作的一個帶有紅外攝像機的圖像采集設備實現眼部圖像的采集，采集了一定規模的瞳孔圖像（40人，40瞳孔，2 000張不同角度的瞳孔圖像），圖像分辨率為320×240，圖像灰度為0～255。

3.1 定位精度對比測試

為了考察算法的有效性，將文獻[8]中的方法（以下簡稱方法1）、文獻[10]中的方法（以下簡稱方法2）與本文方法定位瞳孔的準確性對比測試：

方法2定位結果損失掉了大量瞳孔的邊緣信息，定位的瞳孔中心也與實際瞳孔中心值偏差較大，如圖4（a）；方法2定位的結果較為準確，但由于圖像未做預處理，仍然存在少量瞳孔邊緣損失的情況，如圖4（b）；而本文方法通過采用改進型最大類間方差法獲取了較佳的二值圖像，實現了瞳孔邊緣信息的完整提取，使得瞳孔定位結果更加準確，如圖4（c）。

圖4 不同方法下瞳孔定位比較

3.2 定位速度對比測試

表1為方法1、方法2及本文方法定位圖3（a）中三個不同角度下眼部圖像時所耗時間對比表。由表1可知，本文方法在保證瞳孔定位準確性的前提下，有效地降低了定位時間。

表1 三種方法所消耗比較 ms

4 結束語

本文提出了一種基于改進型最大類間方差法的瞳孔定位方法，該方法通過圖像預處理操作和對圖像中存在的像素灰度值計算最大類間方差的方法，快速且準確地求取了圖像的最佳閾值，為瞳孔邊緣信息的完好提取奠定基礎；最后在此基礎上采用輪廓提取方法和基于最小二乘法的橢圓擬合方法實現瞳孔的精確定位。實驗證明，本文方法在保證定位準確度的情況下，運行速率也得到很大的提高，是一種有效的瞳孔定位方法。

[1]Salvucci D D.Inferring intent in eye-based interfaces：tracing eye movements with process models[C]//CHI’99，1999：254-261.

[2]廖衛華，嚴由偉，徐子清.視線跟蹤技術在人機交互中的研究[J].長春師范學院學報：自然科學版，2005，24（2）：130-132.

[3]Wildes R P.Iris recognition：an emerging biometric technology[J]. Proceedings of IEEE，1997，85（9）：1348-1363.

[4]Kennedy R B，Pressman I S，Chen S，et al.Statistical analysis of barefoot impressions[J].Journal of Forensic Sciences，2003，48（1）：55-63.

[5]Jung J W，Sato T，Bien Z.Dynamic footprint-based person recognition method using a hidden Markov model and a neuralnetwork[J].InternationalJournalIntelligentSystem，2004，19（11）：1127-1141.

[6]Tisse C，Martin L，Torres L.Person identification technique using human iris recognition[C]//Proc Vision Interface.[S.l.]：IEEE Press，2002：294-299.

[7]Takegami T，Gotoh T，Ohyama G.An algorithm for modelbased stable pupil detection for eye tracking system[J].Systems and Computers in Japan，2004，35（13）：21-31.

[8]張書強，來躍深，尚雅層，等.瞄準器的眼跟蹤算法研究[J].國外電子元器件，2008（12）：69-70.

[9]王長元，史學穎.基于視頻眼震圖的瞳孔中心定位方法研究[J].計算機與數字工程，2011，39（3）：128-130.

[10]朱柳柳，盧光明.一種改進的虹膜快速定位算法[J].計算機應用，2008，28（3）：674-676.

[11]Otsu N.A threshold selection method from gray-level histogram[J].IEEE Trans on Actions on SMC，1979，9：652-655.

[12]鄭玉麗，陳衛兵.圖像加窗中值濾波算法研究[J].微計算機應用，2011，32（9）：9-14.

[13]李鑒慶，左坤隆.圖像閾值選取的一種快速算法[J].計算機與現代化，2001，76（6）：11-19.

[14]吳鳳和.基于計算機視覺測量技術的圖像輪廓提取方法研究[J].計量學報，2007，28（1）：18-22.

HUANG Lili1,YANG Fan2,WANG Dongqiang2,TANG Yunjian2

1.College of Computer Science and Technology,Chongqing University of Posts and Telecommunications,Chongqing 400065,China
2.Research Center for Information and Automation Technologies,Chongqing Academy of Science&Technology,Chongqing 401123,China

To improve the accuracy and rapidity of pupil location in human-computer interaction,a method based on the improved OTSU algorithm is proposed in this paper.The image is pre-processed using light compensating and median filtering to calculate the maximum between-class variance of the pixels which exist in the image,and obtain the optimum threshold of the binary image, the pupil center and radius are got by using ellipse fitting.Experimental results show that the method is quite accurate and fast, which lays a great foundation for the eye tracking.

pupil location;threshold;OTSU algorithm;ellipse fitting

為了提高人機交互中瞳孔定位的精確性與快速性，提出一種基于改進型最大類間方差法的瞳孔定位方法。對圖像進行基于光線補償和中值濾波的預處理操作，進而根據直方圖統計出圖像中未出現的像素灰度值，計算余下像素的最大類間方差，求取二值化圖像的最佳閾值，采用橢圓擬合方法確定瞳孔中心及半徑。實驗結果證明，該方法準確快速，為視線跟蹤奠定必要的基礎。

瞳孔定位；閾值；最大類間方差法；橢圓擬合

A

TP391

10.3778/j.issn.1002-8331.1205-0396

HUANG Lili,YANG Fan,WANG Dongqiang,et al.Pupil location method based on improved OTSU algorithm.Computer Engineering and Applications,2013,49（23）：137-140.

重慶市科技攻關計劃基金資助重點項目（No.cstc2011ggB0028）。

黃麗麗（1987—），女，碩士，主要研究領域為智能信息處理、模式識別；楊帆（1977—），女，博士；王東強（1977—），男，博士；唐云建（1981—），男，博士。E-mail：huangliliym@163.com

2012-06-01

2012-08-13

1002-8331（2013）23-0137-04

CNKI出版日期：2012-09-07 http://www.cnki.net/kcms/detail/11.2127.TP.20120907.0900.012.html