基于瞳孔定位技術的視覺跟蹤系統的研究*

張 琴

( 廣東技術師范學院，廣東 廣州 510665 )

基于瞳孔定位技術的視覺跟蹤系統的研究*

張 琴

( 廣東技術師范學院，廣東 廣州 510665 )

設計了一款基于瞳孔定位技術的視覺跟蹤系統。該系統通過安裝在眼鏡上的攝像頭采集人眼球瞳孔運動圖像，并利用硬件電路分離視頻同步信號，然后將信息傳送至S3C6410嵌入式處理器，處理器利用圖像處理算法計算出人的瞳孔運動軌跡，從而得到人眼瞳孔的實時定位信息。該系統具有較為廣泛的應用前景，可以通過人眼睛的轉動來實現對各種智能化設備的控制，能夠應用于殘疾人智能護理、病床智能護理等實際領域。

瞳孔定位；視覺跟蹤；圖像處理；嵌入式系統

0 引言

視覺跟蹤(Visual Tracking)技術是計算機視覺領域中的一個重要問題。所謂視覺跟蹤，就是指對圖像序列中的運動目標進行檢測、提取、識別和跟蹤，獲取運動目標的運動參數(如位置、速度、加速度等)以及運動軌跡，從而進行深入一步的處理與分析，實現對運動目標的行為理解，以完成更高一級的任務[1]。由于視覺跟蹤技術在很多領域有著廣泛的應用前景，視覺跟蹤技術已經成為人工智能領域一項熱門的研究課題。

本文設計了一款基于瞳孔定位技術的視覺跟蹤系統。系統基本結構如下：在一款普通樹脂眼鏡的右上角部位安裝微型攝像頭，用以采集眼球活動數據，并由數據線將圖像傳輸至微處理器，再由微處理器對眼球圖像數據進行算法計算，得出眼睛瞳孔的準確運動方向。微處理器模塊由于機械尺寸較大，暫時無法固定在普通樹脂眼鏡之上，因此目前采用外置方式。

系統原理結構圖如圖1所示。

圖1 瞳孔追蹤系統原理框圖

1 系統各功能模塊

1.1 微型攝像頭模塊

攝像頭是采集人眼球活動數據的基本設備，它的采集精度和準確性對系統的質量有著關鍵的影響。經過綜合考慮，本系統選擇了OV7960攝像頭模塊，該模塊尺寸較小，最大尺寸只有9 mm，具有480TVL的水平清晰度，可以滿足眼球瞳孔定位追蹤的精度要求。

1.2 視頻同步分離模塊

為了能夠對采集到的視頻信號進行數字化處理，必須首先對采集到的彩色視頻信號進行視頻同步分離，以獲取視頻中的彩色圖像數據，這就需要視頻同步分離電路來完成。為了減少處理器的負荷，本文采用硬件方法對視頻信號進行同步分離，電路采用專用的視頻分離芯片LM1881N完成分離功能，其電路如圖2所示。

圖2 視頻同步分離電路原理圖

1.3 微處理器模塊

本系統采用S3C6410嵌入式芯片作為微處理器。S3C6410 采用ARM1176JZF-S 的內核，主頻可以達到533 MHz/667 MHz ，最大支持到8 bit 糾錯， 實現了MMU、AMBA BUS 和Harvard 高速緩沖體系結構[2]。

2 瞳孔追蹤原理及算法

系統通過跟蹤人瞳孔實時運動軌跡來實現視覺跟蹤的目的，需要較為復雜的圖像處理算法完成瞳孔識別與追蹤的工作。其中第一步是實現對視頻圖像信息的采集任務，這可以在S3C6410處理器上運行圖像采集程序實現。

圖3 圖像處理算法流程圖

在一般情況下，系統采集到的眼部圖像存在著背景光線干擾、光線反射變化、眼部運動變化等多種復雜的環境影響，因此圖像的質量并不高，難以獲得精確的瞳孔運動數據。因此必須通過專業的圖像處理算法才可以提取到清晰的眼部瞳孔圖像， 系統采用的圖像處理算法流程圖如圖3所示。

2.1 圖像的灰度化處理

為加強圖像目標區域的對比度，本文采用了一種有選擇性的灰度化方法[3]，該方法將常規的R、G、B數值映射到新的坐標空間Rn、Gn、Bn。以Rn為例，其計算過程由式(1)、式(2)確定。

當Rs≥128時，Rn的數值由式(1)給出：

(1)

當Rs<128時，Rn的數值由式(2)給出：

(2)

按照以上方法得到的灰度圖像可以產生比傳統方法更好的灰度化效果，使瞳孔部分的灰度效果在背景圖像中表現得更加突出。

2.2 圖像的濾波處理

本系統選擇了模糊矢量濾波算法。當采集到的圖像存在一定的噪聲干擾的情況下，濾波器難以區分目標圖形的邊緣與噪聲圖像之間的界線，使得目標圖像識別率降低，而模糊濾波理論可以解決以上問題[4]。圖像模糊濾波算法的核心是構造一個模糊加權均值濾波器，其計算過程由式(3)確定[5]：

(3)

(4)

而圖像像素點的歸一化權值wk數學形式由式(5)定義：

(5)

2.3 圖像的閾值分割

運用圖像閾值分割技術可以從已經濾波的圖像中提取所需的跟蹤目標信息，常用的圖像閾值分割方法有最大類間方差法和最大熵法等[6]。本文選擇最大熵法進行閾值分割。最大熵法的最佳閾值由式(6)確定[7]：

T*=argMax[Hf(t)+Hb(t)]

(6)

2.4 軌跡特征提取

系統采用選擇最小二乘法來實現瞳孔運動軌跡的直線擬合。最小二乘法的原理非常簡單，可以用式(7)來實時地描述每一條運動軌跡：

Y=kx+b

(7)

其中，k表示直線的斜率，b表示直線的截距。只要求解出k和b的數值，就可以得到圖像的運動軌跡，而根據最小二乘法原理，k、b的值由式(8)、式(9)確定[8]：

(8)

(9)

按上述方法，可以把瞳孔的運動軌跡擬合成若干段直線的組合形式，既能夠減小處理器的計算量，同時也不影響對瞳孔運動方向的判斷，符合系統對運動軌跡判決精度的要求。

3 實驗及性能分析

使用該系統，對人雙眼的瞳孔運動軌跡進行了多次的跟蹤實驗與判斷。實驗過程如下：系統在進行視覺追蹤時，由算法自動設定眼球正中位置為初始位置，當人的眼球轉動時，瞳孔的相對位置及運動軌跡發生改變，通過跟蹤瞳孔的運動軌跡，系統可以判斷出瞳孔的相對位置，并給出判斷后的二進制數值。瞳孔的位置真值表如圖4所示。

圖4 瞳孔運動方向真值表

對系統進行了多次實驗及測試，得到的實測數據如表1、表2所示。

表1 左眼瞳孔運動軌跡實測表

表2 右眼瞳孔運動軌跡實測表

由表1、表2數據可知，系統對人眼瞳孔軌跡追蹤的實時響應時間較快，左眼平均響應時間為23 ms，右眼平均響應時間為23.5 ms，數據接近，可以滿足一般情況下對系統實時性的要求。在測試中發現，系統對于瞳孔水平方向運動軌跡的跟蹤準確度較高，正確率達到93.13%，而對垂直方向的瞳孔運動追蹤準確度稍低，正確率為86%。分析原因，這是因為人體的眼球圖像近似于一個水平放置的橢圓，左右方向的軸距較長，上下方向的軸距較短，所以在進行軌跡追蹤時，垂直方向的瞳孔運動軌跡距離較短，采集到的像素點較少，因此系統容易造成誤判；而水平方向的運動軌跡較長，采樣到的數據點較多，系統擬合出的直線軌跡較為精確，因此判決正確率較高。

4 結論

在一般應用條件下，本文所提出的系統已經可以滿足視覺跟蹤技術對于實時性和準確度的要求，但在更高要求的場合應用時，系統的性能還需要進一步提高，這可以通過采用更高性能的硬件處理器以及設計更高效的軟件算法來實現，這些工作可以在下一步的研究中繼續優化與改進。

[1] BABU R V, PEREZ P， BOUTHEMY P. Robust tracking with motion estimation and local kernel-based color modeling[J]. Image and Vision Computing, 2007(25):1205-1216.

[2] 徐媛媛,匡斐,鐘璐遠，等.基于ARM11平臺和GPRS遠程無線圖像報警系統的研究[J].微型機與應用,2015,34(2):38-40.

[3] 周金和，彭福堂.一種有選擇的圖像灰度化方法[J].計算機工程，2006,32(10):198-200.

[4] SHEN Y， BARNER K E. Fast adaptive optimization of weighted vector median filters[J].IEEE Transactions on Signal Processing, 2006, 54(7): 2497-2510.

[5] LUKAC R, PLATANIOTIS K N, VENETSANOPOULOS A N, et al. A statistically-switched adaptive vector median filter[J]. Journal of Intelligent and Robotic Systems: Theory and Applications,2005, 42(4): 361-391.

[6] Qi Zhengwei, You Jinyuan. Formalization of P systems by Maude [J] . Journal of Shanghai Jiaotong University (Science), 2005, 10(3):260-264.

[7] MORILLAS S, GREGORI V, PERIS-FAJARNES G, et al. A fast impulsive noise color image filter using fuzzy metrics[J]. Real-Time Imaging, 2005, 11(5-6): 417-428.

[8] GHEORGHE P. P systems with active membranes: attacking NP complete problems[J] . Journal of Automata Languages and Combinatorics, 2001(6): 75-90.

Research on the visual tracking system based on pupil positioning technology

Zhang Qin

(Guangdong Polytechnic Normal University, Guangzhou 510665, China)

A design of the visual tracking system based on pupil positioning technology is presented in this paper. The human pupil moving images can be collected through the cameras fixed on the glasses, then the video signals can be separated by the dedicated circuit. Afterwards， the video information will be transferred to the embedded processor S3C6410，which can calculate the trajectory of the human pupil through the image processing algorithms. This visual tracking system can be used to control kinds of intelligent devices depending on the eye movements analysis, and it can also be used in many practical fields, such as the disabled care ,the patient care, and so on.

pupil position; visual tracking; image processing; embedded system

廣東省自然科學基金(S2012010008437)

TP391

A

1674-7720(2016)04-0054-03

張琴．基于瞳孔定位技術的視覺跟蹤系統的研究[J] .微型機與應用，2016，35(4)：54-56.

2015-09-25)

張琴(1976-)，通信作者，女，碩士，工程師，主要研究方向：計算機與通信工程。E-mail：573749120@qq.com。