基于HSV空間優化耦合參數PCNN的人眼定位方法

王 霞，牟駿杰，王蒙軍，栗 洋

(河北工業大學 電子信息工程學院，天津 300401)

基于HSV空間優化耦合參數PCNN的人眼定位方法

王 霞，牟駿杰，王蒙軍，栗 洋

(河北工業大學 電子信息工程學院，天津 300401)

為解決人眼定位中受光照、人臉姿態、人眼開閉影響的問題，提出了一種HSV空間膚色模型與優化耦合參數的脈沖耦合神經網絡(Pulse Coupled Neural Network，PCNN)相結合的人眼定位算法。將RGB空間圖像轉化為HSV空間圖像，根據膚色檢測人臉圖像，利用優化耦合參數PCNN模型良好的捕捉特性及衰減特性，對圖像進行分割，提取出人眼范圍，利用形態學運算對圖像進行增強處理，去除背景干擾，精確定位人眼。實驗結果表明，所提算法在不同光照條件、不同人臉姿態，人眼閉合均能成功定位，且具有定位準確、速度快、不受人眼開閉程度影響的特點。

膚色模型；數學形態學；脈沖耦合神經網絡；人眼檢測

人眼定位在計算機視覺領域中具有重要地位，提高定位準確性、加快檢測速度對于疲勞檢測、臨床醫學以及虹膜支付等領域發展具有極大的現實意義。人眼定位算法發展至今，已經出現了一些實現方法，文獻[1-2]使用基于色彩信息概率模型的檢測法，依據眼睛顏色與膚色差異定位人眼。該方法具有檢測速度快的特點，但受光照、亮度等因素影響。文獻[3-5]利用Adaboost算法對眼部圖片訓練，用訓練生成的檢測器定位人眼。該方法具有檢測成功率高的特點，但是每次檢測前都需要利用Harr-like特征進行訓練，檢測速度低。文獻[6-7]用積分投影方法檢測出人眼大致位置，利用邊緣算子提取邊緣信息，再用Hough變換定位人眼。該方法不能在人臉姿態變化的狀態下檢測人眼。文獻[8-9]在YCb’Cr’色彩空間中，利用膚色對人臉進行檢測，采用幾何特征對人眼分割，利用積分投影定位人眼，該方法具有光照，人臉姿態不敏感特性，但當眼睛處于閉合狀態時，該方法檢測失效。

針對人眼定位過程中易受到光照、人臉姿態、人眼閉合等因素的影響，本文提出了一種基于HSV色彩空間優化耦合參數PCNN結合的人眼定位算法，HSV色彩空間具有亮度分離的特性能有效的克服光照對檢測的影響。優化耦合參數PCNN模型具有良好的衰減和捕捉特性并且不必進行特征訓練，即可準確完整地分割人眼，去除眉毛、頭發等干擾，克服了人眼閉合情況下檢測失效的難題，提高了檢測速度。對人眼分割結果進行形態學處理可以去除背景邊緣干擾，進一步提高人眼定位準確性。

1 人眼定位算法設計

1.1 人眼初定位

利用HSV空間膚色模型檢測人臉，去除不同自然光照和背景環境影響，根據人的五官特征，將人眼檢測范圍縮小到人臉上半部分，實現人眼的初定位。

1.1.1 RGB色彩空間轉換為HSV色彩空間

在HSV色彩空間下，利用膚色進行人臉檢測， HSV分別代表Hue色調、Saturation飽和度以及Value值[9-10]。對人臉進行檢測，實際上就是尋找人臉在色彩空間中的聚類特征，但聚類特征極易受到亮度的影響。依據HSV色彩空間具有亮度，色調以及飽和度分離的特點，可直接得到亮度信息，使用飽和度以及色調進行聚類，這樣人臉檢測不受亮度干擾。

1.1.2 確定人臉范圍

設定Hue的閾值對膚色區域進行分割，濾波，自適應區域歸并，使膚色的像素值為1，非膚色的像素值為0，同時將人眼眉毛部位像素也置1，從而獲取膚色范圍。膚色范圍提取參數值設定為

(1)

式中：Cr為紅色分量，Cb為藍色分量。提取出膚色范圍，如圖1b所示，與原始圖像(如圖1a)相乘，即可得到人臉范圍，如圖1c所示。

a原始圖像 b膚色范圍 c人臉范圍圖1 人臉檢測結果

由圖1檢測結果可知，HSV色彩空間膚色模型法實現的人臉檢測，可以有效的屏蔽人臉以外的區域。

1.1.3 人眼初定位

圖2 人眼初定位

依據人的五官特征可知，人眼約位于臉高2/5處，因此可以截取人臉上半區域作為待檢測區域，縮小人眼檢測的范圍，為人眼分割做準備，所截取的部分如圖2所示。

1.2 人眼分割

設計優化耦合連接系數PCNN模型，根據其良好的衰減和捕捉特性，對初定位圖像進行人眼分割，獲取人眼分割圖像。

1.2.1 PCNN模型

PCNN模型是由Eckhorn根據哺乳動物大腦視覺皮層運行的機理提出的一種視覺皮層同步發放脈沖的網絡模型，作為一種單層次的二維反饋型的神經網絡，它由若干個脈沖耦合神經單元互聯構成[11]，其結構如圖3所示。由于PCNN模型直接源自哺乳動物的視覺特性，利用神經元的學習特性、閾值指數衰減特性以及神經元之間的鏈接強度，可有效的對圖像進行分割。與其他的圖像分割方法不同，PCNN是模仿人類視覺特性，對圖像進行分割時完全利用圖像的自身屬性，不需要像傳統神經網絡模型一樣進行訓練，可以有效提高分割速度。

圖3 PCNN模型結構

為提高PCNN模型運行的效率，根據分割時具體參數要求，將PCNN模型進行簡化。簡化后，單個PCN(Pulse Coupled Neural)神經元通過連接域實現相互影響，可以通過改變連接矩陣控制連接強度，操控神經元的影響程度。簡化后的表達式如。

Fij(n)=Iij

(2)

(3)

Uij(n)=Fij(n)(1+βLij(n))

(4)

Eij(n)=exp(-αE)Eij(n-1)

(5)

(6)

式中：Fij(n)是反饋輸入通道；Iij灰度圖像的灰度值；Lij(n)是各個神經元內部連接輸入矩陣；Uij(n)是神經元內部活動信號；Eij(n)是動態閾值；Yij(n)是脈沖輸出序列；Wijkl是連接閾值矩陣；β是連接強度；αE是閾值衰減的時間常數。

1.2.2 改進參數的PCNN進行人眼分割

由PCNN的單個神經元PCN鄰域捕捉特性可知，圖像像素點灰度值越大，其脈沖發放周期越短，由于人臉中眼睛部分灰度值比其他部位灰度值都低，因此人眼外的膚色區域理應先被點火。當鏈接輸入信號到達時，動態連接項Uij升高，同時由于PCNN具有指數衰減的特性，且被參數αE所控制，促使膚色區域帶動周圍的非人眼區域同步點火，人眼區域由于灰度值最低，最后被點火。根據PCNN的領域捕捉特性以及衰減特性，通過選取恰當的點火次數及衰減率，可有效的分割出人眼區域。由于人眼部分與眉毛部分灰度值接近，在利用PCNN對閉眼圖像進行分割時，可能同時分割眉毛區域，干擾分割結果，因此衰減指數及迭代次數的選取，對分割結果的好壞起著決定性作用。本文通過大量實驗，選取最佳的迭代次數N=12，衰減指數αE=0.185，使眉毛及膚色區域都被優先捕捉，人眼得以分割。

神經元PCN的連接強度β控制著鄰域對中心神經元點火貢獻程度，一般取值固定，若選取固定的連接強度，容易使

分割過程中灰度值相近神經元不能被同步激發，造成人眼區域殘缺的問題。根據區域內的數據及的離散程度可通過均方差反應，因此本文提出用眼睛邊緣區域PCN的灰度均方差來表示β。改進的連接系數β，一定程度上兼顧了人眼區域以及邊緣信息的完整性。β改進模型為

(7)

式中：xmn表示的是以(i,j)神經元為中心的其他9個領域神經元的灰度值；xij表示的是m×n區域神經元灰度的均值。利用改進參數后的PCNN模型進行分割，12次迭代點火過程分別由圖4～5所示。

圖4 睜眼12次點火過程

圖5 閉眼圖像12次點火過程

1.3 精確定位人眼

利用形態學變換去除分割圖像中邊緣干擾，遍歷二值化圖像，取值為1且面積最大的兩個區域，作為人眼區域，實現人眼精確定位。

1.3.1 形態學變換

低帽變換(bottom-hat)和高帽變換(top-hat)都是由數學形態學中基本運算推導出來的算法。其中低帽變換具有低通濾波的特性，而高帽變換具有高通濾波的特性。對圖像進行開啟運算、閉合運算、低帽變換、高帽變換分別由式(11)～(14)表示。

(8)

(9)

Bottom=f=(f·b)

(10)

Top=f-(fob)

(11)

式中：f是原始圖像；b是結構元素因子；Θ是腐蝕算子；⊕是膨脹算子。

由式(8)～(11)可以看出，數學形態學運算中結構元素因子b的形狀和大小對于形態學處理結果有著重要的影響。選取構造形狀、大小不同的元素可以分析不同的圖像成分。本文選取了3×3圓盤形狀的結構元素，利用此結構元素進行形態學運算具有運算速率快，運算結果精確的特點，并且小尺寸的結構元素對于背景邊緣去除的效果要優于大尺寸的結構元素。

高帽變換具有高通濾波的特性，圖像經過高帽變換后突出其灰度峰值，即為圖像背景信息，低帽變換具有低通濾波特性，原始圖像經過低帽變換后突出其灰度谷值，即為突出目標區域。將高帽變換和低帽變換相結合，起到圖像增強的作用，如式(12)。

Top_Bottom=f+Top-Bottom

(12)

高帽變換和低帽變換相結合后圖像得以增強，將增強后的圖像輸入b為3×3的圓盤形結構元素因子的開運算中，即可以得到去除邊緣后的人眼圖像。如圖6所示。

a 睜眼形態學處理 b 閉眼形態學處理圖6 高低帽變換及去背景過程

1.3.2 精確定位人眼

根據去邊緣后二值圖像，值為1且面積最大的兩個區域，即為人眼精確區域。利用矩形框出人眼區域實現精確定位，定位結果如圖7所示。

a 睜眼定位結果 b 閉眼定位結果圖7 精確定位效果圖

2 實驗結果

2.1 仿真平臺搭建

在型號為VN7-591G-56BD的宏碁筆記本電腦上設計一個人眼檢測的系統，硬件采用Intel酷睿i5第四代處理器，處理頻率2.90 GHz， NVIDIA GEFORCE GTX860m顯卡，內存為4 Gbyte，軟件采用MATLAB平臺。實驗圖片來自由普通手機攝像頭，分辨率為640×480，共采集了200張樣本圖片，根據不同自然光照，不同人眼開閉狀態, 不同人臉姿態等要素，共分為10組測試樣本。

2.2 仿真結果及結果分析

2.2.1 主觀結果及結果分析

人眼定位主觀結果共分為以下三部分：1)不同光照條件下人眼定位結果，如圖8所示；2)不同人眼開閉狀態定位結果，如圖9所示；3)不同人臉姿態定位結果，如圖10所示。

a 強光下 b 弱光下圖8 不同光照定位結果

a 閉眼 b 睜眼1 c 睜眼2 d 睜眼3圖9 不同人眼開閉狀況定位結果

a 仰視 b 俯視 c 左偏 d 右偏圖10 不同人臉姿態定位結果

由圖8分析可知，本算法適用于不同自然光照條件下的人眼定位，無論光照強度強弱，均能準確定位人眼。由圖9分析可知，本算法不受人眼開閉狀態影響，人眼不同開閉狀態下均能準確定位人眼。由圖10分析可知，本算法基本不受人臉姿態、角度偏移的影響，人臉左右偏離不大于45°，上下偏離不大于60°，均可準確定位人眼。

2.2.2 客觀結果及結果分析

對不同光照強度，眼睛不同開閉狀態，人臉不同姿態的10組200張樣本圖像進行實驗，成功率如表1所示，檢測時間如表2所示。

表1 不同方法定位成功率表

樣本圖片成功率/%本文方法色彩模型法Otsu法正常光照94.0086.4086.80非正常光照91.3080.0083.50人眼打開96.4090.2090.10人眼關閉89.60——無姿態變化94.5088.6088.90姿態變化90.3084.4083.00

表2 不同方法定位時間

樣本圖片定位時間/s本文方法色彩模型法Otsu法正常光照1.812.563.67非正常光照1.962.683.78人眼打開1.872.873.54人眼關閉2.06——無姿態變化1.782.763.47姿態變化2.092.843.63

表1給出結果表明，色彩模型法和Otsu法中法在正常光照條件以及姿態不變化的情況下都可以給出較好的檢測效果，但當人臉姿態發生變化以及光照不正常這兩種情況下，定位的成功率有所下降。在人眼閉合的情況下，兩種方法均不能成功定位人眼。表2給出的結果表明，本文定位方法速度較其他兩種方法速度更快。綜上，本文提出的人眼定位方法，在不同光照條件下，人臉偏離中心發生姿態變換及人眼處于閉合狀態下，均能實現人眼定位，具有適應性強、速度較快的特點。

3 小結

傳統方法受關照強度、臉部偏離、人眼開閉等因素影響較大，而這些敏感因素對于定位人眼來說，是亟待解決的問題，本文提出了一種將HSV色彩空間膚色模型、改進脈沖耦合神經網絡以及數學形態學三者相結合的人眼檢測方法，實現了人眼的精確定位。根據檢測結果可以看出，本文人眼定位方法具有對自然光照不敏感、臉部偏離不敏感、人眼開閉不敏感的特性。

[1] 朱淑亮, 王增才, 王樹梁,等. 頭部多角度的眼睛定位與狀態分析[J]. 重慶大學學報：自然科學版, 2010, 33(11):20-26.

[2] BAPTISTE C, SOTOMAYOR M, VIZCAYA P. Segmentación -y parametrización automática de rostros en videos[J]. Bogotá: Pontificia Universidad Javeriana, 2002, (10):13-15.

[3] NIU Z, SHAN S, YAN S, et al. 2D Cascaded AdaBoost for Eye Localization[C]// Proc. of Internationl Conference on Pattern Recognition, 2006. [S.l.]：IEEE Press, 2006:1216-1219.

[4] ZHANG X, TANG Q, JIN H, et al. Eye location based on adaboost and random forests[J]. Journal of Software, 2012, 7(10):2365-2371.

[5] 孟令軍, 于磊, 郭雄飛. 疲勞檢測中人眼定位方法研究[J]. 電視技術, 2015, 39(1):133-135.

[6] 張杰, 楊曉飛, 趙瑞蓮. 基于積分投影和Hough變換圓檢測的人眼精確定位方法研究[J]. 電子器件, 2005, 28(4):706-709.

[7] KHAIROSFAIZAL W,NOR'AINI A J. Eyes detection in facial images using circular Hough transform[C]//Proc. 5th International Colloquium on Signal Processing & Its Applications.[S.l.]: IEEE Press, 2009: 238-242.

[8] WANG X, YAN G, YAN W. Eyes location based on maximum entropy segmentation and skin model[J]. Computer Engineering，2010，7(36):161-165.

[9] 楊秀芳, 戚銀城, 李婷,等. 基于YCb'Cr'膚色特征和Otsu算法的人眼定位優化方法[J]. 南京郵電大學學報：自然科學版, 2014, 34(1):99-102.

[10] GHIMIRE D, LEE J. A robust face detection method based on skin color and edges[J]. JIPS, 2013, 9(1):141-156.

[11] CHEN J, SHIBATA T. A neuron-MOS-based VLSI implementation of pulse-coupled neural networks for image feature generation[J]. IEEE Trans. Circuits & Systems I Regular Papers, 2010, 57(6):1143-1153.

王 霞(1970— )，女，博士，教授，碩士生導師，主研計算機視覺、光電圖像處理；

牟駿杰(1990— )，碩士生，主研計算機視覺、光電圖像處理；

王蒙軍(1978— )，博士，副教授，碩士生導師，主研機器視覺、光電信息檢測與處理、光譜分析；

栗 洋(1989— )，碩士生，主研計算機視覺、光電圖像處理。

責任編輯：哈宏疆

Eye Location Based on HSV Space Optimized Coupling Parameters of PCNN

WANG Xia, MOU Junjie, WANG Mengjun, LI Yang

(SchoolofElectronicsandInformationEngineering,HebeiUniversityofTechnology,Tianjin300401,China)

The paper proposes an algorithm of human eye location, which combines skin color model with optimized coupling parameters PCNN model. Transforming RGB space image into HSV space image, detect skin color. Then detecting the image of human face based on skin color model. In order to separate out the scope of the human eye, properties of coupling parameters optimized PCNN model of well capturing and attenuation are employed to segment the image. Conducting image enhancement by combining the top hat transformation with a low cap transformation. Implementing morphological open operation processing on the enhanced image, removing background noise, and locking the accurate positioning of the eyes with the gray curve. According to the result of simulation, it shows that this algorithm can achieve accurate positioning of human eye under differently illuminant background. This algorithm has superiorities both in positioning accuracy and high speed. Moreover, it is not affected by human eyes’ states, which means it can operates well in all conditions no matter the human eyes are opening or closing.

skin color model; mathematical morphology; PCNN; eye detection

河北省高等學校自然科學研究重點基金項目(ZD20131043)

TP391.41

A

10.16280/j.videoe.2015.24.027

2015-06-07

【本文獻信息】王霞，牟駿杰，王蒙軍，等.基于HSV空間優化耦合參數PCNN的人眼定位方法[J].電視技術,2015，39(24).