基于YCbCr顏色空間相鄰幀差建模的眼睛定位算法研究

梁萬元 種銀保 趙 安* 向 逾

目前，基于人體眼睛狀態的疲勞駕駛監測方法由于其疲勞判定模型PERCLOS檢測符合率高，且具有非接觸性等優點，研究最為廣泛。應用于疲勞駕駛監測的眼睛定位算法較多，此類方法利用攝像頭獲取駕駛員的頭像，并定位出圖像中眼睛的準確區域，然后對眼睛的狀態(睜眼、閉眼和眨眼)進行檢測，并根據PERCLOS模型來實現對駕駛員的疲勞判定[1-2]。雖然目前大多數算法都能實現較為精確的眼睛定位，但是由于對每幀圖像都要進行從人臉定位到眼睛定位的算法步驟，處理幀速還不能完全滿足疲勞駕駛監測對于實時性的要求。人眨眼一次的平均時間約為0.2～0.4 s，根據采樣定理，要求處理幀速要達到至少10幀/s，而現有算法處理速度普遍低于10幀/s，因而極有可能出現誤判或漏判人眼瞼的開閉運動[3-6]。

實際監測中發現，駕駛員頭部運動范圍有限，且多數時候運動幅度較小，因而攝像頭采集到的相鄰兩幀圖像中的頭部位置的變化也較小，在這一前提下，若檢測出相鄰兩幀圖像中頭部位置的變化幅度，參照前一幀圖像定位出的眼睛準確區域，就可以確定出后一幀圖像中眼睛的候選區域，再對候選區域進行提取，即可得到眼睛的準確區域，這樣可以省略人臉定位和部分眼睛定位步驟，提高處理幀速。基于上述分析，本研究提出基于眼睛位移檢測模型的眼睛定位算法，來彌補傳統眼睛定位算法在速度方面的不足，從而更好的保證疲勞駕駛監測系統的準確性。

1 資料與方法

本研究以“極品飛車”游戲模擬駕駛環境，對始終處于清醒狀態的3位志愿者分別利用攝像頭以20 fps的速度和640×480的分辨率，連續采集2000幀面部圖像做為實驗樣本，在實驗期間被測者頭部在攝像頭視野內隨機的左右和上下運動，且眼睛自然開閉，圖像采集的情況見表1。

表1 3位志愿者面部圖像采集的總體情況

2 眼睛位移檢測

2.1 相鄰幀差法

運動目標檢測是指從圖像序列中將前景變化區域從背景圖像中提取出來。相鄰幀差法是常用的運動目標檢測方法，其原理是以前一幀作為背景幀，以當前幀為待檢測幀，依據兩幀之間的差值，來檢測物體運動[7]。該方法可以較好地檢測背景環境固定的情況下運動的物體。視頻檢測駕駛疲勞通常只針對頭部，因而利用攝像頭采集的相鄰幀圖像之間的差異主要體現在運動的頭部，用待測的當前幀減去作為背景的前一幀即可實現將背景部分減去，保留下頭部運動的信息。對于同一檢測對象而言，眼睛在頭部的位置是固定不變的，通過檢測頭部的運動信息即可得知眼睛位置的變化。

初步試驗表明，將采集的兩幀連續的彩色圖像轉換為灰度圖像后直接相減，得到的幀差圖噪點較多，難以區分頭部的運動信息(如圖1所示)。

圖1 灰度圖的相鄰幀差

本研究利用YCbCr顏色空間來抑制背景噪聲，其主要原理為：①將彩色圖像變換到YCbCr顏色空間對圖像進行預處理，能夠將背景從圖像中去除而留下人臉部分[9]；②將得到的圖像二值化后其結果如圖2所示。

圖2 YCbCr色彩空間的相鄰幀差

對預處理后的圖像進行相減，得到的相減結果如圖2(c)所示，并顯示出相減后得到的圖像背景噪聲絕大部分被去除，頭部運動的位移信息比較清晰，容易分析和提取，說明利用顏色空間來改進相鄰幀差法，能夠比直接灰度圖幀差更好地從相鄰彩色圖像中檢測出頭部的運動情況。因而本研究根據幀差圖的特征，提出如下計算頭部位移方法。

(1)在幀差圖中將頭部位移區域分為橫向位移①和縱向位移②兩部分。

(2)計算區域①內白色區域的橫向寬度的平均值作為頭部橫向位移Δx；區域②內白色區域的縱向寬度的平均值作為頭部的縱向位移Δy(如圖3所示)。

圖3 基于YCbCr色彩空間幀差圖的頭部位移計算示意圖

2.2 眼睛位移檢測模型

基于眼睛在頭部的位置固定這一前提，初步研究了模擬駕駛環境下，依據相鄰幀差法檢測到的頭部位移預測眼睛位移的模型。選取同一志愿者在同一背景下的200幀頭部的彩色圖像，采集過程中人的頭部在攝像頭視野內隨機的左右和運動，且眼睛進行自然的開閉。

(1)將采集的這200幀圖像以相鄰兩幀作為一組數據，利用YCbCr空間相鄰幀差法進行處理，得到199組頭部位置變化數據(公式1)：

式中Δxih為第i幀相對于第i-1幀的頭部橫向位移，Δyih為第i幀相對于第i-1幀的頭部縱向位移。

(2)對這200幀圖像利用手工選定區域的方式，劃出每幀圖像雙眼組成的最小矩形區域，找到矩形的中心點作為眼睛的中心位置，記為(xi, yi)。再兩兩進行相減，得到199組眼睛位移量(公式2)：

式中(xi, yi)為手工選定的第i幀圖像的眼睛中心位置，Δxie為第i幀相對于第i-1幀的眼睛橫向位移，Δyie為第i幀相對于第i-1幀的眼睛縱向位移。

將Δxih和Δxie，Δyih和Δyie分別作圖對比，得到結果如圖4、圖5所示。

圖4 199幀眼睛橫向位移(Δxe)與頭部橫向位移(Δxh)線性回歸分析

圖5 199幀眼睛縱向位移(Δye)與頭部縱向位移(Δyh)線性回歸分析

從圖4和圖5中可以看出眼睛位移與頭部位移呈現較強的線性關系，表明利用本研究算法檢測出的頭部位移去預測眼睛位移具有可行性。因而根據上面的實驗，建立了眼睛位移檢測模型(公式3)：

式中Δxe表示待預測的眼睛橫向位移，Δxh表示通過相鄰幀差法得到的頭部橫向位移；Δye表示待預測的眼睛縱向位移，Δyh表示通過相鄰幀差法得到的頭部縱向位移。

根據相鄰幀差法的原理可知，要實現物體運動的檢測，相鄰幀圖像中運動的物體必須有重疊的部分。若相鄰幀有重疊的部分，則眼睛位移量在模型檢測范圍之內，則可以參照前一幀圖像的眼睛位置對當前幀眼睛進行定位。若相鄰幀沒有重疊的部分，表明頭部運動劇烈，甚至有可能偏離出攝像頭的視野之外，已不能滿足本研究算法的前提條件，則利用傳統眼睛追蹤定位算法對待處理圖像進行眼睛定位。因而需要對本研究眼睛位置預測模型進行邊界限制，具體如下(公式4)：

式中F1為圖像中人臉的寬度，F2為圖像中人臉的高度。

3 眼睛定位算法步驟

(1)利用傳統算法定位出第一幀眼睛所在的矩形區域和精確位置。本研究采用的傳統眼睛定位算法的步驟主要有：膚色檢測、人臉分割、灰度積分投影和形態學處理[10-15]。

(2)基于YCbCr顏色空間的相鄰幀差圖，提取出頭部的橫向位移Δxh及縱向位移Δyh。

(3)眼睛位移預測。利用所檢測到的頭部位移對眼睛位移量進行預測：①若Δxh＜F1且Δyh＜F2，則基于公式(4)預測眼睛位移{Δxe, Δye}；②若Δxh≥F1或Δyh≥F2，則采用傳統算法對眼睛進行定位。

(4)眼睛候選區域確定。令上一幀圖像的眼睛準確矩形區域表示為{(x,y),w,h}，(x,y)為矩形區域左上角點的坐標，w為矩形的寬度，h為矩形的高度，各自的具體定義如圖6所示。

圖6 眼睛候選區域及位置參數示意圖

根據所預測的眼睛位移量{Δxe, Δye}和上一幀眼睛準確的矩形區域，即可確定當前幀眼睛候選區域(公式5)：

(5)形態學處理。上一步得到的眼睛區域是對前一幀眼睛矩形區域的一個拓展，可能會存在眉毛等非眼睛區域，利用形態學方法進一步處理，去除這部分區域，最終得到眼睛的精確矩形區域。

(6)重復步驟(2)至步驟(5)。

4 實驗結果與分析

將采集到的圖像利用基于眼睛位移檢測的定位算法和傳統眼睛定位算法[16]在Windows XP和Matlab2012平臺上進行眼睛定位，處理器為Intel Pentium雙核E2220 2.4 GHz，內存2 GB；其結果見表2。

表2顯示，本研究算法將傳統算法的眼睛定位處理速度由非實時的9幀/s提高到14幀/s，已能滿足PERCLOS疲勞判定模型對于實時性的要求，且睜眼與閉眼檢測的正確率與傳統定位算法相同，漏檢與誤檢率在可接受的范圍內，表明本研究算法在保證眼睛定位準確性的同時，較大地提高了眼睛的定位速度，達到了預期效果。實驗結果表明，本研究算法對睜眼圖像和閉眼圖像的眼睛定位準確性上無明顯差異，該算法對睜眼圖像和閉眼圖像的檢測同樣適用。

表2 兩種不同算法的正確檢出睜眼閉眼幀數率及總處理時間和平均處理速度

5 結論

本研究提出的基于眼睛位移檢測的眼睛定位算法，通過眼睛位移檢測模型來檢測相鄰幀間眼睛位置的變化量，然后根據眼睛的變化量來選取后續的定位步驟，算法具有更好的靈活性。實驗結果表明，在保證算法準確性的同時提高了算法的效率，更好保證疲勞監測與駕駛員疲勞狀態的同步性，從而滿足了疲勞駕駛監測對于實時性和準確性的要求。

本算法對眼睛位移的檢測針對的對象是相鄰兩幀圖像，即除了第一幀圖像之后每幀圖像均要進行眼睛位移的檢測，因而算法速度的提升有限。若進一步發掘圖像之間的關系，只需要每一段時間等間隔抽取部分圖像進行檢測，即可實現每幀圖像眼睛位移的檢測，其算法效率能進一步提高。而提高眼睛定位速度和準確性對保證基于眼睛狀態的疲勞監視監測方法實時性和可靠性具有重要意義，尚需進一步研究。

[1]郭克友.惡劣光照下駕駛人疲勞及注意力視覺監測算法[J].計算機工程與應用,2010,46(2):200-202.

[2]湯一平,樓勇攀,周宗思.基于全方位視覺傳感器的駕駛疲勞視頻檢測裝置的設計[J].計算機測量與控制,2008,16(9):1233-1236.

[3]王智文,蔡啟先.利用膚色分割和自適應模版匹配的人臉檢測[J].廣西工學院學報,2013,24(1):1-8.

[4]宮志鵬.一種基于膚色的人臉檢測方法[J].漯河職業技術學院學報,2013,12(2):42-44.

[5]夏偉.改進的積分投影眼睛定位算法[J].現代電子技術,2011,34(8):105-107.

[6]猶軼.基于機器視覺的飛行員疲勞監測技術研究[D].成都:電子科技大學,2011.

[7]萬纓,韓毅,盧漢清.運動目標檢測算法的探討[J].計算機仿真,2006,23(10):221-226.

[8]金濤,賈宏志,Norihiro N,等.運動的目標圓盤的輪廓和圓心提取方法研究[J].激光雜志,2010(4):24-26.

[9]Moreno P,Bernardino A.Gabor parameter selection for local feature detection[C].Iberian:Conference on Pattern Recognition and Image Analysis,2005:11-19.

[10]房瑞雪,趙曉華,榮建,等.基于腦電信號的駕駛疲勞研究[J].公路交通科技,2009,26(12):124-126.

[11]Hyunjong K,Jeonho S,Joonki P.Wavelet Transform-based Hierarchical Active Shape Model for Object Tracking[C].New York:Proceedings of International Symposium on Intelligent Signal Processing and Communication Systems,2004:256-261.

[12]童林.基于視頻的人臉識別與跟蹤算法研究[J].計算機與現代化,2013(2):1-4.

[13]周鋒華,孟憲元.司機疲勞駕駛實時檢測系統設計[J].測控技術,2013,32(1):37-40.

[14]徐來.人眼檢測技術的方法研究[J].計算機系統應用,2010,19(6):226-232.

[15]徐菲.四種人眼定位算法的比較分析[J].軟件,2013,34(3):61-64.

[16]王秀,趙雪竹,朱學峰.駕駛疲勞的眼睛狀態檢測算法[J].計算機與數字工程,2009,37(8):135-137.