基于雙眼定位與狀態判決疲勞檢測算法

唐美霞，何 勇

(1.南寧職業技術學院 信息工程學院，廣西 南寧 530008；2.湖南科技大學 計算機科學與工程學院，湖南 岳陽 414000)

0 引 言

基于計算機視覺方式檢測駕駛員疲勞狀態的主要依據是檢測駕駛員的雙眼狀態，如果駕駛員兩個眼睛都已經閉合，那么說明駕駛員已經處理疲勞狀態[1-7]。譬如，文獻[8]提出了一種非侵入式駕駛員疲勞狀態檢測方法。首先，采用AdaBoost算法檢測到臉部區域。然后，基于臉部幾何形狀來定位眼睛的感興趣區域。在這個區域，通過徑向對稱變換精確定位眼睛瞳孔。通過主成分分析訓練3個特征空間來識別眼睛狀態。但該方法在定位眼睛的感興趣區域時精度不高，后續定位眼睛瞳孔所采用的徑向對稱變換對于閉眼狀態定位效果差。文獻[9]提出一種改進的眼睛狀態檢測方法，利用“參考白”算法對原始幀圖像做光照補償處理，基于膚色特征檢測出人臉區域，利用積分投影法將人臉和眼睛分割出來，結合眉毛和眼睫毛之間距離的變化、眼睛區域黑色像素點的個數變化這兩個參數對眼睛的狀態做出判斷。該方法盡管效率很高，但是適應性較差。首先是采用膚色特征檢測的人臉區域可靠度較低，尤其是駕駛員頭發稍長時會造成面部上半部確實太多，眼睛定位很困難。而且積分投影方法定位眼睛區域的可靠性也不高，受黑框眼鏡以及面部姿態的影響較大。而且特征的魯棒性弱，易受分割誤差、尺度等影響。文獻[5]為了解決頭部多位置眼睛精確定位的問題，提出了一種基于膚色和紋理特征的算法，根據皮膚顏色以及眼睛和其它部位之間的灰度差異檢測臉部，采用二值化和形態學圖像處理方法，找到眼睛候選區域。通過計算候選區域的紋理特征值來檢測眼睛。用橢圓擬合的方法來檢查雙眼的真實性，并測量眼睛的開放程度，從而判斷駕駛員是否疲勞。該方法定位眼睛的精度同樣受駕駛員發型的影響，而且采用橢圓擬合方法檢測閉眼狀態的雙眼的精確度較低。

針對現有方法定位眼睛精度不高、特征魯棒性不強的問題，本文提出了一種非侵入方式駕駛員疲勞狀態檢測方法，采用一種時空約束的Adaboost方法從視頻中快速檢測駕駛員面部區域，結合先驗知識從面部區域中定位雙眼的可能區域，接著采用大數據Haar-like特征和Adaboost分類器快速、精確定位雙眼區域。在此基礎上，采用卷積神經網絡的LeNet5網絡架構訓練眼睛狀態分類器和檢測雙眼狀態，依據雙眼是否閉合的特性判別駕駛員是否疲勞。其中，本文采用Haar-like特征和Adaboost分類器在可能雙眼區域定位眼睛位置，相對于現有的采用投影、徑向對稱變換、橢圓擬合等方法而言，雙眼定位精度可以得到明顯提高。

1 面向視頻的雙眼區域快速定位

本文首先選擇文獻[10]所述的時空約束的Adaboost方法從駕駛員視頻中快速可靠定位面部區域，該方法不需要面部的膚色信息，受光照以及駕駛員發型的影響小。而且該方法結合了相鄰幀之間的相關性以及駕駛員面部活動的先驗知識，檢測面部區域的效率和精確度都很高。然后，本文依據雙眼在面部區域分布的先驗知識，確定雙眼的大致區域，該區域范圍大，肯定可以包含雙眼區域，但是包含的背景區域也很多。接著，我們在該區域上采用Haar-like特征和Adaboost分類器檢測精確的雙眼區域，由于雙眼的大致區域相對于面部整個區域來說尺寸很小，而且排除了面部其它區域的干擾，因此雙眼精確檢測的效率和精度都比較高。

1.1 面部快速檢測

文獻[10]指出，在駕駛員疲勞檢測系統中，駕駛員面部有兩個先驗條件：①在駕駛過程中，相鄰視頻幀檢面部的位置變化不大；②駕駛員面部視頻中最多只有一張臉。

基于這兩個先驗條件，文獻[10]提出了一種時空約束的Adaboost方法。首先，根據前一幀計算當前視頻幀中駕駛員臉部的可能位置。其次，設計了空間限制策略來抑制Adaboost方法的檢測窗口和尺度，從而減少了人臉檢測的時間消耗和誤檢。最后，設計面部知識限制策略，用于確認Adaboost方法檢測到的面部。流程如圖1所示。相對于傳統的基于Haar-like和Adaboost的人臉檢測方法，該方法的主要貢獻在于設計了3個限制策略：

(1)時間限制策略。首先，執行幀差分法來檢測移動目標；然后，根據前一幀計算當前幀中的面部的可能位置；最后，根據臉部的可能位置來限制Adaboost方法的檢測窗口，以避免在非面部窗口中的臉部檢測的時間消耗和誤檢。

(2)空間限制策略。Adaboost方法的檢測規模根據前一幀和已檢測到的面部大小進行限制，以避免在非臉部尺度上的臉部檢測的時間消耗和虛假檢測。

(3)知識限制策略。通過Adaboost方法檢測到的子窗口可以根據面部知識進行確認，以減少臉部檢測的誤檢率。如果子窗口符合知識限制，可以根據前期檢測結果立即結束臉部檢測過程，以減少時間消耗。

時空限制策略的詳細過程描述如下：

步驟1 尋找面部的可能位置。

令P0(P0x,P0y)為前一幀中f0w×f0h大小的檢測面部的中心位置。如果前一幀中沒有檢測到任何面部，則P0x=P0y=-1,f0w=f0h=0。當前幀中可能的位置P(Px,Py)可以計算如下：

(1)采用三幀差分法檢測當前幀中的移動目標，并記錄所有檢測到的目標的大小和位置。

(2)找到面積最大的目標區域S，記中心位置為P1。這個目標比其它目標更有可能成為一個面部區域，因為真正的面部在駕駛員視頻中占據較大的面積。

(3)由于駕駛員的面部有時候不會移動或移動，所以當S

如果Px=Py=-1，或f0w=f0h=0，則不限制Adaboost方法的檢測窗口和比例尺度，轉到步驟4；否則，轉到步驟2。

步驟2 限制Adaboost方法的檢測尺度。

根據先驗條件1，兩個連續幀之間的面部大小的變化不大，所以尺度限制策略可以描述為

(1)

其中，(MaxW,MaxH)是Adaboost方法的最大尺度(MinW,MinH)是Adaboost方法的最小尺度，k1和k2是系數。其中，k1=1.5，k2=0.5。

步驟3 限制Adaboost方法的檢測窗口。

限制策略可以描述如下

(2)

其中，(x,y)是Adaboost方法的檢測窗口中的任一像素，k3和k4是系數。其中，k3=k4=1.0。

步驟4 更新參數。

如果在當前幀中檢測到真實人臉，尺寸為fw×fh，中心為P(Px,Py)，則更新參數應如下：P0=P、f0w=fw、f0h=fh。

圖1 面部檢測流程

1.2 雙眼區域定位

獲取視頻中的面部區域以后，本文進一步定位雙眼區域，最終依據雙眼狀態辨別駕駛員是否疲勞。雙眼區域定位主要有3種方法，一是依據面部圖像分割結果和五官的先驗分布知識，定位雙眼區域。該方法效率很高，實現也很方便，但存在的問題是受分割誤差影響大，譬如，如果光照不均勻導致面部分割錯誤，或者黑框眼鏡等干擾導致分割中存在干擾目標塊時，雙眼區域的定位可能完全錯誤，如定位到眉毛或黑框眼鏡區域。二是依據霍夫圓或者橢圓擬合檢測瞳孔位置，間接實現雙眼區域的定位。該方法效率也較高，但對于駕駛員疲勞檢測應用而言是不適用的，因為駕駛員疲勞的主要特征是眼睛閉合，這樣，瞳孔就不明顯。而且，當帶眼鏡時可能由于反光等因素影響，導致瞳孔不明顯。三是基于紋理特征定位雙眼區域。目前應用效果較好的是基于Haar-like特征和Adaboost分類器來檢測眼睛區域。但該方法效率偏低，且虛檢較多。考慮到前面我們已經檢測到面部區域，因此我們可以依據眼睛分布的先驗知識來縮小眼睛檢測的范圍，這樣可以大幅提高運算效率，而且大幅降低虛檢現象。具體的實現方法是：

步驟1 采用雙線性插值方法，將上一小節檢測到的面部區域圖像尺寸變換為256×256。

步驟2 依據眼睛分布的先驗知識，從面部圖像中切分雙眼的可能區域圖像。記(xl,yl,wl,hl)和(xr,yr,wr,hr)分別表示左眼和右眼的可能的矩形框區域，依據先驗知識，有

(3)

步驟3 分別在左眼和右眼的可能矩形框區域(xl,yl,wl,hl)和(xr,yr,wr,hr)上進行眼睛檢測，尋找真實的眼睛區域。本文采用基于Haar-like特征和Adaboost分類器的方法，具體是使用OpenCV中自帶的眼睛檢測分類器來實現這一功能。

步驟4 依據檢測到的雙眼真實區域，從面部圖像中分別裁剪左眼區域圖像和右眼區域圖像，并采用雙線性插值方法進行尺度變換，變換后的眼睛區域尺寸為64×32。記變換后左眼圖像為Sl，右眼圖像為Sr。

2 基于卷積神經網絡的雙眼狀態檢測

對于變換后的左眼和右眼圖像，分別采用卷積神經網絡判別眼睛狀態。這里，首先需要訓練眼睛狀態分類器，采用的是卷積神經網絡常用的LeNet5網絡架構[11]，如圖2所示。該網絡架構主要包括5層，即3個卷積層和兩個抽樣層。具體實現是使用Caffe工具集中的LeNet5網絡。

圖2 LeNet5網絡結構

訓練時需要構建正負樣本數據集。本文要建立的是眼睛狀態分類器，眼睛有兩種狀態，一種是睜開狀態，一種是閉合狀態。我們要檢測的是閉合狀態的眼睛。因此，正樣本集由閉合的眼睛圖像構成，負樣本集由睜開的眼睛圖像構成。由于目前沒有公開的眼睛狀態數據集，因此我們自己構建數據集。我們拍攝了50個志愿者的共1000幅眼睛閉合面部圖像，從中裁剪出2000幅閉合眼睛圖像(不區分左右眼)，構成正樣本數據集。同時從ORL、YALE人臉數據集中裁剪出6000幅睜開眼睛圖像(不區分左右眼)，構成負樣本數據集。其中，圖像尺寸都變換為64×32。部分樣本如圖3所示。然后，使用LeNet5網絡結構對數據集進行訓練，構建眼睛狀態分類器。測試時，將圖像輸入給分類器，即可輸出眼睛狀態，輸出值為1是表示眼睛是閉合狀態，否則表示眼睛是睜開狀態。記左眼圖像Sl的分類輸出為vl，右眼圖像Sr的分類輸出為vr。

圖3 部分樣本圖像

3 駕駛員疲勞狀態檢測

駕駛員是否疲勞可以通過檢測兩眼是否閉合來判決。結合前兩節的闡述，本文所述的駕駛員疲勞狀態檢測方法的實現流程如圖4所示。首先，從視頻中快速定位面部區域位置，然后精細檢測雙眼區域位置，得到尺寸規范化的雙眼圖像。接著，分別將雙眼圖像送入已經訓練好的神經網絡分類器，輸出雙眼狀態。如果某幀圖像中輸出兩個眼睛都是閉合的結果，那么我們認為該幀圖像中的駕駛員存在疲勞狀態。否則，不存在疲勞狀態。

圖4 駕駛員疲勞狀態檢測實現流程

4 仿真實驗

為了驗證算法性能，本文設計如下仿真實驗。

首先，建立算法驗證所需的大數據集。由于計算機視覺領域目前還沒有公開的測試數據集。本文考慮自建構建大數據集。實現方法是：拍攝50個志愿者模擬的駕駛視頻(仿真實驗時車輛是靜止的)，每一個志愿者拍攝兩個視頻片段，一個片段中雙眼始終睜開，另一個片段中雙眼始終閉合。將雙眼睜開的視頻片段放入負樣本集，將雙眼閉合的視頻片段放入正樣本集。視頻片段的時長為2 s～4 s，視頻幀率為25 fps，視頻分辨率為720×576。視頻中面部區域所占整幅圖像的面積超過50%。后續實驗都是在該數據集上進行的。

其次，制定算法測試的評價指標。本文從駕駛員疲勞狀態檢測和可靠性和效率兩個方面綜合考慮，采用檢測正確率和檢測幀率兩個指標進行性能評價。檢測正確率是指檢測結果正確的視頻片段數量所占視頻片段總數的比值。考慮到視頻與圖像不同，難以做到每幀圖像都能得到一個穩定正確的結果。因此，通常采用濾波的方法對視頻中多幀檢測結果進行濾波。本文所指的檢測結果正確的含義是，檢測結果正確的視頻幀數量超過了視頻中幀數的80%。譬如，對于正樣本中某一個視頻，假設視頻幀數為100，算法對每一幀的輸出結果中如果得出的駕駛員疲勞的次數超過80次，則我們認為算法對該視頻片段的檢測結果是正確的。同樣地，對于負樣本中某一個視頻，仍假設視頻幀數為100，算法對每一幀的輸出結果中如果得出的駕駛員非疲勞的次數超過80次，則我們認為算法對該視頻片段的檢測結果是正確的。檢測幀率的計算方法是：每一個視頻片段檢測所耗費的總時間除以視頻片段所包含的幀數。在統計時，檢測幀率指標統計所有視頻檢測幀率的平均值。實驗所用的計算機性能參數為：Intel I7 CPU、DDR3 16 G RAM。計算機安裝的操作系統為：Windows 7 64 bits。算法運行的軟件開發環境為：Visual Studio 2013。

接下來進行仿真實驗，結合本文方法的兩個優勢，首先測試眼睛定位正確率，然后測試疲勞狀態檢測的正確率和檢測幀率。參與測試的除了本文方法外，還有文獻[5,8,9]所述方法，這3種方法與本文方法一樣，都是基于眼睛狀態進行疲勞狀態檢測的，所以具有可對比性。

4.1 眼睛定位實驗

首先測試定位正確率，方法是將各種方法定位的眼睛區域圖像保存下來，然后人工核對保存的圖像中是否包含一只眼睛，如果包含則認為該圖像定位正確。最后，統計定位正確的圖像數量，然后除以數據集中的眼睛總數，作為眼睛定位正確率。該值越大說明定位效果越好。圖5顯示了4種方法的定位結果，很明顯，本文方法的定位結果優于其它3種方法。

圖5 眼睛定位正確率對比

4.2 疲勞狀態檢測實驗

表1給出了4種方法的疲勞狀態檢測性能對比結果。首先從檢測正確率來分析，本文方法明顯高于其它3種方法，高出其它方法17%以上。這不僅是因為本文方法在眼睛定位階段的定位正確率明顯高于其它方法，而且還因為本文方法采用深度學習方法進行特征的提取和分類，特征魯棒性更強，尤其是相對于采用幾何特征的眼睛狀態判別方法而言，眼睛狀態分類的正確率得到明顯提高。接著從檢測幀率來分析，本文方法和檢測幀率與文獻[8]相當，高于文獻[10]，但低于文獻[9]。綜合考慮兩個指標，本文方法明顯優于文獻[8,10]，盡管檢測幀率低于文獻[9]，但檢測正確率高出文獻[9]45%。因此，綜合評價，本文方法是一種快速、可靠的非侵入式駕駛員疲勞檢測方法。

表1 疲勞狀態檢測性能對比

5 結束語

非侵入式的駕駛員疲勞檢測是目前駕駛員疲勞檢測系統研究的重要方向。本文針對現有方法在眼睛定位精度不高和特征魯棒性不強兩個的問題，提出一種非侵入方式駕駛員疲勞狀態檢測方法。主要創新工作之一是采用一種時空約束Adaboost方法從視頻中快速檢測駕駛員面部區域，采用Haar-like特征和Adaboost分類器在雙眼可能區域快速、精確定位雙眼區域，提高雙眼定位精度。主要創新工作之二是采用卷積神經網絡的LeNet5網絡架構訓練眼睛狀態分類器和檢測雙眼狀態，提高特征的魯棒性和分類的可靠性。實驗結果也表明了本文方法在眼睛定位和眼睛狀態檢測方面的優勢。但本文方法的檢測幀率還沒有達到實時，下一步還需完善。

參考文獻：

[1]Jiao Y,Peng Y,Lu B L,et al.Recognizing slow eye movement for driver fatigue detection with machine learning approach[C]//International Joint Conference on Neural Networks.IEEE,2014:4035-4041.

[3]JIANG Jianchun,JIANG Li,TANG Hui,et al.Detection of driver fatigue based on pulse IMF frequency characteristics and SVDD[J].Journal of Computer Science,2016,43(7):314-318(in Chinese).[蔣建春,蔣麗,唐慧,等.基于脈搏IMF時頻特征和SVDD的駕駛員疲勞檢測[J].計算機科學,2016,43(7):314-318.]

[4]Horng W B,Chen C Y,Peng J W,et al.Improvements of driver fatigue detection system based on eye tracking and dynamic template matching[J].Wseas Transactions on Information Science & Applications,2012,9(1):14-23.

[5]Zhang W,Wang Z,Li Y.Eye localization and state analysis for driver fatigue detection[J].Jornal of Hongqng Nvry,2013,36(1):22-28.

[6]BAI Zhonghao,JIAO Yinghao,BAI Fanghua.Driver fatigue detection based on active shape model and fuzzy reasoning[J].Chinese Journal of Instrument and Meters,2015,36(4):768-775(in Chinese).[白中浩,焦英豪,白芳華.基于主動形狀模型及模糊推理的駕駛疲勞檢測[J].儀器儀表學報,2015,36(4):768-775.]

[7]Fu R,Wang H,Zhao W.Dynamic driver fatigue detection using hidden Markov model in real driving condition[J].Expert Systems with Applications,2016,63(C):397-411.

[8]Gao X Y,Zhang Y F,Zheng W L,et al.Evaluating driving fatigue detection algorithms using eye tracking glasses[C]//International IEEE/EMBS Conference on Neural Engineering.IEEE,2015:767-770.

[9]ZHAO Xiaolin,WANG Shigang,JIANG Xiuhong,et al.Driver fatigue detection based on human eye condition[J].Journal of Jilin University (Information Science Edition),2015,33(4):449-453(in Chinese).[趙曉琳,王世剛,姜秀紅,等.基于人眼狀態的駕駛員疲勞檢測[J].吉林大學學報(信息科學版),2015,33(4):449-453.]

[10]Liu T,Xie J,Yan W,et al.Driver’s face detection using space-time restrained Adaboost method[J].Ksii Transactions on Internet & Information Systems,2012,6(9):2341-2350.

[11]Yu N,Jiao P,Zheng Y.Handwritten digits recognition base on improved LeNet5[C]//Control and Decision Conference.IEEE,2015:4871-4875.