一種基于機器視覺的眼睛閉合度計算方法

長治學院 韓尚儒

汽車駕駛人員會受到噪聲，光照不均勻等因素影響，這些問題均會引發駕駛人員出現駕駛疲勞。本研究針對駕駛人員臉部識別，對眼部進行識別，應用perclos原理基礎上使用眨眼頻率輔助檢測方法以評判駕駛人員疲勞度。首先提取和檢測駕駛人員臉部特征，利用Gabor濾波法針對光照不均勻，YCbCr顏色空間實現人臉膚色分割，提取人臉特征后利用垂直、水平積分投影定位在人臉區域，在人臉定位前提下利用人眼位置特征，初定位人眼區域，計算各連通區域大小，以去除人眼圖像噪聲，最后定位于人眼區域，使用人眼高寬比來確定最終人眼閉合度，基于erclos的P80原理評判駕駛人員疲勞度。由于疲勞駕駛很難檢測，因此規定執行過程中難度較高。本研究包含模式識別，圖像處理，數據分析等多種知識融合，構建可用于檢測駕駛人員疲勞度的系統。

1 駕駛人員臉部特征提取及檢測

第一，光照預處理檢測法。由于駕駛人員常年在野外駕駛工作，因此光照預處理需要重點考慮。針對光照變化不敏感圖像的表示法可參考Gabort函數濾波法。圖像邊緣圖可利用人臉器官橫紋特征，進而對光照不敏感特性等圖像二維Gabor函數濾波，其類似加強圖像邊緣輪廓，灰度圖像一階及二階導數，對于周邊光照變化不敏感，在圖像增強中非線性變化也經常使用上述方法，對光照變化有一定的補償，但會存在局限性。

第二，Haar-Like特征提取，國外研究學者提出Haar-Like特征，研究學者采用不同類別特征應用該算法進行實物檢測，可通過該策略獲取像素點灰度值，之后計算該圖像可獲得特征值。

第三，顏色空間選擇。RGB是人們所熟悉的顏色空間，主要面向彩色顯示器等硬件設備，在自然界中全部色彩可用紅綠藍組合描繪，人眼視覺細胞對紅綠藍靈敏度較高，所有RGB顏色均能夠表現出色彩，對于彩色照片RGB顏色空間不僅能夠代表顏色，同時還能夠代表圖像亮度，因此三種顏色具有一定的相關性。但該方法在創建膚色模型時也適用性不強，為能夠使人膚色部分與非膚色部分進行有效區分，需要在RGB空間中使用不同膚色模型進行數據分析。

2 駕駛人員眼部特征提取及檢測

對于駕駛人員疲勞度可通過多種方法進行檢測，比如借助計算機視覺進行分析人眼部位可獲得結果，因此如何評估駕駛員疲勞狀態通常需要多種方法參與。本研究使用計算機算法進行眼睛狀態，之后根據駕駛人員疲勞度，判斷其是否真實處于疲勞駕駛狀態中。計算眼瞼率的方法可用于獲取目標圖像邊緣，因此眼瞼作為人眼上部區域，可使用擬合算法擬合與上眼瞼最接近曲線，具體算法如下所示：

在上述公式中眼瞼曲線變化率用Δθ表示，補償用ΔL表示，眼睛的高度和寬度，用eyehigh以及eyewidth表示，因此眼瞼曲率近似公式如下所示：

如果所計算眼瞼曲率大于0表明眼睛處于睜開狀態，反之則為閉合狀態。該方法對于眼角定位需求較高，同時對眼瞼曲線擬合也會形成無法遇到預料的誤差。虹膜面積計算法，主要通過虹膜面積測量眼睛實時狀態及檢測眼睛閉合程度，該方法能夠實現對眼臉準確定位，然而在光照變化度較高的基礎上很難確定眼瞼位置，而在眼睛閉合狀態下，眼瞼與紅膜無較大差別，因此檢測虹膜面積難度較高。SVM法，是復雜數據集數據處理方法，能夠使數據集不同種類合理區分，利用這種分類器進行人眼分類可獲得超平面，之后使用分類法獲得睜眼圖像和閉眼圖像，在這種訓練過程中計算量較大，因此很難準確判斷眼睛實時狀態。

2.1 基于投影法人眼區域特征提取

投影法能夠提取人眼部重要信息，根據投影策略可獲得有效信息。整體來看，該檢測策略具有實時性效果，本研究使用投影算法進行人眼判別，通常人雙眼輪廓和長寬比基本一致，在駕駛員開車過程中兩只眼睛的眨眼頻率基本一致，因此可選擇一個眼睛數據來判斷兩只眼睛實時狀態。結合前人研究，可利用投影計算法，獲取人眼坐標之后提取對應的眼部信息，測試人眼狀態，在圖像觀察時可發現該區域圖像精確度和復雜度是與之前圖像存在的差別，不僅包含眼睛，膚色，同時眼睛中還包含眼白，虹膜等細微特征，如果設置圖像灰度值為0到K，則K為灰度值高峰值，可將像素分為S0和S1，各灰度值為像素點個數比像素綜述。

S0的出現概率如下公式所示：

S1的出現概率如下公式所示：

兩組方差如下公式所示：

在處于0到K之間，當方差取最大值時t值為最理想閾值T，將所獲得的閾值T對人眼區域圖像進行二值化處理。

2.2 數學形態學運算

使用圖像處理策略能夠獲得較好信噪比圖像信息，結合上述圖像可判斷該圖像中包含部分干擾因素，比如睫毛等均會對圖像處理產生干擾，這些干擾也會影響眼部信息分析，因此在圖像處理過程中可使用開運算和閉運算進行圖片分析，以提高圖片信噪比。形態學是模式識別中的重要理論，該理論目前已獲得一定發展，相比傳統圖像處理算法來說，數字形態學采用結構性算法進行圖像處理，在圖像處理中數學形態學包含開運算和閉運算等。

開運算能夠起到先腐蝕再膨脹的效果，腐蝕時將邊界無意義點去除之后，開展膨脹操作，能夠使圖像邊界逐漸恢復原有形狀，經過腐蝕圖像基本無意義邊緣點存在，因此開運算能夠起到平滑圖像邊緣的功能，可用于去除小像素點且不會改變原有圖像形狀。

針對上述結果發現，無論采用開運算或閉運算均能夠實現圖像邊緣平滑，但開運算同時能夠去除圖像邊緣毛刺，進而去除噪音點產生的干擾，因此對于眼部處理時使用開運算進行操作時獲得。

根據上述研究發現，經過開運算之后人眼區域相對明顯，小區域干擾因素能夠被完全去除而保留眼瞼部位，因此采用開運算用于眼部圖像處理是比較合適的。

3 人眼狀態特征提取

經上述研究可找到人眼邊緣數據，為能夠檢測駕駛人員實時位置同時利用該方法還能夠實施檢測人員狀態，判斷其是否處于駕駛狀態中。眼睛閉合程度是利用計算機對應算法獲取人眼閉合程度，同時借助積分投影確定人眼輪廓觀察，即可獲得人眼實時狀態。采用遍歷法對人眼各個部位檢測進而獲得人眼長度，寬度的相關信息。

利用該方法能夠獲取在完全張開時人眼λmax值和完全閉合時的λmin值，包含其他狀態人睜眼參數。針對眼睛圖片進行大量訓練并獲取λmax值為0.43，λmin值為0.16，利用這些信息能夠測試眼睛困倦度。眨眼頻率，一個完整眨眼，包含睜開、閉合這兩個過程，眨眼頻率是指在單位時間內完成眨眼的次數，眨眼頻率通常可反映駕駛人員疲勞狀態，如果其處于十分疲勞則眨眼頻率則為異常狀態。

在特定視頻中可對10s內眼睛閉合度進行實時監測可以發現，每個波谷代表駕駛人員眨眼動作，在本次實驗中將0.2設置為判斷眨眼的閾值。

4 駕駛人員疲勞狀態判定

本研究可借助perclos原理，該原理是在單位時間內檢測人眼睛閉合所占時間比例，通常該原理包含三大標準，可用于判別駕駛人員眼睛閉合所占時間包括P70，P80以及EM標準。P70以及P80是判斷人眼閉合度高于70%和80%，這種情況下可判定駕駛人員的眼睛處于閉合狀態，EM的判定標準是根據人眼閉合速率均方差，進一步判斷駕駛人員的疲勞度。但綜合實驗來看，采用P80的標準可獲得理想實驗結果，利用該原理判斷駕駛人員疲倦在于其原理要求首先識別人臉方位，進而識別人眼方位，能夠獲得人眼具體信息，根據P80標準判斷人眼狀態，即可設置閾值f，當人體出現應激反應時f值會快速升高并高于閾值。比如駕駛人員眼睛進沙或受到強烈光照，如果其處于疲勞狀態系統所測量的f值會高于閾值，這時系統會給駕駛人員提出警告指令，如果駕駛人員處于精神精神狀態則不會發出警告信息。結合研究發現，人眼受到眼睛刺激之后會形成眨眼條件反射，根據perclos標準可判斷其眨眼為疲勞導致反射，這種情況下應當引入眨眼頻率的判定公式，本研究設置眨眼頻率高于30次每分鐘則代表是應激反應，而不是駕駛人員的疲勞狀態。

總結：總而言之，本研究針對駕駛員的臉部特征進行提取檢測，利用Gabor濾波法進行光照不均勻圖像光線預處理，同時采用Haar特征法進行人臉特征提取，利用垂直，水平投影積分定位于人眼區域。基于人臉定位前提下利用人臉位置特征粗定位人眼區域，去除人眼圖像噪聲，采用形態學開運算和閉運算提高眼睛定位準確度，最后利用積分投影定位在人眼中，借助perclos原理中P80標準進行駕駛人員疲勞狀態的判斷。由于駕駛人員開車時會受到應激刺激而出現眨眼，這種情況下判定疲勞程度的f值會快速提高，導致系統出現誤判，因此需使用眨眼頻率聯合P80標準進行疲勞程度的判定，能夠提高系統檢測準確度，最終將閾值f定為0.16，這種情況下駕駛人員可被判定為處于疲勞狀態。