基于PERCLOS 的疲勞駕駛檢測研究*

劉東華 劉慶華 李 楊 黃凱楓

（江蘇科技大學 鎮江 212003）

1 引言

統計顯示，全世界每年發生的交通事故導致的后果，不僅造成人員重大傷亡，還直接帶來了巨額經濟損失，將導致事故發生的因素歸類發現，在這些交通事故中約有57%的事故率跟疲勞駕駛有直接的關系［1］。疲勞對于我們來說，雖是一個尋常的機體表現，但對駕駛員這一類特殊人群來說，疲勞駕駛極易引起交通事故。同樣，對國內近幾年的交通事故頻發的原因進行分類發現，疲勞駕駛也是這些原因中的主要分類之一。

駕駛員在長時間駕駛過程中會產生的一種機體生理疲勞現象，但駕駛員在剛出現駕駛疲勞時并不會直接引發交通事故，因此若能設計一種對駕駛員在駕駛過程中實時對其進行疲勞檢測的方法，當檢測到駕駛員疲勞時立即就能給出預警，提醒駕駛員應停車休息或迫使車輛減速，甚至強制車輛靠邊停車，這樣就能有效提升車輛行駛安全系數。調查發現，在這些疲勞駕駛導致的交通事故中，如果駕駛員的機體應對能及時對其操作，一半以上的交通事故就能有效避免［2］。駕駛員在無法得到充足睡眠或長時間駕駛過程中，集中注意力目視前方、以及對方向盤的重復操作，極易產生疲勞。而研究發現，用PERCLOS進行疲勞判定，是目前最好的方法之一，測定時產生的數據也真正能夠用來判定疲勞，總體來說是對檢測駕駛員是否出現疲勞測定的最好方法［3］。

2 PERCLOS測試原理

PERCLOS（Percentage of Eyelid Closure Over the Pupil Over Time）的含義是指在單位時間內眼睛閉合狀態下所占用的時間百分比［4］。

結合圖1 可以較為容易地理解其測量原理。根據下面的計算公式，通過測量t1～t4 的值來計算PERCLOS的值。

圖1 PERCLOS的測量原理

其中f 為計算后求得的PERCLOS 值，t1～t4 代表的含義如測量原理圖所示，表示時間區間內眼睛開閉程度。

在具體實驗中PERCLOS 有三種度量標準，即為P70、P80、EM，分別代表眼睛在不同閉合程度下所占用的時間百分比。其中P80 指的是在測試過程中，檢測對象的眼睛閉合面積超過80%所占用的時間百分比。大量研究表明，在三種度量標準中對疲勞駕駛的檢測準確率最高的是P80［5］標準。

因此本文采用此標準進行疲勞判定，計算公式為［6］

用此方法追蹤眼睛狀態時，由攝像頭對駕駛員的頭部區域進行捕獲，對采集過程中可能出現的過暗圖像加上光照補償，采取YCbCr對膚色進行分割來確定人臉區域，對眼部輪廓進行提取，運用圖像處理來判斷眼睛的開閉狀態。定義檢測過程中人物眼睛睜開程度只要滿足大于20%這個條件，就記為睜開狀態，反之為閉合。

3 眼睛定位與疲勞狀態判定

算法的關鍵部分是眼睛定位與求取眼睛睜開、閉合時對應面積的值，根據PERCLOS 計算得出PERCLOS的數值，從而對其進行疲勞判定。

圖2 算法流程圖

3.1 膚色分割

在采集圖像的過程中，容易受到不同光照因素的影響，可能會無法準確捕獲人臉，為了更好地解決這種問題，消除亮度因素造成的影響，提高人臉識別的準確率，在進行人臉定位前進行必要的光照補償。

YCbCr色彩空間具有不僅聚類特性好，而且能加好的分離亮度信息，最主要的是計算復雜度低等特點［7］，而人類皮膚的顏色范圍又恰巧于色度空間中，更是集中在一個小的區域，因此可以很好被運用于人物的膚色檢測。本文選取YCbCr 對人物圖像進行膚色檢測，待檢圖像中是否存在皮膚，主要是根據圖像的像素值來進行判斷，過程如下。

1）通常攝像頭采集到的圖像由RGB 模型表示，而這種圖像亮度信息恰恰對光照變化較敏感，所以，先將RGB空間轉換到YCbCr空間，公式如下［8］：

2）膚色判定采用膚色橢圓模型，橢圓模型描述公式如下［9～10］：

根據上述公式，只要圖像的像素點能落在上述給出的設定膚色橢圓模型區域內，則判定該點為人物膚色像素點。因此，可將人臉圖像分割為兩部分區域，即為非膚色和膚色，將后者區域賦值為0。分割后結果如圖3（b）所示。

圖3 膚色分割結果

膚色分割之后的圖像中存在一些“毛刺”，即噪聲干擾，為了去除這些不必要的“毛刺”可利用形態學對其進行處理。基于形態學圖像處理具有可以對圖像數據進行一定的簡化作用，簡化之后也不會改變它們基本的形狀特性，并能去除圖像中一些不相干的結構等優點［11］。形態學圖像處理中的開操作對圖像進行處理之后，首先可以將分割之后的圖像中存在的一些細小的突出結構消除掉，并且可以優化圖像的輪廓，使其變得光滑，進一步斷開圖像中存在的一些狹窄的間斷。所以，這里采用開操作對有噪聲的圖像進行操作。開操作之后的圖像如圖3（c）所示。

3.2 人眼定位

經過膚色分割之后，圖片中區域明顯的特征點有眉毛、眼睛等，根據這些特征點很容易確定圖像中哪部分為人臉區域，最常見的方法就是進行模式匹配［12～15］，又稱為局部匹配，但此類方法忽視了臉部主要部位間的結構特征的相對位置。本文為了避免鼻子和嘴巴對眼睛定位產生影響，可根據“三庭五眼”的臉部結構對圖像進行劃分。“三庭”即人臉垂直方向均分為上庭、中庭、下庭［16］，取圖像的中庭部分作為眼睛定位區域。

人的眼部區域處的灰度特征與其他部位的灰度特征存在一定的差異，從而可以方便獲取眼睛的大致區域，選用積分投影法能較好地獲取該目標區域。先對圖像進行二值化處理，再對圖像進行積分投影操作［17］。設圖像(x,y)處的像素灰度值為P(x,y)，取兩個操作區間設為[x1,x2] 和[y1,y2]，在這兩個區間內分別用公式Sv(x)和Sh(y)來表示垂直、水平這兩個積分投影函數［18］，則

用Mv(x)和Mh(y)分別表示兩者的平均函數，則：

根據上述公式，只要圖像中的某一點的像素灰度均值出現變化時，這種變化也會導致對應的函數值跟隨均值的變化而發生變化。所以通過閾值的選擇和水平、垂直積分投影的計算，可以有效、快速地確定人眼。運用程序對獲取到的中庭部分的圖像進行二值化處理，處理后的結果如圖4（a）。對經過二值化處理之后的圖像分別進行兩種積分投影操作，操作之后的結果為如圖4（b）和圖4（c）。

圖4 積分投影結果圖

3.3 眼睛面積計算

定義確定眼睛的面積為圖像中眼睛區域內的像素點的數目［3］。普遍情況下，目標區域的寬高比值應介于1～1.6的，即為人眼區域。另外，在檢測的人物圖像中，人眼區域的面積應大于10，面積具體指的是膚色分割之后，目標膚色區域中定義下的取值設為0 的像素點的數目，此外眼睛部位的區域面積與整幅圖像總面積之應大于0.001，因此可能的眼睛目標篩選區域應滿足如下條件：

其中S0為準備篩選的目標區域中的每塊區域的面積，H 和W 則分別為對應的每塊區域的高和寬，H 指的是上下臨界點值之差，W 指的是左右臨界點值之差，S1為檢測圖像的總面積。首先去除不滿足上述條件的區域，去除之后有可能出現目標區域仍然不是唯一，說明還有其他因素干擾，如眉毛。進一步對區域劃分，從上下左右四個方位再次對目標區域進行檢索，目的除去眉毛帶來的干擾，最終可以得到眼睛部位的特征圖如圖5。

圖5 眼部特征圖

3.4 疲勞判定

測試過程中，當人物眼睛處于完全睜開狀態時，此刻眼睛目標區域中白色像素點數最多，面積也為最大值，設為Amax。反之，閉合時面積為最小值。測試過程中規定眼睛目標區域的面積若大于Amax/5 時，記為睜開狀態，否則為閉合狀態。記錄眼睛眨眼的次數及測試的開始與結束時刻，先根據測試流程來實時計算PERCLOS 值，當求出的值大于0.4，并用設定好的時間閾值比對眼睛閉合狀態下的計時，如果計時超過設定的閾值3s 時，就判定駕駛員現已處于疲勞駕駛，對其立即發出警報。

4 實驗結果分析

此方法下設計的系統其運行環境搭建為，操作系統選擇Windows 7，安裝的運行軟件選擇Visual Studio 2015，函數庫為開源的OpenCV 3.4，視頻圖像采集設備為樂視LeTMC-520。

囿于場地和設施短缺，實驗采取本地實驗室進行測試，測試對象為實驗的三名同學，測試過程分為正視攝像頭、頭部傾斜、左右輕微搖晃三種情況，對測試對象在每種情況下進行50 次的模擬測試。啟動系統，打開攝像頭對人物進行采集，程序對采集到的視頻圖像進行處理，人物分別做睜眼與閉眼操作。系統運行中，人物在睜眼狀態下，系統檢測人物不屬于疲勞，不會提示預警；當檢測到人物眼睛閉合時，計算出此刻對應的PERCLOS的值，若值大于0.4，并對眼睛閉合時間進行計時若計時時間大于3s 時，系統發出疲勞預警提示。結果表明，系統對人物頭部傾斜時的檢測效果也比較理想。

三種情況下的測試過程如圖6，最終測試結果如表1，每個人物的行為分為50次的睜眼與閉眼。

圖6 實驗測試

表1 檢測結果

實驗證明，該方法下設計的系統具有較好的魯棒性，能夠達到對駕駛員在駕駛過程中實時進行疲勞檢測的要求，在系統運行過程中能夠準確地定位人臉與人眼，并計算出眼睛睜開與閉合時的面積，根據設定好的PERCLOS 設定的值，最終能檢測駕駛員此刻的狀態是否為疲勞狀態。

5 結語

本文介紹了一種對駕駛員駕駛過程中是否出現疲勞進行檢測的方法，即對實時采集的圖像，確定眼睛目標區域，計算此刻確定區域的面積，進一步結合PERCLOS 進行疲勞判定。實驗表明，該方法雖對駕駛員疲勞駕駛行為進行疲勞判定，能取得比較理想的效果，但仍有不足之處，如：1）駕駛員頭發遮擋或者佩戴墨鏡，無法定位眼睛；2）駕駛員的頻繁低頭容易導致無法準確定位到眼睛；3）駕駛員可能會出現睡覺時不會閉眼的情況，產生誤判；因此，為了提高疲勞駕駛檢測方法的可靠性、準確性等，基于多種檢測方法的混合模式（比如融合打哈欠檢測、轉向盤檢測，車道偏離檢測等），將是未來疲勞駕駛檢測研究的主要方向。