基于眼部特征的駕駛員疲勞檢測方法研究*

涂超 趙波

（上海工程技術大學 上海 201600）

1 引言

據統計，我國由疲勞駕駛造成的交通事故大約占交通事故的25%～30%，由此造成大量人員傷亡［1］。因此，研究出一種能夠實時檢測疲勞的系統不僅能夠減少人員傷亡，還能避免由交通事故所造成的經濟損失。

目前疲勞檢測的方法的研究大致可以分為三類：基于駕駛員生理信號的檢測方法，基于駕駛員駕駛行為及車輛參數信息的檢測方法，基于視覺特征的檢測方法［2］。基于駕駛員生理信號的監測方法，主要是利用專門的生理傳感器檢測駕駛員生理信號，通過對這些信號的分析來實現對駕駛員疲勞狀態的檢測與判別。如牛琳博［3］通過對心率變異性和R-R間期的分析，確定了R-R間期的提取方法，并結合采集的被試心電和行為數據來判斷駕駛員是否處于疲勞狀態。基于駕駛員行為及車輛參數信息的檢測方法，主要是利用車載傳感器采集駕駛員在駕駛狀態下對方向盤、加速踏板及離合等設備的操作信息和車輛的行駛速度、側向及橫向加速度、車身的橫擺角及車輛軌跡等信息。如胡宏宇［4］利用轉向盤轉角速度時序分析對來對駕駛員的疲勞狀況進行判斷。基于視覺的檢測方法，主要是車載攝像機來監控駕駛員的行為信息，包括閉眼、眨眼、打哈欠、頭部姿勢等。通過一定的算法對駕駛員眨眼頻率、打哈欠等特征進行分析，來對駕駛員疲勞進行檢測。

研究表明，利用生理信號檢測駕駛員疲勞的方法有非常好準確性和可靠性，但是提取生理信號需要接觸性器材，這給駕駛員的駕駛帶來較大的不便。而對于基于車輛參數的駕駛員疲勞檢測方法，檢測速度太慢，無法達到實時性的要求。基于視覺的檢測方法，利用攝像頭獲取駕駛員面部信息，不會對駕駛員駕駛產生影響，并且隨著科技的發展，人類在計算機硬件制造工藝的提高以及軟件開發水平的快速進步，該方法能夠達到實時性的要求。因此，本文使用基于視覺的疲勞檢測方法。

2 級聯Adaboost人臉檢測算法

2.1 圖像均衡化處理

為了增加圖像中人臉與駕駛環境的對比度，需要對圖像進行直方圖均衡化處理［5～6］。對于灰度級在［0，L-1］范圍內的圖像的直方圖定義的離散函數為

其中rk是第k級灰度值，nk是圖像中灰度值為rk的像素個數。對于灰度圖像來說L的值為256。對于一幅灰度圖像直方圖對應關系如圖1所示。

圖1 灰度圖像直方圖

對于離散的灰度級，其均衡變變換為

由于在計算過程中對圖像的直方圖進行了歸一化處理，所以最后均衡化的結果還需要還原直方圖的表示范圍，對于灰度圖像來說，直方圖均衡化的公式為

對于圖1（a）中的灰度圖像進行直方圖均衡化的結果如圖2所示。

圖2 均衡化后的圖像與直方圖

2.2 Haar-like特征

Haar-like特征也叫矩形特征，是一種常用的特征描述算子，最早由Papageorigiou［7］等用于人臉描述的。基本的Haar-Like特征包括四種形式，如圖3所示。對于Haar-Like特征值可以表示為白色區域像素和與黑色區域像素和的差值。

圖3 Haar-like特征

對于人臉的一些特征可以用矩形特征簡單地描繪，在一幅圖像中，眼睛區域所表現出的顏色要比周圍的顏色更深，鼻梁區域的顏色要比兩側的淺。對于一張24×24的圖像來說，其Haar-Like特征的數量大約有160000個，遠遠超過了圖像本身的像素數，增加了很多的計算量。因此，需要一種簡單的運算方法來降低運算量，由此引出了積分圖的概念［8～9］，構造的積分圖如圖4所示。

圖4 積分圖

圖中ii（x，y）表示灰色區域內圖像中所有像素的和，用f（x，y）表示圖像在點（x，y）處的像素值則：

則任意區域D的像素和表示為

2.3 級聯分類器

Adaboost（Adaptive Boosting）人臉檢測算法是由Viola和Jones提出的，它是基于boost算法的改進［10～11］。該算法首先進行弱分類器的訓練，然后通過不斷更新弱分類器的權重，來構造一個強的分類器，最后通過多個強分類器的級聯來構造出分類能力更強的級聯分類器。具體算法如下：

2）設置初始化樣本權重，當yi=0，w1，i=1/2p；當yi=1，w1，i=1/2q。w1，i表示在循環開始時第i個樣本的權重。

3）對t=1，…，T（t表示當前循環次數，T表示循環總次數），樣本權重進行歸一化處理，公式如下；

4）對于每個特征j，訓練一個相應的弱分類器hj，計算當前權重下的分類錯誤率：

選擇錯誤率εt最小的弱分類器ht。

5）令βt=εt/1-εt更新樣本權重：

6）最后將將弱分類器進行組合得到強分類器為

7）然后由多個強分類器構成級聯分類器。

3 SDM算法人臉特征點檢測

SDM（Supervised Descent Method，監 督 下 降法）［12～14］算法是一種逼近函數，從最小二乘函數出發，尋找一個遞減的下降函數序列。它提出的背景就是為了更好地解決非線性優化問題，計算機視覺領域的很多問題可轉化為優化非線性最小二乘的問題。本文在Adaboost人臉檢測算法檢測到人臉區域的情況下，使用SDM算法對駕駛員面部進行特征點定位。算法的主要分為兩個階段，訓練階段和測試階段，算法的具體流程如圖5所示。

圖5 SDM算法流程

4 眼部特征的疲勞判斷

4.1 PERCLOS原理

PERCLOS（Percentage of Eyelid Closure Over the Pupil Over time）準則是指單位時間眼睛閉合時間所占的百分比。在20世紀70年代，由Walt Wier?wille提出的，主要是通過對眼睛閉合狀態來分析駕駛員的疲勞狀態［15～16］。主要有P70標準，P80標準和EM標準分別是指一定時間內眼睛睜開面積占瞳孔面積的70%，80%和50%所占時間的百分比。通過大量實驗表明P80是三個標準中效果最好的，因此本文選擇P80標準來判別駕駛員疲勞，其原理圖如圖6所示。

圖6 PERCLOS原理圖

由圖6可知，在P80的標準下，眼睛閉合時間所占百分比也就是眼睛閉合程度高于80%所用的時間占眼睛從睜開到閉合再到睜開的時間的百分比，公式如下：

對于視頻序列當中的PERCLOS值為

4.2 PERCLOS值計算

首先通過SDM算法對駕駛員眼部特征點精確定位，定位結果如圖7所示。

圖7 眼部關鍵點信息

通過SDM算法可以得到每個眼部關鍵點的位置(xi，yi)，則眼部平均高度為

則眼睛的睜開度為

通過式（12）和（13）實時計算駕駛員的眼部的睜開度，然后通過P80標準進行眼部睜開或閉合判斷，當P小于0.8時則表示駕駛員眼睛閉合。通過計算一段時間內的眼睛閉合時間占總時間的比例來判斷疲勞狀況。本文對15名測試者正常狀態和疲勞狀態下分別采集600幀視頻，實時計算他們的眼部睜開度。其中一名測試者的正常狀態和疲勞狀態下的眼睛睜開度如圖8（a）（b）所示。

圖8 疲勞狀態測試

最后對測試者兩種狀態下的PERCLOS進行計算，計算結果如圖8（c）所示。從圖中可以看出駕駛員在正常狀態下的PERCLOS值的范圍為［0.08，0.3］，當處于疲勞狀態時，駕駛員的PERCLOS值的范圍為［0.45，0.75］，因此，當駕駛員的PERCLOS值超過0.45時，就判斷駕駛員處于疲勞狀態。

5 實驗結果與分析

為了驗證本文提出的疲勞檢測算法的準確度，對該算法進行了實驗，軟件編寫采用Python語言，開發平臺為PyCharm 2019，硬件環境采用Intel（R）Core（TM）i5-4200 CPU、GTX750顯 卡 和6GB內存。實驗使用自己采集的8名測試者的視頻圖像對算法的準確性記性檢測，計算他們的PERCLOS值與實際進行對比，來判斷算法的準確性和駕駛員疲勞狀況，實驗結果如表1所示。

表1 實驗結果

6 結語

本文首先利用Adaboost算法對視頻圖像中人臉區域進行精確定位，然后利用SDM算法對駕駛員面部特征點進行定位，最后使用眼部的特征點，來計算駕駛員的PERCLOS值，通過分析正常狀態和疲勞狀態下的PERCLOS值來判斷駕駛員是否疲勞。實驗結果表明，該算法能夠準確地判斷出駕駛員的疲勞狀態。