駕駛員疲勞檢測中的嘴部狀態研究

王豪榮，胡 婷，葛麗娟

（長安大學 信息工程學院，陜西 西安 710064）

隨著全球道路交通的快速發展，交通安全事故的發生率也在增加，其中，疲勞駕駛已經成為影響交通安全的重要隱患[1]。國外每年由于駕駛員在駕駛過程中進入睡眠狀態而導致的交通事故數量不斷增加，而我國每年由于駕駛疲勞導致的交通事故則高達90%，所以建立駕駛員疲勞監控系統是非常必要的。基于駕駛員面部表情的疲勞檢測利用攝像頭采集人臉圖像，通過對駕駛員眼睛和嘴巴的分析來判斷駕駛員疲勞狀況，具有實時性和比較高的準確率。現在大多的疲勞檢測方法是基于駕駛員眼睛的閉合情況，這樣對眼睛的精確定位要求非常高，容易造成誤判。本文針對人臉面部表情的另一個重要信息集中點嘴部進行研究，分析嘴部在打哈欠和說話時的明顯區別，提出了嘴部狀態對疲勞駕駛檢測的影響。

1 人臉定位

人臉定位是疲勞檢測的第一步，它是指在一幅圖像或一段視頻流中找出人臉部分的過程，包括人臉的大小和位置[2]，同時將檢測到的人臉部分截取出來，進行后續的處理。人臉的精確定位對于后續檢測算法有很大的幫助。由于本算法針對的對象是駕駛員，采集到的圖像中只出現駕駛員，所以可以認為是單人臉檢測。

在目前的多種人臉檢測算法中，AdaBoost算法由于其快速和高精度而被廣泛使用。AdaBoost算法是由Freund和Schapire提出的，它是一種迭代算法，核心思想是將對同一組訓練集訓練出的不同弱分類器集合起來構成一個強分類器。Viola和Jones提出了Haar特征，并將其分為三類：邊緣特征、線性特征、中心特征和對角線特征。然后將這些特征進行組合形成了內有白色和黑色兩種矩形的特征模板，并以白色矩形的像素和減去黑色矩形的像素和作為該模板的特征值。將特征模板在訓練圖像子窗口內任意放置，其中一種形態即為一種特征，直到找出所有子窗口的特征為止。

本文采用基于Haar-like特征的AdaBoost人臉檢測算法[3]來檢測人臉正面圖像，同時增加了兩個新的模板用來檢測傾斜人臉圖像（傾斜角度不超過±35）。

圖1 傾斜人臉檢測Haar-like模板Fig.1 Haar-like template of oblique face detection

選取不同光照條件下，不同實驗對象的200幅圖片，采用該算法進行人臉檢測，實驗證明該算法能夠準確快速的檢測到人臉，有比較高的準確率。下圖為部分效果圖。

圖2 采用AdaBoost分類器精確定位臉部圖像效果Fig.2 Face image effects that accurate positioning with AdaBoost classifier

由于駕駛員所處的外部環境比較復雜，在不同的時間和地點光照條件差別非常大[4]，而光照對圖像有很大的影響，同時在圖像的采集過程中可能會有噪聲，所以為了提高圖像的效果以及后續算法的準確性，需要對圖像進行預處理來降低或去除噪聲和光照對圖像處理的影響。首先對于上面人臉定位后的圖像進行尺寸歸一化，然后采用中值濾波法來對圖像進行降噪處理，采用直方圖規定化來達到增強圖像的目的。

2 嘴巴定位

2.1 二值化閾值選擇

眼睛和嘴巴的形態是駕駛員疲勞判定的一個重要因素，所以準確定位嘴巴的位置是至關重要的。對于上面得到的人臉圖像，我們首先要進行二值化，閾值的選擇非常重要，直接影響二值圖像的效果。

目前，常用的確定閾值的方法主要包括人工選擇法和自動閾值選擇法兩大類。人工選擇法主要是分析圖像的直方圖來確定閾值，不適用于實時系統中，而自動閾值選擇法有更好的通用性和魯棒性，常用的自動閾值選擇方法有極小點閾值法，迭代閾值法，最優閾值法，Otsu法。

由于嘴巴位置位于人臉的下半部，如果對整個人臉做二值化，眉毛和眼睛等灰度較深的地方對嘴巴的影響較大，難以完整的提取嘴巴部分的輪廓，所以本文將人臉分為上下兩部分，對下半部分采用迭代閾值法[5]進行二值化，從而得到嘴巴的完整信息。該方法的主要算法步驟為：

1）求出圖像的最大灰度值Zmax和最小灰度值Zmin，初始閾值 T0設為（Zmax+Zmin）/2；

2）Ti將圖象分割為前景和背景，分別求出兩者的平均灰度值Z O和Z B

3）求出新閾值 Ti+1=（Z O+Z B）/2；

4）若TK=TK+1，則所得即為閾值；否則轉 2），迭代計算，直到滿足終止條件為止。

2.2 嘴角確定

對于經過閾值分割得到的下半部分二值圖像，在人臉的下半部分嘴巴部分灰度較深，并且是比較連貫的區域，首先利用膨脹腐蝕等形態學運算去除鼻孔以及噪聲點。由Adaboost算法得到的人臉圖像為正面人臉圖，所以嘴巴的位置位于人臉下半部分的中間，利用最小外接矩形表示出嘴巴的輪廓。

圖3 下半部人臉圖像處理Fig.3 Lower face image processing

要得到精確地嘴巴位置，就要找到嘴角，本文采用Harris角點檢測算法尋找嘴角。角點沒有明確的數學定義，一般認為角點是圖像亮度變化劇烈的點或圖像邊緣曲線上曲率有極大值的點[6]。Harris算子是一種基于圖像灰度的角點檢測方法，當某一點向任一方向發生小小偏移時灰度都發生很大變化，則說明該點為角點[7]。具體通過計算像素點所在位置的梯度變化來檢測角點，若某像素點在x方向與y方向的梯度的絕對值均比較大，則認為該像素點為角點。結合嘴角的特點，本文檢測嘴巴區域的灰度圖，該區域亮度變化劇烈的點是嘴角。Harris角點檢測算法為：

1）用高斯函數代替二值窗口函數，對不同的像素賦予不同的權重從而減少噪聲的影響。

2）計算自相關矩陣M為：

3）計算角點響應：

其中，Ix、Iy和 IxIy分別為灰度圖像（x，y）處像素點在 x，y方向的偏導數以及二階混合偏導數；det M為矩陣M的行列式；trace M為矩陣M的跡。根據經驗為0.04～0.06。在判斷是否為角點時，首先需要設置一個閾值，當R大于該閾值時則認為該點為角點，文本結合嘴角的特點，取R最大的兩個角點為嘴角。

2.3 傾斜嘴部矯正

找出嘴角的位置后，為了計算嘴巴的張開度，需要求出嘴巴張開的高度和寬度，首先將兩個嘴角連起來，如果兩個嘴角處于同一水平高度，那么嘴巴的高度為最小外接矩形的高度，寬度為兩個嘴角的距離。當兩個嘴角處于不同的高度，即嘴巴是傾斜的，要找到嘴巴的高度和寬度，必須先矯正嘴巴。

矩形ABCD為嘴部最小外接矩形，a和b分別為矩形的長和高，m1和m2分別為兩個嘴角。對于嘴部傾斜的情況，在嘴部傾斜角度為θ時，嘴巴的寬度應該為兩個嘴角的距離，而嘴巴的高度則為b/cosθ。

圖4 傾斜嘴部示意圖Fig.4 Sketch map of the oblique mouth

圖5 傾斜嘴部矯正Fig.5 Correction of oblique mouth

3 基于嘴部動作的駕駛員疲勞檢測方法

嘴部作為人臉面部信息的一個重要集中點，在駕駛員感覺疲勞時，嘴部會有打哈欠的表現，所以我們可以將駕駛員嘴部動作的持續時間作為疲勞判斷的依據。

1）計算嘴巴張開度

式中，Hi為嘴巴張開的高度，Wi為嘴巴的寬度。根據統計，駕駛員在不說話，說話和打哈欠3種情況下的嘴巴張開度是不一樣的：駕駛員不說話時，嘴部張開度介于0.1～0.3之間；說話時，嘴巴連續忽閉忽張且每次持續時間較短；打哈欠時，嘴部的張開度較大，一般情況下大于0.7，且持續時間較長。

2）嘴部張開持續時間

式中，n為嘴巴張開的幀數，t為每幀的時間。根據醫學數據統計顯示，人說話時每0.3 s～0.5 s發出一個音節，而打哈欠時嘴部張開持續時間為4～5 s，當駕駛員張嘴持續時間長且嘴部張開度大于0.7時，可以判斷駕駛員在打哈欠。

3）嘴部打哈欠頻率

式中，N為打哈欠次數，T為單位時間。在進行疲勞判定前需要先設定嘴部動作頻率閾值Fm，本文設Fm為1次/分。

4 結束語

文中研究了疲勞駕駛檢測[8]中的人臉嘴部狀態。首先通過人臉定位算法找出人臉部分，然后對人臉的下半部分使用閾值迭代法進行二值化，從而得到較完整的嘴部區域，通過最小外接矩形定位嘴巴區域，利用Harris角點檢測算法檢測嘴角，并且對傾斜嘴部進行矯正，測量嘴巴的高度和寬度，從而得到嘴巴的張開度，通過嘴巴張開度以及持續時間來判斷嘴部狀態，以嘴部動作頻率作為疲勞檢測的一個判定依據。本過程已經在Matlab7.0中進行編程實現，有較快的速度和較高的效率。

[1]沈永增，劉小磊.眼部疲勞狀態檢測算法的研究與實現[J].計算機應用與軟件，2011，28（3）:106-109.SHEN Yong-zeng，LIU Xiao-lei.Research and implementation of eye fatigue state detection algorithm[J].Computer applications and software，2011，28（3）:106-109.

[2]王志良，孟秀艷.人臉工程學[M].北京:機械工程出版社，2008.

[3]Viola P，Jones M.Rapid Object Detection Using a Boosted Cascade of Simple Features[C]//Proc.of IEEE Conf.on Computer Visionand Pattern Recognition.Kauai， Hawaii，USA:[s.n.]，2001.

[4]李智，謝劍斌，陳章永，等.依據Adaboost的紅外視頻圖像疲勞檢測算法[J].計算機工程與應用，2012，34（5）:107-111.LI Zhi，XIE Jian-bin，CHEN Zhang-yong，et al.The infrared video image fatigue detection algorithm Based on Adaboost[J].Computer Engineering and Applications，2012，34 （5）:107-111.

[5]嚴曲，趙躍龍.一種基于迭代閾值法的身份證圖像二值化算法研究[J].計算機測量與控制，2005，13（6）:595-597.YANQu，ZHAOYao-long.A study of twovaluealgorithmabout ID card image based on the iterative threshold method[J].Computer Measurement and Control，2005，13（6）:595-597.

[6]趙文彬，張艷寧.角點檢測技術綜述[J].計算機應用研究，2006，23（10）:17-19.ZHAO Wen-bin，ZHANG Yan-ning.Review of corner detection technology[J].Computer Research and Application，2006，23（10）:17-19.

[7]陳白帆，蔡自興.基于尺度空間理論的Harris角點檢測[J].中南大學學報：自然科學版，2005，36（5）:751-754.CHEN Bai-fan，CAI Zi-xing.Harris corner detection based on scale space theory[J].Journal of Central South University：Natural Science Edition，2005，36（5）:751-754.

[8]Wang Q，Yang J，Ren M，et al.Driver Fatigue DetectionA Survey[C]//Proc of the 6th World Congress on Intelligent Control and Automation，2006:8587-8591.