基于MTCNN的駕駛員疲勞檢測方法

王琪，唐陽山

基于MTCNN的駕駛員疲勞檢測方法

王琪，唐陽山

（遼寧工業大學 汽車與交通工程學院，遼寧 錦州 121001）

駕駛疲勞是引發交通事故的重要原因之一。研究駕駛疲勞檢測算法對提高道路交通安全性和人類生命財產安全具有重要意義。為此，文章提出了一種基于MTCNN的疲勞檢測方法。通過對人臉圖像進行處理，使MTCNN算法得到優化，然后通過訓練樣本進行實驗驗證，證實了算法對實際的駕駛疲勞檢測的有用性。

疲勞檢測；圖像金字塔；MTCNN；卷積神經網絡

引言

近些年來，隨著生活水平的不斷提高，機動車保有量連年增長，車禍致死的數目隨之增加。據相關調查表明，駕駛疲勞是誘發交通事故的重要原因之一[1]。因此，為了更好地避免駕駛疲勞所帶來的生命財產損失，提高駕駛安全性，研究一種能夠及時有效的駕駛疲勞檢測方法具有十分重要的意義。目前的檢測方式大致分為三種：第一種方式是根據車輛行駛狀況進行檢測[2]。第二種方式，監測駕駛人員的生理信號，主要包含腦電信號、心電信號、肌電信號等[3]。第三種方式，根據駕駛員的面部特征進行檢測，包括眼部、嘴部特征以及頭部姿態等[4]。

隨著人工智能技術的不斷發展，諸多研究學者們開展了基于深度學習的駕駛疲勞檢測研究[5]。大多數是在獲取人臉特征參數之后，將特征圖像輸入到已經訓練好的網絡模型中進行檢測。但由于實際的行車過程中，車外的行駛環境、車內光照條件以及駕駛人復雜多變的駕駛姿態，對檢測方法的準確性和實時性要求很高。因此，本文提出了一種基于MTCNN的檢測算法進行疲勞識別。

1 算法原理

MTCNN是一種用于檢測人臉任務的多任務神經網絡模型，它是由一個三層網絡（P-Net、R-Net、O-Net）組成的網絡結構。該模型主要采用候選框加分類器的思想，并通過多任務訓練模型參數來實現快速高效的人臉檢測。

1.1 MTCNN網絡結構

表1 P-Net結構

輸入圖像 12*12*3 卷積層C1卷積核3*3特征圖10*10*10 最大池化層2*2步長2特征圖5*5*10 卷積層C2卷積核3*3特征圖3*3*16 卷積層C3卷積核3*3特征圖1*1*32 1*1*2人臉分類 1*1*4邊框回歸 1*1*10關鍵點定位

P-Net的結構十分簡單，首先是1個3*3的卷基層，然后是1個2*2的最大池化層。池化結束后繼續跟2個3*3的卷積層。此時的維度變成了1*1*32，用來判斷輸入網絡的圖像在12*12個像素區域內是否存在人臉。最后分別跟三個不同的1*1的卷積層，產生1*1*2、1*1*4，以及1*1*10三種輸出。

表2 R-Net結構

輸入圖像 24*24*3 卷積層C1卷積核3*3特征圖22*22*28 最大池化層2*2步長2特征圖11*11*28 卷積層C2卷積核3*3特征圖8*8*28 最大池化層2*2步長2特征圖4*4*28 卷積層C3卷積核3*3特征圖3*3*64 全連接層 1*1*2人臉分類 1*1*4邊框回歸 1*1*10關鍵點定位

表3 O-Net結構

輸入圖像 48*48*3 卷積層C1卷積核3*3特征圖46*46*32 最大池化層2*2步長2特征圖23*23*32 卷積層C2卷積核3*3特征圖20*20*64 最大池化層2*2步長2特征圖10*10*64 卷積層C3卷積核3*3特征圖8*8*64 最大池化層2*2步長2特征圖4*4*64 卷積層C4卷積核3*3特征圖3*3*128 全連接層 1*1*2人臉分類 1*1*4邊框回歸 1*1*10關鍵點定位

R-Net與P-Net是不同的，其基本構造是一個卷積神經網絡，比P-Net多了一個全連接層。它的輸入實際上是P-Net的輸出結果，較為復雜的網絡結構能夠進一步對人臉區域窗口進行篩選和調整，從而達到高精度過濾和優化人臉區域的效果。

O-Net是一個更復雜的卷積網絡，該網絡輸入的特征更多。在整個MTCNN模型中，前兩個網絡主要是完成人臉區域的檢測，而O-Net網絡則是完成人臉關鍵點的檢測。

1.2 檢測原理

首先將圖像進行不同尺寸大小的變換，以適應不同大小的人臉檢測。然后通過較為淺層、較為簡單的P-Net網絡快速生成人臉候選窗口，圖片在P-Net處理后，會留下許多預測的窗口，然后將這些預測窗口送入R-Net，這個網絡會過濾掉大量效果比較差的候選框，最后對選定的人臉候選區域窗口進行非極大值抑制計算和邊框回歸，進一步預測優化結果。同樣的，把R-Net的輸出結果作為O-Net的輸入，保留更多的圖像特征，同時使用復雜的網絡結構，再次進行人臉判別、邊框回歸和人臉關鍵點定位，最終輸入五個面部特征點。

圖1 MTCNN檢測流程圖

2 檢測過程

2.1 圖像金字塔

利用MTCNN進行人臉檢測任務時，輸入的是一張圖片，輸出是圖像中人臉所在位置的邊界框（Bounding Box）。MTCNN是一種基于卷積的神經網絡，通常只適用于檢測一定尺寸范圍內的人臉，比如第一階段的P-Net，用于判斷12*12大小范圍內是否有人臉，但通常輸入圖像的人臉尺寸是未知的，所以需要構建圖像金字塔獲得不同尺寸的圖像，縮放圖像是為了將圖像中的人臉檢測放到網絡能檢測的合適尺寸，只要某個人臉被縮放到12*12左右大小，就可以被檢測出來。

圖2 生成圖像金字塔

2.2 IOU

IOU的全稱為交并比，IOU計算的是“預測的人臉候選框”和“真實的邊框”的交集與并集的比值。IOU與分類任務不同，預測人臉框的坐標需要去匹配實際框的坐標，而坐標完全匹配是不太可能的。因此，需要一個評估標準來獎勵那些與匹配框匹配較好的預測框。

圖3 IOU測試結果

3 實驗與結果分析

3.1 實驗環境

為了驗證MTCNN算法的有用性，在CPU為1.60 GHz的計算機上，采用Python3.6、Opencv以及tensorflow搭建了實驗環境。

3.2 數據集準備

人臉區域檢測采用公開WIDER FACE數據集，人臉關鍵點檢測采用CelebA數據集。WIDER FACE數據集可以從遮擋、姿態、事件等全方位多角度評估算法的性能。而CelebA此數據集中的圖像覆蓋了復雜的姿勢變化以及背景雜亂的情景，每個圖片都有40個屬性注釋。

3.3 結果分析

通過對多種不同駕駛員面部行為（疲勞狀態、正常狀態、說話狀態）進行檢測，驗證了算法對實際駕駛疲檢測的有用性。

圖4 疲勞狀態下（哈欠）識別效果

圖5 正常狀態下的識別效果

圖6 說話狀態下的識別效果

4 結束語

本文提出了一種基于MTCNN的駕駛疲勞檢測方法，通過對算法的網絡結構、檢測過程的介紹，驗證了多任務卷積神經網絡對實際的駕駛疲勞檢測的有用性，對之后的研究奠定了一定的理論基礎。

[1] 李都厚,劉群,袁偉,等.疲勞駕駛與交通事故關系[J].交通運輸工程學報,2010,10(02):104-109.

[2] M.S.Wang, N.T.Jeong, K.S.Kim,et al. Drowsy behavior detection based on driving information[J].International Journal of Automotive Technology,2016,17(1):165-173.

[3] Tuncer T,Dogan S,Ertam F,et al.A dynamic center and multi thre- shold point based stable feature extraction network for driver fatigue detection utilizing EEG signals[J]. Cognitive Neurodynamics, 2021, 15(7):223-237.

[4] Hu S,Lin Z.Fatigue Driving Detection Based on Machine Learning and Image Processing Technology[J].Journal of Physics:Conference Series,2018,069(1):012179.

[5] Wang Z,Shi P,Wu C.A Fatigue Driving Detection Method based on Deep Learning and Image Processing[J].Journal of Physics: Confe- rence Series,2020,1575(1):012035.

Driver Fatigue Detection Method Based on MTCNN

WANG Qi, TANG Yangshan

( School of Automobile and Traffic Engineering, Liaoning University of Technology, Liaoning Jinzhou 121001 )

Driving fatigue is one of the important causes of traffic accidents. The research on driving fatigue detection algorithm is of great significance to improve road traffic safety and human life and property safety. Therefore, this paper proposes a fatigue detection method based on mtcnn. Through the face image processing, the mtcnn algorithm is optimized, and then through the experimental verification of training samples, it is confirmed that the algorithm is useful for the actual driving fatigue detection.

Fatigue testing; Image pyramid; MTCNN;Convolutional neural network

U491.3

A

1671-7988(2021)20-49-03

U491.3

A

1671-7988(2021)20-49-03

10.16638/j.cnki.1671-7988.2021.020.013

王琪（1996—），女，在讀研究生，就讀于遼寧工業大學汽車與交通工程學院。

唐陽山（1972—），男，教授，博士，就職于遼寧工業大學汽車與交通工程學院，研究方向：交通信息感知與輔助駕駛技術。

基于機器視覺的駕駛員危險駕駛行為識別研究（編號：JJL20195410）。