基于并行短時面部特征的駕駛人疲勞檢測方法研究

劉強 謝謙 方璽 李波 蔣瓊 解孝民

【摘要】為實現更快速、準確的疲勞預警，提出了一種基于并行短時面部特征的駕駛人疲勞檢測方法。基于加入了 ? MicroNet模塊、CA注意力機制、Wise-IoU損失函數的YOLOv7-MCW目標檢測網絡提取駕駛人面部的短時面部特征，再使用并行Informer時序預測網絡整合YOLOv7-MCW目標檢測網絡得到的面部時空信息，對駕駛人疲勞狀態進行檢測與預警。結果表明：在領域內公開數據集UTA-RLDD和NTHU-DDD上，YOLOv7-MCW-Informer模型的準確率分別為97.50%和94.48%，單幀檢測時間降低至28 ms，證明該模型具有良好的實時疲勞檢測性能。

主題詞：智能交通 疲勞檢測 目標檢測 注意力機制 時序預測

中圖分類號：U492.8+4 ? 文獻標志碼：A ? DOI： 10.19620/j.cnki.1000-3703.20230617

Research on Driver Fatigue Detection Method Based on Parallel Short-Term Facial Features

Liu Qiang1， Xie Qian1， Fang Xi2， Li Bo3， Xie Xiaomin4

（1. School of Intelligent Systems Engineering， Sun Yat-sen University， Shenzhen 518107; 2. Development & Research Center of State Post Bureau， Beijing 100868; 3. Automobile Engineering Research Institute of Guangzhou Automobile Group Co.， Ltd.， Guangzhou 511434; 4. Guangdong Marshell Electric Technology Co.， Ltd.， Zhaoqing 523268）

【Abstract】A driver fatigue detection method based on parallel short-term facial features is proposed to achieve faster and more accurate fatigue warning. The method utilizes the YOLOv7-MCW object detection network， which incorporates the MicroNet module， CA attention mechanism， and Wise-IoU loss function， to extract short-term facial features of the drivers face. The parallel Informer temporal prediction network is then used to integrate the spatiotemporal information obtained from the YOLOv7-MCW object detection network， enabling the detection and warning of driver fatigue. The results demonstrate that the YOLOv7-MCW-Informer model achieves accuracy rates of 97.50% and 94.48% on the publicly available datasets UTA-RLDD and NTHU-DDD， respectively， with a single-frame detection time reduced to 28 ms， proving the excellent real-time fatigue detection performance of the model.

Key words： Intelligent transportation， Fatigue detection， Object detection， Attention mechanism， Time series prediction

【引用格式】 劉強， 謝謙， 方璽， 等. 基于并行短時面部特征的駕駛人疲勞檢測方法研究[J]. 汽車技術， 2024（5）： 15-21.

LIU Q， XIE Q， FANG X， et al. Research on Driver Fatigue Detection Method Based on Parallel Short-Term Facial Features[J]. Automobile Technology， 2024（5）： 15-21.

1 前言

基于駕駛人面部特征的疲勞檢測方法因具有快速、準確的優點被廣泛用于交通安全研究。駕駛人的面部特征主要包括單位時間內閉眼百分比（Percentage of Eyelid Closure Over Time，PERCLOS）[1]、眨眼頻率、視線方向、單位時間內張口百分比（Percentage of Mouth Open Over the Pupil over Time，POM）[2]、哈欠頻率、點頭次數和頭部偏轉角等。在較短的單位時間（一般為1 min）內具有較為明顯的變化規律的面部特征，本文稱為短時面部特征，如PERCLOS、POM等。

國內外圍繞基于短時面部特征的駕駛人疲勞檢測展開了相關研究。Bai等[3]提出使用雙流時空圖卷積網絡檢測駕駛人疲勞，采用面部標志檢測法從實時視頻中提取駕駛人面部標志，然后通過雙流時空圖卷積網絡得到駕駛人疲勞檢測結果，試驗表明，該方法顯著提高了疲勞檢測性能，準確率高達92.70%，但該模型結構較為復雜，檢測時間較長，實時性不足。……