基于并行短時面部特征的駕駛人疲勞檢測方法研究

劉強 謝謙 方璽 李波 蔣瓊 解孝民

【摘要】為實現更快速、準確的疲勞預警，提出了一種基于并行短時面部特征的駕駛人疲勞檢測方法。基于加入了 ? MicroNet模塊、CA注意力機制、Wise-IoU損失函數的YOLOv7-MCW目標檢測網絡提取駕駛人面部的短時面部特征，再使用并行Informer時序預測網絡整合YOLOv7-MCW目標檢測網絡得到的面部時空信息，對駕駛人疲勞狀態進行檢測與預警。結果表明：在領域內公開數據集UTA-RLDD和NTHU-DDD上，YOLOv7-MCW-Informer模型的準確率分別為97.50%和94.48%，單幀檢測時間降低至28 ms，證明該模型具有良好的實時疲勞檢測性能。

主題詞：智能交通 疲勞檢測 目標檢測 注意力機制 時序預測

中圖分類號：U492.8+4 ? 文獻標志碼：A ? DOI： 10.19620/j.cnki.1000-3703.20230617

Research on Driver Fatigue Detection Method Based on Parallel Short-Term Facial Features

Liu Qiang1， Xie Qian1， Fang Xi2， Li Bo3， Xie Xiaomin4

（1. School of Intelligent Systems Engineering， Sun Yat-sen University， Shenzhen 518107; 2. Development & Research Center of State Post Bureau， Beijing 100868; 3. Automobile Engineering Research Institute of Guangzhou Automobile Group Co.， Ltd.， Guangzhou 511434; 4. Guangdong Marshell Electric Technology Co.， Ltd.， Zhaoqing 523268）

【Abstract】A driver fatigue detection method based on parallel short-term facial features is proposed to achieve faster and more accurate fatigue warning. The method utilizes the YOLOv7-MCW object detection network， which incorporates the MicroNet module， CA attention mechanism， and Wise-IoU loss function， to extract short-term facial features of the drivers face. The parallel Informer temporal prediction network is then used to integrate the spatiotemporal information obtained from the YOLOv7-MCW object detection network， enabling the detection and warning of driver fatigue. The results demonstrate that the YOLOv7-MCW-Informer model achieves accuracy rates of 97.50% and 94.48% on the publicly available datasets UTA-RLDD and NTHU-DDD， respectively， with a single-frame detection time reduced to 28 ms， proving the excellent real-time fatigue detection performance of the model.

Key words： Intelligent transportation， Fatigue detection， Object detection， Attention mechanism， Time series prediction

【引用格式】 劉強， 謝謙， 方璽， 等. 基于并行短時面部特征的駕駛人疲勞檢測方法研究[J]. 汽車技術， 2024（5）： 15-21.

LIU Q， XIE Q， FANG X， et al. Research on Driver Fatigue Detection Method Based on Parallel Short-Term Facial Features[J]. Automobile Technology， 2024（5）： 15-21.

1 前言

基于駕駛人面部特征的疲勞檢測方法因具有快速、準確的優點被廣泛用于交通安全研究。駕駛人的面部特征主要包括單位時間內閉眼百分比（Percentage of Eyelid Closure Over Time，PERCLOS）[1]、眨眼頻率、視線方向、單位時間內張口百分比（Percentage of Mouth Open Over the Pupil over Time，POM）[2]、哈欠頻率、點頭次數和頭部偏轉角等。在較短的單位時間（一般為1 min）內具有較為明顯的變化規律的面部特征，本文稱為短時面部特征，如PERCLOS、POM等。

國內外圍繞基于短時面部特征的駕駛人疲勞檢測展開了相關研究。Bai等[3]提出使用雙流時空圖卷積網絡檢測駕駛人疲勞，采用面部標志檢測法從實時視頻中提取駕駛人面部標志，然后通過雙流時空圖卷積網絡得到駕駛人疲勞檢測結果，試驗表明，該方法顯著提高了疲勞檢測性能，準確率高達92.70%，但該模型結構較為復雜，檢測時間較長，實時性不足。婁平等[4]通過改進的多任務卷積神經網絡模型定位人臉區域并截取眼部、嘴部圖像，再通過AlexNet圖像分類網絡對眼、嘴狀態進行分類，并基于PERCLOS和POM判定疲勞狀態。該模型的準確率達93.50%，但該方法僅捕獲駕駛員面部空間特征，在處理駕駛員在不同駕駛階段、駕駛環境下的短時面部特征規律差異上存在不足。Tamanani等[5]使用基于Haar特征的Cascade分類器，從輸入的視頻流中截取人臉并捕獲眼睛、嘴等面部特征，并使用LeNet-5模型進行二分類來確定駕駛人的疲勞狀態，該模型的準確率達91.80%，但該模型較少考慮并行檢測中眼部特征與嘴部特征存在的規律差異且檢測速度較慢，模型的魯棒性與實時性存在提升空間。

綜上所述，當前基于短時面部特征的駕駛人疲勞駕駛檢測方法的模型實時性能有待改進，融合時空特征的疲勞檢測研究較少，關于面部多特征的并行檢測有待深入研究。因此，本文將基于YOLO（You Only Look Once）v7-MCW（Micro-Net Coordinate Attention Wise-IoU）- ?Informer模型，深入探究基于并行短時面部特征的駕駛人疲勞檢測問題。

2 短時面部特征提取

2.1 YOLOv7模型

YOLOv7[6]在速度和準確性方面具有極佳表現，并提供了對邊緣計算設備的良好支持。YOLOv7網絡主要包含主干網絡（Backbone）、頸部（Neck）、頭部（Head）3個部分。

2.2 改進后的YOLOv7檢測器

本文針對YOLOv7進行適應性改進以在保證良好準確性的基礎上提升單幀檢測速度。主要改進內容包括輕量級主干網絡、注意力機制以及損失函數。

2.2.1 輕量級主干網絡

為實現面部特征快速捕獲，需使用輕量化網絡結構重構Backbone部分。在處理極低計算成本問題時，主流輕量級網絡結構MobileNet和ShuffleNet等存在較為嚴重的性能下降，因此引入微網絡（MicroNet）[7]提升極低計算成本下的網絡性能。MicroNet建立在微分解卷積（Micro-Factorized Convolution，MFC）模塊和動態最大化（Dynamic Shift-Max，DSM）激活函數的基礎上。MFC模塊通過在點卷積和深度可分離卷積上的低秩近似值來實現通道數和輸入輸出連接之間的平衡，DSM激活函數則動態地融合了連續的通道組，增強了節點的連接性和非線性，以彌補主干網絡深度的減少。

2.2.2 注意力機制

目前，輕量級網絡的注意力機制大多采用通道注意力，僅考慮了通道間的信息，忽略了位置信息。盡管后來的瓶頸注意模塊和卷積塊注意模塊嘗試在降低通道數后通過卷積提取位置注意力信息，但卷積只能提取局部關系，缺乏長距離關系提取的能力。因此，引入高效坐標注意力機制（Coordinate Attention，CA）[8]模塊，其結構如圖1所示，其中C、W和H分別為通道的數量、寬度和高度。

2.2.3 損失函數

邊界框回歸（Bounding Boxes Regression，BBR）損失函數對于目標檢測至關重要。

引入明智交并比（Wise Intersection over Union，Wise-IoU）v3損失函數[9]，該BBR損失函數具有動態非單調靜態聚焦機制（Focusing Mechanism，FM）：

[LWv3 =rRWIoU LIoU ，r=βδαβ-δ] ? ? ? ? ? ? ? ? （1）

[RIoU=expx-xgt2+y-ygt2W2g+H2g*] ? ? ? ? ? ? ? ?（2）

式中：[LWv3]為Wise-IoU v3損失函數，[LIoU]為交并比損失函數，[RWIoU]為正則懲罰項，[β]為錨框的離群度，[r]為梯度增益，[α]、[δ]為超參數，[RIoU]為交并比正則懲罰項，x、y為邊界框的坐標值，xgt、ygt為目標框的坐標，Wg、Hg為最封閉幾何框的寬高。

當[β]=[δ]時，[δ]使[r]=1。當[β]=C（C為常數）時，錨框將獲得最高的梯度增益。

2.2.4 整體結構

圖像經過數據增強等預處理后，進入基于MicroNet（包含MicroBlock-A與MicroBlock-B）、擴展高效層聚合網絡（Extended Efficient Layer Aggregation Networks，E-ELAN）模塊以及空間金字塔池化和全連接空間金字塔卷積（Spatial Pyramid Pooling and Fully Connected Spatial Pyramid Convolution，SPPCSPC）模塊組合而成的主干網絡。E-ELAN模塊基于原始ELAN結構，改變原始計算模塊的同時保持過渡層結構，并利用擴張、混洗、合并基數的思想來增強網絡學習的能力，而不破壞原有的梯度路徑。SPPCSPC模塊在一串卷積中加入并行的多次最大池化操作，可避免由于圖像處理操作所造成的圖像失真等問題，同時也解決了卷積神經網絡提取到重復特征的難題；主干提取到的特征經過CA模塊再次提取，再經過Neck模塊特征融合處理得到大、中、小3種尺寸的特征；最終，融合后的特征被送入頭部網絡，經過檢測之后輸出結果。YOLOv7-MCW模型的網絡結構如圖2所示。

2.3 特征選取

模擬駕駛系統被認為是研究駕駛行為的重要工具[10]。本文通過模擬駕駛試驗得到了具有明顯規律的駕駛員短時面部特征。為更好地模擬真實駕駛工況，本試驗搭建了具備環繞屏幕、轉向盤、油門踏板、制動踏板、離合器踏板、換擋操縱桿、可調節座椅、透明封閉艙、采集攝像頭的模擬駕駛室，并按照真實車型設定了模擬駕駛系統的加速度、可視范圍、反饋力度等相關參數，以保證接近真實的駕駛體驗。試驗招募的被試人員均為駕齡超過3年、具備豐富駕駛經驗的人員，并有過疲勞駕駛的經歷。另外，試驗選用了更易產生疲勞的平直高速公路，駕駛員在身體健康、睡眠充足、精神狀態良好的情況下開始駕駛，中途開始產生駕駛疲勞，直至主觀感到過于疲勞不能駕駛時試驗停止。如圖3所示，試驗共20組，20位駕駛員的年齡構成包括：8位20～30歲的學生和12位30～50歲的公司職員、社會人士；性別構成包括10位男性和10位女性。試驗選用簡單場景，駕駛環境參考了北京某試驗場的環形道路，其中直道長度為100 km，模擬駕駛車速限制為最高100 km/h，樣本可以保持長達1 h的直線行駛。所選短時面部特征為閉眼百分比、張口百分比、最長單次閉眼時長、打哈欠頻率，在試驗過程中部分樣本的參數記錄如表1所示。

2.4 眼部判斷

卡內基-梅隆研究中心Wierwille提出了“閉眼百分比”（PERCLOS）的概念，用于衡量人類疲勞狀態（嗜睡），被定義為單位時間內眼睛閉上的時間。美國聯邦公路管理局和國家公路交通安全管理局在實驗室中開展模擬駕駛，驗證了PERCLOS在描述駕駛人疲勞方面的有效性，PERCLOS是基于面部特征的檢測方法中最準確的指標之一[11]，共有P70、P80、EM3種測量標準。本文采用P80標準，該標準是指在一定時間內，當80%以上的瞳孔被眼瞼覆蓋時，眼睛閉合的時間比例，時間尺度為分鐘級。PERCLOS計算公式為：

[PPER =iNfiN×100%] ? ? ? ? ? ? ? ? ? ? （3）

式中：i為視頻幀順序，fi為第i幀眼睛閉合的幀數，[iNfi]為單位時間內眼睛閉合的總幀數，N為單位時間內視頻總幀數。

最長單次閉眼時長EM也是衡量眼部狀態的重要參數，時間尺度為秒級。通過對眼睛連續閉合的視頻幀數進行計數，根據視頻幀率，可以得到最長單次閉眼時長：

[EM=gi×Fv] ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （4）

式中：gi為眼睛閉合的幀數，Fv為視頻幀率。

2.5 嘴部判斷

單位時間內張口百分比（Percentage of Mouth Open Over the Pupil over Time，POM）計算公式為：

[PPOM=iNhiN×100%] ? ? ? ? ? ? ? ? ? ? ? （5）

式中：hi為第i幀嘴張開的幀數，[iNhi]為單位時間內張口的總幀數。

打哈欠頻率NY是衡量嘴部狀態的重要參數。POM統計一定時間內，駕駛員張口時間所占比例，但除打哈欠外，駕駛員還可能存在說話等其他張口行為；NY統計一定時間內，駕駛員打哈欠的次數，強調打哈欠這一具體行為。區分這兩個指標，有助于細化嘴部行為，提升準確性。通過對嘴巴連續張開的視頻幀數進行計數，可以得到打哈欠的頻率：

[NY=FYT] ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （6）

式中：FY為單位時間內打哈欠的總次數，T為單位時間。

2.6 模型訓練

為增加數據準確性，進行了15組單次時長為1～2 h的駕駛模擬試驗，并通過攝像頭采集駕駛人面部圖像。從這些圖像中，截取了15 340個不同狀態，并進行標注，制作為短時疲勞檢測面部圖片數據集（Short-time Fatigue Driving Detection Image Dataset，SFDDID），用來訓練YOLOv7-MCW模型，如圖4所示。

2.7 初始化

本文通過駕駛模擬試驗來檢驗模型檢測效果并得到相應參數的初始范圍，為模型提供較好先驗。結果顯示，駕駛員在疲勞時，閉眼百分比、張口百分比、最長閉眼時間和打哈欠頻率存在明顯變化，驗證了本文選取規律的科學性，并作為模型訓練初始值，如表2所示。

3 疲勞檢測

本文疲勞檢測主要基于Informer[12]框架實現，通過對目標檢測網絡得到的面部數據進行分析，對駕駛員的疲勞狀態進行判別。時序預測算法運用到疲勞駕駛檢測上，可使分類預測結果結合時間特性，更符合疲勞發生的過程[13]。

Informer模型整體上由編碼器（Encoder）和解碼器（Decoder）兩個部分組成，如圖5所示。其中，編碼器用于捕獲長序列輸入的內部依賴關系，解碼器進一步實現序列檢測。本文先利用檢測器檢測到駕駛人的面部空間信息，再輸送進Informer中分析時序數據，模型學習到面部時空特征之間的依賴關系，并基于這些關系來檢測駕駛人是否處于疲勞狀態。

眼部特征與嘴部特征的時空變化存在差異，使用兩組Informer模型進行組合，分別為Informer-A和Infomer-B，二者具有不同的權重，分別處理眼部特征與嘴部特征，形成并行結構。

將眼部特征指標、嘴部特征指標分別輸入，并行計算。PPER、EM、PPOM以及NY 4個指標分別作為并行Informer網絡的4個時間序列輸入，每個時間序列輸入包括多個時間步的指標值。將Informer組合網絡的輸出作為疲勞狀態的預測概率值。

3.1 數據標準化

通過目標檢測網絡定位駕駛員的面部特征后，計算PPER、EM、PPOM以及NY并對這4個參數進行歸一化，本文采用最大最小歸一化：

[s'=si-sminsmax-smin] ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （7）

式中：[s']為指標的最終得分，[si]為實時檢測到的指標的得分，[smin、smax]分別為檢測過程中疲勞指標的最小值和最大值。

3.2 分類器

在原有編碼器至解碼器的線路外增加去時序空間特征輔助分類器，由1個輸入層、40個殘差卷積層、1個平滑層、2個全連接層構成，用于跳過時序輔助進行空間狀態分類，以增加準確性，其結構如圖6所示。

輔助分類器中每個隱含層的激活函數都使用線性修正單元（Rectified Linear Unit，ReLU），輸出層的激活函數使用Sigmoid函數，將輸出值映射到0～1的范圍內。使用隨機梯度下降（Stochastic Gradient Descent，SGD）優化器，迭代50次，批尺寸設置為32，初始學習率設置為0.001。模型整體檢測流程如圖7所示。

4 試驗驗證

4.1 數據集

本文選用2個公開數據集，德州大學阿靈頓分校真實生活瞌睡數據集（University of Texas at Arlington Real-Life Drowsiness Dataset，UTA-RLDD）[14]和臺灣清華大學計算機視覺實驗室的駕駛員疲勞檢測數據集（National Tsing Hua University Drowsy Driver Dataset， NTHU-DDD）[15]。

為了測試模型性能，進行了30組單次時長為1～2 h的模擬駕駛試驗，并通過攝像頭采集駕駛人面部圖像，制作為短時疲勞檢測面部視頻數據集（Short-time Fatigue Driving Detection Video Dataset，SFDDVD），采集了30位年齡在20～30歲之間，駕齡在1年以上的受試者在高速道路上持續駕駛的正面面部視頻。通過人工切分與標定，得到了600個時長為1 min的標簽為“清醒”狀態與“疲勞”狀態的視頻片段。

4.2 試驗平臺

本試驗的平臺為一臺配備Intel? CoreTM i7-10700K CPU 3.80 GHz處理器，內存為32G，配置NVIDIA GeForce RTX3060 12 GB顯卡，Ubuntu 22.04.1操作系統的計算機。

4.3 在UTA-RLDD數據集上的表現

本文將UTA-RLDD進行了重新劃分，將數據標注為“清醒”和“疲勞”2類，分別獲得了60個“疲勞”類視頻片段和60個“清醒”類視頻片段。準確率[PAcc]、精確率[PPre]和召回率[PRec]分別為：

[PAcc =TP+TNTP+FN+FP+TN] ? ? ? ? ? ? ? ? ? ? ? ?（8）

[PPre =TPTP+FP] ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（9）

[PRec =TPTP+FN] ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（10）

式中：[TP]為被正確分類為“疲勞”的樣本，[FP]為被錯誤分類為“疲勞”的樣本[，TN]代表被正確分類為“清醒”的樣本，[FN]為被錯誤分類為“清醒”的樣本。

準確率、精確率和召回率計算結果如表3所示。

4.4 在NTHU-DDD數據集上的表現

對于NTHU-DDD數據集，根據給定的每一幀標簽，從中裁剪出多個標記為“清醒”或“疲勞”的視頻片段，如表4所示，試驗結果如表5所示。

4.5 消融試驗

YOLOv7-MCW-Informer模型對主干網絡、注意力機制、損失函數進行了改進。為評估不同結構改進與組合對算法性能的提升，設計了消融試驗，共計8組。所有模型均在相同數據集上進行訓練，得到最佳權重后在同一數據集SFDDVD上進行測試。結果如表6所示，M0～M7分別代表YOLOv7-Informer、YOLOv7-M-Informer、YOLOv7-C-Informer、YOLOv7-W-Informer、YOLOv7-MC-Informer、YOLOv7-MW-Informer、 ? ? ? ?YOLOv7-CW-Informer、YOLOv7-MCW-Informer8種模型。可以看出，本文提出的3個改進方法相比于原始的YOLOv7算法，性能方面均具有小幅提升。相比于最終算法YOLOv7-MCW-Informer（M7）算法，去除任何一個改進方法都會使得模型性能下降。消融試驗結果證明了本文所提出的改進方法的有效性。

4.6 與現有模型的對比

表7給出了本文提出的模型與其他算法模型在性能上的比較。在UTA-RLDD上準確率可達97.50%，單幀檢測時間為33 ms；在NTHU-DDD上準確率可達94.48%，單幀檢測時間為28 ms。相較于文獻[3]、文獻[5]、文獻[16]、文獻[17]中給出的方法，本文方法在檢測準確率上有一定提升；與文獻[18]、文獻[19]對比，在同一數據集上，單幀檢測速度接近的前提下，本文提出的模型具有較高的準確率，分別高出21.88%和7.74%；本模型在保持檢測準確性有所提升的前提下，大幅縮減了檢測時間；與文獻[5]對比，在同一數據集上，準確率提升的前提下，單幀檢測時間大幅下降，本文提出的模型檢測速度接近其4倍。由此可以看出，YOLOv7-MCW-Informer模型通過并行網絡分析短時面部特征，融合多維面部信息，提升了檢測準確性與實時性。

5 結束語

本文提出了一種基于并行短時面部特征的駕駛人疲勞駕駛檢測方法。YOLOv7-MCW-Informer模型相較于現有方法能夠提升疲勞檢測的準確性，YOLOv7-MCW-Informer模型在領域內公開數據集UTA-RLDD、NTHU-DDD上分別達到97.50%和94.48%的準確率；相較于現有工作，保持準確性的基礎上具備更好的實時性，單幀檢測時間最低達到28 ms，時序預測模型能夠更好地提取駕駛人疲勞狀態的變化趨勢，有利于及早預警和干預。

參 考 文 獻

[1] DU G， ZHANG L， SU K， et al. A Multimodal Fusion Fatigue Driving Detection Method Based on Heart Rate and ? ? ? ?PERCLOS[J]. IEEE Transactions on Intelligent ? ? ? ? ? ? ? Transportation Systems， 2022， 23（11）： 21810-21820.

[2] YE M， ZHANG W， CAO P， et al. Driver Fatigue Detection Based on Residual Channel Attention Network and Head Pose Estimation[J]. Applied Sciences， 2021， 11（19）.

[3] BAI J， YU W， XIAO Z， et al. Two-Stream Spatial-Temporal Graph Convolutional Networks for Driver Drowsiness ? ? ? ?Detection[J]. IEEE Transactions on Cybernetics， 2021， 52（12）： 13821-13833.

[4] 婁平， 楊欣， 胡輯偉， 等. 基于邊緣計算的疲勞駕駛檢測方法[J]. 計算機工程， 2021， 47（7）： 13-20+29.

LOU P， YANG X， HU J W， et al. Fatigue Driving Detection Method Based on Edge Computing[J]. Computer ? ? ? ? ? ? ? ?Engineering， 2021， 47（7）： 13-20+29.

[5] TAMANANI R， MURESAN R， AL-DWEIK A. Estimation of Driver Vigilance Status Using Real-Time Facial Expression and Deep Learning[J]. IEEE Sensors Letters， 2021， 5（5）： 1-4.

[6] WANG C Y， BOCHKOVSKIY A， LIAO H Y M. YOLOv7： Trainable Bag-of-Freebies Sets New State-of-the-Art for ? ?Real-Time Object Detectors[C]// Oxford： Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern ? Recognition. 2023： 7464-7475.

[7] LI Y， CHEN Y， DAI X， et al. Micronet： Improving Image ? ?Recognition with Extremely Low Flops[C]// Proceedings of the IEEE/CVF International Conference on Computer ? ? ? ?Vision. Montreal： IEEE， 2021： 468-477.

[8] HOU Q， ZHOU D， FENG J. Coordinate Attention for Efficient Mobile Network Design[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern ? ? ? ? ? ?Recognition. Nashville： IEEE， 2021： 13713-13722.

[9] WANG W， LIU W. Small Object Detection with YOLOv8 ? Algorithm Enhanced by MobileViTv3 and Wise-IoU[C]// Proceedings of the 2023 12th International Conference on Computing and Pattern Recognition. Qingdao： ACM， 2023： 174-180.

[10] SOARES S， FERREIRA S， COUTO A. Driving Simulator Experiments to Study Drowsiness： A Systematic Review[J]. Traffic Injury Prevention， 2020， 21（1）： 29-37.

[11] KHUNPISUTH O， CHOTCHINASRI T， KOSCHAKOSAI V， et al. Driver Drowsiness Detection Using Eye-Closeness Detection[C]// 2016 12th International Conference on Signal-Image Technology & Internet-Based Systems （SITIS）. Naples： IEEE， 2016： 661-668.

[12] ZHOU H， ZHANG S， PENG J， et al. Informer： Beyond ? ? ?Efficient Transformer for Long Sequence Time-Series ?Forecasting[C]// Proceedings of the AAAI Conference on Artificial Intelligence. Vancouver： AAAI 2021， 35（12）： 11106-11115.

[13] 廖冬杰. 基于Dlib和變種Transformer的哈欠檢測方法[J]. 汽車技術， 2023（3）： 42-48.

LIAO D J. Yawn Detection Method Based on Dlib and ? Variant Transformer[J]. Automobile Technology， 2023（3）： 42-48.

[14] GHODDOOSIAN R， GALIB M， ATHITSOS V. A Realistic Dataset and Baseline Temporal Model for Early Drowsiness Detection[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Long Beach： IEEE， 2019.

[15] WENG C H， LAI Y H， LAI S H. Driver Drowsiness ? ? ? ? ? Detection via A Hierarchical Temporal Deep Belief ? ? ? ? Network[C]// ACCV Workshops. Taipei， China： Springer ? International Publishing， 2017.

[16] 任俊， 魏霞， 黃德啟， 等. 基于眼睛狀態多特征融合的疲勞駕駛檢測[J]. 計算機工程與設計， 2022， 43（11）： 3187-3194.

REN J， WEI X， HUANG D Q， et al. Fatigue Driving ? ? ? ? ? Detection Based on Multi-Feature Fusion of Eye Status[J]. Computer Engineering and Design， 2022， 43（11）： 3187-3194.

[17] 王鵬， 神和龍， 尹勇， 等. 基于深度學習的船舶駕駛員疲勞檢測算法[J]. 交通信息與安全， 2022， 40（1）： 63-71.

WANG P， SHEN H L， YIN Y， et al. Ship Driver Fatigue ? ?Detection Algorithm Based on Deep Learning[J]. Traffic ? ? ?Information and Safety， 2022， 40（1）： 63-71.

[18] YU J， PARK S， LEE S， et al. Representation Learning， Scene Understanding， and Feature Fusion for Drowsiness Detection[C]// ACCV 2016 Workshops. Taipei， China： Springer International Publishing， 2017.

[19] BEKHOUCHE S E， RUICHEK Y， DORNAIKA F. Driver Drowsiness Detection in Video Sequences Using Hybrid ? Selection of Deep Features[J]. Knowledge-Based Systems， 2022， 252.

（責任編輯 王 一）

修改稿收到日期為2023年8月7日。