基于腦電與面部特征拼接融合的駕駛疲勞識別研究

摘 要：使用面部特征和腦電（Ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ，ＥＥＧ） 特征識別駕駛員的疲勞狀態，對駕駛員進行疲勞提醒，可以有效降低事故發生概率。為解決單一面部特征或ＥＥＧ 特征識別精度不高的問題，提出一種基于ＥＥＧ 與面部特征拼接融合的疲勞識別方法。提取ＥＥＧ 信號的時域、頻域、非線性特征和面部特征，通過特征層信息融合的方法進行特征拼接。為提高面部特征識別速度，提出了一種改進的ＹＯＬＯｖ５＿ ｍｏｂｉｌｅｎｅｔ 模型。在此基礎上，將拼接后的融合特征通過六大機器學習模型進行精度識別，并選擇準確性、Ｆ１＿ ｓｃｏｒｅ、精確率和召回率進行分析、評價。使用公開的數據集來驗證所提出的方法，結果表明，改進的ＹＯＬＯｖ５＿ ｍｏｂｉｌｅｎｅｔ 模型在各個特征表現均高于現有模型；不同的機器學習模型評價結果顯示，與單一的疲勞特征識別相比融合特征表現更好，因此，基于ＥＥＧ 與面部特征拼接的融合特征用于駕駛疲勞識別是可行的。

關鍵詞：腦電信號特征；面部圖像特征；特征融合；疲勞識別；機器學習

中圖分類號：Ｕ４９１． ２ 文獻標志碼：Ａ

文章編號：１００３－３１０６（２０２４）１２－２８２０－１１

０ 引言

汽車是當今交通運輸領域的主要載體，然而交通事故的頻繁發生帶來了極大的人員傷亡和經濟損失。世界衛生組織指出，道路交通事故是對全球公眾身體健康造成傷害的最重要原因之一。在道路交通事故成因中，駕駛員的疲勞駕駛行為是全球道路交通事故死亡人數持續增多的主要原因之一。因此，利用現代科技手段來監測駕駛員的生理和行為特征，判斷駕駛員是否處于疲勞狀態并進行預警是預防交通事故發生的有效措施。

已有駕駛疲勞檢測方法分為主觀檢測方法和客觀檢測方法２ 類。主觀檢測方法是通過詢問駕駛員的感覺和心理狀態來評估其疲勞程度的檢測方法。在某些情況下，被試者為了迎合研究目的甚至會謊報自己的真實感受，導致疲勞評估結果的可靠性不高。相比于主觀檢測方法，客觀檢測方法精確度更高。常用的客觀駕駛疲勞檢測方法有車輛行為特征分析、生理信號特征分析、面部圖像特征分析等。其中車輛行為特征包括汽車性能的變化，如方向盤轉角、行駛速度和車輛運動軌跡等；駕駛疲勞的生理信號指標包括心率變異性、腦電（Ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ，ＥＥＧ）信號和肌電信號等；駕駛員行為表現包括打哈欠、眨眼和點頭等。其中駕駛員行為特征是駕駛疲勞最為直觀的表征。

ＭｃＤｏｎａｌｄ 等［１］利用各種傳感器和數據源，如攝像頭、加速度計和全球定位系統來捕捉駕駛員的行為和環境，將７２ 名駕駛員的行為數據，包括方向盤的運動、眨眼頻率和頭部位置以及時間、路況和交通模式等數據，輸入到動態貝葉斯網絡中，通過實時分析這些數據訓練出一種實時測量駕駛環境的模型。Ｌｉ 等［２］通過研究ＥＥＧ 信號中的時域特征和頻域特征，確定ＥＥＧ 信號的時域特征和頻域特征可以作為疲勞駕駛研究的依據；Ｚｈａｎｇ 等［３］通過對非線性特征進行分析，確定ＥＥＧ 信號的非線性特征可以作為疲勞駕駛研究的依據。２０１６ 年Ｊｏｓｅｐｈ Ｒｅｄｍｏｎ 首次提出了Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ（ＹＯＬＯ）系列模型［４－５］，是現階段面部特征提取中常用的模型。Ｒａｏ 等［６］利用主成分分析方法對駕駛員的面部圖像進行白化處理，實現高精度駕駛疲勞檢測。Ｍａｎｄａｌ 等［７］提出一種客車司機疲勞檢測系統，可對司機面部、眼部狀態進行檢測與分析，對司機疲勞程度進行實時估算。

現階段駕駛疲勞研究，精確度較高的ＥＥＧ 數據使用較多。數據采集設備相對簡單的面部特征識別方法得到越來越多關注，但在應用面部圖像特征進行疲勞狀態檢測時，拍攝角度和面部光照會對數據的質量和精度產生影響。對于ＥＥＧ 和面部的單一特征研究不能在整體上體現對疲勞識別的精度，因此本文采用一種融合特征方式進行疲勞檢測。

１ 數據準備

已有研究表明，提取單一的生理特征和面部特征，所得到的疲勞識別結果，已經能在一定程度上反映疲勞狀態，但精度依舊可以提高。因此本文嘗試采用ＥＥＧ 特征和面部特征的融合特征進行疲勞識別。

１． １ 數據集介紹

對同類別的用于研究駕駛疲勞的開源數據集進行篩選后，本文采用ＵＬｇ Ｍｕｌｔｉｍｏｄａｌｉｔｙ ＤｒｏｗｓｉｎｅｓｓＤａｔａｂａｓｅ （ＤＲＯＺＹ ）［８］ 進行實驗研究，以下是ＤＲＯＺＹ 數據集的實驗設計說明。

該數據集由利時列日大學實驗室采集，實驗參與人員包含１４ 名被試者（１１ 名女性和３ 名男性），年齡為（２２． ７±２． ３）歲。實驗時間為連續的２９． ５ ｈ，在實驗期間被試者被剝奪了睡眠，并在不同的時間點進行了３ 次精神運動警覺測試（Ｐｓｙｃｈｏｍｏｔｏｒ Ｖｉｇｉｌａｎｃｅ Ｔａｓｋ，ＰＶＴ）。所有測試都是在安靜獨立的實驗室中進行的，被試者關閉了手機和其他智能設備，實驗期間不能得到任何時間提示。在每一次ＰＶＴ測試過程中，利用傳感器和攝像機同步采集被試者的生理信號數據與面部視頻數據。ＤＲＯＺＹ 數據集采集了被試者的Ｆｚ、Ｃｚ、Ｃ３ 、Ｃ４ 、Ｐｚ 五個電極位置的ＥＥＧ 信號，具體電極位置示意如圖１ 所示。