基于面部多指標的貨運司機疲勞駕駛檢測

龔淑娟

（福州大學 經(jīng)濟與管理學院，福建 福州 350108）

1 引言

近年來，隨著經(jīng)濟發(fā)展以及交通環(huán)境的改善，網(wǎng)上交易額逐年上升，我國物流業(yè)蓬勃發(fā)展的同時推動了貨運市場的增長，公路運輸是當前最主要的運輸方式之一，而同時帶來的是疲勞駕駛隱患。據(jù)國家交通運輸部門統(tǒng)計顯示，我國人為因素造成的交通事故有近20%-30%的重大事故是由于疲勞駕駛引起的。在物流運輸中，長途貨運司機疲勞駕駛是行業(yè)內(nèi)最為普遍存在的現(xiàn)象之一。重大貨運卡車交通事故中因駕駛員疲勞駕駛引起的占57%。僅2018年，在特大事故中，有近40%以上是由疲勞駕駛造成的。交通安全一直是國民關心的熱點問題，在物流業(yè)持續(xù)發(fā)展、貨運量劇增的今天，長途貨運司機承擔的不僅僅是安全駕駛的責任，還有自身安全以及由此帶來的人員傷亡、公共設施及巨大的財產(chǎn)損失，從而造成不良的社會影響。由于長途貨運司機長時間、高強度駕駛車輛，極易疲勞駕駛，安全問題迫在眉睫，社會各界都在尋求該問題的解決方案，但國內(nèi)尚無系統(tǒng)完善的方法快速、準確地識別長途貨運司機的駕駛狀態(tài)。

國內(nèi)外學者對疲勞駕駛進行了大量研究，主要可以分為疲勞對駕駛員的影響研究、疲勞檢測技術研究以及疲勞駕駛檢測方法研究等。Philip 等詳細闡述了駕駛性能對一天中時間和過去24小時睡眠時間的依賴性。如果在24小時內(nèi)睡眠被限制在兩小時以內(nèi)，駕駛員不適的感覺會增加數(shù)倍[1]。Matthews 和Desmond 提出了任務誘導疲勞或主動疲勞對駕駛表現(xiàn)的影響。在經(jīng)歷疲勞車輛控制時，信號檢測和行人檢測都顯示疲勞對駕駛會造成惡化[2]。駕駛員年齡和駕駛持續(xù)時間在疲勞對駕駛員的影響表現(xiàn)中起著重要作用[3]。當駕駛任務持續(xù)時間增加時，轉(zhuǎn)向誤差和反應時間都會增加。長時間工作后，駕駛性能明顯下降[4]。美國在近幾十年關于疲勞駕駛的研究中取得了突破性的發(fā)展。美國約翰霍普金斯大學（Johns Hopkins University）研發(fā)出瞌睡駕駛人偵察系統(tǒng)（DDDS），該系統(tǒng)依靠doppler radar 獲取司機的眨眼頻率、持續(xù)時間等相關的疲勞信息，并采用信號處理模型判斷駕駛員是否處于打瞌睡或疲勞狀態(tài)[5]。美國Electronic Safety Products 公司研制出疲勞報警裝置S.A.M（Steering Attention Monitor），該系統(tǒng)通過傳感器檢測方向盤的轉(zhuǎn)動情況，4s內(nèi)無發(fā)生轉(zhuǎn)動即認為司機為疲勞駕駛，隨即發(fā)生警報直至方向盤轉(zhuǎn)動[6]。一些汽車企業(yè)也著手研發(fā)，2008年款皇冠上安裝了豐田的第一個疲勞檢測模塊，該模塊根據(jù)眼瞼活動來檢測睡意。近期豐田在小型和大型車輛上都部署了豐田安全感知計劃[7]。豐田安全感知計劃包括車輛檢測、車道偏離和行人檢測。日產(chǎn)汽車駕駛員注意力警報通過建立基線來適應駕駛員的行為，對轉(zhuǎn)向校正誤差進行連續(xù)性統(tǒng)計分析，以檢測偏離基線的情況[8]。大眾汽車的休息輔助系統(tǒng)通過車道跟蹤系統(tǒng)、踏板使用和不穩(wěn)定的方向盤運動來判斷駕駛員疲勞程度[9]。美國應用科學實驗室（ASL）設計并開發(fā)了一種基于視頻的眼睛追蹤軟件，該軟件觀察瞳孔反射以測量眼睛運動[10]。日本的先鋒公司依據(jù)駕駛員的生理狀態(tài)設計了一種基于心跳速率防止駕駛員疲勞駕駛的系統(tǒng)[11]。

目前疲勞檢測研究已經(jīng)較為成熟，司機疲勞駕駛指標主要包括車輛行為與駕駛員生理指標。但由于研究環(huán)境受限，仍然需要開發(fā)一種在所有可能的情況下都能很好地工作的實時和精確的技術。且在實際應用中，需要物流企業(yè)或者運輸單位、司機個人采購設備，但這類設備的單價往往偏高，且安裝程度復雜，操作繁雜，導致疲勞駕駛檢測的普及程度不高。因此，本文將著手研究多生理信號融合的貨運司機疲勞檢測，研制一個低成本、易操作的疲勞檢測和預警系統(tǒng)以改善現(xiàn)有狀況。

2 疲勞駕駛檢測方法

隨著科學技術的發(fā)展與進步，疲勞駕駛的檢測方法由早期基于生理指標的客觀評測發(fā)展到人體行為檢測和車輛或司機操作行為檢測，每種方法因其特點不同各有優(yōu)缺點，專家學者們?nèi)栽诓粩嗤晟破隈{駛檢測方法的科學性。

2.1 生理指標客觀評測法

生理指標是人體真實反應所產(chǎn)生的信號，具有一定規(guī)律且準確可靠。基于生理指標的客觀評測法所采用的生理信號指標主要包括中樞神經(jīng)生理指標和肌電信號（EMG）指標。

（1）中樞神經(jīng)生理指標。人體中樞神經(jīng)系統(tǒng)能夠快速感知疲勞變化，二者間有著密切聯(lián)系。人體感受器官的脈沖流與大腦皮質(zhì)的反饋相結合，接收刺激后能夠共同刺激網(wǎng)狀激活中樞系統(tǒng)，并使其維持于高待命狀態(tài)中。當刺激消失后脈沖流減少，激活水平降低，因此容易產(chǎn)生疲勞狀態(tài)。當前生理信號可以分為心臟、大腦、眼睛信號。檢測疲勞的生理信號變化的精確方法如EEG、PPG、ECG和EOG等。

（2）EMG 指標。表面肌電信號是對皮膚表面肌肉產(chǎn)生的電勢進行測量。肌電信號傳感器通過電極記錄肌肉細胞產(chǎn)生的電勢。從表面肌電信號的時域和頻域信號中提取的特征可用于預測肌肉疲勞。

2.2 基于物理特征的人體行為檢測

駕駛員面部和頭部運動的特征是疲勞的一些最明顯的癥狀。身體特征包括眨眼頻率、閉眼持續(xù)時間、PERCLOS、姿勢、凝視和點頭頻率。基于物理特征的人體行為疲勞檢測系統(tǒng)可以大致分為基于眼睛、嘴和臉/頭的技術。

（1）基于眼部狀態(tài)參數(shù)。人類有上下眼瞼，當人體產(chǎn)生疲勞時，眼部的運動會表現(xiàn)出明顯特征，諸如閉眼率、眼瞼距離、眼睛睜開百分比及眼瞼的掃視運動等特征被證明是判斷疲勞的合適指標。目前科學可靠的檢測參數(shù)有PERCLOS 參數(shù)（眼睛在單位時間內(nèi)的閉合程度）、AVRs參數(shù)（人體眨眼幅度與速度的比值、人體眼睛掃射幅度與速度的比值）等。

（2）基于嘴巴閉合。眼睛活動是疲勞檢測的熱門方法，打哈欠和張嘴也是檢測疲勞的良好指標。通過相應技術識別畫面中人臉，檢測嘴巴是否處于打哈欠狀態(tài)。一段時間內(nèi)打哈欠計數(shù)決定了司機的疲勞程度。

（3）基于司機頭部偏移。通常情況下當司機處于疲勞狀態(tài)時，頭部會不自覺的產(chǎn)生偏移，包括點頭、歪頭及搖晃。司機處于疲勞狀態(tài)時頭部會垂的更低，點頭動作增多，幅度增大。通過傳感器檢測一段時間內(nèi)司機頭部位置變化情況可判斷司機是否疲勞駕駛。

2.3 基于車輛或操作行為檢測

司機在正常狀態(tài)下駕駛時，車輛保持穩(wěn)定有序前進，疲勞降低了駕駛員的工作能力。車道交叉和方向盤角度等特征的偏差是駕駛能力下降的標志。當司機處于疲勞狀態(tài)時容易產(chǎn)生一些不當操作或反應遲緩等異常活動，如剎車和油門上的壓力變化，駕駛員座椅上的載荷分布和車速也是駕駛員疲勞的有力指標。車輛特征可分為方向盤角度、車道偏離和姿態(tài)變化。在車頭安裝攝像頭或傳感器獲取車輛相關行為，以判斷司機疲勞狀態(tài)也是當下可靠的方法之一。

（1）車輛行駛狀態(tài)。司機清醒狀態(tài)下能夠保證行駛平穩(wěn)，其中SWA法就是獲取車輛的方向盤轉(zhuǎn)角，從方向盤角度數(shù)據(jù)計算近似熵。依據(jù)計算自適應分段線性近似（APLA）估計疲勞狀態(tài)的相似性，以此判斷司機疲勞駕駛是當下熱點方法。除方向盤轉(zhuǎn)角外，車道偏離也被廣泛用于駕駛員疲勞檢測中，

（2）汽車操作行為。汽車操作行為主要是基于人車交互特性的檢測方式，疲勞對駕駛員的駕駛行為有直接影響，當駕駛員處于疲勞狀態(tài)時，對外界反應較為遲緩。因此可以通過獲取貨車制動踏板、加速踏板、與前車車距，以及方向盤調(diào)整等行為信息，判斷司機的駕駛狀態(tài)。

2.4 司機疲勞駕駛檢測方式對比

各類檢測方法對比分析見表1。生理指標提供可靠和準確的結果，因為它們代表真實的內(nèi)部狀態(tài)；然而，對于諸如腦電圖、心電圖和表面肌電信號的數(shù)據(jù)采集，必須將多個電極連接到身體。電極與身體的連接使得系統(tǒng)本質(zhì)上是侵入性的，這對于實時駕駛員疲勞檢測來說不太理想，且通過多個電極進行的腦電信號檢索非常容易受到來自外部因素噪聲的影響。生物傳感器既復雜又昂貴，信號需要進行大量預處理（以避免噪音），并且容易導致駕駛員移動。對于實時駕駛員疲勞檢測，由于人體行為的物理特征和車輛特征都不是侵入性的，似乎更可取。因為缺乏警惕會影響車輛控制或偏離，基于車輛特征的方法有利于確定困倦。疲勞可能不會對每個人的車輛特征產(chǎn)生相同的影響。與眨眼率相比，在橫向位置的標準偏差中可觀察到顯著的個體差異。車輛特征很容易受到個人駕駛習性、天氣和交通狀況的影響。

表1 各類檢測方法對比

3 面部疲勞檢測

考慮到本文是為了設計一套便捷有效且低成本的檢測系統(tǒng)，為了更簡易高效地提取司機疲勞特征，對比分析三種檢測方法，選擇采用人體行為檢測。利用Vahid K 和Josehin S 提出的68 個駕駛員面部特征點獲取眼睛狀態(tài)，基于回歸樹集合得到的特征點具體分布如圖1所示[14]。

圖1 面部特征分布

3.1 基于眼部特征點檢測

（1）PERCLOS 評價指標。現(xiàn)有研究通過大量實驗對比常用的面部疲勞駕駛指標后證實，在面部指標中PERCLOS 評價指標能夠最有效地檢測出司機的疲勞狀態(tài)[12]。PERCLOS 指標（Percentage of Eyelid Closure over the Pupil Over Time）是指在單位時間內(nèi)眼睛閉合時間超過某一閾值的時間在總時長的占比。將人眼在正常狀態(tài)下的瞳孔進行量化，計算出被試者眼瞼遮住瞳孔的比值。本文依據(jù)文獻[13]將PERCLOS 指標分為三個不同閾值的指標，具體見表2，PERCLOS指標計算原理如圖2所示。

圖1描述了左眼和右眼位置的特征點，通過計算左右眼特征點的位置信息，即可獲得雙眼的高、寬等指標。

表2 PERCLOS指標的閾值

其中P80疲勞指標計算公式為：

（2）EAR 評價指標。眼睛縱橫比EAR 是指眼睛兩側點與其對應垂直點之間變動距離以及水平兩點之間的橫向變動距離之比[15]，如圖3、圖4所示。當司機處于疲勞狀態(tài)時，可以從眼睛獲得疲勞最直觀的反應之一，因此EAR 是一種合適的疲勞檢測指標。圖3中的P1至P6點分別對應圖1中36至41點，右眼同理。

圖2 PERCLOS指標計算原理

圖3 睜眼特征示意圖

圖4 閉眼特征示意圖

3.2 MAR指標

眼睛活動是疲勞檢測的熱門方法，打哈欠和張嘴也是檢測疲勞的良好指標。通過相應技術識別畫面中人臉，檢測嘴是否處于打哈欠狀態(tài)。一段時間內(nèi)打哈欠計數(shù)決定了司機的疲勞程度。根據(jù)打哈欠與說話過程的開閉口的區(qū)分，說話時嘴部上下張開幅度小，頻率高，嘴型持續(xù)時間短，而打哈欠正好相反。因此利用嘴部的縱橫比MAR判斷司機的疲勞狀態(tài)不失為有效的方法。同樣利用68面度特征點檢測算法，得到8 個嘴部特征點，嘴部張開及閉合特征點如圖5、圖6所示。

圖5 嘴巴張開特征點示意圖

圖6 嘴巴閉合特征點示意圖

3.3 頭部姿勢

通常情況下當司機處于疲勞狀態(tài)時，頭部會不自覺的產(chǎn)生偏移，包括點頭、歪頭及搖晃。司機處于疲勞狀態(tài)時頭部垂的更低，點頭動作增多，幅度增大。通過傳感器檢測一段時間內(nèi)司機頭部位置變化情況可以判斷司機是否疲勞駕駛。本文根據(jù)文獻[16]利用頭部的偏航角、俯仰角及滾轉(zhuǎn)角等空間幾何指標判斷頭部是否發(fā)生前后左右傾斜等姿勢。

4 實驗程序

目前常見的三種疲勞檢測方法中，基于人體的生理指標抗干擾性強，準確性高，對于判斷疲勞駕駛相較其它方式更為準確。盡管有多種數(shù)據(jù)作為信號源，但普遍采用單一信號類別判斷，由于誤差和信號干擾的存在，判斷疲勞駕駛的準確性和可靠性還需進一步完善。且生理指標不易獲取，設備成本高，接觸式設備對于司機的干擾、隱私以及舒適性都存在一定的影響。而非接觸式設備雖能有效改善不足，但是容易受到外界環(huán)境的影響。因此本文采用上節(jié)3 個面部指標檢測方法，從多個角度、多維度對司機進行疲勞檢測，并根據(jù)相應的指標對司機進行疲勞駕駛預警。本文設計的檢測系統(tǒng)流程如圖7所示。

（1）實驗平臺搭建。帶Windows 系統(tǒng)、Python 軟件、屏幕分辨率為1 366*768 的電腦，帶前置攝像頭PC機。

（2）圖像采集及處理。通過相機實時采集司機駕駛情況，提取采集到的視頻中的每一幀圖像，主要利用灰度變換、直方圖均衡以及平滑濾波等數(shù)字圖像技術處理，達到降噪目的，再將圖像輸入面部檢測跟蹤模塊。

（3）人臉定位及檢測。結合MTCNN人臉檢測算法與DSST視頻單目標跟蹤算法，對采集到的司機圖像同時進行司機面部區(qū)域檢測定位及連續(xù)性穩(wěn)定檢測與跟蹤，將面部區(qū)域輸入關鍵點檢測部分[17]。為保證檢測的準確性，構造一個13 維的長寬比特征向量（第N幀、第N-6幀和第N+6幀），然后將該特征向量輸入線性SVM進行分類。

圖7 疲勞駕駛檢測系統(tǒng)流程圖

（4）面部關鍵點檢測及多指標疲勞計算。采用ERT 人臉對齊算法和EPNP 檢測算法提取司機面部特征。采用多指標計算疲勞狀態(tài)，基于多重疲勞檢測，可有效避免當某一項檢測受到外界或自身特殊情況干擾時產(chǎn)生的誤差，保證檢測系統(tǒng)的正確性。利用PERCLOS、EAR、MAR及頭部姿勢共4個指標計算，通過計算眼睛的長寬比確定視頻流中是否出現(xiàn)眨眼，通過計算嘴部長寬比確認是否出現(xiàn)打哈欠，通過頭部位移變化確定是否點頭。

（5）疲勞預警。當系統(tǒng)檢測到司機處于疲勞駕駛狀態(tài)時，即以P80≥40%，EAR≤20%，MAR≥75%，頭部俯仰角＞69.6°，滾動角大于36.3°為判定疲勞標準時，連續(xù)檢查20幀畫面，當單位時間內(nèi)眨眼次數(shù)達到5，P80≥40%，打哈欠次數(shù)達到15，或點頭15 次時，將立即主動發(fā)出對應提示預警，提示司機應當及時停車休息。同時將司機駕駛狀態(tài)信息發(fā)送至后臺服務器，當后臺收到提示后，可聯(lián)系司機確認是否對疲勞駕駛做出應對，也可利用該信息對司機的運輸工作進行合理安排。

5 實驗結果分析

為了保證平臺的可運行和系統(tǒng)真實性，我們真實模擬系統(tǒng)在不同狀態(tài)下對人像進行實時監(jiān)控測試，其檢測流程如圖7所示，結果如圖8-圖11所示。

圖8 清醒狀態(tài)下檢測圖

圖9 疲勞狀態(tài)下頭部姿勢達到疲勞預警標準

圖10 疲勞狀態(tài)下打哈欠達到疲勞預警標準

圖11 疲勞狀態(tài)下眨眼達到疲勞預警標準

從圖8 可知，系統(tǒng)可以監(jiān)測到嘴部是否張開，以及單位時間內(nèi)眨眼次數(shù)、EAR指數(shù)，MAR指數(shù)以及點頭次數(shù)。當受試者處于清醒狀態(tài)時，眼睛睜開，EAR為0.29，嘴巴正常情況下緊閉，MAR＜0.75。圖9-圖11 分別顯示，當受試者處于疲勞狀態(tài)時呈現(xiàn)瞇眼狀態(tài)，EAR＜0.2，打哈欠時MAR＞0.75，一旦當點頭次數(shù)達到15 次，或是打哈欠次數(shù)達到15 次，眨眼次數(shù)達到50 次時，達到了單位時間內(nèi)≥40%,系統(tǒng)顯示屏觸發(fā)警報“ALERT ！Be Careful of Drowsiness”并發(fā)出警報音預警。

為保證系統(tǒng)的準確性，另采用10 張疲勞狀態(tài)的臉部照片以及50 張正常狀態(tài)下的臉部照片，輸入系統(tǒng)進行檢測，如圖12、圖13所示。

以人眼為檢測指標的檢測結果見表3。

圖12 疲勞狀態(tài)臉部圖片

表3 人眼檢測實驗結果

通過實驗結果可知，基于面部眼睛狀態(tài)指標作為疲勞檢測判斷標準準確度較高，且抗干擾性強。分析影響正確率的可能性，通過測試發(fā)現(xiàn)，當測試對象佩戴眼鏡時，因為鏡片原因會在一定程度上影響EAR。因測試者自身五官大小導致EAR變化時以嘴部為檢測指標的結果見表4。

表4 嘴部檢測實驗結果

通過實驗結果可知，基于面部眼睛狀態(tài)指標作為疲勞檢測判斷標準的準確度一般，抗干擾性低，判斷影響準確性的原因為當司機處于重度疲勞，即將睡著或已睡著時多數(shù)人嘴巴是閉合的，因此以嘴部為指標時，僅通過靜態(tài)圖片檢測疲勞的準確性存在誤差。

基于眼睛狀態(tài)及嘴部狀態(tài)融合指標的檢測結果見表5。

表5 融合檢測實驗結果

對比以上兩個單一指標檢測，可以發(fā)現(xiàn)多重疲勞檢測，以多個指標同時檢測疲勞狀態(tài)更加準確。

圖13 正常狀態(tài)臉部圖片

6 結論

當前國內(nèi)外對于疲勞駕駛的研究不在少數(shù)，專家學者們從各個角度展開研究，能夠準確地進行疲勞檢測。但在現(xiàn)實中，因環(huán)境的復雜性，干擾大，本文基于多生理信號融合檢測長途貨運司機疲勞駕駛水平，通過分析當前三種疲勞檢測方法的優(yōu)缺點，介紹當前較為方便可靠的面部識別檢測方法及原理，選用PERCLOS、EAR、MAR及頭部姿勢共4個指標計算，判斷貨運司機疲勞狀態(tài)，并使用Python軟件設計出一套疲勞駕駛檢測及預警系統(tǒng)。從實驗結果可以得出以下結論：

（1）使用單生理信號檢測司機疲勞駕駛有一定的準確性，以面部眼睛作為檢測指標的準確度與抗干擾性比以嘴部為檢測指標效果更好。實驗過程中我們發(fā)現(xiàn)以頭部姿勢為指標的檢測方法實驗難度更高，在靜態(tài)圖片中無法正確判斷，且駕駛過程中若出現(xiàn)道路環(huán)境差產(chǎn)生晃動會明顯影響檢測的正確性。相比之下，多重生理信號融合后得到的司機疲勞駕駛檢測準確度更優(yōu)于單生理信號檢測，抗干擾性強，誤差較小。根據(jù)本文的分析可知，沒有單一特征可以可靠地檢測疲勞。因此，多個特征的組合檢測準確率更高。

（2）通過對比實時監(jiān)測和圖片檢測結果，我們發(fā)現(xiàn)基于時間的特征向量和SVM分類器的結合有助于減少誤報眨眼檢測，并提高眨眼檢測器的整體準確性。

（3）本系統(tǒng)經(jīng)過試驗證實具有較好的檢測效果，以面部特征識別的疲勞檢測方式主要使用無接觸式設備，安裝便捷，操作簡單，對于受試者而言舒適度更高。在室內(nèi)無外界環(huán)境干擾下檢測準確度高，但在外界環(huán)境干擾下，準確率會受到一定影響。相對于其他檢測方法成本更低，對于貨運企業(yè)而言認可度更高。

本文分析了以面部特征作為疲勞駕駛檢測指標的可行性，并通過Python搭建檢測系統(tǒng)，模擬不同狀態(tài)下系統(tǒng)實現(xiàn)對疲勞狀態(tài)的評估及報警，初步證實系統(tǒng)的有效性。但仍存在以下不足需進一步開展研究：（1）本文基于面部特征識別作為評價指標來判斷疲勞駕駛的檢測系統(tǒng)在采集數(shù)據(jù)后能夠判斷司機是否疲勞，但仍未對疲勞的等級進行劃分，僅以固定的標準分為疲勞和正常兩個狀態(tài)，而疲勞是一個漸進過程，接近臨界點時，系統(tǒng)未進行及時預警。（2）目前基于頭部姿勢指標判斷疲勞駕駛的標準還未具體量化，僅是一個較大的角度范圍，存在一定的誤差，還需要研究疲勞狀態(tài)下頭部姿勢的變化從而尋找更為準確可靠的標準。