基于低光增強(qiáng)的夜間疲勞駕駛檢測算法①

李曉星,朱 明

(中國科學(xué)技術(shù)大學(xué) 信息科學(xué)技術(shù)學(xué)院,合肥 230026)

1 引言

疲勞駕駛,是指駕駛員在長時(shí)間的連續(xù)駕駛后,產(chǎn)生的生理上和心理上的某些機(jī)能的嚴(yán)重失調(diào),從而導(dǎo)致出現(xiàn)的一系列開車技能顯著降低的現(xiàn)象.然而,駕駛員的疲勞駕駛是可控的,所以,能夠準(zhǔn)確地檢測駕駛員的疲勞狀態(tài),并在駕駛員疲勞時(shí)給出相應(yīng)的安全警示,可以有效地保障司機(jī)的出行安全.

目前的疲勞駕駛檢測技術(shù)主要分為以下3 類:第1 種是基于駕駛員生理特征的疲勞駕駛檢測.駕駛員的生理特征是指生物信號(hào),主要包括人的心電波、腦電波、肌電波等,這些生理特征與駕駛員的疲勞狀態(tài)呈現(xiàn)正相關(guān)的趨勢[1–5],因?yàn)檫@些信息可以直接反應(yīng)駕駛員的疲勞狀態(tài),所以具有很高的準(zhǔn)確率.王飛等[1]通過收集駕駛員的腦電波信號(hào)和相應(yīng)的方向盤信息來檢測駕駛員的疲勞狀態(tài).但是,這種方法侵入性強(qiáng)、價(jià)格高昂、難以普及;第2 種是基于車輛運(yùn)動(dòng)特征的疲勞駕駛檢測,譬如手在方向盤上的壓力、車身的左右搖擺程度、車道偏離程度等[6–9].根據(jù)駕駛員疲勞駕駛時(shí)的方向盤的角度特性,Sayed 等[6]計(jì)算出了駕駛員的方向盤角度的分布直方圖,并提取頻率作為特征,建立了基于神經(jīng)網(wǎng)絡(luò)算法的疲勞狀態(tài)檢測模型.但是,這種方法會(huì)受到很多外部因素的干擾,譬如復(fù)雜的路況信息和駕駛員的駕駛習(xí)慣等.因此在大多數(shù)情況下,它只能作為融合檢測中的輔助參考因子;最后是基于駕駛員面部特征的疲勞駕駛檢測,該方法主要是通過計(jì)算機(jī)視覺來判斷駕駛員的疲勞狀態(tài)[10–17].Reddy 等[11]通過人臉關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)MTCNN (Multi-Task Cascaded Convolutional Networks)[18]提取駕駛員的眼睛,然后利用CNN(Convolutional Neural Network)分別獲取眼睛的特征來構(gòu)建疲勞檢測模型.此類方法與前兩種相比,安裝簡單、成本低、適合大面積推廣.

光照強(qiáng)度較弱的情況.由于駕駛員疲勞一般出現(xiàn)在夜間光照很弱的情況下,該情況下的圖像曝光度低,圖像特征不夠明顯,直接將原始圖像輸入到MTCNN網(wǎng)絡(luò)中可能會(huì)檢測不到眼睛區(qū)域從而影響整個(gè)檢測器的性能.所以基于此問題,本文提出了一種基于低光增強(qiáng)的夜間疲勞駕駛檢測方法,該方法在基于MTCNN網(wǎng)絡(luò)的檢測算法的基礎(chǔ)上首先對(duì)原始圖像進(jìn)行低光增強(qiáng)處理,提高了圖像的曝光度,從而使得圖像特征更加明顯,最終提高整個(gè)檢測器的性能.

本文的貢獻(xiàn)如下:1)采用RGB 攝像頭拍攝了夜間視頻建立了夜間疲勞駕駛檢測數(shù)據(jù)集;2)在疲勞駕駛研究領(lǐng)域,本文最先提出使用低光增強(qiáng)的方法來解決夜間圖像曝光度低的問題.

2 基于低光增強(qiáng)的疲勞檢測模型設(shè)計(jì)

2.1 基于MTCNN 網(wǎng)絡(luò)的疲勞駕駛檢測模型及其缺點(diǎn)

傳統(tǒng)的檢測模型框架如圖1所示,整體來看主要分為兩個(gè)過程,第1 步是進(jìn)行人臉關(guān)鍵點(diǎn)檢測確定眼睛區(qū)域,第2 步是眼睛睜閉眼狀態(tài)判斷.對(duì)于人臉關(guān)鍵點(diǎn)檢測,使用了MTCNN[18]模型進(jìn)行識(shí)別.MTCNN 被認(rèn)為是檢測速度最快同時(shí)也最準(zhǔn)確的檢測器之一,利用級(jí)聯(lián)結(jié)構(gòu),它可以快速的實(shí)現(xiàn)人臉檢測與對(duì)齊.對(duì)于給定的一張?jiān)紙D像,經(jīng)過MTCNN 處理,最終輸出人臉框和人臉的5 個(gè)特征點(diǎn)(包括左眼、右眼、鼻子和嘴唇的左右兩角)坐標(biāo)信息.第2 步是眼睛睜閉眼狀態(tài)判斷,傳統(tǒng)的模型可以采用CNN 來對(duì)眼睛狀態(tài)進(jìn)行分類判斷.CNN 將第1 步的輸出即眼睛區(qū)域作為輸入,最終輸出是眼睛的睜、閉狀態(tài).

上述模型中,在低光環(huán)境下,主要存在兩點(diǎn)不足:首先在將圖像輸入到MTCNN 中時(shí),沒有對(duì)原始圖像進(jìn)行任何處理,而對(duì)于低光照下曝光度低的圖像,直接將圖像輸入到MTCNN,由于圖像特征不明顯,可能會(huì)導(dǎo)致MTCNN 檢測不到臉部區(qū)域,導(dǎo)致檢測結(jié)果錯(cuò)誤;其次即使能夠檢測到臉部以及眼睛區(qū)域,在第2 步將眼睛圖像輸入到CNN 進(jìn)行分類時(shí),由于眼睛圖像特征不明顯,也會(huì)導(dǎo)致CNN 判別出錯(cuò).因此,在低光照下,基于MTCNN 網(wǎng)絡(luò)的檢測模型效果不夠理想.

2.2 基于低光增強(qiáng)的疲勞駕駛檢測模型

在本節(jié)中,我們針對(duì)傳統(tǒng)基于MTCNN 算法在低光照下的不足,在傳統(tǒng)算法的基礎(chǔ)上進(jìn)行了創(chuàng)新,提出了一種基于低光增強(qiáng)的疲勞駕駛檢測模型.

如圖2所示,本模型主要分為3 步.第1 步首先采用低光增強(qiáng)算法對(duì)低光照下的照片進(jìn)行處理,獲取到高質(zhì)量圖像;第2 步和第3 步與傳統(tǒng)基于MTCNN 的檢測算法相同,先采用MTCNN 網(wǎng)絡(luò)進(jìn)行關(guān)鍵點(diǎn)檢測來確定眼睛的區(qū)域,之后采用CNN 網(wǎng)絡(luò)進(jìn)行分類,判斷是否為疲勞駕駛.由圖2可知,本模型在使用低光增強(qiáng)算法的檢測模型不會(huì)受到低光照下圖像曝光度低的影響.

北方農(nóng)區(qū)要抓住晴好天氣，加快秋收掃尾工作，已收獲地區(qū)要做好晾曬和儲(chǔ)藏工作，確保顆粒歸倉。北方冬麥區(qū)已播地區(qū)注意查苗補(bǔ)種，土壤墑情偏差地區(qū)要積極造墑播種、適當(dāng)加大播量；黃淮南部、江淮、江漢陸續(xù)進(jìn)入播種期，應(yīng)及時(shí)做好整地備播工作，并需密切關(guān)注墑情雨情，趁墑或造墑播種冬小麥。

第1 步利用低光增強(qiáng)算法對(duì)圖片進(jìn)行處理是本文工作的重點(diǎn).使用低光增強(qiáng),我們不再將原始圖像直接輸入到MTCNN 中進(jìn)行檢測.而是在進(jìn)行檢測之前,創(chuàng)新提出了使用LIME 算法[19]對(duì)原始低曝光度圖像進(jìn)行增強(qiáng)處理.

在實(shí)現(xiàn)低光增強(qiáng)的過程中,輸入的數(shù)據(jù)為低光下的低曝光圖像,輸出為經(jīng)過處理的高質(zhì)量圖像.本文使用LIME 算法進(jìn)行改進(jìn)并適用于本模型中,該算法是基于Retinex 理論[20],將黑暗中的圖像經(jīng)過分解產(chǎn)生光照?qǐng)D像和反射圖像,再將光照?qǐng)D像進(jìn)行增強(qiáng)然后與反射圖像相結(jié)合即可完成低光增強(qiáng).具體的算法核心思想可以利用如下4 個(gè)公式進(jìn)行說明:在式(1)中,L表示原始低曝光度圖像,I表示增強(qiáng)后的圖像,T表示物體的光照?qǐng)D像,根據(jù)Retinex 理論可知,T是圖像的固有性質(zhì),是恒定不變的,符號(hào)“.”表示數(shù)組元素依次相乘.式(2)中,表示圖像的初始亮度估計(jì).式(3)中,W代表權(quán)重矩陣,Gσ(x,y)由采用標(biāo)準(zhǔn)差的高斯核產(chǎn)生.式(4)為最終的優(yōu)化公式,α表示平衡系數(shù),通過優(yōu)化公式得到T的估計(jì)值后即可通過式(1)得到增強(qiáng)后的圖像.

根據(jù)上面的分析,我們總結(jié)了增強(qiáng)處理算法的具體實(shí)現(xiàn)流程,其偽代碼如算法1 所示.

算法1.LIME 算法具體實(shí)現(xiàn)流程1.根據(jù)式(2)計(jì)算圖像的初始亮度估計(jì)值 ;2.根據(jù)式(3)計(jì)算圖像的權(quán)重矩陣W;3.根據(jù)優(yōu)化式(4)計(jì)算表達(dá)式值最小時(shí)的T 即光照?qǐng)D像;4.對(duì)光照?qǐng)D像T 進(jìn)行Gamma 變換;5.根據(jù)式(1)求得最終所需的增強(qiáng)圖像I.?T

在將夜間圖片進(jìn)行低光增強(qiáng)之后,可以獲取到高質(zhì)量的圖片.之后采用傳統(tǒng)的MTCNN 算法進(jìn)行特征提取,和采用CNN 算法進(jìn)行疲勞駕駛識(shí)別.此過程和傳統(tǒng)的疲勞駕駛檢測模型類似,本工作只是進(jìn)行相應(yīng)的參數(shù)調(diào)優(yōu),因此在文中不再累述.

根據(jù)上述中低光增強(qiáng)的檢測模型,我們可以在夜間光照強(qiáng)度較弱的情況下,更好的識(shí)別司機(jī)是否出現(xiàn)疲勞駕駛.

3 實(shí)驗(yàn)分析

3.1 數(shù)據(jù)集

本文采用的數(shù)據(jù)集是筆者自己建立的數(shù)據(jù)集.考慮到目前公開的夜間疲勞駕駛檢測數(shù)據(jù)集都是利用紅外攝像頭采集,而紅外攝像頭成像質(zhì)量差,顏色紋理對(duì)比度都不夠清晰,所以筆者自己使用640×480 的RGB攝像頭建立了一個(gè)數(shù)據(jù)集,整個(gè)數(shù)據(jù)集采集了18 個(gè)人的夜間視頻數(shù)據(jù),均在實(shí)際場景中(即車?yán)?拍攝,每個(gè)人都會(huì)拍攝疲勞與不疲勞兩種狀態(tài)的視頻,總共有36段視頻,其中18 段疲勞,18 段不疲勞,用于疲勞駕駛的檢測.

為了制作眼睛分類網(wǎng)絡(luò)的數(shù)據(jù)集,筆者從36 段視頻中分別獲取了60 幀視頻幀,剔除成像質(zhì)量過差或噪點(diǎn)過多的圖像,最終從所有視頻中獲取了1664 幀圖像,對(duì)于每張640×480 的圖像,都會(huì)對(duì)其進(jìn)行LIME 增強(qiáng)處理或不做處理,然后對(duì)于兩種情境下的圖像經(jīng)過MTCNN 進(jìn)行處理,得到兩種情況下(增強(qiáng)與不增強(qiáng))的眼睛圖像,然后將所有眼睛圖像resize 到48×48大小,用于制作眼睛分類網(wǎng)絡(luò)的數(shù)據(jù)集,眼睛數(shù)據(jù)集圖片如圖3所示,其中上面3 行是不加入增強(qiáng)方法的眼睛數(shù)據(jù)集圖像(包含睜眼閉眼),后面3 行是加入LIME增強(qiáng)之后的眼睛數(shù)據(jù)集圖像.其中70%用于訓(xùn)練,20%用于驗(yàn)證,10%用于測試,從而訓(xùn)練睜閉眼分類網(wǎng)絡(luò),提高睜眼閉眼檢測的準(zhǔn)確率,最終提高本文算法的魯棒性.

圖3 睜閉眼分類網(wǎng)絡(luò)數(shù)據(jù)集圖像

3.2 實(shí)驗(yàn)過程

本文檢測算法的流程圖如圖4所示,實(shí)驗(yàn)所用的機(jī)器配置情況如表1,經(jīng)過不斷的調(diào)優(yōu),本文中相關(guān)模型的主要參數(shù)有:LIME 算法的權(quán)衡系數(shù)α 設(shè)置為0.15,將光照?qǐng)D像的伽馬變換設(shè)置為0.7,睜閉眼分類網(wǎng)絡(luò)的batch_size 均設(shè)置為32,學(xué)習(xí)率設(shè)置為0.001.

圖4 本文實(shí)驗(yàn)流程圖

表1 實(shí)驗(yàn)機(jī)器配置情況

3.3 實(shí)驗(yàn)結(jié)果對(duì)比分析

圖5是LIME 算法的實(shí)驗(yàn)結(jié)果,該算法的輸入是一張640×480 的三通道的低光照?qǐng)D像,輸出是一張640×480 的三通道的增強(qiáng)后的圖像,處理之后的結(jié)果如圖8所示,其中左邊為原始圖,右邊為增強(qiáng)圖,圖像尺寸大小保持640×480 不變.由實(shí)驗(yàn)結(jié)果可以看出,圖像的曝光度大幅增高,有利于之后進(jìn)行檢測.

圖5 LIME 處理結(jié)果

圖6是1664 張圖像做的亮度統(tǒng)計(jì)結(jié)果.對(duì)于每張圖像,先對(duì)其進(jìn)行灰度化,然后計(jì)算圖像上所有像素點(diǎn)的平均灰度值即可得到圖像的平均亮度,最后統(tǒng)計(jì)每個(gè)亮度上(0～255)圖像的數(shù)量.實(shí)驗(yàn)結(jié)果如圖6所示,虛線繪制的折線圖為未加入增強(qiáng)的統(tǒng)計(jì)結(jié)果,實(shí)線繪制的折線圖是加入LIME 增強(qiáng)的統(tǒng)計(jì)結(jié)果.由圖像可以看出,加入增強(qiáng)之后的亮度值曲線右移,表明圖像的曝光度增加,有利于后續(xù)階段的檢測和分類.

圖6 亮度統(tǒng)計(jì)結(jié)果

圖7是MTCNN 的檢測結(jié)果.第1 行左邊是原始夜間圖像,右邊是對(duì)其進(jìn)行特征點(diǎn)檢測的結(jié)果,如圖可以看到臉部被框出,眼睛鼻子嘴巴等區(qū)域被標(biāo)記;第2 行左邊是原始圖經(jīng)過LIME 算法增強(qiáng)后的結(jié)果,右邊是對(duì)其進(jìn)行特征點(diǎn)標(biāo)記后的結(jié)果.

圖7 MTCNN 處理結(jié)果

表2是MTCNN 定位眼睛區(qū)域的準(zhǔn)確率,對(duì)于定位結(jié)果,若識(shí)別不到人臉框,則識(shí)別不正確,反之,則認(rèn)為識(shí)別正確.實(shí)驗(yàn)結(jié)果可以看出,直接輸入低光情況下的圖像進(jìn)行檢測,檢測效果會(huì)相對(duì)較差,這是因?yàn)樵诘推毓舛鹊臈l件下,臉部特征不大明顯,所以很難定位到臉部.在MTCNN 檢測之前,加入低光增強(qiáng)的方法,使得圖像的曝光度增加,檢測效果會(huì)顯著提高.

表3是眼睛狀態(tài)識(shí)別的實(shí)驗(yàn)結(jié)果.采用基于MTCNN網(wǎng)絡(luò)的檢測方法,直接使用原始圖像進(jìn)行輸入,沒有考慮到圖像的質(zhì)量問題,導(dǎo)致MTCNN 定位眼睛區(qū)域的準(zhǔn)確率變低,進(jìn)而導(dǎo)致整個(gè)模型的準(zhǔn)確率變低,因而效果不如基于低光增強(qiáng)的檢測方法好.

表3 眼睛狀態(tài)識(shí)別方法對(duì)比

以下是疲勞駕駛檢測的實(shí)驗(yàn)結(jié)果,疲勞駕駛的檢測針對(duì)的對(duì)象是一段視頻,判斷疲勞駕駛使用的方法是在1 分鐘內(nèi)獲取60 幀視頻幀,睜眼狀態(tài)的數(shù)量比低于80%則可認(rèn)為是疲勞,反之則為正常狀態(tài).表4為基于MTCNN 的檢測方法的實(shí)驗(yàn)結(jié)果,表5是基于低光增強(qiáng)的檢測方法的實(shí)驗(yàn)結(jié)果,表6是兩種方法的實(shí)驗(yàn)結(jié)果對(duì)比.本文針對(duì)數(shù)據(jù)集中的36 段視頻(18 段睜眼、18 段閉眼)進(jìn)行了測試,根據(jù)結(jié)果可以看出加入低光增強(qiáng)之后檢測器的性能有很大提升,原因主要是因?yàn)槲醇尤朐鰪?qiáng)的檢測器檢測的圖像曝光度過低,導(dǎo)致眼睛狀態(tài)識(shí)別準(zhǔn)確率受到影響,進(jìn)而直接影響到疲勞駕駛的檢測.

表4 基于MTCNN 的檢測方法實(shí)驗(yàn)結(jié)果

表5 基于低光增強(qiáng)的檢測方法檢測結(jié)果

表6 兩種方法試驗(yàn)對(duì)比(單位:%)

4 結(jié)束語

本文提出了一種基于低光增強(qiáng)的夜間疲勞駕駛檢測方法,在檢測之前先對(duì)圖像進(jìn)行低光增強(qiáng),然后利用人臉關(guān)鍵點(diǎn)檢測方法定位眼睛區(qū)域,最后使用眼睛睜閉眼分類網(wǎng)絡(luò)對(duì)眼睛區(qū)域進(jìn)行分類.本文使用了LIME算法來對(duì)圖像進(jìn)行低光增強(qiáng),實(shí)驗(yàn)表明,加入低光增強(qiáng)方法的檢測器比不加入的準(zhǔn)確率高.對(duì)比其他的疲勞檢測方法,該方法不僅不需要與駕駛員直接接觸,而且針對(duì)晚上圖像曝光度低的情況均有更好的效果.