基于駕駛員面部檢測的自適應(yīng)碰撞預(yù)警系統(tǒng)

余卓平 袁子佳 冷搏 熊璐

摘要：碰撞預(yù)警系統(tǒng)（FCW）是高級(jí)輔助駕駛系統(tǒng)（ADAS）的重要組成部分，它可以識(shí)別潛在的碰撞危險(xiǎn)并提醒駕駛員。傳統(tǒng)的FCW對(duì)駕駛員假設(shè)了固定的反應(yīng)時(shí)間，導(dǎo)致警報(bào)無法根據(jù)不同的駕駛員狀態(tài)調(diào)整從而產(chǎn)生誤報(bào)。在此基礎(chǔ)上，本文提出了一種基于駕駛員面部監(jiān)測的自適應(yīng)碰撞預(yù)警系統(tǒng)，該系統(tǒng)利用相機(jī)采集駕駛員面部信息，通過深度殘差網(wǎng)絡(luò)、PERCLOS（百分比眼開度跟蹤）和位姿估計(jì)等方法檢測駕駛員的年齡、情緒、疲勞和注意力，然后利用模糊控制對(duì)所獲信息進(jìn)行評(píng)價(jià)，得到相應(yīng)的反應(yīng)時(shí)間，最后將此系統(tǒng)放在CarMaker/Simulink進(jìn)行建模仿真測試。結(jié)果顯示此系統(tǒng)通過測試標(biāo)準(zhǔn)并可以自適應(yīng)不同的駕駛員狀態(tài)。

關(guān)鍵詞：碰撞預(yù)警系統(tǒng)（FCW）;高級(jí)輔助駕駛系統(tǒng)（ADAS）;駕駛員面部檢測;PERCLOS;位姿估計(jì);模糊控制;CarMaker

0? 引言

聯(lián)合國世界衛(wèi)生組織《2018年道路安全全球現(xiàn)狀報(bào)告》指出，全球每年大約有135萬人死于道路交通碰撞，2000萬至3000萬人受到非致命傷害。道路碰撞所帶來的損失占大部分國家國內(nèi)生產(chǎn)總值的3%，所以十分有必要解決道路碰撞問題。[1]

文獻(xiàn)顯示，大約90%的交通事故歸因于駕駛員自身[2]，約34%的致命事故的主要原因是缺乏有效的預(yù)警。[3]所以，能夠高級(jí)駕駛輔助系統(tǒng)（ADAS，Advanced? Driver Assistant System）是汽車主動(dòng)安全系統(tǒng)的重要技術(shù)，可以有效提升行駛安全性。它利用車載的各種傳感器，實(shí)時(shí)收集車內(nèi)外環(huán)境數(shù)據(jù)，進(jìn)行靜、動(dòng)態(tài)物體的辨識(shí)、偵測與追蹤等技術(shù)處理，從而讓駕駛員在最短的時(shí)間察覺到潛在危險(xiǎn)。高級(jí)輔助駕駛系統(tǒng)范圍很廣，通常包括自適應(yīng)巡航、車道保持系統(tǒng)，自動(dòng)泊車系統(tǒng)、駕駛員疲勞探測等。其中，前向碰撞預(yù)警系統(tǒng)（FCW，F(xiàn)orward Collision Warning System）可以在車輛與障礙物距離小于安全距離時(shí)，向駕駛員發(fā)出警報(bào)從而有效避免碰撞的技術(shù)。

ADAS與FCW已經(jīng)相對(duì)成熟，廣泛運(yùn)用于各大汽車制造商，但仍然有些問題需要改進(jìn)。首先，目前主流的ADAS與FCW都聚焦于監(jiān)測車外環(huán)境，而忽略了駕駛員自身狀態(tài)。但是，安全性首先是一項(xiàng)人因工程。身心狀態(tài)良好的司機(jī)可以提前避開潛在的危險(xiǎn)，然而如果司機(jī)在疲憊、醉酒或分心等惡劣狀態(tài)下，即使是在一個(gè)簡單的交通場景中，也可能會(huì)發(fā)生事故。所以，對(duì)駕駛員進(jìn)行實(shí)時(shí)監(jiān)測并在其狀態(tài)異常時(shí)，發(fā)出相應(yīng)的警報(bào)是十分有必要的。其次，傳統(tǒng)的FCW對(duì)駕駛員假設(shè)了固定的反應(yīng)時(shí)間，導(dǎo)致警報(bào)無法根據(jù)不同的駕駛員狀態(tài)調(diào)整，從而產(chǎn)生誤報(bào)，讓駕駛員對(duì)其失去信任。過早的警報(bào)會(huì)頻繁打擾駕駛員，而過晚的警報(bào)會(huì)讓駕駛員沒法及時(shí)反應(yīng)從而產(chǎn)生危險(xiǎn)。解決此方法的有效途徑仍是實(shí)時(shí)監(jiān)測駕駛員狀態(tài)，對(duì)其不同狀態(tài)下的反應(yīng)時(shí)間進(jìn)行預(yù)測，從而調(diào)整安全距離，以實(shí)現(xiàn)報(bào)警閾值的自適應(yīng)調(diào)整。故將駕駛員狀態(tài)監(jiān)測技術(shù)融入ADAS與FCW，可以更有效地保障安全性。

駕駛員狀態(tài)可以通過各種模態(tài)進(jìn)行分析，如面部圖像、駕駛行為、生物電如心電等。[4]不同方法的比對(duì)如表1所示。

通過比對(duì)，本系統(tǒng)選擇面部監(jiān)測方法，因?yàn)樗梢詸z測最多的信息，同時(shí)設(shè)備簡易，且擁有較高的精度與速度。

1? 自適應(yīng)碰撞預(yù)警系統(tǒng)設(shè)計(jì)

為把駕駛員面部檢測技術(shù)與自適應(yīng)碰撞系統(tǒng)相結(jié)合，將相機(jī)置于駕駛員正前方實(shí)時(shí)監(jiān)測并識(shí)別駕駛員狀態(tài)。模糊控制系統(tǒng)通過分駕駛員狀態(tài)信息，對(duì)其反應(yīng)時(shí)間作出預(yù)測，然后利用安全距離算法計(jì)算出不同反應(yīng)時(shí)間下對(duì)應(yīng)的安全距離。當(dāng)汽車與障礙物距離小于安全距離時(shí)，系統(tǒng)向駕駛員發(fā)出警報(bào)。整個(gè)系統(tǒng)的方案如圖1。

2? 駕駛員狀態(tài)檢測系統(tǒng)設(shè)計(jì)

面部信息識(shí)別是用攝像頭采集含有人臉的圖像或視頻流，并自動(dòng)在圖像中檢測和跟蹤人臉，進(jìn)而對(duì)檢測到的人臉進(jìn)行臉部識(shí)別的相關(guān)技術(shù)。

影響駕駛員狀態(tài)的因素有很多。Helen WR[5]通過K-means聚類方法，將美國國家公路交通安全管理局（NHTSA）的交通事故死亡分析報(bào)告數(shù)據(jù)庫所提供的原因分為若干組。年齡、酒精、藥物等因素可以歸為長期因素。疲勞、分心、情緒或任何個(gè)人失誤可以歸為短期因素。由于酒駕和藥駕在許多國家被禁止，所以此系統(tǒng)只考慮年齡、疲勞、情緒與注意力四種主要因素。

反應(yīng)時(shí)間作為駕駛員駕駛狀態(tài)的主要指標(biāo)，它與駕駛員狀態(tài)主要因素的關(guān)系一直受到許多研究者的關(guān)注。然而由于生理與心理因素的復(fù)雜性和測量的困難，這些關(guān)系很難用數(shù)學(xué)模型來描述。但反應(yīng)時(shí)間與各因素的定性關(guān)系已經(jīng)有了大量研究結(jié)果。從總體上看，制動(dòng)反應(yīng)時(shí)間在20-80歲之間逐漸增加，從0.4s左右增加到1.8s左右。[6]郭夢竹發(fā)現(xiàn)，從警戒狀態(tài)到疲勞狀態(tài)的反應(yīng)時(shí)間平均增加16.72%。[7]Utumporn發(fā)現(xiàn)，不同分心程度下，反應(yīng)時(shí)間的范圍在0.5秒到1.8秒之間。[8]胡天一發(fā)現(xiàn)情緒會(huì)通過風(fēng)險(xiǎn)感知和風(fēng)險(xiǎn)態(tài)度影響駕駛員的駕駛行為。[9]

2.1 年齡識(shí)別

通過面部信息進(jìn)行年齡識(shí)別本質(zhì)上是圖像分類問題。卷積神經(jīng)網(wǎng)絡(luò)可以有效提取人臉的特征點(diǎn)，準(zhǔn)確進(jìn)行圖像分類。何凱明[10]設(shè)計(jì)了一種深度殘差網(wǎng)絡(luò)（ResNet，Residual Network），通過殘差快結(jié)構(gòu)可以有改善傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的梯度爆炸/消失問題，從而以更深的網(wǎng)絡(luò)深度更高效地提取出圖像特征點(diǎn)，在ImageNet、CIFAR-10。等大型圖像數(shù)據(jù)庫上獲得了優(yōu)異的結(jié)果。UTKFace數(shù)據(jù)集是一個(gè)大范圍的面部數(shù)據(jù)集，年齡跨度從0到116歲。在搭建101層ResNet模型，調(diào)整訓(xùn)練參數(shù)后，模型在年齡驗(yàn)證數(shù)據(jù)集的準(zhǔn)確率達(dá)到90%。

2.2 情緒識(shí)別

情緒識(shí)別仍然是圖像分類問題，故仍采用深度殘差網(wǎng)絡(luò)。數(shù)據(jù)庫采用FER2013和CK+人臉數(shù)據(jù)庫。FER2013是一個(gè)面部數(shù)據(jù)庫，包含7類情緒，包括憤怒、厭惡、恐懼、高興、悲傷、驚訝和中性。它包括28709個(gè)訓(xùn)練實(shí)例和3589個(gè)驗(yàn)證實(shí)例。CK+是擴(kuò)展的Cohn-Kanade數(shù)據(jù)集，包含327個(gè)帶有情緒標(biāo)簽的圖像序列。為了增加訓(xùn)練集，這兩個(gè)數(shù)據(jù)集被合并擴(kuò)充為一個(gè)更大的混合數(shù)據(jù)集。模型在情緒驗(yàn)證數(shù)據(jù)集的精度達(dá)到82%。

2.3 疲勞識(shí)別

疲勞識(shí)別問題與年齡和情緒識(shí)別不同。因?yàn)闆]有足夠的疲勞人臉圖像數(shù)據(jù)庫，所以無法使用神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。PERCLOS是把一定的時(shí)間內(nèi)眼睛閉合時(shí)所占的時(shí)間比來作為疲勞量度的方法。美國聯(lián)邦公路管理（FWHA）與NHTSA認(rèn)為PERCLOS是最可靠的已知實(shí)時(shí)報(bào)警措施之一，適用于車內(nèi)疲勞檢測系統(tǒng)，其計(jì)算方法可以表示如下[11]：

為得到PERCLOS疲勞量度，本系統(tǒng)通過回歸決策樹識(shí)別出眼睛特征點(diǎn)，然后計(jì)算出計(jì)算眼睛的縱向歐氏距離和橫向歐氏距離之比，當(dāng)比值小于一定閾值時(shí)，則認(rèn)為其眼睛處于閉合狀態(tài)。最后，通過計(jì)算單位時(shí)間的閉眼時(shí)間百分比得到PERCLOS量度。

2.4 注意力識(shí)別

注意力或者走神狀態(tài)檢測與疲勞檢測有著同樣的問題，即缺乏足夠有效的數(shù)據(jù)庫，且缺少廣泛認(rèn)同的方法。Sung Joo Lee[12]等人通過測量駕駛員面部朝向的左右和俯仰角度，確定了一個(gè)正常行駛過程中的實(shí)時(shí)注視區(qū)域。區(qū)域邊界由左后視鏡左側(cè)，右后視鏡右側(cè)，上遮光板，儀表盤，中控臺(tái)等組成。利用Sung測量的角度空間，當(dāng)駕駛員面部朝向超過邊界時(shí)，可被判斷為注意力不集中。

則可以求解出旋轉(zhuǎn)矩陣R與平移矩陣T，其中旋轉(zhuǎn)矩陣便包含了駕駛員面部朝向的左右角度與俯仰角度。

利用上述駕駛員狀態(tài)檢測方法，實(shí)時(shí)檢測結(jié)果如圖2。

從結(jié)果中，可以看到被識(shí)別者的年齡、疲勞度、情緒和注意力狀態(tài)皆被準(zhǔn)確檢測。同時(shí)，當(dāng)某些狀態(tài)異常，如疲勞、憤怒或嚴(yán)重分心時(shí)候，系統(tǒng)會(huì)發(fā)出相應(yīng)警報(bào)。

3? 模糊控制系統(tǒng)設(shè)計(jì)

由于生理和心里因素的復(fù)雜性，對(duì)于不同狀態(tài)下的反應(yīng)時(shí)間測量較為困難，例如很難測量駕駛員在不同情緒和注意力下的反應(yīng)時(shí)間。因?yàn)槿狈Ψ磻?yīng)時(shí)間與年齡、疲勞、情緒和注意力之間的定量關(guān)系，所以無法使用機(jī)器學(xué)習(xí)或數(shù)據(jù)分析方法。但是根據(jù)經(jīng)驗(yàn)與邏輯，可以得到反應(yīng)時(shí)間與駕駛員狀態(tài)的定性關(guān)系，如老年駕駛員的反應(yīng)時(shí)間一般比年輕的駕駛員長，駕駛員在走神時(shí)比專心時(shí)的反應(yīng)時(shí)間長。

模糊控制系統(tǒng)是一種基于知識(shí)的人工智能系統(tǒng)，可以描述無法用精確數(shù)學(xué)模型計(jì)算的不確定或難以描述的變量，適合用于駕駛員反應(yīng)時(shí)間預(yù)測。[13]模糊控制是以模糊集合論、模糊語言變量及模糊邏輯推理為基礎(chǔ)的一種計(jì)算機(jī)數(shù)字控制。它由一定的先驗(yàn)知識(shí)來構(gòu)造模糊控制規(guī)則，通過一系列不精確的控制來達(dá)到精確的控制目的。模糊控制在自動(dòng)化控制、制造技術(shù)、人因工程中都得到了廣泛的應(yīng)用。在汽車安全性領(lǐng)域，它可被用來估測駕駛員反應(yīng)時(shí)間與安全距離[14][15][16]，駕駛員注意力狀態(tài)[17]等。

模糊控制系統(tǒng)設(shè)計(jì)借助于Matlab的模糊控制工具箱。將年齡、情緒、疲勞和注意力四個(gè)變量分別分組，分別設(shè)計(jì)各變量在不同分組中的隸屬度函數(shù)，再依據(jù)文獻(xiàn)中的研究結(jié)果，制定各個(gè)變量狀態(tài)與反應(yīng)時(shí)間之間的模糊規(guī)則，則可以推理出不同狀態(tài)下對(duì)應(yīng)的反應(yīng)時(shí)間。

以反應(yīng)時(shí)間-疲勞度-注意力分散度三維圖為例，隨著橫軸疲勞度和注意力分散度的增加，縱軸的反應(yīng)時(shí)間也在不斷增加。總體結(jié)果顯示，反應(yīng)時(shí)間與各變量之間的關(guān)系都粗略符合文獻(xiàn)中所研究出的定性關(guān)系。

4? 仿真與測試

為了測試系統(tǒng)的性能，利用CarMaker與Simulink對(duì)系統(tǒng)進(jìn)行聯(lián)合仿真。CarMaker是IPG公司的仿真軟件，為虛擬駕駛提供了完整的解決方案。測試步驟參照NHTSA的FCW測試標(biāo)準(zhǔn)流程[14]。

以場景一為例，前車或者障礙物處于靜止?fàn)顟B(tài)，本車以72km/h的速度行駛。假設(shè)駕駛員處于年輕、愉悅、專心且無疲勞狀態(tài)，則他的反應(yīng)時(shí)間被預(yù)測為0.46s，由安全距離算法計(jì)算出的距離為60.67m，結(jié)果如圖4所示。

而當(dāng)駕駛員因?yàn)榭词謾C(jī)而走神且處于普通情緒狀態(tài)時(shí)，他的反應(yīng)時(shí)間被預(yù)測為0.79s，安全距離為67.26m。（圖5）

假設(shè)一位老年駕駛員，且處于憤怒、分心和疲勞狀態(tài)時(shí)，他的反應(yīng)時(shí)間被預(yù)測為1.64m，安全距離為84m。（圖6）

經(jīng)過測試，本系統(tǒng)通過了所有場景測試標(biāo)準(zhǔn)，且可以有效適應(yīng)不同的駕駛員狀態(tài)。

5? 總結(jié)

該系統(tǒng)利用攝像頭對(duì)駕駛員面部進(jìn)行監(jiān)控，通過深度殘差網(wǎng)絡(luò)、PERCLOS和位姿估計(jì)等方法檢測駕駛員的年齡、情緒、疲勞和注意力狀態(tài)。當(dāng)駕駛員疲勞、分心或情緒不佳時(shí)，系統(tǒng)會(huì)發(fā)出相應(yīng)的警告。模糊控制系統(tǒng)通過駕駛員狀態(tài)預(yù)測出其反應(yīng)時(shí)間，然后結(jié)合安全距離算法計(jì)算安全距離。當(dāng)車輛與障礙物距離小于安全距離時(shí)，系統(tǒng)會(huì)產(chǎn)生警告提醒駕駛員剎車。最后，根據(jù)NHTSA提供的FCW標(biāo)準(zhǔn)測試，在CarMaker虛擬環(huán)境中對(duì)其性能進(jìn)行測試和評(píng)估。結(jié)果表明，該系統(tǒng)滿足標(biāo)準(zhǔn)要求，能夠適應(yīng)不同的駕駛員狀態(tài)。

參考文獻(xiàn)：

[1]世界衛(wèi)生組織.2018年全球道路安全狀況報(bào)告[R].2018.

[2]Bekiaris， E.， Petica， S.， Brookhuis， K.A. （1997）. Driver needs and public acceptance regarding telematic in-vehicle emergency control aids. In： Proceedings of the 4th Word Congress on Intelligent Transport Systems. Brussel： Ertico （on CD）.

[3]Vallet， M. （1991）. Les dispositifs de maintien de la vigilance des conducteurs de voiture. In： Le maintien de la vigilance danskes transports. M. Vallet （Ed.）. Caen： Paradigm.

[4]Florian Eyben. Emotion on the Road—Necessity， Acceptance， and Feasibility of Affective Computing in the Car In： Advances in Human-Computer Interaction，2018， S.1-17.

[5]Helen WR： Mining Road Accident Data Based on Diverted Attention of Drivers. In： Proceedings of the Second International Conference on Intelligent Computing and Control Systems，2018， S.245-249.

[6]Matija Svetina： The reactiontimesofdriversaged 20 to 80 during a dividedattentiondriving. In： Traffic Injury Prevention，2016，S.810-814.

[7]MengzhuGuo; Shiwu Li; Linhong Wang; Meng Chai; FachengChe; Yunong Wei： Research on the Relationship between ReactionAbility and Mental State for Online Assessment of Driving Fatigue. In： International Journal of Environment Research and Public Heath，2016， S.1-15.

[8]UtumpornKaewken： Driving Distraction Effects on Reaction Time in Simulated Driving. University of Illinois at Chicago.2012.

[9]Tianyi Hu; XiaofeiXie; Jie Li： Negative or positive？ The effect of emotion and mood on risky driving. In： Transportation Research Part F： Traffic Psychology and Behaviour，2013，S.29-40.

[10]Kaiming He; Xiangyu Zhang; Shaoqing Ren; Jian Sun： Deep Residual Learning for Image Recognition. In： The IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2016. S.770-778.

[11]FHWA（Federal Highway Administration）： PERCLOS： A Valid Psychophysiological Measure of Alertness As Assessed by Psychomotor Vigilance.1998.

[12]Sung Joo Lee; Jaeik Jo， Ho Gi Jung; Kang Ryoung Park; Jaihie Kim： Real-Time Gaze Estimator Based on Driver’s HeadOrientation for Forward Collision Warning System.In： IEEE Transactions On Intelligent Transportation Systems.2011.

[13]李悟早，郭術(shù)義，任思杰.模糊控制理論綜述[J].河南科技，2019（S）：12-15.

[14]U.Chattaraj; K.Dhusiya; M.Raviteja： Fuzzy Inference Based Modelling of Perception Reaction Time of Drivers. In： International Journal of Computer and Information Engineering，2007. S.8-12.

[15]夏道華.基于駕駛員特性的汽車防撞安全距離模型研究[J]. 遼寧工業(yè)大學(xué)，2016.

[16]Ge Ruhai; Zhang Weiwei; Wang Zhong： Research on the Driver Reaction Time of Safety Distance Model on Highway Based on Fuzzy Mathematics. In： 2010 International Conference on Optoelectronics and Image Processing.2010. S.293-216.

[17]César Arroyo; Luis M. Bergasa; Eduardo Romera： Adaptive Fuzzy Classifier to detect Driving Events from the Inertial Sensors of a Smartphone. In： 2016 IEEE 19th International Conference on Intelligent Transportation Systems （ITSC）， 2016.

[18]NHTSA （National Highway Traffic Safety Administration）： Forward Collision Warning System Confirmation Test.2013.