自動駕駛人機交互系統研究綜述

董 瑋，李 巖，董 騏，渠謹黛，劉 傲，董 良

（中國第一汽車集團有限公司工程與生產物流部，吉林 長春 130011）

智能汽車人機交互是集環境感知、控制決策、執行機構于一體的多功能的綜合系統，代替了傳統汽車通過人類的眼、腦、手配合，完成駕駛操作的功能。智能汽車主要是通過先進的環境感知傳感器、高精度地圖以及V2X（vehicle to everything）設備等來理解周圍環境，然后汽車進行自主決策，完成駕駛操作，如圖1所示。由此可知，智能汽車與傳統汽車最大的不同在于設計上，傳統汽車完全依賴于人類駕駛員完成所有的操作，而智能汽車則幾乎無需人類的參與，駕駛過程絕大多數由車輛自己完成。

圖1 無人駕駛汽車

在智能汽車上，良好的人機交互技術是使駕駛員從傳統的駕駛操作中解放出來的關鍵技術，駕駛員無需將注意力放在駕駛操作中，而是可以讀書、玩手機、聊天、吃東西等，如圖2所示。但是在高級別自動駕駛階段，自動駕駛車輛仍然無法徹底脫離駕駛員的接管操作。所以人機交互的重要任務之一就是需要時時刻刻了解人類駕駛員的狀態，在智能汽車不能自主完成駕駛時，人機交互技術檢測出駕駛員的當前狀態，并根據當前駕駛員與車輛的狀態，在合適的接管時間，以恰當的方式提醒駕駛員，讓人類駕駛員來接管駕駛任務。

圖2 人機互助智能汽車

人機交互系統，本質上是通過傳感技術、接口技術、控制技術及計算機技術等實現人與智能機器間的相互理解、認知、互動，從而完成某種特定的功能或任務。本文研究的智能汽車人機交互系統，主要是指車載系統通過汽車上布置的攝像頭、人體狀況監測傳感器、酒精傳感器等設備，實時采集駕駛員行為狀態、身體狀況等信息，然后將信息作為駕駛員狀態識別系統的輸入，對于駕駛員狀態進行識別判斷。當車輛自動駕駛過程中需要駕駛員接管車輛駕駛時，人機交互系統能夠根據駕駛員狀態決策接管時機，同時采取相應措施提醒駕駛員并干預車輛控制。

1 駕駛人員狀態檢測及交互

目前這種檢測大概可以分為基于駕駛員行為、基于車輛的行駛信息、基于駕駛員生理信號、基于駕駛員語言信號等4個方面。由于這種檢測方式應當具有普適性，而不同人的駕駛習慣和說話方式等會對第二方面和第四方面造成較大影響，所以這里主要介紹關于第一方面和第三方面的研究，這兩方面的檢測通常提取駕駛員面部頭部特征和其生理電信號。例如有研究人員通過對駕駛員的生理電信號采集分析，實現了疲勞監測，并對駕駛員的行為進行預測，使用預測模型調整駕駛員的意圖，保證駕駛的安全性，疲勞檢測的流程如圖3所示，疲勞監視器如圖4所示。

圖3 疲勞檢測算法流程圖

圖4 疲勞監視器

Zhu Z等建立了駕駛員疲勞檢測數學模型，其模型主要借助高精度相機獲取駕駛員眼部、頭部和表情特征等生理信息。Sayed R等將車輛的轉向運動操作頻率與駕駛員當前是否疲勞進行數學關聯，利用車輛轉向特征參數計算出當前駕駛員的疲勞狀態。He J主要采用深度神經網絡學習算法將手機拍攝到的駕駛員面部圖像與駕駛員疲勞狀態進行非線性關聯，構建相關識別模型。Liang Y等主要提出一種依據人類眼睛眨眼頻率推算駕駛員當前心理及疲勞狀態的數學方法。Takei Y等利用車輛動力學仿真軟件構建車輛轉向運動環境及工況，并將車輛轉向參數與駕駛員狀態進行有效關聯，提出一種基于混沌理論的數學分析方法，基于仿真環境中的轉向數據有效判斷駕駛員當前狀態。Friedrichs F等提出一種基于BP神經網絡的，綜合考慮車輛方向盤轉角以及橫擺角速度的駕駛員狀態識別算法。Munla N提出一種基于人體大腦腦電波的駕駛員狀態識別系統及方法。后來相關學者構建基于支持向量機的模型對人類大腦電波進行深入分析和識別。Chai R等基于信息熵的數學分析方法，提出一種基于人類腦電波的駕駛員狀態識別算法。

隨著實驗方法的改進和完善，越來越多的駕駛員狀態識別方法被挖掘出來。He Q C等對駕駛員腦電波EEG指標進行分析處理，將駕駛員頭部以及軀干的數據輸入到動態貝葉斯網絡中，進而得到駕駛員的疲勞程度評價模型。Fan J等進行了六自由度虛擬現實駕駛模擬實驗，在腦電信號的基礎上，對駕駛員的人員情緒與工作符合程度進行判斷。針對駕駛員面部和頭部特征，美國的卡內基梅隆大學在大量的實驗以及反復嘗試之后，定義了一種可以表示人體疲勞狀態的算子——PERCLOS算子，主要是利用每秒鐘人眼睛的張開閉合程度和時間來表示，如果人眼閉合程度超過80%，并超過一定時間，就可以基本斷定人處于疲勞狀態。卡內基梅隆大學還成功研制出了一套用于采取駕駛員面部表情信息的Copilot系統，如圖5所示，該系統可以快速識別駕駛員的面部信息，并發出相應的狀態信息提醒信號。Soualmi B等根據車輛運動通過運用模糊控制來求得線性二次型優化問題，提出一種確定人機駕駛權分配的決策算法。Bi L Z等采用模型預測控制的方法實現人機系統控制如圖6所示，主要是通過腦機接口來實現人機協同的控制，同時考慮駕駛員的意圖和保證車輛安全問題。Li R等將人機交互系統分為直接和間接的兩種形式，通過感知駕駛員的意圖來實現高度自動化車輛的間接共享控制。Gray A等利用駕駛員模型預測駕駛員未來的駕駛行為，設計了一種非線性模型預測控制器，利用轉角和制動控制，在最小干預情況下幫助駕駛員完成避障和車道偏離，后續又分析了人機共駕的過程中存在的不確定性問題，設計了一種具有魯棒性的控制器，在不確定的駕駛員行為下，優化出保證駕駛員順利接管的最小轉角。

圖5 Copilot系統

圖6 人機系統控制

在國內，哈爾濱工業大學的張晶秋對駕駛員呼吸頻率以及血壓的變化和心率變化進行了實驗和分析，給出了血壓、心率、呼吸與駕駛員疲勞狀態的變化關系。電子科技大學的龍伶敏結合人臉表情特征以及呼吸頻率等，提出基于模糊數學理論的狀態識別非線性數學模型構建方法。

梅賽德斯奔馳等國外頂尖車企，以及國內自主品牌車企比亞迪都開始在車機系統中融入了人機實時交互的功能模塊。最近幾年，特斯拉采用極具視覺沖擊力的中控大屏，引領了車內人機交互的最新潮流。但是，人機交互的界面以及相關標識五花八門，給消費者也帶來了不少困擾，無法快速適應相應的人機交互功能，同時，消費者普遍反映人機交互的最終效果并不是很理想，沒有較好地實現人與車輛的快速且無障礙的交流。

2 自動駕駛接管及交互

自動駕駛接管及協同控制是3級駕駛自動化（Conditionally automated driving）階段的關鍵核心技術，許多高校及科研院所已經在該領域開展了深入的研究工作。魯光泉等人使用雙因素方差分析來研究不同次任務與不同接管請求時間對接管時間的影響。Russell H E B等指出駕駛員從自動駕駛模式下比較輕松的狀態切換到人工駕駛模式時，必須經過一段時間的休息才能較好地完成接管駕駛的任務，否則會產生造成車輛失穩的誤操作。Gold C等人經過研究發現，接管請求時間直接影響著接管之后的駕駛品質，二者成正相關的關系，分析了不同年齡的駕駛員在駕駛接管過程中的表現，最終發現年齡與接管表現的關聯程度并不大，通過搭建的自動駕駛接管評價模型對駕駛員的接管反應時間進行預測Happee R等人提出一種基于TTC評價緊急情況下的接管任務完成情況的方法，并研發一種控制策略來抑制由于接管任務而使轉向和制動等操作滯后的現象Seppelt B D等人經過研究發現，逐漸加強式的報警提醒方式要比突發式的報警提醒方式對于接管任務的高效完成更有效。

在汽車主機廠及零部件供應商方面，Bosch概念車系統會提前讓用戶得知可以使用自動駕駛的路線。并且用戶可以折疊隱藏方向盤，將控制權暫時移交給智能汽車。除此之外，在智能汽車介入式控制的過程中，系統會通過各傳感器探測，告知用戶恢復手動駕駛的時間，幫助用戶由自動駕駛轉變為人為駕駛，完成控制權的接管。Tesla在2016年9月更新的車載系統中，加入了一個方向盤觸控檢測系統，該系統的作用是實時監控駕駛員是否對車輛進行了實際的控制。日產公司于2018年前后提出了他們的“腦－車”技術，該技術的主要作用是根據駕駛員佩戴的終端設備，監控駕駛員的生理信號，從而識別駕駛員的當前狀態。豐田公司于2017年前后，提出一種自動識別駕駛員狀態并可以進行快速接管的人機交互系統，該系統可以感知人類眼部和面部表情的細致特征，當駕駛員進入疲勞或其他不適于駕駛的狀態時，自動對車輛的駕駛權進行接管，提高車輛的安全性。

3 自動駕駛人機交互系統未來展望

盡管汽車領域人機交互系統及駕駛員狀態識別相關技術已經相對成熟，但相對于自動駕駛領域的人機交互系統還處于起步階段，還沒有成熟的解決方案。人機共駕型人機交互及接管系統，需要雙方的相互配合，并不能完全依賴一方的獨立操作，同時，人機交互系統可以使駕駛員更好地理解自動駕駛系統當前的工作狀態及意圖，可以進一步降低駕駛員在乘車階段的緊張感。

盡管已經有大量的研究成果發現接管瞬間會對車輛行駛穩定性造成負面影響，但是針對接管行為造成的負面影響并沒有給出行之有效的解決方案，在解決上述問題的人機協同控制方面的研究還不夠深入。

在后續的研究中，需要加快引入人工智能、大數據、云控平臺、高算力車載計算平臺等技術，使智能車輛與人類駕駛員可以以更為流暢及智能的方式進行人機共駕和人機信息交互。相關人機交互系統需要在不斷學習和更新過程中，更加適應用戶的駕乘習慣，達到更好的人機交互體驗感受。