淺析人機協作智能增強的駕駛員狀態監控系統實現

季華

摘 要 本文闡述了一種人機協作智能增強的駕駛員狀態監控系統的實現方法。該系統可以對駕駛員的疲勞狀態（打呵欠、頻繁閉眼等）、不良駕駛行為（長時間不目視前方、接打手持電話、抽煙、雙手同時脫離方向盤、跟車過近等）進行實時監測與報警。其特點在于：駕駛員面部視覺感知、駕駛員身體姿態視覺感知與車輛運行狀態信息、道路信息融合，并利用人機協作認知的演進模型實現智能增強的駕駛員狀態預測，彌補了僅利用駕駛員面部特征進行駕駛員狀態判別方法的不足。

關鍵詞 駕駛員狀態監控;不良駕駛行為;視覺感知;人機協作;深度學習;神經網絡;智能增強

隨著改革開放我國的經濟持續快速增長，汽車的保有量迅速上升。交通事故發生率也越來越高。事故造成了大量的人民生命和財產損失，已成為一個重要的社會問題。2016年，我國共發生了約21.3萬起交通事故，導致約6.31萬人死亡、約22.64萬人受傷，直接財產損失超過12.07億元[1]。據世界衛生組織統計在眾多交通事故中由于駕駛員的疲勞駕駛造成的事故占20%左右。為了減少由于駕駛員疲勞駕駛帶來的事故隱患，2018年8月，交通運輸部辦公廳發布了《關于推廣應用智能視頻監控報警技術》的文件，鼓勵道路運輸車輛安裝智能視頻監控報警裝置，實現對駕駛員不安全駕駛行為的自動識別和實時報警。其中就包含了對駕駛員的疲勞狀態及不良駕駛行為的監控要求。本文要闡述的是一種人機協作智能增強的駕駛員狀態監控系統的組成與實現。

1人機協作智能增強駕駛員狀態監控系統的組成與實現

人機協作智能增強駕駛員狀態監控系統是一個將人的作用或人的認知模型引入的人工智能系統，具備混合智能增強范式。由信息感知、融合預測、協作增強、反饋預警等子系統組成。

1.1 信息感知子系統

信息感知子系統由三個視覺感知攝像頭、一個車輛CAN總線采集模塊組成：①一個位于駕駛員前方儀表臺上的朝向駕駛員的940納米紅外攝像頭（適用于各種光照條件，可大幅降低強光及弱光環境對攝像畫面成像質量的影響）。用于采集駕駛員面部特征及上半身部分視覺圖像信息，通過深度神經網絡模型推理圖像中存在打呵欠、閉眼、接打手持電話、抽煙、不系安全帶、長時間不目視前方等駕駛員疲勞以及不良駕駛行為畫面的置信度;②一個位于駕駛員上方朝向駕駛員的廣角短焦攝像頭，用于采集駕駛員姿態與動作和方向盤轉動信息，通過深度神經網絡模型結合傳統計算機視覺算法推理畫面中存在駕駛員異常坐姿、較長時間不轉動方向盤、異常速度轉動方向盤、駕駛員雙手脫離方向盤等疲勞和不良駕駛行為現象的置信度;③一個貼于擋風玻璃內側中央，朝向道路方向天際線的攝像頭，用于采集前方車輛、行人、車道線等目標信息，通過深度神經網絡模型結合傳統計算機視覺算法檢測前方車輛、行人、車道線等目標，并計算本車與前方的車輛、行人的距離以及本車與兩側車道線的距離;④一個車輛CAN總線信息采集模塊，通過車輛自身的CAN總線采集車輛的車速、轉速、油門開度、剎車狀態、橫擺角速度等信息，用于輔助判斷駕駛員是否處于正常駕駛狀態。

1.2 融合預測子系統

融合預測子系統，將來自信息感知子系統的多種感知信息進行融合，而后對駕駛員是否存在疲勞駕駛行為或者不良駕駛行為進行預測。如預測結果置信度低于指定的閾值，則將通過信息感知子系統采集到的當前時間點前的指定時間段內的視頻及車輛總線數據和預測結果一并提交到協作增強子系統，并由協作增強子系統作進一步處理。

融合預測的主要步驟為：①以100毫秒為單位時間對各感知信息進行配準后組成特征向量;②以1000毫秒為周期，100毫秒為間隔進行滑窗操作將采集到的5組特征向量組成特征矩陣;③將特征矩陣連續的送入基于LSTM（Long short-term memory）結合CNN構建的神經網絡得到切片預測結果向量;④將1000毫秒內的10個切片預測結果向量組成預測結果矩陣，利用可演進評分模型對結果矩陣進行評分得到最終預測結果向量及其置信度;⑤如置信度小于指定閾值則將預測結果及相關感知信息提交至協作增強子系統進一步處理，如置信度大于指定閾值則將預測結果提交至反饋預警子系統做進一步處理。

1.3 協作增強子系統

協作增強子系統將人的作用引入到對駕駛員疲勞及駕駛員不良駕駛行為的認知模型，形成人機協作智能增強的形態。將融合預測子系統預測結果中置信度低于閾值的場景通過視覺方式還原現場，由人工來判斷駕駛員是否存在疲勞或者不良駕駛行為的情況。并將人工判斷的依據及判斷過程按照預先設計的演進模型進行記錄并轉換成用于感知和預測模型訓練的素材自動送入訓練素材庫。當新入庫素材達到指定閾值時，啟動新的感知和預測模型訓練，促使模型在人的協助下不斷的演進，提高感知和預測模型對駕駛員疲勞和是否存在不良駕駛行為判斷的準確率。

1.4 反饋預警子系統

反饋預警子系統由聲光報警模塊、報警事件記錄模塊組成。接收來自融合預測子系統的報警信息通過聲光提醒的方式按照不同的報警級別進行不同的聲光提醒，同時將報警事件在本地記錄并通過無線網絡傳輸到云端服務平臺。

2人機協作智能增強駕駛員狀態監控系統的優點

（1）將人的作用引入到系統中對駕駛員疲勞和不良駕駛行為進行判斷，形成了人機協作認知的混合智能增強范式。當智能終端的輸出置信度較低時，由人介入主動給出合理的判斷與依據，構成系統智能水平提升的反饋回路;

（2）在傳統的僅僅利用駕駛員面部特征進行駕駛員狀態判別方法的基礎上添加了對行車過程中是否系了安全帶、行車過程中是否雙手脫離方向盤的檢測，并利用視覺檢測方向盤轉動幅度的方法判斷駕駛員是否存在長時間不對方向盤進行轉動（含微調）的行為，以及駕駛員是否存在對行車道路上出現的狀況（如：跟車過近、偏離車道）反應遲緩或者異于往常的問題。

3結束語

隨著駕駛員狀態監控系統的普及與不斷演進，以及監管手段的不斷完善，駕駛員的疲勞駕駛行為及不良駕駛行為將逐步減少，因駕駛員疲勞駕駛及不良駕駛行為所引發的交通事故數量也將逐步降低。由于人機協作智能增強駕駛員狀態監控系統的上文所述優點，其將對減少駕駛員疲勞駕駛及不良駕駛行為引發的事故，起到更好的抑制作用，更利于營造和諧、安全的交通運輸環境，構建和諧社會。

參考文獻

[1] 公安部交通管理局.中華人民共和國道路交通事故統計年報[M].北京：人民交通出版社，2017：78.