基于駕駛模擬系統的人機共駕交互研究

李永濤，耿兆龍，韓瑞龍，于 波

（中國汽車技術研究中心有限公司，天津 300300）

前言

當前，人機共駕技術作為實現人類駕駛到機器完全自主駕駛的過渡環節技術，已漸漸成為解決交通難題的通解型技術。為了實現對車輛的有效控制，人和機器必須在感知、決策和執行等方面進行深層次地合作，分享車輛控制權和決策權，協同完成駕駛任務。人機共駕的核心問題還是在于人機交互的協同。由于自動駕駛測試場景得不可復現性以及測試的安全、周期、成本的限制，相關的技術測試難以完全依靠實車道路測試實驗[1]。隨著仿真技術的進步，自動駕駛汽車相關測試可以在更安全、舒適、經濟的環境下進行。駕駛模擬系統作為一種汽車測試工具，兼顧車端與人因端數據采集功能，利用仿真技術實現多種場景高精度還原，極大地提高了智能汽車人機交互測試評價的效率，對于智能汽車人機共駕技術的研究具有重要的實際價值與意義。

1 駕駛模擬系統

汽車駕駛模擬系統綜合了計算機、機械、電子電器、控制、光學等相關技術產品，是用于汽車動力學模擬、汽車性能測試的有效工具。通過綜合運用相關技術，它可以實時在線模擬駕駛員聽覺、視覺、觸覺等感官，對在實際駕駛過程中的極端場景及不可復現的駕駛場景進行充分模擬，并進行重復使用[2]。作為一種低成本、高效率以及高精度測量的自動駕駛車輛的測試方式，駕駛模擬技術對于自動駕駛車輛的開發具有重要意義。

駕駛模擬系統主要有桌面級、緊湊級、靜態級和動態級四種模擬系統。

1.1 桌面級

由方向盤、剎車、轉向機構、座椅、顯示屏組成，是最為基礎的入門級模擬系統。通過與測試軟件的聯調，駕駛員實際操作方向盤、剎車、轉向機構等，給予駕駛操作控制的真實觸感，只在視覺感官上仿真車輛運動狀態時的橫向控制和縱向控制效果。

1.2 緊湊級

在桌面級系統上進行升級改造，加入顯示大屏幕、安全帶、氣墊、儀表盤等設備，可配備專用駕駛員座椅，按照真實的駕駛姿態進行駕駛操作，獲得真實的駕駛行為。

1.3 靜態級

靜態級在緊湊級上進一步升級，構建真實車輛的駕駛艙，并在駕駛艙前增加環形大屏幕，以獲得駕駛環境的真實觸感和視覺感。體驗沉浸感和方向盤手感更加真實，適用于HMI、ADAS、軟硬件在環應用。

1.4 動態級

動態級與以上三種都不同，動態級系統在靜態級系統的基礎上加入了自由度平臺，給予駕駛員真實的轉向、顛簸等反饋系統，使駕駛模擬的感官更加真實。是最為完備的駕駛模擬仿真方法。

應用駕駛模擬系統進行駕駛實驗，可以重現人類日常駕駛行為模式及危險人類駕駛模式，并且可以在不帶來安全風險的條件下，增加實驗的可操作性和可重復性。駕駛模擬系統還可以補充道路測試的短處，通過提供更安全的環境和更多的控制條件及減少實現的困難與地形相關的不確定性。當前，汽車駕駛模擬系統已在國外已逐步應用推廣，尤其大型汽車均已或正在建設自主駕駛模擬驗證平臺，用以支撐研發試驗和業務需求。在車聯網方面，國外汽車企業利用人機共駕驗證平臺進行自動駕駛功能的開發和驗證，開發出便捷、安全的各項功能，這些功能最終引領了行業的開發方向、設計思路、術語定義以及標準制定，同時也形成了一定的技術壟斷。但在國內，主流汽車廠的駕駛模擬驗證平臺建設還處于起步階段，多數還未形成能夠進行高質量訓練或測試驗證的能力。有關學術方面的研究更少，國內近兩年才漸漸開始有相關的學術文獻出現，多數相關方向的研究都是外文文獻。整體來看，自動駕駛方向的駕駛模擬器技術應用比較初級，同時還存在很多技術問題有待解決。

2 基于駕駛模擬系統的人機交互驗證

2.1 人機交互驗證架構

人機交互關鍵技術涉及人與系統交互、控制權移交接管等諸多環節，基于人的心理、反應等個體差異，進行人機共駕環境/場景的構建，探究人機交互形式，構建控制權釋放模式、時機等模型。目前對于人機交互驗證方式主要有傳統人機驗證方式和虛擬仿真驗證兩種方式。傳統人機交互驗證通常采用物理模型（硬質模型、油泥模型）或樣機（實物樣機、CAD樣機、DMU樣機）等方式，導致測試成本高、效率低、復用性差；而虛擬仿真驗證方式克服了以上缺點，擁有靈活、快速、成本低的優勢，但采用純虛擬技術的驗證可驗證內容十分有限，并且駕駛人員無法獲得真實的駕駛行為操控及反饋體感，缺乏對真實駕駛行為的模擬，無法滿足需求，而整車平臺驗證成本很高。因此，基于駕駛模擬系統的測試驗證技術，將駕駛模擬系統與虛擬駕駛場景的聯合應用來測試人機交互驗證，對智能汽車功能進行驗證，不僅驗證內容豐富，且成本較低，是人機交互驗證的最佳解決方案。

駕駛模擬系統以多自由度駕駛模擬器作為硬件基礎，集成了各項人機交互系統、顯示系統、運行控制中心、仿真場景庫、仿真軟件等軟硬件輔助系統，可以實現人機共駕交互的仿真測試。通過在人機交互臺架上集成了人因設備、人機交互方案或樣機、駕駛設備，利用主控計算機將場景顯示在環幕上，并且收集和同步各類驗證數據進行評價，從而完成人機交互驗證臺架的調試、應用、工程服務等全流程工作，如圖1所示駕駛模擬系統架構。

圖1 基于駕駛模擬系統的人機交互驗證架構

2.2 人機交互協同驗證

自動駕駛汽車人機交互的核心問題是妥善解決駕駛員與駕駛系統間的接管問題，以有效地解決駕駛模式切換為前提，著重探究駕駛人和系統在感知層、決策層和控制層三個層次的協同合作[3]。目前基于駕駛模擬系統的人機交互驗證方式在駕駛狀態檢測、駕駛能力評價、駕駛權交接等方向具有獨特優勢。

2.2.1 駕駛狀態檢測

駕駛狀態檢測的研究主要集中在識別駕駛員的異常狀態如疲勞檢測、分心狀態監測、不規則駕駛行為等。根據檢測手段可以將駕駛狀態檢測分為兩類，一是借助各類傳感器設備檢測駕駛員動作（比如攝像頭進行面部表情識別）[4]，同時通過穿戴設備監測駕駛員生理、心理狀態，對駕駛狀態進行監測和駕駛行為分析；二是通過獲取車輛的操縱數據和車輛狀態參數，來檢測駕駛狀態信息并判斷駕駛員的駕駛狀態是否發生異常，從而為人機駕駛權控制作出決策判斷。為滿足駕駛狀態檢測的基礎設備需求，人因數據庫、駕駛模擬系統等方面的技術開發成為了駕駛狀態檢測研究過程中重要的研究基礎。

2.2.2 駕駛能力評價

車輛駕駛過程是一個高度復雜的信息加工（認知）過程，國內外對于駕駛能力的評價主要從三個方面進行：一是通過統計方法，對事故組與安全組進行對比分析；二是通過控制變量法，研究單一駕駛特性（包括年齡、藥物、疲勞等）對駕駛能力的影響；三是結合駕駛員身心狀態參數，對駕駛能力進行綜合評估。目前，為有效結合各類方法優勢，統一駕駛能力評價原則，對于相關技術的標準制定成為了該方向進一步發展的重要因素。

2.2.3 駕駛權交接

智能車輛中的駕駛權交接主要分類兩類：切換型駕駛、連續型駕駛。切換型駕駛明顯地對駕駛員進行了區分，人作為駕駛員控制的場景和機器作為駕駛員控制的場景之間的切換有顯著的交接過程，切換的順暢度是影響駕駛體驗的重要的因素。而連續型駕駛將人和機器作為一個整體考慮，根據駕駛場景動態平衡人和機器的駕駛權重。駕駛員和機器間的操作權限的切換、人機交互過程的順暢度和合理性將影響整個交通運輸環境的運行安全性。整個過程，存在如下兩個關鍵問題。一是在由機駕到人駕的控制權切換過程中，駕駛人能否有效地對當前駕駛狀態進行認知和評估，進而接管車輛操作并最終規避風險，是保證行駛安全，降低自動駕駛事故率的關鍵。二是如何對控制權切換過程進行合理的績效評價、選擇恰當的切換請求時機，以及對人機交互的有效性進行優化等，也是人機交互的有效性進行優化等，也是智能汽車發展過程中必須解決的重要問題。為此，仿真場景下的驗證和數據采集成為了該方向發展的必經之路。

3 基于駕駛模擬系統的人機交互展望

智能汽車駕駛模擬系統可以用于監測駕駛員的行為、表現和注意力與駕駛權操縱接管時機的研究，可用于主動安全、車聯網、自動駕駛的設計和評估。目前，該方法已經成為自動駕駛汽車研發的重要工具，同時，這項系統還將會在提高我國汽車產業自主化、提高競爭能力的方面繼續得到重視。未來，駕駛模擬系統將在以下幾個方面繼續推動智能網聯汽車發展。

3.1 自動駕駛人因數據庫建設

人機交互系統是解決人與計算機相互理解的問題，使計算機在最大程度上幫助人類完成數據計算、數據處理、數據管理等服務[5]。駕駛員與機器之間的相互理解，對自動駕駛車輛安全運行有著重要影響。通過對語音指令、視覺信息、駕駛員生理及心理行為數據的采集與處理，有利于更好的研究駕駛行為、優化人機交互模式。人因數據庫包括，語音數據庫、視覺數據庫和生理及心理行為數據庫。

語音數據庫：基于語料集設計、人員特色、噪音類型等維度，面向通訊、導航、車控等多維指令集，由不同類型的人員組成、多種場景環境下的噪聲源信息。視覺數據庫：通過對駕駛員人臉、眼動、手勢等數據采集與標注，建成駕駛員視覺交互的數據庫，用于產品功能研發與競品車對標。生理及心理行為數據庫：基于眼動儀、面部表情檢測系統、生理行為檢測系統、動作行為記錄系統，采集和分析駕駛員生理、心理與行為數據，建立生理及心理行為數據庫，結合車輛數據與接管場景數據進行車輛駕駛權切換的研究。

3.2 多感聯動系統建設

針對語音、視覺交互以及其他交互方式，結合駕駛員風格研究，可開展數據庫建設、算法工具開發、產品評價等方面研究?；谙嚓P數據庫，為測評功能升級提供支持，形成完善的智能駕駛數據評價體系；基于人機協同控制過程中的機理模型進行駕駛行為數據工具鏈產品研發，開發智能駕駛的交互開發、測試、評價工具、數據處理；提升識別交互與監控算法水平，提升交互應用效率。

3.3 人機交互功能優化策略

人機協同駕駛切換過程中的人機交互時機及其行駛，顯著影響著駕駛人反應時間和接管績效。深入剖析和理解自動駕駛車輛智能控制系統與駕駛員的駕駛邏輯，分析車輛動力學對于介入準則的約束，探索緊急工況下的切換機理，分析沖突與交互機制，從而尋找優化的預警時機及其模型，優化視覺、聽覺、觸覺等交互方式及接管請求的發送方式，解決自動駕駛汽車功能中的控制權切換難題。

4 總結

綜合運用駕駛模擬系統是自動駕駛車輛驗證測試的一項有效手段，可以研究自動駕駛車輛、駕駛員的各項性能指標。未來，基于駕駛模擬系統的人機交互驗證，將在智能網聯汽車測試層面、數據資源層面、技術培訓層面及標準層面發揮重要的作用。