汽車智能座艙多模態人機交互設計研究綜述

摘 要：目的：如今在智能化、信息化、互聯通信數字技術迭代加速的時代背景下，汽車人機交互關系已從互相獨立的物理儀表交互關系邁向場景化的多屏、多模態交互關系。傳統的汽車人機交互設計已不能滿足出行場景下人們對于智能座艙的多樣需求。本文通過研究總結目前關于汽車多模態交互設計的文獻概況，梳理汽車交互設計的發展歷程并從多模態設計的設計原理、基本技術和評估方法進行整理歸納。結果：通過對文獻研究，總結出目前汽車座艙交互設計在新時代背景下的局限，與汽車交互設計向多模態交互設計發展的未來趨勢。結論：目前智能座艙多模態人機交互設計面臨著沒有系統化的設計規范原則和多感官資源調度，該如何避免增加認知負荷的兩個主要問題，并提供更個性化的服務：車輛與車輛之間的信息交流和車輛與其他載體間交互的未來發展趨勢。

關鍵詞：交互設計 智能座艙 智能汽車 汽車HMI 多模態人機交互

1 緒論

當今，在智能化、信息化、互聯通信數字技術迭代加快，物聯網、人工智能以及大數據為代表技術飛快發展的時代背景下，汽車座艙已不再是單純的駕駛空間，人與車的交互關系產生了很大的變化。隨著智能汽車的普及，車載功能變得更加復雜，汽車座艙成為了人們的第三生活空間，承載了出行、娛樂、社交等更多樣的功能，因此消費者對汽車人機交互系統的體驗也提出了更高的需求[1]。為應對出行場景下人們日趨復雜的需求，針對汽車交互設計趨勢的研究具有重大的意義。隨著物聯網技術的進步，汽車人機界面（HMI）的功能類別和交互邏輯正在迅速演變。從最初的簡單命令行界面發展到多樣化的虛擬用戶界面，從語音對話系統到基于手勢控制的系統，這些變化相互促進，形成了一個動態發展的趨勢。也因此在車空間內供給駕駛員的信息隨時間發展愈發多層次，需要駕駛員調動更多的感官接收信息。多模態交互設計可以將多個感知信息進行系統化的設計，使不同模態下建立一個包含多種感知方式的交互系統，充分考慮人的感知對于場景環境的資源調配，能夠方便用戶以多種方式與汽車交互系統進行互動[2]。關于汽車交互設計尤其是在汽車多模態交互設計領域研究并不多，沒有呈現完整的發展脈絡，因此筆者對目前關于汽車多模態交互設計的相關文獻進行綜述分析，可以幫助相關從業者、研究人員了解汽車多模態交互設計的研究現況與發展趨勢，希望能為該領域未來的研究提供階段性的參考。

2 汽車座艙交互設計研究現狀與歷史發展

2.1 文獻研究現狀

關于汽車座艙的交互設計研究與新能源汽車興起有著密切的關聯。中國新能源汽車產業在世界處于先進水平，截至2022年第一季度，中國新能源汽車的全球銷售占比已經達到了60%[3]。此外，國家鼓勵推動新能源汽車產業的發展，國務院辦公廳于2020年11月2日發布了《新能源汽車產業發展規劃（2021-2035年）》，這標志著中國的新能源汽車正式迎來了快速發展的階段。通過知網論文的發表周期趨勢可以看到，“汽車交互設計”領域的相關文獻于2018年以后出現非常明顯的增加。近五年所發表的論文篇數在300篇左右，其中應用類、資訊類的文獻占比較多，研究類文獻占比很少。研究的系統性、脈絡不清晰，更多集中研究汽車HMI界面的設計，研究成果較為有限。而知網搜索“汽車多模態交互設計”的相關文獻結果僅有11篇，主要集中在2022到2023年間發表。

2.2 汽車座艙人機交互設計

交互設計不僅僅涉及用戶界面的外觀，更重要的是構建完整產品框架以完成用戶任務，并對最終用戶體驗負有責任。交互設計包含許多重要的基礎理論，包括分布式認知理論、Norman行為階段理論、交互界面設計的八條黃金法則等等。汽車座艙人機交互設計是交互設計中的一個細分領域，在遵守如上交互設計原理的基礎上，針對汽車人機交互設計有著更為詳細的原則。

蔡萌亞等以馬斯洛需求模型為基礎[4]，將汽車交互設計由低到高對汽車座艙交互設計研究進行梳理，其中包含HMI設計與駕駛安全、HMI設計與人車合作信任、用戶認知與情感化三個方面；蘭卉將汽車交互設計分為物理交互、界面交互以及自然交互三個方面[5]。

汽車人機交互設計所觸及的交互觸點頗多，總的來說分為軟件交互與硬件交互兩個部分，也可以分為與駕駛行為直接相關和與駕駛行為不直接相關的交互。

汽車人機交互設計需要注意用戶多感官交互。包括有視覺感知、聽覺感知、觸覺感知以及注意力對于汽車人機交互設計的影響。當前新能源汽車交互設計趨勢有多個方面值得注意，其中包括注重用戶體驗、塑造智能空間、交互唯獨拓展以及注重多模態交互。

3 智能座艙多模態人機交互設計相關研究

多模態人機交互的目標是通過語音、圖像、文本、眼動和觸覺等多種信息形式，在人與計算機之間進行信息交流[6]。隨著技術迭代與汽車座艙的發展，人們對于汽車駕駛需求與出行乘坐體驗變得越來越多樣化、復雜化，在汽車人機交互中復雜的操作增多，例如與聚屏的點擊、手勢交互、語音交互等，而多樣多層次的交互使得用戶在駕駛的過程中有分心的可能，駕駛的不安全因素大大增加。汽車交互設計如何更系統規范與合理變得十分重要。多模態的人機交互設計將多模態感知進行融合，設計使其構成完整交互系統，讓用戶在復雜的、多層次的人機交互環境下也可以合理安排注意力操作車輛。因此智能座艙多模態交互設計將會是新能源汽車人機交互設計未來的發展趨勢，有著大好的前景。

劉聰等從視覺、聽覺、觸覺和嗅覺四個方面總結梳理了不同多模態交互方式適用場景[7]，為汽車多模態人機交互提供了一定的設計參考；易博等將情景意識因素融入多模態汽車交互設計的研究中[8]。關于智能座艙多模態人機交互設計的相關研究，可以總結為三個方面：一是關于智能座艙多模態交互設計的原理，二是智能座艙多模態交互基本技術，三是智能座艙多模態交互設計的評估方法。

3.1 智能座艙多模態交互設計原理

多模態交互包含四個交互方式。（1）視覺交互。視覺交互方式是一種最基礎的交互方式，一般人在平時使用視覺感官來接受環境信息占比最大。因此在人機交互中視覺起著決定性作用。（2）觸覺交互。觸覺交互一般指與汽車座艙物理觸點的交互行為。（3）語音交互。語音交互使駕駛者在駕駛過程中不必用手點擊屏幕、增加視覺負荷，從而導致分散注意力，它是一種自然的交互方式，隨著AI技術日趨成熟，語音交互也將從被動交互專項轉變為主動交互（4）手勢交互。手勢交互作為一種較少見的交互方式，對于其應用的情景需要進行謹慎把關。

多模態人機交互系統可以分為輸出和輸入響應兩個部分，其中輸入和輸出通道涵蓋了書寫、姿態、語音、震動（Leap Motion）等多種模態。在多模態交互的研究中，設計通常以用戶為中心，因為系統通過各種設備獲取用戶的數據或提供反饋，并將其作為信息輸入到端口以生成互動響應[9]。

3.2 智能座艙多模態交互設計關鍵技術

3.2.1 可視化模態技術

（1）使用眼動儀對人視線感應進行測量，分析總結如何調配駕駛員視線以獲得更高的架勢專注度的數據。也可以在駕駛員在駕駛的過程中，檢測駕駛員視線，在其注意力不集中時發出警告。

（2）多屏、聯屏與聚屏。以往使用物理交互觸點的方式顯然已不適用當下多樣需求的出行場景，中控屏的出現很好的將各種駕駛交互需求納入一個合理的交互系統中。如今眾多開發者將車內屏幕的數量增加，以滿足不同的操控需求。

3.2.2 聲場模態技術

聲場模態技術即車載語音交互技術是一種利用語音作為主要交互方式，在車內進行操作與反饋的方法。這項技術能夠借助語音識別功能，將駕駛者的口頭指令轉換成系統可執行的命令，并利用語音合成技術，將車輛系統的響應信息以聲音的形式傳達給駕駛者。這項交互模式具有相當多優勢：（1）駕駛員無需觸摸屏幕或按鈕便可完成指令，提升駕駛過程安全性。（2）語音交互方式使駕駛員可以同時多任務處理，一邊駕駛一邊操作，不會分散注意力。（3）聽覺感覺與語音是更為自然的交互方式，車載語音交互不會過于增加用戶的學習成本。使用語音助手讓駕駛員在駕駛過程中的非駕駛交互行為更加安全。

3.2.3 混合現實實物

目前有越來越多的廠商嘗試增加與汽車座艙搭配的混合現實實物交互來增加用戶的出行體驗。例如今年的CES展覽上，寶馬與消費級增強現實（AR）眼鏡制造商XREAL合作，展示了AR眼鏡的駕駛應用，重點放在了智能座艙的非娛樂性能上。

索尼和本田合作開發的Afeela曾在2023年CES上引起極大關注。而在2024年的CES上，Afeela再次亮相，這次以索尼PS5游戲手柄操控汽車的方式吸引了觀眾的目光。

3.3 智能座艙多模態交互設計評估方法

在對于不同的模態技術進行了解研究之后，發現應用的過程中更要重視如何評估多模態交互設計的可用性與易用性。目前，人機交互實驗室中常用的三種測試方法包括實車測試、高保真汽車模擬器駕駛測試以及低保真汽車模擬駕駛測試。

實車測試提供了最為真實的駕駛環境，能夠準確地捕捉到駕駛員在實際駕駛過程中的行為模式和心理狀態，并且測試結果直接反映了系統在真實世界中的性能，為后續改進提供了堅實的基礎，具有相當高的真實性和可靠性，但成本高昂并且存在安全性問題。

高保真汽車模擬器駕駛測試允許研究人員在受控環境下進行測試，可以精確控制變量，便于重復試驗，可控性強，另外能夠模擬各種復雜的交通狀況和極端天氣條件，而無需擔心實際駕駛中的風險，但盡管模擬器可以高度模擬真實駕駛體驗，但在某些細節上仍可能與實際駕駛有所差異，從而影響測試的有效性。

低保真汽車模擬駕駛測試使用低成本的模擬工具可以快速構建測試環境，適用于概念驗證和初步設計階段，也由于設置簡單，可以快速調整和改進設計方案，加快研發周期。由于低保真的特性，測試可能無法準確反映最終產品的用戶體驗，特別是在涉及高級感官交互（如觸覺反饋）的情況下。

每種測試方法都有其獨特的優勢和不足之處，選擇合適的方法應基于具體的研究目的、可用資源以及期望達到的測試精度。在實際應用中，通常會結合使用這三種方法，以獲得更全面的數據支持，確保研究成果的可靠性和實用性。

4 智能座艙多模態人機交互設計應用

2012年Pfleging等在自然用戶界面的設計工作坊中試圖創建了一個人車交互界面框架的設計生態。他們認為，汽車交互不僅僅涉及中控屏幕，還需要考慮到后排空間和車外空間的交互。

研究表明，多模態交互方式更符合人類習慣，特別是在處理高優先級消息時，采用多模態的冗余增益能夠加速響應時間。例如，視覺與聽覺或視覺與振動觸覺的警告相比于單一模態的警告具有更迅速的反應速度。多重資源理論[12]很好闡明了信息輸入與輸出的調配如何產生與降低認知負荷。

5 結語

目前汽車行業已然全面邁入智能座艙時代，初步形成了以用戶體驗為中心、智能交互為技術核心的發展趨勢。過去單點的交互方式無法滿足如今多層次、多樣化的出行場景，多模態人機交互設計的研究應用成為智能座艙設計中的重中之重。但是，距離將汽車多模態交互設計系統化梳理，將多模態交互設計融入到智能座艙設計的大范圍實際應用還有相當的差距，現在智能座艙多模態交互設計還面臨著以下挑戰：

（1）汽車座艙多模態交互設計還沒有系統化的設計規范原則。如今智能座艙多模態交互設計的研究還處于初級階段，多模態交互的安全性需要大量的實驗檢驗。

（2）多感官資源調度，需考慮如何避免增加認知負荷。

同時，結合以上研究現狀與問題分析，總結智能座艙多模態交互設計發展趨勢如下：

（1）為用戶在出行場景提供更個性化的服務。

（2）車輛與車輛之間的信息交流。如何通過進一步設計，使路上司機與司機之間可以更高效進行信息交流，從而提高安全與效率。通過交互與其他交通參與者共享信息，實現更流暢的交通流動。

（3）車輛與其他載體間的交互。車輛與其他載體之間的交互趨勢包括加強互聯性，使車輛能夠與周圍的交通、基礎設施以及其他車輛進行更有效的通信和協同操作。隨著自動駕駛技術的發展，車輛與其他載體的交互將更加智能化和自動化，使得車輛能夠更好地適應和響應周圍環境。

這些趨勢將共同推動著車輛與其他載體之間的交互進入一個智能、互聯、自動化的新時代。

參考文獻：

[1]李玉昆，孟健，郁淑聰.展望未來智能汽車人機交互：多模態融合感知技術成為趨勢[J].汽車與配件，2022（21）：56-58.

[2]劉佳馨.基于多模態交互的汽車內飾空間體驗設計研究[D].湖北：華中科技大學，2022.

[3]人民網，國家發改委：我國新能源汽車產銷連續9年位居全球第一［EB/OL］.http：//finance.people.com.cn/n1/2024/0118/c1004-40161886.html，2018-10-18.

[4]蔡萌亞，王文麗.汽車智能座艙交互設計研究綜述[J].包裝工程，2023，44（6）：430-440.

[5]蘭卉.我國新能源汽車交互設計現狀及發展趨勢研究[J].汽車與新動力，2023，6（5）：57-60.

[6]陶建華，巫英才，喻純，等.多模態人機交互綜述[J].中國圖象圖形學報，2022，27（6）：1956-1987.

[7]劉聰，朱蘭芹.基于多模態交互的汽車人機交互設計研究[J].汽車電器，2022（8）：3-5.

[8]易博，張帥，李文馨，胡嵐.基于情景意識的多模態汽車交互設計研究[J].內燃機與配件，2023（5）：82-84.

[9]劉佳馨.基于多模態交互的汽車內飾空間體驗設計研究[D].湖北：華中科技大學，2022.

[10]翟家興.基于多模態生理數據的汽車造型美學評價方法研究[D].長春：吉林大學，2019.

[11]趙廉峣.基于多模態信息融合情景計算的無人駕駛環境下動態目標感知方法研究[D].廣東：深圳大學，2020.

[12]Christopher D. Wickens and Jason S. McCarley. Applied Attention Theory[M]. CRC Press，2019