基于AI大模型的新能源汽車智能座艙多模態交互技術研究綜述

【歡迎引用】 鄧建明， 龔循飛， 于勤， 等. 基于AI大模型的新能源汽車智能座艙多模態交互技術研究綜述[J]. 汽車文摘，2024（XX）： X-XX.

【Cite this paper】 DENG J M， GONG X F， YU Q， et al. A Survey on Intelligent Cockpit Multimodal Interaction Technology for New Energy Vehicles Based on AI Large Model[J]. Automotive Digest （Chinese）， 2024（XX）： X-XX.

【摘要】智能座艙是汽車智能化的重要組成部分，多模態交互是智能座艙的核心功能。為了研究AI大模型賦能智能座艙實現多模態交互的技術原理，利用AI大模型的學習和泛化能力，分析了多模態交互技術框架和關鍵技術，評估國內外科技公司和車企在多模態交互領域的應用案例，如百度、華為、騰訊和科大訊飛的大語言模型，并對其效果進行對比。對比結果表明，AI大模型在多模態交互中的應用顯著提高了任務處理效率與準確性，增強了智能座艙的人機交互體驗。最后探討了AI大模型在智能座艙應用中面臨的挑戰與前景，為AI技術在智能座艙領域的深入發展和應用提供參考。

關鍵詞：新能源汽車；智能座艙；多模態交互；AI大模型；技術原理；應用案例；技術框架

中圖分類號：TP391.9" "文獻標志碼：A" DOI： 10.19822/j.cnki.1671-6329.20230296

【Abstract】 The intelligent cockpit is a crucial component of automotive intelligence， where multimodal interaction serves as a core function. To explore how AI large models enable smart cockpits to achieve multimodal interaction， this paper leverages the learning and generalization capabilities of AI large models to analyze the technical framework and key technologies of multimodal interaction. It evaluates application cases from leading technology companies and automakers， including Baidu， Huawei， Tencent， and iFlytek， while also undertaking a comparative analysis of their performance. The findings reveal that the incorporation of AI large models into multimodal interaction has markedly enhanced task processing efficiency and precision， thereby enriching the human-machine interaction within intelligent cockpits. In conclusion， the paper explores the challenges and future directions for the application of AI large models in intelligent cockpits， offering valuable insights for the ongoing advancement and integration of AI technology in this domain.

Key words： New energy vehicles， Intelligent cockpit， Multimodal interaction， AI large models， Technical principles， Application cases， Technical framework

0 引言

智能座艙是新能源汽車智能化的重要組成部分，也是提升汽車用戶體驗的核心要素[1-2]。隨著汽車行業的電氣化、網聯化、共享化和自動化的發展趨勢，智能座艙的技術創新和市場需求不斷增長[3]。2020年，全球智能座艙市場規模達到1 389億元（195億美元），預計到2025年將增長至2 444億元（343億美元），復合年增長率達11.8%[4]。智能座艙不僅可以提供舒適的駕乘環境，還能通過視覺、聽覺、觸覺等多種感官通道，實現自然、高效的信息交換[5-7]。當前，國內外科技公司和車企在多模態交互技術上取得了一定的成果。百度、華為、騰訊和科大訊飛等公司均推出了大語言模型，用于語音控制、手勢識別、面部識別等交互場景[8-9]。然而，現有研究大多集中在單一模態的交互上，多模態融合交互的研究相對較少。此外，在實現智能座艙高效多模態信息處理的同時提升用戶滿意度，仍是亟待解決的問題。

本文提出了基于AI大模型的智能座艙多模態交互技術框架，系統性地研究了多模態交互的核心技術和應用案例。通過對大量真實數據的訓練，AI大模型可以主動識別駕駛員和乘客的多模態行為和需求，提供更加智能化和個性化的交互體驗。本文分析了現有技術的優勢和不足，探討了AI大模型在智能座艙中的應用潛力和未來發展方向，為汽車行業的智能化提供新的啟示。

1 多模態交互技術概述

1.1 多模態交互技術框架

多模態交互是指利用多種感官通道，實現人與車、車與車、車與外界的信息交換[10-11]。多模態技術框架由感知層、理解層、控制層和表達層組成，如圖1所示。感知層采集和處理多模態輸入信號，將其轉換為特征向量。理解層分析和融合多模態特征向量，提取語義信息，構建多模態語境模型。控制層根據多模態語境模型，生成控制指令，實現智能控制。表達層根據控制指令，生成多模態輸出信號，實現多模態反饋和交互。

1.2 感知理解技術

感知理解技術利用計算機視覺、自然語言處理以及生物識別等技術，對多模態輸入信號進行操作，實現對人的多模態行為的感知和理解[12-13]，其主要包括語音識別技術、圖像識別技術、手勢識別技術和生物識別技術4個方面。

（1）語音識別技術。語音識別技術是將語音信號轉換為文本或命令的技術，是最常用的輸入方式，主要包括聲學模型、語言模型、詞典和解碼器，負責將語音信號轉換為音素序列，計算出音素序列對應的詞序列的概率，提供音素和詞之間的對應關系，搜索最優的詞序列作為識別結果。其面臨的主要挑戰是處理語音信號中的噪聲、口音、方言、語氣以及情感等因素，提升準確性和魯棒性。

（2）圖像識別技術。圖像識別技術是將圖像信號轉換為標簽或描述的技術，是最直觀的輸入方式，主要包括圖像分類、圖像分割、目標檢測、人臉識別以及場景理解等任務，負責將圖像分配到類別中，將圖像劃分為語義區域，定位和識別目標，判斷人臉的身份或屬性，描述和解釋場景。其面臨的主要挑戰是處理圖像信號中的光照、遮擋、變形以及背景干擾等因素。

（3）手勢識別技術。手勢識別技術是將手勢信號轉換為命令或控制的技術，是最自然的輸入方式，主要包括手勢檢測、手勢跟蹤、手勢分類和手勢解釋，負責定位手部的位置，跟蹤手部的運動軌跡，將手勢分配到類別中，根據手勢的語義，生成命令或控制。其面臨的主要挑戰是處理手勢信號中的復雜背景、快速運動、遮擋、自相似等因素。

（4）生物識別技術。生物識別技術是利用人的生物特征，進行身份認證或狀態監測的技術，是最安全的輸入方式，主要包括特征提取、特征匹配、特征更新和特征融合[14]，負責從生物信號中提取特征向量，將特征向量與數據庫中的特征進行比對，根據生物信號的變化，更新數據庫中的特征，利用多種生物特征，提高識別的準確性和魯棒性。其面臨的主要挑戰是處理生物信號中的噪聲、偽造、老化以及干擾等因素。

1.3 智能控制技術

智能控制技術是利用機器學習、優化算法、控制理論等技術對多模態語境模型進行分析和決策，生成控制指令，實現智能控制。其主要包括意圖識別技術、行為規劃技術以及情感識別技術3個方面。

（1）意圖識別技術。意圖識別技術是判斷駕駛員或乘客的意圖或需求的技術，是最重要的控制技術，其主要包括意圖建模、意圖推理、意圖預測和意圖反饋，分別負責構建意圖的概念結構和語義關系，根據多模態語境模型，推斷出最可能的意圖，根據歷史數據和實時數據，預測出未來可能的意圖，利用多模態輸出信號，反饋意圖識別的結果，提高交互的可信度和滿意度。

（2）行為規劃技術。行為規劃技術是生成滿足駕駛員或乘客需求的行為序列的技術，是最核心的控制技術，主要包括行為建模、行為搜索、行為評估和行為執行，負責構建行為的狀態空間和動作空間，搜索最優或次優的行為序列，對行為序列進行評價和優化，將行為序列轉換為控制指令，實現智能控制。

（3）情感識別技術。情感識別技術是判斷駕駛員或乘客的情感狀態和傾向的技術，是最人性化的控制技術，主要包括情感建模、情感分類、情感生成和情感適應，負責構建情感的表示形式和計算模型，將多模態語境模型中的情感信息分配到情感類別中，根據給定的情感類別或情感向量，生成多模態輸出信號，使情感識別技術能夠適應不同的個體和場景[15-16]。

2 AI大模型在多模態交互中的應用案例和效果評估

AI大模型是指具有強大的學習和泛化能力的人工智能模型，能夠處理自然語言、視覺、語音、智能推薦等多個領域的任務。AI大模型在多模態交互中的應用案例和效果評估涵蓋了多個領域，主要包括智能座艙、智能醫療、智能教育、智能家居、智能娛樂等。這些領域代表了多模態交互技術在不同應用場景中的典型實例和實際效果。

2.1 應用案例

百度、華為、騰訊和科大訊飛的大語言模型通過自然語言處理、語音識別、視覺識別和多模態融合等技術，顯著提升了智能座艙的個性化服務和用戶交互體驗。上述模型在智能駕駛、導航、娛樂和控制系統中展現了強大的應用潛力和多樣化的功能，實現了更自然、高效的智能交互[17-20]。

2.1.1 百度大語言模型的應用

百度研發的文心系列大語言模型，主要包括文心一言、文心一識以及文心一悟。該系列通用預訓練模型基于海量數據，支持自然語言理解和生成、知識圖譜構建和對話系統等多個任務。在智能座艙技術領域，百度的大語言模型已經實現了實際應用。如百度智能駕駛平臺Apollo通過集成大語言模型，實現了多模態交互功能，包括語音、手勢、面部識別、情緒識別等，可提供個性化服務如導航、娛樂和安全等。百度智能小度車載版通過大語言模型實現了語音交互功能，包括語音識別、合成、理解和對話，為智能座艙提供多功能語音控制，進一步增強駕駛便捷性和舒適性。

2.1.2 華為大語言模型的應用

華為的大語言模型（如TinyBERT、EZHA和PET）在智能座艙技術領域展現出強大的應用潛力。華為HiCar利用大語言模型實現了視覺交互功能，包括人臉識別、手勢識別、情緒識別和眼動識別，提供個性化的導航、娛樂和安全服務。華為智能眼鏡通過大語言模型的眼動識別、跟蹤、控制和反饋功能實現了多模態控制，可支持信息娛樂和駕駛輔助等功能。華為智能音箱和智能手表作為硬件終端，利用多模態融合功能綜合利用語音、手勢和生理信號等輸入信號，提供自然、友好和高效的多模態反饋和交互。上述應用展示了華為大語言模型在智能座艙中的廣泛應用，顯著提升了多模態交互的性能和用戶體驗，使智能座艙能夠更好地理解和響應用戶需求，提供更加個性化和智能化的服務。

2.1.3 騰訊大語言模型的應用

騰訊的大語言模型包括Tencent AI Lab Machine Reading Comprehension（TALMRC）、Tencent AI Lab Neural Network Intelligence （TANNI）和Tencent AI Lab Open Domain Question Answering（TALODQA）等。這些模型作為通用預訓練模型，通過海量數據訓練，能夠處理自然語言理解、自然語言生成、知識圖譜和對話系統等多任務。

與其他大語言模型相比，騰訊模型在智能座艙中的應用具有獨特優勢。在語音交互方面，騰訊的大語言模型表現優秀，能夠實現智能座艙的語音識別、合成、理解和對話功能。其高精度的語音識別技術能準確捕捉駕駛員和乘客的語音指令并生成自然的語音回復，滿足車內信息娛樂、駕駛輔助、車內控制和車聯網等多種需求。騰訊微信車載版和騰訊QQ音樂車載版是其在語音交互方面的典型應用案例。

此外，騰訊的大語言模型還在多模態融合方面展現出強大功能。通過綜合利用語音、圖像、視頻、手勢和生理信號等多種輸入，可以實現構建復雜的多模態語境模型，生成多模態行為控制和反饋。這使智能座艙不僅能夠理解復雜的多模態輸入，還能生成最優或次優的行為序列，進行智能化的車輛和外部環境控制。騰訊智能導航和騰訊智能娛樂是其在多模態融合方面的應用案例，展示了騰訊大語言模型在提供智能化和個性化用戶體驗上的卓越能力。

騰訊大語言模型在智能座艙中不僅能夠提供精準的語音交互，還能通過多模態融合技術，提供更加自然、友好和高效的智能交互體驗。

2.1.4 科大訊飛的大語言模型的應用

科大訊飛的大語言模型，包括訊飛大語言模型、訊飛大知識圖譜和訊飛大對話系統，是一套功能全面的通用預訓練模型，能夠處理自然語言理解、自然語言生成、知識圖譜和對話系統等多種任務。

在智能座艙領域，科大訊飛的大語言模型的應用展現了其與其他模型的顯著區別和獨特優勢。首先，在語音交互方面，科大訊飛的技術憑借其高效的語音識別、合成、理解和對話能力，能夠實現精準的語音指令識別和自然的語音回復，支持車內信息娛樂、駕駛輔助、車內控制以及車聯網等多功能控制。例如，科大訊飛智能駕駛平臺和科大訊飛智能音箱通過其先進的語音交互技術，提升了車主的駕駛體驗和操作便利性。

在多模態融合方面，科大訊飛的大語言模型則展現了其獨特的綜合處理能力。其可以整合語音、圖像、視頻、手勢和生理信號等多模態輸入，構建復雜的多模態語境模型，進而生成最優的行為序列，以智能化地控制車輛和外部環境。科大訊飛的智能導航和智能娛樂系統利用這一能力，實現了多模態語境理解和反饋生成，使得智能座艙能夠根據用戶的多種輸入需求，提供更為精準和個性化的服務。

科大訊飛大語言模型的這種多模態融合技術，不僅增強了智能座艙的交互性能，還提升了用戶體驗的自然性和智能化水平，與其他模型相比，展現了其在處理復雜多模態信息和提供高度個性化服務上的顯著優勢。

2.2 應用效果評估

從評估數據集、評估模型及評估指標3個方面入手對各語言模型進行評估。評估方法包括確保模型處理多種模態的能力、交互場景的廣泛適應性以及計算和存儲的高效性能。評估指標則關注模型在多模態交互中的準確性、自然性、流暢性及其他關鍵要素。

2.2.1 評估方法

評估模型是指用于評估AI大模型的模型，其應該具有以下特點：

（1）能夠處理多種模態的輸入和輸出信號，如語音、圖像、視頻、手勢、生理信號等。

（2）可以實現多種交互場景和任務，如智能座艙、智能醫療、智能教育、智能家居以及智能娛樂等。

（3）具有強大的學習和泛化能力，可以適應多模態交互的復雜性和多樣性。

（4）具有高效的計算和存儲性能，可以滿足多模態交互的實時性和穩定性。

2.2.2 評估指標

評估指標是指用于評估AI大模型的具體指標，應該具有以下4個特點：

（1）反映多模態交互的核心要素，如準確性、流暢性、自然性、友好性、高效性等。

（2）反映多模態交互的不同層次，如感知層、理解層、控制層、表達層等。

（3）反映多模態交互的不同角度，如客觀性、主觀性、綜合性等。

（4）反映多模態交互的不同維度，如功能性、可用性、可靠性以及可滿意度。

2.2.3 大模型評估結果

從表1中可以看出，百度、騰訊、科大訊飛、華為的大語言模型在圖像描述、VQA、圖像生成任務中均具有較好的表現，但在不同的指標上有所差異。百度的大語言模型在圖像描述和圖像生成任務上的BLEU-4和FID分數都最高，說明其生成的圖像描述和圖像質量都最接近真實數據。華為的大語言模型在圖像描述和VQA任務上的BLEU-4和準確率分數僅次于百度，說明其對圖像的理解和生成能力也很強。騰訊的大語言模型在圖像描述和VQA任務上的BLEU-4和準確率分數略低于百度和華為，但在圖像生成任務上的FID分數僅次于百度，說明其生成的圖像質量也較高。科大訊飛的大語言模型在所評估的3項任務中的指標分數偏低，其在圖像領域的應用水平還有進步空間。

3 挑戰和展望

AI大模型在智能座艙多模態交互中的應用展現出巨大的潛力和價值，但也面臨一系列挑戰和問題，需要持續不斷的探索和創新，以實現更優的效果和用戶體驗。本節將詳細探討AI大模型面臨的挑戰，并展望未來的發展方向。

3.1 AI大模型賦能智能座艙多模態交互的挑戰

首先，模型訓練和部署是AI大模型應用中主要挑戰之一。訓練和部署AI大模型需要大量的多模態數據，包括語音、圖像、視頻和手勢等。數據的獲取和處理是一個復雜的過程。模型的設計和優化是確保模型能夠有效處理不同模態的數據并在多種交互場景中展現優異性能的關鍵。此外，應考慮模型的更新和遷移策略，適應多模態交互的不斷變化和發展，從而保持模型的性能和適應性。

其次，模型的可解釋性和可信賴性是AI大模型應用的另一個重要挑戰。AI大模型的內部機制和邏輯必須具備透明度，以便用戶能夠理解模型的決策過程。模型的外部表現和效果也需經過詳細評估，確保其輸出的質量和效果符合預期。這些因素直接影響到模型在多模態交互中的有效性和用戶信任度。

3.2 AI大模型賦能智能座艙的展望

展望未來，AI大模型在智能座艙中的應用前景廣闊，需在數據共享、模型個性化等方面不斷創新和實踐。首先，數據共享和協同將成為提升AI大模型性能的關鍵。通過標準化和規范化數據格式，能夠提高數據的獲取和處理效率。同時，數據集成和融合將增強信息的質量和全面性，為智能座艙提供更加豐富和精準的服務。此外，數據的分析和挖掘能夠揭示數據中的有用信息，并支持跨領域和跨模態的融合分析。這不僅可以提升用戶體驗，還能通過可視化技術直觀呈現分析結果，但需重視數據質量、安全性和模型的可擴展性問題。

其次，模型個性化和定制化將進一步提升智能座艙的交互效果。通過對用戶進行建模和畫像，可以了解用戶的特征和偏好，進而實現個性化的適應和優化。模型的用戶交互和定制化功能將使AI大模型能夠更好地滿足用戶的具體需求，從而提升整體的交互體驗。實現這些目標需要關注模型的靈活性、魯棒性以及用戶反饋，確保其適應不同的用戶和環境變化。

4 結束語

本文研究揭示了AI大模型在智能座艙多模態交互中的潛在優勢和應用趨勢，明確了其能夠顯著提升交互體驗和處理效率。通過深入分析，總結了當前應用中面臨的主要挑戰，如數據處理和模型的可信賴性，并提出了未來在數據共享、個性化定制等方面的研究方向，為推動智能座艙領域的持續發展提供了理論基礎和實踐參考。

盡管本文深入探討了AI大模型賦能智能座艙的多個方面，但仍存在一些不足之處。首先，當前的研究在實際應用中的數據采集和處理的細節仍有待完善，特別是在面對數據隱私和安全問題時。其次，模型的泛化能力和適應性在不同環境下的表現尚未得到充分驗證。未來的研究應重點關注這些未解決的問題，探索更加高效的數據處理和保護機制，以及提高模型的魯棒性和適應性。此外，未來研究還需要進一步探討如何通過創新算法和技術提升AI大模型的可解釋性和用戶信任度，從而推動智能座艙多模態交互技術的發展。

參 考 文 獻

[1] 陳向斌. 智能座艙多模態交互技術發展現狀及趨勢分析[J]. 汽車知識， 2024， 24（1）： 12-14.

[2] 高峰， 李曉明， 張曉東. 智能座艙技術發展現狀與趨勢[J]. 汽車工程， 2020， 42（11）： 1265-1272.

[3] 許可， 張新， 劉國亮， 等. 某乘用車座艙中控屏布置與交互設計研究[J]. 汽車文摘， 2024（3）： 39-46.

[4] 回姝， 鄭紅麗， 顧瑩. 汽車智能座艙發展趨勢下的機遇和挑戰[J]. 汽車文摘， 2022， （5）： 7-11.

[5] 鄭紅麗， 丁冠源， 回姝， 等. 5G通信時代汽車智能座艙發展趨勢[J]. 汽車文摘， 2022， （5）： 12-15.

[6] LI X， ZHANG X， REN F， et al. A Survey on Multimodal Human-Computer Interaction： Challenges and Future Trends[J]. IEEE Access， 2020（8）： 191674-191688.

[7] CHEN L， ZHANG X， GUO X. Survey on Deep Learning-Based Intelligent Vehicle Cockpit Voice Interaction Technology[J]. IEEE Access， 2020（8）： 210236-210250.

[8] Botao Z ，Zhiquan F ，Tao X ， et al.Research on Intelligent Experimental Equipment and Key Algorithms Based on Multimodal Fusion Perception[J].IEEE ACCESS，2020，8142507-142520.

[9] ZHANG X， CHEN L， GUO X. A Survey on Deep Learning-Based Intelligent Vehicle Cockpit Voice Interaction Technology[J]. IEEE Access， 2020， 8： 210236-210250.

[10] WANG X， ZHAO L， WANG X， et al. Design of Intelligent Cockpit Human-Computer Interaction System Based 0n Multimodal Perception[J]. Electronics， 2020， 9（10）： 012212.

[11] 高峰， 劉曉娟， 李曉峰. 基于多模態信息融合的智能座艙人機交互技術[J]. 計算機工程與應用， 2020， 56（16）： 1-9.

[12] 陳璐， 張曉東， 郭曉峰. 基于深度學習的智能座艙語音交互技術綜述[J]. 計算機科學與探索， 2020， 14（9）： 1450-1463.

[13] 王曉峰， 趙磊， 等. 基于多模態感知的智能座艙人機交互系統設計[J]. 電子設計工程， 2020， 28（18）： 1-5.

[14] 陳嘉， 劉曉娟， 李曉峰. 基于多模態信息融合的智能座艙人機交互技術[J]. 計算機工程與應用， 2020， 56（16）： 1-9.

[15] 郭曉峰， 張曉東， 陳璐. 基于深度學習的智能座艙語音交互技術綜述[J]. 計算機科學與探索， 2020， 14（9）： 1450-1463.

[16] 智能相對論. 大模型走向汽車產業，最先落地在智能座艙 [EB/OL]. （2023-06-21）[2023-11-05]. https：//baijiahao.baidu.com/s？id=1769282676202186005amp;wfr=spideramp;for=pc.

[17] 華泰證券. 2023年電子行業專題 AI大模型如何賦能智能座艙 [EB/OL]. （2023-04-26）[2023-11-05]. https：//baijiahao.baidu.com/s？id=1764204481632370388amp;wfr=spideramp;for=pc.

[18] 搜狐. 智能座艙研究報告： AI大模型如何賦能智能座艙[EB/OL]. （2023-05-09）[2023-11-05]. https：//www.sohu.com/a/674173370_121124366.

[19] 華泰證券. 洞察AI大模型的投資機遇 [EB/OL]. （2023-07-09）[2023-11-05]. https：//www.htsc.com.cn/aboutht/information/jumpNewsInfo.do？docId=16354422amp;manage=2.

[20] 知乎專欄. 多模態人機交互綜述[EB/OL]. （2022-07-04）[2023-11-05]. https：//zhuanlan.zhihu.com/p/537212580.

（責任編輯 梵玲）