基于深度學習的乘用車智能座艙系統安全設計研究

摘要：隨著乘用車電動化、智能化、網聯化的快速發展，乘用車智能座艙已成為人們出行的第三空間。本文主要對乘用車智能座艙的現狀和存在的問題，包括免喚醒功能被惡意使用、中控顯示屏和副駕多媒體顯示屏干擾駕駛、駕駛員危險行為識別等進行分析研究。基于深度學習技術提出了一套乘用車智能座艙系統安全設計的方法，為乘用車智能座艙的設計提供參考。

關鍵詞：智能座艙；智能顯示屏；人機交互；深度學習；乘用車

引言

乘用車智能座艙是采用先進的計算機、傳感器、信息、網絡通信和人工智能等技術實現人機交互的智能駕乘艙段[1]。與傳統乘用車座艙對比，智能座艙可以帶來科技感和不一樣的駕乘體驗[2]。得益于智能座艙的不斷發展，以家庭為第一空間、以學校或工作單位為第二空間的局面被打破，乘用車智能座艙逐漸成為人們生活、學習、工作的可移動的第三空間[3]。與第一、第二空間相比，智能座艙具備移動性、便攜性、舒適性的特點。當前乘用車智能座艙仍處于初級發展階段，開始具備各種與駕駛無關的娛樂和生活服務等功能。如何讓更多與駕駛無關的功能進入智能座艙且不影響行車安全，是值得探討的問題。

1. 什么是乘用車智能座艙

乘用車智能座艙可以從兩個角度來定義。從乘用車內部角度來看，智能座艙通過智能顯示屏、傳感器、內飾和座椅等人機交互設計，實現駕乘便捷性和舒適性的功能[4]；從乘用車外部角度來看，智能座艙通過車聯網、5G、傳感器、衛星定位等技術[5]，實現乘用車與車外萬物的智能互聯互通，即車聯萬物（vehicle to everything，VTX）[6]。智能座艙可以實現感知行人、車外交通路況、交通燈信號等；實現車與人、車、道路、外部網絡等的信息交換；實現路況預警、前方碰撞預警、避讓行人、變道輔助、轉彎輔助等。

2. 乘用車智能座艙的發展現狀

乘用車座艙的發展經歷了三個階段，分別為機械座艙階段、電子座艙階段、智能座艙階段[7]。

2.1 機械座艙階段

機械座艙主要包括機械儀表盤、收音機、磁帶播放器和一些物理按鍵，造型和配置都很簡單，僅提供一些基本的車輛工作狀態信息及簡單的音響收聽功能。

2.2 電子座艙階段

電子座艙主要包括CD播放器、USB接口、電子顯示屏和物理按鍵等，可以播放CD和U盤等信息載體上的內容，但功能集成不夠，體驗也不舒適。

2.3 智能座艙階段

隨著乘用車電動化、智能化、網聯化的發展，乘用車已發展為由智能座艙域、智能駕駛域、整車控制域三部分組成的綜合智能系統。液晶儀表屏、中控屏、副駕多媒體顯示屏、音響等基礎視聽硬件都全方位升級，空調、收音機的實體物理按鍵已經設計到中控智能顯示屏上，人臉識別、語音識別、路徑規劃、智能駕駛等功能也開始出現。在系統級芯片（system on chip，SOC）上可以增加虛擬化車載功能[8]，不再單純依靠乘用車硬件來升級功能，而且可以通過空中下載技術（over the air，OTA）遠程在線升級和完善車輛系統，實現智能座艙功能升級優化。

3. 乘用車智能座艙的特點

乘用車智能座艙作為移動的第三空間，呈現出以下三個特點。

3.1 多屏化

在多屏化設計中，采用多塊顯示屏的設計結構，每塊顯示屏分別負責不同區域的功能顯示。目前主流車型大多采用雙聯屏、三聯屏設計[9]。市面上，如吉利星越L、奇瑞星途凌云、奔馳GLE新能源、寶馬X5，均采用兩塊12.30英寸液晶顯示屏的雙聯屏設計；奔馳EQS則采用兩塊12.30英寸和一塊10.25英寸液晶顯示屏的三聯屏設計。

3.2 大屏化

在大屏化設計中，采用16.0英寸及以上的大尺寸智能顯示屏。例如，小米SU7中控采用16.1英寸液晶顯示屏。顯示屏尺寸越大，可以顯示的信息也就更多。大屏化車載顯示可以使娛樂信息、空調信息、導航信息、行車影像、倒車影像、換擋功能等集成顯示，使座艙內布局更加簡潔。

3.3 一體化

在一體化設計中，將多塊智能顯示屏整合設計為一個整體，可以集功能和造型于一體[10]，同時也可以節省芯片的使用數量，降低成本。

4. 基于深度學習的乘用車智能座艙系統安全設計

本文在乘用車智能座艙內設計一個大屏一體化的智能觸控液晶顯示屏，并采用系統級芯片，同時結合深度學習技術進行方案的設計和驗證。

4.1 大屏一體化設計

本文設計了一塊45.0英寸車載智能觸控液晶顯示屏[11]， 如圖1所示，其長度為1.2米，像素為7680×930，可以把儀表顯示屏、中控顯示屏、副駕多媒體顯示屏、抬頭顯示儀（head up display，HUD）、流媒體后視鏡集成在智能座艙前端，并且把顯示驅動與控制集成在智能座艙主機上，這種大屏一體化設計可以實現不同區域顯示不同信息和人機交互的功能。

當顯示屏處于關機狀態時，其表面紋理、顏色可以和中控臺內飾表面保持一致，實現顯示屏與乘用車內飾融為一體的效果。

4.2 系統級芯片設計

本文在乘用車智能座艙主機上采用系統級芯片設計，減少了冗余的算力和電子控制單元（electronic control unit，ECU）的使用數量，可以實現多個應用軟件共用一套硬件裝置，有效減少了硬件數量。此外，系統級芯片集中式的架構設計不僅可以統一交互功能，而且可以節省乘用車電路的線束布局，減輕整車重量。本文乘用車智能座艙操作系統（cockpit operating system，COS）采用基于Linux二次開發的座艙操作系統，并結合深度學習技術研究乘用車智能座艙系統安全設計方案。

4.3 深度學習技術

深度學習技術可以抽取文本、圖像、音頻特征，進行對象表征識別，可以提高乘用車智能座艙安全。深度學習是多層神經網絡。感知機是神經網絡的最小構成單元，感知機接收多個輸入信號，輸出一個信號。

深度學習神經網絡如圖2所示，是由多層感知機組成的神經網絡模型，由輸入層、隱藏層、輸出層構成。

激活函數是深度學習神經網絡的重要組成部分。如果沒有非線性的激活函數，就沒有隱藏層的效果。ReLu（rectified linear unit）函數是一種在人工神經網絡中常用的激活函數，其公式為ReLu（x）=max（0，x），對于任意輸入，當x≤0時，函數輸出y=0；當x＞0時，則輸出y=x。ReLu函數比Sigmoid函數和Tanh函數計算速度更快，而且可以避免梯度消失問題。因此，本文的深度學習神經網絡算法采用了ReLu函數。

循環神經網絡（RNN）和卷積神經網絡（CNN）是深度學習神經網絡的兩種類型。首先，RNN包含一個或多個循環單元，循環單元構成了隱藏層，可以處理變長的序列數據，通過隱藏狀態向量和記憶機制來保留之前的信息，下一時序可以利用之前的信息做出預測，從而捕捉到序列數據中的時序信息。RNN通常用于自然語言處理和語音識別中。循環神經網絡中的長短時記憶網絡（LSTM）可應用在語音識別、自然語言處理、圖像描述等領域。如表1所示，當x2=0時，x1=6不存入RAM中；當x2=1時，將x1=2存入RAM中；當x3=1時，輸出y=2的數值；當x2=-1時，清空RAM里的數據；當x3=1時，輸出y=0的數值；當x2=1時，將x1=8存入RAM中；值得注意的是，RAM的數值是累加的，當x2=1時，將x1=8累加到RAM中，此時RAM的數值為8+8=16；當x3=1時，輸出y=16的數值；最終LSTM處理時間序列數據為y=16。

其次，CNN含有多個卷積層和多個池化層，卷積層和池化層構成了隱藏層，可以處理固定大小的輸入數據，通過卷積操作和池化操作來提取圖像中的局部特征，通過不斷地卷積和池化操作實現特征提取和降維，并通過一個全連接層進行分類或回歸，輸出識別結果，通常用于圖像識別和圖像分類。

通過多個卷積核對輸入圖像進行多次滑動窗口卷積運算，可以抽取到圖像的不同特征。如圖3所示的卷積運算過程，原圖大小為5×5，卷積核大小為3×3，以步長為1，進行滑動窗口卷積運算，得到輸出圖大小為3×3。

池化層是通過組合特定區域相鄰像素為一個像素，以減小圖像的大小。池化層分為平均池化和最大池化兩種類型。池化層與卷積層有點類似，不同點在于池化層濾波器中沒有參數，而且在滑動窗口時前后不交疊。池化層不僅可以減少下采樣特征圖的大小，而且可以減少計算量和所需的顯示內存。

本文從乘用車智能座艙系統安全角度出發，利用深度學習技術進行設計研究。

4.4 基于深度學習的精準免喚醒交互功能設計

乘用車智能座艙通常需要使用特定的喚醒詞來喚醒語音功能進行人機交互。通過喚醒詞把語音系統從休眠狀態切換到工作狀態的過程中，由于駕乘人員口音、座艙內噪聲、交通環境等影響，對話效率偏低，使得語音交互體驗感不足。此外，語音喚醒功能有時會被其他人在車外惡意喚醒，存在安全隱患。有些車廠雖然推出了免喚醒功能，但因未對語音對象進行識別，也難免會被惡意喚醒，同樣存在安全隱患。針對這些問題，本文提出了一種基于深度學習的精準免喚醒交互功能設計方案。

首先，通過車載麥克風檢測出駕乘人員的聲波頻譜，再通過RNN技術提取和識別駕乘人員語音特征，并把駕乘人員語音特征存入智能座艙主機的RAM中。其次，通過語音傳感器實時監測車內語音信號。當檢測到車內語音信號時，通過RNN技術進行智能檢測語音、提取和識別語音特征，并與RAM中留存的語音特征進行匹配識別。若當前的語音特征與RAM留存的語音特征一致，則判定此語音信號是駕乘人員發出的。同時，在車內攝像頭拍攝的視頻流中，使用CNN技術提取駕乘人員的圖像特征，分割、識別圖像，根據上下文語義分析，進行用戶意圖識別，最終判定用戶需求并給智能座艙主機下達指令進行對應操作。

例如，當用戶眼睛看著窗戶且說出“車窗開大一些”時，智能座艙不需要喚醒詞喚醒，而是通過深度學習技術快速智能地識別到用戶的真實意圖，做出開車窗的決策，并下達指令控制車窗開得更大一些的動作。同時，也會開啟語音功能進行主動交互，以便用戶與智能座艙交流確認車窗打開幅度的大小，最終實現精準免喚醒開大車窗的用戶目的。利用基于深度學習的精準免喚醒交互功能技術，用戶可以直接與乘用車智能座艙進行語音對話，而無須特定的喚醒詞進行語音系統的喚醒，可以減少不必要的低效率對話，從而提高用戶的語音交互體驗感。

4.5 基于深度學習的智能顯示屏亮度自適應調節設計

當駕駛區域內的亮度均一性大于等于75%時，認為這種明暗亮度差異為人眼可適應的范圍；當駕駛區域內的亮度均一性小于75%時，人眼很難適應這種明暗亮度差異大的環境。通過CNN技術提取駕駛員人眼特征和人臉特征，當智能座艙識別到駕駛員的人眼瞇眼特征和人臉皺眉特征時，即判斷顯示屏亮度已經過大且超出了人眼可適應的亮度均一性范圍，極易引起駕駛員不舒適，這時立即給智能座艙主機下達調低顯示屏亮度的指令，實現顯示屏亮度自適應調節。基于深度學習的乘用車智能顯示屏亮度自適應調節設計方案，可以有效地識別明暗亮度差異給駕駛員造成的影響，并自適應地調節亮度，提高駕駛員的舒適度。

4.6 基于深度學習的駕駛員危險行為識別設計

深度學習技術可以識別駕乘人員誤操作和使用智能座艙不當的危險行為，因此，本文提出了一種基于深度學習的駕駛員危險行為識別設計方案。首先，使用車載攝像頭拍攝駕駛員的駕駛行為，通過視頻采集技術從視頻流中獲得駕駛員的單幀圖像；其次通過卷積層進行圖像濾波和提取特征，并使用最大池化法進行圖像特征降維，以獲取圖像的深層次特征。與手工提取圖像特征相比，CNN可以快速地提取到圖像的重要信息，然后將多維圖片特征映射到多個神經元的全連接層中的一維向量上，最后輸出駕駛員行為的識別結果。

當智能座艙識別到駕駛員長時間觀看中控顯示屏和副駕多媒體顯示屏的視頻內容時，會立即給智能座艙主機下達切換顯示內容和安全駕駛的指令并預警，同時自適應地關掉視頻，甚至通過整車控制域對車輛進行減速，以確保行駛安全。長時間觀看中控顯示屏和副駕多媒體顯示屏均會導致駕駛員注意力分散、操作能力減退、反應遲鈍等不良后果。基于深度學習的駕駛員危險行為識別設計方案，可以對駕駛員行為進行準確的判斷，可以有效地輔助駕駛員安全駕駛。

基于深度學習的乘用車智能座艙系統安全設計方案，采用系統級芯片、座艙操作系統和45.0英寸車載智能觸控液晶顯示屏。實際測試驗證結果如表2所示，實測智能座艙在25℃、-20℃和-30℃下，畫面切換時間分別為17.8ms、100.5ms和179.1ms，實現了快速切換圖像的功能，提升了播放視頻的流暢性；實測顯示亮度最小值為900尼特，均值為1100尼特，圖像顯示亮度可調范圍大，可以滿足用戶不同的顯示亮度調節需求；實測圖像顯示色域值為90%，所呈現的圖像顏色范圍遠高于規格要求，實現了豐富多彩的顏色顯示；一體黑實測值僅為0.74，比規格上限值的一半還小，實現了非常好的一體黑顯示效果；人機交互觸控精準度、線性度和靈敏度均滿足規格要求，實現了人機交互準確性和靈敏性；可以滿足-40℃～90℃的工作溫度范圍，提升了車輛的可靠性和使用壽命，實現了乘用車智能座艙在苛刻的環境下正常運行。

結語

本文所提出的基于深度學習的精準免喚醒交互功能、智能顯示屏亮度自適應調節功能，以及駕駛員危險行為識別的設計方法，都能滿足乘用車智能座艙實際應用需求，但實際交通場景更加復雜多變。因此，本文在后續研究中，須考慮在雨雪天、大霧天等環境條件下的設計，應增加不同光照條件下的試驗驗證，研究在特殊條件下的智能座艙主動交互的問題，實現不同駕駛員、不同光線環境下的人車共融。

參考文獻：

[1]張潔.人工智能背景下汽車傳感器發展現狀與未來趨勢[J].機電產品開發與創新，2023，36（5）：167-169.

[2]夏歡，鄭李強，鄭春平，等.汽車智能座艙發展現狀及未來趨勢研究[J].時代汽車，2023，（4）：149-151+158.

[3]張弘，武亞恒，劉沛文，等.汽車智能座艙發展現狀和趨勢[J].汽車實用技術， 2024，49（18）：166-169.

[4]寸敏敏，何國偉，唐凱，等.淺述車載顯示屏的發展趨勢[J].電子產品世界，2024， 31（8）：12-15.

[5]蔡萌亞，王文麗.汽車智能座艙交互設計研究綜述[J].包裝工程，2023， 44（6）：430-440.

[6]王超凡，李國強，胡昉辰，等.Visible light communication for Vehicle to Everything beyond 1 Gb/s based on an LED car headlight and a 2 × 2 PIN array[J].Chinese Optics Letters，2020，18（11）：36-41.

[7]馮遠洋，孫銳，王洪艷，等.汽車智能座艙發展現狀及未來趨勢[J].汽車實用技術，2021，46（17）：201-206.

[8]邊旭東，張亦弛，謝卉瑜.淺談智能座艙的“一芯多屏”[J].時代汽車，2021， （6）：12-14.

[9]吉巖，晏江華，董瑋，等.智能座艙交互式功能測試技術研究[J].中國汽車，2022， （5）：39-43，48.

[10]喬中蓮，馬國恒，楊東升，等.液晶顯示的一體化應用[J].現代顯示，2012，（6）：31-35.

[11]殷春霞，陳曉剛.作戰飛機智能座艙研究[J].測控技術，2021，40（9）：1-6，31.