基于殘差神經網絡的車規級駕駛行為在線分析系統

劉奇 李楊

摘? ?要：文章提出基于殘差神經網絡對駕駛員車輛操控情況和路基數據進行實時分析，達到在線評估駕駛行為的目的?；贏utoSar框架對整個數據采樣和分析計算進行車規級編程。在實車上的實驗結果表明，該系統對各種主流駕駛行為的分析準確率達到91.2%，證明了該系統具有較好的有效性。

關鍵詞：殘差神經網絡;汽車開放系統架構;駕駛行為分析

隨著汽車電子與軟件技術的快速發展，汽車駕駛行為對交通安全、節能減排、智能網聯汽車技術發展都起到了越發重要的作用。在高性能汽車芯片的支持下，使用人工智能算法對駕駛行為進行分析挖掘已經成為目前的研究熱點。目前，常見的人工智能算法主要包括貝葉斯分類、支持向量機、馬爾科夫鏈、決策樹、淺層神經網絡和深度神經網絡等。其中，深度神經網絡能夠自主進行特征學習，有效避免了人工特征對分析精度的影響，因此，展現出旺盛的應用前景。但是深度神經網絡的訓練代價較大，且隨著網絡深度的增加，訓練存在無法收斂的風險。殘差深度網絡（ResNet）的出現成功提高了訓練的收斂性和效率，在高維原始特征空間上取得了很好的效果[1]。車輛駕駛行為受到復雜交通環境、駕駛員駕駛風格、各種突發需求等因素的影響，因此，需要在高維環境中進行刻畫。此外，在線駕駛行為分析系統對有效性、魯棒性都有很高的要求。因此，本文嘗試使用ResNet對駕駛行為進行在線分析，并在汽車開放系統架構（AUTOmotive Open System Architecture，AUTOSAR）框架下進行實現，使其能夠運行在車載終端平臺上。

1? ? ResNet

傳統深度神經網絡會因為高密度中間層而導致訓練時發生梯度消失或爆炸，使得高深度神經網絡無法實現高質量的訓練。He等受到Highway網絡啟發，在其機制基礎上提出了ResNet。該型網絡不但提高了訓練的質量和速度，也有效提高了整個網絡模型的準確率。ResNet的根本特性是引入了邏輯單元殘差塊[2]。

1.1? 殘差塊

殘差塊由3個子層組成，分別是卷積層（Conv）、批處理歸一化層（BN）和非線性激活函數層（ReLU），其結構如圖1所示。

對于任何一個殘差塊l，設其輸入為，則其輸出為：

xl+1=f（xl+F（xl，Wl））

其中，F（xl，Wl）是殘差函數，是該殘差函數對應的權重參數，是非線性激活函數ReLU。殘差函數F中的卷積層數是可以根據需要進行人為設定的，以獲取更好的性能。整個殘差塊引入直接連接方式實現輸入與輸出的線性映射，即：

xl+1=f（Wsxl+F（xl，Wl））

圖1? 殘差塊結構

1.2? 網絡結構

將多個殘差塊順序堆疊在一起后，就形成了整個ResNet，其結構如圖2所示。

在ResNet中，卷積核的大小與數量、卷積計算時的步幅等都可以根據實際需要進行調整。此外，殘差塊之間也可以通過增加池化層來實現降維。

1.3? 輸入特征

駕駛行為本質上屬于一種高復雜性的時序過程，其過程演變受到交通環境、駕駛需求和習慣等因素的影響[3-4]。本文在現有技術的基礎上，生成以下駕駛行為原始特征作為ResNet的輸入特征。

表1? ResNet輸入特征

特征名稱 特征值范圍 特征作用

limspeed 0～150 km/h 描述道路限速情況

lampsta 0（紅）/1（黃）/2（綠） 前進方向紅綠燈狀態

vehsum 0～300 車輛周邊車輛數量

fvehdis 0～300 m 前方車距

vehspeed 0～200 km/h 當前車速

velacc ﹣10～10 m/s2 加減速

accfreq 0～10 000 急加減速頻率

clfreq 0～10 000 變道頻率

clls 0～10 000 變道打方向燈頻率

上述原始特征采集完成后，將特征向量輸入ResNet模型進行分析。

圖2? ResNet整體結構

2? ? 車規級編程

汽車軟件相比桌面消費應用軟件具有極高的可靠性要求，再加上汽車軟件功能的復雜化趨勢，帶來了編程代價的快速增長。為了加快汽車軟件的研發和部署周期，廣泛采用在AutoSar框架下進行車規級編程的方式。AutoSar是一種汽車開放系統架構，其目的是為復雜的汽車電控單元軟件建立標準化平臺，以減少汽車軟件的設計復雜度，增加其靈活性，使上層應用開發可以不用關心底層硬件和操作系統細節，大幅提高了開發效率[5-6]。

在本文設計的系統中，駕駛行為識別原始數據主要來自駕駛員對車輛操縱狀態以及道路信息終端的數據。其中，車輛操縱狀態數據的獲取主要通過車載網絡來獲取，道路交通信息終端數據主要通過4G平臺來獲取。

2.1? 車載網絡通信編程

AutoSar設控制器局域網絡（Controller Area Network，CAN）總線數據采集規范是由診斷協議（Unified Diagnostic Services，UDS）進行定義。其基本原理是通過終端向汽車電子控制單元（Electronic Control Unit，ECU）發起詢問，然后等待接受并解析ECU的回應。其編程規范為：

+ +

+

其中，SID是UDS設定的服務號，Parameter是指定服務的參數。

收到ECU發出的回應CAN幀后，需要對其數據區原始數據進行解析，以提取出車況數據。

2.2? 4G通信編程

在車載終端，4G通信編程的本質是Scoket編程，其基本方法如下：

（1）構建Socket實例，根據指定的服務器地址和端口建立傳輸控制協議（Transmission Control Protocol，TCP）連接。

（2）使用套接字提供的InputStream和OutputStream方法進行數據讀寫。

AutoSar定義了服務信息軟件架構中的通信協議方案，按照其規定進行編程。

本文設計系統采用C++語言進行程序編寫。編寫模塊按照ISO26262協議進行，使軟件系統可靠性得到保證。

3? ? 系統架構

整個系統的運行平臺為英偉達的Jetson TX2，該設備提供了CPU+GPU的計算平臺，支持TFPS的計算能力，能夠實時進行深度神經網絡在線運算。外圍接口方面，TX2提供2路CAN模塊，通過外擴接口實現4/5G通信能力。在其基礎上設計整個系統的架構，如圖3所示。

圖3? 系統架構示意

系統中的CAN總線數據通過車載自動診斷系統（On-Board Diagnostics，OBD）接口進行獲取，4/5G信號通過通信模塊進行傳輸，然后再通過串行外設接口（Serial Peripheral Interface，SPI）總線和TX2進行交互。

系統的操作系統采用Linux，在其上構建AutoSar框架，安裝各型應用庫，實現對上層軟件的支持。

4? ? 實驗

基于上述工作，將整個系統安裝在長安福特?？怂管囕v上進行實車測試。招募了50名駕駛員進行樣本制作實驗。具體方案為在每個駕駛員10～20 min的駕駛過程中進行采樣，每個駕駛員相繼完成勻速駕駛、緩加減速、急加減速、變道等動作，由南京交通職業技術學院智慧交通實驗室提供的路基設備實現交通信號模擬生成。共完成3 200個樣本采集，分析結果分為正常駕駛、警告危險駕駛和嚴重危險駕駛3種模式[6]。

實驗采用五折交叉驗證法，將其結果與貝葉斯模型、支持向量機模型和徑向基函數（Radial Basis Function，RBF）神經網絡（RBFNet）進行比較，結果如表2所示。

表2? 實驗結果

駕駛行為分析模型 平均準確率/%

BF 89.1

SVM 88.6

RBFNet 88.6

ResNet 91.2

可以看到，本文所用的方法獲得了最好的平均準確率。

5? ? 結語

本文提出基于殘差神經網絡對駕駛員操控車輛情況和路基數據進行實時分析，達到在線評估駕駛行為的目的?；贏utoSar框架對整個系統進行車規級編程，主要實現了基于車載網絡CAN總線上的數據采樣程序、基于4G的路基終端設備數據采樣分析程序、基于殘差深度網絡的駕駛行為分析程序的編寫。在實車上的實驗結果表明，該系統對各種主流駕駛行為的分析準確率總體達到了91.2%，證明了該系統具有較高的有效性。隨著5G軟、硬件技術的逐漸成熟，后期會嘗試將4G通信方式升級為5G，大幅提高系統的可靠性。

[參考文獻]

[1]郭玥秀，楊偉，劉琦，等.殘差網絡研究綜述[J].計算機應用研究，2019（6）：6-10.

[2]SERMANET P，EIGEN D，ZHANG X，et al.OverFeat：integrated recognition，localization and detection using convolutional networks[C].Moscow：Proc of International Conference on Learning Representations，2014.

[3]宋海娜.基于加速度計的智能網聯汽車駕駛行為建模方法[J].移動通信，2019（4）：14-15.

[4]周愛國，徐鵬宇，劉備.車載信息融合交通因素的駕駛行為分析[J].汽車零部件，2018（8）：27-28.

[5]ROMAN P，BRGE S.適用于高性能車載計算平臺的自適應AUTOSAR[J].汽車與配件，2019（2）：13-15.

[6]付寶軍，錢賈敏，郝明德，等.軟件合作開發模式在汽車電子領域的應用[C].上海：中國汽車工程學會年會，2018.

On-line analysis system of gauge-level driving behavior based on residual neural network

Liu Qi， Li Yang

（School of Electronic Information Engineering， Nanjing Communications Institute of? Technology， Nanjing 211188， China）

Abstract：This paper presents a real-time analysis of drivers vehicle handling and roadbed data based on residual neural network to achieve the purpose of online evaluation of driving behavior. Based on AutoSar framework， the whole data sampling and analysis calculation are programmed at the gauge level. The experimental results on a real vehicle show that the accuracy of the system for analyzing various mainstream driving behaviors reaches 91.2%， which proves that the system is effective.

Key words：residual neural network; AUTOmotive open system architecture; driving behavior analysis