自適應(yīng)神經(jīng)網(wǎng)絡(luò)控制在車輛自主駕駛中的應(yīng)用

摘 要：隨著人工智能和深度學(xué)習(xí)的快速發(fā)展，確保在復(fù)雜的現(xiàn)實(shí)環(huán)境中無縫、安全地導(dǎo)航是目前自動(dòng)駕駛面臨的主要問題。面對(duì)多變的交通環(huán)境，這是將復(fù)雜的數(shù)學(xué)公式轉(zhuǎn)化為精確的物理步驟。文章的目標(biāo)是通過在真實(shí)模擬中開發(fā)和測(cè)試復(fù)雜的控制系統(tǒng)和深度學(xué)習(xí)技術(shù)，提高自動(dòng)駕駛汽車在各種駕駛場(chǎng)景下的安全性和有效性。這項(xiàng)研究涉及AirSim模擬器的使用，用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)獨(dú)立駕駛汽車。該研究首先使用AirSim利用虛幻引擎中可用的環(huán)境，并利用神經(jīng)網(wǎng)絡(luò)操縱汽車訓(xùn)練它。第二部分在此基礎(chǔ)上研究了數(shù)據(jù)源選擇對(duì)神經(jīng)網(wǎng)絡(luò)性能的影響。比例-積分-微分（PID）控制器和模型預(yù)測(cè)控制（MPC）用于收集數(shù)據(jù)并在其上訓(xùn)練設(shè)計(jì)的模型。該報(bào)告還探討了遇到的困難，例如模型選擇和作為性能指標(biāo)的均方誤差的限制，為未來在真實(shí)世界應(yīng)用和更復(fù)雜的控制場(chǎng)景中的研究奠定了基礎(chǔ)。本研究中將使用MPC和PID控制器收集數(shù)據(jù)的結(jié)果，然后將經(jīng)過訓(xùn)練的模型應(yīng)用于該數(shù)據(jù)集。通過驗(yàn)證數(shù)據(jù)集的圖像輸出輸出，以測(cè)試該模型在自動(dòng)駕駛測(cè)試中的泛化能力。

關(guān)鍵詞：AirSim 深度學(xué)習(xí) 神經(jīng)網(wǎng)絡(luò) PID MPC

1 引言

車輛自主駕駛是近年來人工智能技術(shù)在交通領(lǐng)域的一大突破。傳統(tǒng)的車輛自主駕駛方法通常涉及多個(gè)模塊和復(fù)雜的算法流程，包括感知、決策和控制等。限制了系統(tǒng)的整體性能和魯棒性。而端到端深度學(xué)習(xí)方法通過直接從原始輸入到最終控制輸出的一體化學(xué)習(xí)，為實(shí)現(xiàn)車輛自主駕駛提供了一種新的思路。

端到端深度學(xué)習(xí)將這些模塊整合為一個(gè)神經(jīng)網(wǎng)絡(luò)模型，極大簡(jiǎn)化了系統(tǒng)復(fù)雜度，提高了自動(dòng)駕駛系統(tǒng)的性能。在將機(jī)器學(xué)習(xí)納入自動(dòng)駕駛汽車模擬方面取得了重大進(jìn)展，尤其是在使用微軟的AirSim模擬器時(shí)。這項(xiàng)研究為訓(xùn)練自主駕駛神經(jīng)網(wǎng)絡(luò)提供了新的思路和方法。為了測(cè)試和開發(fā)自動(dòng)駕駛算法，AirSim是一個(gè)開源模擬器，運(yùn)行在虛幻引擎4等游戲引擎之上。它具有深度地圖、語(yǔ)義分割數(shù)據(jù)、Lidar和現(xiàn)實(shí)城市布局等功能，是深入研究自動(dòng)駕駛汽車的完美平臺(tái)。

2 相關(guān)工作

在傳統(tǒng)機(jī)器學(xué)習(xí)中，處理數(shù)據(jù)和生成輸出涉及多個(gè)步驟，須每個(gè)模塊獨(dú)立訓(xùn)練和優(yōu)化。深度學(xué)習(xí)則通過單一框架簡(jiǎn)化此過程，直接將攝像頭圖像映射為方向盤角度或油門剎車控制。

在基于神經(jīng)網(wǎng)絡(luò)的自動(dòng)駕駛汽車模型預(yù)測(cè)控制的研究中，自動(dòng)駕駛汽車管理中模型預(yù)測(cè)控制（MPC）的應(yīng)用是一個(gè)核心議題。Vianna通過用神經(jīng)網(wǎng)絡(luò)替代傳統(tǒng)MPC，研究了基于學(xué)習(xí)的控制器的潛力。他們的方法特別值得注意，因?yàn)樗瑫r(shí)探索了監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)（RL）技術(shù)，其中模仿學(xué)習(xí)被用來復(fù)制MPC和PID控制器的行為。

Kuutti在2019年的研究全面概述了深度學(xué)習(xí)在自動(dòng)駕駛汽車控制領(lǐng)域的應(yīng)用。這項(xiàng)調(diào)查研究了自主車輛控制器設(shè)計(jì)中的挑戰(zhàn)和發(fā)展。庫(kù)蒂著重于研究在動(dòng)態(tài)環(huán)境中使用深度學(xué)習(xí)進(jìn)行挑戰(zhàn)性控制任務(wù)時(shí)。我們的研究主要關(guān)注混合控制系統(tǒng)的實(shí)際實(shí)施和優(yōu)化，該系統(tǒng)融合了深度學(xué)習(xí)和傳統(tǒng)控制系統(tǒng)的優(yōu)點(diǎn)。

3 研究方法與實(shí)現(xiàn)

自動(dòng)駕駛隨著端到端深度學(xué)習(xí)的算力的不斷增加中得到了前所未有的發(fā)展。為了達(dá)到L4級(jí)或L5級(jí)的自動(dòng)駕駛水平，汽車需要對(duì)大量的數(shù)據(jù)進(jìn)行訓(xùn)練，如果沒有虛擬仿真測(cè)試環(huán)境，自動(dòng)駕駛決策的有效性將不能得到測(cè)試與驗(yàn)證。有了像AirSim這樣的逼真的虛擬現(xiàn)實(shí)仿真平臺(tái)，可以不需要使用真正的汽車進(jìn)行道路行駛，而是可以通過逼真的仿真環(huán)境可以收集大量的仿真數(shù)據(jù)來訓(xùn)練自動(dòng)駕駛模型。

3.1 AirSim平臺(tái)

AirSim是一種基于虛幻引擎開發(fā)的適用于無人機(jī)和自動(dòng)駕駛系統(tǒng)的仿真平臺(tái)。選擇AirSim平臺(tái)作為研究工具，能夠提供真實(shí)的環(huán)境仿真和車輛動(dòng)力學(xué)模擬功能。

3.2 虛擬仿真環(huán)境搭建

下載和安裝一個(gè)開源的、跨平臺(tái)的無人機(jī)和自動(dòng)駕駛車輛仿真平臺(tái)AirSim并根據(jù)AirSim的文檔進(jìn)行環(huán)境配置，包括安裝所需的依賴項(xiàng)、設(shè)置路徑等。確保AirSim能夠正常運(yùn)行。

3.3 數(shù)據(jù)采集與處理

數(shù)據(jù)的采集與處理為我們提供了用于訓(xùn)練和評(píng)估模型的有用信息。在仿真環(huán)境中使用相機(jī)傳感器來采集車輛周圍環(huán)境的數(shù)據(jù)。通過AirSim平臺(tái)提供的API接口，可以實(shí)現(xiàn)了數(shù)據(jù)的采集和處理流程。

本研究中只使用汽車上的一個(gè)前置攝像頭作為視覺輸入，訓(xùn)練一個(gè)模型.通過對(duì)前置攝像頭獲取圖像進(jìn)行數(shù)據(jù)處理和分析，通過攝像頭采集的圖像內(nèi)容設(shè)定汽車的當(dāng)前狀態(tài)參數(shù)（速度、轉(zhuǎn)向角、油門等）。

通過對(duì)采集數(shù)據(jù)集的分析，可以看出，單幀輸入的圖像是一個(gè)250×150像素圖像，在自動(dòng)駕駛中，注意力機(jī)制可以幫助模型專注于道路、行人、交通標(biāo)志等關(guān)鍵對(duì)象。

對(duì)于以上讀取的圖像，為減少訓(xùn)練時(shí)間和訓(xùn)練模型所需的數(shù)據(jù)量，提取此圖像的下半部分。同時(shí)可以防止模型因關(guān)注環(huán)境中不相關(guān)的特征（如山、樹等）而導(dǎo)致深度學(xué)習(xí)的效果較差。

3.4 數(shù)據(jù)集分析

本研究在AirSim平臺(tái)中利用車載傳感器數(shù)據(jù)來表征車輛及其周邊環(huán)境的狀態(tài)信息。數(shù)據(jù)集分為normal和swerve兩種駕駛風(fēng)格。

相比之下，急轉(zhuǎn)彎駕駛策略則導(dǎo)致車輛在道路上行進(jìn)時(shí)呈現(xiàn)出顯著的左右擺動(dòng)。這一現(xiàn)象凸顯了在訓(xùn)練深度學(xué)習(xí)模型時(shí)需考慮的一個(gè)重要因素。

3.5 訓(xùn)練模型

在處理圖像數(shù)據(jù)時(shí)，將整個(gè)數(shù)據(jù)集載入內(nèi)存的代價(jià)極高。Keras引入了DataGenerator的概念，這是一種迭代器，能夠從磁盤分塊讀取數(shù)據(jù)。這種方法能有效地維持CPU和GPU的工作狀態(tài)，有效提升數(shù)據(jù)處理效率。

4 數(shù)據(jù)處理與優(yōu)化

在AirSim中生成參考軌跡，供車輛遵循。控制器在限定的時(shí)間范圍內(nèi)優(yōu)化車輛的控制輸入，同時(shí)確保車輛沿期望軌跡行駛，這些軌跡由航路點(diǎn)表示。為了生成和保存這些航路點(diǎn)，首先在AirSim中模擬汽車行駛，然后通過Python腳本記錄下車輛在環(huán)境中的坐標(biāo)，并保存在文本文件中。

這些坐標(biāo)隨后被轉(zhuǎn)換到車輛的局部坐標(biāo)系。這樣的轉(zhuǎn)換使得在車輛狀態(tài)下定義成本和約束函數(shù)變得更加簡(jiǎn)便。考慮到當(dāng)前車輛的姿態(tài)，一個(gè)函數(shù)將這些航路點(diǎn)從全局坐標(biāo)系轉(zhuǎn)換到車輛的局部坐標(biāo)系。轉(zhuǎn)換后的航路點(diǎn)用于擬合多項(xiàng)式曲線，該曲線代表了車輛應(yīng)遵循的理想軌跡。得到的系數(shù)隨后作為優(yōu)化問題中的參數(shù)。數(shù)據(jù)集是在汽車上運(yùn)行PID和MPC控制器時(shí)收集的，且被分成測(cè)試、訓(xùn)練和驗(yàn)證數(shù)據(jù)集，按照7：2：1的比例進(jìn)行拆分。

4.1 PID優(yōu)化控制策略

首先定義油門和轉(zhuǎn)向的誤差項(xiàng)。誤差指的是系統(tǒng)期望狀態(tài)（設(shè)定點(diǎn)）與當(dāng)前狀態(tài)之間的差異。例如，速度誤差、橫向軌跡誤差和航向誤差常被用于汽車的油門和轉(zhuǎn)向控制。

比例分量即時(shí)響應(yīng)當(dāng)前誤差，指導(dǎo)加速或減速調(diào)整，或轉(zhuǎn)向角度以糾正橫向誤差。積分部分處理歷史誤差累積，減少穩(wěn)態(tài)誤差，結(jié)合速度誤差累積（油門）或橫向距離誤差累積（轉(zhuǎn)向）。微分部分預(yù)測(cè)未來誤差，評(píng)估速度誤差變化率（油門）或橫向距離誤差變化率（轉(zhuǎn)向）。

綜合比例、積分和微分分量，計(jì)算出油門和轉(zhuǎn)向的控制器輸出。PID控制輸出 u（t）的計(jì)算方式如下，其中Kp是比例增益，Ki是積分增益，Kd是微分增益，e（t）是針對(duì)轉(zhuǎn)向和油門的誤差值，de（t） 是誤差的變化率，d（t）是時(shí)間的變化量。

為確保控制輸出保持在可接受的范圍內(nèi)，意味著在每個(gè)迭代過程中限制控制輸出，以防止過度的加速或轉(zhuǎn)向，這對(duì)保持車輛的穩(wěn)定性至關(guān)重要。最終，通過對(duì)PID增益進(jìn)行細(xì)致調(diào)整，以實(shí)現(xiàn)響應(yīng)性與穩(wěn)定性之間的理想平衡。

4.2 MPC優(yōu)化控制命令

模型預(yù)測(cè)控制（MPC）是一種應(yīng)用于眾多工程領(lǐng)域的先進(jìn)控制技術(shù)，其中包括自動(dòng)駕駛汽車。該策略在有限的時(shí)間范圍內(nèi)通過迭代解決優(yōu)化問題，其中優(yōu)化變量為控制輸入。MPC選擇使成本函數(shù)最小化的最優(yōu)控制輸入，并利用系統(tǒng)的動(dòng)態(tài)模型基于當(dāng)前狀態(tài)預(yù)測(cè)未來狀態(tài)。這一過程在每個(gè)時(shí)間步循環(huán)執(zhí)行，使得MPC成為一種動(dòng)態(tài)調(diào)整控制策略。

該策略的核心在于預(yù)測(cè)汽車系統(tǒng)在未來N個(gè)時(shí)間步的行為，并據(jù)此計(jì)算出執(zhí)行器（包括轉(zhuǎn)向和節(jié)氣門）的控制指令。然而，MPC僅在當(dāng)前時(shí)間步使用下一時(shí)間步的預(yù)測(cè)執(zhí)行器來進(jìn)行控制。

在MPC中，成本函數(shù)是基于實(shí)際車輛狀態(tài)與由多項(xiàng)式曲線定義的期望軌跡之間的誤差來構(gòu)建的。通過最小化這一成本函數(shù)，可以確定執(zhí)行器的最優(yōu)值。成本函數(shù)的定義如下：

其中δ和a分別是轉(zhuǎn)向角和油門（實(shí)際上是加速度），ci是用戶選擇的系數(shù)，特別是用于懲罰連續(xù)加速度差異和轉(zhuǎn)向角差異的系數(shù)，V0車輛運(yùn)行的目標(biāo)速度。MPC在一系列由運(yùn)動(dòng)學(xué)模型指定的約束下最小化成本，這使得這成為一個(gè)非線性優(yōu)化問題。使用Scipy.optimize.minimize函數(shù)中可用的SLSQP（順序最小二乘編程）方法來求解這個(gè)問題。這些約束確保車輛的狀態(tài)按照車輛動(dòng)力學(xué)發(fā)展并遵循期望的軌跡。

確定一組最優(yōu)的執(zhí)行器配置（δi，ai），僅采用首對(duì)參數(shù)（δ1，a1） 以實(shí)現(xiàn)對(duì)車輛的操控。而，通過優(yōu)化過程獲得的最佳控制輸入被用于刷新車輛的控制指令。隨后，這些指令被傳遞至模擬車輛，以實(shí)現(xiàn)預(yù)期的行駛軌跡。

5 神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)

為了在AirSim模擬器中使用基于神經(jīng)網(wǎng)絡(luò)的控制來增強(qiáng)自動(dòng)駕駛汽車控制，我們采用了一種系統(tǒng)化的方法。該方法旨在用自適應(yīng)多層神經(jīng)網(wǎng)絡(luò)來增強(qiáng)傳統(tǒng)PID和模型預(yù)測(cè)控制器，以改善車輛的轉(zhuǎn)向輸入。

5.1 模型的輸入/輸出

神經(jīng)網(wǎng)絡(luò)模型接收來自AirSim模擬器的傳感器數(shù)據(jù)，特別是模擬車輛前置攝像頭拍攝的圖像。模型的輸出為車輛的轉(zhuǎn)向指令，這些指令表現(xiàn)為與預(yù)定路線所需轉(zhuǎn)向角度相匹配的連續(xù)數(shù)值。

5.2 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

本研究設(shè)計(jì)了一個(gè)多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，專門適配于控制任務(wù)。使用預(yù)測(cè)的轉(zhuǎn)向角和來自數(shù)據(jù)集的地面真實(shí)值之間的均方誤差（MSE）來評(píng)估神經(jīng)網(wǎng)絡(luò)模型的性能。此外，該模型在無人參與的情況下有效操縱汽車行駛的能力被用作定性性能指標(biāo)。

將采用深度學(xué)習(xí)框架來實(shí)現(xiàn)該神經(jīng)網(wǎng)絡(luò)。具體地，它首先輸入一個(gè)的圖像，在神經(jīng)網(wǎng)絡(luò)架構(gòu)中，在經(jīng)過首個(gè)卷積層處理后，圖像尺寸調(diào)整為64×64，步長(zhǎng)為256。后續(xù)卷積層逐步縮減尺寸：第二層為64×256（步長(zhǎng)16），第三層為32×128（步長(zhǎng)224），第四層為16×63（步長(zhǎng)16）。第五層最大池化層將尺寸減小至16×32（步長(zhǎng)2）。第六層再次縮減至32×128（步長(zhǎng)224），第七層最大池化層維持此尺寸（步長(zhǎng)2）。第八至第十二層為全連接層，輸出尺寸均展平為1×1024，中間穿插dropout層以減少過擬合。最終，在第十三層全連接層中，輸出尺寸展平為1×10，形成分類輸出層。

5.3 訓(xùn)練神經(jīng)網(wǎng)絡(luò)

本研究將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集及測(cè)試集。借助訓(xùn)練數(shù)據(jù)，本研究旨在訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使其能夠基于當(dāng)前車輛狀態(tài)和環(huán)境異常，學(xué)習(xí)預(yù)測(cè)適宜的轉(zhuǎn)向指令。模型的輸入包括RGB圖像以及轉(zhuǎn)向、油門、速度和制動(dòng)等狀態(tài)變量。網(wǎng)絡(luò)訓(xùn)練上限設(shè)定為500個(gè)周期，模型僅在258個(gè)周期后停止訓(xùn)練。在整個(gè)訓(xùn)練過程中，持續(xù)監(jiān)控訓(xùn)練和驗(yàn)證損失，以繪制損失曲線，并評(píng)估模型性能。

6 仿真測(cè)試

在山路場(chǎng)景下對(duì)網(wǎng)絡(luò)進(jìn)行測(cè)試，以確保它能夠應(yīng)模型算法在應(yīng)對(duì)自動(dòng)駕駛挑戰(zhàn)時(shí)的有效性。

6.1 微調(diào)和優(yōu)化

為了提高效率并防止過度擬合，本研究采用了提前停止策略，確保了輟學(xué)率的一致性。在優(yōu)化過程中，采用了Nadam優(yōu)化器。

6.2 實(shí)驗(yàn)結(jié)果

在初始階段，本研究選取的ROI范圍為[76，140； 0，255]像素，該選擇帶來了積極的結(jié)果。進(jìn)一步地，當(dāng)ROI區(qū)域調(diào)整為[50，140;0：255]像素，伴隨模型中圖像輸入尺寸的增加，模型性能亦得到提升。此配置使得模型能夠有效提取距離車輛較遠(yuǎn)的車道特征，從而在多數(shù)情況下提供更準(zhǔn)確的預(yù)測(cè)。圖3表示不同ROI情況下訓(xùn)練的損失情況，左側(cè)時(shí)高ROI的擬合情況。損失和驗(yàn)證損失的同時(shí)下降以及二者之間相對(duì)接近的關(guān)系，表明了模型具有良好的泛化能力，這進(jìn)一步說明模型未出現(xiàn)過度擬合現(xiàn)象。

資金項(xiàng)目：2022年江蘇省研究生科研與實(shí)踐創(chuàng)新計(jì)劃項(xiàng)目“基于Airsim平臺(tái)的小型車輛后方危險(xiǎn)緊急避險(xiǎn)策略研究”（項(xiàng)目編號(hào)：SJCX22_1484），主持人：周錚。

參考文獻(xiàn)：

[1]SHALUMOV A， HALALY R， TSUR E E. Lidar-driven spiking neural network for collision avoidance in autonomous driving [J]. Bioinspiration & Biomimetics， 2021， 16（6）： 066016.

[2]AMER K， SAMY M， SHAKER M， et al. Deep convolutional neural network based autonomous drone navigation; proceedings of the Thirteenth International Conference on Machine Vision， F， 2021 [C]. SPIE.

[3]SADHU V， ZONOUZ S， POMPILI D. On-board deep-learning-based unmanned aerial vehicle fault cause detection and identification; proceedings of the 2020 ieee international conference on robotics and automation （icra）， F， 2020 [C]. IEEE.

[4]SUTTON R S， BARTO A G. Reinforcement learning： An introduction [M]. MIT press， 2018.

[5]ZHONG F， QIU W， YAN T， et al. Gym-unrealcv： Realistic virtual worlds for visual reinforcement learning [J]. Web Page， 2017.