基于條件模仿學(xué)習(xí)的輔助駕駛決策模型研究

摘? 要：隨著我國機(jī)動(dòng)車數(shù)量的不斷增加，交通安全隱患問題越來越嚴(yán)重。針對(duì)傳統(tǒng)模仿學(xué)習(xí)效率低下的問題，提出一種基于條件模仿學(xué)習(xí)的輔助駕駛決策模型，在線模仿學(xué)習(xí)過程中，構(gòu)建專家經(jīng)驗(yàn)池和個(gè)人經(jīng)驗(yàn)池來動(dòng)態(tài)分配學(xué)習(xí)數(shù)據(jù)，提高輔助駕駛決策的準(zhǔn)確度，同時(shí)采用圖像語義切割和先驗(yàn)知識(shí)遷移技術(shù)提取圖像特征，提高預(yù)測(cè)的效率和準(zhǔn)確性。模擬實(shí)驗(yàn)表明，該輔助駕駛決策模型顯著降低了平均預(yù)測(cè)誤差，使得輔助駕駛決策更加貼合個(gè)人的駕駛習(xí)慣。

關(guān)鍵詞：輔助駕駛；條件模仿學(xué)習(xí)；時(shí)序語義；圖像特征提取

中圖分類號(hào)：TP18? ? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2096-4706（2023）05-0078-04

Research on Assisted Driving Decision-making Model Based on Conditional Imitation Learning

DAI Ruiru

（Department of Applied Technology， Sichuan Preschool Educators College， Mianyang? 621000， China）

Abstract： With the increasing number of motor vehicles in China， the problem of traffic hidden dangers is becoming more and more serious. Aiming at the problem of low efficiency of traditional simulation learning， this paper proposes an assisted driving decision-making model based on conditional simulation learning. In the process of online simulation learning， expert experience pool and personal experience pool are constructed to dynamically allocate learning data to improve the accuracy of assisted driving decision-making. At the same time， image semantic cutting and prior knowledge transfer technology are used to extract image features to improve the efficiency and accuracy of prediction. The simulation experiment shows that the average prediction error is significantly reduced by the assisted driving decision model， which makes the assisted driving decision more suitable for personal driving habits.

Keywords： assisted driving; conditional imitation learning; temporal semantics; image feature extraction

0? 引? 言

隨著居民生活水平的不斷提高，機(jī)動(dòng)車數(shù)量越來越多，導(dǎo)致交通狀況越發(fā)復(fù)雜，堵車、環(huán)境污染、交通事故也隨之而來。輔助駕駛技術(shù)作為保證駕駛安全的手段，可以有效降低交通事故發(fā)生的概率，同時(shí)通過優(yōu)化行車路線也可以有效降低碳排放，具有良好的環(huán)境效益和經(jīng)濟(jì)效益。

近年來，隨著電動(dòng)汽車的推廣和普及，智能自動(dòng)化已經(jīng)成為其區(qū)別于傳統(tǒng)燃油車的最大特點(diǎn)，各大車企、互聯(lián)網(wǎng)巨頭以及芯片公司將自動(dòng)駕駛作為未來汽車發(fā)展的制高點(diǎn)，紛紛投入大量的資金推出各自的自動(dòng)駕駛方案。隨著人工智能技術(shù)的日趨成熟，以深度學(xué)習(xí)為代表的技術(shù)引起大部分廠商的關(guān)注，越來越多的算法得以在自動(dòng)駕駛中使用，如紅綠燈識(shí)別、行人檢測(cè)、車道檢測(cè)、主動(dòng)剎車等。雖然這些技術(shù)無法在實(shí)際應(yīng)用中取代人的作用，但不可否認(rèn)的是它們極大地改善了駕駛環(huán)境。以圖像為輸入，經(jīng)決策模型獲得控制信息，有效降低了控制信息的不確定性傳遞。然而這種決策的有效性很大程度上取決于對(duì)圖像中特征信息提取的效率和準(zhǔn)確度。由于駕駛環(huán)境千變?nèi)f化，駕駛員的駕駛習(xí)慣各不相同，妥善處理環(huán)境中的不確定性并有效解決數(shù)據(jù)離散等問題成為基于模仿學(xué)習(xí)輔助駕駛決策系統(tǒng)必須面對(duì)的難點(diǎn)。

1? 基于圖像語義的模仿學(xué)習(xí)輔助駕駛決策模型

1.1? 條件模仿學(xué)習(xí)

在模仿學(xué)習(xí)過程中，輸入的觀察圖像和控制行為是一對(duì)一映射的，在復(fù)雜的路況環(huán)境下，不同時(shí)間不同地點(diǎn)的處理邏輯也不盡相同，基于單一對(duì)應(yīng)關(guān)系的控制很難奏效。為了有效應(yīng)對(duì)復(fù)雜狀況下的模仿學(xué)習(xí)處理邏輯，Codevilla等提出了條件模仿學(xué)習(xí)的方法，將目標(biāo)信息和專家經(jīng)驗(yàn)建模為向量函數(shù)，然后與汽車感知模塊相結(jié)合進(jìn)行模仿學(xué)習(xí)，使得車輛的控制行為更接近于正常處理的流程。

當(dāng)車輛在t時(shí)刻感知到周圍的狀態(tài)信息為statt，對(duì)應(yīng)的車輛控制信息為ctrlt，除了道路的環(huán)境信息外，此時(shí)正常形式的車輛控制指令為pctrlt，即pctrlt=E（statt， pctrlt），通過不斷積累的專家經(jīng)驗(yàn)將集合改為 ，損失函數(shù)為：

（1）

感知結(jié)果通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，然后與汽車測(cè)量值m進(jìn)行融合，同時(shí)將乘客的命令輸入到?jīng)Q策網(wǎng)絡(luò)中，確定最終的控制信息。但這種卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)過于單一，難以實(shí)現(xiàn)復(fù)雜圖像的高維特征識(shí)別，且效率較為低下，導(dǎo)致模型預(yù)測(cè)不準(zhǔn)（或者預(yù)測(cè)的時(shí)效性不足），從而導(dǎo)致自動(dòng)駕駛決策失敗。

1.2? 基于圖像語義的模仿學(xué)習(xí)決策模型

實(shí)踐表明，專家經(jīng)驗(yàn)數(shù)據(jù)對(duì)于自動(dòng)駕駛來說不僅是很好的訓(xùn)練數(shù)據(jù)，也體現(xiàn)了一個(gè)不斷豐富并趨于完美的過程，而專家經(jīng)驗(yàn)數(shù)據(jù)的有效利用則是決定自動(dòng)駕駛成敗的關(guān)鍵因素。基于圖像語義的模仿學(xué)習(xí)決策模型框架如圖1所示。

輔助駕駛決策模型的決策主要包括宏觀決策和微觀決策兩個(gè)方面，其中宏觀決策用于確定車輛的前進(jìn)路線，如行車方向、行車車道、行車速度等。微觀決策主要是根據(jù)當(dāng)前車輛運(yùn)行狀態(tài)信息以及車輛感知的環(huán)境信息獲取車輛動(dòng)態(tài)控制信息，如加減速、變換車道、緊急制動(dòng)、轉(zhuǎn)向控制信息等。

1.3? 宏觀決策

宏觀決策信息是指根據(jù)駕車人的決策條件（如目的地、道路選擇等）確定宏觀的駕駛導(dǎo)航信息，同時(shí)加上對(duì)路徑上道路交通管理標(biāo)識(shí)（如路段限速、車道選擇、紅綠燈信息、交通標(biāo)志信息等）的識(shí)別。導(dǎo)航信息中關(guān)鍵節(jié)點(diǎn)的狀態(tài)，以及道路周邊交規(guī)標(biāo)志形成的交規(guī)語義信息，在全連接層融合處理然后決定車輛在行駛過程中的主要宏觀路徑，在這里可以統(tǒng)稱為道路選擇條件。微觀決策信息是指根據(jù)當(dāng)前車輛的控制參數(shù)信息獲取到的車輛狀態(tài)信息（如當(dāng)前車速、油耗、車輛的運(yùn)行路線等）以及通過車輛傳感器獲取到的車輛周邊信息（如車輛周邊的車輛信息及其速度、運(yùn)行趨勢(shì)等），通過卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像信息進(jìn)行分析，連同車輛的狀態(tài)信息生成車輛周邊環(huán)境的時(shí)序信息。宏觀決策信息與微觀決策信息共同交由決策模型生成最終的控制信息。

宏觀決策信息是由導(dǎo)航信息和交規(guī)信息共同生成的，導(dǎo)航信息中包含很多的關(guān)鍵節(jié)點(diǎn)，這些關(guān)鍵節(jié)點(diǎn)是指導(dǎo)航路線中的位置坐標(biāo)p（x， y， z），一般是由導(dǎo)航衛(wèi)星計(jì)算得來，在輔助駕駛決策過程中，關(guān)鍵節(jié)點(diǎn)信息可以用特征向量ωi表示，整個(gè)行車路徑用W=f （ p，w1，w2，…，wn）表示，下一個(gè)導(dǎo)航點(diǎn)的平均航路朝向?yàn)椋?/p>

（2）

其中，p和ωi表示當(dāng)前位置p（x， y， z）和當(dāng)前朝向θ組成，如圖2所示。

在計(jì)算宏觀導(dǎo)航信息時(shí)，必須考慮到交通規(guī)則對(duì)導(dǎo)航信息的影響，交通標(biāo)識(shí)包括：危險(xiǎn)標(biāo)志、限速標(biāo)志、強(qiáng)制標(biāo)志，以及紅綠燈等交通信號(hào)。交通標(biāo)識(shí)語義識(shí)別采用基于深度學(xué)習(xí)的語義提取方法，對(duì)交規(guī)語義信息的提取采用的是YOLOv5網(wǎng)絡(luò)，具體過程如下：

（1）輸入端采用mosaic數(shù)據(jù)增強(qiáng)點(diǎn)縮放、裁剪以及重新排布的方式提升特征點(diǎn)識(shí)別，同時(shí)采用不同的閾值計(jì)算不同環(huán)境下特征點(diǎn)的最佳錨框值，進(jìn)而識(shí)別圖像中的關(guān)鍵特征點(diǎn)。

（2）使用Focus和CSP組件，實(shí)現(xiàn)圖像卷積值和殘差值的計(jì)算。

（3）預(yù)測(cè)網(wǎng)絡(luò)采用CIoU_loss損失函數(shù)作為目標(biāo)邊界值的優(yōu)化目標(biāo)，精準(zhǔn)識(shí)別具體的道路標(biāo)志信息。

1.4? 微觀決策

微觀決策信息是指從車輛狀態(tài)信息和車載傳感器獲取的圖像信息分析得來。車輛的狀態(tài)信息主要包括車輛的速度、胎壓、車輛重量、剎車片壓力、制動(dòng)距離、燃油量、氣缸壓力等，這些參數(shù)都是車輛微觀控制階段的重要參數(shù)，為圖像信息提供的決策信息提供直接的參考數(shù)據(jù)。車載傳感器獲取到的圖像信息以及部分交規(guī)語義信息是車輛微觀控制的決定性變量，其中交規(guī)語義信息在動(dòng)態(tài)決策信息中屬于較為恒定的變量，因此在微觀決策信息中不做太多考慮，其他的數(shù)據(jù)可稱之為車輛微觀控制信息。微觀控制信息源于：圖像語義分割信息；通過遷移先驗(yàn)知識(shí)增強(qiáng)對(duì)圖像的特征提取；記憶網(wǎng)絡(luò)中關(guān)聯(lián)時(shí)間內(nèi)的圖像序列。

圖像語義分割的目的是通過對(duì)圖像的像素點(diǎn)進(jìn)行標(biāo)簽和分類，同時(shí)以像素組合的方式進(jìn)行簡(jiǎn)化，以便讓圖像的神經(jīng)網(wǎng)絡(luò)表征更加明顯，用以區(qū)分如道路標(biāo)識(shí)、車輛分割線、行人、其他車輛以及障礙物等對(duì)象。基于圖像語義分割的圖像如圖3所示。

本文決策模型的圖像語義分割模塊使用圖像分割網(wǎng)絡(luò)SegNet，同時(shí)將分割的圖像與原始圖像進(jìn)行融合，從而提高圖像的特征提取能力。

先驗(yàn)知識(shí)遷移學(xué)習(xí)是降低輔助駕駛決策難度的重要手段，一般來說，決策系統(tǒng)首先分析傳感器獲得的圖像信息，然后根據(jù)實(shí)際情況做出正確的行車決策，在此過程中，圖像語義信息的分析和識(shí)別占據(jù)了重要地位。所謂的先驗(yàn)知識(shí)遷移就是將其他領(lǐng)域中被驗(yàn)證或者廣泛使用的圖像識(shí)別模型或參數(shù)，根據(jù)輔助駕駛所需的特定參數(shù)進(jìn)行相應(yīng)的轉(zhuǎn)換之后遷移到輔助駕駛決策過程中。相對(duì)于從零開始的經(jīng)驗(yàn)積累來說，先驗(yàn)知識(shí)遷移是提高決策效率，降低決策成本的重要手段。通過對(duì)先驗(yàn)知識(shí)的學(xué)習(xí)，可以讓輔助駕駛決策在盡可能短的時(shí)間內(nèi)完成基本的功能。

微觀決策的運(yùn)作包括兩個(gè)部分：基于模仿學(xué)習(xí)的離線學(xué)習(xí)模塊和基于確定性策略梯度算法的在線學(xué)習(xí)模塊。通過離線學(xué)習(xí)模塊對(duì)輔助駕駛的標(biāo)簽數(shù)據(jù)進(jìn)行訓(xùn)練，避免大量無用的探索，在線學(xué)習(xí)模塊可以在實(shí)際使用過程中不斷完善和修正輔助駕駛決策模型。微觀決策的主要過程如圖4所示。

微觀決策的主要過程如下：通過先驗(yàn)知識(shí)對(duì)模擬學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，構(gòu)建模仿學(xué)習(xí)網(wǎng)絡(luò)，然后使用部分先驗(yàn)知識(shí)在模仿學(xué)習(xí)網(wǎng)絡(luò)的構(gòu)建中形成專家經(jīng)驗(yàn)緩存池。與此同時(shí)，使用部分先驗(yàn)知識(shí)的結(jié)果對(duì)在線學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，得到基本的在線學(xué)習(xí)網(wǎng)絡(luò)。之后在線學(xué)習(xí)網(wǎng)絡(luò)開始運(yùn)行，隨著車輛的運(yùn)行，在線學(xué)習(xí)網(wǎng)絡(luò)通過學(xué)習(xí)駕駛員的處理行為，不斷地豐富個(gè)人經(jīng)驗(yàn)緩存池，同時(shí)借助先驗(yàn)知識(shí)不斷豐富專家經(jīng)驗(yàn)緩存池，然后以專家經(jīng)驗(yàn)緩存池和個(gè)人經(jīng)驗(yàn)緩存池的內(nèi)容作為數(shù)據(jù)支撐，強(qiáng)化訓(xùn)練在線學(xué)習(xí)網(wǎng)絡(luò)，使得學(xué)習(xí)網(wǎng)絡(luò)不斷地逼近真實(shí)的車輛決策過程。

2? 仿真實(shí)驗(yàn)及結(jié)果分析

2.1? 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)在ubuntu 20.04操作系統(tǒng)下進(jìn)行，使用CARLA-simulator 0.9.9和Unreal Engine 4.24進(jìn)行場(chǎng)景模擬，實(shí)驗(yàn)具體參數(shù)如表1所示。

2.2? 宏觀決策測(cè)試

基于CARLA Benchmark進(jìn)行測(cè)試，數(shù)據(jù)訓(xùn)練場(chǎng)景為城鎮(zhèn)地圖T1，測(cè)試場(chǎng)景為城鎮(zhèn)地圖T2，兩個(gè)場(chǎng)景中分別設(shè)有紅綠燈、多岔路口等，如圖5所示。按照Benchmark的要求設(shè)定四種任務(wù)，分別為起點(diǎn)到終點(diǎn)的直行、轉(zhuǎn)彎、導(dǎo)航和動(dòng)態(tài)導(dǎo)航等。

測(cè)試過程中，除了關(guān)注模擬車輛是否準(zhǔn)確到達(dá)目的地外，還要關(guān)注測(cè)試結(jié)果的穩(wěn)定性。因此測(cè)試的指標(biāo)包括任務(wù)成功率、軌跡成功率和失敗懲罰比例。其中成功率是成功次數(shù)succ與總次數(shù)total的比值；軌跡成功率是實(shí)際運(yùn)行長(zhǎng)度L0與軌跡長(zhǎng)度L1的比值；懲罰比例由設(shè)定系數(shù)C0和懲罰系數(shù)p組成。評(píng)估指標(biāo)res如下：

（3）

將本文方法與基線方法CIL進(jìn)行對(duì)比試驗(yàn)，測(cè)試結(jié)果的評(píng)估指標(biāo)積分如表2所示。

從測(cè)試結(jié)果中可以看出，在靜態(tài)場(chǎng)景下，兩種方法在訓(xùn)練城鎮(zhèn)T1中都具有較高的成功率，但是在測(cè)試城鎮(zhèn)T2中的成功率會(huì)普遍下降，本文所提方法的成功率不管是在訓(xùn)練城鎮(zhèn)中還是在測(cè)試城鎮(zhèn)中都很高。在動(dòng)態(tài)導(dǎo)航測(cè)試場(chǎng)景下，CIL基線方法的成功率較低，且在訓(xùn)練環(huán)境和測(cè)試環(huán)境中波動(dòng)較大，而本文所提方法的波動(dòng)性較小，表現(xiàn)出較強(qiáng)的魯棒性。

2.3? 微觀決策測(cè)試

在微觀決策測(cè)試過程中，采用TORCS模擬器中的兩張地圖進(jìn)行試驗(yàn)，每張地圖采集800組數(shù)據(jù)，然后使用這些數(shù)據(jù)來訓(xùn)練模仿學(xué)習(xí)網(wǎng)絡(luò)。由于使用了模擬器，故只能通過打標(biāo)簽的方式構(gòu)建先驗(yàn)知識(shí)，總共構(gòu)建400組數(shù)據(jù)作為先驗(yàn)知識(shí)。通過先驗(yàn)知識(shí)指導(dǎo)模擬網(wǎng)絡(luò)的訓(xùn)練，進(jìn)而生成專家經(jīng)驗(yàn)緩存池，循環(huán)測(cè)試生成1 600組數(shù)據(jù)，TORCS模擬的加速和減速設(shè)置為自動(dòng)，車輛自重、剎車性能等在本實(shí)驗(yàn)中并未加以考慮。

兩張地圖上的訓(xùn)練性能如圖6所示。

試驗(yàn)結(jié)果表明，地圖的難度越大，模擬學(xué)習(xí)網(wǎng)絡(luò)性能越差，主要原因是收集的數(shù)據(jù)較少，但是兩張圖的最終訓(xùn)練結(jié)果相差不多，這些結(jié)果足以訓(xùn)練在線學(xué)習(xí)網(wǎng)絡(luò)，不會(huì)對(duì)整個(gè)模型的最終性能產(chǎn)生較大的影響。運(yùn)行訓(xùn)練好的模型，每隔100步記錄一下評(píng)估指標(biāo)res的值，以此來檢驗(yàn)算法的性能，結(jié)果如圖7所示。

雖然初期訓(xùn)練數(shù)據(jù)的數(shù)量較少，但是在整體測(cè)試中的效率要明顯高于基準(zhǔn)算法。從縱坐標(biāo)的數(shù)據(jù)來看，在線學(xué)習(xí)模型的方式可以持續(xù)改進(jìn)訓(xùn)練結(jié)果，因此算法會(huì)隨著訓(xùn)練次數(shù)的增加最終穩(wěn)定下來。

3? 結(jié)? 論

隨著機(jī)動(dòng)車數(shù)量的不斷增加，車輛越來越轉(zhuǎn)向其功能屬性，如何增強(qiáng)用戶的乘車體驗(yàn)，降低能源消耗是當(dāng)前車企需要著重考慮的問題。以圖像為輸入，經(jīng)決策模型獲得控制信息，有效降低了控制信息的不確定性傳遞。有鑒于此，本文采用圖像語義切割和先驗(yàn)知識(shí)遷移技術(shù)提取圖像特征，提高預(yù)測(cè)的效率和準(zhǔn)確性，同時(shí)考慮到不同人駕駛習(xí)慣的不同，通過構(gòu)建專家經(jīng)驗(yàn)池和個(gè)人經(jīng)驗(yàn)池來動(dòng)態(tài)分配學(xué)習(xí)數(shù)據(jù)，既提高了輔助駕駛決策的準(zhǔn)確性，又可保證輔助決策結(jié)果更加符合駕駛員的個(gè)人駕駛習(xí)慣。

參考文獻(xiàn)：

[1] 高波.基于多傳感器感知的輔助駕駛技術(shù)研究 [D].西安：西安工業(yè)大學(xué)，2021.

[2] 王強(qiáng).基于深度強(qiáng)化學(xué)習(xí)的自動(dòng)駕駛控制決策研究 [D].大慶：東北石油大學(xué)，2022.

[3] 李沛安.基于深度神經(jīng)網(wǎng)絡(luò)的交通場(chǎng)景圖像語義分割研究 [D].北京：北京交通大學(xué)，2020.

[4] 趙樹煊，張潔，汪俊亮，等.基于兩階段深度遷移學(xué)習(xí)的面料疵點(diǎn)檢測(cè)算法 [J].機(jī)械工程學(xué)報(bào)，2021，57（17）：86-97.

[5] CODEVILLA F，M?LLER M，L?PEZ A，et al. End-to-end driving via conditional imitation learning [J/OL].arXiv：1710.02410v2 [cs.RO].[2022-11-05].https：//arxiv.org/abs/1710.02410v2.

[6] 李小艷，宋亞林，樂飛.殘差密集塊的卷積神經(jīng)網(wǎng)絡(luò)圖像去噪 [J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2022，31（10）：166-174.

[7] 李壯飛，楊風(fēng)暴，郝岳強(qiáng).一種基于殘差網(wǎng)絡(luò)優(yōu)化的航拍小目標(biāo)檢測(cè)算法 [J].國外電子測(cè)量技術(shù)，2022，41（8）：27-33.

[8] 王海軍，何艷，周豪，等.基于YOLOv5網(wǎng)絡(luò)模型對(duì)鐵路軌道障礙物檢測(cè)與識(shí)別 [J].中國儲(chǔ)運(yùn)，2022（9）：86-87.

[9] 林禹，趙泉華，沈昭宇，等.改進(jìn)SegNet與遷移學(xué)習(xí)的遙感建筑物分割方法 [J].測(cè)繪科學(xué)，2022，47（6）：78-89.

[10] 王成康，黃李波.基于CARLA的駕駛仿真平臺(tái)搭建 [J].佳木斯大學(xué)學(xué)報(bào)：自然科學(xué)版，2021，39（3）：27-29.

[11] 符莎.基于UNREAL ENGINE的沉浸式加工中心造型定制設(shè)計(jì)技術(shù) [J].機(jī)電產(chǎn)品開發(fā)與創(chuàng)新，2022，35（5）：162-165.

[12] 朱堅(jiān).基于深度強(qiáng)化學(xué)習(xí)的無人車路徑規(guī)劃研究 [D].西安：西安工業(yè)大學(xué)，2021.

作者簡(jiǎn)介：戴瑞儒（1968.03—），男，漢族，陜西商洛人，講師，本科，研究方向：電氣設(shè)備自動(dòng)控制、工業(yè)企業(yè)生產(chǎn)過程自動(dòng)化、電機(jī)和儀表檢測(cè)等。

收稿日期：2022-11-08