基于RNN-LSTM神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的無人駕駛小車使用環(huán)境與數(shù)據(jù)處理

范俊宇，徐中林，高暢

（滄州師范學(xué)院，河北滄州，061001）

1 整體設(shè)計

■1.1 機械組成架構(gòu)

采用DAVE智能車系統(tǒng)啟發(fā)，系統(tǒng)硬件由主控板、PWM轉(zhuǎn)換板、電機、舵機、電池、輪胎。從上到下依次為控制層、電機驅(qū)動層。控制層以樹莓派微處理器為主控電路，PWM芯片選型PCA9685，電機驅(qū)動層主要以電機驅(qū)動電路、電源組成，為四輪車提供動力。

■1.2 硬件電路設(shè)計

硬件電路主要包含樹莓派微處理器、PWM模塊、電機模塊、舵機模塊連接構(gòu)成。樹莓派微處理器連接電機驅(qū)動電路采用I2C通信與PWM模塊連接實現(xiàn)的，電機控制利用芯片MP1584與PWM模塊連接實現(xiàn)的。硬件原理圖如圖1所示。

圖1 硬件原理圖

■1.3 小車組合

設(shè)計實現(xiàn)小車屬于微縮模型小車，便于攜帶、數(shù)據(jù)集采集迅速、調(diào)試方便，主要用于數(shù)據(jù)采集和模型測試，小車采用阿克曼轉(zhuǎn)向原理，前端裝有攝像機，在數(shù)據(jù)采集過程中作為神經(jīng)網(wǎng)絡(luò)的輸入，在模型測試時可作為神經(jīng)網(wǎng)絡(luò)的感知系統(tǒng)。

由于受到DAVE智能車設(shè)計影響，通過機械結(jié)構(gòu)和硬件設(shè)計可充分體現(xiàn)出小車的輕巧與變攜帶性，利用圖像處理技術(shù)可以增強小車決策能力。智能車實物圖如圖2所示。

圖2 智能車實物圖

2 實驗環(huán)境

基于深度學(xué)習(xí)的無人駕駛小車系統(tǒng)，是由上位機PC電腦和下位機樹莓派系統(tǒng)共同構(gòu)成，在Keras框架下配置深度學(xué)習(xí)環(huán)境，使用英偉達公司開發(fā)的專門針對深度學(xué)習(xí)加速GPU運算速度技術(shù)的cuDNN，顯著的加快了神經(jīng)網(wǎng)絡(luò)訓(xùn)練的速度，提高了實驗效率。

實驗環(huán)境上位機配置如表1所示。

表1 上位機

實驗環(huán)境下位機配置如表2所示。

表2 下位機

從系統(tǒng)上來分析小車通過模型部署后，在無人駕駛方式中，僅僅依靠無人小車系統(tǒng)其自身算力，即可實現(xiàn)小車預(yù)測直行、左轉(zhuǎn)、右轉(zhuǎn)等動作具有較強的可行性，從應(yīng)用角度來說，由于采用端到端控制型無人駕駛技術(shù)，降低了系統(tǒng)對實時性的要求。

■2.1 數(shù)據(jù)集采集

數(shù)據(jù)集中每條數(shù)據(jù)均為小車在行駛時第一視角拍攝照片和采集站選擇的轉(zhuǎn)彎路線，構(gòu)成一條數(shù)據(jù)樣本，小車行走路線為環(huán)形路線圖，文中不再描述。在數(shù)據(jù)采集過程中，采用監(jiān)督學(xué)習(xí)辦法，監(jiān)督者為人類駕駛員，轉(zhuǎn)彎路線由人工選擇，轉(zhuǎn)彎路線確定后無人小車按照該路線行駛連續(xù)拍攝照片數(shù)據(jù)，經(jīng)過一段距離行駛后，再次選擇合適直線路線和入彎路線。經(jīng)過多圈數(shù)據(jù)采集，最終達到訓(xùn)練數(shù)據(jù)集要求。為了保證數(shù)據(jù)集的語義明確，故選擇限定場景，同時保證無人小車行駛地圖地面環(huán)鏡在照明亮好房間內(nèi)且無過多雜物情況下進行。本文中采用地圖標(biāo)志線模擬交通環(huán)境，共采集數(shù)據(jù)20000幅。小車在行駛過程中停止，采用兩種方式，第一種以遙控方式的遠(yuǎn)程命令使小車停止運行，第二種為無法識別出的障礙物停止，主要以麻袋為障礙物。

■2.2 采集策略

在正常行駛時，無人小車應(yīng)保持與道路中央位置行駛；在遇到彎路時，小車應(yīng)貼向與一側(cè)轉(zhuǎn)彎，盡量保持車速，避免急轉(zhuǎn)彎情況；由于采取限定場景下無人駕駛，在數(shù)據(jù)采集時利用OpenCV圖像處理技術(shù)進行的，室內(nèi)應(yīng)保持光照條件充足的情況下進行；在極端行為下，例如交通場景地面塌陷等，能夠?qū)崿F(xiàn)停止。數(shù)據(jù)采集策略流程圖如圖3所示。采集數(shù)據(jù)如圖4所示。

圖3 數(shù)據(jù)采集策略流程圖

圖4 采集數(shù)據(jù)

3 實驗過程及結(jié)果分析

■3.1 實驗過程

數(shù)據(jù)集采集完成后，將下位機中數(shù)據(jù)，利用FileZilla傳輸至上位機中，當(dāng)文件上傳于上位機之后，先對采集數(shù)據(jù)進行測試，再利用miniconda集成開發(fā)軟件，輸入訓(xùn)練命令，樣本通過預(yù)處理后進行數(shù)據(jù)增強，再輸入至預(yù)先設(shè)計好的RNN網(wǎng)絡(luò)中進行訓(xùn)練，由卷積核進行運算，采樣層負(fù)責(zé)特征提取，全鏈接層負(fù)責(zé)分類，在訓(xùn)練結(jié)束時利用DropOut層，防止訓(xùn)練模型過擬合。每一次迭代訓(xùn)練后都會計算驗證數(shù)據(jù)的損失，當(dāng)數(shù)據(jù)集損失率下降到不在丟失時，即5次相近迭代損失相差0.005以內(nèi)時，訓(xùn)練過程停止。

3.1.1 數(shù)據(jù)樣本測試

數(shù)據(jù)樣本測試采用Canny邊緣檢測方法。通過設(shè)置高低閾值，將圖像邊緣變成輪廓。未經(jīng)處理過數(shù)據(jù)邊緣檢測的效果圖如圖5所示。經(jīng)過處理后數(shù)據(jù)邊緣檢測效果圖如圖6所示。

圖5 未經(jīng)處理過數(shù)據(jù)邊緣檢測的效果圖

圖6 經(jīng)過處理后數(shù)據(jù)邊緣檢測效果圖

3.1.2 圖像增強

圖像增強方式是采用的是python的第三方圖像處理庫PIL(Python Image Library)，整個過程分為濾波、剪裁、腐蝕、銳化、反轉(zhuǎn)、組合。圖像增強示意圖如圖7所示。

圖7 圖像增強示意圖

3.1.3 卷積核與特征提取

神經(jīng)網(wǎng)絡(luò)中卷積層負(fù)責(zé)特征提取。卷積核與特征提取示意圖如圖8所示。

圖8 卷積核與特征提取示意圖

3.1.4 訓(xùn)練結(jié)果

整個訓(xùn)練過程消耗12個小時，經(jīng)過輪迭代后，驗證數(shù)據(jù)集損失率不在下降，最終損失率保持在了0.175，由于誤差是不可避免的，訓(xùn)練數(shù)據(jù)集人工選擇入彎轉(zhuǎn)向角度存在誤差，通過換算后預(yù)測誤差保持在了6°以內(nèi)。訓(xùn)練數(shù)據(jù)流程圖如圖9所示。訓(xùn)練損失率和驗證數(shù)據(jù)集損失率如圖10所示。

圖9 訓(xùn)練數(shù)據(jù)流程圖

圖10 訓(xùn)練損失率和驗證數(shù)據(jù)集損失率

■3.2 無人小車行駛過程

小車在正常行駛時，輸入神經(jīng)網(wǎng)絡(luò)視覺信息利用OpenCV圖像處理技術(shù)進行增強，來提升預(yù)測未來行駛決策準(zhǔn)確度。行駛過程測試主要分為正常行駛與障礙物測試。輸入小車神經(jīng)網(wǎng)絡(luò)視覺信息如圖11無人小車第一視角圖像。

圖11 無人小車第一視角圖像

如圖12無人小車行駛示意圖所示。無人小車行駛測試結(jié)果如圖13所示。

圖12 無人小車行駛示意圖

圖13 無人小車行駛測試結(jié)果

■3.3 結(jié)果分析

經(jīng)模型部署于無人小車后，測試流程圖如圖14所示。

圖14 測試流程圖

經(jīng)實測，無人小車表現(xiàn)如下：

（1）使用OpenCV圖像處理技術(shù)后，小車感覺環(huán)境相比未利用圖像處理技術(shù)時，感知能力增強較多。

（2）無人小車在限定場景的直線行駛中，運動軌跡基本上可以保證處于道路中央。

（3）無人小車在限定場景進行轉(zhuǎn)彎時表現(xiàn)性能相對較弱，但能在轉(zhuǎn)彎結(jié)束后重新實現(xiàn)直線行駛，并隨機改變自身位置，根據(jù)自身行駛線路進行調(diào)整。模型實現(xiàn)效果如表3所示。

表3 模型實現(xiàn)效果

（4）無人小車在遇到限定障礙物時，可以成功的停止行駛。障礙物密度變率如表4所示。

表4 障礙物密度變率

從表中分析，發(fā)現(xiàn)當(dāng)障礙物密度較大時，直線行駛的無人小車，會停止行駛。

從實際應(yīng)用角度來分析，無人小車在行駛過程中對行駛路徑進行了提前規(guī)劃，降低了系統(tǒng)對實時性的要求。

從實驗結(jié)果中發(fā)現(xiàn)，課題設(shè)計任務(wù)設(shè)計無人駕駛小車系統(tǒng)，利用小車采集大量實驗數(shù)據(jù)構(gòu)成數(shù)據(jù)集，通過遠(yuǎn)程軟件傳輸至PC電腦中，經(jīng)過圖像增強的方式，輸入至神經(jīng)網(wǎng)絡(luò)當(dāng)中進行運算，生成跑道模型，再部署至小車中，即可實現(xiàn)限定場景的無人駕駛?cè)蝿?wù)。而端到端控制系統(tǒng)，僅需采集小車在駕駛時，現(xiàn)場記錄的圖片、轉(zhuǎn)彎路徑和轉(zhuǎn)向角度作為數(shù)據(jù)集樣本。結(jié)果表明在部署模型測試時，只需要無人小車現(xiàn)場行駛，感知周圍環(huán)境，利用圖像增強技術(shù)后神經(jīng)網(wǎng)絡(luò)預(yù)測行駛路徑，實現(xiàn)決策功能準(zhǔn)確率提升顯著，即可實現(xiàn)限定場景中良好的無人駕駛率。相對于直接型感知方法降低了設(shè)計難度與設(shè)計成本。

4 總結(jié)與展望

基于深度學(xué)習(xí)的無人駕駛小車屬于微縮智能車。在無人駕駛技術(shù)中，微縮智能車是真實車輛的簡化版，攜帶傳感器較少，數(shù)據(jù)分析較容易，可以在有限的場地中模擬更高級別的無人駕駛技術(shù)。課題設(shè)計任務(wù)中無人駕駛系統(tǒng)采用端到端控制方式，在上位機中通過Keras框架設(shè)計了循環(huán)神經(jīng)網(wǎng)絡(luò)，在下位機中經(jīng)有效的驗證。

■4.1 主要工作與成果

（1）課題設(shè)計任務(wù)通過以離線深度學(xué)習(xí)為目的，建立的無人駕駛小車系統(tǒng)是端到端控制的無人駕駛系統(tǒng)，通過利用圖像處理技術(shù)，驗證算法的有效性，模型部署，最終在人工模擬交通環(huán)境中，無人小車?yán)脧V角攝像頭，能夠成功的預(yù)測行駛路線及轉(zhuǎn)向角度。

（2）從實驗結(jié)過中發(fā)現(xiàn)，課題任務(wù)設(shè)計的無人駕駛小車，經(jīng)過采集大量數(shù)據(jù)集，添加更多道路標(biāo)志可以實現(xiàn)更加復(fù)雜場景的無人駕駛?cè)蝿?wù)。

（3）采用循環(huán)神經(jīng)網(wǎng)絡(luò)在與LSTM網(wǎng)絡(luò)結(jié)合使用時網(wǎng)絡(luò)性能更強大。

（4）采用圖像處理技術(shù)后小車在測試時，能夠顯著提升神經(jīng)網(wǎng)絡(luò)預(yù)測能力。

■4.2 發(fā)現(xiàn)問題以及需要改進措施

無人駕駛是一個龐大的系統(tǒng)，課題設(shè)計任務(wù)僅對其端對端控制方式進行了初步的探索，受于局限性限制和今后努力的方向有以下幾點：

（1）實驗場景采用限定場景，是相對簡單、理想的交通場景下完成的駕駛?cè)蝿?wù)，數(shù)據(jù)集的建立缺少復(fù)雜交通場景的情況，接下來可尋求更加龐大、復(fù)雜的交通模擬場地。

（2）無人小車由于車輛本身轉(zhuǎn)彎角度限制，在彎路較為急的交通場景下，轉(zhuǎn)彎預(yù)測與車輛速度存在差異，具有較大改善方法。

（3）由于神經(jīng)網(wǎng)絡(luò)中，引入RELU函數(shù)，在回歸時，容易導(dǎo)致神經(jīng)元死亡，至使收斂下降，有引發(fā)過擬合現(xiàn)象，后期將通過更換激活函數(shù)更加良好的抑制過擬合。