基于ResNet18的減速帶識(shí)別及其環(huán)境影響研究*

管淑賢，葛萬(wàn)成

（同濟(jì)大學(xué)，上海 200092）

0 引言

近年來(lái)，關(guān)于自動(dòng)駕駛的研究正在如火如荼的開(kāi)展中。自動(dòng)駕駛意在減少人力勞動(dòng)，增加車(chē)輛駕駛的安全性和可靠性。傳統(tǒng)的自動(dòng)駕駛決策算法需要人類(lèi)設(shè)定許多繁復(fù)的規(guī)則，系統(tǒng)效率低，而基于深度學(xué)習(xí)的自動(dòng)駕駛是讓汽車(chē)通過(guò)與環(huán)境交互便可以做出正確的判斷與決策[1]，具有巨大的優(yōu)勢(shì)。其中，用來(lái)獲取自動(dòng)駕駛汽車(chē)視野中信息的是系統(tǒng)中的視覺(jué)感知模塊，可以通過(guò)攝像機(jī)獲取豐富的圖像信息，對(duì)行車(chē)視野中出現(xiàn)的目標(biāo)進(jìn)行識(shí)別[2]。

對(duì)目標(biāo)進(jìn)行識(shí)別是后期對(duì)目標(biāo)進(jìn)行定位、檢測(cè)以及分割的基礎(chǔ)。通過(guò)查閱相關(guān)資料尚未看到對(duì)減速帶這一場(chǎng)景的研究，甚至沒(méi)有找到關(guān)于減速帶的公開(kāi)數(shù)據(jù)集。本文研究自動(dòng)駕駛中的減速帶分類(lèi)，使得車(chē)輛在即將遇到減速帶時(shí)正確識(shí)別并及時(shí)減速。

本文基于ResNet18 訓(xùn)練出一個(gè)網(wǎng)絡(luò)，可以獲得較好的減速帶識(shí)別準(zhǔn)確率，并比較了不同的光照、雨雪量等影響下的識(shí)別準(zhǔn)確率?？梢钥闯?，ResNet18 在訓(xùn)練不太大數(shù)據(jù)集時(shí)具備優(yōu)越性，以及利用OpenCV 合成不同的模擬現(xiàn)實(shí)環(huán)境能夠影響減速帶識(shí)別的準(zhǔn)確率，為自動(dòng)駕駛技術(shù)的進(jìn)一步發(fā)展奠定了基礎(chǔ)。

1 減速帶分類(lèi)系統(tǒng)層次化框架結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）在計(jì)算機(jī)視覺(jué)和自動(dòng)駕駛等領(lǐng)域受到了廣泛應(yīng)用。傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)只有全連接層，而卷積神經(jīng)網(wǎng)絡(luò)主要采用卷積層和池化層作為其核心層，因而相較傳統(tǒng)神經(jīng)網(wǎng)絡(luò)其在特征提取和泛化方面能力更強(qiáng)，也具備更好的識(shí)別和預(yù)測(cè)性能[3]。理論上隨著網(wǎng)絡(luò)深度的增加，網(wǎng)絡(luò)的學(xué)習(xí)能力應(yīng)該同步增加，訓(xùn)練結(jié)果越來(lái)越好。但是，實(shí)際結(jié)果并非如此。簡(jiǎn)單的堆疊層數(shù)不僅沒(méi)有提高模型訓(xùn)練能力，反而出現(xiàn)了模型退化，使梯度爆炸或消失。

基于這種情況，深度殘差網(wǎng)絡(luò)ResNet 被提出。這種網(wǎng)絡(luò)大大提高了模型層數(shù)，也提高了模型準(zhǔn)確率，主要通過(guò)在一個(gè)準(zhǔn)確率很高的淺層網(wǎng)絡(luò)后面加入一個(gè)輸入和輸出相等的恒等映射[4]，提高模型準(zhǔn)確率的同時(shí)，再次將模型轉(zhuǎn)化為一個(gè)淺層網(wǎng)絡(luò)。

1.1 ResNets 殘差網(wǎng)絡(luò)構(gòu)成

如果可以完全擬合恒等映射函數(shù)H(x)=X，那么自然無(wú)需考慮網(wǎng)絡(luò)疊加所導(dǎo)致的退化問(wèn)題，但是現(xiàn)有的網(wǎng)絡(luò)無(wú)法做到這一點(diǎn)。如果可以將網(wǎng)絡(luò)設(shè)計(jì)為H(x)=F(x)+x，其中恒等映射是網(wǎng)絡(luò)的一部分，那該問(wèn)題需從得出恒等映射轉(zhuǎn)化為了研究殘差函數(shù)F(x)=H(x)-x。從該等式很容易看出，當(dāng)F(x)=0，恒等映射H(x)=x成立[5]，由此產(chǎn)生了殘差塊（Residual Block）結(jié)構(gòu)，殘差塊結(jié)構(gòu)圖如圖1 所示。圖1 中右側(cè)曲線即為“跳遠(yuǎn)連接”（Shortcut Connection），指的是跳過(guò)一層或者多層的連接，將信息送往神經(jīng)網(wǎng)絡(luò)的更深層，通過(guò)“跳遠(yuǎn)連接”的方式使得殘差塊可以訓(xùn)練到更深層次的神經(jīng)網(wǎng)絡(luò)。

圖1 殘差塊結(jié)構(gòu)原理

ResNets 網(wǎng)絡(luò)由許許多多的殘差塊構(gòu)成。構(gòu)建一個(gè)ResNets 網(wǎng)絡(luò)即將很多殘差塊堆疊在一起而形成的一個(gè)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。

1.2 ResNets 網(wǎng)絡(luò)的優(yōu)越性

假設(shè)現(xiàn)有一個(gè)大型神經(jīng)網(wǎng)絡(luò)，當(dāng)逐漸增加神經(jīng)網(wǎng)絡(luò)的深度時(shí)，網(wǎng)絡(luò)難以學(xué)習(xí)恒等函數(shù)的參數(shù)，導(dǎo)致最后的訓(xùn)練效果往往達(dá)不到預(yù)期，也會(huì)影響網(wǎng)絡(luò)性能。殘差網(wǎng)絡(luò)學(xué)習(xí)恒等函數(shù)比較容易，可將添加的網(wǎng)絡(luò)層看成一個(gè)個(gè)殘差塊。例如，一個(gè)20 層的普通網(wǎng)絡(luò)，每?jī)蓪又g通過(guò)跳遠(yuǎn)連接構(gòu)成一個(gè)殘差塊，那么這個(gè)普通網(wǎng)絡(luò)就成為一個(gè)由10 個(gè)殘差塊構(gòu)成的殘差網(wǎng)絡(luò)。網(wǎng)絡(luò)性能不僅沒(méi)有下降，而且甚至有所提提高。普通網(wǎng)絡(luò)轉(zhuǎn)化為殘差網(wǎng)絡(luò)也比較容易，只需要加入殘差塊即可。殘差網(wǎng)絡(luò)大大提高了網(wǎng)絡(luò)層數(shù)，通過(guò)殘差映射的方式進(jìn)行擬合，簡(jiǎn)單易操作，同時(shí)提高了準(zhǔn)確率。

1.3 ResNet18

ResNets 網(wǎng)絡(luò)的變形有很多，如表1 所示，是一個(gè)常見(jiàn)的不同層數(shù)的ResNets 網(wǎng)絡(luò)的簡(jiǎn)介。

表1 ResNets 結(jié)構(gòu)

其中，ResNet18 和ResNet34 采用包括兩個(gè)3×3 卷積操作的Basic Block（圖2）作為基本單元，而ResNet50、ResNet101 和ResNet152 則采用包含兩個(gè)1×1 卷積操作的Bottlenet Block（圖3）作為基本單元，目的是減少參數(shù)。

圖2 Basic Block

圖3 Bottlenet Block

本文采用的網(wǎng)絡(luò)是ResNet18，由17 個(gè)卷積層（conv）+1 個(gè)全連接層（fc）構(gòu)成。因?yàn)楸疚难芯康臏p速帶數(shù)據(jù)集并不大，所以不需要過(guò)多層次的殘差網(wǎng)絡(luò)，否則容易出現(xiàn)過(guò)擬合現(xiàn)象。

2 基于外部環(huán)境因素的圖像預(yù)處理設(shè)計(jì)

2.1 數(shù)據(jù)集的采集

因?yàn)椴⑽丛诰W(wǎng)上找到任何關(guān)于減速帶的數(shù)據(jù)集，所以本次實(shí)驗(yàn)的原始數(shù)據(jù)集由自己采集。采用1 200 萬(wàn)像素的雙目攝像頭拍攝原始數(shù)據(jù)集共1 093張，其中隨機(jī)挑選875 張作為訓(xùn)練集，218 張作為測(cè)試集。原始數(shù)據(jù)集像素大小為3 024×3 024。

2.2 數(shù)據(jù)集預(yù)處理

本文采用的實(shí)驗(yàn)平臺(tái)：Ubuntu18.04.5 LTS（操作系統(tǒng)），32 GB（CPU），GeForce RTX 2080 super 8 GB（GPU），Python3.6，Pytorch1.6.0（深度學(xué)習(xí)框架）。在處理圖片時(shí)，首先將圖片大小由3 024×3 024 轉(zhuǎn)變?yōu)?56×256。

本次實(shí)驗(yàn)的主要目的是研究系統(tǒng)是否能夠正確分類(lèi)減速帶，即向圖像傳感器中輸入一張圖片時(shí)系統(tǒng)是否可以正確識(shí)別減速帶，同時(shí)研究在不同的外部環(huán)境下如黑夜、下雨以及下雪等情況下系統(tǒng)識(shí)別的準(zhǔn)確率是否會(huì)有影響，且哪種外部環(huán)境所導(dǎo)致的準(zhǔn)確率影響最大。

為了達(dá)到這些目的，使用仿真技術(shù)處理數(shù)據(jù)集，模擬不同外部環(huán)境可能造成的準(zhǔn)確率變化。本文使用開(kāi)源計(jì)算機(jī)視覺(jué)圖書(shū)館（Open Source Computer Vision Library，OpenCV）處理數(shù)據(jù)集，目的是合成模擬真實(shí)世界的仿真圖。OpenCV 是一個(gè)在計(jì)算機(jī)領(lǐng)域極其常見(jiàn)的數(shù)據(jù)庫(kù)，主要功能是處理視覺(jué)圖像[6]。而本文的圖像處理主要涉及亮度的調(diào)整以及雨雪效果的增加，其中亮度調(diào)整主要通過(guò)對(duì)圖片像素值調(diào)參實(shí)現(xiàn)，而雨雪效果則主要通過(guò)使用不同效果的卷積核對(duì)圖片像素進(jìn)行卷積運(yùn)算達(dá)成。圖4 是部分圖像進(jìn)行預(yù)處理后的展示。

圖4 opencv 處理出來(lái)的不同場(chǎng)景

3 實(shí)驗(yàn)結(jié)果及其分析

3.1 不同場(chǎng)景下減速帶分類(lèi)準(zhǔn)確度的對(duì)比

對(duì)比不同雨量下減速帶分類(lèi)的準(zhǔn)確度，如圖5所示。其中，橫坐標(biāo)是逐漸增大的雨量，縱坐標(biāo)是減速帶分類(lèi)的準(zhǔn)確率。從圖5 可以看出：在雨量大小為0～600 時(shí)，準(zhǔn)確率下降不明顯；當(dāng)雨量大小超過(guò)600 時(shí)，準(zhǔn)確率下降明顯；在雨量大小到達(dá)1 000 時(shí)，在測(cè)試集上準(zhǔn)確率只有74.31%。

圖5 不同雨量下減速帶的識(shí)別準(zhǔn)確率

對(duì)比不同雪量下減速帶分類(lèi)的準(zhǔn)確度，結(jié)果如圖6 所示。其中，縱坐標(biāo)依然是目標(biāo)識(shí)別的準(zhǔn)確率，橫坐標(biāo)是不同雪量。如圖6所示，隨著降雪量的增加，減速帶識(shí)別準(zhǔn)確率基本呈下降趨勢(shì)，但是下降并不是特別明顯。當(dāng)降雪量到達(dá)1 000 時(shí)，該網(wǎng)絡(luò)在測(cè)試集上的準(zhǔn)確率仍然有91.28%。

在光線不好的時(shí)候行車(chē)或者是夜間行車(chē)都是比較常見(jiàn)的駕駛場(chǎng)景，因此研究不同亮度下目標(biāo)識(shí)別的準(zhǔn)確率格外重要。本次試驗(yàn)中對(duì)比了不同亮度值下減速帶分類(lèi)的準(zhǔn)確率，結(jié)果如圖7 所示，可以非常直觀地看到亮度值對(duì)減速帶識(shí)別準(zhǔn)確率的影響。當(dāng)量度比低于0.6 時(shí)，準(zhǔn)確率已經(jīng)很低。在傍晚（即亮度比為0.5）時(shí)，在測(cè)試集上的準(zhǔn)確率只有30.28%。

實(shí)驗(yàn)橫向?qū)Ρ攘瞬煌h(huán)境下目標(biāo)識(shí)別的準(zhǔn)確率，其中雨雪的準(zhǔn)確率都是選擇了最大雨雪量時(shí)的情況，即雨雪量為1 000 下的準(zhǔn)確率，將其和原圖識(shí)別情況做對(duì)比。如表2 所示，下雪對(duì)準(zhǔn)確率的影響最小，即使是在降雪量為1 000 的情況下，仍有91.28%的準(zhǔn)確率。此外，降雨使得準(zhǔn)確率下降不少，但是仍然是可接受的狀態(tài)。相比較雨雪場(chǎng)景，傍晚的準(zhǔn)確率最低，只有30.28%，已經(jīng)影響到安全駕駛。由于傍晚的模型分類(lèi)效果最差，所以又做了兩組對(duì)比實(shí)驗(yàn)，分別是傍晚加不同雨量和傍晚加不同雪量的準(zhǔn)確率對(duì)比。

圖6 不同雪量下減速帶識(shí)別準(zhǔn)確率

圖7 不同亮度下減速帶識(shí)別準(zhǔn)確率

表2 不同場(chǎng)景下減速帶的識(shí)別準(zhǔn)確率

傍晚加不同雨量下減速帶識(shí)別準(zhǔn)確率的折線圖如圖8 所示。在傍晚的情況下雨量加到100 時(shí)，在測(cè)試集上的準(zhǔn)確率僅有27.06%，有了斷崖式下跌。

傍晚不同雪量下減速帶識(shí)別準(zhǔn)確率的折線圖如圖9 所示，與傍晚不同雨量場(chǎng)景的準(zhǔn)確率測(cè)試結(jié)果相似，準(zhǔn)確率下降明顯。在雪量為100 時(shí)，識(shí)別準(zhǔn)確率僅僅只有28.44%。

圖8 傍晚不同雨量中減速帶識(shí)別準(zhǔn)確率

圖9 傍晚不同雪量下減速帶識(shí)別準(zhǔn)確率

從對(duì)比試驗(yàn)中可以看出，在傍晚且有雨的情況下，目標(biāo)識(shí)別的準(zhǔn)確率最低，識(shí)別效果最差。為提升準(zhǔn)確率，決定對(duì)原數(shù)據(jù)集加入傍晚加不同雨量產(chǎn)生的新數(shù)據(jù)集進(jìn)行重新訓(xùn)練，然后測(cè)試不同雨量和傍晚加不同雨量下減速帶識(shí)別的準(zhǔn)確率，觀察其準(zhǔn)確率是否有上升，結(jié)果如圖10、圖11 所示。可見(jiàn)，混合訓(xùn)練下目標(biāo)識(shí)別準(zhǔn)確率有了較大提升，兩者測(cè)試集的準(zhǔn)確率都在97.2%以上。

圖10 經(jīng)混合訓(xùn)練后不同雨量下減速帶的識(shí)別準(zhǔn)確率

圖11 經(jīng)混合訓(xùn)練后傍晚不同雨量下減速帶的識(shí)別準(zhǔn)確率

3.2 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)主要對(duì)比了不同雨量、雪量、亮度下減速帶識(shí)別準(zhǔn)確率的不同，可以看出，隨著雨雪量的增大和亮度的減少，準(zhǔn)確率呈下降趨勢(shì)。然后，定量地將傍晚、下雨以及下雪3 種情況與原圖作比較，可以發(fā)現(xiàn)，在傍晚目標(biāo)識(shí)別準(zhǔn)確率最低，僅有30.28%?；诎矸诸?lèi)效果差的現(xiàn)象，又多做了兩組對(duì)比實(shí)驗(yàn)，分別是在傍晚下雨和在傍晚下雪的準(zhǔn)確率測(cè)試，顯而易見(jiàn)，準(zhǔn)確率大幅度下降。可以看出，這些外部場(chǎng)景都可以影響目標(biāo)分類(lèi)的準(zhǔn)確性，其中傍晚下雨的環(huán)境下，網(wǎng)絡(luò)識(shí)別效果最差?；谶@個(gè)現(xiàn)象，在原數(shù)據(jù)集中加入傍晚加雨后生成的圖像構(gòu)成新數(shù)據(jù)集進(jìn)行重新訓(xùn)練，混合訓(xùn)練后不同雨量下識(shí)別的準(zhǔn)確率和傍晚不同雨量下識(shí)別的準(zhǔn)確率都有了較大提升，證明混合訓(xùn)練后的這個(gè)網(wǎng)絡(luò)具備良好的減速帶識(shí)別性能。

4 結(jié)語(yǔ)

本文基于ResNet18 訓(xùn)練出了一種可以較為準(zhǔn)確的識(shí)別減速帶的網(wǎng)絡(luò)，主要通過(guò)識(shí)別準(zhǔn)確率來(lái)判定網(wǎng)絡(luò)的性能，同時(shí)實(shí)驗(yàn)驗(yàn)證了通過(guò)OpenCV 生成的模擬現(xiàn)實(shí)場(chǎng)景是可以影響目標(biāo)識(shí)別的準(zhǔn)確率的?；诮Y(jié)果，后續(xù)繼續(xù)對(duì)自動(dòng)駕駛場(chǎng)景進(jìn)行研究時(shí)，可以更多考慮這些環(huán)境影響，盡可能消除或減少不良影響。