基于Resnet-101深度學(xué)習(xí)網(wǎng)絡(luò)的路面類型識(shí)別研究

葉向陽(yáng)　毛傳龍　王海升　袁世龍

摘 要：近年來(lái)，智能駕駛汽車(chē)已成為智能工業(yè)時(shí)代較有前景的發(fā)展方向，而作為智能車(chē)的關(guān)鍵技術(shù)的重要組成部分及重要研究方向之一，環(huán)境感知能為智能汽車(chē)的加速度控制、軌跡控制、燃油經(jīng)濟(jì)性的改善、安全性和舒適性的提高等方面提供重要依據(jù)。到目前為止，相較于由人工算法來(lái)提取的HOG、LBP等特征，深度學(xué)習(xí)能夠提取到較為豐富的非人工提取的特征。本文基于遷移學(xué)習(xí)，通過(guò)Resnet-101深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)路面類型進(jìn)行識(shí)別，訓(xùn)練所得的模型對(duì)本文給出的四種路面類型的識(shí)別準(zhǔn)確率可達(dá)98.33%，相較于使用此前較為常用的Alexnet、GoogLenet等網(wǎng)絡(luò)有著較為明顯的提升，在相同的迭代次數(shù)的條件下，Resnet-101的準(zhǔn)確率較高，且在道路實(shí)車(chē)試驗(yàn)中取得了良好的表現(xiàn)。

關(guān)鍵詞：遷移學(xué)習(xí) 卷積神經(jīng)網(wǎng)絡(luò) 路面類型識(shí)別

Research on Road Terrain Recognition based on Resnet-101 Deep Learning Network

Ye Xiangyang Mao Chuanlong Wang Haisheng Yuan Shilong

Abstract：In recent years， intelligent vehicle has become a more promising development direction in the era of intelligent industry. As an important component of the key technology of intelligent vehicle and one of the important research directions， environment perception can provide important basis for? acceleration control， trajectory control， improvement of fuel economy， improvement of safety and comfort of intelligent vehicle. Up to now， compared with HOG， LBP and other features extracted by artificial algorithms， depth learning can extract more abundant non-artificial features. Based on transfer learning， this paper realizes the recognition of road surface types through Resnet-101 deep learning network. The recognition accuracy of the four road surface types given in this paper can reach 98.33% with the training model. Compared with Alexnet and GoogLenet， which are commonly used before， this model has a more obvious improvement. Under the condition of the same number of iterations， the accuracy of Resnet-101 is higher， and it has achieved good performance in the road test.

Key words：transfer learning， convolutional neural networks， road terrain recognition

1 前言

隨著智能車(chē)領(lǐng)域的逐漸發(fā)展，環(huán)境感知技術(shù)作為車(chē)輛行駛時(shí)決策控制以及路徑規(guī)劃的依據(jù)。而路面類型識(shí)別作為環(huán)境感知技術(shù)的一項(xiàng)重要指標(biāo)，也逐漸引起了該領(lǐng)域?qū)W者的重視。在車(chē)輛行駛時(shí)，實(shí)時(shí)識(shí)別所在路面的類型，可以高效地幫助車(chē)輛提高行駛時(shí)的安全性、舒適性以及燃油經(jīng)濟(jì)性，同時(shí)也能為智能車(chē)決策控制以及路徑規(guī)劃提供重要依據(jù)，如文獻(xiàn)[1]中依據(jù)路面類型的識(shí)別調(diào)整相應(yīng)的懸架控制策略。

早在2005年，文獻(xiàn)[2]便提出了基于破損密度因子特征的五種破損路面程度的識(shí)別方法。在此之后，文獻(xiàn)[3]提出了基于車(chē)輪振動(dòng)信號(hào)的路面類型識(shí)別方法;文獻(xiàn)[4]提出了基于激光雷達(dá)信號(hào)的路面類型識(shí)別方法。而隨著深度學(xué)習(xí)網(wǎng)絡(luò)的逐漸發(fā)掘，越來(lái)越多的領(lǐng)域開(kāi)始使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行分類操作，如文獻(xiàn)[5]中使用神經(jīng)網(wǎng)絡(luò)框架搜索遙感圖像進(jìn)行分類;文獻(xiàn)[6]中使用半監(jiān)督深度學(xué)習(xí)對(duì)圖像進(jìn)行分類。而遷移學(xué)習(xí)工具包的逐漸普及，也使越來(lái)越多的學(xué)者嘗試著使用遷移學(xué)習(xí)通過(guò)預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行重新訓(xùn)練來(lái)獲取自身所需的網(wǎng)絡(luò)，如文獻(xiàn)[7]中采用遷移學(xué)習(xí)對(duì)胃鏡圖像進(jìn)行自動(dòng)識(shí)別。本文依托于文獻(xiàn)[8]的遷移學(xué)習(xí)框架，采用Resnet-101網(wǎng)絡(luò)對(duì)路面類型進(jìn)行分類，相較于較為傳統(tǒng)的Googlenet、Alexnet等深度學(xué)習(xí)網(wǎng)絡(luò)，有著更高的識(shí)別準(zhǔn)確率，可達(dá)98.33%，路面識(shí)別過(guò)程如圖1所示。

2 圖像收集和預(yù)處理

本文采集了瀝青、沙石、冰雪、水泥四種較為常見(jiàn)的路面類型的良好光照及道路環(huán)境下的圖片，將其作為主要的研究對(duì)象，并且對(duì)相對(duì)應(yīng)的每種路面類型的多個(gè)路段均進(jìn)行了采集，以保證數(shù)據(jù)的相對(duì)豐富和完善。

為進(jìn)一步豐富數(shù)據(jù)集，提高所訓(xùn)練的模型的泛化能力，本文預(yù)先對(duì)所采集的圖片數(shù)據(jù)進(jìn)行了諸如裁剪、縮放、旋轉(zhuǎn)、平移等的增廣處理，并將所采集到的圖片轉(zhuǎn)換成三通道下224*224的格式，以便于導(dǎo)入預(yù)訓(xùn)練的Resnet101網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)，處理后的數(shù)據(jù)如圖2所示。

3 Resnet-101網(wǎng)絡(luò)的訓(xùn)練

首先，本文將原始Resnet-101網(wǎng)絡(luò)的全連接層fc1000層分別替換為適合于本文的數(shù)據(jù)集的具有1*1*4的矩陣格式的全連接層new_fc層。然后將之前歸一化的數(shù)據(jù)集隨機(jī)抽取一部分成為訓(xùn)練集，占整個(gè)數(shù)據(jù)集的70%，剩下的歸為數(shù)據(jù)集測(cè)試集，輸入到Resnet-101神經(jīng)網(wǎng)絡(luò)中開(kāi)始訓(xùn)練。該訓(xùn)練的過(guò)程如圖3。

最終本文訓(xùn)練所得到的模型測(cè)試準(zhǔn)確率為98.33%，相較于使用此前較為常用的Alexnet、GoogLenet等深度學(xué)習(xí)網(wǎng)絡(luò)，在相同的迭代次數(shù)的條件下，具有更高的識(shí)別準(zhǔn)確率，這些模型的訓(xùn)練結(jié)果如表1所示。

4 Resnet-101網(wǎng)絡(luò)的實(shí)測(cè)

本研究對(duì)訓(xùn)練完成的模型進(jìn)行實(shí)驗(yàn)驗(yàn)證，測(cè)試場(chǎng)地為路面光照環(huán)境等條件良好的學(xué)校道路。測(cè)試時(shí)，本研究將借助采樣頻率為30Hz的攝像頭捕獲的一系列圖像作為模型的輸入，利用模型將各個(gè)路面類型的運(yùn)算分值顯示出來(lái)，最后把所得分值最高的路面類型賦予當(dāng)前路面圖像，測(cè)試結(jié)果如圖4所示，測(cè)試結(jié)果表明訓(xùn)練后的網(wǎng)絡(luò)效果在實(shí)際應(yīng)用中也同樣較為理想。

5 結(jié)論

本文提出了一種基于Resnet-101深度學(xué)習(xí)網(wǎng)絡(luò)的路面類型識(shí)別方法。使用Resnet-101卷積神經(jīng)網(wǎng)絡(luò)對(duì)含有四種路面類型數(shù)據(jù)的數(shù)據(jù)集進(jìn)行訓(xùn)練，得到準(zhǔn)確率為98.33%的優(yōu)異模型，相對(duì)于其他遷移學(xué)習(xí)框架具有更高的準(zhǔn)確率，且在實(shí)際測(cè)試中得到了良好的驗(yàn)證結(jié)果。

資助項(xiàng)目：國(guó)家自然科學(xué)基金。

參考文獻(xiàn)：

[1]劉秋，張晉偉，張華，胡煦，顧亮.基于卷積神經(jīng)網(wǎng)絡(luò)的路面識(shí)別及主動(dòng)懸架控制[J].兵工學(xué)報(bào)2020.8（41）.

[2]肖旺新，張雪，黃衛(wèi)，嚴(yán)新平.路面破損自動(dòng)識(shí)別的一種新算法[J].公路交通技術(shù).2005，（11）.

[3]盧俊輝，巫世晶，蔡利民.基于車(chē)輪振動(dòng)的路面類型識(shí)別方法[M].CN200810047612.0.

[4]王世峰，孟穎，馬浩，劉偉.基于激光雷達(dá)的路面類型識(shí)別方法及裝置[M].CN201410777090.5.

[5]景維鵬，張明偉，林敬博.一種神經(jīng)網(wǎng)絡(luò)構(gòu)架搜索遙感圖像分類方法[J].哈爾濱理工大學(xué)學(xué)報(bào)2021.（01）.

[6]呂昊遠(yuǎn)，余璐，周星宇，鄧祥.半監(jiān)督深度學(xué)習(xí)圖像分類方法研究綜述[J].計(jì)算機(jī)科學(xué)與探索.2021-3-23.

[7]王躍，王衛(wèi)東，趙蕾，鄭天雷.基于遷移學(xué)習(xí)的胃鏡圖像自動(dòng)識(shí)別多分類系統(tǒng)的研究[J].中國(guó)醫(yī)療設(shè)備.2021.36（03）.

[8]MathWorks.DeepLearningToolbox[CP/OL]. https：//ww2.mathworks.cn/help.