基于卷積神經(jīng)網(wǎng)絡(luò)的路面濕滑狀態(tài)檢測(cè)系統(tǒng)

黃立紅，暢宏達(dá)，崔康柬，高俊英，李 瑾

（長(zhǎng)安大學(xué) 汽車學(xué)院，陜西 西安 710064）

在對(duì)車輛控制算法進(jìn)行穩(wěn)定性或軌跡控制進(jìn)行參數(shù)化時(shí)，路面摩擦系數(shù)是影響控制性能的一個(gè)重要模型參數(shù)，影響摩擦系數(shù)的一個(gè)主要因素是路面濕滑狀態(tài)。車輛行駛在濕滑道路上時(shí)，輪胎與路面間附著系數(shù)下降，導(dǎo)致車輛操縱穩(wěn)定性和行駛安全性下降，易引發(fā)道路交通事故。此外，對(duì)路面濕滑狀態(tài)進(jìn)行檢測(cè)是高級(jí)駕駛輔助系統(tǒng)和無(wú)人駕駛車輛完成道路環(huán)境感知的一項(xiàng)重要任務(wù)。因此，研究路面濕滑狀態(tài)對(duì)保障駕駛?cè)税踩?，減少道路交通安全事故，推動(dòng)駕駛輔助系統(tǒng)和無(wú)人駕駛的發(fā)展具有重要意義。

傳統(tǒng)圖像處理技術(shù)面臨的一個(gè)嚴(yán)峻問(wèn)題是人工分析和提取特征導(dǎo)致模型泛化能力弱。深度學(xué)習(xí)較傳統(tǒng)圖像處理技術(shù)有較高的檢測(cè)準(zhǔn)確率和較好的模型泛化能力，在圖像處理領(lǐng)域得到了廣泛應(yīng)用，為路面濕滑狀態(tài)檢測(cè)提供了新的解決方案。

鑒于此，本文從高級(jí)駕駛輔助系統(tǒng)和無(wú)人駕駛車輛對(duì)路面濕滑狀態(tài)檢測(cè)的實(shí)際需求出發(fā)，研究干燥、潮濕、積水和積水淹沒(méi) 4種瀝青路面識(shí)別技術(shù)和路面積水區(qū)域分割技術(shù)。針對(duì)路面濕滑狀態(tài)識(shí)別和積水區(qū)域分割問(wèn)題，結(jié)合遷移學(xué)習(xí)的路面濕滑狀態(tài)識(shí)別方法和全分辨率殘差網(wǎng)絡(luò)（Full-Resolution Residual Network, FRRN）的路面積水區(qū)域分割方法，設(shè)計(jì)一種路面濕滑狀態(tài)檢測(cè)系統(tǒng)。

1 路面濕滑狀態(tài)識(shí)別與分割網(wǎng)絡(luò)

1.1 路面濕滑狀態(tài)識(shí)別模型

2015年，Christian團(tuán)隊(duì)基于Google Inception Net結(jié)構(gòu)設(shè)計(jì)出第三代分類器 Inception V3。Inception V3是Google Inception Net系列網(wǎng)絡(luò)的典型代表，能夠較好地平衡網(wǎng)絡(luò)寬度和深度，擬合更復(fù)雜的特征輸入，提高網(wǎng)絡(luò)識(shí)別準(zhǔn)確率。鑒于此，本文采用Inception V3創(chuàng)建路面濕滑狀態(tài)識(shí)別模型。

本文建立一個(gè)基于 Inception V3的遷移學(xué)習(xí)模型進(jìn)行路面濕滑狀態(tài)識(shí)別。具體過(guò)程如圖 1所示。首先，通過(guò)遷移學(xué)習(xí)方法將基于ImageNet數(shù)據(jù)集訓(xùn)練的 Inception V3網(wǎng)絡(luò)權(quán)重參數(shù)作為新建網(wǎng)絡(luò)的初始權(quán)重，將Inception V3在ImageNet數(shù)據(jù)集上學(xué)習(xí)到的特征層遷移到目標(biāo)數(shù)據(jù)集，提取不同狀態(tài)路面的顏色、紋理和邊緣特征。然后，連接新建的頂層網(wǎng)絡(luò)（全連接層和 Softmax分類器），建立基于遷移學(xué)習(xí)的路面濕滑狀態(tài)識(shí)別模型。最后，在路面數(shù)據(jù)集上進(jìn)行訓(xùn)練，使頂層網(wǎng)絡(luò)適用于干燥、潮濕、積水和積水淹沒(méi)狀態(tài)路面的識(shí)別任務(wù)。

圖1 基于Inception V3的路面濕滑狀態(tài)識(shí)別流程

1.2 路面積水區(qū)域分割模型

本文采用FRRN創(chuàng)建路面積水區(qū)域分割模型。FRRN使用殘差流和池化流獲取多尺度的特征信息和高精度的位置信息，在保持出色識(shí)別性能的基礎(chǔ)上提高定位精度。殘差流保持完整的圖像分辨率，以全分辨率處理特征圖實(shí)現(xiàn)精準(zhǔn)邊界分割；池化流由一系列池化和上采樣操作組成，獲取上下文細(xì)節(jié)信息實(shí)現(xiàn)出色的識(shí)別效果。全分辨率殘差單元組（Full-Resolution Residual Units, FRRUs）將以上殘差流和池化流相連接，使網(wǎng)絡(luò)能夠同時(shí)獲得低層和高層特征。FRRN在沒(méi)有預(yù)訓(xùn)練模型權(quán)重的情況下也能在場(chǎng)景分割中顯示較強(qiáng)的邊界分割優(yōu)勢(shì)。

2 基于嵌入式的路面濕滑狀態(tài)檢測(cè)系統(tǒng)開(kāi)發(fā)

2.1 檢測(cè)系統(tǒng)總體設(shè)計(jì)

路面濕滑狀態(tài)檢測(cè)系統(tǒng)的功能主要包含路面濕滑狀態(tài)識(shí)別和積水區(qū)域分割，系統(tǒng)設(shè)計(jì)方案如圖2所示。通過(guò)USB相機(jī)采集路面圖像作為系統(tǒng)的輸入，通過(guò)由基于遷移學(xué)習(xí)的Inception V3積水狀態(tài)識(shí)別模型組成的路面濕滑狀態(tài)識(shí)別模塊，識(shí)別路面狀態(tài)，包括：干燥、潮濕、積水和積水淹沒(méi)。當(dāng)系統(tǒng)檢測(cè)到干燥或潮濕路面時(shí)，不進(jìn)行預(yù)警；當(dāng)檢測(cè)結(jié)果為積水路面時(shí)，進(jìn)一步通過(guò)由基于 FRRN的積水區(qū)域分割模型組成的積水區(qū)域分割模塊，獲取路面積水分布信息；當(dāng)系統(tǒng)檢測(cè)到淹沒(méi)路面時(shí)，不進(jìn)行積水分割，只進(jìn)行系統(tǒng)預(yù)警，報(bào)告此時(shí)路面狀態(tài)為積水淹沒(méi)。路面濕滑狀態(tài)與積水分布區(qū)域顯示在顯示器上。系統(tǒng)檢測(cè)的積水區(qū)域位置信息和積水淹沒(méi)道路的狀態(tài)信息可被發(fā)送給車輛和駕駛員，作為駕駛參考依據(jù)。

圖2 路面濕滑狀態(tài)檢測(cè)系統(tǒng)總體設(shè)計(jì)

2.2 硬件系統(tǒng)

本文以ARM+GPU的嵌入式處理器為基礎(chǔ)，搭建用于路面濕滑狀態(tài)檢測(cè)的嵌入式系統(tǒng)。系統(tǒng)硬件架構(gòu)如圖3所示，包含移動(dòng)蓄電池、逆變器、電源適配器、采集路面圖像數(shù)據(jù)的USB相機(jī)、處理圖像信息的Jetson TX2嵌入式開(kāi)發(fā)板、顯示檢測(cè)結(jié)果的顯示器。Jetson TX2通過(guò)逆變器和電源適配器與移動(dòng)蓄電池連接獲取電源。USB相機(jī)采集視頻流數(shù)據(jù)，通過(guò)相機(jī)內(nèi)置的視頻編碼組件將視頻流處理成合適的數(shù)據(jù)傳輸?shù)絁etson TX2。Jetson TX2通過(guò)CPU對(duì)輸入數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，然后采用GPU模塊加速圖像處理過(guò)程，包括圖像識(shí)別和分割。顯示器通過(guò)HDMI接口與Jetson TX2連接，顯示系統(tǒng)的檢測(cè)結(jié)果。通過(guò)與開(kāi)發(fā)板連接的外置鍵盤和鼠標(biāo)完成系統(tǒng)操控。

圖3 路面濕滑狀態(tài)檢測(cè)硬件系統(tǒng)

2.3 軟件系統(tǒng)

軟件系統(tǒng)框架如圖 4所示，包含參數(shù)初始化與模型加載、路面濕滑狀態(tài)識(shí)別、路面積水區(qū)域分割、檢測(cè)結(jié)果顯示與保存四部分。首先，進(jìn)行參數(shù)初始化，包括TensorFlow、Keras等依賴包的導(dǎo)入，路面濕滑狀態(tài)識(shí)別模型權(quán)重文件和積水區(qū)域分割模型權(quán)重文件的加載。然后，對(duì)圖像進(jìn)行預(yù)處理并識(shí)別路面濕滑狀態(tài)，當(dāng)且僅當(dāng)檢測(cè)到積水路面時(shí)，啟動(dòng)積水區(qū)域分割模塊對(duì)路面積水區(qū)域進(jìn)行分割。最后，將檢測(cè)結(jié)果顯示在顯示器上，并完成保存。

圖4 路面濕滑狀態(tài)檢測(cè)軟件系統(tǒng)

2.4 系統(tǒng)搭建

為了驗(yàn)證路面濕滑狀態(tài)檢測(cè)系統(tǒng)在實(shí)際應(yīng)用中的有效性和可靠性，搭建檢測(cè)設(shè)備，進(jìn)行多種天氣條件下路面濕滑狀態(tài)檢測(cè)試驗(yàn)。試驗(yàn)設(shè)備搭建如圖5所示。蓄電池通過(guò)連接逆變器和電源適配器為Jetson TX2開(kāi)發(fā)板提供電源。Jetson TX2分別與USB相機(jī)以及顯示器連接。其中，USB相機(jī)通過(guò)三腳架固定，相機(jī)高度為1 400 mm～1 480 mm，拍攝角度與水平方向成 37°～45°，通過(guò)調(diào)整相機(jī)高度以及拍攝角度使成像區(qū)域僅覆蓋道路。

圖5 路面濕滑狀態(tài)檢測(cè)試驗(yàn)場(chǎng)景

3 路面濕滑狀態(tài)檢測(cè)系統(tǒng)試驗(yàn)結(jié)果

3.1 路面濕滑狀態(tài)識(shí)別結(jié)果

表1以混淆矩陣的形式，給出了路面濕滑狀態(tài)檢測(cè)系統(tǒng)對(duì) 4種路面濕滑狀態(tài)的分類結(jié)果。如表1所示，檢測(cè)的路面圖像樣本總數(shù)為1 816張，分類正確的樣本數(shù)為 1 617張，故分類準(zhǔn)確率為89.04%。

表1 路面濕滑狀態(tài)分類混淆矩陣

3.2 路面積水區(qū)域分割結(jié)果

路面濕滑狀態(tài)檢測(cè)系統(tǒng)對(duì)積水路面的檢測(cè)試驗(yàn)分為三個(gè)場(chǎng)景：晴好天氣，陰天，雨天。將USB相機(jī)采集到的圖像尺寸裁剪為320×320，經(jīng)識(shí)別模型確定當(dāng)前輸入圖像為積水路面圖像，經(jīng)分割模型得到積水區(qū)域分割圖像。部分路面積水區(qū)域分割結(jié)果如圖6所示，第1列圖像是積水狀態(tài)識(shí)別結(jié)果，第2、3列圖像分別是積水區(qū)域分割結(jié)果和積水區(qū)域真實(shí)標(biāo)簽。圖 6(a)、6(b)、6(c)分別表示在晴好天氣、陰天、雨天條件下，路面濕滑狀態(tài)檢測(cè)系統(tǒng)對(duì)積水路面的識(shí)別和對(duì)其積水區(qū)域的分割結(jié)果。

圖6 路面積水區(qū)域分割結(jié)果

4 結(jié)論

本文從高級(jí)駕駛輔助系統(tǒng)和無(wú)人駕駛車輛對(duì)路面濕滑狀態(tài)檢測(cè)的實(shí)際需求出發(fā)，研究干燥、潮濕、積水和積水淹沒(méi) 4種瀝青路面識(shí)別技術(shù)和路面積水區(qū)域分割技術(shù)。針對(duì)不同氣候環(huán)境下瀝青路面濕滑狀態(tài)識(shí)別問(wèn)題，提出一種基于遷移學(xué)習(xí)的路面積水狀態(tài)識(shí)別方法。針對(duì)路面積水區(qū)域分割問(wèn)題，基于 FRRN卷積神經(jīng)網(wǎng)絡(luò)，完成對(duì)路面積水區(qū)域的分割。此外，設(shè)計(jì)了一種基于Jetson TX2嵌入式平臺(tái)的路面濕滑狀態(tài)檢測(cè)系統(tǒng)，在實(shí)際場(chǎng)景中系統(tǒng)對(duì)路面濕滑狀態(tài)識(shí)別準(zhǔn)確率達(dá)到了89.04%，且能有效分割出路面積水區(qū)域，驗(yàn)證了系統(tǒng)識(shí)別準(zhǔn)確性、分割精度和時(shí)效性。