基于YOLOv7與JetsonOrin的路面破損檢測系統(tǒng)的設(shè)計與實現(xiàn)

涂宙霖 陳涵深

關(guān)鍵詞：YOLOv7；Jetson Orin；路面破損檢測；深度學(xué)習(xí)

0 引言

近年來，我國公路交通事業(yè)得到了快速發(fā)展，國家公路網(wǎng)不斷建成，截至2021年底，全國公路總里程達到528.07 萬公里，公路養(yǎng)護里程達到525.16 萬公里[1]。隨著國家公路網(wǎng)的不斷建設(shè)和運營，公路養(yǎng)護需求與日俱增，公路日常養(yǎng)護問題變得日益突出，交通路面的破損，如凹坑、裂縫、坑井以及塌陷[2]等異常問題直接影響交通效率和行車安全。國務(wù)院發(fā)布的《“十四五”現(xiàn)代綜合交通運輸體系發(fā)展規(guī)劃》明確提出，要加強交通基礎(chǔ)設(shè)施養(yǎng)護，加大養(yǎng)護新技術(shù)推廣力度[3]。因此，為加強道路養(yǎng)護，更好地保障道路質(zhì)量和安全，對路面破損進行快速、準(zhǔn)確的檢測已成為當(dāng)務(wù)之急。

公路路面檢測主要分為人工檢測和自動化檢測兩類方法，由于人工檢測成本高、效率低、主觀性強等弊端，無法滿足路面破損快速、準(zhǔn)確檢測的要求[4]。隨著傳感器、機器視覺、人工智能等新技術(shù)的發(fā)展，自動化檢測系統(tǒng)已成為研究熱點。國內(nèi)外已有不少公司開發(fā)出商用路面檢測系統(tǒng)：如美國PSI 公司的Path?Runner 多功能道路檢測車[5]、加拿大Fugro Roadware 公司的ARAN系統(tǒng)[6]、國內(nèi)中公高科的CiCS多功能快速檢測車[7]和武大卓越科技的ZOYON-RTM智能道路檢測系統(tǒng)[8]。這些商用路面檢測系統(tǒng)較多應(yīng)用于路面質(zhì)量的周期性檢測和評估，售價基本在百萬元級別，成本較高、無法推廣到日常路面巡檢工作。缺乏高性價比的自動化檢測設(shè)備，嚴(yán)重制約了檢測效率的提升和信息化管理系統(tǒng)的作用。

因此，研究一種檢測性能達到人工巡檢的診斷水平，同時又具有較低成本的路面破損自動化檢測系統(tǒng)具有深遠的意義。本文針對上述問題，設(shè)計了一種基于深度學(xué)習(xí)模型YOLOv7與邊緣檢測設(shè)備Jetson Orin 的路面破損檢測系統(tǒng)，利用攝像頭拍攝圖像，邊緣計算設(shè)備Jetson Orin進行圖像處理，利用YOLOv7算法進行路面破損檢測。該系統(tǒng)體積小、性能強、算法準(zhǔn)確率高，可部署在普通的家用汽車進行道路破損實時檢測。

1 系統(tǒng)總體框架

系統(tǒng)整體設(shè)計如圖1所示，整個系統(tǒng)包含以下幾個模塊：圖像采集傳感器、路面破損檢測主機、顯示器、GPS模塊。

1.1 圖像采集傳感器

圖像采集傳感器可采用兩種方案，一種方案是選用羅技的StreamCam攝像頭，該USB攝像頭支持拍攝每秒60幀1080p Full HD的畫面，具備自動對焦及調(diào)整曝光，并采用USB-C 連接，實測效果很好；另一種方案選用?？低昅V-CA020-10GC工業(yè)相機，傳感器型號為IMX430，傳感器類型為CMOS，耙面尺寸為1/1.7″，像元尺寸為4.5μm，分辨率為1624×1240，最大幀率為60fps，GigE接口，選用鏡頭焦距為12mm，最大光圈F1.8。

1.2 破損檢測系統(tǒng)主機

破損檢測系統(tǒng)主機使用NVIDIA?最新的JetsonOrin開發(fā)套件，算力高達275 TOPS，性能是上一代產(chǎn)品Jetson AGX Xavier的8倍，適用于多個并發(fā)AI 推理管道，此外它還可以通過高速接口連接多個傳感器。主要配置為CPU：12 核Arm Cortex-A78AE v8.2 64 位處理器，具有3MB L2+6MB L3緩存，GPU具有2048個NVIDIA CUDA 內(nèi)核和64 個張量內(nèi)核@1GHz，采用NVIDIA Ampere 架構(gòu)；內(nèi)存32GB 256 位LPDDR5 @204.8 GB/s，硬盤為64GB eMMC 5.1 閃存，具有3 個USB3.2，整機功耗在15～50W可設(shè)定。

1.3 GPS 模塊

GPS模塊選用深圳星河微G6301模塊，內(nèi)部采用ublox M8030 解決方案，支持GPS+GLONASS 雙模定位，內(nèi)置FLASH，USB 供電，自適應(yīng)1200～921600 波特率，1Hz輸出，NMEA-0183協(xié)議輸出。

2 軟件設(shè)計

如圖2所示，整個系統(tǒng)主要分為兩大模塊組成，第一部分為邏輯界面模塊，主要負(fù)責(zé)圖像輸入、圖像預(yù)處理、結(jié)果可視化等功能；第二部分為系統(tǒng)算法，實現(xiàn)路面破損的識別和分析功能。

路面破損檢測算法主要完成路面破損的自動識別，工作流程如圖3所示，采用YOLOv7識別當(dāng)前圖像中的路面缺陷的類型及缺陷位置，并且輸出的結(jié)果可以用于計算路面破損狀況指數(shù)（PCI） 值。

3 深度學(xué)習(xí)算法

3.1 YOLOv7算法

YOLO算法作為one-stage目標(biāo)檢測算法最典型的代表，其基于深度神經(jīng)網(wǎng)絡(luò)進行對象的識別和定位，運行速度很快，可以用于實時系統(tǒng)。YOLOv7 是目前YOLO系列最先進的算法，在準(zhǔn)確率和速度上超越了以往的YOLO系列。在5～160 幀/s范圍內(nèi)，其速度和精度都超過了多數(shù)已知的目標(biāo)檢測器，在GPU V100 已知的30 幀/s 以上的實時目標(biāo)檢測器中，YOLOv7 的準(zhǔn)確率最高[9]。YOLOv7的檢測思路與YOLOv4、YO?LOv5相似，YOLOv7整體的網(wǎng)絡(luò)架構(gòu)圖如圖4所示：

從圖4可以看出，將neck層與head層合稱為head 層，實際上功能是一樣的。首先，先對輸入圖片預(yù)處理，對齊成640×640大小的RGB圖片，輸入backbone 網(wǎng)絡(luò)中，根據(jù)backbone網(wǎng)絡(luò)中的三層輸出，在head層通過backbone網(wǎng)絡(luò)繼續(xù)輸出三層不同size大小的fea?ture map，經(jīng)過RepVGG block 和conv，對圖像進行預(yù)測，輸出最后的結(jié)果。YOLOv7的backbone層由若干BConv 層、E-ELAN 層以及MPConv 層組成，其中BConv層由卷積層+BN層+激活函數(shù)組成。YOLOv7 的head 層通過SPPCPC 層、若干BConv 層、若干MP?Conv 層、若干Catconv 層以及后續(xù)輸出三個head 的RepVGG block層組成[10-12]。

3.2 模型訓(xùn)練

3.2.1 硬件環(huán)境

實驗的軟硬件環(huán)境如圖5所示，硬件為組裝的兼容機，CPU 為Intel i5-8500 處理器，24G DDR4 內(nèi)存，256G硬盤和一塊Nvidia GTX3090 GPU。軟件的操作系統(tǒng)為Ubuntu18.04 64位。

3.2.2 訓(xùn)練數(shù)據(jù)集

本文采用數(shù)據(jù)集為全球開放數(shù)據(jù)創(chuàng)新應(yīng)用大賽道路路面病害智能分析算法賽道的公開數(shù)據(jù)集。該數(shù)據(jù)由車載監(jiān)控相機拍攝的道路病害圖像，圖像數(shù)據(jù)為RGB JPG 圖像，分辨率為1600×1184，包含訓(xùn)練集6000張，測試集A榜2000張，測試集B榜6000張。由于原數(shù)據(jù)集樣本標(biāo)注一致性較差，所以召集了三位專業(yè)人員進行標(biāo)識框和類型重新標(biāo)注，把道路病害分為4個類型：裂縫1、井蓋2、坑槽3、修補4。本文把原訓(xùn)練集和測試集A榜作為本文模型的訓(xùn)練集（總計8000 張），測試集B榜中隨機選取3000個樣本作為驗證集，用于模型調(diào)參。

3.2.3 訓(xùn)練過程

YOLOv7直接使用官方的PyTorch源碼，但對圖像增強方法中的一些參數(shù)做了適當(dāng)修改，包括尺度變化設(shè)定為0.7，透視變換設(shè)置為0.001，隨機馬賽克系數(shù)為0.5，混淆系數(shù)為0.1，去除上下隨機翻轉(zhuǎn)，去除HSV隨機變化，以此來保障變換后的路面圖像仍能保存真實性。輸入圖像分辨率設(shè)定為960×960，訓(xùn)練周期為200，其他參數(shù)使用默認(rèn)值。

4 系統(tǒng)展示

4.1 系統(tǒng)原型機

組裝后的手持原型主機如圖6、圖7所示，手持操作時使用充電寶升壓供電，安裝在汽車上時可通過車站充電器供電，原型機可以實時采集路面圖像進行識別，準(zhǔn)確率達到85%以上，檢測速率為15FPS。

4.2 實際道路測試

把原型機的攝像頭安裝在汽車的擋風(fēng)玻璃上，主機放置在車輛上，研究開發(fā)的軟件設(shè)置成自動啟動后，Jetson Orin主機重啟后就會自動運行“路面破損自動檢測軟件”軟件，程序運行后，軟件實時顯示路面圖像，如圖8所示。

盒子上安裝一個按鈕，用于控制是否啟動路面破損狀況檢測，當(dāng)用戶按下該按鈕時，系統(tǒng)就會調(diào)用內(nèi)部的路面破損識別模塊，進行實時識別和數(shù)據(jù)上報。當(dāng)路面不存在破損時，在圖像上方顯示綠色文字信息，內(nèi)容為當(dāng)前坐標(biāo)信息；當(dāng)路面存在破損時，如圖9 所示，就會根據(jù)破損類型使用不同顏色的邊框進行區(qū)域標(biāo)注顯示，同時圖像上方顯示內(nèi)容變成紅色，并增加顯示破損類型和破損等級。

5 結(jié)束語

本文設(shè)計了一種基于YOLOv7模型與邊緣檢測設(shè)備Jetson Orin的路面破損檢測系統(tǒng)，支持USB攝像頭或者工業(yè)相機進行道路圖像采集，利用邊緣計算設(shè)備Jetson Orin進行圖像預(yù)處理，選用YOLOv7模型進行道路破損檢測，模型的訓(xùn)練和驗證上使用全球開放數(shù)據(jù)創(chuàng)新應(yīng)用大賽道路路面病害智能分析算法賽道的公開數(shù)據(jù)集，可檢測出裂縫、井蓋、坑槽、修補四種類型的缺陷。系統(tǒng)體積小、成本低、性能強、算法準(zhǔn)確率高，可部署在普通的家用汽車進行道路缺陷實時檢測。