基于改進YOLOv5-DeepSORT算法的公路路面病害智能識別

高明星,關雪峰,范井麗,姚立慧

(1.內蒙古農業大學 能源與交通工程學院,呼和浩特 010018;2.內蒙古路橋集團有限責任公司,呼和浩特 010051;3.赤峰市公路管護與運輸保障中心,赤峰 024000)

0 引言

裂縫與坑洞是路面中出現較多的病害類型,其嚴重影響路面結構的強度及駕駛安全,因此快速準確檢測路面病害信息并清晰直觀傳達給養護作業人員具有重要的工程意義。傳統的公路養護檢測方式大多采用人工作業,由于作業周期長、主觀性強和影響交通等,很難適應公路養護快速發展的需求。對于公路檢測車這種路面病害檢測方式,只能獲取行駛車道上病害的局部特征,且采集質量與路況呈現正相關,在顛簸路面采集的照片往往存在大量失焦與運動模糊情況。近年來,結合無人機(UAV)與機器視覺的檢測方法受到大量關注[1-3]。

傳統機器視覺的道路病害檢測方法是通過人工提取單一病害的相應特征進行檢測,容易受多種干擾因素影響,普適性較差,如程玉柱等[4]基于布谷鳥算法搜索路面裂縫,通過得到分割閾值實現裂縫識別,但由于實際情況中背景復雜,導致閾值的泛化性較差,實際工程價值較低。唐偉等[5]結合改進MASK勻光與K-means聚類方法實現對橋梁裂縫的提取,改善亮度對提取效果的影響,但該方法考慮的影響因素較少,普適性較差。

隨著近年來深度學習技術高速發展,各種道路病害檢測方法得到了井噴式的研究和應用[6-8]。Zhang等[9]將深度卷積神經網絡用于裂縫信息提取的研究中,該算法展現出比傳統方法更高的準確度。Mandal等[10]研究了CSPDarknet53、Hourglass-104和EfficientNet 等不同骨干模型對裂縫識別的效果,最后YOLO模型取得最佳效果,得到了59%準確率和57.3%召回率。李海東[11]利用二階段目標檢測算法Faster R-CNN模型檢測路面破損,獲得了較高的準確率和召回率,但其無法滿足實時性的要求。章世祥等[12]采用Mask R-CNN實現對路面裂縫的檢測與分割,但只能對單幀圖片中的病害做出實例分割。斯新華等[13]基于YOLOv4實現對橋梁鋼結構表面病害的檢測,但檢測精度只達到70.8%,精度較低。羅暉等[14]基于Focal loss改進YOLOv4進行路面病害檢測,與其他目標檢測方法相比,檢測精度較高。廖延娜等[15]通過熱力圖改進YOLOv4解決檢測框重疊及定位問題,這種方法可以解決裂縫在一張圖片中被重復檢測的問題,但當同一裂縫在不同照片中重復出現時,仍會被重復檢測。李永上等[16]通過改進YOLOv5s網絡與DeepSORT網絡實現對監控視頻下的車流量計數,但其未驗證在運動場景下的檢測性能。

通過對研究現狀分析發現,目前大多數利用深度神經網絡檢測病害的方法研究了路面復雜紋理及表面干擾對病害識別的影響,針對排除圖像中路域以外干擾信息的研究較少。實際檢測過程中為快速收集路面病害信息,通常會采取錄制視頻或是設定拍攝間隔閾值進行拍照采集,因此在連續幀圖像中會出現大量重復的病害信息,傳統的檢測算法只可根據類別信息對檢測到的病害分類保存,無法進一步區分重復出現的病害,造成大量冗余的檢測結果,導致檢測人員進行篩選耗時較長,實際工程價值較低。多數研究側重于獲得病害在圖片中的形位信息,忽略了檢測路段總體的病害數量信息。檢測車通常只能采集其行駛路線上的局部病害信息,不能獲取待檢公路的全局病害信息。

綜合以上問題,為保證在多尺度與復雜背景情況下檢測路面病害的準確性與實時性,本研究提出一種基于改進YOLOv5-DeepSORT與無人機系統的路面病害檢測與重識別方法。改進的檢測算法與主流檢測算法相比,在保持輕量高效的同時,能準確檢測出路面病害,構建的病害重識別二級檢測機制實現對病害的重識別與量化統計,較原模型的計數精度有較大提升。

1 理論基礎

1.1 YOLOv5目標檢測算法

在目標檢測任務中,模型通常分為單階段與雙階段2種,YOLO模型是一種高效準確的單階段目標檢測模型[17-20],雙階段目標檢測算法則以R-CNN系列為代表,YOLOv5算法在檢測無人機采集的數據時精度及速度達到了較好的平衡[21],因此本研究選擇YOLOv5算法作為多尺度道路病害檢測任務的基準模型。其網絡結構大致分為3個部分:Input輸入端、Backbone主干網絡、Head輸出端。第一部分輸入端控制著檢測的類別數(nc)、通道的縮放系數(depth_multiple)、C3模塊層的縮放系數(width_multiple)及錨框(anchors)個數,并在訓練階段使用自適應錨框計算和馬賽克(Mosaic)數據增強等方法;第二部分主干網絡實現特征提取功能,包括Focus模塊、Conv模塊、C3模塊和空間金字塔池化(SPP)[22]模塊;第三部分Head分為2個結構,結構1是基于PANet的特征融合模塊,結構2為檢測頭部分,負責提取模型檢測結果,結構如圖1所示。

圖1 YOLOv5模型網絡結構Fig.1 YOLOv5 model network structure

1.2 基于DeepSORT的病害統計

在檢測車或無人機采集的道路視頻畫面中,由于畫面的連續性,同一個病害會出現在不同幀的畫面中,這往往需要大量時間剔除重復出現的病害,而傳統的目標檢測算法無法對重復出現的病害進行判斷,因此本研究利用多目標跟蹤算法(DeepSORT)提取視頻中出現的路面病害特征,并對每個目標進行軌跡跟蹤及ID分配,通過OpenCV模塊構建計數單元與效果可視化,實現快速直觀篩查重復病害并統計檢測路段中的病害數量信息。

DeepSORT算法為SORT算法的改進版本,SORT算法首先使用卡爾曼濾波算法(Kalman filetr)來預測目標的運動狀態,然后將軌跡預測框與目標檢測網絡輸出預測框的IOU 值作為匹配因素,通過匈牙利算法(Hungarian algorithm)完成數據匹配,實現目標跟蹤,SORT算法運算較快,但當病害被車輛遮擋后重新出現時會存在病害ID變化的問題。DeepSORT在SORT基礎上對新產生的軌跡進行篩選,將新軌跡分為確定態和不確定態,對于確定態的軌跡,其在和預測框連續失配30次后被刪除,而不確定態的軌跡,必須和預測框連續匹配3次才能轉為確定態。DeepSORT算法結合運動特征和外觀特征來計算代價矩陣,其通過引入神經網絡提取的目標特征信息作為匹配準則,利用目標檢測預測框與軌跡預測框之間的馬氏距離(Mahalanobis distance)表示目標的運動特征,計算目標框與軌跡框之間的余弦距離作為目標的外觀特征,并對兩者加權求和得到代價矩陣,進而根據該代價矩陣使用匈牙利算法進行目標的匹配。其利用級聯匹配解決目標被遮擋時的 ID 切換問題,級聯匹配根據丟失目標的次數對軌跡進行優先級排序,對更活躍的軌跡進行優先級排序可以顯著減少 ID 切換。即該算法主要分為軌跡跟蹤模塊和數據匹配模塊,其中軌跡跟蹤模塊通過匹配軌跡和目標框進行卡爾曼濾波預測和更新,數據匹配模塊利用級聯匹配和IOU匹配將軌跡框與目標框關聯。

OpenCV(Open Source Computer Vision Library)是一款常用的處理計算機視覺問題的開源軟件庫,本研究通過該軟件庫中的函數將DeepSORT的跟蹤與病害計數結果可視化。

2 改進的YOLOv5路面病害檢測算法

針對公路路面病害檢測過程中存在病害尺度變化大、無人機視角下存在過多的路域復雜背景和檢測框精度差等問題,本研究對YOLOv5網絡結構提出3點改進,命名為ECB-YOLOv5,結構如圖2所示。一是通過構建ECIoU損失函數替換GIoU損失函數,本研究將EIOU[23]的寬高損失和CIOU[24]的橫縱比引入GIoU損失函數中,提升預測框的預測結果,加快模型的回歸速度;二是在原PANet[25]的特征融合網絡結構上結合BiFPN[24]網絡結構的思想,將Backbone第6層輸出的中等尺度特征與中等尺度的檢測頭之間添加了新的特征融合通路,以構建新的重復多尺度特征融合模塊,使得模型融合更多尺度的特征信息,提升模型對多尺度病害的檢測能力;三是將坐標注意力機制(Coordinate Attention)[27]加入Backbone第10層,使模型更加關注病害特征,減少模型對路域外的物體做出誤檢,并提升檢測精度。

圖2 ECB-YOLOv5網絡結構Fig.2 ECB-YOLOv5 network architecture

2.1 損失函數的改進

YOLOv5用以計算預測框(predicted box,PB)和真實框(ground truth,GT)差距的函數為GIoU損失函數表示,其原理是找到最小封閉矩形A,從而計算損失,見式(1)和式(2)。

(1)

LGIoU=1-GIoU。

(2)

式中:GIoU為表示廣義交并比;LGIoU為GIoU損失函數;IOU為預測框與真實框的交并比;SA、SPB和SGT分別表示各框的面積。

GIoU通過重疊面積計算損失,但當檢測框包含真實框時則會導致GIoU失效。目前多數研究將GIoU損失改進為CIoU損失,其通過計算中心點距離和縱橫比,提升了模型的檢測精度并加快了收斂速度,見式(3),其中縱橫比計算因子見式(4)和式(5)。

(3)

(4)

(5)

式中:b和bgt為PB和GT中心點坐標;ρ為上述2點的歐式距離;c為能夠同時包含PB和GT的最小外接框的對角線距離;α·v代表預測框縱橫比擬合真實框縱橫比的因子;α代表權重函數;v代表長寬比;w、wgt和h、hgt分別表示PB和GT的寬度和高度。

但縱橫比描述的是相對值,并不能精確表達預測框長寬與真實框長寬的差距。本研究提出一種新的損失函數ECIoU,該損失函數與CIoU相比精確地計算了寬度損失及高度損失,見式(6)。

(6)

式中:LECIoU為ECIoU損失函數;Cw和Ch表示覆蓋PB和GT的最小外接框的寬度和高度。

相比于GIoU損失函數ECIoU損失函數進一步增強損失函數的表達并加速模型收斂,提升模型的預測精度。

2.2 基于注意力機制的改進

注意力機制目前在神經網絡中的應用非常廣泛,其可使模型關注關鍵區域,即強化重要信息并抑制無效信息,同時起到結合全局信息的作用。本研究通過合理的添加注意力機制提升模型在復雜背景中準確定位病害位置的能力。主流的注意力算法會同時計算通道注意力與空間注意力,這會大大降低YOLOv5s這種輕量模型的計算速度。坐標注意力機制(Coordinate Attention,CA)將位置信息嵌入到了通道注意力中,從而快速獲取對方向和位置敏感的特征圖,增加模型的檢測精度,使網絡能在避免大量計算開銷的前提下參與較大的區域特征計算,結構如圖3所示。

圖3 CA模塊Fig.3 Coordinate Attention module

(7)

(8)

(9)

對于坐標注意力生成部分,首先級聯(concat)之前模塊生成的2個特征圖,依次使用1×1卷積(Conv2d)、歸一化模塊(BN)和非線性激活函數(Act)生成中間特征圖f,接下來沿著水平和豎直將f切分(Split)成2個單獨的張量,再次使用1×1卷積(Conv2d)和激活函數(sigmoid)變換將2個張量變換為具有相同通道數的注意力圖,最終將2個注意力圖與輸入特征圖相乘來形成對方向和位置敏感的注意力權重。

2.3 特征融合網絡的改進

YOLOv5的特征融合模塊為路徑聚合網絡(PANet),如圖4(a)所示,首先通過一條自上而下的通路進行特征融合,獲得具有更高語義信息的特征圖,有利于物體分類;其次通過一條自下而上的通路,獲得具有更多位置信息的特征圖,有利于物體定位。EfficientDet中提出的雙向特征金字塔網絡(BiFPN)結構如圖4(b)所示,其中虛線部分可使模型重復獲取初始特征信息,其使用的帶權重的特征融合機制一定程度上提升了網絡獲取特征的能力,但增加了模型計算復雜度。

圖4 特征融合網絡Fig.4 Feature fusion network

本研究構建的重復特征融合網絡結構如圖4(c)所示,為簡化模型結構并降低計算量,在PANet網絡結構的基礎上增加一條傳遞初始特征信息的通路,增強了模型對特征的提取能力,并使用級聯融合作為新結構的特征融合機制,減少加權帶來的計算復雜度。

3 試驗與分析

3.1 數據集建立

目前公開的路面病害數據集均由手持設備或是道路檢測車拍攝,只包含局部的路面病害信息。為獲得完整的公路病害信息,本研究利用無人機采集病害的宏觀信息并結合道路檢測車獲取病害微觀信息,以此來構建具有多尺度病害及復雜背景的路面病害數據集。在采集階段為保證采集質量、飛行安全、交通安全且綜合考慮光照條件、拍攝角度和偏移距離等因素,設定無人機勻速飛行并垂直向下拍攝,使用的無人機型號為DJI Mini2,采集效果如圖5所示。

圖5 無人機采集的病害圖片Fig.5 Disease pictures collected by UAV

為對所提出的ECB-YOLOv5網絡進行訓練驗證,構建了1個含有940張圖片的公路路面病害數據集。該數據集由自行采集的700張病害圖片及部分公開數據集[28]中收集的240張圖片構成,按照8.5∶1.5的比例劃分為訓練集和驗證集,并進行統一的細粒度標注。本研究直接在訓練階段進行數據增強,因此未使用增強方式對數據集進行擴充。

3.2 模型訓練及評價標準

模型訓練均基于云平臺,其顯卡為Tesla V100 GPU,32.0 GB內存,試驗模型基于Python3.8計算機語言及PyTorch深度學習框架構建[29]。因本研究對YOLOv5模型結構進行了修改,為保證訓練結果具有可比較性,均不使用預訓練權重訓練,且在訓練時使用統一的超參數。參與網絡進行訓練的單個批次圖片示例如圖6所示,超參數數值與數據增強方式概率見表1。

表1 超參數配置Tab.1 Hyperparameters

圖6 參與訓練的圖片Fig.6 Take part in the training picture

在訓練階段,模型訓練效果良好,損失函數曲線如圖7所示,其中box_loss為ECIoU損失函數均值,該數值代表檢測框的準確程度。obj_loss判斷每個網格是否存在物體,該數值代表目標檢測準確程度。cls_loss為分類損失均值,該數值代表分類準確程度。經過300輪訓練后,box_loss、obj_loss、cls_loss均低于0.03,逐漸趨于穩定,說明在訓練階段ECB-YOLOv5網絡模型各項超參數設置合理,學習效果較為理想。

圖7 訓練中各損失數值Fig.7 The value of each loss in training

采用mAP50、FPS(Frames Per Second)、F1分數和GFLOPs等指標作為模型性能的評價指標。mAP50表示IoU閾值為0.5時模型裂縫與坑槽的平均檢測精度,反映模型對不同類別目標的綜合識別能力,以mAP表示;FPS是指模型每秒推斷幀數,用于衡量模型的速度指標,試驗結果基于本地平臺GTX960M顯卡計算得出;F1分數為P(精確率,Precision)和R(召回率,Recall)的調和平均值,可以為類別數量不均衡情況下模型的性能提供綜合評價;GFLOPs為1時代表每秒10億次的浮點運算,用于衡量訓練模型時的計算復雜度。

3.3 模塊性能驗證

為驗證本研究提出的損失函數的有效性,分別訓練以GIOU、EIOU及ECIOU作為損失函數的YOLOv5s模型,訓練結果見表2。試驗結果表明使用ECIOU損失函數的mAP相較于使用GIOU的YOLOv5s模型提升0.32%,較EIOU損失函數提升0.14%。GFLOPs值未改變,說明模型的復雜度基本不變。因此證明ECIoU有更好的性能,在后續的試驗中均使用ECIoU作為模型的損失函數。

表2 不同損失函數訓練結果Tab.2 Results of different loss function training

2)注意力模塊性能驗證

通過對比TR[30]自注意力模塊(Transformer),CBAM[31](Convolutional Block Attention Module)注意力模塊及CA注意力模塊驗證注意力機制對提升病害檢測能力的有效性,試驗結果見表3。模型1為基準網絡的訓練結果,模型2在基準網絡基礎上加入了CA注意力機制,與基準模型相比GFLOPs值未改變,mAP提升1.21%,FPS降低0.78幀/s,說明CA注意力模塊可以有效提升模型對于病害的檢測精度,但檢測幀率有所下降。在基準網絡加入CBAM的模型3相較于基準模型,GFLOPs增大0.2,mAP降低1.43%,FPS降低3.23幀/s,模型4在基準模型增加TR模塊后GFLOPs增大0.3,mAP降低5.14%,FPS降低3.68幀/s,說明CBAM與Transformer模塊在基于YOLOv5s的無人機多尺度路面病害檢測任務中不能合理分配注意力權重,且占用更多的計算資源;在模型5和模型6訓練結果中mAP分別降低0.86%、2.97%,且網絡計算復雜度進一步加大,mAP值與單獨使用CA及CBAM的模型相比較低,說明注意力機制與自注意力機制的結合并不能增強YOLOV5s模型對路面病害的檢測效果。綜合分析試驗結果,CA注意力機制可以提升模型對病害的檢測精度且FPS降低程度最小,可以滿足精確度與實時性的要求,因此本研究選擇CA注意力機制對YOLOv5s模型改進。

表3 注意力模塊選擇試驗Tab.3 Attention module selection experiment

3.4 改進模型消融試驗

為驗證提出的ECB-YOLOV5模型的有效性,本研究逐步累加改進方法對模型進行性能驗證,試驗結果見表4。在消融試驗中:試驗2結果表明,使用ECIOU損失函數替換GIOU損失函數,mAP提升0.32%,GFLOPs未增加,FPS保持不變;試驗3表明,CA注意力機制與ECIOU損失函數的結合在未增加大量計算量的情況下,模型性能提升較大,mAP較試驗2增加了1.53%;試驗4在試驗3基礎上加入了改進重復特征融合網絡,mAP比基準模型提升3.11%,比試驗3提升1.58%,GFLOPs增加0.3,模型復雜度略微提升,F1分數增加了2.49%,表明改進模型在處理病害數量分布不均勻的數據集時預測效果更好。由上述試驗可見,隨著模塊逐漸加入,mAP逐步提升,F1分數總體呈現上升趨勢,驗證了本研究改進的模型對于公路路面病害檢測的有效性。FPS在加入注意力機制和新的特征融合網絡之后略微下降,但仍能滿足實時檢測的要求。

表4 改進模型消融試驗Tab.4 Improved model ablation experiment

訓練結果證明了建立的改進模型的有效性,與基準模型的mAP隨著訓練輪次的變化曲線如圖8所示,由圖8可明顯看出迭代輪次在0～70時,mAP提升速度較快,隨后增長速率放緩;迭代輪次在240后,mAP逐漸趨于平穩,模型訓練情況穩定。在mAP快速增長階段,達到同樣的mAP改進模型所需的訓練輪次更短,在mAP緩慢增長階段,改進模型達到了更高的mAP值。

(1) 該3-面為(3,3,7)-面,由R2.1和R3.3得3-面和面上的3-點最多從7-點拿走的權值為

圖8 mAP變化曲線Fig.8 mAP change curve

3.5 經典算法對比試驗

為驗證本文的改進網絡相對于目前主流目標檢測算法的優勢,選擇mAP與FPS作為評價指標并將改進模型與主流目標檢測網絡模型在本研究構建的數據集中進行對比試驗,其中FPS統一由RTX A5000 GPU計算得出。試驗結果見表5。

表5 經典算法對比Tab.5 Comparison of classical algorithms

本研究改進YOLOv5模型的平均檢測精度最高,與Faster R-CNN、SSD、CentNet、RetinaNet、Efficientdet、YOLOv3、YOLOv4相比,改進模型的mAP分別提升了21.33%、11.63%、13.75%、41.94%、55.67%、21.13%、44.42%;FPS分別提升了63.36、41.49、18.88、42.92、56.23、38.37、48.88。

各模型平均檢測精度與檢測速度的關系如圖9所示,X軸從左至右檢測速度遞減,Y軸從下至上檢測精度遞增,可見改進模型處于圖中左上角位置,與其余主流算法相比,本研究改進算法在檢測速度與平均檢測精度均達到最值。該模型計算復雜度低可在低算力平臺部署,便于在實際工程環境中運用。

圖9 幀率與平均檢測精度Fig.9 FPS with mAP

4 病害檢測與統計驗證

4.1 實際場景下病害檢測效果

為評估改進算法在實際場景中對不同尺度病害的檢測性能,在5種典型場景中對YOLOv5模型與ECB-YOLOv5模型進行檢測效果對比,如圖10所示,圖中實線框為模型檢測結果,白色虛線框為對檢測不準確位置進行的人工標注。

圖10(a)是在無人機高空拍攝場景下的檢測效果對比,該場景中病害尺度較小,道路周圍背景復雜,原模型在白框處對同一病害做出重復檢測,改進后的算法準確檢測出所有目標病害,說明改進模型能夠精準識別小目標并有效降低誤檢。圖10(b)是模型在光照不良圖像中對病害的檢測效果對比,圖中白框為原模型預測框相較改進模型預測框冗余的部分,通過計算2個模型預測框與標注框的交并比得出,改進模型的預測框精度提升了23.3%,說明改進模型在低光照強度情況下預測框更加精確。圖10(c)是在路面存在干擾情況下的檢測效果對比,見圖中白框,原模型未能排除車道線的干擾,只識別出局部裂縫,改進模型預測框精度較原模型提升了22.2%。圖10(d)中由于無人機高速飛行導致采集的圖像產生運動模糊的情況且存在小目標,改進模型準確檢測出所有病害,而原模型在白框處誤檢1處病害,說明改進算法在無人機高速飛行情況下具有較好的魯棒性。圖10(e)為相機失焦情況下的檢測對比,2種模型均可以檢測出路面病害。結合5種典型情況下的病害檢測結果分析,本研究的改進算法對復雜背景下的多尺度病害具有更好的檢測能力。

4.2 病害跟蹤統計

為實現對病害的全局檢測與重識別,通過無人機獲取路面信息,并基于YOLOv5-DeepSORT算法提取每個病害的全局特征信息并賦予唯一編號,實現對病害的重識別。通過編號信息與類別信息的雙重限定,即可快速準確剔除重復的病害信息。

為實現上述效果,建立了基于YOLOv5-DeepSORT的二級檢測器結構。病害計數過程如圖11所示,首先通過獲取目標檢測器檢測框的左下角坐標作為標記點,其次通過OpenCV軟件庫在無人機檢測畫面的下方設置2條檢測帶,隨著無人機向前飛行,當標記點被上方藍色檢測帶感應到時,該編號病害將被儲存在緩存空間中,若繼續前進使標記點被第2條檢測帶捕獲,該編號病害將會被記錄并根據病害類型及編號進行分類儲存,總病害數顯示在畫面左上角。

圖11 病害計數過程Fig.11 Disease counting process

病害數量統計測試數據由5段無人機拍攝的路面視頻拼接而成,對采集的路面病害視頻進行人工統計并與模型檢測結果進行對比,模型對病害量的統計結果如圖12所示。圖12(a)為原模型的最終檢測結果,其檢測出38處病害,發生20處漏檢,且有4處誤檢情況,但因檢測框不穩定未被病害計數器檢出,說明檢測過程中原模型的檢測框不穩定,計數精度較差;圖12(b)為改進模型最終檢測結果,其檢測出54處病害,存在4處漏檢及1處誤檢。病害量分類統計結果見表6,從左至右分別代表檢測到的裂縫數量、坑洞數量及病害總數,改進算法的統計準確率達到91.38%,較原模型統計準確度提升25.86%,說明改進模型計數精度較高,可以有效降低漏檢率,適合作為實現道路病害檢測的算法。

表6 病害量統計試驗結果Tab.6 Results of disease statistics experiment

圖12 病害量統計結果Fig.12 Statistical results of disease amount

在實際檢測中可能出現病害被車輛遮擋而后重新出現的情況,導致病害出現ID變化造成重復檢測或漏檢。通過實際場景可視化驗證,改進模型的魯棒性更強,如圖13和圖14所示,圖13為坑洞被遮擋的前一幀,改進算法檢測出2個坑洞:ID-114和ID-3,原模型僅檢測出一處坑洞,隨后病害被車輛遮擋而消失,圖14為7幀之后該病害重新出現,病害ID-3恢復編號,目標重識別成功,ID-114則被車輛陰影遮擋導致ECB-YOLOv5漏檢;而原算法則在車輛遮擋后完全丟失病害及編號。

圖13 病害遮擋前Fig.13 Before the disease is occluded

圖14 病害ID恢復Fig.14 Disease ID recovery

5 結論

本研究針對路面常見的裂縫及坑洞病害構建了基于YOLOv5-DeepSort框架的病害檢測與重識別模型,為實際養護過程中在復雜背景下的病害檢測任務及篩選冗余病害信息提供了新的思路與方法。

在構建的無人機多尺度道路病害數據集上進行的試驗證明了本研究改進方法的有效性,其中ECIoU損失函數使得模型mAP較基準模型提升0.32%,加入CA注意力機制后mAP進一步提升1.21%,改進特征提取網絡后的模型mAP達到89.19%,相較于基準模型提升3.11%,F1分數較基準模型提升2.49%達到0.8514。與其他檢測算法相比,性能提升明顯。FPS在本地平臺達到26.39幀/s,滿足無人機圖檢測病害實時檢測要求。

通過實際檢測效果對比,發現基于無人機的檢測方法可快速準確地獲取全局病害信息,并且通過構建YOLOv5-DeepSORT方法實現對病害的重識別與統計。該方法在病害量統計試驗中表現出良好的準確率,相比于原始網絡模型,模型統計準確率提升25.86%,達到91.38%,誤檢率由6.9%下降1.72%,魯棒性強。未來的工作將豐富模型檢測病害的種類,完善病害被車輛陰影遮擋時產生漏檢的情況以及優化追蹤網絡的性能。