基于BiFPN-YOLOv5的公路養(yǎng)護(hù)檢測(cè)算法

李成袁

關(guān)鍵詞：公路養(yǎng)護(hù); 目標(biāo)檢測(cè); YOLOv5; BiFPN; SIou loss

0 引言

公路是中國最重要的交通設(shè)施，為我國經(jīng)濟(jì)發(fā)展帶來了基礎(chǔ)與保障[1]。目前我國高速公路已達(dá)到14.96萬km，雖然我國公路已取得了巨大的成就，但其中有60%的公路年限超過了8年，導(dǎo)致公路的養(yǎng)護(hù)問題逐漸成為公路管理的主要任務(wù)[2]。公路養(yǎng)護(hù)問題上最核心的問題是如何快速精準(zhǔn)地檢測(cè)到公路損壞的位置，目前最主流的方式是通過人工對(duì)公路健康狀態(tài)進(jìn)行巡查與記錄，但依賴人工的方式會(huì)浪費(fèi)大量的人力與物力，同時(shí)人工的方式通常會(huì)出現(xiàn)漏檢與誤檢的情況，因此利用目標(biāo)檢測(cè)算法來對(duì)公路情況進(jìn)行實(shí)時(shí)檢查與記錄具有較強(qiáng)的現(xiàn)實(shí)意義[3]。

隨著深度學(xué)習(xí)的發(fā)展，目標(biāo)檢測(cè)算法從傳統(tǒng)的幀差法[4]與光流法[5]發(fā)展為基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法，但基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法中主要可分為One-stage 與Two-stage 兩類，其中Two-stage 方法以RCNN系列改進(jìn)算法為代表[6]，其特點(diǎn)為檢測(cè)時(shí)分為兩個(gè)階段進(jìn)行檢測(cè)，第一階段檢測(cè)目標(biāo)圖片的候選框，然后第二階段再對(duì)檢測(cè)到的候選框進(jìn)行分類與回歸操作，從而得到高精度的檢測(cè)框。但該類方法由于需要兩階段分步進(jìn)行檢測(cè)，因此檢測(cè)的效率相對(duì)較低。為了解決此問題，One-stage方法被提出，其中最具代表的方法的YOLO系列算法[7]，其核心思想是通過一個(gè)網(wǎng)絡(luò)直接輸出候選框的位置信息與類別。由于該類方法具有更快的檢測(cè)效率與足夠的精度，因此在路面檢測(cè)領(lǐng)域有著廣泛的應(yīng)用，如豆世豪[8]提出的改進(jìn)YOLOv3的道路場(chǎng)景目標(biāo)檢測(cè)方法，通過對(duì)YO?LOv3引入SPP模塊實(shí)現(xiàn)局部特征與全局特征的融合，但由于其網(wǎng)絡(luò)相對(duì)復(fù)雜導(dǎo)致檢測(cè)效率相對(duì)較低，為此楊登杰[9]提出了一種使用MobileNetV3-YOLOv4的檢測(cè)算法，且輕量化改進(jìn)YOLOv4的主干特征網(wǎng)絡(luò)，將原來的YOLOv4的CSPDarknet53主干特征網(wǎng)絡(luò)用輕量級(jí)網(wǎng)絡(luò)Mobile-NetV3進(jìn)行替換，從而得到了更快的檢測(cè)速度。

隨著YOLOv5[10]的提出，其檢測(cè)效率與精度都優(yōu)于YOLOv4，但在公路損壞檢測(cè)中由于復(fù)雜的背景與嚴(yán)重的遮擋，導(dǎo)致其精度不足，因此本文提出了BiF?PN-YOLOv5算法，通過使用BiFPN替換FPN，從而使得模塊能夠融合不同尺度的特征進(jìn)行檢測(cè)，同時(shí)使用SIoU loss重新定義定位損失函數(shù)，提高了模型訓(xùn)練的速度和推理的準(zhǔn)確性。

1 公路路面養(yǎng)護(hù)數(shù)據(jù)集制作

1.1 數(shù)據(jù)獲取

檢測(cè)對(duì)象主要為需要養(yǎng)護(hù)的物體與干擾項(xiàng)，數(shù)據(jù)集類別如表1所示。采集設(shè)備為巡邏車上的高清攝像頭，其分辨率為1 280×720，拍攝時(shí)為了獲得更廣的視野與穩(wěn)定性，因此通過搭建平臺(tái)把攝像頭固定在車頂，如圖1所示。經(jīng)過對(duì)拍攝的攝像進(jìn)行逐幀截取，再對(duì)其篩選掉模糊、過度曝光與重復(fù)的圖片，獲得3 000 張公路路面圖片。

1.2 數(shù)據(jù)標(biāo)記

目測(cè)檢測(cè)模型以監(jiān)督學(xué)習(xí)的方式進(jìn)行訓(xùn)練，因此需要對(duì)需要的養(yǎng)護(hù)的物體與干擾項(xiàng)進(jìn)行標(biāo)記，在標(biāo)注時(shí)將養(yǎng)護(hù)物體最小外接矩陣框作為養(yǎng)護(hù)物體的真實(shí)框，肉眼可見的干擾項(xiàng)的最小外接矩陣框作為干擾項(xiàng)的真實(shí)框。標(biāo)注工具為了能夠在線進(jìn)行分工檢測(cè)，因此選用在線標(biāo)記工具M(jìn)AKE SENSE，通過對(duì)目標(biāo)物體進(jìn)行標(biāo)記后能夠自動(dòng)輸出其標(biāo)記的XML文件，生成的XML格式文件主要包含：寬、高、維度和已標(biāo)注的類別以及左上角坐標(biāo)和右上角坐標(biāo)等信息。

2 基于BiFPN-YOLOv5的公路養(yǎng)護(hù)檢測(cè)算法

為了更精準(zhǔn)地檢測(cè)小目標(biāo)物體，因此Bochkovskiy 等人[11]在2020年提出YOLOv4來解決此問題，隨后在2021年該團(tuán)隊(duì)提出了YOLOv5，通過引入了多尺度的思想來使得模型能夠同時(shí)檢測(cè)不同尺寸物體，并改進(jìn)了骨干網(wǎng)絡(luò)的設(shè)計(jì)提升了模型檢測(cè)的速度，從而使得模型的其精度與實(shí)時(shí)性都得到改善，因此YOLOv5更為適合于公路養(yǎng)護(hù)檢測(cè)中。

雖然YOLOv5能夠有效及實(shí)時(shí)地檢測(cè)目標(biāo)物體，但是由于公路養(yǎng)護(hù)檢測(cè)中存在大量不同尺度的物體需要進(jìn)行檢測(cè)，同時(shí)在車輛的運(yùn)動(dòng)過程中，檢測(cè)物體的大小也實(shí)時(shí)變化，因此YOLOv5對(duì)不同尺度的特征進(jìn)行融合時(shí)，通常需要把不同尺度的物體調(diào)整到相同的尺度，然后再對(duì)目標(biāo)物體進(jìn)行相加融合。YOLOv5 不同尺度的特征采用平等對(duì)待的方式，但實(shí)際公路養(yǎng)護(hù)檢測(cè)過程中不同尺度的物體對(duì)輸出特征的貢獻(xiàn)往往是不同的。同時(shí)在公路養(yǎng)護(hù)檢測(cè)過程中，檢測(cè)的物體是隨著車輛加速度方向不同從而檢測(cè)物體移動(dòng)的方向也會(huì)不同，如果不考慮檢測(cè)框與真實(shí)框中心點(diǎn)的移動(dòng)方向會(huì)導(dǎo)致收斂速度較慢且效率較低，且預(yù)測(cè)框可能在訓(xùn)練過程中找不到正確方向移動(dòng)導(dǎo)致最終的檢測(cè)模型性能降低。

為了解決公路養(yǎng)護(hù)檢測(cè)過程中存在的上述兩個(gè)問題，因此本文提出了BiFPN-YOLOv5算法，該算法在YOLOv5基礎(chǔ)上主要進(jìn)行兩個(gè)部分的改進(jìn)，首先是提出了使用BiFPN[12]方法進(jìn)行不同大小特征的加權(quán)特征融合，為每個(gè)輸入的特征增加一個(gè)權(quán)重，從而使模型能夠?qū)W習(xí)每個(gè)輸入特征的重要程度，此外提出了使用SIoU loss來改進(jìn)傳統(tǒng)的無方向定位損失，該方法通過考慮所需回歸之間的向量角度，重新定義了懲罰指標(biāo)。下面兩個(gè)小節(jié)將會(huì)介紹具體如何實(shí)現(xiàn)。

2.1 改進(jìn)的定位損失函數(shù)

YOLOv5中的定位損失函數(shù)采用的CIoU loss，該方法不僅考慮了重疊框與預(yù)測(cè)框中心點(diǎn)的距離，也考慮了重疊與不重疊時(shí)穩(wěn)定性的問題，但是從收斂角度并沒有考慮，會(huì)導(dǎo)致最終的模型難以收斂，且找不到適合的收斂方向，因此本文提出使用SIoU loss來尋找預(yù)測(cè)框中心點(diǎn)到真實(shí)框中心點(diǎn)最優(yōu)移動(dòng)角度，從而使得模型能夠向正確的方向進(jìn)行收斂。

首先通過在CIoU loss的基礎(chǔ)上引入真實(shí)框和預(yù)測(cè)框之間的向量角度，再重新定義了定位損失函數(shù)，其主要由四個(gè)損失項(xiàng)構(gòu)成：

1）角度損失

角度損失的基本思想是讓模型的預(yù)測(cè)框快速的先移動(dòng)到最近的坐標(biāo)軸，之后僅沿著一個(gè)方向X或Y 軸進(jìn)行回歸坐標(biāo)，從而增加角度損失來減少了自由度的數(shù)量。如圖2所示，為了向一個(gè)方向進(jìn)行收斂，因此角度損失函數(shù)的計(jì)算公式如下：

2.2 改進(jìn)的多特征融合方法

在YOLOv5中采用的多特征融合方式對(duì)不同尺度的特征融合采用相同的權(quán)重，而真實(shí)情況中不同尺度的特征對(duì)輸出特征的貢獻(xiàn)度并不相同，因此本文引入雙向特征金字塔（BiFPN）來使得網(wǎng)絡(luò)能夠通過不同的權(quán)重對(duì)不同的輸入的特征進(jìn)行學(xué)習(xí)，同時(shí)反復(fù)使用自頂向下與自底向上的方式進(jìn)行多尺度特征的融合。

BiFPN在不同大小的尺度特征進(jìn)行融合時(shí)，通過上采樣與下采樣操作相同分辨率的特征，同時(shí)在相同特征的輸入與輸出節(jié)點(diǎn)使用橫向連接，使得模型能夠在不增加計(jì)算成本的情況下融合更多有效特征，且BiFPN 中一對(duì)路徑可作為一個(gè)獨(dú)立的特征層，BiFPN自身作為一個(gè)基本單元，反復(fù)多次從而使得高層特征得以融合，其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

本文提出的BiFPN-YOLOv5的整體結(jié)構(gòu)圖如圖4 所示，將原本的PANet結(jié)構(gòu)改進(jìn)為BiFP結(jié)構(gòu)，從而使得模型能夠更好對(duì)不同大小的特征進(jìn)行融合。

3 實(shí)驗(yàn)方法及結(jié)果分析

本實(shí)驗(yàn)在Windows11操作系統(tǒng)，采用Python作為編程語言，利用PyTorch使用顯卡cuda為計(jì)算加速。設(shè)備運(yùn)行環(huán)境：Intel（R） Core（TM） i5-10600KF 處理器，GeForce RTX 3080顯卡，內(nèi)存為32G。數(shù)據(jù)采用本文制作的公路路面養(yǎng)護(hù)數(shù)據(jù)集，其中訓(xùn)練集2 000張，驗(yàn)證集500張，測(cè)試集500張，通過對(duì)YOLOv5及BiFPNYOLOv5進(jìn)行訓(xùn)練，再對(duì)公路路面進(jìn)行檢測(cè)結(jié)果進(jìn)行分析比較，驗(yàn)證本文算法的有效性。

3.1 評(píng)價(jià)指標(biāo)

本實(shí)驗(yàn)評(píng)價(jià)指標(biāo)選用Precision、Recall、mAP作為評(píng)價(jià)指標(biāo)，目標(biāo)檢測(cè)過程中漏檢目標(biāo)個(gè)數(shù)為FN表示，正確檢測(cè)個(gè)數(shù)為TP表示，錯(cuò)誤檢測(cè)個(gè)數(shù)為FP表示，Precision與Recall的計(jì)算公式如下：

4.2 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文算法的有效性，選用YOLOv5作為對(duì)比算法，并且用YOLOv5+YOLOv5+CIoU loss作為消融對(duì)比算法，實(shí)驗(yàn)結(jié)果如表2所示。可以看出使用SLoU定位損失函數(shù)能夠有效提高模型的mAP，相比YOLOv5提高了3.36%，在此基礎(chǔ)上使用BiFPN對(duì)不同尺度的特征進(jìn)行融合能夠使得召回率與mAP同時(shí)得到比較明顯的提升，這主要是因?yàn)锽iFPN-YOLOv5能通過上采樣與下采樣操作相同分辨率的特征，同時(shí)在相同特征的輸入與輸出節(jié)點(diǎn)使用橫向連接，從而使得模型能有效提升其檢測(cè)性能。

實(shí)驗(yàn)結(jié)果對(duì)比圖如圖5所示，可以看出YOLOv5 對(duì)于中間的小車存在重復(fù)檢測(cè)的情況，把小車同時(shí)檢測(cè)為卡車和小車，但本文算法能夠避免重復(fù)檢測(cè)問題，同時(shí)本文算法通過引入BiFPN能夠獲取更多小尺度的特征，從（a）中看到本文算法能夠有效檢測(cè)交通標(biāo)志，而YOLOv5存在漏檢的情況。綜上所述，本文算法對(duì)小物體的檢測(cè)能夠有所提升同時(shí)能夠減少檢測(cè)框重復(fù)的問題。

4 結(jié)束語

針對(duì)公路養(yǎng)護(hù)過程中需要養(yǎng)護(hù)的物體與干擾項(xiàng)的檢測(cè)過程存在大量遮擋問題，且隨著車輛移動(dòng)拍攝的圖片中目標(biāo)物體的大小也存在不確定性，因此提出了BiFPN-YOLOv5算法來對(duì)需要養(yǎng)護(hù)物體更為精準(zhǔn)地檢測(cè)，通過使用BiFPN來替換原本的PANet結(jié)構(gòu)，BiFPN中對(duì)不同尺度的特征加入了不同權(quán)重，從而不同尺度的特征層對(duì)輸出結(jié)果影響程度不同，使模型能更好使用特征語義；同時(shí)使用SIoU loss來改進(jìn)原本的CIou loss，使得模型能夠有效尋找預(yù)測(cè)框中心點(diǎn)到真實(shí)框中心點(diǎn)最優(yōu)移動(dòng)角度，從而使得模型能夠向正確的方向進(jìn)行收斂。同時(shí)通過實(shí)驗(yàn)證明本文算法能夠有效應(yīng)用于公路養(yǎng)護(hù)過程中目標(biāo)檢測(cè)中，未來將側(cè)重于輕量化模型大小與結(jié)構(gòu)，使得算法能夠保證精度的情況下提升其實(shí)時(shí)性。