基于改進(jìn)YOLOV5模型的嵌入式端航拍圖像目標(biāo)檢測

倪 立 黃 征 楊 靜

（1.聯(lián)合數(shù)維（杭州）科技有限公司，浙江 杭州 310000；2.杭州市土地勘測設(shè)計規(guī)劃院有限公司，浙江 杭州 310000；3.中國水利水電第八工程局有限公司，湖南 長沙 410000）

0 引言

隨著無人機(jī)技術(shù)的發(fā)展，憑借無人機(jī)靈活和低廉的優(yōu)勢，在城市交通、地形勘測、城市規(guī)劃等領(lǐng)域被廣泛使用［1］。由于無人機(jī)航拍的圖像數(shù)據(jù)較多［2］，僅憑人眼判別航拍圖像目標(biāo)工作量巨大，很難高效、精準(zhǔn)地提取航拍圖像中包含的信息［3］。

基于深度學(xué)習(xí)的航拍目標(biāo)檢測算法主要可分為基于RCNN模型（regions with CNN features）［4］一階目標(biāo)檢測方法和基于YOLO（you only look once）模型［5］二階目標(biāo)檢測方法；基于RCNN 模型的航拍檢測方法效率較低，不利于嵌入式部署；基于YOLO 模型檢測方法，模型體積小、推理速度高，可方便部署到嵌入式端。例如：劉英杰等［6］提出基于特征金字塔網(wǎng)絡(luò)的航拍圖像目標(biāo)檢測方法，再RCNN 模型中添加特征金字塔層，可有效增加模型對航拍小目標(biāo)檢測能力。陳鋒軍等［7］改進(jìn)YOLOV3（you only look once V3）算法［8］對航拍云杉計數(shù)，對模型特征提取網(wǎng)絡(luò)和密集連接模塊改進(jìn)，可高效定位云杉。宋建輝等［9］對FasterRCNN（faster regions with CNN features）模型［10］的特征融合層添加金字塔，改變模型的特征提取網(wǎng)絡(luò)和檢測模塊，以此增加模型對小樣本提取能力。黃文斌等［11］提出對YOLOV3 模型中添加金字塔模塊，借助普遍交并比（generalized IOU，GIOU）［12］代替平方和用作定位損失，提高模型的定位精度。劉悅等［13］借助YOLOV4（you only look once V4）模型［14］定位航拍圖像絕緣子，然后使用傳統(tǒng)算法判斷絕緣子是否損壞。趙玉卿等［15］對YOLOV4 模型引入注意力機(jī)制和輕量化網(wǎng)絡(luò)，首先使用聚類算法分析并優(yōu)化模型的錨框參數(shù)，然后對特征提取網(wǎng)絡(luò)改進(jìn)，引入輕量化模塊和注意力機(jī)制。于娟等［16］對YOLOV5（you only look once V5）模型［17］改進(jìn)，使用平滑散度損失函數(shù)代替原損失置信度交叉熵，并對特征提取模塊改進(jìn)提取模型的語義表達(dá)能力。龍賽等［18］提出輕量化YOLOV5 模型，首先對特征提取模塊引入輕量化特征增強(qiáng)模塊，然后根據(jù)航拍目標(biāo)尺度分布，重新設(shè)計特征融合網(wǎng)絡(luò)，該方法不僅保持了YOLOV5 模型的輕量高效，還增加了檢測精度。

本文旨在嵌入式端實時檢測航拍目標(biāo)，不僅要保持YOLOV5 模型檢測精度，而且要提高YOLOV5 模型檢測效率。為此，本文提出一種基于可重參化特征提取網(wǎng)絡(luò)（RepVGG）［19］的改進(jìn)YOLOV5模型的目標(biāo)檢測算法。首先利用可重參化思想構(gòu)建YOLOV5 模型特征提取網(wǎng)絡(luò)，然后訓(xùn)練改進(jìn)YOLOV5 模型，推理時多分支網(wǎng)絡(luò)轉(zhuǎn)化為單路結(jié)構(gòu)，最后把Pytorch 模型文件轉(zhuǎn)化為ONNX模型文件，借助TensorRT完成目標(biāo)檢測模型部署。

1 相關(guān)工作

1.1 YOLOV5目標(biāo)檢測算法原理

采用深度學(xué)習(xí)的方法對航拍圖像進(jìn)行檢測，主要可分為一階和二階算法，本文使用YOLO 系列算法屬于一階方法，可直接預(yù)測得到目標(biāo)的位置和分類信息。YOLOV5算法可將整個模型分為4 個部分，分別為輸入層、骨干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)和預(yù)測層。

（1）輸入層：采用馬賽克方式增強(qiáng)網(wǎng)絡(luò)，可得到數(shù)據(jù)集最佳錨框，也可隨機(jī)拼接、縮放圖像，實現(xiàn)數(shù)據(jù)集增強(qiáng)。

（2）骨干網(wǎng)絡(luò)：主要包含焦距模塊（focus）和跨越階段局部網(wǎng)絡(luò)結(jié)構(gòu)（cross stage partial network，CSP），相較YOLOV4 和V3 有效的增加了模型的特征提取能力。

（3）頸部：主要包含路徑聚合結(jié)構(gòu)和空間金字塔結(jié)構(gòu)，路徑聚合結(jié)構(gòu)可自上而下和自下而上的融合不同層特征信息。

（4）預(yù)測層：借助基于距離的交并比計算損失函數(shù)，可解決不同目標(biāo)的邊框不重合問題。損失函數(shù)可表示為

式中，IOU為目標(biāo)真實框與預(yù)測框的交并比；C為目標(biāo)真實框與預(yù)測框最小外接矩形；差集為C與真實框和預(yù)測框的并集。

1.2 RepVGG網(wǎng)絡(luò)結(jié)構(gòu)

為了獲得高性能的深度學(xué)習(xí)網(wǎng)絡(luò)模型，前人總結(jié)了以下幾種可顯著提高深度學(xué)習(xí)模型性能的結(jié)構(gòu)。

1.2.1 分支結(jié)構(gòu)

在網(wǎng)絡(luò)模型中，在不同分支上添加不同尺寸的卷積核，可得到不同的感受，可增強(qiáng)模型的學(xué)習(xí)能力；但多分支結(jié)構(gòu)需保存大量分支數(shù)據(jù)，會消耗計算機(jī)大量顯存，降低模型的推理速度。

1.2.2 性能優(yōu)異組件

為了解決上述問題，可重參化模型提出結(jié)構(gòu)重參數(shù)化方法，盡量使用多分支訓(xùn)練模型；在推理時，借助結(jié)構(gòu)重參數(shù)化方法將模型變?yōu)閱温方Y(jié)構(gòu)，減少模型顯存，增加推理速度。

在多分支訓(xùn)練模型后，推理時，需把多分支模型轉(zhuǎn)化為無分支模型，主要可分為三大支路：卷積核3×3、卷積核1×1 和一致性層，這三種支路均帶有歸一化層，具體合并方式如圖1所示。

圖1 改進(jìn)YOLOV5結(jié)構(gòu)

RepVGG 模型中擁有大量的卷積層+歸一化層結(jié)構(gòu)，將相鄰層合并可以有效減少層數(shù)增加模型性能，則推理時卷積層的公式表示為

式中，W表示權(quán)重；b表示偏移。

歸一化層表示為

把卷積層帶入歸一化層，可得

則最終融合結(jié)果，可表示為

卷積分支融合，將3×3 卷積核與1×1 卷積核融合。1×1 卷積和3×3 卷積操作過程相同，故若將3×3 卷積與1×1 卷積融合，只需把1×1 卷積核擴(kuò)展成3×3 形式，然后與3×3 卷積核相加，再對特征層卷積操作即可。

輸出一致性層融合。輸出一致性層轉(zhuǎn)化為1×1 卷積，只需構(gòu)造出1×1 單位卷積核，再把1×1卷積核等價轉(zhuǎn)化為3×3卷積核。

1.2.3 基于改進(jìn)YOLOV5 航拍圖像目標(biāo)檢測

原YOLOV5 算法使用DarkNet 網(wǎng)絡(luò)［20］為特征提取網(wǎng)絡(luò)，雖可穩(wěn)定定位目標(biāo)位置，但DarkNet 特征提取網(wǎng)絡(luò)推理速度較慢，對硬件內(nèi)存消耗較大，很不利于無人機(jī)記載設(shè)備部署模型，為此本文提出一種基于RepVGG 結(jié)構(gòu)的YOLOV5 模型。RepVGG 結(jié)構(gòu)通過結(jié)構(gòu)重參數(shù)化思想，在訓(xùn)練時模型為多路結(jié)構(gòu)，推理時轉(zhuǎn)換為單路結(jié)構(gòu)模型，對模型重構(gòu)實現(xiàn)推理加速。

圖1（a）為本文改進(jìn)RepVGG_YOLOV5 訓(xùn)練模型，訓(xùn)練時模型是多分支網(wǎng)絡(luò)；圖1（b）為RepVGG_YOLOV5 推理模型，對多分支網(wǎng)絡(luò)重參化后得到單分支推理網(wǎng)絡(luò)。

2 實驗

2.1 實驗數(shù)據(jù)及參數(shù)

無人機(jī)航拍數(shù)據(jù)集（dataset for object detection in aerial images，DOTA）是武漢大學(xué)團(tuán)隊搜集（圖2），擁有11 268 張圖片，共有18 個類別，包括飛機(jī)、船舶、儲罐、棒球場、網(wǎng)球場、籃球場、地面田徑場、港口、橋梁、大型車輛、小型車輛、直升機(jī)、環(huán)形交叉路口、足球場、游泳池、集裝箱起重機(jī)、直升機(jī)停機(jī)坪以及機(jī)場，圖像尺寸為4 000×4 000像素。

本文實驗環(huán)境為：Intel（R）Core（TM）i9-7900X CPU @ 3.30 GHz，GPU 英偉達(dá)3090ti，Ubuntn 20.0 系統(tǒng)，Pytorch1.8 深度學(xué)習(xí)框架，編程語言Python3.6。本文采用梯度下降法優(yōu)化模型，初始化學(xué)習(xí)率為0.001，并借助線性學(xué)習(xí)率衰減方法，每迭代50次，學(xué)習(xí)率衰減為0.5。

2.2 實驗數(shù)據(jù)統(tǒng)計

表1 為YOLOV5 模型和本文所提RepVGG_YOLOV5模型體積、推理速度和參數(shù)量統(tǒng)計值，模型體積降低20%左右，參數(shù)量減少30%左右。把Pytorch 模型轉(zhuǎn)換為ONNX 模型部署到JETSON NANO 嵌入式開發(fā)板，如圖3 所示，使用TensorRT框架完成模型推理，得到推理時間，由表1 可知，本文改進(jìn)YOLOV5 模型相較原YOLOV5 模型推理時間提高一倍以上。

表1 各種模型參數(shù)大小

圖3 JETSON NANO 開發(fā)板

在DOTA 數(shù)據(jù)集上，對YOLO 系列模型的檢出率、召回率和平均召回率0.5（mean average precision 0.5，mAP0.5）統(tǒng)計，得到表2。由表2知，所提改進(jìn)RepVGG_YOLOV5 模型的檢出率、召回率和mAP0.5 均為最佳，與YOLOV5 相比檢出率增加0.03%，召回率增加0.02%，mAP0.5 增加1.22%。

表2 YOLO系列算法綜合指標(biāo)分析

2.3 結(jié)果分析及檢測效果展示

本文提出改進(jìn)YOLOV5 模型使用多分支訓(xùn)練模型，預(yù)測時改為單路模型，可有效降低YOLOV5 模型參數(shù)量。因此，本文改進(jìn)YOLOV5模型部署在NANO 開發(fā)板后，模型參數(shù)量降低，故推理耗時較原YOLOV5模型降低60%左右。

YOLOV5 模型是在YOLOV3 和V4 基礎(chǔ)上改進(jìn)得到，故各項指標(biāo)均優(yōu)于YOLOV3 和V4，所提改進(jìn)算法YOLOV5 模型使用RepVGG 模塊提取航拍圖像特征，不僅可以提高YOLOV5 模型穩(wěn)定性，還可減小模型體積。故本文改進(jìn)YOLOV5 模型的召回率、檢出率和mAP0.5 等值均為最佳，如表2 所示，可表明改進(jìn)YOLOV5 模型穩(wěn)定性最好。

圖4 為JETSON NANO 開發(fā)板使用TensorRT框架推理得到目標(biāo)檢測效果，由圖4可知，本文所提方法可穩(wěn)定檢測目標(biāo)位置。

圖4 檢測效果

3 結(jié)束語

為了高效地完成無人機(jī)機(jī)載設(shè)備目標(biāo)檢測模型推理，本文提出一種改進(jìn)可重參化YOLOV5模型。首先替換原YOLOV5 模型特征提取網(wǎng)絡(luò)為RepVGG 結(jié)構(gòu)，然后訓(xùn)練完模型后把特征提取網(wǎng)絡(luò)轉(zhuǎn)換為單路網(wǎng)絡(luò)結(jié)構(gòu)，最后把Pytorch模型轉(zhuǎn)化為ONNX 模型，借助RensorRT 框架完成推理模型部署。與原YOLOV5 模型相比，所提模型推理速度、檢出率、召回率以及mAP0.5 均有較大提升，表明所提方法可較好地部署到無人機(jī)機(jī)載嵌入式設(shè)備中。