基于改進(jìn)YOLOv4的飛機(jī)遙感影像目標(biāo)檢測(cè)算法

于海洋, 呂瑞宏, 于海龍, 李 龍, 范永鑫

(沈陽(yáng)工業(yè)大學(xué) 信息學(xué)院, 沈陽(yáng) 110870)

0 引 言

隨著傳感器技術(shù)的發(fā)展，遙感影像所獲得的影像更加清晰，語(yǔ)義信息更加豐富，給遙感影像目標(biāo)提取，創(chuàng)造了極為有利的條件。現(xiàn)今遙感影像目標(biāo)檢測(cè)不管是在軍用領(lǐng)域的飛機(jī)、艦船等敏感目標(biāo)檢測(cè)還是民用領(lǐng)域的探測(cè)植物蟲(chóng)害和飛機(jī)救助檢測(cè)。遙感目標(biāo)檢測(cè)與人們的生產(chǎn)生活息息相關(guān)，由于近年來(lái)無(wú)人機(jī)炸彈的興起，導(dǎo)致各國(guó)對(duì)無(wú)人機(jī)的研究投入較大，所以對(duì)無(wú)人機(jī)等小目標(biāo)飛機(jī)的檢測(cè)具有重要的現(xiàn)實(shí)意義和研究?jī)r(jià)值[1]。目前可以實(shí)現(xiàn)對(duì)遙感影像飛機(jī)小目標(biāo)進(jìn)行檢測(cè)的方法主要分為兩類，一類是以機(jī)器學(xué)習(xí)法、模板匹配法為代表的傳統(tǒng)方法；另一類是以深度學(xué)習(xí)為代表的新型檢測(cè)方法。由于遙感影像背景復(fù)雜，且多數(shù)檢測(cè)目標(biāo)在圖像中所占像素較少，僅使用機(jī)器學(xué)習(xí)和模式識(shí)別等傳統(tǒng)方法無(wú)法有效的提取目標(biāo)特征信息，在對(duì)遙感影像飛機(jī)目標(biāo)檢測(cè)時(shí)會(huì)存在漏檢率高、精度低等缺陷。基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法逐漸應(yīng)用于遙感探測(cè)領(lǐng)域，YOLOv4目標(biāo)檢測(cè)算法集合了檢測(cè)精度高和檢測(cè)速度快的優(yōu)點(diǎn)和模型較大缺點(diǎn)，本文針對(duì)實(shí)時(shí)性的要求，對(duì)YOLOv4模型進(jìn)行修改。

深度學(xué)習(xí)目標(biāo)檢測(cè)算法多種多樣，以階段性劃分深度學(xué)習(xí)目標(biāo)檢測(cè)算法分為單階段(One-Stage)和二階段(Two-Stage)。單階段目標(biāo)檢測(cè)算法如SSD、YOLO系列等，其優(yōu)點(diǎn)是檢測(cè)速度較快，精度低于同等級(jí)下的二階段算法[2]；二階段目標(biāo)檢測(cè)算法常見(jiàn)的有R-CNN、FastR—CNN等，其檢測(cè)精度較高，檢測(cè)速度較低。秦偉偉等[3]針對(duì)YOLOv3算法的檢測(cè)速度較低的問(wèn)題，提出了一種使用MobileNetV2輕量化網(wǎng)絡(luò)代替YOLOv3算法的主干網(wǎng)絡(luò)(DarkNet53)，提升檢測(cè)速度；公明，劉妍研等[4]針對(duì)YOLOv3網(wǎng)絡(luò)的檢測(cè)精度的問(wèn)題，在主干網(wǎng)絡(luò)中引入殘差結(jié)構(gòu)和空間金字塔池化網(wǎng)絡(luò)(SPP)，提高底層網(wǎng)絡(luò)的特征提取，來(lái)提高遙感圖像目標(biāo)檢測(cè)的檢測(cè)精度；國(guó)騰飛等[5]針對(duì)算法的檢測(cè)精度等問(wèn)題，在算法中加入CBAM(Convolutional Block Attention Module)注意力機(jī)制，將通道注意力與空間注意力機(jī)制串聯(lián)，增大目標(biāo)檢測(cè)網(wǎng)絡(luò)感受野，同時(shí)減輕網(wǎng)絡(luò)計(jì)算任務(wù)，提升網(wǎng)絡(luò)性能。相比于其他常見(jiàn)的深度學(xué)習(xí)目標(biāo)檢測(cè)算法，YOLOv4算法的檢測(cè)速度和檢測(cè)精度效果較好，適用于實(shí)時(shí)檢測(cè)需求。

針對(duì)遙感影像檢測(cè)的背景復(fù)雜多樣、檢測(cè)目標(biāo)小且不清晰、實(shí)時(shí)性需求等問(wèn)題，本文在YOLOv4網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn)，用MobileNetv3輕量化網(wǎng)絡(luò)結(jié)構(gòu)替換YOLOv4的CSPDarkNet53結(jié)構(gòu)，并在YOLOv4的Head部分加入雙重注意力機(jī)制(CBAM)，來(lái)提升檢測(cè)精度。

1 理論模型的搭建

遙感飛機(jī)小目標(biāo)實(shí)時(shí)性檢測(cè)的問(wèn)題要從檢測(cè)速度和檢測(cè)精度兩方面考慮，對(duì)現(xiàn)有的目標(biāo)檢測(cè)算法進(jìn)行研究，得出影響檢測(cè)速度的因素包括構(gòu)建網(wǎng)絡(luò)的參數(shù)量、網(wǎng)絡(luò)層數(shù)、激活函數(shù)和非極大值抑制(NMS)等。本文在YOLOv4的網(wǎng)絡(luò)框架的基礎(chǔ)上改進(jìn)模型，使用MobileNetv3網(wǎng)絡(luò)替換了YOLOv4的主干網(wǎng)絡(luò)，以減少網(wǎng)絡(luò)中浮點(diǎn)數(shù)運(yùn)算量(FLOPs)，提高算法的檢測(cè)速度；在從檢測(cè)精度方面，本文在YOLOv4的Head部分，融入了雙重注意力機(jī)制(CBAM)，對(duì)重點(diǎn)關(guān)注的目標(biāo)區(qū)域，加大權(quán)值，使重點(diǎn)區(qū)域提取出更多有用的信息，同時(shí)抑制其他區(qū)域特征的提取，從而提高檢測(cè)精度。

1.1 主干網(wǎng)絡(luò)的搭建

從檢測(cè)速度出發(fā)，需減少模型的FLOPs，本文在YOLOv4框架的基礎(chǔ)上對(duì)其主干網(wǎng)絡(luò)(CSPDarknet53)進(jìn)行修改，CSPDarknet53是主干網(wǎng)絡(luò)結(jié)構(gòu)，包含了5個(gè)Resblock_body模塊，如圖1所示。

圖1 CSPDarkNet53網(wǎng)絡(luò)結(jié)構(gòu)模型

輕量化網(wǎng)絡(luò)是遙感飛機(jī)小目標(biāo)檢測(cè)的重點(diǎn)，F(xiàn)LOPs浮點(diǎn)數(shù)運(yùn)算量影響計(jì)算機(jī)網(wǎng)絡(luò)運(yùn)算速度，從而影響其檢測(cè)速度，故本文提出使用MobileNetv3輕量化網(wǎng)絡(luò)結(jié)構(gòu)來(lái)替換CSPDarkNet53主干網(wǎng)絡(luò)。

MobileNetv3集現(xiàn)有輕量模型思想于一體，主要包括MobileNetv1的深度可分離卷積、MobileNetv1的深度可分離卷積、MobileNetv2的逆殘差結(jié)構(gòu)以及引入SE注意力機(jī)制。深度可分離卷積可以大大減少參數(shù)量的計(jì)算，引入了擠壓與激勵(lì)SE(Squeezeand-Excitation)結(jié)構(gòu)，能夠讓模型更加關(guān)注信息量最大的通道特征，而抑制不重要的通道特征；最后把線性激活函數(shù)替換成hard-siwish函數(shù)。MobileNetv3結(jié)構(gòu)模型如圖2所示。

圖2 MobileNetv3結(jié)構(gòu)模型

MobileNetv3結(jié)構(gòu)由多個(gè)小模塊構(gòu)成，其中IRB與SE_IRB等模塊的詳細(xì)構(gòu)成如圖3所示。

最后MobileNetv3使用hard-swish激活函數(shù)代替swish激活函數(shù)，來(lái)降低計(jì)算量，hard-swish函數(shù)表達(dá)式(1)如下：

(1)

其中，x為變量，ReLU6就是普通的ReLU，但是限制最大輸出值為6。

圖3 MobileNetv3結(jié)構(gòu)中小模塊構(gòu)成

由于swish激活函數(shù)應(yīng)用于嵌入硬件平臺(tái)中對(duì)硬件的要求較高，將swish函數(shù)的線性化可以在不影響模型的精度的情況下減少部分計(jì)算量。

1.2 頭部的搭建

CBAM模塊可以使算法對(duì)重點(diǎn)關(guān)注區(qū)域加大權(quán)值，使重點(diǎn)區(qū)域提取出更多有用的信息，同時(shí)抑制其他區(qū)域特征的提取，從而來(lái)提高檢測(cè)精度。

本文的主要目的是滿足遙感飛機(jī)小目標(biāo)實(shí)時(shí)性檢測(cè)，不僅要提高模型的檢測(cè)速度，而且還要提升模型的檢測(cè)精度。為了提高模型的檢測(cè)精度，在YOLOV4模型的頭部加入雙重注意力機(jī)制(CBAM)。

CBAM有通道注意力機(jī)制和空間注意力機(jī)制兩種形式，是深度學(xué)習(xí)中注意力機(jī)制的一種方法。CBAM以學(xué)習(xí)的方式重新定義空間和通道的特征圖權(quán)重的大小，對(duì)重點(diǎn)關(guān)注的目標(biāo)區(qū)域加大權(quán)值，使重點(diǎn)區(qū)域提取出更多有用的信息，同時(shí)抑制其他區(qū)域特征的提取。輸入特征經(jīng)過(guò)CBAM中的兩個(gè)小模塊的篩選，得到重點(diǎn)關(guān)注的區(qū)域和不重要的區(qū)域，進(jìn)行特征提取，得到特征圖。CBAM模塊劃分如圖4所示。

圖4 CBAM 模塊劃分

改進(jìn)后的模型中加入CBAM，目的就是讓模型給輸入信號(hào)加權(quán)，就是為輸入的各個(gè)維度打分，然后根據(jù)得分的多少進(jìn)行加權(quán)，找到模型的重要特征，提取出更多的有用信息，來(lái)提升模型的檢測(cè)精度。

1.3 基于YOLOV4框架的改進(jìn)

MobileNetv3網(wǎng)絡(luò)是集現(xiàn)有輕量模型思想于一體的輕量化網(wǎng)絡(luò)，提升檢測(cè)速度，是最好的輕量化網(wǎng)絡(luò)之一；雙重注意力機(jī)制(CBAM)可以給重點(diǎn)關(guān)注的區(qū)域賦予更高的比例，加大提取特征權(quán)重并抑制背景干擾，獲取更加有效的特征。

本文的模型在YOLOv4目標(biāo)檢測(cè)框架的基礎(chǔ)上，使用輕量化網(wǎng)絡(luò)結(jié)構(gòu)MobileNetv3替換YOLOv4的主干網(wǎng)絡(luò)CSPDarkNet53，提高算法的檢測(cè)速度；其次，在模型的Head部分加入注意力機(jī)制，更好的獲得特征，提高其檢測(cè)精度。其他結(jié)構(gòu)依舊采用YOLOv4的原結(jié)構(gòu)，輸入部分采用416×416×3輸入；頸部(Neck)主要由SPP和PANet組成，SPP結(jié)構(gòu)融合了不同感受野特征，提高模型上下文信息提取能力，以較小計(jì)算量的增加換取較大準(zhǔn)確率的提升；PANet將提取的特征信息轉(zhuǎn)換為坐標(biāo)、類別等信息。本文構(gòu)建的網(wǎng)絡(luò)模型如圖5所示。

圖5 改進(jìn)模型的結(jié)構(gòu)圖

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)條件

2.1.1 數(shù)據(jù)集

本文模型使用的數(shù)據(jù)集為RSOD數(shù)據(jù)集中的飛機(jī)類。數(shù)據(jù)集中有飛機(jī)圖片446張，包含4 993架飛機(jī)，以其中的356張圖片作為訓(xùn)練集，90張圖片作為測(cè)試集，對(duì)上述數(shù)據(jù)集進(jìn)行標(biāo)注，存儲(chǔ)為.xml格式文件，制作成.VOC格式。本文所用數(shù)據(jù)集的部分樣例如圖6所示。

圖6 飛機(jī)樣本圖例

2.1.2 實(shí)驗(yàn)環(huán)境和參數(shù)說(shuō)明

為了驗(yàn)證本文模型的真實(shí)有效性，實(shí)驗(yàn)平臺(tái)統(tǒng)一在Windows10操作系統(tǒng)下，GPU版本為NVIDIA GeForce GTX 1650 顯卡( 4 GB 顯存)，使用anaconda3來(lái)建立python虛擬環(huán)境，深度學(xué)習(xí)框架為Tensorflow1，并使用CUDA10.0，Cudnn7.6.2來(lái)給建立的虛擬環(huán)境推理加速。為了便于與其他算法模型對(duì)比，其輸入圖像大小固定為416×416，使用Adam優(yōu)化器訓(xùn)練優(yōu)化，設(shè)置迭代次數(shù)為100次，批處理大小為4，權(quán)重衰減系數(shù)設(shè)為0.000 5，初始學(xué)習(xí)率設(shè)為0.001。

2.2 評(píng)價(jià)指標(biāo)

為了更好的評(píng)估改進(jìn)后模型，本文使用平均精度均值(mAP)和每秒幀率(FPS)，還有模型參數(shù)量(運(yùn)算量)，作為模型的評(píng)判標(biāo)準(zhǔn)。

mAP是平均精度值為所有精度值A(chǔ)P的加權(quán)和取平均計(jì)算，如公式(2)所示：

(2)

其中，M為所識(shí)別物體的種類，AP為檢測(cè)精度。

(3)

其中，p為精度(Precision)，r為召回率(Recall)。

FPS為每秒識(shí)別圖片的個(gè)數(shù)，模型的運(yùn)算量即參數(shù)量，由模型的結(jié)構(gòu)計(jì)算出。

2.3 結(jié)果分析

2.3.1 改進(jìn)后的模型與原模型對(duì)比

通過(guò)實(shí)驗(yàn)得到MAP與FPS數(shù)據(jù)見(jiàn)表1。由表1所知，本文改進(jìn)的模型參數(shù)量是原模型的1.6倍，召回率提升了5.49%，檢測(cè)速度提高了8.5 fps，能夠滿足實(shí)時(shí)檢測(cè)的要求。

表1 改進(jìn)前后模型對(duì)比

2.3.2 不同檢測(cè)算法對(duì)比

為了驗(yàn)證改進(jìn)模型的性能，本文使用FasterR—CNN、SSD、YOLOv3，YOLOv4算法與本文改進(jìn)的YOLOv4算法進(jìn)行mAP和FPS的對(duì)比，見(jiàn)表2。從檢測(cè)精度這方面看，SSD檢測(cè)算法與FasterR—CNN檢測(cè)算法檢測(cè)精度相差不大，低于其他算法，改進(jìn)后的YOLOv4目標(biāo)檢測(cè)算法檢測(cè)精度高于其他4種檢測(cè)算法，相比于原YOLOv4算法相比提升了3.53%，遠(yuǎn)大于其他算法檢測(cè)精度；從檢測(cè)速度方面來(lái)看，SSD目標(biāo)檢測(cè)算法的檢測(cè)速度比改進(jìn)后模型檢測(cè)速度快6.5 fps，并遠(yuǎn)大于其他算法的檢測(cè)速度。從檢測(cè)精度和檢測(cè)速度兩方面綜合考慮，改進(jìn)的YOLOv4目標(biāo)檢測(cè)算法雖然檢測(cè)速度略小于SSD目標(biāo)檢測(cè)算法，但改進(jìn)后的模型精度遠(yuǎn)大于SSD目標(biāo)檢測(cè)算法，所以本文模型更加適用于遙感影像飛機(jī)目標(biāo)的實(shí)時(shí)性檢測(cè)。

表2 不同算法檢測(cè)對(duì)比

為了驗(yàn)證本文模型算法的實(shí)際檢測(cè)性能，使用一部分高分辨率飛機(jī)遙感影像進(jìn)行測(cè)試，檢測(cè)結(jié)果如圖7所示。在面對(duì)遙感圖像中飛機(jī)目標(biāo)數(shù)量多、體積小和背景復(fù)雜等情況下，改進(jìn)的模型漏檢1個(gè)，F(xiàn)asterR—CNN模型漏檢5個(gè)，YOLOv3和YOLOv4漏檢7個(gè)，而SSD只檢測(cè)出兩個(gè)，表明本文模型對(duì)飛機(jī)體積小、數(shù)量多、目標(biāo)密集的遙感飛機(jī)影像時(shí)，仍能檢測(cè)出絕大多數(shù)的目標(biāo)，能滿足遙感飛機(jī)小目標(biāo)實(shí)時(shí)性檢測(cè)需求。

3 結(jié)束語(yǔ)

本文針對(duì)遙感影像背景復(fù)雜多樣、檢測(cè)目標(biāo)小且不清晰等問(wèn)題進(jìn)行了試驗(yàn)研究。在YOLOv4框架基礎(chǔ)上，提出了一種改進(jìn)的YOLOv4的目標(biāo)檢測(cè)算法。由實(shí)驗(yàn)結(jié)果可知，改進(jìn)的YOLOv4目標(biāo)檢測(cè)算法，滿足實(shí)時(shí)性檢測(cè)的需求。但本文算法在遙感飛機(jī)小目標(biāo)檢測(cè)上仍有不足之處，一是訓(xùn)練樣本的不足，所用的樣本背景環(huán)境不夠復(fù)雜，導(dǎo)致其檢測(cè)率高于實(shí)際應(yīng)用到遙感領(lǐng)域中真實(shí)值，二是在面對(duì)圖像中飛機(jī)目標(biāo)排列密集的情況下，仍存在漏檢現(xiàn)象。