基于改進YOLOv5s算法的遙感圖像飛機檢測

鄢奉習，徐銀霞+，蔡思遠，祁澤政

(1.武漢工程大學 智能機器人湖北省重點實驗室，湖北 武漢 430205；2.武漢工程大學 計算機科學與工程學院，湖北 武漢 430205)

0 引 言

相較于傳統圖像，遙感圖像中的飛機目標更具多樣性、背景更具復雜性，并且目標更小。因此，遙感圖像飛機目標檢測，面臨著諸多挑戰。

隨著深度學習高速發展，現階段的目標檢測算法主要包括以下兩種類別[1]：一是Two-stage算法、如R-CNN算法[2]、Fast R-CNN算法[3]、Faster R-CNN算法[4]、R-FCN算法[5]、Mask R-CNN算法[6]等。二是One-stage算法，如SSD算法[7]、YOLO[8]系列算法、RetinaNet算法[9]等。近年來，為提高遙感圖像目標檢測的精度和效率，許多學者進行了相關研究。

Adam Van Etten等[10]通過對圖像做尺度變換、旋轉，縮小輸出特征圖及分割等操作，在衛星遙感圖像目標檢測中取得不錯的效果。鄭哲等[11]融合多尺度特征金字塔，并引入通道與空間注意力機制，顯著提高了遙感圖像的檢測精度。姚群力等[12]應用反卷積算法實現了高層語義信息與底層特征細節的融合，較大提升了遙感圖像密集小目標飛機的檢測效果。李婕等[13]通過融合注意力約束的特征共享層，有效提升了多尺度密集的遙感飛機目標的檢測精度。葉趙兵等[14]引入CIOU邊框回歸損失，提高了模型的定位精度。劉輝等[15]使用Soft-NMS代替YOLOv5所使用的非極大值抑制(NMS)，成功降低了模型的漏檢率。

YOLOv5s是一種高效、高精度的網絡模型，但在復雜遙感圖像目標檢測的應用中仍有待改進。受以上文章啟發，本文引入DenseNet方法、CBAM注意力機制以及改進損失函數，對YOLOv5s模型進行特征復用、精度優化以及魯棒性提高，利用多種公開數據集驗證了模型改進后的性能。

1 YOLOv5s模型結構

由圖1可以看出，YOLOv5s模型由Input、Backbone、Neck、Prediction這4部分組成。

圖1 YOLOv5s模型結構

Input端采用了Mosaic方法進行數據增強，任意選取4張圖片進行縮放、裁剪和排布處理，然后再拼成1張圖片。

Backbone網絡中包含Focus和CSP[16]模塊。Focus模塊的切片操作能保證網絡層獲取足夠多的特征信息，增加卷積視野。CSP模塊由殘差組件與CBS模塊構成，CBS模塊由3個連續操作構成：3×3Conv+BN+SiLU。殘差組件由CBS模塊以殘差的方式連接而成。CSP模塊可以保證準確率和速率，減少參數，使模型更輕量化。

Neck部分采用FPN+PAN[17]結構，FPN自上而下通過上采樣向下將特征圖進行傳遞融合。PAN采用自底向上的特征金字塔傳遞特征，從不同的主干層對不同的檢測層進行特征聚合。

Prediction端先采用GIOU損失函數[18]，增加相交尺度的衡量方式，使邊界框的回歸收斂效果更好。然后，運用非極大值抑制算法對檢測框進行篩選，保留置信度最高的預測框，舍棄置信度較低的預測框。

2 YOLOv5s改進

為解決遙感飛機圖像中小目標特征消失，以及重疊區域漏檢等問題，提高對小目標飛機的檢測性能與魯棒性，本文對YOLOv5s網絡結構中的CSP模塊、Backbone網絡以及檢測算法分別進行了改進。

2.1 采用稠密連接減輕梯度消失

遙感飛機圖像具有分辨率較大，待檢測小目標飛機密集以及復雜背景等問題，因此在模型訓練過程中，需要大量參數，消耗較多時間。而且，隨著網絡層數加深，還會出現小目標飛機梯度消失的現象。如果在淺層網絡的輸出層與深層網絡的輸入層之間，建立更短的連接通道，則可以最大化傳遞網絡層之間的特征信息，使網絡訓練更快、更深、更準確。借鑒稠密卷積神經網絡模型DenseBlock[19]的方法，本文對YOLOv5s網絡中的CSP模塊進行改進，以稠密連接方式代替傳統卷積，使得在深層網絡中也能更好的傳遞特征信息，從而減輕梯度消失。

DenseBlock結構如圖2所示，其中，Xl是第l層的輸出，H由BN、ReLU和3×3卷積操作組成，用于提取特征圖。第l層的輸入為第0～l-1層的輸出特征圖，式(1)為輸出Xl的計算公式。在DenseBlock的輸出端，使用由BN層、1×1卷積和2×2池化構成的Transition Layer層來對特征圖進行下采樣

圖2 DenseBlock結構

Xl=Hl([X0，X1，X2，…，Xl-1])，(l∈N+)

(1)

需要注意的是，稠密連接會使得特征圖通道數隨著網絡層的加深不斷增多。為了控制特征圖數量，DenseNet引入Growth rate超參數k來表示DenseBlock中特征圖的數量，k其實是卷積核個數。假設輸入特征圖數量為k0，則輸出特征圖的數量m的計算如式(2)所示

m=k0+(l-1)×k

(2)

如圖3所示，本文將CSP模塊中的殘差單元采用稠密連接方式，通過Concatenate特征聯合多個特征圖維度實現短路連接，采用3×3與1×1的卷積進行特征維度轉換，使特征信息得以復用。這種方法既能保證網絡各層之間的信息流最大化，又解決了特征圖因網絡層數加深而信息丟失的問題。每一個Resnet殘差單元對獲取的輸入信息經過卷積計算后，會傳遞給所有深層殘差單元。因為不需要重新學習冗余特征圖，所以僅需新增少量參數就能使網絡層獲得足夠的特征信息，從而提升了特征利用效率，加強了網絡模型對遙感圖像中尺寸較小的飛機目標的特征提取。而且通過短路徑，特征信息可以直接由淺層向深層傳遞，擁有更強的流動能力。此外，殘差單元采用稠密連接方式，通過引入大量低層信息，達到了正則化的效果，優化了過擬合問題。

圖3 CSP_DB結構

2.2 引入注意力機制優化特征傳播

在人類視覺感知中，注意力起著重要作用。研究表明，人類的注意力分布是不均勻的，選擇性地關注顯著信息是人類視覺系統的重要特性之一。YOLOv5s算法的檢測性能主要取決于Backbone網絡，為了在不增加網絡深度的條件下提高CNN對遙感圖像中小目標飛機的檢測精度，本文在Backbone網絡增加CBAM(convolutional block attention module)[20]注意力機制來關注重要特征并抑制非重要特征，以提高表示能力。CBAM注意力機制分別提取通道和空間兩個維度的信息，凸顯沿通道軸和空間軸兩個主要方向的有意義的特征。如圖4所示，本文依次應用通道和空間注意力模塊，以便每個分支可以分別學習通道和空間軸上的信息特征和特征位置。

圖4 CBAM結構

圖4中，F∈RC×1×1為輸入特征，CBAM算法從通道維度與空間維度上順序計算得到通道注意力圖MC∈RC×1×1和空間注意力圖MS∈R1×H×W。 式(3)、式(4)為注意力過程計算公式

F′=MC(F)?F

(3)

F″=MS(F′)?F′

(4)

其中，?表示逐元素乘法。在矩陣相乘時，通道注意力值沿著空間維度廣播，反之亦然，F″是最終的精煉輸出。

圖5 通道注意力結構

(5)

式中：σ示sigmoid函數，W0∈RC/r×C，W1∈RC×C/r， MLP權重、W0、W1是輸入共享的，且W0在ReLu激活函數之后。

圖6 空間注意力結構

(6)

式中：σ表示sigmoid函數，f7×7表示濾波器大小為7×7的卷積操作。

Backbone網絡中的CBAM模塊如圖7所示。本文僅特征圖下采樣時嵌入注意力機制，對下采樣時神經網絡傳遞的特征圖在通道和空間兩個層面設置不同的權重。這種方法使得深層網絡得到更加準確的特征信息，有利于loss值的降低，保證遙感圖像中飛機目標的準確識別與定位。直觀來講，在梯度向前傳播的過程中，特征圖中重要的通道與空間將會占有更大的比重。在最終的輸出圖像中能更加凸顯出檢測模型所重點關注的部分，從而更好地分辨出待檢測目標。在Backbone網絡中，嵌入注意力機制后會增加計算量，但通過一定比例的降維可以使檢測性能和速度達到一定的平衡。而且空間與通道注意力機制，是一種即插即用的算法模塊，并不會改變網絡結構。

圖8展示了使用注意力機制前后，網絡模型第一次下采樣后的特征提取結果對比，圖8(a)為待檢測圖像，圖8(b)為未使用注意力機制時的特征提取結果，可以看出飛機的邊緣較模糊，特征沒有得到很好的提取。圖8(c)為使用注意力機制后的特征提取結果，飛機的輪廓更清晰，而且飛機與背景被明顯區分開，說明改進后的模型更好的提取到了特征信息。由此可見注意力機制增強了模型的特征提取能力。

圖8 CBAM注意力機制引入前后特征提取結果對比

2.3 檢測算法改進

2.3.1 損失函數改進

預測框回歸是定位目標對象的關鍵步驟。在預測框回歸的評估中，IOU是最受歡迎的指標。YOLOv5s網絡采用GIOU，雖然可以緩解非重疊情況下的梯度消失問題，但仍然存在一定的局限性。

如圖9所示，圖9(a)～圖9(c)中的預測框A大小一致，且在真實框B內部，C為預測框A和真實框B的最小外接矩形，預測框A和真實框B的差集相同。根據GIOU_Loss計算式(7)～式(9)，這3種狀態的GIOU值也都是相同的，這時GIOU退化成了IOU，無法區分相對位置關系

圖9 GIOU

(7)

(8)

(9)

本文損失函數采用CIOU_Loss[21]，同時計算檢測框之間的中心點距離、縱橫比以及重疊大小。CIOU損失函數原理如圖10所示，計算如式(10)所示

圖10 CIOU

(10)

式中：L為最小外接矩形C的對角線距離，d為預測框中心點與目標框中心點間的歐氏距離，v是衡量長寬比一致性的參數，可以定義為式(11)

(11)

式中：wgt、hgt代表目標框寬和高，w、h代表檢測框寬和高。

2.3.2 NMS改進

在預選框的篩選階段，YOLOv5s采用的是非極大值處理(non-maximum suppression，NMS)。需要注意的是，由于NMS將IOU高于閾值的候選框的分數置0，如果真實物體在重疊區域出現，那么采用NMS可能會漏檢。因此，本文將DIOU部署在NMS中，在抑制冗余框時考慮重疊區域以及兩個邊界框中心點之間的距離，增加其識別被部分遮擋的目標的魯棒性，還能加快收斂速度。DIOU_NMS計算如式(12)、式(13)

(12)

(13)

其中，b和bgt表示預測框和真實框的中心點，ρ(x) 是歐幾里得距離，c是覆蓋兩個框的最小封閉框的對角線長度，ε是NMS閾值，Si為預測框得分，M為分數最高的候選框，Bi為待去除的候選框。

2.4 改進YOLOv5s的網絡結構

改進的YOLOv5s網絡結構如圖11所示。首先，在Input端，將三通道輸入圖像的尺寸由604×604改為640×640，避免小目標飛機的特征信息經過多次下采樣后消失，降低復雜背景下小目標飛機的漏檢率。

圖11 改進YOLOv5s結構

在Backbone中，將Focus結構中的原始640×640×3的圖像改為320×320×12的特征圖，再經過32個12×3×3卷積核的卷積操作，輸出尺寸為320×320×32的特征圖。在特征圖輸入CSP_DB模塊前使用步長為2的3×3卷積核進行下采樣。5次下采樣后的特征圖依次為320×320、160×160、80×80、40×40、20×20。在進行特征下采樣前，Resunit殘差單元采用稠密連接方式，防止深層網絡梯度消失的同時，增強特征傳播，鼓勵特征重用，并減少參數數量，使網絡可以進行更深入、更準確和有效的訓練。將注意力機制添加在Backbone網絡中的CSP_DB模塊之后，有選擇性地加強包含重要信息的特征并抑制無關或較弱關聯的特征，確保在獲取足夠多與足夠準確的特征信息之后，再進行特征圖下降。實現特征信息在網絡中更準確、有效的傳播，不僅可以提升檢測精度與性能，還能增強網絡特征提取的魯棒性。SPP模塊使用不同尺度過濾器K={1×1，5×5，9×9，13×13}， 對輸入特征圖進行多尺度最大池化與通道拼接，從而提高圖像的尺度不變性，降低過擬合，使網絡更容易收斂。

在Neck層，沿用雙重特征金字塔思想，融合FPN+PAN結構。FPN與PAN分別是自頂向下與自底向上的特征金字塔結構，融合兩種結構，可以同時加強語義特征與定位特征傳達，從不同的主干層對不同的檢測層進行特征聚合。首先將Backbone網絡輸入的19×19特征圖經過兩次上采樣與特征融合后得到80×80輸出特征圖。然后80×80輸出特征圖經過下采樣后，與Backbone網絡特征圖融合得到40×40輸出特征圖。最后，40×40輸出特征圖經過下采樣與特征圖融合后，得到20×20輸出特征圖。從不同的主干層對不同的檢測層進行特征聚合，實現了不同尺寸目標檢測間的平衡。

最后Prediction端采用CIOU_Loss算法，從重疊面積、中心點與長寬比3個量維度上對預測框進行回歸；接著，采用DIOU_NMS算法，從重疊面積以及預測框間的中心點距離對冗余框進行抑制的。最終，提高算法對被遮擋目標識別的性能。值得注意的是，這里之所以未考慮長寬比維度，是因為該影響因子為groundtruth標注框信息，而測試過程中，并沒有該影響因子，因此，采用DIOU_NMS算法即可。

3 實驗與分析

3.1 實驗平臺

本文實驗所用的操作系統為Ubuntu20.04，處理器型號為Intel(R)Xeon(R)Gold 6230 CPU@2.10 GHz；顯卡型號為NVIDIA Tesla T4；開發環境為python3.8、pytorch、cuda11.1。

3.2 數據集與訓練策略

本文采用2015年武漢大學團隊標注的RSOD[22]數據集中的遙感飛機圖像作為數據集進行訓練測試，并選取西北工業大學的光學遙感圖像數據集NWPU VHR-10、DIOR、UCAS-AOD和DOTA中包含飛機類別的數據集進行了拓展實驗。數據集中飛機樣式包含民航客機、戰斗機以及直升機，表1展示了訓練集與測試集的相關數據。

表1 訓練集和測試集

為了避免初始較大學習率導致模型的不穩定，本文采用改進的預熱訓練(Warmup)策略：采用批訓練(mini-batch)方式輸入訓練數據集，在訓練過程中，先用較小的學習率訓練一個epoch，待模型趨于穩定后，再分階段恢復正常學習率。在防止訓練誤差增大與提前過擬合的同時，加快了網絡模型的收斂速率，從而有效地提高計算效率。

3.3 評估指標

為了評估網絡模型的性能和對遙感飛機圖像檢測的準確性，本文采用準確率(P)、召回率(R)、mAP、幀率(FPS)、參數數量(Param)和GFLOP作為評估指標。

準確率指網絡檢測到的真實目標類別數量與檢測到的所有目標類別數量之比；召回率指網絡檢測到的真實目標類別數量與所有真實目標類別數量之比。準確率和召回率的計算方法如式(14)

(14)

式中：真正樣本(TP)表示檢測到的真實目標類別的樣本數量；假正樣本(FP)表示檢測到的目標類別中非真實目標類別的樣本數量；假負樣本(FN)表示未檢測到的真實目標類別數量。

mAP為所有類別的平均準確率，計算方法如式(15)

(15)

式中：AP表示每個類別平均準確率，N表示檢測目標類別數量。

幀率指網絡模型每秒鐘能檢測的圖像數量，用來評估網絡模型檢測速率。

參數數量指的是模型所需參數。

GFLOP即每秒10億次的浮點運算數。

3.4 實驗結果及分析

為了測試本文改進的YOLOv5s模型對于遙感飛機圖像的檢測性能，本文利用RSOD數據集進行了訓練測試。模型改進前后loss曲線如圖12所示，橫坐標為訓練次數，縱坐標為訓練過程中的loss值。

圖12 Loss值下降曲線

圖12表明，模型改進前，初始loss值約為0.3；模型改進后，初始loss約為0.2，降低了33.3%。在訓練的初始階段，模型改進前的檢測框loss值有上升趨勢，說明有過擬合現象；而模型改進后的檢測框loss值較平滑，未出現過擬合現象。在預訓練結束時，模型改進前loss值約為0.1776，模型改進后loss值約為0.1042，降低了41.8%。由此可見，模型改進后顯著降低了loss并優化了過擬合現象，性能更佳。

圖13 mAP曲線

為了進一步測試改進YOLOv5s模型的檢測性能，本文在測試集上進行了目標檢測實驗，實驗結果如圖14所示。圖14中有3個對照組，在每一組中，左圖為改進前的模型測試結果，右圖為改進后的模型測試結果。圖14(a)是針對飛機尺寸小且機身顏色與背景顏色相近的遙感圖像進行測試的結果。實驗結果表明，改進后的算法準確無誤地檢測出了所有飛機，而改進前的模型測試存在誤檢現象，如右上角標記框所示。這是由于在改進前的卷積神經網絡中，小尺寸目標的語義丟失，影響了后續特征金字塔的信息融合，錯誤地將與目標顏色、形狀相近的物體識別為目標。改進后的模型使用密集網絡加強了網絡的特征提取能力，而且密集網絡的正則化可以減輕YOLOv5s的過擬合。因此，即使目標顏色與背景顏色相近，改進后的網絡模型仍然可以區分目標與背景。

圖14 模型改進前后實驗結果對比

在實際拍攝過程中，中等尺寸的飛機目標，可能存在部分被遮擋的情況。圖14(b)是針對目標部分被遮擋的遙感圖像進行測試的結果，改進前YOLOv5s未能檢測出右上標記框中的部分被遮擋的飛機目標；而改進后的模型采用了注意力機制，通過細化特征圖提高了卷積網絡的表示能力，有效地幫助了特征信息傳播，具有對嘈雜輸入的魯棒性，成功檢測出了該位置的目標。

圖14(c)是針對背景更為復雜，飛機目標更小更密集的遙感圖像進行測試的結果，改進后的模型較好地檢測出了所有目標，而改進前的YOLOv5s網絡模型依然存在誤檢情況，如左下標記框所示。

表2列出了YOLOv5s+CBAM+DenseNet(本文模型)與Faster R-CNN、SSD、YOLOv5s、YOLOv5s+CBAM、YOLOv5s+DenseNet在RSOD數據集上的測試結果對比。

表2 不同算法模型在RSOD數據集上的對比

由表2可見，本文模型在RSOD數據集上，IOU大于0.5時的平均準確率較YOLOv5s+DenseNet、YOLOv5s+CBAM、YOLOv5s、SSD、Faster R-CNN算法分別提高了2.91%、0.3%、3.91%、11.54%、9.08%，表明本文模型具有優良的檢測性能。IOU閾值越大，對目標檢測算法的準確性要求越高。從表中可以看出，在IOU閾值增大的情況下，mAP排序依舊是本文模型>YOLOv5s+DenseNet>YOLOv5s+CBAM>YOLOv5s>Faster R-CNN>SSD，表明本文算法整體檢測精度更高。雖然，相比原YOLOv5s算法，改進后的幀率小幅度降低。從表中可以看出，幀率下降的主要原因是稠密連接雖然需要較少的參數，但是需要更大的計算量，并且在特征圖空間軸和通道軸上使用了注意力機制。總體而言，相比原YOLOv5s算法，本文改進后的算法僅僅降低了少量幀率，卻顯著提升性能。

表3為不同注意力安排方法以及損失函數在RSOD數據集上的實驗結果。

表3 不同注意力安排方法以及損失函數在RSOD數據集上的對比

根據表3實驗結果，帶有CBAM注意力機制的模型性能優于SE注意力機制，說明與SE相比，CBAM有更大的提升。同時，還可以看出，相比于GIOU損失函數與DIOU損失函數，CIOU損失函數擁有更高的回歸精度。

3.5 其它數據集實驗結果

為了驗證本文算法訓練得到的模型的適應性，本節在 NWPU VHR-10、DIOR、UCAS-AOD和DOTA數據集中選取了不同分辨率與背景的遙感飛機圖片進行測試。如表4所示，本文改進后的算法在NWPU VHR-10數據集上的檢測精度為92.15%、在DIOR數據集上的檢測精度為91.56%、在UCAS-AOD數據集上的檢測精度為93.19%，以及在DOTA數據集上的檢測精度為93.22%。本文改進后的模型在上述數據集上都擁有較高準確度，說明該模型具有較強的實用性。

表4 改進YOLOv5s在其它數據集檢測結果

4 結束語

本文以遙感飛機圖像的目標檢測為研究背景，基于遙感圖像飛機目標檢測任務中存在的密集小目標以及被遮擋目標檢測精度低的問題，提出了一種基于稠密連接以及CBAM注意力機制改進的YOLOv5s檢測模型。首先，稠密連接的引入，增強了網絡特征傳播，減輕了梯度消失并且減少了參數數量；其次，采用CBAM注意力機制，通過增加重要特征信息權重，抑制無關信息，大大提升了網絡模型性能。最后，將GIOU+NMS改進為CIOU+DIOU_NMS，提升了對被遮擋目標檢測的魯棒性。實驗結果表明，與其它幾種主流算法相比，本文提出的模型不僅具有較好的檢測性能，還具有很好的實用性以及適用性。未來的工作，將在不降低網絡模型性能的情況下減少模型參數的方向展開研究，進一步提升網絡模型的綜合性能。