基于難易樣本平衡因子的遙感圖像目標檢測

黃 聰, 楊 垚, 王華軍, 李忠玉,趙金泉, 馬 瑜, 萬 軍

(成都理工大學 a.地球物理學院,b.地球勘探與信息技術教育部重點實驗室，成都 610059)

0 引言

遙感圖像目標檢測作為遙感圖像處理領域中的一個重要分支，近些年來得到了研究者們的廣泛關注。相對于自然場景下的圖像，光學遙感圖像具有視野范圍大，目標與背景對比度低、目標較小且密集等特點，這些特點進一步增加了目標檢測的難度[1]。準確高效地檢測出遙感圖像中感興趣目標，已經成為了智能化處理遙感圖像信息的關鍵問題之一。早期的遙感圖像目標檢測，主要是使用傳統的機器學習技術并結合遙感圖像的表層信息(如紋理、幾何特征等)進行目標檢測[2,4]。對于不同類別的檢測目標，研究者基于大量的先驗知識人工設計出各種特征表示，主要有梯度直方圖特征、尺度不變特征變換和Gabor特征等[5,13]，然而人工設計的特征對于多樣性的變化沒有很好的魯棒性，而且傳統的機器學習方法(如SVM、Adaboost等)算法具有特征學習不足、時間復雜度高等缺陷，導致目標檢測精度較低，不能很好地滿足實際需求[18]。

如今，深度卷積神經網絡由于能夠自動地學習到更深層次的特征，在圖像的分類和檢測等領域獲得的了廣泛地應用。目前主流的目標檢測模型主要分為兩類：①以Faster R-CNN為代表的two-stage目標檢測算法，首先通過提取機制來定義感興趣區域，然后這些感興趣區域由檢測網絡進一步處理獲得檢測結果[16-17]；②以YOLOv3為代表的one-stage目標檢測算法，不需要經過區域提取層直接從錨框來預測結果[3]。相對于傳統的機器學習算法，基于深度學習的目標檢測算法其表征能力更強，學習到的特征更豐富，能夠適應各種復雜多樣的場景，檢測精度也得到了很大地提高。

筆者主要貢獻是將YOLOv3運用到遙感圖像目標檢測中，為了適應遙感圖像背景復雜、感興趣目標小等特點，在檢測網絡中引入難易樣本平衡因子，進一步平衡簡單樣本和難例樣本的損失權重，從而提升了模型的檢測性能。

1 相關工作

在目標檢測領域，不平衡問題越來越得到了人們的關注，有效地處理不平衡問題能夠進一步提升檢測器的性能。目前，不平衡問題主要分為四類：①類別不平衡；②尺度不平衡；③空間不平衡；④對象不平衡[14]。對于類別不平衡，主要的研究方向分為正負樣本之間的不平衡和多個正樣本之間的不平衡。為了解決正負樣本不平衡的問題，近年來研究人員提出了一系列有效的理論和方法。其中最為簡單有效的方法，是直接在數據集中進行各種剪裁和融合操作來增強數據集從而達到樣本平衡，如Dwibedi等人直接對圖片中的目標進行隨機裁剪[10]。硬采樣方法作為解決目標檢測中不平衡問題的常用方法，它主要是通過從圖像數據集合中，選取一個特定正負樣本比例的子集來消除樣本不平衡所帶來的影響。例如在Faster R-CNN檢測模型中，分別從所有的正負錨框集合中隨機選取了128個正負錨框樣本用來訓練RPN網絡[8]。不同于隨機采樣的方式，在線難例樣本挖掘作為另一種硬采樣方法，它主要是從含有大量簡單樣本的數據集中自動地選取其中的難例樣本進行訓練，從而提高檢測器的性能[6]。針對硬采樣方法只選取部分樣本進行模型訓練所帶來的不足，軟采樣方法主要是通過整個數據集中每個樣本在訓練過程中相對重要程度來調整其對模型參數更新的貢獻，例如在YOLO算法模型中，作者直接使用常系數來定義正負樣本的權重用于模型的訓練更新[11-12,15]。

2 本文方法

筆者主要將YOLOv3應用于遙感圖像目標檢測。為了適應遙感圖像視野范圍大、背景復雜、目標小等特點，在網絡的損失函數中引入平衡因子來進一步平衡不同樣本之間的損失權重以提高模型的檢測精度。

2.1 Darknet-53

YOLOv3是在YOLOv1和YOLOv2基礎上改進而來的單階段檢測網絡。模型采用Darknet-53為主干網絡，網絡總共包含53個卷積層。表1中顯示，該網絡大量使用了3×3和1×1卷積，同時借鑒了殘差思想，設置多個殘差模塊來加強圖像特征地提取[9]。如圖1所示，每個殘差模塊包含兩個卷積層和一個殘差連接，卷積層之間使用leaky relu激活函數。通過使用殘差連接，可以有效地解決深度網絡退化問題。

表1 Darknet-53網絡結構

圖1 殘差模塊

2.2 多任務損失函數

YOLOv3中使用多任務損失函數進行訓練，式(1)表明損失函數可分為回歸損失Lossbox、置信度Lossconf損失和分類損失Losscls三部分[15]。

Loss=lossbox+lossconf+losscls

(1)

其中回歸損失Lossbox采用均方誤差：

(2)

置信度損失Lossconf采用二值交叉熵誤差：

(3)

分類損失Losscls采用二值交叉熵誤差：

(4)

2.3 難易平衡因子

在YOLOv3多任務損失函數中，不同類別樣本被賦予了相同的損失權重，而數據集中不同類別數量差異很大，使得最終的損失函數由部分類別樣本主導，不利于網絡模型的學習和訓練。為了解決YOLOv3存在的問題，在網絡的損失函數中引入難易平衡因子能夠進一步提高檢測模型的性能[7]。我們定義難易平衡因子Φ如下：

Φ(θ)=-α(1-θ)γ

(5)

其中θ定義如下：

(6)

(7)

(8)

在多任務損失函數中引入難易平衡因子后，能夠提高算法模型對數據集的表達能力，有利于提高模型的檢測精度。

3 實驗與分析

3.1 數據集和評估指標

這里所有的實驗都是基于公開的遙感數據集RSOD-Dataset，該數據集總共包含四個類別，分別為飛機、油罐、立交橋和操場。由圖2可以看到，對于飛機類別，目標尺度相對圖片較小且多為連續密集排列；而對于立交橋類別，其圖片背景相對復雜且目標沒有明顯的輪廓。因此，這兩類目標的檢測難度一般要大于油罐和操場。對于評估指標，我們使用平均精度AP50、AP75均值平均精度mAP和簡單kappa系數來評估模型對于單個目標和總體的檢測性能。

圖2 檢測示例

3.2 實現細節

筆者使用Ubuntu20.04操作系統，PyTorch1.6.0深度學習框架和NvidiaGTX2080Ti 11GB來訓練和測試算法模型，網絡模型的學習率設置為0.001，批量大小為6，迭代周期為120，錨框數量為12個，錨框的寬高尺度通過在數據集上使用K均值聚類算法獲得，難易平衡因子中的α參數設置為0.75，γ為2，其余的超參數設置不變。

3.3 主要結果

為了驗證本文改進方法的有效性，對YOLOv3檢測模型和本文方法進行了一組對比消融實驗。表2是兩個算法模型在遙感數據集RSOD-Dataset上的平均檢測結果，從表2中對比可以看出，當IOU=0.5時，YOLOv3算法模型的均值平均精度mAP為69.12%，kappa系數為0.50；而改進后的YOLOv3算法模型的均值平均精度mAP和kappa系數則分別提高到了75.53%和0.57，尤其是對于尺度較小的飛機類別和背景較復雜的立交橋類別，兩者的檢測精度分別有8.19%和15.12%的提升；當IOU=0.75時，相對于YOLOv3，本文改進方法的均值平均精度和kappa系數分別提高了14.07%和0.12，證明了本文方法更適用于小尺度和復雜背景的目標檢測。

表2 算法在RSOD-Dataset數據集上的平均檢測率對比

4 結論

針對遙感圖像視野范圍大、背景復雜、目標小等特點導致的低精度和低效率問題,筆者在YOLOv3中引入了難易平衡因子來進一步提升模型對遙感圖像的檢測性能。通過消融實驗結果表明，引入該平衡因子后的檢測模型在數據集上的平均檢測精度達到75.53%，優于原YOLOv3檢測模型，尤其是對于尺度較小的飛機類別和復雜背景的立交橋類別，檢測精度有了顯著提高，證明了本文方法對YOLOv3的改進能夠更加適用于遙感圖像目標檢測任務。在未來的工作中，將會繼續研究如何提升目標檢測算法對于難例樣本的檢測性能，從而進一步改進本文的方法，促進遙感圖像目標檢測與深度卷積神經網絡的融合應用。