利用非局部上下文信息的遙感圖像小目標檢測

李陽陽，毛鶴亭，張小龍，陳彥橋，柴興華

(1.西安電子科技大學 人工智能學院，陜西 西安 710071；2.中國電子科技集團公司第五十四研究所 航天信息應用技術重點實驗室，河北 石家莊 050081)

遙感圖像目標檢測作為一個基礎且具有挑戰性的視覺任務，在軍事領域，如準確獲取戰場信息并對敵方進行精準打擊；在民用領域，如土地利用、城市規劃、礦產資源勘探等得到了廣泛應用[1-2]。遙感圖像中普遍存在小目標，但從遙感圖像中精確的檢測出小目標并不容易。遙感圖像中小目標的檢測主要面臨兩大難點：① 目標特征信息少。由于小目標本身在圖像中所占的像素較少，且被復雜的背景信息包圍，導致網絡很難提取小目標的有效特征，進一步影響后續的定位和識別任務。② 目標定位困難。相對于大目標而言，小目標的正樣本匹配率低，導致小目標在網絡訓練時沒有太多貢獻度，進而影響網絡對小目標的檢測能力。

基于深度學習的目標檢測方法逐漸發展出兩個分支：① 追求高精度的二階段目標檢測方法，具有代表性的算法有更快的區域卷積神經網絡(Faster Region Convolutional Neural Network，Faster R-CNN)[3]、基于區域的全卷積網絡(Region-based Fully Convolutional Network，R-FCN)[4]等；② 追求實時檢測的單階段目標檢測方法，具有代表性的算法有一種快速和準確的實時目標檢測算法(You Only Look Once，YOLO)[5]、RetinaNet[6]、CornerNet[7]等。對于遙感圖像中的大尺寸目標而言，現階段基于深度學習的目標檢測方法已經取得了非常不錯的檢測效果。然而，這些優秀的目標檢測方法在檢測小尺寸目標時仍然存在巨大的挑戰。由此，一些學者開始關注遙感圖像中的小目標檢測問題，提出了許多有效的改進模型。改善特征金字塔網絡(Refine Feature Pyramid Networks，Refine FPN)[8]解決了特征金字塔網絡(Feature Pyramid Networks，FPN)[9]在上采樣過程中產生的混疊效應，并通過對構建模塊進行改進以及在同一層的輸入輸出間增加了一個恒等映射，解決了小目標的特征在深層網絡中易丟失的問題，提高了光學遙感圖像小目標的檢測性能。跨層注意力網絡(Cross layer Attention Network，CA-Net)[10]設計了一種改進的非局部注意力模塊，并將該模塊嵌入到二階段檢測網絡中，利用目標的上下文信息來輔助辨認小目標。實驗結果表明，該網絡在檢測遙感圖像小目標方面表現不錯，并且能夠很好地處理多尺度目標場景。以上兩個網絡均是從充分挖掘小目標特征信息的角度出發，網絡能夠很好地提取特征，但是在定位方面的性能并不算理想，存在重復檢測與邊界框定位不精準的問題，需要進一步的改進與完善。而在目標檢測定位方面，目前常見的目標檢測算法，如Faster R-CNN、R-FCN和YOLO等均采用單一交并比(Intersection-over-Union，IoU)閾值進行判斷。然而，文獻[11]發現單一的IoU閾值不能同時權衡邊界框的數量與質量，故提出了一種級聯目標檢測網絡Cascade R-CNN。該網絡通過設置逐漸增大的多個IoU閾值來訓練一組多階段的目標檢測網絡，實驗表明在自然圖像中能夠獲得更高質量的預測邊界框。

針對上述問題，筆者提出一種基于非局部上下文信息的檢測方法，用來改進小目標檢測網絡中的定位性能。該算法的主干網絡提取的特征更加豐富且包含了非局部信息，此外，將級聯網絡應用到遙感圖像中，改善小目標定位框質量，并針對遙感圖像小目標特性設計了一個上下文轉移模塊，為區域生成網絡(Region Proposal Network，RPN)生成的每一個感興趣區域(Region of Interest，RoI)賦予上下文信息，進一步輔助小目標的定位。

1 網絡模型結構的設計

眾所周知，定位難一直都是遙感圖像小目標檢測的難點問題之一。之前的一些研究解決了小目標的特征在深層網絡中易丟失的問題，但在定位方面的性能并不算理想。筆者對遙感圖像小目標檢測的檢測網絡進行了改進，整體結構如圖1所示。算法采用Refine FPN和CA-Net的組合結構作為主干網絡，用于提取小目標的更強特征信息，采取級聯區域卷積神經網絡(Cascade Region Convolutional Neural Network，Cascade R-CNN)作為檢測網絡，用于提高邊界框質量。同時，提出了一個上下文轉移模塊(Context Transfer Module，CTM)，將目標的上下文信息傳遞給對應的感興趣區域，賦予其上下文感知能力，使其更適用于遙感圖像小目標檢測問題。

1.1 主干網絡

使用的主干網絡由Refine FPN和CA-Net組成。Refine FPN是基于特征金字塔網絡FRN進行改進的，作用于深度殘差網絡(deep Residual Network，ResNet)[12]各個階段最后一個殘差塊輸出的特征激活輸出，分別將其表示為C2、C3、C4和C5。在高階特征圖與低階特征圖融合之前，對低階特征進行的上采樣過程中，使用最近鄰插值和卷積的組合代替反卷積或簡單的插值操作，能夠有效減少棋盤效應或混疊效應。此外，為了更好地使用小目標，Refine FPN中對構建模塊進行了改進。網絡中使用一個1×1的卷積(可以減少通道維度)和一個3×3的卷積來進一步提取低層的詳細位置信息，并在兩個卷積層之間應用線性整流函數(Rectified Linear Unit，ReLU)來獲得非線性表示。然后，通過元素相加將高級語義特征與低級位置特征融合，并通過一個 3×3 卷積和兩個 ReLU 層獲得融合后的特征圖。重復這個過程，直到生成最高分辨率的特征圖。最后，會得到一組多尺度特征圖，對應每一層的融合特征圖，定義為{P2，P3，P4，P5}。圖1中P6是P5通過最大池化得到的特征圖，它是為了匹配更大尺寸的候選框而引入的，這與FPN的相同。

圖1 筆者提出算法整體網絡的示意圖

為了給像素對的位置關系進行建模，在主干網絡中又添加了CA-Net所提出的非局部注意力機制，以及跨層聚合與均衡模塊。文獻[13] 提出非局部注意力機制可以計算出某個像素點的全局上下文信息，而文獻[14]發現對于同一個特征圖上的不同查詢點，注意力特征圖幾乎相同。因此，CA-Net網絡使用了一個改進的非局部注意力模塊，特征圖上每個像素點不再單獨計算注意力特征圖，而是共享同一張注意力特征圖，該模塊可以在得到全局上下文信息的同時，減輕網絡的計算量。又由于注意力模塊在各層上捕獲的信息會各有側重，因此使用跨層聚合與均衡模塊，先聚合各層的特征信息，而后再均衡分配給各層，使得最終給檢測網絡提供的特征強且均衡。

1.2 上下文遷移模塊

使用Faster R-CNN提出的區域生成網絡在圖像上生成一組與目標相關的感興趣區域，然后基于感興趣區域預測目標的位置。由于使用的網絡主干屬于金字塔結構類型，所以區域生成網絡需要在多層特征圖上計算感興趣區域。區域生成網絡計算出感興趣區域之后，需要根據感興趣區域的尺寸將其劃分到主干網絡對應的層級上，計算方式如下所示：

(1)

其中，w和h分別表示RoI的寬和高，k0表示FPN中的P4層，對應感興趣區域的尺寸為w×h=224，該尺寸為標準的ImageNet[15]預訓練尺寸。根據式(1)可知，當感興趣區域的尺寸變得更小時(如w×h=1122)，它將會被分配到更低的一層的特征圖上(如P3層)。接著，在對應的特征層上應用感興趣區域對齊(Region of Interest Align，RoI Align)[16]提取RoI的特征得到區域候選框，送入下一階段的網絡中。

根據式(1)可以看出，小尺寸感興趣區域會被分配到低層，而大尺寸感興趣區域會被分配到高層，而每一個感興趣區域的層級從某種程度上可以代表其所屬的上下文環境。基于此，筆者提出了如圖2所示的上下文轉移模塊(Context Transfer Module，CTM)。具體的操作是，對RoI所屬層級對應的特征圖進行平均池化操作獲取上下文信息，與感興趣區域的局部信息進行元素相加，得到一個擁有上下文感知能力的RoI。

圖2 上下文轉移模塊結構示意圖

1.3 級聯檢測網絡

CAI等人提出了一種級聯目標檢測網絡——Cascade R-CNN，其核心思想是通過多階段級聯的檢測子網絡來不斷提高預測邊界框的質量。基于其核心思想，設計了適用于小目標檢測的級聯檢測網絡，具體結構如圖3所示。

圖3 級聯檢測網絡結構示意圖

級聯檢測網絡包含3個階段的檢測子網絡，每一階段的檢測子網絡都旨在尋找一組更好的基準邊界框用于訓練下一階段，并且每一個階段的檢測子網絡采用的IoU閾值會越來越高，以確保邊界框的質量越來越高。在這個過程中，每一階段預測的邊界框于下一階段的檢測子網絡而言都是一組感興趣區域，在送入下一階段的檢測子網絡進行預測之前都需要通過感興趣區域池化(Region of Interest Pooling，RoI Pooling)或者RoI Align 計算出對應的區域候選框。B0表示RPN階段生成的所有感興趣區域，每一階段預測的邊界框于下一階段的檢測子網絡而言都是一組感興趣區域。考慮到小目標問題，在送入下一階段的檢測子網絡進行預測之前，使用RoI Align提取前一階段得到的邊界框特征，避免RoI Pooling的多次量化過程造成小目標的特征丟失問題。

在Cascade R-CNN中，回歸任務被構建為一個級聯回歸問題，因此定義一個級聯回歸器：

g(x，b)=gT°gT-1°…°g1(x，b0) ，

(2)

其中，T是級聯階段數目。需要注意的是，每一階段的回歸器gt都是以t-1階段預測得到的邊界框為基準進行優化的，b0則表示區域生成網絡階段生成的所有感興趣區域，如圖3中的B0。

根據前述分析可做一個假設。假設經過逐階段的訓練之后，檢測質量得到了改善，那么最后一階段的檢測器質量是最佳的，因此Cascade R-CNN的整體損失函數可以定義如下：

L(xt，l)=Lcls(ct(xt)，yt)+λ[yt≥1]Lreg(gt(xt，bt)，l) ，

(3)

其中，bt=gt-1(xt-1，bt-1)，表示t階段得到的邊界框，l是對應的標簽框。Lcls(·)是Cascade R-CNN的分類損失函數，可以由下式計算：

Lcls(c(x)，y)=-∑c(x)logy，

(4)

其中，c(x)表示分類器，y表示預測框x的類別，其定義為

(5)

其中，ly表示標簽框l的類別，u表示預先設定的IoU閾值。

上式中的λ和Lreg(·)分別表示平衡參數和網絡定位損失，其中l的值為1。Lreg(·)計算公式如下：

(6)

其中，t和t*分別表示目標的預測邊界框與候選框之間的偏移量和標簽邊界框與候選框之間的偏移量。

2 實驗結果及分析

文中使用的硬件環境是一張Intel Core i7-7800X CPU與一張NVIDIA GeForce RTX 2080 Ti GPU，基于Ubuntu18.04作為實驗平臺，編程使用Python 3.6編程語言，PyTorch 1.0.0深度學習框架，Cuda 10.0環境。實驗使用的數據集是Small-DOTA數據集、DIOR數據集和OHD-SJTU-S數據集。對實驗結果分析時，采用定量評價指標平均精度(Average Precision，AP)和平均精度均值(mean Average Precision，mAP)對算法性能做定量分析，并展示算法的最終檢測結果圖以做定性分析。

DOTA數據集[17]是一個大型的、公開的用于遙感圖像目標檢測任務的數據集。DOTA 1.5版本是一個更新版本，與DOTA 1.0相比包含更多小目標，總共有涵蓋16個類別的400 000個目標實例。所以從DOTA 1.5中選擇了小目標占比較高的類別，組成了Small-DOTA數據集，專門用于遙感圖像小目標檢測。Small-DOTA數據集總共包含1 508幅遙感圖像和227 656個目標實例，圖像尺寸從800×800到4 000×4 000像素不等，囊括的4個類別有小型車輛、船、儲油罐和大型車輛。在實驗中，采用Small-DOTA數據集中的1 157幅圖像用于訓練、351幅圖像用于測試。此外，考慮到圖像尺寸過大，使用大小為1 024×1 024、重疊為200個像素的滑動窗口將Small-DOTA數據集的每幅圖像裁剪為尺寸大小為1 024×1 024，尺寸不足則進行補0處理，處理后將其送入網絡模型中用于訓練和預測。

DIOR[18]是一個大型的用于評估遙感領域目標檢測的公開數據集，包括23 463個圖像和190 288個目標，總共有20個目標類別：棒球場、飛機、籃球場、火車站、高速公路服務區、風車、快遞收費站、立交橋、船舶、港口、高爾夫球場、橋梁、地面場地、煙囪、大壩、儲罐、體育場、網球場、機場和車輛。DIOR數據集中使用水平邊界框標記，圖像的大小為800×800像素，“Google地球”是DIOR數據集的數據來源。在實驗中，使用11 725幅圖像用于訓練，11 738幅圖像用于測試。

OHD-SJTU-S數據集[19]是楊學團隊新開源的用于遙感圖像目標檢測的大型場景圖像數據集。該數據集圖像同樣來源于“Google 地球”，圖像尺寸大小為10 000×10 000像素和16 000×16 000像素，共有43幅圖像，包含飛機和船這兩個類別。對OHD-SJTU-S數據集做了兩個預處理工作：① 由于OHD-SJTU-S數據集使用任意四邊形標注目標實例，將每個目標實例的原始任意四邊形標簽轉化為水平邊界框標簽；② 在送入模型訓練或者測試之前，使用窗口大小為600×600、重疊為200像素的滑動窗口將OHD-SJTU-S數據集中的所有圖像裁剪為600×600像素的小圖。

考慮到數據集的規模，在Small-DOTA數據集和DIOR數據集上使用101層的ResNet、Refine FPN和CA-Net作為主干網絡用于提取圖像特征，而在OHD-SJTU-S數據集上使用的主干網絡則是50層的ResNet、Refine FPN和CA-Net。鑒于文中所提算法屬于基于候選框的算法，需要事先設置候選框的尺寸，具體尺寸為{322，642，1282，2562，5122}，分別對應FPN的5層特征圖，每層上設置的候選框比例為{1∶1，1∶2，2∶1}。在模型訓練階段，采用隨機梯度下降算法訓練網絡模型，訓練圖像的批大小設置為2，動量設置為0.9，權值衰減設置為0.000 1，學習率設置為0.002 5，并且在前500輪的時候使用預熱策略對學習率進行了預熱操作。模型總共需要訓練12代，并且在第8代和第11代的時候，學習率會衰減到0.000 25和0.000 03。文中所提算法總共包括3個檢測階段，每個檢測階段設置的IoU閾值分別為0.5，0.6和0.7，以逐步優化邊界框的質量。另外，每個檢測網絡的損失權重分別設置為1.00，0.50和0.25。

采用AP和mAP這兩個評價指標來評估模型的檢測性能，對比算法有Faster R-CNN、FPN、Refine FPN、Cascade R-CNN以及CA-Net*。其中CA-Net*是Refine FPN與提出的CA-Net的組合結構，沒有上下文轉移模塊和級聯檢測網絡，即，僅使用文中主干網絡的算法。通過與CA-Net*比較，能夠進一步說明文中提出的兩個改進模塊的有效性。各種算法在Small-DOTA、OHD-SJTU-S和DIOR數據集上的檢測結果分別如表1至表3所示。

表1 不同方法在Small-DOTA數據集上的實驗結果 %

表2 不同方法在OHD-SJTU-S數據集上的實驗結果 %

表3 不同方法在DIOR數據集上的實驗結果 %

根據表1、表2和表3的實驗結果可知，筆者提出的算法在3個數據集上都取得了最佳成績，其mAP與對比方法相比達到了最高。值得注意的是，相比于Refine FPN和CA-Net*，筆者提出的算法在3個數據集上都有不同程度的提升。而且在DIOR數據集中小目標比較多的船、車輛和風車這3個類別上，筆者提出算法的AP也達到了最高，這說明了筆者提出方法的有效性，表明文中算法確實能進一步改善遙感圖像小目標檢測性能。

為了更好地展示筆者提出的檢測方法對遙感圖像中小目標定位的性能提升，將文中方法、Refine FPN和CA-Net*在DIOR數據集上的檢測結果進行了可視化。如圖4所示，其中圖4 (a) 為Refine FPN的檢測結果，圖4 (b) 為CA-Net*的檢測結果，圖4 (c) 為文中算法的檢測結果。3個算法中使用了相同IoU閾值下的非極大值抑制操作。可以看出，在圖4 (a) 和圖4 (b) 中均出現了近似假陽性邊界框問題，由曲線標注。這些近似假陽性樣本無法精準地表示小目標的位置，形成了噪聲檢測框，而在文中算法的檢測結果中，近似假陽性邊界框的問題并未出現。由此可見，筆者提出的算法具有較強的對抗近似假陽性樣本的能力，并且能夠有效提升遙感圖像小目標的預測邊界框質量。

(a) Refine FPN檢測結果

3 結束語

筆者主要研究了遙感圖像小目標檢測難的問題，在現有算法的基礎上進行改進，提出了一種基于非局部上下文信息的遙感圖像小目標檢測方法。實驗使用了Small-DOTA、DIOR和OHD-SJTU-S遙感圖像數據集。其中Small-DOTA數據是由DOTA 1.5中小目標較多的4個類別組成，能夠評估模型應對密集小目標場景的能力。從定量角度分析，所提方法在3個數據集上的平均精度均值都高于其他方法；從定性角度分析，所提方法相比其他方法，檢測結果中的近似假陽性檢測框更少，獲得了高質量的小目標預測邊界框。

但是，筆者提出的方法仍然存在改進空間。在今后的研究中，可以嘗試模型輕量化操作，進一步縮減模型的規模和計算量，便于工程應用和輕量級硬件(如無人機)的部署。