可變形殘差卷積與特征融合金字塔的SAR圖像船舶識別

王博，任慶慧，周慧★

（1.大連東軟信息學院軟件工程系，遼寧 大連 116023；2.大連東軟信息學院大數據科學與技術系，遼寧 大連 116023）

0 引言

合成孔徑雷達(synthetic aperture radar, SAR)技術作為一種主動式頻率分析成像傳感器，利用小尺度真實天線孔徑雷達沿長線陣軌跡等速運動輻射，并結合對相參信號數據處理形成全時候高分辨率遙感影像，從而對包含偽裝遮擋性的物體具備全時觀測能力[1]。隨著SAR成像技術不斷進步，對SAR圖像中船舶目標識別的準確性與時效性提出了更高的要求。

經典SAR圖像船舶目標檢測方法[2]根據數據及特征類型不同，設定不同的門限參數區分圖像內部像素點，以完成目標及背景的分割實現目標檢測[3]。然而此類方法區分設定相對單一，面對不同場景需制定具體的解決方案，在實際使用過程中經常發生船舶識別泛化能力差、虛警率高的問題。

隨著人工智能計算機視覺技術的發展，基于深度學習圖像識別算法在目標檢測、語義分割等多個領域取得了相比傳統算法更高效的應用效果，深度學習算法以其端到端的檢測思想，根據不同識別目標構建訓練樣本，幾乎無需人工干預完全應用一套網絡結構訓練，就可實現不同場景特定目標的識別。深度學習技術在應用SAR圖像船舶識別時無需區分近岸遠海目標，網絡通過自主學習便完成深度語義特征提取[4]。

如今已涌現的應用于自然光學影像中的目標檢測算法為基于深度學習的SAR圖像船舶識別提供了良好的理論基礎。按照目標檢測分類原理可以將現存算法分為兩種類別，其一為基于候選框卷積的RCNN系列（包含Fast RCNN[5]和Faster RCNN[6]）構建的Two-stage檢測算法，另一種為基于回歸卷積的Yolo系列（包含Yolo3[7]、Yolo4[8]）構建的One-stage檢測算法。Two-stage算法核心在于候選框的選擇其運行步驟為候選框選取、特征提取、分類及回歸算法，模型結構決定其特點為檢測精度高但檢測速度慢，One-stage算法核心在于僅運用一次卷積即實現全特征提取，模型結構決定其特點為檢測速度快但檢測精度較低。

鑒于Faster RCNN的高檢測精度，較多研究學者將其應用至SAR圖像船舶識別任務中。李廣帥等人[9]基于Faster RCNN通過設計多路不同尺寸卷積核加強對淺層特征的提取，采用增加特征提取網絡深度以增加模型復雜度換取檢測精度的提升。2021年，曹磊等人[10]基于Faster RCNN通過特征提取對網絡中最深3個特征層進行特征提取及正則化處理，并與區域建議網絡RPN進行信息融合，但依舊是從增加特征提取網絡深度出發，增加模型復雜度。阮晨等人[11]通過將注意力機制和特征金字塔與原Faster RCNN特征提取網絡相結合，以一種加權融合的方式拓寬網絡寬度以提取豐富的語義信息，實驗驗證了其有效性與可行性。同時，基于檢測速度的提升，樊海瑋等人[12]提出采用新的二分類損失函數并使用軟化非極大值抑制算法（Soft-NMS）進行優化，有效提升了檢測速度，但檢測精度有所損耗。

對于提升復雜場景下的SAR圖像目標檢測精度及檢測速度，降低模型復雜度及訓練代價，仍然是當前大多數算法亟需解決的問題。本文基于Faster RCNN算法進行優化。首先，在特征提取網絡中引入可變形殘差ResNeXt101_vd卷積網絡，使用一種平行堆疊相同拓撲結構的組卷積模塊，使模型層數加深情況下依然降低超參數計算代價，同時添加DCN[13]可變形卷積模塊以提高特征提取中對幾何目標形變的適應能力。其次，將特征融合金字塔FPN[14]網絡嵌入傳統RPN中以映射為新的特征空間用于檢測目標，同時利用Kmeans算法對初始先驗框進行優化以增加多尺度目標檢測精度。

1 改進的Faster RCNN模型

對于解決復雜場景下的SAR圖像船舶目標檢測任務，傳統Faster RCNN會因結構本身造成對多尺度的船舶目標檢測性能不魯棒、沿海區域復雜場景船舶虛警漏警率高等問題，針對此問題，本文提出一種改進的Faster RCNN模型。其網絡結構如圖1所示，主要有以下2方面改進。

圖1 本文算法網絡結構

為了提高小目標檢測精度，解決Faster RCNN在特征提取最大池化操作中特征圖分辨率低下造成的小目標細節信息丟失問題，及多尺度目標旋轉角度多變造成的虛警率高問題，替換原VGG16網絡為ResNeXt101_vd網絡，并引入DCN網絡構成可變形殘差卷積ResNeXt101_vd-DCN網絡。

為了高效利用尺度不同的特征圖，解決使用Anchor boxes生成機制引起的邊框回歸收斂較慢問題，融合原區域建議網絡RPN為特征融合金字塔FPN網絡，并利用Kmeans算法優化錨點框，使其更符合SAR圖像中船舶形狀特征。

1.1 可變形殘差卷積模塊

傳統Faster RCNN在初始特征提取中將VGG16作為主體網絡，其網絡結構較大產生訓練參數太多，易出現訓練冗余且過擬合現象。雖然VGG16每2～3次卷積后就會使用一次最大池化操作用以減小網絡復雜度，但隨著網絡加深多次池化后的特征圖分辨率會大幅下降，造成小目標細節信息丟失問題。因此，本文嘗試替換為ResneXt作為主體網絡，ResneXt網絡結合了VGG網絡堆疊的結構及Inception網絡拆分-轉換-合并的思想，基于Resnet設計出一種高度殘差模塊以解決加深網絡層引起的退化問題，同時引入cardinality基數在減少超參數復雜度的同時提高準確度，借鑒Resnet-D型網絡對于下采樣塊的改進，在ResneXt網絡每組殘差卷積中平行添加1個平均池化avgpool，以避免卷積過程出現的信息流失。圖2為最終融合成的ResneXt101_vd網絡中一個基本模塊，可在每個低維構建中執行一系列變換，最終通過將輸出相加的方式聚合。

圖2 ResneXt101_vd 的一個基本模塊

SAR圖像中船舶目標大小比例不一且旋轉角度多變，對于此類目標傳統的卷積神經網絡檢測效果不是很好，DCN方法將其卷積核在每一個元素點中增加一個偏移參數，使得經可變形卷積后的感受野不再是單一矩形，而與實際目標形狀相匹配，進而使感受野更加精確覆蓋在形變的目標周圍，普通卷積與可變形卷積的對比如圖3所示。可變形卷積核在模型訓練過程中可以自覺調整卷積的感受野，從而更加精準地提取目標特征以提高檢測精度，但一定程度上也會引入額外的計算代價，因此本文只在ResneXt101_vd的最后一個stage（C5）上引入可變形卷積，以實現增加極少計算量高效提升模型精度的目的。

圖3 普通卷積與可變形卷積對比示意圖

1.2 特征融合金字塔模塊

傳統Faster RCNN利用RPN結合主體網絡輸出的頂層特征圖進行后續的目標分類及邊框回歸操作。頂層特征圖是由深層卷積網絡多次下采樣而得的，雖然具有比較豐富的語義特征信息，但是會大量損失細節信息，并且由于SAR圖像成像范圍大，內部船舶目標相對較小，導致本身較小的像素信息在多次下采樣過程中極易丟失，最終導致船舶漏檢。為了解決這一問題，本文引入FPN特征融合金字塔模塊并與前主體網絡可變形殘差卷積模塊互聯，結構如圖4所示。圖中C2-C5是ResneXt101_vd網絡自下而上的特征映射；C2-C5再通過自上而下路徑進行上采樣得到較高金字塔分層的特征映射；P2-P6是C2-C5通過1x1卷積核（通道數256）與上采樣特征橫向連接形成的新的特征映射；P7為P6再進行一次3x3卷積得到，以消除上采樣出現的混疊效應，最終即為構建的特征融合金字塔模塊。

圖4 可變形殘差卷積模塊與特征融合金字塔模塊互聯示意圖

在P2-P6特征映射層上分別搭配像素面積為{32，64，128}，長寬比為{1:1，1:2，2:1}的組合錨點框（anchor boxes），在不同的特征映射層上以每個錨點為中心，每個Anchor框為固定范圍進行窗口滑動生成候選框，這些候選框一方面進入全連接層進行分類訓練，另一方面計算候選框與真實框的交并比（IoU）選取最佳候選框作為感興趣區域（region of interest,RoI）用于回歸訓練。但是由于SAR圖像中船舶目標尺度差異較大，使用FPN中Anchor boxes生成機制會發生邊界框回歸收斂較慢的問題。因此，本文嘗試利用Kmeans聚類算法優化錨點框，使其更符合SAR圖像中船舶形狀特征，首先，將訓練集中真實標注框的長寬參數作為Kmeans聚類算法的輸入，然后結合Kmeans算法的相似性原則，將K作為錨點框個數劃分相似度高的真實框為同簇，尺寸差異度過大的真實框劃分為不同簇，取不同簇間的中心框作為錨點框，同時計算不同簇中真實框的高寬平均值，進而取得錨點框的最佳尺寸，Kmeans算法保證了初始聚類中心各自距離盡可能遠，同時選用候選框與真實框的交并比（IoU）作為距離指標，計算公式如式（1）所示。

d（box,centroid)=1-IoU（box,centroid） （1）

式中，box代表訓練樣本的真實框坐標，centroid代表聚類的中心框坐標，d（box,centroid)代表真實框與聚類中心框間的距離，IoU（box,centroid）代表真實框與聚類中心框間的交并比。

2 實驗過程與分析

2.1 數據集與實驗過程

本文所用數據集為我國國產高分三號SAR圖像數據和Sentinel-1SAR圖像共同組合數據集[15]（43819張SAR船舶圖像切片），其成像模式采用Full Polarization1（QPSI）、Full Polarization2（QPSII）等，包含3m、5m、8m、10m多源分辨率SAR船舶圖像，數據集如圖5所示，利用labelImg標注圖像內船舶的類別及位置（共計59534個船舶目標），并按照7:2:1的比例劃分為訓練集、驗證集及測試集。

圖5 多尺度復雜場景下SAR 圖像船舶數據集

實驗平臺為Windows server 2012，GPU為NVIDIA Tesla V100，實驗開發語言為Python3.6，模型基于Tensorflow實現可變形殘差卷積網絡模型對船舶目標進行檢測。模型訓練參數如下：最大迭代次數為180000，學習率采用Adam優化策略，NMS的交互比閾值為0.5，當模型訓練loss損失經過數次震蕩后變為平穩則完成訓練。

2.2 評價指標

本文采用查準率（precision）、查全率（recall）、平均準確率（average precision，AP）、每秒幀數（frame per second,FPS）作為算法的評價指標。

查準率（precision，P）：表示算法識別檢測全目標中真實正樣本的比例，計算公式如下，TP代表真正例，FP代表假正例。

2.3 實驗分析

訓練完成后利用測試集對模型進行評估，計算各改進模塊加入后模型AP值的對比如表1所示，可見替換原VGG16網絡為ResNeXt101_vd網絡，并引入DCN網絡，使模型精度提升了2.91%；同時融合原RPN為特征融合金字塔FPN網絡，并利用Kmeans算法優化錨點框，使模型精度再次提升4.28%，該實驗表明各改進模塊對于SAR圖像船舶目標檢測精度提升均有明顯效果。

表1 引入不同改進模塊的檢測結果對比

利用數量、尺度均完全一致的SAR圖像船舶測試集(4382個)對改進前后的算法進行圖像效果識別及相關參數評估，檢測結果性能對比如表2所示。可見本文算法的Precision為91.79%，Recall為91.2%，F1_score為91.49%，總體而言，改進后的算法相較于傳統Faster RCNN網絡上檢測精度提升7.19%，檢測速度提升3.91，該結果表明改進后算法能實現檢測精度及速度雙高的SAR圖像船舶識別，具有一定的實際意義。

表2 改進前后性能對比指標表

同時在不同復雜場景下檢測結果如圖6所示，傳統Faster RCNN算法雖然可以識別出SAR圖像中大部分船舶目標，但對于多尺度復雜場景下（如圖6近海建筑）識別檢測會出現誤警率高的問題，并且對于目標與背景融合度高的場景（如圖6島嶼）會出現識別錯誤的問題，同時對于邊緣化目標場景（如圖6海域、近海港口）會出現漏檢的問題，這些誤警、漏檢、識別錯誤的問題，主要由于VGG16網絡提取特征不深、RPN網絡只從最后一層卷積上提取特征，造成提取的特征沒有深層次語義，小尺度目標細節丟失導致。針對上述問題，本文算法通過可變形殘差卷積模塊、特征融合金字塔模塊兩種改進綜合提升傳統Faster RCNN算法檢測精度，更加適用于當下多尺度復雜場景下的SAR圖像船舶目標識別任務。

圖6 改進前后算法識別效果對比示意圖

3 結語

本文提出一種基于可變形殘差卷積與特征融合金字塔的Faster RCNN目標檢測算法，用于SAR圖像船舶目標檢測研究中。經實驗數據集檢測結果表明，相較于傳統Faster RCNN，本文算法針對在復雜場景下近岸船舶、港口停靠船舶，遠海多尺度小目標船舶具有更優的檢測精度。在檢測時間方面，本文算法相較于傳統Faster RCNN也有小幅度提升，能夠適應高精度近實時的檢測任務。接下來的工作將主要針對算法效率優化方向進行研究，進一步提升檢測速度。