基于深度學習的SAR目標檢測方法

(長沙理工大學電氣與信息工程學院， 湖南長沙 410114)

0 引言

合成孔徑雷達(Synthetic Aperture Radar， SAR)有分辨率高、能全天時、全天候實時工作的特點，廣泛應用于軍事偵察和遙感領域。隨著SAR技術不斷成熟、成像分辨率不斷提高，使得通過SAR圖像的目標檢測技術[1-2]受到越來越廣泛的關注。傳統的SAR圖像目標檢測方法一般由濾波、分割、特征提取等多個相互獨立的部分組成，復雜的流程限制了檢測的速度，同時多個獨立步驟很難整體優化，提升檢測精度。

近年來，基于深度卷積神經網絡[3]的目標檢測算法相比于傳統的方法顯現出了巨大的優越性，主流的算法主要分為兩大類，一類為基于候選區域的two-stage檢測方法，該種方法首先通過卷積神經網絡產生候選區域(region proposals)，然后對候選區域分類和定位，如Faster-RCNN[4]、RFCN[5]等；另一類為基于回歸的one-stage方法，在實現目標分類的同時直接對目標畫框定位。因此前者精確度較高，后者速度較快。2017年以來，one-stage方法得到迅速發展，殘差網絡等方法的提出，使其速度不僅有提升，精確度上也比主流的two-stage方法高，如YOLOv3[6]、RetinaNet[7]、SSD[8]等。但上述算法的檢測結果都是基于傳統光學圖像的檢測。然而高分辨率SAR圖像中不同目標的尺寸區別很大以及目標特征不明顯的問題，導致了深度學習卷積神經網絡的目標檢測算法在SAR圖像目標檢測上進展緩慢。

本文針對如上問題，基于YOLOv3的研究成果，提出了SAR-YOLO-960檢測算法。本方法通過分析城鎮和電塔在目標中的尺寸，提出了輸入為960×960像素的大圖檢測模型；手工制作了數據集；采用K-Means[9]方法聚類選取初始候選框；并將YOLOv3的殘差網絡[10]、批規范化(BN)[11]、多尺度訓練與多尺度檢測等融入新形成的網絡結構，整體采用了64倍降采樣，使得其速度不落后于主流的算法，最后基于SAR圖像特征改進了損失函數，進一步提升檢測精度。

1 數據集生成與預處理

1.1 數據集制作

利用PS軟件，手工從原始的10張SAR圖像(像素大約為20 000×20 000，分辨率大小約為1 m)中，截取了包含目標的2 308張960×960像素的圖像。并利用labellmg工具進行voc數據集格式標注，其中含城鎮目標6 374個、電塔目標3 745個。

1.2 數據集增強

在圖像的深度學習中，訓練樣本過少，網絡模型容易過擬合。訓練樣本的增強可提高樣本的多樣性，提升網絡的泛化能力。在制作數據集時考慮到原始圖像中電塔朝向性單一、顏色過淺，城鎮目標大部分集中在樣本正中央。故本文對原始數據集進行了±90o旋轉、飽和度、曝光度變化以及向上平移150像素操作。若平移后樣本中目標消失，則放棄標注。

經增強后，生成27 696張圖像，44 096個電塔，73 418個城鎮從中隨機挑選19 387張作為訓練集，8 309張作為測試集。數據集處理結果如表1所示。

表1 數據集以及數據量

1.3 K-Means聚類候選框

聚類分析是在數據中發現數據對象之間的關系，將數據進行分組，組內的相似性越大，組間的差別越大，則聚類效果越好。在訓練深度學習目標檢測網絡時，需要設置網絡的初始候選框大小以及數量，隨著網絡的正向傳播，在最后，網絡通過標簽對比候選框與真實框的差距，計算損失，再通過反向傳播更新候選框參數，然后網絡不斷的迭代，最終使得候選框接近真實框。

為了加快網絡的收斂速度，提升檢測精度，本文采用K-Means算法對訓練圖像中目標標注框的長與寬進行聚類，得到與圖像中目標最接近的初始候選框參數，用來代替傳統的初始候選框。候選框(ab，anchor boxes)與真實框(gt，ground truth)所在位置的面積交并比(IOU)是反應差異的重要指標，如式(1)所示，IOU越接近1，表明差異越小。

(1)

綜上所述，因此K-Means聚類函數式(2)為

(2)

式中，k為聚類的候選框個數，n為訓練樣本中真實框個數，ab[k]為對應的候選框規格，gt[n]為對應的真實框規格。通過不斷迭代，更新候選框參數，當Smin收斂到最小值時，記錄此時的ab[k]規格，用以代替初始候選框規格。其候選框聚類結果如表2所示。

表2 K-Means聚類結果

2 SAR-YOLO-960網絡結構

2.1 YOLOv3多尺度檢測

YOLOv3目標檢測方法是目前最先進的檢測方法之一，在檢測速度和精確度上都比以往的主流算法SSD，Faster-RCNN等有大幅提升。其分類網絡為Darknet-53，由53個卷積層和21個殘差層組成?；窘Y構為殘差模塊(resnet)，用以解決網絡的梯度彌散或者梯度爆炸的現象。其中還采用了BN、多尺度訓練等方法提升精度和網絡的泛化能力。

如圖1所示，YOLOv3檢測方法采用多尺度檢測目標(類FPN[12])。網絡首先輸入大小為416×416的像素圖；然后通過Darknet-53網絡，整體進行32倍的降采樣；接著通過多層卷積生成13×13大小的第一尺度特征圖作檢測，該特征圖圖中每個像素對應原始輸入32×32個像素的單元格，若某物體的中心落入該單元格中，則由該單元格中的候選框負責檢測目標，該尺寸主要負責檢測大目標；緊接著把13×13的深層特征圖進行上采樣，再與26×26的淺層特征圖進行拼接，生成26×26的特征圖，使得網絡能夠更好地獲得細粒度特征以提升檢測精度，最后進行多次卷積生成26×26的第二尺度特征圖，圖中每個像素對應原始尺寸16×16個像素的單元格，負責中型目標檢測；以上述方法進一步類推，最后生成第三尺度為52×52的特征圖負責小型目標檢測。

圖1 YOLOv3檢測流程圖

其檢測目標原理為：

1) 首先候選框在3種尺度的特征圖上分別判別目標存在的置信度conf (object)，以及預測單元格中目標的類別概率。其中conf(object)公式(3)如下：

Pr(object)∈{0,1}

(3)

W×H×[B×(X,Y,w,h,conf(object),P)]

W，H表示特征圖的長寬，B表示每個單元格中候選框的個數，X，Y為候選框的中心坐標，w，h為候選框的長寬，P為候選框中目標的類別概率。

2) 然后網絡通過非極大值抑制(NMS)算法，選擇置信度最高的候選框檢測目標。

3) 最后網絡通過與標簽對比，計算整體損失，通過反向傳播BP算法[13]，更新網絡的權重參數。

圖2為YOLOv3在第一尺度特征圖上作檢測。

圖2 YOLOv3在第一尺度特征圖上作檢測

2.2 SAR-YOLO-960網絡結構

初始標注416×416像素數據集訓練YOLOv3網絡進行檢測時發現效果不理想，達不到預期檢測精度，其中部分城鎮和電塔有漏檢、誤檢現象出現。如圖3所示，圖3(a)、圖3(b)、圖3(c)為測試原圖，圖3(d)、圖3(f)、圖3(g)為分別對應的YOLOv3檢測圖，其中黃色方框標記為電塔，綠色方框標記為城鎮。檢測圖3(d)、圖3(f)、圖3(g)中手工標注的紅色圓圈為漏檢部分，可看出圖3(d)中出現了城鎮漏檢，圖3(e)中出現了電塔漏檢；藍色圓圈標記為誤檢測部分，可看出圖3(d)中將電塔誤檢測為城鎮，圖3(f)中兩個靠近遮擋的電塔誤檢測為一個電塔。則說明其檢測精度還有很大提升空間。

圖3 YOLOv3漏檢、誤檢現象

通過觀察訓練樣本發現，城鎮目標尺寸過大，大部分充滿整個訓練樣本。因為原始SAR圖像中城鎮分辨率大，416×416像素圖只能獲取局部信息，學習到的特征有限，最終訓練出的候選框也接近于圖像大小，沒有訓練意義；同時電塔的重疊、尺寸較小與特征的不明顯也導致了漏檢、誤檢現象的出現。

上述問題的常規解決方法為先截取高分辨率圖再下采樣成416×416小像素圖作為輸入訓練。但電塔目標本身就較小，特征不明顯，下采樣后很容易失真，網絡學習不到目標特征。因此針對綜上所述問題，本文提出了一種SAR-YOLO-960檢測網絡，如圖4所示。該網絡能充分學習到城鎮與電塔的特征，使得檢測精度上有大幅提升，改善了漏檢、誤檢現象。

圖4 SAR-YOLO-960 檢測網絡

該算法對比原始YOLOv3算法改動為：

1) 選取960×960像素尺寸作為輸入，能完整地包含城鎮與電塔目標。

2) 修改了網絡層結構：首先搭建了一個Dark- net-SAR網絡，改變了Darknet-53網絡中的卷積和殘差層構造，為避免高分辨率圖像帶來的計算量，整體采用64倍降采樣最后得到特征圖的大小為15×15，使得中心像素對應輸入圖像的中心單元格，能更好地檢測大目標，因為大目標一般集中在圖片中央。然后采用YOLOv3的方式融合低層次特征圖，形成3種不同尺度的特征圖進行檢測。

3) 結合Focal Loss思想改進了損失函數，提升檢測精度。

2.3 損失函數改進

傳統的YOLOv3損失函數，采用誤差平方和(sum-squared error)，由3部分求和組成：候選框與真實框的坐標誤差、置信度誤差以及分類誤差。其公式(4)如下：

但在實際檢測中，樣本類別數量的不均衡，以及樣本中目標的識別難易會影響模型的訓練。如本文中城鎮數量多于電塔；電塔特征不明顯較難識別。訓練中希望模型更關注于難以識別的目標和樣本中類別數量較少的目標。而傳統的平方差分類損失并不能很好地解決此問題。因此本文借鑒了Focal Loss損失函數的思想，對YOLOv3損失函數的分類誤差部分作出了改進，其公式(5)如下：

(5)

式中，At為樣本均衡權重。因本文為2分類檢測，則定義At=[a，1-a]， 當標簽(label)為城鎮時定義At=a，當label為電塔時定義At=1-a，通過調節a的大小平衡樣本的不均衡問題。其次易分類樣本的(1-pi(c))接近于0，難分類樣本的(1-pi(c))接近1，則可以使得模型更注重于難以分類的樣本訓練。

3 實驗結果與分析

3.1 實驗環境與評價標準

本文實驗環境如下：CPU Intel Core i7-6800k;GPU(單)NVIDIA TITAN Xp;操作系統：64位 Ubuntu 16.04 LTS；內存：16G DDR4；圖形加速：CUDA 8.0.44，cudnn 5.0。在該實驗環境下，SAR-YOLO-960在測試集上的檢測速度達32.8 fps。

設置初始學習率為0.001，學習率策略為steps，總共迭代80 000次，在40 000次與60 000次時學習率分別乘以0.1；動量系數0.9；一批訓練16張圖片；采用多尺度訓練，圖片大小從640×640～1 216×1 216，每隔16張圖片尺寸變化64×64大小。若檢測出的標記框與真實標記框的IOU大于0.75，則認為檢測出了該物體。

本文使用公式(6)準確率(Precision，P)，公式(7)召回率(Recall，R)，公式(8)F1值(平衡準確率和召回率的函數)，以及檢測速度fps來評價高分辨率SAR圖像檢測的性能。準確率、召回率越高，fps越大，表明性能越好。

(6)

(7)

(8)

式中，TP為預測為正、實際為正的目標個數，FP為預測為正、實際為負的目標個數，FN為預測為負、實際為正的目標個數。

3.2 實驗結果與對比

SAR-YOLO-960網絡訓練損失與迭代次數關系如圖5所示。從圖5(a)可以看出該網絡收斂迅速，在100～200次迭代時迅速下降；從圖5(b)可以看出最終損失趨于0。經測試集驗證效果，最終選取第70 000次迭代結果作為最終權重模型。

圖5 網絡迭代損失變化圖

為了綜合評估本文算法的有效性，本文選取了當前主流的深度學習目標檢測算法進行試驗作對比，包括Faster-RCNN，SSD，RetinaNet，YOLOv3，也與損失函數未改進前的SAR-YOLO-960作對比，結果如表3所示。

表3 SAR圖像目標檢測算法性能對比

其中SAR-YOLO-9601為損失函數改進后的網絡，SAR-YOLO-9602為損失函數改進前的網絡。從表3可以看出，本文算法在損失函數改進后與改進前，其在準確率和召回率上分別有2.3%和1.4%的提升；同時SAR-YOLO-9601對比主流中最好的YOLOv3 算法在準確率和召回率上分別有7.1%和4.2%的提升；其速度上也比Faster-RCNN、SSD、RetinaNet快很多，但比YOLOv3慢1.5倍左右。原因為本算法輸入大小為960×960像素比YOLOv3的輸入416×416像素大5倍左右，中間也新增了卷積層和殘差層，但速度上32.8幀/秒也可達到實時檢測，不影響檢測性能。綜合分析下，其性能對比于目前的主流算法有了很大的提升。

為了更好地證明本文算法性能的優越性，可以改善漏檢和誤檢的現象。本文利用該算法對 2.2節圖3中的原圖重新作檢測，并將結果與其2.2節圖3中YOLOv3的檢測圖作對比，結果如圖6所示。圖6(a)、圖6(b)、圖6(c)為YOLOv3的檢測圖，其中綠色方框標記為城鎮，黃色方框標記為電塔，藍色圓圈標記為誤檢現象，紅色圓圈標記為漏檢現象；圖6(d)、圖6(f)、圖6(g)為本文算法分別對應的檢測圖，其中綠色方框標記為電塔，粉紅色方框標記為城鎮。從圖中可以看出，圖6(a)、圖6(b)、圖6(c)中出現大面積城鎮的漏檢；圖6(a)中將電塔檢測成城鎮的誤檢；圖6(c)中重疊電塔的誤檢都在本文算法的檢測圖中都得到了改善，并準確檢測。因此可以看出該算法有效地改善了城鎮和電塔的漏檢、誤檢現象。

圖6 YOLOv3與SAR-YOLO-960檢測對比圖

4 結束語

本文針對SAR圖像的特點，結合原有的YOLOv3算法和Focal Loss損失函數，提出了一種基于深度學習卷積神經網絡的SAR-YOLO-960算法用于高分辨率SAR圖像檢測。本文實驗表明該算法在高分辨率SAR圖像目標檢測上比目前的主流算法SSD，RetinaNet等速度快、準確度高。在方法設計時，為了增強其檢測性能，對原始數據集進行了增強；采用K-Means對網絡候選框進行聚類；修改了YOLOv3網絡結構；改進了損失函數。然而，本文僅僅是基于深度學習卷積神經網絡在SAR圖像2分類檢測方法上的初步探索，如何進一步提升準確率、泛化能力，讓SAR圖像在多分類檢測上以及在超高像素的圖像上也有良好的表現等仍是下一步探索的方向。