基于卷積神經網絡的SAR圖像目標檢測算法

杜 蘭 劉 彬 王 燕 劉宏偉 代 慧

?

基于卷積神經網絡的SAR圖像目標檢測算法

杜 蘭*劉 彬 王 燕 劉宏偉 代 慧

(西安電子科技大學雷達信號處理國家重點實驗室 西安 710071)(西安電子科技大學信息感知技術協同創新中心 西安 710071)

該文研究了訓練樣本不足的情況下利用卷積神經網絡(Convolutional Neural Network, CNN)對合成孔徑雷達(SAR)圖像實現目標檢測的問題。利用已有的完備數據集來輔助場景復雜且訓練樣本不足的數據集進行檢測。首先用已有的完備數據集訓練得到CNN分類模型，用于對候選區域提取網絡和目標檢測網絡做參數初始化；然后利用完備數據集對訓練數據集做擴充；最后通過“四步訓練法”得到候選區域提取模型和目標檢測模型。實測數據的實驗結果證明，所提方法在SAR圖像目標檢測中可以獲得較好的檢測效果。

合成孔徑雷達；目標檢測；卷積神經網絡；訓練數據擴充

1 引言

隨著合成孔徑雷達(SAR)系統應用越來越廣泛，需要處理的SAR圖像數量越來越多，對SAR圖像處理技術提出了更高的要求，從SAR圖像中快速并準確地檢測目標，是目前的一個技術研究熱點。現有的SAR圖像目標檢測方法中，雙參數恒虛警(Constant False Alarm Rate, CFAR)檢測算法應用最為廣泛。該方法要求SAR圖像中目標與背景雜波具有較高的對比度，并且假設背景雜波的統計分布模型是高斯分布，同時需要根據目標大小設置參考窗尺寸，在場景簡單的情況下，檢測效果較好，但是在復雜場景下檢測性能較差。

卷積神經網絡(Convolutional Neural Network, CNN)是人工神經網絡的一種，它的權值共享網絡結構降低了網絡模型的復雜度，減少了權值的數量，該優點在網絡的輸入是多維圖像時表現得尤為明顯。在CNN中，圖像作為層級結構最底層的輸入，信息再依次傳輸到不同的層，通過這種多層的學習可以自動發現數據中的復雜結構，避免了傳統算法中復雜的特征提取過程。

2 算法介紹

本節對算法做具體介紹，2.1節介紹預訓練CNN分類模型，2.2節介紹數據擴充方法，2.3節介紹候選區域提取網絡和目標檢測網絡。

2.1 預訓練CNN分類模型

CNN是一種多層網絡結構，包含大量的待學習參數。這些待學習參數通常采用隨機的初始化方式，這是一個很低的訓練起點，因此需要大量的標記訓練樣本來使該網絡很好地收斂，但是，獲得如此多的標記訓練樣本在實際應用中是非常困難的。而使用訓練好的CNN模型對一個新網絡中的待學習參數初始化，是一個相對較高的訓練起點，可以在訓練樣本比較少的情況下，使得新網絡更快地收斂[9,12]。

本文的主要目的是訓練得到一個基于CNN的目標檢測模型，但是只有少量訓練樣本，所以，可以先利用與目標檢測任務無關的完備數據集訓練得到分類模型，并用該模型來對目標檢測模型做參數初始化，然后完成目標檢測模型的訓練。

本文設計的分類模型結構如圖1所示，包括3個卷積層，卷積核大小依次為11, 7, 3，卷積核滑動步長依次為2, 1, 1，卷積核個數依次為64, 128, 256。在前兩個卷積層后緊接著最大池化(max pooling)層，池化窗大小為3，池化窗滑動步長為2。在最后一個卷積層后跟著兩個全連接層，第1個全連接層的維度為256，第2個全連接層維度為3，最后是Softmax層。所有的中間層都使用修正線性單元(Rectified Linear Unit, ReLU)做為激活函數，并且在ReLU層后執行批歸一化(Batch Normalization, BN)[15]，網絡的損失函數為負對數似然損失函數(log-loss)。

圖1 分類模型

2.2 數據擴充

使用2.1節中的分類模型對檢測模型做參數初始化，可以使得CNN網絡在少量訓練樣本的情況下更快地收斂，但是該模型的檢測效果相對較差，本文提出一種有效的數據擴充方法，與2.1節中的預訓練方法同時使用，可以訓練得到一個更好的目標檢測模型。

通常需要執行目標檢測的SAR圖像場景很復雜，包含多種干擾信息，如樹木，草坪，建筑物等等，并且在一幅SAR圖像中會包含多種姿態的感興趣目標，如在本文后續實驗中我們的感興趣目標是多種姿態的車輛。想要在這樣場景復雜的圖像中，利用目標檢測模型準確地檢測到目標，對于訓練數據的質量以及數量要求較高。現有的訓練圖像很少并且圖像質量較差，只使用這些圖像訓練得到的目標檢測模型很難達到檢測任務的要求。

一些用于分類的數據集，其圖像場景簡單、雜波單一，且每幅圖像只有單個目標，可以將這些圖像處理后加入原有的訓練集中，來共同訓練目標檢測模型。

擴充數據時需要注意的問題有：(1)兩種數據集中目標尺寸存在差別，需要將新加入的圖像做尺寸變換，使其目標尺寸與原有訓練集中目標尺寸基本一致。新加入的訓練樣本如果不做尺寸變換，會對原訓練集中提供的目標尺寸信息帶來一定干擾，使得模型訓練出現偏差，影響檢測精度；(2)在進行數據擴充時，需要控制擴充數據的數量，使得模型訓練可以從擴充數據中獲得需要的信息，但是又不會因為擴充數據量太大，導致模型更加偏向于新加入的擴充數據，使得原有訓練集中的信息被弱化。一般控制擴充訓練樣本數為原訓練數據的2倍左右。

2.3 候選區域提取網絡和目標檢測網絡

基于CNN的目標檢測算法主要包括兩個步驟：(1)從輸入圖像中提取候選區域；(2)使用目標檢測網絡對候選區域進行分類和邊框回歸，得到最終的檢測結果。本文中，候選區域提取使用區域建議網絡(Region Proposal Network, RPN)[14]，目標檢測使用Fast R-CNN檢測器[13]。下面，分別介紹RPN和Fast R-CNN檢測器的具體實現。

2.3.1 RPN RPN的核心思想是利用CNN從輸入圖像中直接提取候選區域，并且給每個候選區域一個判斷為目標的得分。基于分類模型的基本框架來設計RPN[14]，特征提取層與分類模型的特征提取層保持一致，在最后一個卷積層輸出的卷積特征圖上滑動小網絡，小網絡全連接到卷積特征圖的區域上，然后將該區域映射為一個低維的特征向量，再將這個特征向量作為兩個同級卷積層(邊框回歸層和分類層)的輸入。由于小網絡是滑動窗口的形式，且滑動窗口的參數對于卷積特征圖的所有位置都是相同的，這種結構可以通過卷積核尺寸為的卷積層實現，邊框回歸層和分類層使用卷積核尺寸為的卷積層實現，ReLU應用于卷積層的輸出，模型結構如圖2所示。

圖2 RPN網絡

(1)RPN模型訓練： 為了訓練RPN，需要給每個參考區域分配一個標簽(是/不是目標)，分配正標簽給兩類參考區域：(a)與某個真值(ground truth)區域有最高的交集并集之比(Intersection over Union, IoU)的參考區域；(b)與任意真值ground truth區域有大于0.7的IoU交疊的參考區域；分配負標簽給與所有真值區域的IoU交疊都低于0.3的參考區域，非正非負的參考區域不參與RPN模型訓練。

RPN模型使用多任務損失函數，包括分類損失函數和邊框回歸損失函數兩部分，定義為

(4)

(2)RPN模型訓練細節： 由圖2可知，RPN是一個全卷積網絡(Fully Convolutional Network, FCN)[16]，可以通過反向傳播算法和隨機梯度下降法端到端訓練。訓練階段，隨機地抽取256個參考區域，構成一個mini-batch作為輸入，其中采樣的正負參考區域的比例是1:1，如果正參考區域個數小于128，就用負參考區域填補這個mini-batch。

網絡中所有新層的參數都從均值為0標準差為0.01的高斯分布中隨機采樣得到，特征提取層的參數利用分類模型中特征提取層的參數來初始化。訓練模型的初始學習率為0.001，每10000次迭代把當前的學習率除以10，最大迭代次數為40000。

通過RPN提取到的候選區域之間會有大量的重復，基于候選區域的分類得分，對其采用非極大值抑制(Non-Maximum Suppression, NMS)去除重復的候選區域。我們在執行過NMS之后的候選區域集合中選取得分最高的前個候選區域作為Fast R-CNN檢測器的輸入。

2.3.2 Fast R-CNN檢測器： 基于2.1節中的分類模型設計Fast R-CNN檢測器[13]，包括3個步驟：(1)在最后一個卷積層輸出的卷積特征圖后加入RoI 池化層，設置參數‘H’和‘W’與分類模型中第1個全連接層維度兼容；(2)將最后一個全連接層替換為類的分類層，并增加一個邊框回歸層與分類層并聯；(3)修改輸入數據，輸入數據包括兩個部分，第1部分是個圖像，第2部分是由這個圖像通過RPN生成的候選區域集合。Fast R-CNN檢測器模型如圖3所示。

把圖像以及該圖像通過RPN得到的候選區域輸入到Fast R-CNN檢測器中，首先得到該圖像的在最后一個卷積層的卷積特征圖，然后求得每個候選區域在該卷積特征圖上的映射區域，并用RoI 池化層將這些映射區域統一到相同的大小，映射區域經過全連接層得到特征向量，特征向量分別經由兩個并列的層(分類層和邊框回歸層)，得到兩個輸出向量：第1個是分類結果，對每個候選區域輸出離散概率分布,代表總的類別個數；第2個是每類目標的參數化坐標，同式(4)中說明。

為了訓練Fast R-CNN檢測器，需要給候選區域添加類別標簽，指定與真值交疊不少于0.5的候選區域為該類的正樣本，剩下的作為背景，模型損失函數也為多任務損失函數，與式(1)一致。

網絡中特征提取層的參數利用分類模型中特征提取層的參數來初始化，訓練模型的初始學習率為0.001，每10000次迭代把當前的學習率除以10，最大迭代次數為60000。

圖3 Fast R-CNN檢測器

2.3.3 RPN與Fast R-CNN檢測器共享特征提取層

到目前為止，RPN和Fast R-CNN檢測器都是獨立訓練的，根據各自任務來調整特征提取層參數，可以通過交替訓練來使兩個網絡共享特征提取層，具體步驟如下：

第1步 使用預訓練的分類模型對RPN做參數初始化，微調網絡參數，得到候選區域提取模型。

第2步 利用第1步中的訓練得到RPN對訓練數據集提取候選區域，作為Fast R-CNN檢測器的輸入，使用分類模型對Fast R-CNN檢測器做參數初始化，微調網絡參數，得到Fast R-CNN檢測器。

第3步 用第2步得到的Fast R-CNN檢測器對RPN做參數初始化，并且固定特征提取層參數不變，只微調小網絡中卷積層參數，得到一個更優的候選區域提取模型。

第4步 利用第3步中訓練得到RPN對訓練數據集提取候選區域，作為Fast R-CNN檢測器的輸入，并且固定特征提取層參數固定，微調Fast R-CNN檢測器中全連接層的參數。這樣，兩個網絡共享特征提取層，構成一個統一的檢測網絡。

3 實驗結果與分析

3.1 數據及實驗設置介紹

為了驗證本文方法的有效性，在實驗中使用了MSTAR數據集和MiniSAR數據集。

由于MiniSAR訓練集與MSTAR數據集中的圖像尺寸和目標尺寸都不同。若直接將MSTAR圖像拉伸至MiniSAR圖像的尺寸，兩組圖像的目標尺寸仍然存在差異，不符合2.2節中對擴充數據的要求。因此，我們首先在MSTAR圖像周圍填充像素，改變圖像的尺寸；然后再將其拉伸，使得擴充數據集中目標尺寸與MiniSAR訓練集中目標尺寸基本一致，圖5給出了兩個擴充圖像的示例。

3.2 擴充數據對檢測性能的影響

本節通過多組實驗來驗證擴充數據對檢測性能的影響，為了比較的公平性，所有的檢測模型訓練都選用2.1節中的分類模型作為訓練起點。檢測階段，固定NMS值為0.3，將得分值大于0.7的切片判定為目標，采用滑窗的方式對測試圖像逐塊進行檢測。設置5組實驗來驗證本文提出的數據擴充方法對檢測性能的影響，具體如下：

實驗1 只使用MiniSAR訓練集作為訓練樣本，訓練樣本個數為40；

實驗2 使用MSTAR數據集做擴充，MiniSAR與MSTAR的數據比例為1:1；

實驗3 使用MSTAR數據集做擴充，MiniSAR與MSTAR的數據比例為1:2.5；

實驗4 使用MSTAR數據集做擴充，MiniSAR與MSTAR的數據比例為1:4；

實驗5 使用MSTAR數據集做擴充，MiniSAR與MSTAR的數據比例為1:6；

其中，測試圖像如圖6所示，圖中的矩形框是人工標注的真值。

從表1中5組實驗的對比結果可以看出，在未加入擴充數據時，訓練樣本中某些姿態的目標有缺失，因此會有較多的目標漏檢。加入擴充數據后，模型對于目標的識別性能會增強，隨著擴充數據的增多，檢測到的目標個數顯著增加，但是，由于擴充數據引入的雜波信息，會帶來一定數量的虛警，在MiniSAR與MSTAR的數據比例為1:2.5時，檢測性能到達最優。當擴充數據繼續增加，虛警數量快速增加，使得模型的檢測性能開始下降。

所以，添加適當比例的擴充數據可以顯著提高檢測性能。

針對表1中的檢測指標做如下說明：

(7)

由于篇幅限制，只給出實驗3的檢測結果。如圖7所示。

圖4 MiniSAR訓練集?????圖5 MSTAR擴充訓練集?????圖6 測試圖像

表1 擴充數據對檢測性能的影響

測試圖像及指標圖A圖B精度召回率F1-Score 目標個數(NP)5264/// 實驗1檢測到的目標個數(TP)43450.80730.75860.7822 虛警目標個數(FP)1011 實驗2檢測到的目標個數(TP)44520.81360.82760.8157 虛警目標個數(FP)814 實驗3檢測到的目標個數(TP)46550.80160.87070.8348 虛警目標個數(FP)817 實驗4檢測到的目標個數(TP)48560.74290.89660.8126 虛警目標個數(FP)1620 實驗5檢測到的目標個數(TP)45560.71130.87070.7830 虛警目標個數(FP)1823

3.3 與雙參數CFAR的檢測性能比較

本節通過與雙參數CFAR做比較來驗證算法的有效性。其中，雙參數CFAR參數設置為：保護窗長為26，背景窗長為28，虛警概率為；

表2給出了兩種方法的實驗結果，雙參數CFAR檢測算法性能相對較差。從圖8的檢測結果可以看出，雙參數CFAR檢測結果中包含虛警數目更多，并且對于相鄰目標的區分性較差，不能對每個目標得到準確的目標檢測框。主要有兩個方面的原因：第一，雙參數CFAR檢測算法僅僅利用了像素的強度信息，而沒有利用目標的結構信息等。單純的像素強度能提供的信息是比較有限的，而且會對噪聲比較敏感，造成了很多的虛警。第二，在進行聚類時，聚類算法將相鄰目標上的區域聚為一類，使得對鄰近目標的區分表現較差。

表2 與雙參數CFAR檢測性能對比

測試圖像及指標圖A圖B精度召回率F1-Score 目標個數(NP)6464/// 本文方法檢測到的目標個數(TP)46550.80160.87070.8348 虛警目標個數(FP)817 CFAR檢測到的目標個數(TP)45550.63690.86210.7326 虛警目標個數(FP)2532

本文方法的檢測性能優于傳統方法，原因主要在于本方法不僅僅利用了像素強度信息，還利用了目標的結構信息，可以在很大程度上減少虛警目標數。在檢測過程中，RPN可以得到高質量的候選區域，通過邊框回歸層可以對檢測得到的候選區域進行尺寸調整，可以對鄰近目標有更精準的定位。

對兩種算法的計算量說明如下：

根據本文設置的實驗參數分析可知，本文方法的運算量遠大于雙參數CFAR。我們對雙參數CFAR利用Matlab編程，對圖6中大小的測試圖像的平均運算耗時為13.88 s。為了提高處理速度，對本文方法使用C++編程，在CPU模式下執行，根據實驗測定，平均運算耗時為23.63 s。為了進一步提高處理速度，我們使用CUDA編程，在GPU模式下并行處理，平均運算耗時減少至4.36 s。可見并行運算大幅提升了運算效率，使其處理速度可以接受。

實驗使用的硬件平臺，CPU: Intel Xeon E5- 2620 v3 @2.4 GHz, GPU: GTX TITAN X。

4 結論

本文研究了訓練樣本不足的情況下，利用已有的完備數據集輔助檢測模型的訓練，借助CNN模型的強大特征提取能力，充分利用訓練數據集提供的多種特征信息，使得基于CNN的檢測模型可以對目標有更強的檢測識別性能。基于實測數據的實驗結果證明了本文方法在SAR圖像目標檢測中可以獲得較好的檢測效果。

參考文獻

[1] XING X W, CHEN Z L, ZOU H X,A fast algorithm based on two-stage CFAR for detecting ships in SAR images [C]. The 2nd Asian-Pacific Conference on Synthetic Aperture Radar, Xi’an, China, 2009: 506-509.

[2] LENG X, JI K, YANG K,A bilateral CFAR algorithm for ship detection in SAR images[J]., 2015, 12(7): 1536-1540. doi: 10.1109 /LGRS.2015.2412174.

[3] JI Y, ZHANG J, MENG J,A new CFAR ship target detection method in SAR imagery[J]., 2010, 29(1): 12-16.

[4] ELDHUSET K. An automatic ship and ship wake detection system for spaceborne SAR images in coastal regions[J]., 1996, 34(4): 1010-1019.doi: 10.1109/36.508418.

[5] KRIZHEVSKY A, SUTSKEVER I, and HINTON G E. Imagenet classification with deep convolutional neural networks[C]. Advances in Neural Information Processing Systems, Lake Tahoe, Nevada, USA, 2012: 1097-1105.

[6] SZEGEDY C, LIU W, JIA Y,Going deeper with convolutions[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston, Massachusetts, USA, 2015: 1-9.

[7] ZHANG X, ZOU J, MING X,Efficient and accurate approximations of nonlinear convolutional networks[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston, Massachusetts, USA, 2015: 1984-1992.

[8] HE K, ZHANG X, REN S,Deep residual learning for image recognition[C]. Computer Vision and Pattern Recognition, Las Vegas, Nevada, USA, 2016: 770-778.

[9] ZEILER M D and FERGUS R. Visualizing and understanding convolutional networks[C]. European Conference on Computer Vision. Springer International Publishing, Zurich, Swizterland, 2014: 818-833.

[10] GOODFELLOW I J, WARDE Farley D, MIRZA M,Maxout networks[J]., 2013, 28(3): 1319-1327.

[11] HE K, ZHANG X, REN S,Delving deep into rectifiers: Surpassing human-level performance on imagenet classification[C]. International Conference on Computer Vision, Santiago, Chile, 2015: 1026-1034.

[12] GIRSHICK R, DONAHUE J, DARRELL T,Rich feature hierarchies for accurate object detection and semantic segmentation[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Columbus, Ohio, USA, 2014: 580-587.

[13] GIRSHICK R. Fast R-CNN[C]. Proceedings of the IEEE International Conference on Computer Vision, Santiago, Chile, 2015: 1440-1448.

[14] REN S, HE K, GIRSHICK R,Faster R-CNN: Towards real-time object detection with region proposal networks[C]. Advances in Neural Information Processing Systems, Montréal, Canada, 2015: 91-99.

[15] IOFFE S and SZEGEDY C. Batch normalization: accelerating deep network training by reducing internal covariate shift[C]. International Conference on Machine Learning, Lille, France,2015: 448-456.

[16] LONG J, SHELHAMER E, and DARRELL T. Fully convolutional networks for semantic segmentation[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston, Massachusetts, USA, 2015: 3431-3440.

[17] GAO G, LIU L, ZHAO L,An adaptive and fast CFAR algorithm based on automatic censoring for target detection in high-resolution SAR images[J]., 2009, 47(6): 1685-1697. doi: 10.1109/TGRS.2008.2006504.

杜 蘭： 女，1980年生，教授，博士生導師，研究方向為統計信號處理、雷達信號處理、機器學習及其在雷達目標檢測與識別方面的應用.

劉 彬： 男，1992年生，碩士生，研究方向為雷達目標識別.

王 燕： 女，1990年生，博士生，研究方向為SAR圖像變化檢測與目標鑒別.

劉宏偉： 男，1971年生，教授，博士生導師，研究方向為雷達信號處理、MIMO雷達、雷達目標識別、自適應信號處理、認知雷達等.

代 慧： 女，1990年生，碩士生，研究方向為雷達目標識別.

Target Detection Method Based on Convolutional Neural Network for SAR Image

DU Lan LIU Bin WANG Yan LIU Hongwei DAI Hui

(,,’710071,) (,’710071,)

This paper studies the issue of SAR target detection with CNN when the training samples are insufficient. The existing complete dataset is employed to assist accomplishing target detection task, where the training samples are not enough and the scene is complicated. Firstly, the existing complete dataset with image-level annotations is used to pre-train a CNN classification model, which is utilized to initialize the region proposal network and detection network. Then, the training dataset is enlarged with the existing complete dataset. Finally, the region proposal model and detection model are obtained through the pragmatic “4-step training algorithm” with the augmented training dataset. The experimental results on the measured data demonstrate that the proposed method can improve the detection performance compared with the traditional detection methods.

SAR; Target detection;Convolutional Neural Network (CNN); Training data augmentation

TN957.51

A

1009-5896(2016)12-3018-08

10.11999/JEIT161032

2016-10-08；改回日期：2016-11-24；

2016-12-14

杜蘭 dulan@mail.xidian.edu.cn

國家自然科學基金(61271024, 61322103, 61525105)，高等學校博士學科點專項科研基金博導類基金(20130203110013)，陜西省自然科學基金(2015JZ016)

The National Natural Science Foundation of China (61271024, 61322103, 61525105), The Foundation for Doctoral Supervisor of China (20130203110013), The Natural Science Foundation of Shaanxi Province (2015JZ016)