基于DCResNet的SAR圖像車輛目標識別

王 強， 曹 磊， 史潤佳， 楊 非， 蔣忠進

(東南大學毫米波國家重點實驗室， 江蘇南京 210096)

0 引言

隨著人工智能的快速發展，深度學習方法在光學圖像處理領域受到了越來越多的應用[1]，尤其是卷積神經網絡(Conventional Neural Network，CNN)[2]，在圖像分類方面效果十分明顯。與傳統的人工提取圖片特征方式不同，CNN通過共享卷積核進行自適應的圖片特征提取，該過程不需要復雜計算和人工干預，解決了特征選取困難的問題[3]。2012年，CNN在ImageNet大賽上奪得了冠軍，戰勝傳統的分類方法而名聲大噪。自此CNN再次進入研究者的視野，并且獲得了蓬勃發展。各種新的CNN網絡如雨后春筍般涌出，網絡變得越來越深、越來越寬，在圖像識別方面效果也越來越好[4-6]。

CNN不僅大量用于光學圖像處理，在合成孔徑雷達(Synthetic Aperture Radar, SAR)圖像中也能有效地進行目標識別[7-14]。文獻[9]中，作者對多個實驗結果進行對比分析，結果表明卷積神經網絡與其他分類器相比，對目標特征的提取更具魯棒性，在目標圖像發生較小改變時特征能維持穩定，識別效果更好。文獻[8]使用較深的卷積神經網絡，直接從SAR圖像訓練集中學習到目標具有判別性的特征，能夠高效準確地進行目標檢測與識別。

文獻[14]指出，在殘差網絡的訓練過程中，網絡梯度變化主要是由殘差網絡的分支主導的。該文獻作者在測試中發現，雖然將正常鏈接移除掉，僅僅留下分支，網絡的表現性也很好，準確率很高，這表明網絡分支的貢獻很大。在該認識的啟發下，本文在殘差網絡的基礎上設計出了多個分支結構的卷積神經網絡，并命名為密集連接型殘差網絡(Densely Connected Residual Network, DCResNet)，用于SAR圖像中的車輛目標識別。本文基于MSTAR數據集對DCResNet網絡進行了多方面的測試，實驗結果表明，DCResNet網絡在SAR圖像車輛目標識別中具有很好的效果。

1 傳統殘差模塊與密集連接型殘差模塊

傳統ResNet中的殘差模塊的連接方式如圖1(a)所示，輸出Xl_4是兩部分相加之和，一部分就是該模塊的輸入Xl_0，另一部分是Xl_0經過多組(圖中是3組)非線性運算后的結果Xl_3，所以有

Xl_4=Xl_3+Xl_0=Hl_123(Xl_0)+Xl_0

(1)

式中，Hl_123( · )表示整個殘差模塊對輸入數據的總的運算。值得注意的是，由于最后的相加要求特征圖尺寸相同，所以Xl_3與輸入Xl_0的尺寸要相同，即具有相同的行數、列數和層數。

由圖可知，輸入Xl_0要經過3組類似的非線性運算，它們的輸出分別是Xl_1、Xl_2和Xl_3。每組運算都包含3個步驟，分別是批量歸一化處理(Batch Normalization)、非線性激活函數處理(Relu)和卷積處理(Convolution)。

不同科室間HPV-DNA、UU-RNA、CT-RNA和NG-RNA陽性檢出情況 婦科門診UU-RNA檢出率最高，為60.61%，HPV-DNA檢出率為34.57%，以 HR-HPV-DNA為主檢出率為31.72%，CT-RNA檢出率為5.90%，NG-RNA檢出率為2.84%。皮膚性病門診HPV-DNA檢出率為30.69%，UU-RNA檢出率最高，為46.28%，CT-RNA檢出率為9.16%，NG-RNA檢出率為1.73%。男科門診和泌尿科門診標本量較少，UU-RNA檢出率最高，為50.00%和33.33%。

DCResNet是本論文在傳統ResNet的基礎上，改進而得到的卷積神經網絡模型。DCResNet中的密集連接型殘差模塊(DC殘差模塊)是由多個分支組成的結構。理論上，分支的數量不限，可以靈活變動，本文實驗中采用2個或3個分支。以3個分支為例，DC殘差模塊進行3次跳躍性連接，具體操作如圖1(b)所示。

(a) 傳統殘差模塊 (b) 密集連接型殘差模塊圖1 傳統殘差模塊和密集連接型殘差模塊結構

由圖1可知，與傳統ResNet一樣，輸入Xl_0也要經過3組非線性運算。但不同的是，每組非線性運算后得到的特征圖都會作為一個因子，用于最后相加而得到模塊輸出的特征圖。為了保證數據流的尺寸不變，每個DC殘差模塊中的卷積核的尺寸相同，本文中卷積核的尺寸都是選用3×3。

上圖DC殘差模塊中的輸入輸出關系表示如下：

Xl_1=Hl_1(Xl_0)

(2)

Xl_2=Hl_2(Xl_1)

(3)

Xl_3=Hl_3(Xl_2)

(4)

Xl_4=Xl_3+Xl_2+Xl_1+Xl_0=

Hl_3(Hl_2(Hl_1(Xl_0)))+

Hl_2(Hl_1(Xl_0))+Hl_1(Xl_0)+Xl_0

(5)

式中，Xl_1表示經過第1組非線性運算之后的輸出，Hl_1(·)表示第1組非線性運算函數。其他公式以此類推，在此不一一贅述。Xl_4表示整個密集連接型殘差模塊的輸出，是由模塊的輸入及每組非線性運算的輸出一起相加而得到的。

DCResNet的每個殘差模塊中都有多組非線性運算，每組非線性運算都是在卷積前添加批量歸一化和非線性激活函數。批量歸一化處理可以防止過擬合并加快收斂，非線性激活函數使網絡具有較好的非線性擬合能力，除此之外，模塊中使用的跳躍性連接使網絡具有良好的易訓練性。本網絡在繼承了ResNet優點——抑制了梯度消失和梯度爆炸的問題以外，還增加了特征的傳播和利用率。

2 密集連接型殘差網絡結構

一個完整的DCResNet網絡主要由輸入、多個DC殘差模塊與下采樣的組合、兩個全連接層和輸出組成，如圖2所示。輸入(Input)就是需要處理的圖像數據。圖中共有4個DC殘差模塊，出于簡化圖示的目的，本文略去了模塊中的連接線，只是使用3組黃紅藍矩形框來表示，顏色與圖1是一致的。每個DC殘差模塊后搭配一組下采樣，包括綠色矩形框表示的1×1卷積層、紫色矩形框表示的平均池化層。最后是兩個灰色矩形框，分別表示全連接層1和全連接層2，而全連接層2也就是輸出層，該層給出目標的具體類別信息，即輸出(Output)。

圖2 DCResNet-3_18網絡結構

在ResNet的下采樣操作中，在旁支中加入卷積來調整殘差模塊的輸出通道數量。本文在DCResNet中，在平均池化層前用1×1卷積層來改變殘差模塊的輸出通道數量。為了抑制SAR圖像中的噪聲對目標識別所產生的不利影響，在DCResNet中采用平均池化的方式進行下采樣，改變數據的長與寬兩個維度。

為了將DCResNet的網絡結構信息直觀表現，本文作了一個簡單的DCResNet網絡命名規則。以圖2中的網絡為例，本文命名為DCResNet-3_18，其中的3表示每個DC殘差模塊含有3個卷積層；18則表示整個網絡結構中總共有18個卷積層：有4個DC殘差模塊，一共就有12個卷積層，再加上4個1×1卷積層和2個全連接層，其中全連接層本質也是卷積層。

本文共實驗了4個DCResNet的變體網絡，表1展示了各個變體網絡的具體細節信息。最后的全連接層2的尺寸是10，指的是本文實驗中一共有10類目標。

表1 DCResNet系列變體網絡結構信息

續表

3 實驗數據集

本文所有實驗數據均來源于美國DARPA公布的MSTAR(The Moving and Stationary Target Recognition)數據集。該數據集中包含大量車輛目標的SAR圖像切片，共有包括自行榴彈炮、裝甲偵察車、裝甲運輸車、推土機、坦克、貨運卡車、自行高炮、坦克等在內的10種型號，分別是BMP2、BTR70、T72、BTR60、2S1、BRDM2、D7、T62、ZIL131、ZSU234，此處給出其中的個別SAR圖像樣本如圖3所示。

圖3 10種車輛目標SAR圖像樣本

其中每一類車輛目標均只有15°和17°兩種不同俯仰角下所測得的數據，但兩個俯仰角下的數據在方位角上均覆蓋0°～360°。俯仰角17°的數據共有2 747個，本文作為訓練數據集，俯仰角15°的數據共有2 425個，本文作為測試集。為了更加有利于實驗，本文將所有SAR圖像切片從中心點向外延伸，裁剪出100×100大小的圖片。除此之外，不對數據集作任何處理，用于驗證不同卷積神經網絡的目標識別性能。

4 算法代碼編寫與實驗結果分析

本文的目標識別代碼基于Python語言和TensorFlow框架編寫。計算機的操作系統是64位Windows10，處理器是Intel(R)Core(TM)i7-8700 CPU @3.20 GHz，內存容量為16 GB，顯卡是NVIDA GeForce RTX2070(8 GB)。實驗參數設置如下：epoch總數為80，起始學習率為0.01，當訓練epoch到達40的時候學習率降低為0.001，當訓練epoch到達70的時候學習率降低為0.000 1；批量大小batch_size統一為20；權重衰減weight_decay為1×10-4；神經元隨機失活率為0.2。本次實驗使用adam優化器，epsilon設為 1×10-8，momentum設為0.9。

4.1 不同DCResNet變體之間的性能比較

本文比較了4種DCResNet變體網絡在訓練過程中前80個epoch(訓練代數)的測試集準確率變化，如圖4所示。由圖可見，4種網絡在訓練過程初期，準確率的波動比較大，這是由于訓練初期學習率設置較大的原因，隨著網絡訓練的進行這種現象逐漸得到改善。

圖4 DCResNet系列變體準確率變化對比

其中DCResNet-2_11在前中期表現最差，其原因是網絡的總體非線性層數相比其他3種變體網絡而言較少。4種網絡中，較早進入穩定狀態的是DCResNet-2_14以及DCResNet-3_18，這兩種網絡都是使用了4個DC殘差模塊，由此可以推測，更多的殘差模塊對網絡的準確性和收斂速度有利。但是最終，4種DCResNet變體網絡在MSTAR數據集上的準確率都達到了97%～98%之間。

4.2 不同CNN之間的性能比較

首先，本文對比了AlexNet、ResNet和DCResNet 3種CNN網絡的收斂效果和學習能力，其中DCResNet一共給出4個變體網絡，實驗結果如圖5所示。圖片展示了前50個epoch中各種網絡的損失值變化趨勢，每一個epoch表示一個完整訓練數據集訓練完成。由圖可見，4種變體網絡的變化趨勢大致相似，AlexNet網絡的起始損失值最大，但是趨于穩定狀態時ResNet-18的損失值卻是最大的，DCResNet的4種變體網絡起始損失值以及穩定狀態損失值相比而言都較低。

圖5 多種CNN網絡損失值變化對比

由此可知DCResNet在訓練時收斂更快，且較低的損失值反映了DCResNet對訓練數據良好的學習能力，且網絡在訓練數據樣本較少的時候，不容易表現出過擬合。雖然DCResNet是在ResNet基礎上改進而得，但它可以以更少的卷積層數，獲得更好的收斂效果和學習能力，這種性能提升源于殘差模塊內部的多次跳躍性連接和批量歸一化處理。

然后，本文進行了DCResNet與AlexNet、ResNet-18之間的準確率比較，如表2所示。這6種網絡在準確率方面ResNet-18表現最差，準確率是86.83%。DCResNet-3_18表現最好，準確率是98.20%，其他DCResNet變體的表現也遠遠領先于AlexNet和ResNet-18。同樣由18個卷積層組成，DCResNet-3_18準確率比ResNet-18高近12%。

表2 AlexNet、ResNet-18和DCResNet系列變體準確率對比

最后，本文對AlexNet、ResNet-18和DCResNet系列網絡的推理速度進行了測試和比較，結果如表3所示。其中推理速度最快的是DCResNet-2_11，推理速度最慢的是ResNet-18。DCResNet-3_18與ResNet-18擁有相同的卷積層數，其推理速度卻遠遠快于ResNet-18。

表3 AlexNet、ResNet-18和DCResNet系列變體推理速度對比

4.3 數據擴充對CNN性能的影響

上文在沒有數據擴充的情況下討論了各種網絡模型的性能。在實際工程中，數據擴充是尤為重要的，對于MSTAR這樣樣本數較少的數據集來說，數據擴充是必不可少的操作。本文研究了數據擴充對網絡性能的影響，在實驗中，本文通過翻轉、平移、多角度旋轉等操作，將訓練數據集擴充到了原來的6倍。數據集擴充前后，不同CNN網絡在訓練過程中的損失值變化曲線對比如圖6所示。

圖6 AlexNet、ResNet-18和DCResNet-3_18在擴充數據集前后的損失值對比

由圖6可見，3種網絡在數據擴充后的損失值絕大部分時間都低于數據擴充前的損失值，收斂得也更快。損失值表示預測結果與實際結果之間的差距，理論上越低越好，由此可見數據擴充有利于提高CNN網絡的性能。數據擴充的效果在ResNet-18網絡上表現得最為明顯，DCResNet-3_18網絡受到的影響較小，這也可以說明本文提出的模型對于小樣本學習有很好的表現。

表4給出了訓練數據集擴充前后，3種網絡的準確率變化。由表4可見，數據集擴充使CNN網絡的識別準確率均有不同幅度的提升。其中準確率提升幅度最大的是ResNet-18，超過10%。DCResNet-3_18的準確率也上升1.2%，使得擴充訓練集后，識別準確率達到99.47%。

表4 AlexNet、ResNet-18和DCResNet-3_18擴充數據集前后的準確率對比

5 結束語

本文在ResNet的基礎上，設計出了DCResNet，加密了殘差模塊中的跳躍性連接，使得每個殘差模塊里經過不同次數非線性運算的特征都被疊加到殘差模塊的輸出里，從而提高了特征的傳播率和利用率，增強了網絡的學習能力。實驗結果表明，DCResNet與ResNet-18和AlexNet相比，具有更快的推理速度和收斂速度，更高的識別準確率。訓練數據集擴充能改善CNN的訓練損失值和識別準確率。在采用擴充后數據集進行訓練后，DCResNet-3_18的測試集準確率達到了99.47%。