少量樣本下基于孿生CNN的SAR目標(biāo)識別

23

(1.中國科學(xué)院大學(xué)， 北京 100049； 2.中國科學(xué)院電子學(xué)研究所， 北京 100190；3.中國科學(xué)院空間信息處理與應(yīng)用系統(tǒng)技術(shù)重點(diǎn)實(shí)驗(yàn)室， 北京 100190)

0 引言

近年來，合成孔徑雷達(dá)(Synthetic Aperture Radar，SAR)在軍事和民用領(lǐng)域的應(yīng)用越來越廣泛，其中一個(gè)主要應(yīng)用是識別機(jī)動目標(biāo)，如坦克、車輛和艦船等。

相比于光學(xué)圖像，SAR圖像較難提取特征，傳統(tǒng)方法已經(jīng)很難滿足分類精度和速度需求，而深度學(xué)習(xí)為發(fā)展一種SAR圖像智能解譯框架提供了可能。當(dāng)前深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域取得了較好的成果，在一些光學(xué)圖像競賽上取得了非常大的突破[1-2]。但是，在SAR目標(biāo)識別中深度學(xué)習(xí)處于起步階段，可用于研究的SAR數(shù)據(jù)集屈指可數(shù)[3]。深度學(xué)習(xí)是由大量數(shù)據(jù)驅(qū)動完成的，而目前也存在如ImageNet，MicrosoftCOCO等大型光學(xué)圖像數(shù)據(jù)集；與光學(xué)圖像不同，SAR圖像受相干斑噪聲等成像機(jī)制的影響，目標(biāo)、陰影與背景之間的過渡區(qū)域很難分離，對其進(jìn)行手工標(biāo)注具有很大的主觀性和隨機(jī)性，所以獲取大量帶標(biāo)注的SAR圖像數(shù)據(jù)需要耗費(fèi)高昂的人力成本。因此，研究深度學(xué)習(xí)在少量樣本下的SAR目標(biāo)識別不僅能降低數(shù)據(jù)需求，還能提高識別精度。

深度學(xué)習(xí)中一般采用樣本增強(qiáng)的方式進(jìn)行數(shù)據(jù)擴(kuò)充，然而傳統(tǒng)的圖像旋轉(zhuǎn)、裁剪、扭曲等擴(kuò)充方式不利于網(wǎng)絡(luò)充分挖掘數(shù)據(jù)的深層信息；其次在SAR圖像中，待識別目標(biāo)的圖像特征和相干斑噪聲復(fù)雜耦合，只使用單支卷積神經(jīng)網(wǎng)絡(luò)(CNN)進(jìn)行特征提取難以對目標(biāo)特征和噪聲進(jìn)行解離。目前，遷移學(xué)習(xí)在少量樣本下目標(biāo)識別問題上取得了不錯(cuò)的成果[4]，通過把大型通用數(shù)據(jù)集上預(yù)訓(xùn)練得到的模型遷移到其他小規(guī)模數(shù)據(jù)集上，有效解決了CNN在少量樣本下訓(xùn)練樣本不足的問題。但是遷移學(xué)習(xí)的理論基礎(chǔ)是目標(biāo)域和源域數(shù)據(jù)具有相似的底層特征，而SAR圖像和光學(xué)圖像在成像方式、噪聲等方面仍存在較大差異，因此遷移學(xué)習(xí)在SAR數(shù)據(jù)集上的魯棒性較差。

針對上述少量樣本下SAR目標(biāo)識別訓(xùn)練樣本不足的問題，本文提出了一種創(chuàng)新的構(gòu)建正負(fù)樣本對的方式實(shí)現(xiàn)樣本擴(kuò)充，在此基礎(chǔ)上結(jié)合度量學(xué)習(xí)和深度學(xué)習(xí)設(shè)計(jì)了一種能充分挖掘樣本信息的深度度量網(wǎng)絡(luò)——孿生卷積神經(jīng)網(wǎng)絡(luò)，最后通過多任務(wù)聯(lián)合學(xué)習(xí)的方式訓(xùn)練模型，降低過擬合風(fēng)險(xiǎn)。

1 少量樣本下的SAR目標(biāo)識別方法

當(dāng)訓(xùn)練樣本較少時(shí)，SAR目標(biāo)識別可以仿照人臉識別的解決方案[5-6]，比較待識別樣本與訓(xùn)練集中的每張圖片，然后挑選出哪一張與它最可能是同樣類別，從而將目標(biāo)識別問題轉(zhuǎn)化為判斷兩個(gè)樣本是否屬于同一類的二分類問題。深度學(xué)習(xí)可以提取樣本的特征向量，而度量學(xué)習(xí)可以學(xué)習(xí)兩個(gè)特征向量的距離度量。該距離可用來刻畫樣本之間的相似程度，距離越小，兩個(gè)樣本越相似，屬于同一類的概率就越大。

1.1 數(shù)據(jù)擴(kuò)充

如上所述，判斷兩個(gè)樣本是否同類時(shí)模型的輸入不再是單個(gè)樣本，而是兩個(gè)樣本構(gòu)成的樣本對。這里樣本對分為兩類：來自同一類的正樣本對和來自不同類的負(fù)樣本對，如圖1所示。由于模型采用逐對訓(xùn)練，因此將會有平方級別數(shù)目的樣本對來訓(xùn)練模型，這相當(dāng)于一種變相的數(shù)據(jù)擴(kuò)充，使模型很難過擬合。假設(shè)訓(xùn)練集有E類，每類有C個(gè)樣本，總共可能的樣本對數(shù)量可由式(1)計(jì)算：

C≥2,E≥2

(1)

相比原始數(shù)據(jù)集擴(kuò)充了(C·E-1)/2倍。

圖1 構(gòu)建正負(fù)樣本對

1.2 模型

1.2.1 孿生卷積神經(jīng)網(wǎng)絡(luò)

本文將兩個(gè)完全相同且共享權(quán)值的CNN通過一個(gè)非參的相似度量層相連，構(gòu)成可用于度量兩個(gè)樣本間相似度的孿生卷積神經(jīng)網(wǎng)絡(luò)，如圖2所示。為了降低模型復(fù)雜度，本文采用輕量級卷積神經(jīng)網(wǎng)絡(luò)ShuffleNet作為特征提取網(wǎng)絡(luò)。ShuffleNet[7]是曠視提出的基于組卷積和深度可分離卷積的輕量級網(wǎng)絡(luò)，在大幅減少參數(shù)量的同時(shí)仍能保持較大的容量，非常適合少量樣本下的識別任務(wù)。

圖2 孿生卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

首先將SAR樣本對Xi=(xi,1,xi,2,…,xi,n)和Xj=(xj,1,xj,2,…,xj,n)輸入模型，通過ShuffleNetGW(X)提取特征，得到特征向量GW(Xi)和GW(Xj)，長度為1 000。然后計(jì)算GW(Xi)和GW(Xj)的差值向量EW，如式(2)所示。

EW=abs(GW(Xi)-GW(Xj))=

(|xi,1-xj,1|,|xi,2-xj,2|,…,

|xi,1 000-xj,1 000|)

(2)

再將EW通過一shape=[1 000,1]的全連接層，得到GW(X1)和GW(X2)的距離度量：

dist(Xi,Xj)=

ω1·|xi,1-xj,1|+ω2·|xi,2-xj,2|+

…+ω1 000·|xi,1 000-xj,1 000|+b=

EWW+b

(3)

式中，W=(ω1,ω2,…,ω1 000)T是該全連接層的權(quán)重矩陣，b為偏差，可通過學(xué)習(xí)確定。易知，dist(Xi,Xj)=dist(Xj,Xi)，滿足對稱性。然后經(jīng)過Sigmoid層將dist(Xi,Xj)轉(zhuǎn)化為一個(gè)[0，1]區(qū)間內(nèi)的數(shù)值PW，即樣本對屬于同一類的相似概率：

PW=Sigmoid(margin-dist(Xi,Xj))

(4)

式中，margin為間隔閾值，取margin=6.0。當(dāng)dist(Xi,Xj)>margin時(shí),PW<0.5，則判定樣本對不屬于同一類；dist(Xi,Xj)越小，PW更接近于1，表示樣本對的相似度更高。訓(xùn)練時(shí)，模型會傾向于使正樣本對的距離不斷減少；而使負(fù)樣本對的距離不斷增大，逐步趨近于margin。最后構(gòu)造一個(gè)基于PW的交叉熵?fù)p失函數(shù)：

Lmetric=-[l*log(PW)+(1-l)*

(5)

1.2.2 多任務(wù)聯(lián)合學(xué)習(xí)

孿生CNN可以衡量兩個(gè)樣本是否屬于同一類，但無法分辨單個(gè)樣本的具體類別。因此可以在孿生CNN上添加額外的全連接層(shape= [1 000,10])和Softmax層，構(gòu)造兩個(gè)基于交叉熵?fù)p失的單樣本分類任務(wù)，如圖3所示。

圖3 多任務(wù)聯(lián)合學(xué)習(xí)模型

通過這種多任務(wù)聯(lián)合學(xué)習(xí)[8]的訓(xùn)練方式，相似度量和分類任務(wù)可以互相輔助學(xué)習(xí)，使得模型既可以分辨兩個(gè)樣本是否相似，也能識別單個(gè)樣本的類別；另外，由于各任務(wù)有不同的噪聲模式，同時(shí)學(xué)習(xí)多個(gè)任務(wù)可以對噪聲進(jìn)行平均，分擔(dān)各自的過擬合風(fēng)險(xiǎn)，得到更為泛化的表示，有利于緩解SAR圖像相干斑噪聲的影響。

該模型包含了兩個(gè)分類任務(wù)和一個(gè)相似度量任務(wù)，因此總損失函數(shù)由3部分組成，如式(6)所示，其中Lcls_Xi和Lcls_Xj是分類任務(wù)的交叉熵?fù)p失，λ是其損失權(quán)重。

Ltotal=λ*(Lcls_Xi+Lcls_Xj)+

(1-2λ)*Lmetric

(6)

1.3 訓(xùn)練

由式(1)可知，若訓(xùn)練集有E類，每類有C個(gè)樣本，則正樣本對的數(shù)量為

C≥2,E≥2

(7)

因此正負(fù)樣本對的比例為

(8)

可見當(dāng)類別較多時(shí)，負(fù)樣本對要遠(yuǎn)多于正樣本對，因此在訓(xùn)練時(shí)需對負(fù)樣本對作難區(qū)分負(fù)樣本挖掘[9-10](hard negative mining)，這樣有利于避免振蕩，加快網(wǎng)絡(luò)收斂。基于前文定義的樣本距離度量dist(Xi,Xj)，設(shè)定一區(qū)間[A,B]，可將負(fù)樣本對分為以下3類：

a) 易區(qū)分負(fù)樣本對：dist(Xi,Xj)>B，此類負(fù)樣本對相似度較低，因此較容易識別；

b) 模糊負(fù)樣本對：A≤dist(Xi,Xj)≤B，處在模糊區(qū)域的負(fù)樣本對；

c) 難區(qū)分負(fù)樣本對：dist(Xi,Xj)

顯然，難區(qū)分負(fù)樣本對在訓(xùn)練中容易造成混淆，因此應(yīng)著重關(guān)注這一類負(fù)樣本對，該類樣本對的選取算法如表1所示。

表1 難區(qū)分負(fù)樣本對挖掘算法

訓(xùn)練時(shí)的每個(gè)批量處理(batch)包含了多個(gè)正負(fù)樣本對，若按式(8)中的比例安排批量處理，在大量負(fù)樣本對的影響下網(wǎng)絡(luò)訓(xùn)練幾乎無法收斂，因此本文將每個(gè)批量處理中的正負(fù)樣本對比例確定為1∶1來均衡正負(fù)樣本對對損失函數(shù)的影響，使模型可以穩(wěn)定收斂。

1.4 類別推斷

在預(yù)測階段，本文設(shè)計(jì)了一種基于孿生CNN和加權(quán)投票的識別算法來推斷待測樣本的類別，如圖4所示。假設(shè)訓(xùn)練集共包含N類樣本，維護(hù)一個(gè)結(jié)果數(shù)組cls[N]儲存推斷時(shí)訓(xùn)練集所有樣本的投票結(jié)果。

圖4 待測樣本的識別流程

具體推斷算法如表2所示，雖然需要同所有訓(xùn)練樣本進(jìn)行比較，但在小規(guī)模訓(xùn)練集上比較次數(shù)較少，因此可以達(dá)到實(shí)時(shí)性識別的要求。

表2 待測樣本識別算法

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集及實(shí)驗(yàn)設(shè)置

2.1.1 MSTAR

目前國內(nèi)外對SAR圖像進(jìn)行的研究大多使用該數(shù)據(jù)集，其中包含大量地面目標(biāo)切片。取17°俯仰角樣本作為訓(xùn)練集，15°俯仰角樣本為測試集。為減少計(jì)算量，截取圖像中心包含目標(biāo)的64 ×64大小的目標(biāo)切片進(jìn)行試驗(yàn)。MSTAR中共計(jì)10類目標(biāo)，各類樣本數(shù)量較均衡，在195～274之間。

2.1.2 OpenSARShip

OpenSARShip[11]是2017年上海交大提出的第一個(gè)艦船SAR圖像數(shù)據(jù)集。由于部分類別所含樣本極少，所以本文只取其中貨船下的5個(gè)子類進(jìn)行實(shí)驗(yàn)，每類樣本數(shù)如表3所示。同MSTAR的處理方法一樣，截取圖像中心包含目標(biāo)的64 ×64大小的圖像切片。

表3 OpenSARShip 5類樣本各自樣本數(shù)

2.1.3 數(shù)據(jù)預(yù)處理

由于SAR圖像相鄰像素之間具有很強(qiáng)的相關(guān)性，所以用原始圖像進(jìn)行訓(xùn)練時(shí)會存在冗余現(xiàn)象，而白化處理后的圖像會降低特征之間的相關(guān)性，并使所有的特征具有相同的方差，如圖5所示。

圖5 SAR圖像白化

白化處理后再對原始數(shù)據(jù)集做人工提高訓(xùn)練樣本數(shù)量，這是提高機(jī)器學(xué)習(xí)算法性能的一種常用技巧。由于SAR目標(biāo)的環(huán)拍角度對其圖像特征影響較大，所以在樣本增強(qiáng)時(shí)不應(yīng)采用翻轉(zhuǎn)、鏡

像等方式。本實(shí)驗(yàn)對原始訓(xùn)練集中所有樣本，以圖像中心點(diǎn)為旋轉(zhuǎn)點(diǎn)，分別進(jìn)行順時(shí)針±10°的旋轉(zhuǎn)，將樣本量增強(qiáng)為原有規(guī)模的3倍。

2.1.4 模型超參數(shù)設(shè)置

本文模型訓(xùn)練的基本超參數(shù)設(shè)置如表4所示。硬件配置為CPU：Inteli7-8700 K @ 3.60 GHz，32 G內(nèi)存，GPU：GTX 1080Ti @11 GB顯存；軟件環(huán)境是Windows10，深度學(xué)習(xí)框架TensorFlow 1.10，Python 3.6，CUDA 9.0, cuDNN 7.4。

表4 模型超參數(shù)

2.2 算法對比實(shí)驗(yàn)

2.2.1 分類識別結(jié)果

為營造少量樣本環(huán)境，對MSTAR訓(xùn)練集中共10類目標(biāo)均以環(huán)拍角度等間隔欠采樣，使得每類樣本數(shù)據(jù)量約為原數(shù)據(jù)量的1/10。以欠采樣后的新數(shù)據(jù)集作為訓(xùn)練集，按照表4的超參數(shù)訓(xùn)練模型，在完整MSTAR測試集上的分類識別結(jié)果如表5所示。可以看出，本文方法在使用少量樣本訓(xùn)練后，模型識別結(jié)果較好，并未出現(xiàn)過擬合。

表5 MSTAR 10類目標(biāo)混淆矩陣

2.2.2 幾種識別算法的對比

機(jī)器學(xué)習(xí)中支持向量機(jī)(SVM)在少量樣本下性能較好；深度學(xué)習(xí)中傳統(tǒng)識別算法使用CNN接Softmax層進(jìn)行分類；遷移學(xué)習(xí)使用大規(guī)模通用數(shù)據(jù)集上訓(xùn)練好的模型在小規(guī)模SAR樣本集上進(jìn)行微調(diào)。為測試本文方法與同類算法的差異，本文在相同條件下在MSTAR上進(jìn)行了若干對比實(shí)驗(yàn)。

首先對MSTAR訓(xùn)練集中共10類目標(biāo)均以環(huán)拍角度間隔欠采樣，分別按占原數(shù)據(jù)量1/10， 2/10，…，1的比例構(gòu)造10個(gè)新訓(xùn)練集，每種情況均使用完整測試集進(jìn)行評估，得到各算法的10類整體分類準(zhǔn)確率隨訓(xùn)練集規(guī)模的變化情況如圖6所示。可以看出，在少量訓(xùn)練樣本下，孿生CNN分類效果最優(yōu)，而CNN和SVM此時(shí)均出現(xiàn)了過擬合現(xiàn)象，泛化性能較差；隨著訓(xùn)練樣本量逐漸增多，孿生CNN始終能維持在較高的水平。同等樣本量下，孿生CNN分類性能優(yōu)于其他方法。

圖6 幾種分類算法的結(jié)果對比

2.2.3 幾種特征提取網(wǎng)絡(luò)的對比

為了探究特征提取層使用不同CNN對結(jié)果的影響，本文將ShuffleNet分別更換為VGG-16 Net和ResNet-50，在2.2.2節(jié)的實(shí)驗(yàn)條件下做了相關(guān)對比實(shí)驗(yàn)，結(jié)果如圖7所示。可以看出，在少量樣本下ShuffleNet表現(xiàn)更好，而在訓(xùn)練集規(guī)模較大時(shí)，更復(fù)雜的VGG-16和ResNet-50性能較好，這是由于在少量樣本下使用復(fù)雜度較低的模型可以降低過擬合風(fēng)險(xiǎn)。

圖7 幾種卷積網(wǎng)絡(luò)的結(jié)果對比

2.3 算法有效性及泛化分析

2.3.1 可視化分析

t-SNE[12]是一種將高維數(shù)據(jù)映射到低維空間的降維算法。為了更直觀地體現(xiàn)基于深度度量學(xué)習(xí)的孿生CNN方法對樣本分布的影響，本文使用t-SNE降維可視化方法將MSTAR完整測試集通過ShuffleNet輸出的特征向量GW(X)映射在二維平面上觀察樣本分布情況，如圖8所示。可見隨著不斷迭代訓(xùn)練，類內(nèi)樣本對的距離不斷縮小，類間樣本對的距離不斷加大，直到各類別間形成一定間隔。因此，深度度量學(xué)習(xí)通過優(yōu)化樣本間距來調(diào)整各類樣本分布，主要體現(xiàn)在減小類內(nèi)距離、增大類間距離，最終使樣本分布形成聚類效應(yīng)。這是孿生CNN實(shí)現(xiàn)SAR目標(biāo)識別的主要原因之一。

(a) 訓(xùn)練1個(gè)迭代周期后

(b) 訓(xùn)練10個(gè)迭代周期后圖8 MSTAR測試集t-SNE降維可視化結(jié)果

2.3.2 泛化分析

為了測試本文方法在其他SAR數(shù)據(jù)集上的識別效果，本文在OpenSARShip上進(jìn)行了和2.2.1節(jié)相同條件下的實(shí)驗(yàn)。欠采樣1/10數(shù)據(jù)作為訓(xùn)練集，其余樣本作為測試集，識別結(jié)果如表6所示。可見本文方法在OpenSARShip上也取得了較好的分類性能，初步驗(yàn)證了孿生CNN識別方法的泛化能力。

表6 OpenSARShip 5類目標(biāo)混淆矩陣

3 結(jié)束語

從本文的結(jié)果可見，基于孿生CNN的SAR目標(biāo)識別方法在少量樣本下表現(xiàn)出了較理想的性能，但本文的例子所適用的范圍有限，真正應(yīng)用到實(shí)際業(yè)務(wù)中還需要進(jìn)行更深入更廣泛的研究。比如雷達(dá)俯仰角和環(huán)拍角度對SAR圖像特征影響較大，如何均勻采集訓(xùn)練樣本是亟需研究的課題。針對SAR圖像這樣電磁波散射物理過程的產(chǎn)物，需要融合電磁散射和深度學(xué)習(xí)等理論，將物理規(guī)律等先驗(yàn)知識體現(xiàn)在解譯算法中，才能發(fā)展出一套成熟的SAR智能解譯框架。