用于遷移學(xué)習(xí)的飛機(jī)遙感圖像數(shù)據(jù)集的建立*

史 通，王 潔，羅 暢，蔡啟航，王世強(qiáng)

（空軍工程大學(xué)防空反導(dǎo)學(xué)院，西安 710051）

0 引言

空天遙感（aerospace remote sensing）泛指以飛機(jī)、氣球等航空飛行器和人造衛(wèi)星、宇宙飛船等航天飛行器為平臺(tái)，通過(guò)各類(lèi)傳感系統(tǒng)對(duì)遠(yuǎn)距離目標(biāo)定時(shí)、定位、定性、定量并進(jìn)行數(shù)據(jù)通信的探測(cè)識(shí)別綜合技術(shù)。近年來(lái)，隨著衛(wèi)星、無(wú)人機(jī)等遙感平臺(tái)的迅猛發(fā)展以及傳感技術(shù)、通信技術(shù)的不斷改進(jìn)，空天遙感技術(shù)也得到了極大的提高。遙感圖像數(shù)據(jù)已經(jīng)呈現(xiàn)出大量（volume）、高速（velocity）、多樣（vari-ety）、價(jià)值（value）的大數(shù)據(jù)典型的“4V”特點(diǎn)。

在當(dāng)前空天遙感應(yīng)用領(lǐng)域中，遙感圖像目標(biāo)識(shí)別是一項(xiàng)在軍用、民用方面都有著深遠(yuǎn)理論意義和巨大應(yīng)用價(jià)值的研究課題。民用方面，文獻(xiàn)[1]利用從Quick Bird上獲取的光學(xué)遙感圖像，基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）模型進(jìn)行了棒球場(chǎng)、城市居民區(qū)、灌木叢、立交橋和停車(chē)場(chǎng)這5類(lèi)城市目標(biāo)的分類(lèi)實(shí)驗(yàn)。文獻(xiàn)[2]利用美國(guó)土地使用分類(lèi)數(shù)據(jù)集UCM_LandUse，對(duì)農(nóng)田、建筑、河流等21類(lèi)遙感目標(biāo)進(jìn)行分類(lèi)，又利用武漢大學(xué)高分衛(wèi)星遙感圖像場(chǎng)景數(shù)據(jù)集HRSS，對(duì)工業(yè)區(qū)、商業(yè)區(qū)等19類(lèi)城市目標(biāo)進(jìn)行分類(lèi)，并對(duì)兩者進(jìn)行了分類(lèi)效果的比較。軍用方面，文獻(xiàn)[3]提出了基于支持向量機(jī)（SVM）的遙感圖像艦船目標(biāo)識(shí)別方法，并同傳統(tǒng)分類(lèi)器進(jìn)行了實(shí)驗(yàn)結(jié)果的對(duì)比分析，表明該方法具有良好的識(shí)別效果。文獻(xiàn)[4]著力于構(gòu)建了一個(gè)面向高分辨率光學(xué)遙感圖像的深度學(xué)習(xí)目標(biāo)識(shí)別系統(tǒng)，以機(jī)場(chǎng)和飛行器目標(biāo)識(shí)別為例，實(shí)現(xiàn)了復(fù)雜場(chǎng)景下“大范圍、小目標(biāo)”的快速準(zhǔn)確定位。

從現(xiàn)有的研究成果來(lái)看，粗識(shí)別（rough recognition）的理論研究相當(dāng)成熟，也已經(jīng)在各個(gè)領(lǐng)域有了廣泛的應(yīng)用。但是，隨著不同場(chǎng)景實(shí)際應(yīng)用要求的不斷提高，對(duì)同一大類(lèi)里的不同目標(biāo)進(jìn)行細(xì)分類(lèi)（fine recognition）的需求也越來(lái)越迫切，所以更加細(xì)致的識(shí)別方法亟待研究。

本文就以不同種類(lèi)飛機(jī)的細(xì)分類(lèi)研究為目的，以民用客機(jī)、直升機(jī)、初級(jí)教練機(jī)、戰(zhàn)斗機(jī)、運(yùn)輸機(jī)和轟炸機(jī)這6類(lèi)飛機(jī)為代表，注重于建立各類(lèi)飛機(jī)的光學(xué)遙感圖像數(shù)據(jù)集，為日后飛機(jī)目標(biāo)識(shí)別的研究工作做好準(zhǔn)備。對(duì)不同種類(lèi)飛機(jī)的細(xì)分類(lèi)研究，在軍事應(yīng)用領(lǐng)域具有重要的意義，在戰(zhàn)略目標(biāo)偵察監(jiān)視，裝備戰(zhàn)斗力綜合評(píng)估和空軍基地功能判定等方面都能發(fā)揮顯著的作用。

1 遷移學(xué)習(xí)

遙感圖像目標(biāo)識(shí)別的方法有很多，除了前文提到的支持向量機(jī)、卷積神經(jīng)網(wǎng)絡(luò)這些方法外，還有小波包變換[5]、數(shù)據(jù)融合[6]、徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)[7-8]等方法。但是，卷積神經(jīng)網(wǎng)絡(luò)因?yàn)槠渚植窟B接和權(quán)值共享的網(wǎng)絡(luò)結(jié)構(gòu)使之權(quán)值數(shù)量減少，自學(xué)習(xí)模型復(fù)雜度降低，成為目前研究最廣也是效果最好的一種方法。

卷積神經(jīng)網(wǎng)絡(luò)自20世紀(jì)60年代發(fā)展至今，已經(jīng)在圖像識(shí)別、語(yǔ)音識(shí)別、大數(shù)據(jù)分析等領(lǐng)域都取得了突出的成就。誕生于1994年的LeNet-5[8]是最早的也是最經(jīng)典的CNN模型，堪稱(chēng)卷積神經(jīng)網(wǎng)絡(luò)的奠基之作，直接推動(dòng)了深度學(xué)習(xí)的迅速發(fā)展。其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。近年來(lái)，在ImageNet大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽（ILSVRC）的盛會(huì)中，越來(lái)越多更加優(yōu)秀的CNN模型被提出，比如2012年冠軍AlexNet（8層神經(jīng)網(wǎng)絡(luò)），2014年亞軍VGGNet（19層神經(jīng)網(wǎng)絡(luò)），2015年冠軍ResNet（152層神經(jīng)網(wǎng)絡(luò)）等，在圖像識(shí)別等諸多領(lǐng)域不斷刷新著準(zhǔn)確率記錄。

圖1 LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)

要知道，這樣一個(gè)優(yōu)秀的CNN模型往往是依靠規(guī)模巨大的有標(biāo)記數(shù)據(jù)集訓(xùn)練出來(lái)的，而這些數(shù)據(jù)集的建立是經(jīng)過(guò)團(tuán)隊(duì)多年精心收集樣本完成的，是一項(xiàng)人力、物力資源耗費(fèi)極大的工作。在實(shí)際應(yīng)用中，由于應(yīng)用場(chǎng)景不同，識(shí)別任務(wù)不同，很少有合適的大規(guī)模的公開(kāi)數(shù)據(jù)集能夠滿(mǎn)足訓(xùn)練出有針對(duì)性的網(wǎng)絡(luò)模型的需求。

盡管如此，以上優(yōu)秀模型的訓(xùn)練數(shù)據(jù)集一般都基于自然場(chǎng)景圖像。本文研究的主要是飛機(jī)的光學(xué)遙感圖像，它與自然場(chǎng)景圖像的成像原理相似，待識(shí)別目標(biāo)的邊線、形狀、顏色等基本圖像特征相近。那么，就可以借用這些基于大量自然場(chǎng)景圖像樣本訓(xùn)練好的CNN模型，用相對(duì)少量的特定場(chǎng)景數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)訓(xùn)練，從而構(gòu)建出適用于光學(xué)遙感圖像飛機(jī)目標(biāo)識(shí)別的CNN模型。這就是遷移學(xué)習(xí)（transfer learning）[9]在卷積神經(jīng)網(wǎng)絡(luò)方向的一大應(yīng)用，可以把它形象地稱(chēng)為“站在巨人的肩膀上”。

對(duì)于本文來(lái)說(shuō)，通過(guò)采集相對(duì)少量的上述6類(lèi)飛機(jī)的光學(xué)遙感圖像，經(jīng)過(guò)一定的預(yù)處理，再對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)與標(biāo)記，建立起飛機(jī)遙感圖像數(shù)據(jù)集，作為CNN遷移源模型的微調(diào)訓(xùn)練集，為日后遙感圖像飛機(jī)目標(biāo)識(shí)別系統(tǒng)的搭建打下堅(jiān)實(shí)的基礎(chǔ)。

2 數(shù)據(jù)集的建立

之所以選擇民用客機(jī)、直升機(jī)、初級(jí)教練機(jī)、戰(zhàn)斗機(jī)、運(yùn)輸機(jī)和轟炸機(jī)這6類(lèi)飛機(jī)制作對(duì)應(yīng)的有標(biāo)記數(shù)據(jù)集，是因?yàn)檫@6類(lèi)飛機(jī)的特征具有類(lèi)間區(qū)別大、類(lèi)內(nèi)差異小的特點(diǎn)。也就是說(shuō)，這6類(lèi)飛機(jī)相互之間容易區(qū)分，而且雖然每一類(lèi)都還可以繼續(xù)細(xì)分出不同機(jī)型，但是這些不同機(jī)型之間的形狀差異比較小，對(duì)分類(lèi)效果的影響可以忽略。這樣在圖像采集過(guò)程中，就不會(huì)受限于某一特定機(jī)型樣本圖像少的問(wèn)題，拓寬了某一類(lèi)飛機(jī)樣本圖像采集的廣度，極大地降低了采集難度。圖2展示了戰(zhàn)斗機(jī)類(lèi)內(nèi)差異小的特點(diǎn)。

圖2 不同戰(zhàn)斗機(jī)型對(duì)比

2.1 圖像采集

在互聯(lián)網(wǎng)上，有很多比較專(zhuān)業(yè)的遙感影像庫(kù)可供有償下載，但是大多數(shù)針對(duì)性不強(qiáng)。而且本文想要采集圖像的各類(lèi)飛機(jī)中還涉及到一些軍用飛機(jī)，基本上沒(méi)有符合要求的現(xiàn)成的商業(yè)遙感影像庫(kù)。同時(shí)，本數(shù)據(jù)集規(guī)模較小，為了提高數(shù)據(jù)集的質(zhì)量，決定通過(guò)谷歌地球（Google Earth）采集各類(lèi)飛機(jī)的遙感圖像。

由于卷積神經(jīng)網(wǎng)絡(luò)具有泛化能力強(qiáng)的優(yōu)點(diǎn)，圖像采集的難度被進(jìn)一步降低，只需要做到飛機(jī)輪廓清晰、整體結(jié)構(gòu)完整、以正方形裁剪，采集過(guò)程不必受限于角度、尺度、像素等因素。而且光照、濃霧、背景等干擾因素都可以不必在乎，這些因素反而還會(huì)增強(qiáng)神經(jīng)網(wǎng)絡(luò)模糊學(xué)習(xí)的能力。采集到的6類(lèi)飛機(jī)的遙感圖像示例如圖3所示。

圖3 6類(lèi)飛機(jī)的遙感圖像

2.2 圖像預(yù)處理

雖說(shuō)用于遷移學(xué)習(xí)的訓(xùn)練樣本是少量的，但是這種少量是相對(duì)于CNN遷移源模型百萬(wàn)數(shù)量級(jí)的訓(xùn)練樣本來(lái)說(shuō)的，所以至少應(yīng)該達(dá)到千數(shù)量級(jí)。以上種種方法雖然相對(duì)降低了飛機(jī)圖像的采集難度，但是這項(xiàng)工作仍然非常耗時(shí)耗力，比如采集到的初級(jí)教練機(jī)的樣本圖像只有250張，這是遠(yuǎn)遠(yuǎn)不夠的。

而數(shù)據(jù)增強(qiáng)（data augmentation）就能夠很好地解決這一問(wèn)題。對(duì)少量的飛機(jī)樣本圖像進(jìn)行適當(dāng)?shù)男D(zhuǎn)變換、鏡像變換、亮度變換或?qū)Ρ榷茸儞Q，不僅能夠大大增加樣本圖像的數(shù)量，還可以模擬飛機(jī)的多種變化情況，增強(qiáng)網(wǎng)絡(luò)的學(xué)習(xí)能力。為了簡(jiǎn)化后續(xù)操作，在圖像變換之前，需要對(duì)原始樣本圖像進(jìn)行歸一化處理，將圖像的尺寸歸一化為100*100像素。然后進(jìn)行4種旋轉(zhuǎn)變換、4種鏡像變換，那么樣本圖像將擴(kuò)充4*4=16倍。以單張圖像為例，預(yù)處理的操作步驟如圖4所示。上述操作都可以通過(guò)圖像批處理的方法實(shí)現(xiàn)，那么初級(jí)教練機(jī)原始的250張樣本圖像將擴(kuò)充到4 000張，其樣本圖像示例如圖5所示。其他種類(lèi)飛機(jī)的遙感圖像的數(shù)據(jù)增強(qiáng)同理。

圖4 圖像預(yù)處理的步驟

圖5 數(shù)據(jù)增強(qiáng)后的初級(jí)教練機(jī)圖像

3 結(jié)論

至此，用于遷移學(xué)習(xí)的飛機(jī)遙感圖像數(shù)據(jù)集的建立工作已全部完成。本數(shù)據(jù)集是基于特定的應(yīng)用場(chǎng)景建立的，針對(duì)性強(qiáng)，質(zhì)量較高。但是也存在有待加強(qiáng)的方面，比如，樣本類(lèi)別不夠細(xì)化，圖像采集不夠智能等問(wèn)題。

下一步的任務(wù)就是對(duì)CNN遷移源模型進(jìn)行適當(dāng)?shù)膮?shù)修改，再利用此數(shù)據(jù)集微調(diào)網(wǎng)絡(luò)，使該模型更加適用于遙感圖像飛機(jī)目標(biāo)識(shí)別這一特定應(yīng)用場(chǎng)景，以期搭建出能夠應(yīng)用于軍事領(lǐng)域的遙感圖像飛機(jī)目標(biāo)識(shí)別系統(tǒng)。這對(duì)于把握軍事先機(jī)、分析軍事態(tài)勢(shì)、制定軍事策略從而贏得戰(zhàn)爭(zhēng)勝利是非常有利的。