空間海量異構遙感數據快速篩選和智能技術

王海紅， 魏祥泉， 田雪穎， 張 強， 陳 超

(1.北京跟蹤與通信技術研究所， 北京 100094； 2.上海宇航系統工程研究所， 上海 201109；3.大連交通大學， 大連 116028； 4.上海衛星工程研究所， 上海 201109)

1 引言

航空航天技術的持續發展催生了遙感數據應用的不斷擴展。 遙感數據主要包括航空數據和衛星數據，蘊含著大量的地物信息，為各領域研究提供了數據前提。 極大豐富的異構遙感數據需要同時配合北斗衛星導航系統才能得到更好地應用，以提高后續特定控制操作指令的準確性[1－3]，而遙感數據的圖像處理主要面臨集成化低、智能化不足、異構數據利用率低、同步化慢的問題。 集成化低體現在設備分散、處理思路復雜，將海量異構遙感數據與地理位置信息的集成化是遙感數據快速篩選識別技術進一步發展的必要條件；智能化提高會使識別分類精度更加準確，可以通過增加人機交互的多種操作方式來實現；利用數據特征融合手段可以改善異構數據利用率的問題，在現有靜態數據成功實驗的基礎上增加動態化數據是實現同步化的基礎，實時性與同步性的優化會極大地拓寬實用面。

近年來國內外研究人員對海量異構遙感數據的研究力度不斷加大，主要方向有利用地形地貌遙感數據進行工程地質研究、水位檢測/海洋湖泊生產力的研究和探測環境變化對氣溫的影響等[4]。

王艷等[5]提出了通過超分辨復原生成對抗網絡(Super-resolution Reconstruction Generative Adversarial Networks，SRGAN)實現圖像超分辨率重建(Single-Image-Super-Resolution，SISR)，在包括測試船舶本體的多個訓練集中進行訓練，采用AlexNet 網絡進行分類檢測，采用RetinaNet 網絡進行目標識別，完成相應的船舶本體識別，但其識別種類受限；栗旭升等[6]提出了通過建立三維卷積神經網絡(3D Convolutional Neural Networks，3D-CNN)和殘差網絡(Residual Network，ResNets)融合的三位殘差卷積神經網絡，在一定程度上減少了網絡深度誤差，但訓練效率也受到了一定影響；Shakya 等[7]成功研發出一種基于結構化圖像分析的算法模型，并提出了一種能夠自動識別有改變圖像的處理技術，但對遙感數據的結構化較為困難；Menefee 等[8]提出一種可以把通過小波變換獲取的信息集成到神經網絡分類器的方法，但對實際大尺寸高分辨率數據而言，計算量過大，對硬件設備要求過高。

本文研究內容為異構數據融合與廣域視野下的小型感興趣區域態勢識別，搭建基于Faster-RCNN 的改進多層卷積神經網絡，對海量異構遙感數據進行快速篩選及目標檢測，為戰場環境感知提供更加智能的數據服務。 將不同載荷獲取的遙感圖像數據分別輸入通道特征提取層進行提取，在相同時域下使用Brovey 融合算法與G-S 融合算法相結合的圖像融合方法進行同區域異構數據的融合，將融合數據輸入反饋層與重構層，最終輸出3 種波段數據及融合數據的特征；在廣域視野中，搭建基于Softmax 分類器的區域建議網絡(Region Proposal Network， RPN)，對篩選結果進行判別，并將錯誤數據集重新標注后，運用原神經網絡對其進行遷移學習特征訓練，完成特征庫的更新，為海量異構遙感數據快速篩選和智能技術提供堅實的基礎。

2 海量異構遙感信息預處理

2.1 多源異構數據組織模型

針對廣域下海陸空環境中的目標物識別的研究需求，對多源異構數據的側重也不同。 遙感信息數據具有高分辨率、多譜段、多源等特點。 根據實驗數據來源，源數據波段主要包括海岸波段(Coastal)、藍光波段(Blue)、紅光波段(Red)、短波紅外1 波段(SWIR1)、 短波紅外2 波段(SWIR2)和全色波段(Pan)，表1 所示為不同波段數據的波長范圍、空間分辨率及主要用途。

表1 不同波段數據的波長范圍、空間分辨率及主要用途Table 1 Wavelength range， spatial resolution and main use of different band data

圖1 圖像金字塔示意圖Fig.1 Schematics of image pyramid

圖像金字塔通過迭代的方式進行計算，在第一次迭代之前，把金字塔形式描繪的圖像放在原始層級J層，迭代方式流程如圖2 所示。

圖2 圖像金字塔迭代方式流程Fig.2 Iterative process of image pyramid

采用希爾伯特曲線對每層數據分塊編碼和管理，可提高數據分塊的檢索效率。 圖3 所示為希爾伯特曲線4 種鄰接屬性，分別以0 到3 標號，它們適用于每個象限及各個子象限、子子象限等。圖4 所示為三階希爾伯特曲線示意圖，以圖中坐標為(2，5)的29 號舉例，第一層級采用0 號鄰接屬性，該點所在象限為1，對應(2>1，5>1)，則對應二進制01；第二層級采用1 號鄰接屬性，該點所在象限為3，對應(2<3，5>3)，則對應二進制11；第三層級采用2 號鄰接屬性，該點所在象限為3，對應(2<3，5>3)，則對應二進制01。 把以上位置連接起來，得到二進制011101，即十進制的29。

圖3 希爾伯特曲線4 種臨連屬性Fig.3 Four immediate attributes of Hilbert Curve

圖4 三階希爾伯特曲線示意圖Fig.4 Schematic diagram of Third-Order Hilbert Curve

2.2 遙感仿真數據構建

遙感仿真數據的構建是對于現有真實數據集的補充，由于提供訓練數據集較小，而構建深度學習所需訓練集、測試集需求量大，針對這一問題進行數據仿真，實現對海量數據進行快速篩選的需求，解決并校核面對該需求所產生的一系列程序問題。

高分三號衛星是中國第一顆分辨率達到1 m的C 頻段多極化合成孔徑雷達(Synthetic Aperture Radar，SAR)衛星，具備大面積、全天候、全天時的對全球陸地及海洋進行監測與遙感監視的性能，可實現12 種成像模式下1～500 m 分辨率的遙感數據獲取。 本文仿真構建圖片均選自高分三號衛星監測數據集，該仿真數據集是模擬遙感廣域視野下微小目標物的捕獲圖像，圖5 所示為陸地和海洋的遙感圖片。 對遙感數據集進行初步篩選，利用Matlab、Photoshop 等軟件對背景以及目標物圖片分別進行灰度化、尺寸化、格式化等預處理，目標物圖片的處理需根據對應背景的分辨率以及灰度值等做出相應調節。 圖6 所示為仿真目標物，當飛機作為目標物時，以身長約為25 m，機翼約為25 m 的小型客機為仿真對象；當軍艦作為目標物時，以艦長約為300 m 的航母作為仿真對象。

圖5 仿真數據背景圖Fig.5 Background map of simulation data

圖6 仿真數據目標物圖Fig.6 Object chart of simulation data

將背景與目標物結合進行運動仿真并逐幀保存結果。 仿真構建基于Matlab 軟件，利用差分法實現圖片融合，主要運用絕對差值函數對圖像部分提取后的灰度值數字矩陣進行相減，取絕對值，并將處理后的灰度數字矩陣與背景圖片所對應部分的數字矩陣進行替換，得到其與目標物圖片融合后的仿真圖片，如圖7 所示。 以上述方法循環操作，通過對背景圖片灰度值矩陣提取及替換位置的變化而達到目標物運動的仿真實驗目的，再將每一位置變化后產生的融合仿真圖片一一保存。

圖7 遙感仿真數據結果Fig.7 Simulation results of remote sensing data

2.3 多源異構數據去噪

由于數據在獲取和傳輸過程中的不確定性，后續特征提取及融合結果會受到各種干擾和影響，進而導致目標物識別精度降低。 數據去噪為抑制數據噪聲、改善數據質量以及后續更高層次的處理提供了強有力的保障。

常見噪聲類型有高斯噪聲、泊松噪聲以及脈沖噪聲等。 高斯噪聲通常由于傳感器工作時環境光線不夠或傳感器工作溫度過高而導致的亮度不均勻；脈沖噪聲又稱椒鹽噪聲，通常在傳感器成像、向工作站傳輸或數據解碼階段會產生點狀黑白噪點；泊松噪聲是符合泊松分布的噪聲模型，由于光子的不確定性，使得到達光電檢測器表面的量子數目存在統計漲落而導致灰度波動。

綜上，數據在各個階段都有引入噪聲的可能。數據去噪的方法主要有2 種:①空間域去噪，主要包括均值濾波、中值濾波和低通濾波；②變換域零去噪，主要包括小波變換、傅里葉變換等。 根據任務需要，對比仿真數據，由于在實際應用中的真實數據為非平穩信號，因此選擇短時傅立葉變換(Short-Time Fourier Transform，STFT)進行數據去噪。 STFT 可以把非平穩信號分解為一系列的短時隨機平穩信號的疊加，通過使用窗口函數g(u)與原來的信號f(t)做積，實現了在窗口寬度值為u處的附近加窗和平移功能，然后對u值處進行傅里葉變換，如式(1)所示:

式中，g(t－u)為窗口函數，f(t) 為數據的原始信號，u為窗口寬度，ε為進行變換的頻率。 然后對得到的函數進行傅里葉逆變換，如式(2)所示:

對原始數據進行去噪處理，對比不同去噪方式，圖8～10 所示分別為不同算子下高斯去噪效果、常見低通濾波去噪效果和不同窗口大小下STFT 去噪效果對比。 選取數據去噪最優化結果，對圖示數據而言，STFT 去噪方式較為理想。 針對不同需求可選取不同窗口大小的STFT 去噪方式，利用類似2.1 節的圖像金字塔技術，可大大提高圖片檢索效率。

圖8 不同算子下高斯去噪效果Fig.8 Gauss de-noising effect under different operators

圖9 常見低通濾波去噪效果Fig.9 Noise removal by common low-pass filtering

圖10 不同窗口大小下STFT 去噪效果對比Fig.10 Comparison of STFT denoising effects under different window sizes

2.4 多源異構數據特征增強

為加強數據的特征，提升識別效率，進行數據特征增強，特征增強主要有空間域的增強和頻率域的增強，空間域內的特征增強主要是直接對數據中各像素點進行處理，頻率域內的特征增強主要是對數據進行變換后的頻譜成分進行處理，在通過逆變換得到增強后的結果，具體分類如圖11所示。

圖11 數據特征增強分類Fig.11 Enhancement classification of data features

根據實驗數據特征，選取直方圖均衡化變換對數據特征進行增強。 數據灰度統計直方圖是一個表達函數，表示了每幅圖像的灰度等級與這個灰度等級的出現頻率。 數據的直方圖反映數據的外觀。 其中偏暗像素點直方圖組成的部分集中于灰度較低一側；偏亮像素點直方圖組成的部分集中于灰度較高一側；低對比度數據直方圖跨度窄且大多都聚集在灰度級的中間區域；高對比度數據直方圖范圍大且分布均勻。這樣可以把灰度級的分布拉開，使灰度級層次明顯、分布合理，增加了數據的對比度，使數據更清晰。 直方圖均衡化是在尋求一種灰度等級變換的關系，能夠實現變換后，數據的各級灰度出現概率一致或接近。 經過嚴密的數學理論推導，得出當累積分布函數作為變換函數時，可以得到灰度級分布均勻的數據。

多源異構數據特征增強采用直方圖均衡化方法，本文分別采用adapthisteq及histeq函數進行變換，選取效果更好的數據進行后續更高層次的操作，圖12、13 所示為2 種函數的增強結果，針對不同目標區域進行更優化選擇。

圖12 Adapthisteq 函數變換特征增強對比Fig.12 Enhanced contrast of adapthisteq function transformation features

圖13 Histeq 函數特征增強對比Fig.13 Enhancement contrast of histeq function featurest

歸一化處理包括灰度值歸一及固定同時域及區域數據的寬高比固定，圖14 為歸一化灰度值后的數據對比。

圖14 灰度值歸一化Fig.14 Normalization of gray value

3 深度學習框架搭建

本文搭建TensorFlow 深度學習框架訓練，如圖15、16 所示，分別為遙感仿真數據及對應的深度學習框架模型示意圖。 給定像素點，第一隱藏層通過比較相鄰像素的亮度來識別邊緣，第二隱藏層搜索可識別為角和擴展輪廓的邊集合，第三隱藏層可以找到輪廓和角的特定集合來檢測特定目標物的整個部分，最后根據圖像描述中包含的目標物部分，可以準確篩選出數據中存在的對象。

圖15 遙感仿真數據Fig.15 Simulation data of remote sensing

圖16 數據深度學習模型示意圖Fig.16 Schematic diagram of in-depth data learning model

搭建基于Faster-RCNN 的改進多層卷積神經網絡結構，設置多層卷積層和池化層，均衡正負候選窗口比例。 理想狀態下，區域生成網絡(Region Proposal Network，RPN)正負候選窗口的比例是1 ∶1，但在遙感數據訓練的實際情況中，由于通常在訓練中選取的樣本數較大，這個比例極易失常，正候選窗口數量少會導致漏檢率較高。 本文在對正負候選窗口的比例進行限制限制，設置負樣本數量不得超過正樣本的1.3 倍，發現建議區域的召回率可以提高3.8%。 除此之外，本文在多層卷積神經網絡中引入了級聯RPN，設置2 個標準的RPN，第一個RPN 用滑窗得到的建議區域作為候選窗口，第二個RPN 用第一個RPN 輸出的Proposal 作為新的候選窗口位置，圖17 所示為改進部分的具體網絡結構。

圖17 改進部分多層卷積神經網絡結構Fig.17 Improved structure of partial multilayer CNN

圖18 為后續數據識別流程，在完成上述處理后，繼續進行訓練學習，識別出基于Softmax 分類器的區域建議網絡結果。 由于對目標物準確度要求極高，操作者需要目視選定ROI，并對輸出結果進行準確性判定和完成后續控制指令操作。

圖18 后續數據識別流程Fig.18 Flow chart of the follow-up data identification

如圖19 所示為6×6 原始數據單通道數據卷積過程，濾波器在數據上滑動，對應位置相乘求和，卷積先將濾波器翻轉，使用變換后的濾波器進行運算，圖中位于(2，2)的原始像素點3 處在經過3×3 的卷積核卷積后，得到輸出像素點為2。

圖19 單通道數據卷積過程Fig.19 Convolution process of single channel data

假定圖像為6×6×3 的三通道特征數據輸入神經網絡，多通道卷積過程如圖20 所示，通道數為3，卷積核為兩個3×3×3 的滑動窗口，自左向右、自上向下三通道對應位置相乘求和，輸出結果為4×4×2 的特征數據。 一般地，當輸入數據為a×b×n時，每個卷積核為m×m×n，輸出全連接層的數據與卷積核數n相等。

圖20 多通道數據卷積過程Fig.20 Convolution process of multi-channel data

圖21 所示為三通道特征提取流程圖。 首先，用3 層特征提取層分別提取3 種多源異構數據的特征；其次，提取特征后的數據輸入至反饋層，反饋層由縱橫交叉注意模塊(Criss-Cross Net，CCN)和深度反饋模塊(Deep Feature Net，DFN)組成，縱橫交叉注意模塊可以極大節省特征提取的時間，快速得到目標物臨近像素點的特征；深度反饋模塊包含反饋交互模塊(Deep Feedback Interaction Module)和特征交互模塊(Feature Interaction Module)。 重構層通過依次反卷積操作和卷積操作，對經過反饋層后輸入的特征信息進行重構，使其得到更好的特征表征能力；完成重構層操作后，將特征信息輸入全連接層。

圖21 三通道特征提取流程圖Fig.21 Flow chart of three channel feature extraction

4 多源異構數據融合

同一時域和區域下的多源異構數據存在信息冗余。 通過數據融合生成的特征相互補充，集成到一個融合數據中，可以實現對同場景下更精確、全面、可靠的特征描述。 本文針對不同遙感平臺獲取的異構遙感圖像，主要包括紅外光、可見光和灰度圖，提出了Brovey 融合算法與G-S 融合算法相結合的圖像融合方法，該方法從源圖像中將目標或感興趣區域的特征信息提取出來，進行分析、處理與整合，從而得到融合后的圖像數據特征。對融合后的特征進行目標識別，其精確度明顯高于原始圖像的精確度。 特征級融合對圖像信息進行了壓縮，再用計算機分析與處理，所消耗的內存與時間與數據級相比都會減少，所需圖像的實時性就會有所提高。

本文采用的融合方法步驟如下:首先，抽選出一個低分辨率中的全色波段；其次，對抽選出的全色波段與多波段進行G-S 變換，其中全色波段被作為0 波段；然后，將源數據中的每個波段都乘以高分辨率數據與RGB 圖像波段總和的比值，得到1 波段；接著，用1 波段替換G-S 變換后的0 波段；最后應用G-S 反變換得到融合圖像。 圖22、23 分別為融合前的源數據和完成融合后的數據。

圖22 融合前數據Fig.22 Pre-Fusion data

圖23 融合后數據Fig.23 Fused data

5 實驗結果

本實驗以大量仿真實驗數據訓練為基礎，首先將仿真數據集放入網絡進行訓練，根據數據分布相似性特征，用訓練后網絡對真實數據集進行遷移訓練，以達到目標快速篩選檢測目的，相似數據集也可達到同樣訓練效果，因此可用于對后續數據特征庫的更新。

本文訓練使用的數據集為連續多幀的點目標遙感數據，將完成第2 節預處理操作的數據集輸入搭建好的多層卷積神經網絡中。 將數據的40%作為訓練集、30%作為測試集、30%作為驗證集，對數據庫內的數據使用LabelImg 工具進行手動標注，將目標物標簽化處理。 圖24、25 為2 類目標物標簽標注，標簽分別為fighter1 和missile1。

圖24 陸地目標物框選標注Fig.24 Selection and marking of terrestrial target frames

圖25 海面目標物框選標注Fig.25 Selection and marking of sea target frames

將數據集進行小規模的迭代訓練，結果如圖26 所示，訓練數據為600 張，迭代次數為200 次時，訓練時間約為6 min，精度及損失在估計范圍內。

圖26 迭代訓練結果Fig.26 Results of iterative training

6 結論

1)在異構數據融合方面，對數據分別輸入對應的單通道特征提取層進行提取，在相同時域下使用Brovey 融合算法與G-S 融合算法相結合的圖像融合方法進行同區域異構數據的融合，將融合數據輸入反饋層與重構層，最終輸出3 種波段數據及融合數據的特征；

2)廣域視野下的小型感興趣區域態勢識別方面，引入了2 個基于Softmax 分類器的區域構建網絡，操作者在一系列候選區域中，判別含有小型目標物的感興趣區域；

3)為保證操作準確度，使用深度學習框架對海量異構數據進行快速篩選，操作者對分類識別得到的目標物進行準確性分析，并將干擾目標物的特征進行重新標注后，在原神經網絡上進行遷移訓練，達到更新異構數據特征庫的目的。