聯合多流融合和多尺度學習的卷積神經網絡遙感圖像融合方法

雷大江 杜加浩 張莉萍 李偉生

①(重慶郵電大學計算機科學與技術學院 重慶 400065)

②(重慶市圖像認知重點實驗室 重慶 400065)

1 引言

由于遙感系統受到光學衍射和調制傳遞函數以及信噪比的限制[1]，目前大部分對地觀測衛星，如Quickbird， IKONOS， WorldView-3等無法直接提供在空間與光譜維度上獲得高分辨率的遙感圖像，僅能提供低分辨率的多光譜圖像(Low Resolution Multi-Spectral image， LRMS)和高分辨率的全色圖像(PANchromatic image， PAN)。因此，將LRMS圖像和對應的PAN圖像融合的遙感圖像融合(pan-sharpening)技術廣泛應用于遙感領域以產生高分辨率的多光譜圖像(High Resolution Multi-Spectral image， HRMS)。

現有的遙感圖像融合方法大致可分為5類：(1)分量替換(Component Substitution， CS)；(2)多分辨率分析(Multi-Resolution Analysis， MRA)；(3)混合算法；(4)基于模型的遙感圖像融合方法；(5)基于深度學習的遙感圖像融合方法?；诜至刻鎿Q的方法簡單高效，在遙感領域中使用最為廣泛，比較經典的算法有廣義IHS(Generalized Intensity Hue Saturation， GIHS)變換[2]，主成分分析(Principal Component Analysis， PCA)[3]以及各種變形[4]，其中基于光譜頻帶之間聯系的分量替換(Band-Dependent Spatial-Detail， BDSD)[5]算法目前融合效果較為優異。該類方法能夠有效地增強空間細節信息，但是卻容易造成光譜失真?；诙喾直媛史治龅姆椒ㄔ诓煌叨?、不同分解層面對不同空間分辨率的圖像分別處理后再進行融合，能夠在一定程度上解決成分替換方法光譜失真問題，遺憾的是在融合過程會丟失部分空間結構信息，主要分為基于拉普拉斯金字塔的融合方法[6]以及基于小波變換的融合方法[7—9]?；旌纤惴ㄍㄟ^結合多種算法的優點以提升融合圖像的效果，如聯合廣義拉普拉斯金字塔分解和Gram-Schmidt變換提出的方法GLP_CBD(MTF-tailored multiscale fusion of high-resolution MS and Pan imagery)[10]?；谀Ｐ偷倪b感圖像融合方法包括貝葉斯模型、稀疏表示以及變分模型，該類算法通過構造PAN圖像和LRMS圖像的退化模型以復原高分辨率的多光譜圖像，如Chen等人[11]基于局部光譜一致性與動態梯度稀疏提出的變分模型方法。這類方法難點在于求解模型時算法的迭代次數以及超參數難以確定[12]。近年來，基于深度學習的遙感圖像融合方法興起，并因其卓越表現被人們廣泛認可，例如將高通濾波處理后的LRMS與PAN圖像輸入殘差網絡，然后將網絡輸出與上采樣LRMS圖像數值相加以獲得融合結果的遙感融合方法(Deep Network Architecture for Pan-sharpening， PanNet)[13]，將水源、植物等非線性輻射指數添加到輸入并使用L1損失函數的卷積神經網絡(Target-Adaptive CNN-Based Pansharpening， PNN)[14]，提取PAN圖像多尺度特征的密集深度學習方法(Multi-scale Densely Deep Learning method for pan-sharpening， MDDL)[15]，基于生成對抗網絡的遙感圖像融合方法(Generative Adversarial Network for remote sensing image Pan-Sharpening， PSGAN)[16]以及基于多流融合生成對抗網絡的遙感圖像融合方法[17]。

目前基于深度學習的遙感圖像融合方法存在兩個問題：一是普遍忽略了MS上采樣的重要性，直接使用上采樣后的MS圖像而不是利用深度學習強大的特征提取能力直接將原始MS圖像作為輸入；二是不同尺度下可以觀察到不同的特征，而現有方法并沒有將網絡不同深度的特征利用起來。為此，本文提出一種聯合多流融合和多尺度學習的卷積神經網絡遙感圖像融合方法：算法首先使用梯度算子提取PAN圖像的結構信息，使得PAN圖像的關鍵結構信息以稀疏形式表現，并使用卷積網絡處理PAN圖像補充其他細節信息。同時，構建頻譜特征提取子網提取LRMS圖像的光譜信息。然后通過分析U-Net[18]、ResNet[19]以及DenseNet[20]網絡結構，受多尺度特征融合思想啟發開發具有多流融合架構的金字塔模塊，金字塔模塊可以實現多尺度學習，隨著規模的增加，能夠增大空間感受野。最后，構建空間光譜預測子網，使用跳層連接結構并聯網絡低深層特征，得到融合后的多光譜圖像。實驗結果表明本文算法能夠有效提升融合后MS圖像的質量，在主觀目視檢驗和客觀指標評價上相較于其他遙感圖像融合方法都有所提升。

2 算法

2.1 網絡架構

[A;B;C]表示將3個張量在通道層上使用Concat函數拼接在一起形成的張量。根據以上分析，本文提出一種聯合多流融合和多尺度學習的卷積神經網絡遙感圖像融合框架，如圖1所示，使用梯度算子和卷積核提取PAN圖像的結構信息，同時構建頻譜特征提取子網提取LRMS圖像的光譜信息，將提取特征作為由多個主干網絡構成的金字塔模塊的輸入，最后，將金字塔模塊輸出、頻譜特征提取子網輸出以及卷積處理后的PAN圖像拼接輸入空間光譜預測子網，得到融合圖像。

在本文，使用L1范數作為模型的損失函數，一般形式為

2.2 頻譜特征提取子網

PAN圖像和LRMS圖像尺寸不一致，在融合過程通常需要上采樣處理LRMS圖像使得其與對應的PAN圖像尺寸一致后再開展后續工作，但圖像上采樣的過程往往會丟失圖像部分信息并引入噪聲，這導致融合圖像質量受到上采樣方法的一定約束。受諸如SRCNN[21]這樣的超分辨率算法的影響，本文構建了頻譜特征提取子網，通過反卷積網絡擴展LRMS圖像尺寸，然后使用兩層卷積核大小1×1的2-D卷積提取圖像的光譜特征。頻譜特征提取子網是一個4層卷積網絡，包含兩層卷積核大小為2×2的2-D轉置卷積和兩層卷積核大小為1×1的2-D卷積，具體如圖2所示。

圖2 頻譜特征提取子網

2.3 金字塔模塊

金字塔模塊由多個骨干網絡組成，形狀類似金字塔通過交替改變模型架構的規模，金字塔模塊具有可調整的空間感受野。如圖1所示，具有3個不同規模的網絡，分別由Scale_1， Scale_2， Scale_3表示。規模的增加使得網絡加深，從而創建更大的感受野。該模塊能夠有效進行空間信息與光譜信息融合，可表示為

圖1 聯合多流融合和多尺度學習的卷積神經網絡遙感圖像融合框架

2.4 空間光譜預測子網

空間光譜預測子網由一個卷積核大小為3×3的卷積神經層和兩個卷積核為1×1的卷積神經層構成，使用LeakyReLU作為激活函數，每層網絡輸出的通道數都與LRMS圖像一致。網絡將頻譜特征提取子網輸出和卷積處理后的PAN圖像通過跳層連接的操作[18]與金子塔模塊輸出拼接，最后通過空間光譜預測子網可實現網絡低層語義和高層語義的整合，提高融合圖像的質量。

3 實驗

3.1 實驗設置

在本節，為驗證本文所提算法的優越性，選取具有代表性的WorldView-3衛星圖像數據集分別進行仿真數據實驗和真實數據實驗，并與其他遙感圖像融合算法作對比。WorldView-3衛星獲取的多光譜圖像包括藍色、綠色、紅色、海岸帶、黃色、紅邊和兩組近紅外光譜在內的8個波段，分辨率為1.24 m，全色圖像分辨率為0.31 m。為驗證本文所提算法的網絡模型各個組成模塊對最終融合結果的貢獻，在仿真數據集上進行了消融實驗。

在接下來的仿真實驗與真實數據實驗中，本文所提算法將與包括BDSD， GLP_CBD， PNN，PanNet， MDDL， PSGAN在內的6種算法進行比較。每種算法均按照參考文獻中作者推薦的參數，使其取得最佳效果。所有基于深度學習的遙感圖像融合方法都是在具有Intel Xeon Gold 6148 CPU 2.40 GHz 和NVIDIA Tesla V100-SXM2-16 GB的GPU服務器上完成的。本文算法基于Pytorch深度學習框架實現，使用Adam算法作為損失函數的優化求解器，批量大小設置為16，學習率設為0.001。訓練時間大概6 h，每次測試融合生成3072×3072的遙感圖像花費時間在1.2～1.8 s。

3.2 仿真實驗

圖3 構成金字塔模塊的骨干網絡

在仿真實驗中，本文依據Wald協定[23]將獲取到的LRMS圖像作為參考的HRMS圖像，并使用MTF內核平滑LRMS和PAN圖像使之匹配傳感器屬性，將平滑后的圖像進行4倍下采樣，模擬PAN圖像與LRMS圖像。本文使用來自WorldView-3衛星的圖像構建對應衛星數據集，其中81920組HRMS/PAN/LRMS圖像作為訓練集，1536組HRMS/PAN/LRMS圖像作為測試集，HRMS和PAN圖像大小為64×64，LRMS圖像大小為16×16。在主觀評價上，首先采用目視檢驗的方法對融合圖像在可見光譜上的多光譜圖像進行主觀視覺判斷，包括每種方法的融合圖像和融合圖像與真實圖像對比的殘差圖。在客觀評價上，采用有參考圖像評價指標綜合測定實驗結果，具體為：光譜角度映射(Spectral Angle Mapper，SAM)[24]，相對整體維數綜合誤差(Erreur Relative Global Adimensionnelle de Synthèse，ERGAS)[25]，廣義圖像質量指標(UIQI)向n波段擴展(Qn)[26]，空間相關系數(Spatial Correlation Coefficient，SCC)[27]。所有需要將多光譜圖像上采樣的算法融合時均采用雙三次樣條插值算法。由于篇幅限制，僅展示一組World-View-3融合結果，如圖4與圖5所示。

如圖4所示為基于WorldView-3衛星數據集的仿真實驗融合結果，其中LRMS和HRMS圖像分別對應圖4(a)和圖4(f)，PAN圖像對應圖4(b)，其余圖像分別為各算法的融合結果。其中LRMS圖像大小為128×128，余下所有圖像大小為512×512。從圖4可明顯看出基于深度學習的5種方法在空間結構信息的保持上更加優秀，在道路、水面以及車輛等光譜信息保持更完好。BDSD方法在水域存在光譜扭曲，色彩較深區域如屋頂、車身等色彩更加暗沉。GLP_CBD方法則在車輛等較小物體上存在一定程度的光譜失真，但在屋頂、水面和土壤等光譜信息保持較好。圖5是圖4中各方法融合結果和真實圖像對比的殘差圖，理論上紋理越少，算法的融合效果更好?？梢悦黠@看出，本文算法的殘差圖像紋理最少，這表明本文算法在仿真實驗中得到的融合結果最佳。更多的對比將用客觀指標在下文展示。

圖4 基于WorldView-3衛星數據集的仿真實驗融合結果

圖5 圖4中各方法與真實圖像對比的殘差圖

3.3 真實數據實驗

真實數據實驗則是直接在原始數據集的尺寸上使用仿真實驗訓練好的模型進行融合。在本節，由于真實數據實驗的融合圖像分辨率較高，在主觀視覺方面，為充分展示融合效果，本文只展示基于深度學習的5種遙感圖像融合方法在WorldView-3數據集上的融合圖像，并將其部分細節區域放大展示出來。在客觀評價上，使用無參考質量評價指標(Quality with No Reference index， QNR)[28]，QNR中包含了評價光譜細節損失的指標Dλ和評價空間細節損失的指標Ds。

基于WorldView-3衛星數據集的真實數據實驗融合結果如圖6所示，其中LRMS圖像大小為128×256，其他展示圖像大小均為512×1024。LRMS圖像與PAN圖像分別對應于圖6(a)和圖6(b)，圖6(c)—圖6(g)分別展示了基于深度學習的5種算法在真實數據實驗中的測試結果。為了便于觀察，圖7給出了圖6中大小為256×256的區域放大展示。從圖6和圖7可以看出本文算法光譜失真的程度更輕微，保持的空間結構更加完整。

圖6 基于WorldView-3衛星數據集的真實數據實驗融合結果

圖7 基于WorldView-3衛星數據集的真實數據實驗融合結果關鍵局部區域

基于WorldView-3衛星數據集的仿真實驗融合結果有參考圖像指標評價如表1所示，從表可得，BDSD和GLP_CBD方法在各項指標上相較基于深度學習的方法表現不佳，PNN在評價光譜信息的SAM和ERGAS指標上相比其他基于深度學習的方法有所欠缺，本文算法在各項指標上取得最優，與展示圖像表現一致?；赪orldView-3衛星數據集的真實數據實驗指標評價如表2所示，可以看到本文算法在空間信息保真以及光譜信息保真上做得比較均衡，從而在綜合圖像質量QNR指標上表現最為優異。結合仿真實驗和真實數據實驗各方面指標，可以得出本文提出的創新點對遙感圖像融合具備積極的作用。

表1 基于WorldView-3衛星的仿真實驗融合結果評價

表2 基于WorldView-3衛星的真實數據實驗融合結果評價

3.4 消融實驗

為檢測本文所提算法各組成部分在整個遙感圖像融合過程中起到的作用，本節使用基于World-View-3衛星的仿真數據集進行消融實驗，進行定性定量分析。

基于WorldView-3衛星仿真數據集的消融實驗結果如表3所示，可以看出金字塔模塊對光譜信息保真和空間信息保真均起到正向作用，缺少金字塔模塊的本文算法在各項指標評價上都與本文算法保持了較大的差距；空間光譜預測子網則在光譜信息保真上起到的作用相較于其他模塊不是很大，但在空間結構信息保真方面起到的作用最好，缺少空間光譜預測子網的本文算法在除光譜映射角SAM指標外其他各項指標都遠遠不如本文算法；頻譜特征提取子網僅對光譜信息保真貢獻大，缺少頻譜特征提取子網的本文算法在光譜映射角SAM指標相較于本文算法相差較大；將頻譜特征提取子網上采樣部分去除，使用雙三次插值算法上采樣LRMS圖像輸入的本文算法各項指標均相較本文算法更差。由此得出各模塊對遙感圖像融合都具有積極的作用，是所提算法不可或缺的一部分。

表3 基于WorldView-3衛星仿真數據集的消融實驗融合結果評價

4 結束語

本文提出了一種聯合多流融合和多尺度學習的卷積神經網絡遙感圖像融合方法，基于多尺度特征融合思想，通過分析殘差網絡、密集連接網絡結構開發了具有多流融合架構的金字塔模塊，將梯度算子和卷積核提取的全色圖像空間結構信息分別與構建的頻譜特征提取子網提取的光譜信息拼接輸入金字塔模塊，最后構建空間光譜預測子網整合金字塔模塊輸出的高級特征與網絡前端頻譜特征子網輸出、卷積處理后的PAN圖像的低級特征，獲得融合后的MS圖像。實驗結果表明，本文所提算法對比大多遙感圖像融合算法，在充分提高空間分辨率的同時引起的光譜畸變更加輕微。同時，消融實驗證明采用卷積神經網絡自適應地提取原始MS圖像的光譜信息對融合圖像質量的提高更加有效。本文算法采用串行多分支的多尺度特征網絡結構用于遙感圖像融合，實驗結果證明多尺度特征模型能夠充分提高遙感圖像融合算法生成圖像的空間結構信息保持能力。理論上，可以使用諸如拉普拉斯算子等圖像輪廓特征提取方法提取全色圖像更豐富的邊緣結構信息，擴展金字塔塔基，提高融合后MS圖像的質量。但不足的是，隨著結構信息的豐富可能導致光譜信息畸變現象的增加，未來結合變分算法對損失函數加以改造，權衡光譜信息和空間結構信息，可能對融合后的MS圖像質量會有更大的提高。