基于高頻引導(dǎo)網(wǎng)絡(luò)的遙感圖像融合方法

李佳旭, 石陸魁, 張 軍

（河北工業(yè)大學(xué)人工智能與數(shù)據(jù)科學(xué)學(xué)院,天津 300401）

0 引言

遙感衛(wèi)星受到物理因素和經(jīng)濟(jì)成本的限制通常無法直接產(chǎn)生同時具有高空間分辨率和高光譜分辨率的遙感圖像，僅能產(chǎn)生同一場景下的高空間分辨率全色圖像和低空間分辨率多光譜圖像[1-2]。例如，IKONOS和QuickBird等衛(wèi)星提供同一場景下的單波段高空間分辨率全色圖像和4波段低空間分辨率多光譜圖像。高光譜分辨率遙感圖像可以提高地物分類的準(zhǔn)確度；高空間分辨率遙感圖像具有更清晰的地表紋理，可以提升目標(biāo)檢測[3-4]和變化檢測[5-6]等任務(wù)的性能。遙感圖像空譜融合通過使用全色圖像中的空間信息來恢復(fù)低空間分辨率多光譜圖像的高頻空間紋理從而生成高空間分辨率多光譜圖像。

傳統(tǒng)的遙感圖像空譜融合方法包括成分替換法、多分辨分析法、稀疏表示法和基于模型優(yōu)化的方法[7]等，其中較為常用的方法是成分替換法和多分辨分析法。成分替換法有Brovey變換、主成分分析法、亮度—色度—飽和度變換法（Intensity-Hue-Saturation，IHS）和施密特正交化方法等。成分替換法首先通過對多光譜圖像進(jìn)行空間域變換后將光譜信息和空間信息存儲在不同的組件中，然后將校正后的全色圖像替換包含空間信息的組件，最后逆變換為圖像域得到高空間分辨率多光譜圖像。多分辨分析法有MTF-GLP[8]（generalized laplacian pyramid with MTF-matched filter） 和SFIM[9]（smoothing filter-based intensity mod-ulation）等。多分辨分析法一般分為3個步驟，首先利用金字塔變換或小波變換將源圖像分解，然后對源圖像的各個層次進(jìn)行融合，最后進(jìn)行逆變換得到融合圖像。然而，成分替換法容易造成光譜失真，多分辨分析法可能產(chǎn)生空間畸變。近年來，深度學(xué)習(xí)方法由于其強(qiáng)大的非線性表征能力被應(yīng)用于遙感圖像融合領(lǐng)域[10]。

基于深度學(xué)習(xí)的空譜融合方法是將全色圖像中的空間信息和多光譜圖像中的光譜信息相融合，然后利用融合后的信息重構(gòu)出高空間分辨率多光譜圖像。根據(jù)光譜信息和空間信息融合方式不同分為圖像堆疊融合、特征拼接融合和結(jié)構(gòu)注入融合方法。在最常見的圖像堆疊融合方法中，信息融合的實(shí)現(xiàn)方式是將全色圖像和上采樣的多光譜圖像堆疊后作為模型的輸入。Masi等[11]首先提出了基于卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像空譜融合方法。隨著殘差學(xué)習(xí)[12]被引入到空譜融合任務(wù)中，又提出了具有更強(qiáng)表征能力的深層神經(jīng)網(wǎng)絡(luò)[13-15]。Yuan等[16]引入多尺度特征提取獲得了豐富的空間特征，提升了模型的魯棒性。Lei等[17]利用多光譜圖像內(nèi)部對象之間的相似性，設(shè)計了非局部注意力模塊。特征拼接融合方法分別提取全色圖像特征和多光譜圖像特征，然后通過融合后的特征重構(gòu)出高空間分辨率多光譜圖像[18]。Liu等[19]在特征融合前添加卷積層到重構(gòu)分支的跳躍連接，從而保留了更多的空間細(xì)節(jié)。結(jié)構(gòu)注入融合方法借鑒了傳統(tǒng)的多分辨分析法，將卷積神經(jīng)網(wǎng)絡(luò)從全色圖像中提取的高頻空間紋理注入到上采樣后的低空間分辨率多光譜圖像中，生成了高空間分辨率多光譜圖像[20]。

基于深度學(xué)習(xí)的方法雖然取得了較有競爭力的研究結(jié)果，但仍然存在一些問題。多光譜圖像包含藍(lán)、綠、紅和近紅外4個波段，然而全色圖像是單波段，但全色圖像單個波段的范圍近似覆蓋了多光譜圖像4個波段范圍之和，因此，全色圖像的高頻空間紋理是多光譜圖像4個波段的高頻空間紋理的并集。圖像堆疊融合、特征拼接融合和結(jié)構(gòu)注入融合方法利用全色圖像恢復(fù)多光譜圖像每個波段的高頻紋理，為每個波段注入了全色圖像高頻信息，最終獲得的高空間分辨率多光譜圖像，但其每個波段融入了其它波段的高頻空間紋理造成了一定的光譜失真。

本文針對以上問題提出了高頻引導(dǎo)網(wǎng)絡(luò)，采用引導(dǎo)恢復(fù)融合方式，在恢復(fù)低空間分辨率多光譜圖像各個波段的高頻信息時不會引入多余的空間紋理。高頻引導(dǎo)網(wǎng)絡(luò)包含空間信息提取分支、光譜信息提取分支和引導(dǎo)恢復(fù)融合模塊。空間信息提取分支從全色圖像中提取出豐富的空間引導(dǎo)信息。光譜信息提取分支從低空間分辨率多光譜圖像中提取出光譜信息。引導(dǎo)恢復(fù)融合模塊利用提取的光譜信息生成多個初步結(jié)果，然后利用提取的空間引導(dǎo)信息對多個初步結(jié)果進(jìn)行像素級別的加權(quán)融合，獲得光譜保真邊緣紋理更加清晰的多光譜圖像。

本文的貢獻(xiàn)可以總結(jié)如下：

1） 提出了高頻引導(dǎo)網(wǎng)絡(luò)，包含空間信息提取分支、光譜信息提取分支和引導(dǎo)恢復(fù)融合模塊。

2） 提出了引導(dǎo)恢復(fù)融合方式，為多光譜圖像每個波段恢復(fù)出高頻空間紋理，同時不會引入多余的高頻信息而造成光譜失真。

1 方法

1.1 整體架構(gòu)

本文提出的高頻引導(dǎo)網(wǎng)絡(luò)（high frequency guidance network，HFGN）由3 個部分組成，分別為空間信息提取分支、光譜信息提取分支和引導(dǎo)恢復(fù)融合模塊，如圖1 所示，網(wǎng)絡(luò)模型輸入為全色圖像（Panchromatic Image，PAN）以及經(jīng)過Bicubic 上采樣的低分辨率多光譜圖像（Up-sampled Low Resolution Multispectral Image，ULRMS），輸出為高空間分辨率多光譜圖像（High Resolution Multispectral Image，HRMS）。空間信息提取分支和光譜信息提取分支分別從全色圖像和上采樣后的低空間分辨率多光譜圖像中提取空間信息和光譜信息。引導(dǎo)恢復(fù)融合模塊利用提取到的2種信息和低空間分辨率多光譜圖像生成高空間分辨率多光譜圖像。

圖1 高頻引導(dǎo)網(wǎng)絡(luò)Fig.1 High frequency guidance network

1.2 空間信息提取分支

如圖1所示，空間信息提取分支為引導(dǎo)恢復(fù)融合模塊從全色圖像中提取空間信息。提取的空間信息既包含全色圖像的細(xì)節(jié)信息，也包含能夠在融合過程中起到引導(dǎo)作用的深層語義信息。因此，本文在空間信息提取分支使用了編解碼結(jié)構(gòu)[21]，其包含編碼階段和解碼階段。在編碼階段，特征圖的大小按指數(shù)形式遞減，通道數(shù)按指數(shù)形式遞增，采用的下采樣方式為步長為2的最大池化層。在解碼階段，每步的輸入是通過雙線性插值方式上采樣后的前一步輸出和編碼階段大小對應(yīng)的特征圖，可以同時利用到深層語義信息和淺層細(xì)節(jié)信息。

為了提取更豐富的空間信息，本文在文獻(xiàn)[21]的基本單步操作上進(jìn)行了改進(jìn)，在其中添加了淺層通路，稱為空間單步操作。基本單步操作和空間單步操作分別如圖2a）和2b）所示。淺層通路由卷積核大小為1卷積層構(gòu)成，并通過相加的方式添加到基本單步操作上。空間單步操作的具體過程如下：

圖2 模塊結(jié)構(gòu)圖Fig.2 Module structures

式中：Ia表示空間信息提取分支每步的輸入；CBR表示卷積核大小為3的卷積操作、批標(biāo)準(zhǔn)化操作和ReLU函數(shù)；CB表示卷積核為3的卷積操作和批標(biāo)準(zhǔn)化操作；Ps表示添加淺層通路；Oa表示每步的輸出。

1.3 光譜信息提取分支

為了從低空間分辨率多光譜圖像中保留更多的光譜信息，光譜信息提取分支也采用編解碼結(jié)構(gòu)。批標(biāo)準(zhǔn)化操作對特征圖的各個通道進(jìn)行歸一化，改變了通道特征的分布[22]，會丟失光譜信息。因此，本文在光譜信息提取分支去掉了所有的批標(biāo)準(zhǔn)化操作，每步操作為光譜單步操作如圖2c）所示，過程如下：

式中：Ie表示光譜信息提取分支每步的輸入；Oe表示每步的輸出。

1.4 引導(dǎo)恢復(fù)融合模塊

全色圖像近似覆蓋了多光譜圖像的波段范圍。因此，高空間分辨率多光譜圖像局部區(qū)域內(nèi)2個像素點(diǎn)的相似度與全色圖像中相同位置2個像素點(diǎn)之間的相似度相近，如下所示：

式中：HRMSi表示高分辨率多光譜圖像上的第i個像素點(diǎn)；表示第i個像素點(diǎn)的鄰域內(nèi)的第j個像素點(diǎn)；表示高空間分辨率多光譜圖像2 個像素點(diǎn)之間的相似度；PANi表示全色圖像的第i個像素點(diǎn)；表示第i個像素點(diǎn)的鄰域內(nèi)的第j個像素點(diǎn)；表示全色圖像2個像素點(diǎn)之間的相似度；g表示鄰域內(nèi)像素點(diǎn)的個數(shù)。

引導(dǎo)恢復(fù)融合模塊首先利用提取的光譜信息來生成多個初步結(jié)果。高空間分辨率多光譜圖像可以選擇合適的初步結(jié)果來恢復(fù)高頻信息。但是，高空間分辨率多光譜圖像是不能由衛(wèi)星直接獲得。全色圖像和高空間分辨率多光譜圖像在空間維度上存在局部相似性，而且遙感衛(wèi)星可以直接產(chǎn)生高空間分辨率全色圖像。所以，引導(dǎo)恢復(fù)融合模塊可以根據(jù)從全色圖像中提取的信息選擇合適的初步結(jié)果。其具體操作：1）卷積核大小為3的卷積層利用提取的光譜信息生成g個初步結(jié)果，鄰域半徑為1，g設(shè)置為9；2）卷積核大小為1的卷積層和通道維度的Softmax 激活函數(shù)通過提取的空間信息來生成熱圖；3）利用熱圖對多個初步結(jié)果加權(quán)求和并加上經(jīng)過上采樣的低空間分辨率多光譜圖像得到高空間分辨率多光譜圖像。過程如下所示：

式中：Fspa和Fspe分別表示提取的空間信息和光譜信息；Wa和We是可學(xué)習(xí)的權(quán)重；hm和ini分別表示熱圖和初步結(jié)果；“☉”表示點(diǎn)乘操作，“*”表示卷積操作。

為了說明引導(dǎo)恢復(fù)融合模塊可以為多光譜圖像各波段恢復(fù)出高頻空間紋理，同時不會引入多余的高頻信息造成光譜失真，在圖3中展示了初步結(jié)果各個波段的方差圖。其中，圖3a）是全色圖像，圖3b）是高空間分辨率多光譜圖像的真彩色顯示，圖3c）是高空間分辨率多光譜圖像的藍(lán)-綠-近紅外3 個波段顯示，圖3d）是熱圖的方差圖，圖3e）～h）分別是初步結(jié)果藍(lán)、綠、紅和近紅外4個波段的方差圖。圖中每個像素點(diǎn)的方差值計算方式如下：

式中：g表示生成的初步結(jié)果；b表示波段；x和y表示像素點(diǎn)的坐標(biāo)；Xbxy表示初步結(jié)果的均值；Sbxy表示其方差值。

圖3d）在對應(yīng)全色圖像高頻區(qū)域的位置顯示都較明亮，說明熱圖在高頻區(qū)域的每個像素點(diǎn)方差值都較大，可以對初步結(jié)果進(jìn)行有效的選擇。通過圖3b）和圖3c）的對比可知，全色圖像右側(cè)區(qū)域的紋理存在于近紅外波段，圖3h）比圖3e）～g）右側(cè)更明亮說明只有近紅外波段右側(cè)區(qū)域生成的初步結(jié)果差異大。對差異大的初步結(jié)果進(jìn)行選擇會恢復(fù)出高頻信息，而對差異小的初步結(jié)果進(jìn)行選擇不會恢復(fù)出高頻空間紋理。因此，引導(dǎo)恢復(fù)融合模塊在右側(cè)區(qū)域只在近紅外波段恢復(fù)出了高頻空間紋理，而沒有在紅、藍(lán)和綠3個波段生成高頻空間紋理造成光譜失真。

圖像堆疊融合方法可以較容易地轉(zhuǎn)為本文提出的引導(dǎo)恢復(fù)融合方法。轉(zhuǎn)變?yōu)橐龑?dǎo)融合方法的具體操作是將原模型代替高頻引導(dǎo)網(wǎng)絡(luò)的光譜信息提取分支，輸入也由原來的多光譜圖像和全色圖像集合變成多光譜圖像。圖像堆疊融合方法中的MSDCNN（multiscale and multi-depth convolutional neural network）取得了相對較好的結(jié)果。因此，本文將MSDCNN由其原來的圖像堆疊融合方式改為引導(dǎo)恢復(fù)融合方式得到了新的網(wǎng)絡(luò)模型，稱為MSDCNN_GF。

2 實(shí)驗

2.1 實(shí)驗設(shè)置

以IKONOS和QuickBird 2個衛(wèi)星數(shù)據(jù)[23]的基礎(chǔ)上進(jìn)行實(shí)驗，IKONOS衛(wèi)星數(shù)據(jù)包含200個多光譜和全色圖像對，多光譜圖像的分辨率是4 m，全色圖像分辨率是1 m。QuickBird衛(wèi)星數(shù)據(jù)包含500個圖像對，多光譜圖像分辨率為2.33 m，全色圖像分辨率為0.61 m。在2個衛(wèi)星數(shù)據(jù)中，多光譜圖像的波段數(shù)都是4，每一張多光譜圖像都有對應(yīng)的全色圖像，全色圖像的大小是1 024×1 024，多光譜圖像的大小是256×256。為了獲取參考圖像，本文根據(jù)Wald協(xié)議[24]處理數(shù)據(jù)，網(wǎng)絡(luò)訓(xùn)練過程中的輸入是下采樣之后的256×256的全色圖像和64×64多光譜圖像，原始的256×256多光譜圖像作為參考圖像。

空間信息提取分支和光譜信息提取分支每步的特征圖形狀相同，特征圖的大小依次是[256，128，64，32，16，32，64，128，256]，通道數(shù)依次是[32，64，128，256，512，256，128，64，32]。因為2個分支都采取編解碼結(jié)構(gòu)，在編碼階段特征圖會變小，所以未對訓(xùn)練樣本進(jìn)行切片來獲得更多的較小樣本。

衛(wèi)星圖像按照7∶1∶2劃分訓(xùn)練、驗證和測試集。實(shí)驗訓(xùn)練輪數(shù)設(shè)置為500，經(jīng)過30輪訓(xùn)練后，模型在驗證集上的誤差沒有減少，則提前停止訓(xùn)練，選取當(dāng)前的最優(yōu)模型為最終模型。使用Adam優(yōu)化器更新網(wǎng)絡(luò)的權(quán)重，初始學(xué)習(xí)率設(shè)置為10-3，批量大小設(shè)置為16。網(wǎng)絡(luò)模型基于Pytorch 框架實(shí)現(xiàn)，在Linux 系統(tǒng)下訓(xùn)練，顯卡為NVIDIA GeForce GTX 2080 Ti。

在測試階段，根據(jù)Wald 協(xié)議獲得的降分辨率數(shù)據(jù)有參考圖像，采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）、 結(jié)構(gòu)相似性（Structural Similarity，SSIM）、相對全局誤差（Relative Dimensionless Global Error in Synthesis，ERGAS）、空間相關(guān)系數(shù)（Spatial Correlation Coefficient，SCC）、光譜角映射（Spectral Angle Mapper，SAM）和通用圖像質(zhì)量指數(shù)Q6種有參客觀評價指標(biāo)。原始分辨率衛(wèi)星數(shù)據(jù)沒有參考圖像，選取了光譜失真指數(shù)Dλ、空間失真指數(shù)Ds和無參考圖像定量評價指標(biāo)（Quality with No-Reference，QNR）3種無需參考圖像客觀評價指標(biāo)。最終的評價結(jié)果為測試集中所有圖像評價結(jié)果的平均值。結(jié)果表中評價指標(biāo)后面“+”表示這種評價指標(biāo)數(shù)值越高，融合結(jié)果越好，“-”則表示這種評價指標(biāo)數(shù)值越低，融合結(jié)果越好。每種指標(biāo)最優(yōu)結(jié)果加粗顯示。

2.2 消融實(shí)驗

為了驗證HFGN各模塊的有效性，通過刪減或者替換模塊獲得了多個子網(wǎng)絡(luò)，并在QuickBird上將它們與HFGN進(jìn)行性能對比。HFGN_NA表示空間信息提取分支使用基本單步操作代替空間單步操作所得到的網(wǎng)絡(luò)，HFGN_NE表示光譜信息提取分支使用基本單步操作代替光譜單步操作得到的網(wǎng)絡(luò)。HFGN_NS表示刪除多光譜圖像到網(wǎng)絡(luò)輸出之間跳躍連接后的網(wǎng)絡(luò)。

表1是多個子網(wǎng)絡(luò)在QuickBird衛(wèi)星數(shù)據(jù)上的客觀評價結(jié)果。從表中可以看出，HFGN的性能優(yōu)于各個子網(wǎng)絡(luò)的性能，驗證了各個模塊的有效性。

2.3 對比實(shí)驗

為了驗證HGFN 的性能，將其與多種類型的方法進(jìn)行對比。成分替換方法有IHS 和Brovey，多分辨分析方法有MTF-GLP和SFIM，圖像堆疊融合方法有PNN[11]（CNN based Pansharpening）、PanNet[13]（Deep Network for Pan-Sharpening）、MSDCNN[16]，特征拼接融合方法有RSIFNN[18]，結(jié)構(gòu)注入融合方法有MIPSM[20]（multispectral image pan-sharpening method），引導(dǎo)恢復(fù)融合方法有MSDCNN_GF。

表2和表3的前6列是降低分辨率衛(wèi)星數(shù)據(jù)上的客觀評價結(jié)果。從表中可以看出，HFGN在各個指標(biāo)中優(yōu)于成分替換法、多分辨分析法和其它深度學(xué)習(xí)方法。表2和表3的后3列是原始分辨率衛(wèi)星數(shù)據(jù)上的客觀評價結(jié)果，原始分辨率數(shù)據(jù)沒有參考圖像，Dλ、Ds和QNR通過低空間分辨率多光譜圖像和全色圖像來評估各種方法生成的高空間分辨率多光譜圖像。在QuickBird衛(wèi)星數(shù)據(jù)中，HFGN在3個指標(biāo)上都取得了最優(yōu)的結(jié)果。在樣本數(shù)相對較少的IKONOS衛(wèi)星數(shù)據(jù)上，HFGN在Ds指標(biāo)上略不及RSIFNN，但在評價整體的QNR指標(biāo)上取得了最優(yōu)結(jié)果。引導(dǎo)恢復(fù)融合方法MSDCNN_GF相對于原來的圖像堆疊融合方法MSDCNN取得了更好的結(jié)果。

表3 IKONOS 數(shù)據(jù)集上的結(jié)果Tab.3 Result on the IKONOS dataset

除了客觀指標(biāo)評價，各種方法生成的圖像還需要視覺上的評估。圖4 是各種方法在降低分辨率的QuickBird衛(wèi)星數(shù)據(jù)上的結(jié)果圖。在圖4中，圖a）是單波段全色圖像，圖b）是低空間分辨率多光譜圖像的真彩色顯示，圖c）是高空間分辨率多光譜圖像的真彩色，圖d）是高空間分辨率多光譜圖像藍(lán)-綠-近紅外3波段顯示，圖e）～o）是各種方法生成結(jié)果的真彩色顯示。從整體來看，HFGN生成的結(jié)果圖更接近參考圖像。對比圖c）和圖d）可以發(fā)現(xiàn)全色圖像中的部分空間紋理只存在于近紅外波段，成分替換法和多分辨分析法的真彩色顯示結(jié)果中出現(xiàn)了明顯的近紅外波段空間紋理，基于深度學(xué)習(xí)的方法含有的紅外波段紋理較少。HFGN的真彩色顯示圖中沒有出現(xiàn)明顯的近紅外波段空間紋理。在光譜方面，從紅色建筑物部分可以看出，成分替換法光譜失真較嚴(yán)重，多分辨分析法中的SFIM與基于深度學(xué)習(xí)方法中的PanNet、RSIFNN和MISPM光譜保真較好，HFGN顯示圖中建筑物的顏色最接近參考圖像。

圖4 在降低分辨率QuickBird 數(shù)據(jù)集上的結(jié)果圖Fig.4 Result images on reduced resolution QuickBird dataset

圖5 是各種方法在原始分辨率的IKONOS 衛(wèi)星數(shù)據(jù)上的結(jié)果圖，沒有可顯示的參考圖像，但添加了HFGN生成結(jié)果的藍(lán)-綠-近紅外3波段顯示。從圖5中，圖a）、b）、m）和n）的對比可知，圖像右上方區(qū)域的空間紋理存在于近紅外波段，PanNet、MSDCNN和MSDCNN_GF 的真彩色顯示圖存在的近紅外波段空間紋理較少，多分辨分析法相對較多。對比圖a）、m）和n）可以發(fā)現(xiàn)，HFGN方法生成的高空間分辨率多光譜圖像恢復(fù)了全色圖像中的高頻空間紋理，邊緣更清晰，在藍(lán)、綠和紅波段未引入近紅外波段的空間紋理，光譜保真效果更好。

圖5 在全分辨率IKONOS 數(shù)據(jù)集上的結(jié)果圖Fig.5 Result images on full resolution IKONOS dataset

3 結(jié)論

針對成分替換法存在光譜失真、多分辨分析法存在空間畸變和基于深度學(xué)習(xí)的方法存在高頻空間紋理區(qū)域光譜失真等問題，提出了一種端到端的遙感圖像空譜融合網(wǎng)絡(luò)HFGN。光譜信息提取分支從上采樣后的多光譜圖像中保留了更多的光譜信息，使目標(biāo)圖像的光譜失真更少。引導(dǎo)恢復(fù)融合模塊充分地利用提取到的空間引導(dǎo)信息，使目標(biāo)圖像高頻空間紋理部分光譜保真且邊緣清晰。在樣本數(shù)量較少的IKONOS衛(wèi)星數(shù)據(jù)上，HFGN與其它融合算法相比，除了在光譜失真指數(shù)上表現(xiàn)略不及RSIFNN，在另外8個客觀指標(biāo)上都取得了更佳的結(jié)果。在樣本數(shù)量較多的Quick Bird衛(wèi)星數(shù)據(jù)上，HFGN生成的多光譜圖像在9個客觀評價指標(biāo)上都取得了更好的評價。從各個融合算法生成多光譜圖像的視覺對比，可以發(fā)現(xiàn)HFGN在多光譜圖像近紅外波段的空間紋理恢復(fù)具有明顯優(yōu)勢。