基于雙分支多尺度殘差融合嵌套的 SAR 和多光譜圖像融合架構(gòu)與實(shí)驗(yàn)

董 張 玉，許 道 禮，張 晉，安 森，于 金 秋，李 金 徽，彭 鵬，汪 燕

(1.合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院，安徽 合肥 230601；2.工業(yè)安全與應(yīng)急技術(shù)安徽省重點(diǎn)實(shí)驗(yàn)室，安徽 合肥 230601；3.智能互聯(lián)網(wǎng)系統(tǒng)安徽省實(shí)驗(yàn)室，安徽 合肥 230601;4.安徽省地質(zhì)調(diào)查院(安徽省地質(zhì)科學(xué)研究所)，安徽 合肥 230001)

0 引言

合成孔徑雷達(dá)(SAR)穿透力強(qiáng)、不受氣象條件影響，能獲得高空間分辨率圖像[1]；多光譜(MS)圖像與SAR圖像相比增加了地物的信息量且可視性更高，將SAR圖像和MS圖像融合，既可以保持MS圖像的光譜信息，還能保留SAR圖像的空間細(xì)節(jié)信息，融合結(jié)果可以更好地應(yīng)用于軍事探測、災(zāi)害評(píng)估、目標(biāo)識(shí)別等領(lǐng)域。

傳統(tǒng)的融合方法可歸納為以下3類：1)成分替換(Component Substitution,CS)法，利用高空間分辨率SAR圖像的空間細(xì)節(jié)信息替換MS圖像的空間細(xì)節(jié)信息，然后進(jìn)行逆變換獲得融合結(jié)果，常見的CS法有IHS變換、主成分分析(PCA)和高通濾波法等。該類方法容易實(shí)現(xiàn)且計(jì)算效率較高，但由于未考慮SAR圖像和MS圖像成像波段范圍的巨大差異，導(dǎo)致融合圖像存在光譜畸變現(xiàn)象。2)多分辨率分析(Multi-Resolution Analysis,MRA)法，先獲取SAR圖像中的空間細(xì)節(jié)信息，然后利用多分辨率表示系數(shù)的加權(quán)融合與重構(gòu)獲得最終結(jié)果，常用方法有小波變換(wavelet)、非下采樣輪廓波變換(NSCT)[2，3]和Shearlet變換方法[4，5]。相對(duì)于CS法，MRA法的計(jì)算復(fù)雜度更高，可以減少SAR圖像存在的噪聲，降低光譜畸變，但圖像配準(zhǔn)精度不佳，造成融合圖像邊緣失真和圖像混疊。3)CS和MRA結(jié)合法，利用二者優(yōu)點(diǎn)，在降低空間和光譜失真的同時(shí)，也可以降低算法復(fù)雜度。例如，Alparone等[6]利用IHS變換可保留空間細(xì)節(jié)信息和MRA法可以很好保存光譜信息的優(yōu)點(diǎn)，提出基于IHS變換和MRA的融合方法，但其中的CS法只可使用能實(shí)現(xiàn)空間變換的融合方法(如PCA和IHS)[6]。

與傳統(tǒng)方法相比，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)以優(yōu)秀的特征提取和表示能力應(yīng)用于圖像融合領(lǐng)域，并取得優(yōu)異性能[7-11]。例如：Masi等[12]基于超分辨率卷積神經(jīng)網(wǎng)絡(luò)(SRCNN)[7]提出基于CNN的泛銳化(Pan-sharpening)融合算法，其融合精度明顯高于傳統(tǒng)算法；Zhong等[13]利用CNN增強(qiáng)MS圖像的空間細(xì)節(jié)信息，然后利用格拉姆-施密特(Gram-Schmidt,GS)變換將增強(qiáng)后的圖像融合；Yang等[14]提出雙分支網(wǎng)絡(luò)融合架構(gòu)，融合圖像質(zhì)量顯著提升；Yuan等[11]將多尺度特征提取和殘差學(xué)習(xí)引入CNN體系結(jié)構(gòu)，充分利用深度神經(jīng)網(wǎng)絡(luò)非線性關(guān)系的強(qiáng)大表征能力，使融合結(jié)果進(jìn)一步提升；Li等[15]在紅外與可見光圖像融合中，提出基于嵌套連接的網(wǎng)絡(luò)，可以從多尺度角度保留輸入數(shù)據(jù)中的大量特征信息。在SAR和MS圖像融合方面，余艷等[16]提出基于相位一致性和PCNN的SAR和MS圖像融合算法，提高了細(xì)節(jié)特征的提取能力，但存在局部特征提取不充分問題；吳佼華等[17]使用雙分支網(wǎng)絡(luò)結(jié)構(gòu)極大程度上保留了SAR和MS圖像的特征信息，但未使用更細(xì)粒度的網(wǎng)絡(luò)結(jié)構(gòu)增加網(wǎng)絡(luò)的感受野，不能獲取圖像不同尺度特征。鑒于此，本文引入“特征提取模塊—特征融合層—解碼器”的空間細(xì)節(jié)信息融合方案，提出基于雙分支多尺度殘差融合嵌套連接的SAR和MS圖像融合網(wǎng)絡(luò)架構(gòu)(Double-branch Multiscale Residual-fusion Nested-connections Net,DMRN-Net)，在更細(xì)粒度上增加網(wǎng)絡(luò)尺度和感受野，以提高SAR和MS圖像的融合效果。

1 網(wǎng)絡(luò)架構(gòu)

本文在PanNet[14]和雙分支卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)[17]的基礎(chǔ)上，結(jié)合多深度特征提取模塊、多尺度殘差融合網(wǎng)絡(luò)和嵌套連接解碼器，提出基于雙分支多尺度殘差融合嵌套連接的SAR和MS圖像融合網(wǎng)絡(luò)架構(gòu)，包括空間細(xì)節(jié)提升和光譜保持兩方面(圖1)。

圖1 算法的總體架構(gòu)Fig.1 Overall architecture of the algorithm proposed in this paper

1.1 細(xì)節(jié)提升分支網(wǎng)絡(luò)架構(gòu)

參考文獻(xiàn)[18]的殘差融合嵌套連接網(wǎng)絡(luò)結(jié)構(gòu)，本文在細(xì)節(jié)提升分支中使用多尺度殘差融合嵌套連接網(wǎng)絡(luò)架構(gòu)(圖2)，該網(wǎng)絡(luò)結(jié)構(gòu)包含多深度特征提取模塊、多尺度殘差融合網(wǎng)絡(luò)(MRFN)和嵌套連接解碼器(Decoder)三部分。首先，利用高通濾波器獲取SAR和MS圖像的高頻信息，將MS的高頻信息經(jīng)過三倍上采樣，使之與SAR圖像分辨率相同；然后分別通過“1×1，(1，60)”“1×1，(3，60)”卷積塊，將其輸出通道值增加到60；其次，利用多深度特征提取模塊提取圖像中不同深度的特征信息，該方式可以兼顧圖像的淺層和深層特征，有利于重構(gòu)融合后圖像；最后，利用基于嵌套連接的解碼器[15]網(wǎng)絡(luò)進(jìn)行圖像重構(gòu)，以充分利用圖像的多深度特征。

注：卷積層“n×n，(x，y)”表示卷積核大小為n×n，輸入通道值為x，輸出通道值為y；MRFNt表示多尺度的殘差融合網(wǎng)絡(luò)，不同MRFN網(wǎng)絡(luò)使用相同的網(wǎng)絡(luò)架構(gòu)，但具有不同的權(quán)值。圖2 細(xì)節(jié)提升分支網(wǎng)絡(luò)架構(gòu)Fig.2 Branch′s network architecture based on detail improvement

圖3 RFN和MRFN模塊(尺度s=4)間的比較Fig.3 Comparison of RFN and MRFN modules(scale s=4)

(1)

1.1.2 嵌套連接解碼器網(wǎng)絡(luò) 對(duì)UNet++[23]網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行簡化，得到基于嵌套連接架構(gòu)的解碼器網(wǎng)絡(luò)(圖4)。其中，“DCB”表示解碼器卷積塊，包含兩個(gè)卷積核為3×3的卷積層，卷積塊之間通過短連接進(jìn)行連接，類似于密集的塊結(jié)構(gòu)[24]。針對(duì)MRFN網(wǎng)絡(luò)中不同層級(jí)的輸出，嵌套連接解碼器通過上采樣將特征信息采樣到同一尺度，以充分融合圖像特征。

圖4 解碼器架構(gòu)Fig.4 Architecture of the decoder

1.2 光譜保持分支網(wǎng)絡(luò)

對(duì)MS圖像進(jìn)行上采樣，之后與從細(xì)節(jié)提升分支重建的圖像疊加，使MS的光譜信息和重建圖像的細(xì)節(jié)信息均注入融合圖像F中：

F=Fhp⊕↑MS

(2)

1.3 損失函數(shù)

本文網(wǎng)絡(luò)架構(gòu)使用的損失函數(shù)Ltotal(式(3))包括光譜損失函數(shù)Lspectral(式(4))和細(xì)節(jié)損失函數(shù)Ldetail(式(5))兩部分：Lspectral為雙分支融合圖像F和參照?qǐng)D像GT的L2范數(shù)，Ldetail為細(xì)節(jié)提升分支網(wǎng)絡(luò)輸出結(jié)果Fhp和SAR圖像高頻信息Shp之間的L2范數(shù)。

Ltotal=Lspectral+λLdetail

(3)

(4)

(5)

式中：λ為參數(shù)；N為每批次訓(xùn)練圖像對(duì)的數(shù)量。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)區(qū)域與數(shù)據(jù)

本文選取兩組地物類型豐富且各具特點(diǎn)的研究區(qū)域(圖5、圖6)作為實(shí)驗(yàn)數(shù)據(jù)：1)第一組數(shù)據(jù)為南通市通州灣影像，包含海水、建筑、耕地、道路等多種地物，用于驗(yàn)證本文算法在空間細(xì)節(jié)方面的提升效果；第二組數(shù)據(jù)為常熟市虞山國家森林公園及尚湖附近影像，包含山地、森林、湖水、橋梁、居民點(diǎn)等地物，用于驗(yàn)證多地物影像融合是否會(huì)影響算法精度。SAR影像為從Copernicus Open Access Hub下載的Sentinel-1B IW模式GRD級(jí)別數(shù)據(jù)，MS影像為從地理空間數(shù)據(jù)云下載的Landsat8_OLI_TIRS數(shù)據(jù)。首先使用SNAP對(duì)SAR影像進(jìn)行軌道矯正、輻射定標(biāo)、相干斑濾波以及地形校正，再使用ENVI對(duì)多光譜影像進(jìn)行輻射定標(biāo)和大氣校正，然后對(duì)預(yù)處理后的SAR和MS圖像進(jìn)行圖像配準(zhǔn)，配準(zhǔn)誤差在0.5個(gè)像元內(nèi)。因缺乏SAR和MS圖像融合后的理想標(biāo)準(zhǔn)，為使實(shí)驗(yàn)結(jié)果在光譜信息和細(xì)節(jié)信息有參照依據(jù)，采用Sentinel-2A數(shù)據(jù)(分辨率為10 m)作為參照?qǐng)D像。

圖5 第一組實(shí)驗(yàn)數(shù)據(jù)Fig.5 Experimental data of group 1

圖6 第二組實(shí)驗(yàn)數(shù)據(jù)Fig.6 Experimental data of group 2

2.2 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)環(huán)境為Window10 64位操作系統(tǒng)，2.5 GHz處理器，NVIDIA GeForce GTX 1650 Ti顯卡，在Python 3.6的環(huán)境下用TensorFlow搭建網(wǎng)絡(luò)架構(gòu)。每批次訓(xùn)練數(shù)為100，總迭代次數(shù)為25 000，用Adam作為優(yōu)化器，學(xué)習(xí)率設(shè)為0.0001，動(dòng)量衰減系數(shù)設(shè)為0.99。從預(yù)處理好的圖像中裁剪出10 000組90×90和30×30像素的SAR和MS圖像對(duì)，按照4∶1的比例將8 000組圖像對(duì)作為訓(xùn)練數(shù)據(jù)集，2 000組圖像對(duì)作為驗(yàn)證數(shù)據(jù)集；裁取出2組大小為900×900和300×300像素的SAR和MS圖像對(duì)作為測試集。網(wǎng)絡(luò)訓(xùn)練時(shí)，首先按照Wald[19]協(xié)議對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，即對(duì)原始SAR和MS圖像進(jìn)行3倍上采樣，得到SAR和MS的圖像對(duì)，然后將GT(30×30×3)、SAR(30×30×1)、MS(10×10×3)作為網(wǎng)絡(luò)訓(xùn)練的輸入，訓(xùn)練時(shí)長約為2.7 h。

2.3 消融實(shí)驗(yàn)

2.3.1Lspectral和Ldetail的消融實(shí)驗(yàn) 式(3)中參數(shù)λ決定損失函數(shù)的設(shè)計(jì)是否合理，故需評(píng)價(jià)在λ取不同數(shù)值時(shí)，訓(xùn)練和驗(yàn)證階段損失函數(shù)變化情況(圖7、圖8)，從而確定最優(yōu)的λ值。可以看出，隨著λ減小，總損失減??；λ=0.5、10、100時(shí)，圖像的光譜損失值較?。沪?0.5、1、5時(shí)，空間細(xì)節(jié)損失值較小。因此，為兼顧光譜與細(xì)節(jié)損失，本文選擇λ值為0.5。進(jìn)一步引入相關(guān)系數(shù)CC、均方根誤差RMSE、空間相關(guān)系數(shù)SCC[21]分析SAR圖像與融合結(jié)果之間的空間細(xì)節(jié)，MIMF表示融合結(jié)果與MS圖像之間的相似度，MISF表示融合結(jié)果與SAR圖像之間的相似度。

圖7 訓(xùn)練階段損失函數(shù)曲線Fig.7 Loss function curves of training phase

圖8 驗(yàn)證階段損失函數(shù)曲線Fig.8 Loss function curves of validation phase

從表1可知：隨著λ值減小，MIMF逐漸減小，表示融合結(jié)果與MS圖像的相似度變低，融合光譜信息受影響，但CC、RMSE、SCC和MISF逐漸變優(yōu)；當(dāng)λ=0.5時(shí)，CC、RMSE、MISF最優(yōu)，SCC次優(yōu)，可以在融合結(jié)果中加入更多的空間細(xì)節(jié)信息。

表1 不同λ值實(shí)驗(yàn)結(jié)果的評(píng)價(jià)指標(biāo)Table 1 Evaluation indexes for different λ values

2.3.2 嵌套連接解碼器的消融實(shí)驗(yàn) 為驗(yàn)證嵌套連接解碼器在網(wǎng)絡(luò)結(jié)構(gòu)中的作用，將本文算法與刪除“DCB”塊間短連接后的解碼器網(wǎng)絡(luò)架構(gòu)進(jìn)行對(duì)比(表2)?？梢钥闯觯疚乃惴ǖ?個(gè)評(píng)價(jià)指標(biāo)均較高，表明嵌套連接架構(gòu)對(duì)于解碼器的重構(gòu)能力非常重要，使用嵌套連接的解碼器能保存圖像更多的多尺度深度特征，融合結(jié)果更清晰。

表2 不同解碼器的評(píng)價(jià)指標(biāo)Table 2 Evaluation indexes for different decoders

2.4 不同融合方法比較

為驗(yàn)證本文算法在光譜保持與細(xì)節(jié)提升方面的顯著優(yōu)勢，分別與IHS、NSCT、wavelet、雙分支卷積神經(jīng)網(wǎng)絡(luò)(TCNN)[17]和DRN-Net算法進(jìn)行比較，DRN-Net算法與本文算法的不同之處在于使用了RFN殘差融合模塊的算法，用于驗(yàn)證本文提出的多尺度殘差融合模塊(MRFN)的作用。

2.4.1 主觀評(píng)價(jià) 將融合結(jié)果中紅框區(qū)域進(jìn)行上采樣，與雙線性三倍上采樣的原MS圖像相比(圖9、圖10)可知，所測試的6種方法在空間細(xì)節(jié)信息方面均有增強(qiáng)，但提升幅度略有不同。從第一組實(shí)驗(yàn)數(shù)據(jù)可以看出：IHS算法(圖9a)和NSCT算法(圖9b)的空間細(xì)節(jié)特征顯著增強(qiáng)，但細(xì)節(jié)信息過量，導(dǎo)致融合結(jié)果存在顏色失真現(xiàn)象，尤其是水面顏色失真較嚴(yán)重；wavelet、TCNN、DRN-Net網(wǎng)絡(luò)以及本文算法在光譜保持方面表現(xiàn)均較優(yōu)異，wavelet融合結(jié)果(圖9c)有一定的空間細(xì)節(jié)信息提升，但融合結(jié)果紋理鋸齒狀明顯且邊緣部分特征失真，影響后期目標(biāo)結(jié)構(gòu)和邊緣提取；TCNN算法(圖9d)的融合結(jié)果沒有邊緣失真現(xiàn)象，圖像細(xì)節(jié)紋理較wavelet略有提升，但建筑區(qū)域細(xì)節(jié)模糊，融合不自然；DRN-Net(圖9e)在雙分支卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上加入了殘差融合網(wǎng)絡(luò)(RFN)，空間細(xì)節(jié)過多，導(dǎo)致其融合結(jié)果地物邊緣仍不理想；本文算法(圖9f)充分提取SAR和MS圖像不同深度的圖像特征，并使用多尺度殘差融合網(wǎng)絡(luò)，在更細(xì)粒度上擴(kuò)展了網(wǎng)絡(luò)深度，融合結(jié)果不僅未因加入過多的SAR圖像空間細(xì)節(jié)信息而導(dǎo)致光譜失真，也未出現(xiàn)邊緣失真和紋理模糊現(xiàn)象，融合結(jié)果同時(shí)增強(qiáng)了圖像的空間細(xì)節(jié)信息和目標(biāo)的顯著特征。第二組實(shí)驗(yàn)數(shù)據(jù)融合結(jié)果(圖10)與第一組實(shí)驗(yàn)數(shù)據(jù)融合結(jié)果基本一致。

圖9 第一組實(shí)驗(yàn)數(shù)據(jù)融合結(jié)果Fig.9 Fusion results of the experimental data of group 1

圖10 第二組實(shí)驗(yàn)數(shù)據(jù)融合結(jié)果Fig.10 Fusion results of the experimental data of group 2

2.4.2 客觀評(píng)價(jià) 除CC、RMSE等圖像光譜評(píng)價(jià)指標(biāo)外，進(jìn)一步選取峰值信噪比(PSNR)、結(jié)構(gòu)相似性(SSIM)評(píng)價(jià)融合結(jié)果的空間細(xì)節(jié)質(zhì)量，選取相對(duì)無量綱全局誤差(ERGAS)和算法測試時(shí)間對(duì)不同算法的融合結(jié)果進(jìn)行比較(表3、表4)。從CC和RMSE可以看出，IHS和NSCT算法表現(xiàn)較差，表示這兩種算法在SAR和MS圖像的融合過程中會(huì)造成融合結(jié)果顏色失真；wavelet算法在融合圖像中加入過多SAR圖像的空間細(xì)節(jié)信息，導(dǎo)致目標(biāo)物體邊緣失真；TCNN算法和DRN-Net算法均有較好的光譜保持能力，但仍有進(jìn)步空間。從PSNR和SSIM可以得出，IHS和NSCT算法的PSNR指標(biāo)表現(xiàn)較差，表示這兩種算法的融合結(jié)果存在較顯著的圖像失真；wavelet的PSNR指標(biāo)進(jìn)一步提升，但其融合結(jié)果易受小波變換方向約束的影響，目標(biāo)地物邊緣出現(xiàn)明顯的鋸齒狀；TCNN和DRN-Net的PSNR和SSIM較高，明顯增強(qiáng)了融合結(jié)果的細(xì)節(jié)信息。由ERGAS可以看出，IHS和NSCT算法表現(xiàn)較差，緣于兩者在光譜保持和空間細(xì)節(jié)提升方面的評(píng)價(jià)指標(biāo)均較差，與主觀評(píng)價(jià)結(jié)果一致；wavelet有明顯提升，有效改變了IHS和NSCT融合結(jié)果出現(xiàn)的顏色失真現(xiàn)象；TCNN和DRN-Net算法充分利用卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的計(jì)算能力，進(jìn)一步提升圖像融合的整體效果。在算法效率方面，IHS算法的耗時(shí)最短。除殘差融合網(wǎng)絡(luò)外，使用相同的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)，本文算法比使用RFN模塊的算法在光譜保持和空間細(xì)節(jié)方面均有提升，且比wavelet效率更高，適合海量遙感數(shù)據(jù)的融合處理。

表3 第一組實(shí)驗(yàn)數(shù)據(jù)評(píng)價(jià)結(jié)果Table 3 Evaluation results for the experimental data of group 1

表4 第二組實(shí)驗(yàn)數(shù)據(jù)評(píng)價(jià)結(jié)果Table 4 Evaluation results for the experimental data of group 2

3 結(jié)論

為改善傳統(tǒng)SAR和MS圖像融合算法的顏色失真和空間細(xì)節(jié)模糊問題，本文以雙分支網(wǎng)絡(luò)為基礎(chǔ)，提出包含多尺度殘差融合網(wǎng)絡(luò)和嵌套連接解碼器的SAR和MS圖像融合的雙分支卷積神經(jīng)網(wǎng)絡(luò)，通過與IHS、NSCT、wavelet、TCNN以及DRN-Net算法的比較，本文實(shí)驗(yàn)結(jié)果在光譜保持和細(xì)節(jié)提升方面均表現(xiàn)優(yōu)異，故得出以下結(jié)論：1)雙分支網(wǎng)絡(luò)架構(gòu)可以在更大程度上保持SAR和MS圖像的特性；2)多尺度殘差模塊可以提高網(wǎng)絡(luò)的多尺度表示能力，增加算法的特征提取能力，對(duì)相關(guān)特征提取網(wǎng)絡(luò)有一定的借鑒作用；3)在解碼器方面，采用嵌套連接的方式將不同尺度的特征充分融合，使得融合結(jié)果中的空間細(xì)節(jié)信息更豐富。本文算法未關(guān)注不同注意力機(jī)制對(duì)圖像融合結(jié)果的影響，后期會(huì)進(jìn)行不同注意力機(jī)制對(duì)算法提升幅度的實(shí)驗(yàn)，進(jìn)一步提升實(shí)驗(yàn)效果。