基于雙分支U形Transformer的遙感圖像融合

范文盛，劉帆，李明

（太原理工大學 大數(shù)據(jù)學院，晉中 030600）

0 引言

遙感圖像是地球觀測的重要參考數(shù)據(jù)，這些圖像被廣泛應用于土地覆蓋分類［1］、環(huán)境變化檢測［2］和農(nóng)業(yè)監(jiān)測［3］等人類活動。但是，單一傳感器無法捕獲光譜和空間分辨率均高的遙感圖像。因此，將多光譜圖像（Multi-spectral Image， MS）和全色圖像（PANchromatic Image， PAN）這兩種遙感圖像融合，生成高空間分辨率的多光譜圖像成為研究熱點。

現(xiàn)有遙感圖像融合方法主要分為4 類：基于分量替換、基于多分辨率分析、基于變分優(yōu)化和基于深度學習的方法［4］。基于分量替換的方法主要通過將多光譜圖像變換到特定域中以分離空間和光譜信息，然后替換掉空間分量來提升多光譜圖像的空間分辨率。這類方法主要包括亮度-色度-飽和度變換［5］、主成分分析［6］、自適應Gram-Schmidt 變換（Adaptive Gram-Schmidt， GSA）［7］和波段相關空間細節(jié)（Band-dependent Spatial Detail， BDSD）［8］等算法。多分辨率分析方法主要對全色圖像進行多尺度分解以提取空間細節(jié)注入到多光譜圖像中［9］，例如基于小波變換［10］、離散小波變換［11］、調(diào)制傳遞函數(shù)-廣義拉普拉斯金字塔-高通濾波調(diào)制（Modulation Transfer Function-generalized Laplacian Pyramid High-pass Modulation， MTF-GLPHPM）［12］的算法等。變分優(yōu)化方法依賴于定義變分模型并選取合適的算法進行優(yōu)化。常見方法包括基于稀疏表示［13-15］和全變分［16］的算法等。最后一類是近年出現(xiàn)的深度學習方法，這類方法利用樣本來訓練深度神經(jīng)網(wǎng)絡以獲得較好的融合結果。受超分辨率卷積神經(jīng)網(wǎng)絡（Super-resolution Convolutional Neural Network， SRCNN）［17］的啟發(fā)，MASI G 等［18］提出了基于卷積神經(jīng)網(wǎng)絡的遙感圖像融合方法（cNN-based Pan-sharpening， PNN）。在此基礎上，多尺度多深度卷積神經(jīng)網(wǎng)絡（Multiscale and Multidepth Convolutional Neural Network， MSDCNN）［19］加深并拓寬了網(wǎng)絡結構，同時引入了多尺度特征提取來提升融合效果。……