用于遙感圖像超分辨率重建的殘差對偶回歸網絡

尚曉梅， 李佳田， 呂少云， 楊汝春， 楊超

(昆明理工大學國土資源工程學院，昆明 650000)

0 引言

高分辨率遙感圖像具有更高的像素密度，包含更多細節信息，對地物目標識別、分類和提取等應用的精度有重要影響[1]。超分辨率(super-resolution，SR)重建[2]能夠由一幅低分辨率(low-resolution，LR)圖像或LR圖像序列恢復出包含更多細節信息的高分辨率(high-resolution，HR)圖像，是獲取高分辨率遙感圖像的重要方法，其中基于深度學習的SR重建方法是當前主流研究方向，根據所需數據集的不同，可分為監督學習SR和非監督學習SR[3]。

現有的SR方法主要集中于監督學習，如Dong等[4]提出SRCNN(super-resolution convolutional neural network)模型通過構建三層卷積神經網絡結構，直接學習LR圖像與HR圖像間的端到端映射關系，運行效率和重建效果較好，但所需訓練時間較長且學習過程中可能出現過擬合問題; Kim等[5]在SRCNN的基礎上引入殘差網絡(residual network，ResNet)[6]，提出VDSR(very deep convolutional networks for super-resolution)模型，同時通過增加卷積層個數以提高模型準確率，但學習信息有限且收斂慢; Kim等[7]提出DRCN(deeply-recursive convolutional network)模型將遞歸神經網絡結構應用于SR重建中，加深網絡結構的同時使用跳躍連接增加網絡感受野，提升模型重建效果; Tai等[8]通過對DRCN已有的ResNet等結構進行調整，提出多路徑模式的局部殘差學習結合全局殘差學習和多權重遞歸學習的DRRN(deep recursive residual network)模型。這些監督學習SR方法均需要對原始HR圖像采用某種特定的降采樣方法如Bicubic插值函數等退化得到相應的LR圖像，作為一對HR-LR輸入樣本[9]。由于不同分辨率的遙感圖像間潛在的退化方法通常是未知的，通過已知方法人工獲取的成對LR-HR遙感數據在實際SR應用中可信度不高[10]。

無監督學習SR則完全丟棄成對的合成數據，僅利用未配對的LR-HR圖像直接學習LR到HR的映射，如Shocher等[11]認為單個圖像內部的圖像統計信息已經為SR提供了足夠信息，通過訓練圖像特定的SR網絡而非在大型外部數據集上訓練通用模型來應對無監督SR，提出零鏡頭超分辨率(zero-shot super-resolution，ZSSR); Bulat等[12]提出將SR分為兩個階段，首先使用未配對的LR-HR圖像訓練和學習HR-to-LR GAN，在此基礎上基于配對的LR-HR圖像訓練LR-to-HR生成對抗網絡(generative adverarial network,GAN)，以提高現實世界LR圖像的SR重建質量，如Yi等[13]提出了DualGAN網絡； Ledig等[14]分別以ResNet和VGG[15]作為生成器和判別器結構提出了SRGAN(super-resolution using a generative adversarial network)模型； Yuan等[16]基于CycleGAN[17]提出由4個生成器和2個判別器組成的周期循環SR網絡CinCGAN(cycle-in-cycle generative adversarial networks)。這些無監督學習SR方法無需引入人工降采樣先驗，使得訓練數據較容易獲取[18]，但由于遙感圖像具有自然且豐富的紋理特征及其內容的自相關性特點，直接將現有的無監督模型應用于遙感圖像SR會使得模型不確定問題更加嚴重并產生較差的重建效果，因此非監督學習SR方法不能直接應用于標準遙感圖像SR問題[19]。

為此，針對自然真實且不成對的遙感圖像，本文利用弱監督模型對偶回歸網絡(dual regression network,DRN)[20]結合深度殘差通道注意力網絡(residual channel attention network,RCAN)[21]中的二次殘差(residual in residual,RIR)模塊，提出殘差對偶回歸網絡(residual dual regression network,RDRN)，同時使用真實的不成對LR遙感數據和成對的LR-HR合成數據，使得SR模型能在適應現實未配對數據的同時兼顧退化先驗，增強網絡的學習能力，進而重建出更符合實際應用的高質量HR圖像。

1 殘差對偶回歸網絡RDRN

1.1 對偶學習

針對涉及兩個互為對偶的深度學習任務，例如圖像理解中基于圖像生成文本和基于文本生成圖像，Fu等[22]提出一種新的機器學習范式,稱為對偶學習方法，利用未標注數據進行端到端學習，通過為強化學習獲取獎勵信息的方式，降低深度學習對大規模標注數據的依賴性，該方法包含原始和對偶兩個非對稱的相反任務，相互提供反饋，相互學習、相互提高。多任務學習[23]也可以同時學習多個共享相同的輸入空間的任務，但對偶學習對輸入空間沒有要求，只要這些任務能形成一個反饋系統即可。如圖1所示，該學習模型同時包括正向原始模型(primal model, MP)和回歸對偶模型(dual model, MD)，使其形成一個閉環(closed-loop)，采用周期一致性損失函數，同時學習原始任務MP和對偶任務MD，利用對偶任務輸出值X′與給定原始期望值X相間的偏差對網絡參數進行調節和控制，對LR與HR間的映射函數空間形成約束，使輸出值盡量接近于期望值，從而提高遙感圖像重建質量和模型泛化能力。理想情況下，如果從LR到HR的映射是最優的，則可以對超分辨圖像進行降采樣以獲得相同的輸入LR圖像。

圖1 對偶學習SR重建模型

1.2 二次殘差塊

LR遙感圖像所包含的低頻信息通過神經網絡學習可以被恢復成高頻信息，但卷積神經網絡平等對待特征的每一個通道，缺少處理不同類型信息的靈活度和辨別學習能力[24]，雖然較深的卷積網絡能夠獲得較好的SR性能，但更深的網絡使得訓練困難，易產生過擬合問題[25]。深度殘差通道注意力網絡RCAN通過RIR結構來構造深層網絡，允許豐富的低頻信息通過多個跳躍連接直接進行傳播，使主網絡專注于學習高頻信息，保證淺層網絡同樣擁有良好的泛化能力。

如圖2所示，每個RIR塊由數個殘差組(residual group，RG)以及長跳躍連接(long skip connection，LSC)組成，RG為其基本模塊，LSC則用來進行粗略的殘差學習； 每個RG內部則疊加數個殘差注意力通道塊(residual channel attention block，RCAB)和短跳躍連接(short skip connection，SSC)，RCAB將通道注意力機制(channel attention，CA)與殘差思想融合在一起，CA通過考慮通道之間的相互依賴性來自適應地重新調整特征，SSC則允許豐富的低頻信息直接通過恒等映射向后傳播，保證信息的流動，加速網絡訓練； 在每個CA內部，首先進行一個空間的全局池化(global pooling)得到1×1×C通道描述，再經過一個下采樣層和一個上采樣層得到每一個通道的權重系數，將權重系數和原來的特征按元素相乘(element-wise product)即可得到縮放后的新特征，該過程將不同通道的特征重新進行了加權分配。

圖2 二次殘差塊的結構

本文所采用的RIR塊包含10個RG、一個3×3的卷積(convolution，Conv)和一個LSC，每個RG由20個RCAB、一個Conv和一個SSC組成，在RCAB中對每個輸入首先進行一個Conv-ReLU-Conv操作得到特征f，f再經過一個CA模塊進行重新縮放得到x，最后將x和輸入按元素相加(element-wise sum)得到輸出特征。其中CA模塊中的下采樣和上采樣層都利用的卷積層Conv來實現，下采樣層的通道數減少r倍，上采樣層的激活函數為線性整流函數(rectified linear unit，ReLU)，下采樣層的激活函數為Sigmoid函數。本文采用的通道數C為64，r為16。

1.3 RDRN模型

RDRN模型主要由原始學習任務P和對偶回歸任務D組成。原始學習任務基于U-Net結構，由編碼器和解碼器組成，其中，編碼器部分由簡單的Conv層和帶參數的ReLU激活函數(parametric rectified linear unit，PReLU)組成，經過逐級下采樣(downsample，DS)，分辨率也逐層降低； 解碼器部分由Conv，RIR塊和像素重組(pixelshuffle)組成。對偶回歸任務對超分后的圖像進行卷積下采樣(upsample，US)得到LR圖像。

如圖3所示，原始主任務P由黑色流程線指示，對偶回歸任務D由紅線流程線指示，虛線表示直接將原始圖像經過放大后與處理后的圖像進行特征疊加，綠色塊表示下采樣模塊的特征映射，黃色塊表示上采樣模塊的特征映射。其中，原始任務P中的下采樣和上采樣模塊都包含log2(s)基本塊，s為比例因子，解碼路徑中的采樣模塊個數由超分辨重建的倍數決定，2倍重建需要1個基礎塊，4倍重建需要2個基礎塊，此外為其添加了前期額外的輸出，如4倍重建時分別疊加了1倍重建和2倍重建后的圖像以輔助生成相應比例的圖像，并將其產生的損失同時應用于后續模型的訓練。

圖3 RDRN的網絡結構

對偶任務D的目的是學習一個下采樣模型，對輸入的未成對數據進行下采樣估計，其網絡復雜度比需要學習尺度映射的原始任務簡單，僅設計了只有2個卷積層和1個PReLU激活層的對偶模型，其計算成本比原始模型低且應用效果良好。

2 實驗與分析

2.1 數據集及預處理

為了使訓練所得模型具有更好的泛化能力，本文實驗所用數據集包含512像素×512像素的遙感圖像共10 000張，其中10%作為測試集，選取自大型航空圖像數據集LandCover.ai和光學遙感圖像數據集DIOR。Boguszewski等[26]提出的LandCover.ai數據集收集了波蘭216.27 km2不同農村地區的RGB航空圖像切片10 674張，涵蓋不同光學條件和植被季節周期。DIOR數據集由Li等[27]提出，共收集23 463張不同空間尺度分布的高質量遙感圖像，包含大量地物類別，對于SR重建研究及其應用具有代表性。

為了能更好地處理圖像的邊界像素，使邊界點能夠保留到最后一層特征圖，U-Net使用鏡像操作，為輸入圖像增加對稱的鏡像邊，如圖4所示，將512像素×512像素的圖像尺寸增加為572像素×572像素，保證每次降采樣操作的特征圖尺寸均為偶數。增加的鏡像尺寸即感受野的大小，即每條鏡像邊尺寸為感受野的一半，根據RDRN網絡架構將降采樣的感受野確定為30。

圖4 鏡像加邊操作

2.2 重建質量評估指標

圖像質量評估(image quality assessment，IQA)方法[28]包括基于人類主觀感知方法和客觀計算方法，客觀IQA方法按照原始參考圖像提供信息的多少分為使用參考圖像進行評估的全參考方法、基于提取特征比較的簡化參考方法以及不使用參考圖片的無參考方法(即盲IQA)。本文采用2種常用的客觀評價指標： 峰值信噪比(peak signal-to-noise ratio，PSNR)和結構相似度(structural similarity，SSIM)，結合主觀到客觀，對重建后的遙感圖像質量進行評價。

2.2.1 PSNR

對于均為N×N大小的原圖像I和重建圖像I′，PNSR通過對比兩者相應像素之間的差異來評估真實場景中的重建質量：

，

(1)

式中:LI為圖像的最大像素值(如8位RGB圖像中L值為255)，MSE為原圖像I與重建圖像I′的均方誤差，公式為：

。

(2)

由式(1)和或(2)可知，L為固定值，PSNR只與像素間的MSE有關，因此PSNR只關注原圖像I與重建圖像I′的像素值之間的差異。

2.2.2 SSIM

SSIM則基于圖像間的亮度、對比度和結構從HVS的角度來評價重建質量：

，

(3)

式中：μI為原圖像I的像素均值；σI為原圖像I的像素方差；σII′為2張圖像間的協方差；C1和C2為避免計算不穩定而設置的常量。

2.3 模型的訓練

實驗環境為Windows 10系統，使用開源深度學習框架Pytorch(1.1.4版本)，編程語言是Python(3.7.0版本)。使用RMSprop優化器，并在訓練過程中不同網絡設置相同的超參數： 初始學習率設為0.000 01，權值衰減值設為0.9，學習率衰減指數設為0.9，動量設為0.9，訓練過程中采用的批尺寸大小為4，迭代輪數為50輪。

2.3.1 成對數據的訓練

DRN網絡由互逆的P網絡和D網絡構成，通過聯合學習這2個網絡，相互提供信息反饋來訓練模型。設x∈X為LR圖像，y∈Y為HR圖像，對于原始回歸任務，其目的是尋找一個函數P(x)，使得預測P(x)與其對應的HR圖像Y相似； 對于對偶回歸任務，其目的是尋求一個函數D(y)，使得D(y)的預測與原始輸入LR圖像x相似。

因此，對于成對數據，給定一組有N對樣本的樣本集SP={(xi,yi)},i=1,2,…，N，其中xi和yi分別為成對數據集中的第i張LR和HR圖像，其訓練損失函數可以寫為：

(4)

式中:MP和MD分別為原始和對偶回歸任務的損失函數(L1范數)；λ為控制對偶回歸損失的權重。

2.3.2 非成對數據的訓練

對于真實的沒有對應的HR的LR圖像，給定一組有M個樣本的樣本集SU={(xi)},i=1,2,…，M，本文使用與成對數據訓練方法不同的未配對數據的自適應算法，該過程不依賴于其損失函數為：

，

(5)

式中：LSP(xi)是一個指標函數，當xi∈SP時，其值為1，否則值為0。

為了保證SR重建性能，首先結合從成對合成數據中提取的信息，加載預訓練的模型P和D，首先通過最小化目標函數(式(5))來更新原始模型P，然后通過最小化對偶回歸損失(式(6))來更新對偶模型D，直接從未配對的真實世界LR數據中學習來進行模型自適應，公式為：

。

(6)

2.4 實驗結果分析

為了驗證RDRN模型的有效性，分別訓練SRResNet，DRCN，SRGAN，EDSR，DRN對比模型并將訓練結果在測試集上進行重建測試，對重建結果和模型復雜度分別進行對比分析。

2.4.1 重建結果定性分析

以4倍重建為例，在4倍放大的SR重建中，RDRN會生成1倍重建SR圖像、2倍重建SR圖像和4倍重建SR圖像，由圖5可以看出，隨著重建的加深，圖像被放大的同時像素量也在增加，因此圖像并沒有變得越來越模糊，其細節信息反而被逐步恢復，從而重建出最終清晰的圖像，由此說明SR重建的目的是重建出圖像中丟失的細節高頻信息。

(a) 原圖(b) 1倍重建(c) 2倍重建(d) 4倍重建

同時，通過對比分別從1倍重建圖即原圖、2倍重建圖和4倍重建圖中截取的地物目標(如圖5中(b),(c),(d)所示)，重建倍數越高，重建效果越好，這也證明了RDRN方法的有效性。此外還可以看出，RDRN方法在紋理規則且明顯的地方超分表現良好，比如對道路、車輛等規則地物的重建，但是對于草地等地區的重建效果則并不顯著。

為了對比RDRN模型和其他網絡模型在不同尺度遙感圖像SR的重建性能，針對放大4倍的SR模型重建結果進行直觀的視覺比較，選取一組測試結果進行分析，結果如圖6所示。由圖6可知，SRResNet，DRCN和EDSR生成的圖像包含較多的模糊，細節重建效果并不理想； 而SRGAN雖然能夠獲得與原HR圖像視覺上近似的效果，但由于其對未配對的LR和HR圖像之間的數據差異敏感，SR結果容易失真并包含噪聲； DRN的重建效果較好但同樣無法產生較為清晰的紋理細節； 相比之下，RDRN模型始終產生更清晰的邊緣和形狀，而其他模型可能會給出更模糊的邊緣和形狀。實驗結果證明所提出的RDRN能夠生成更準確的SR重建圖片。

(b) LR圖像(c) SRResNet(d) DRCN(e) SRGAN

2.4.2 重建效果定量分析

為了定量比較RDRN模型和其他SR模型對遙感圖像的重建質量，利用4倍重建圖像的PSRN和SSIM得分，對不同SR模型的重建結果進行定量對比評價，結果如表1所示。

表1 不同SR算法的性能比較①

由表1可知，RDRN的重建質量最好?？傮w而言，無監督SR方法SRGAN的重建效果果優于EDSR等監督SR方法的重建效果，弱監督閉環模型DRN的重建效果優于無監督SR方法，PSRN和SSIM得分均遠高于其他SR方法。加入了RIR結構的RDRN模型PSRN值較DRN模型高出0.46 dB，SSIM值高出0.012。

2.4.3 模型復雜度對比

模型復雜度在很大程度上會影響模型的應用。在深度學習中，模型復雜度可以通過參數量的大小來衡量，表2總結了×4參數和×8參數的RDRN模型及其他對比模型的參數量。由表2可以看出，使用了RIR塊的RDRN模型的參數量相比于只用RCAB模塊的DRN縮小了約一半。除了SRResNet模型，RDRN模型相對于DRCN，SRGAN和EDSR模型，模型參數量大幅減小。這表明，在不完全依賴成對數據集的情況下，利用較少的參數，RDRN仍能獲得較好的重建效果，其模型復雜度大幅降低的同時使重建質量得到提升。

表2 模型參數量對比

2.5 RDRN模型分析

2.5.1 消融研究

為了驗證對偶方法和二次殘差塊對遙感圖像SR性能的影響，根據4倍重建SR測試圖像的PSNR得分，針對RDRN模型的對偶回歸方法和殘差網絡進行消融研究。如表3所示，與原始的監督學習+RCAB模型相比，采用對偶回歸方法和殘差網絡的模型在測試集取得更好的重建效果。

表3 對偶殘差方法對SR質量的影響

相對于僅將RCAB應用于原始學習網絡的SR結果，使用二次殘差塊的原始學習網絡的SR結果的PNSR得分提高了0.12 dB； 同樣僅使用RCAB，增加了對偶學習網絡的結果比只有原始學習網絡的重建效果有大幅提高； 在對偶回歸的基礎上修改RCAB為二次殘差塊后，SR結果的PNSR得分提高了0.81 dB。這表明，二次殘差塊比RCAB更適應遙感圖像SR，對遙感圖像的高頻細節有更好的恢復能力； 對偶回歸方法能夠對原網絡形成約束，減少映射函數的空間，從而提高HR圖像的重建效果。

2.5.2λ對RDRN的影響

為了研究對偶回歸損失的權重λ對遙感圖像SR重建性能的影響，根據4倍重建SR測試圖像的PSNR得分，針對RDRN模型的損失函數式(1)中超參數λ的變化進行實驗，實驗結果如表4所示。由表4可以看出，當λ從0.001依次增加到0.1時，對偶回歸的損失逐漸變得重要，為模型提供強大的監督反饋作用； 繼續將λ進一步增大到1甚至10，對偶回歸的損失項對網絡整體的損失反而產生負面影響，從而影響模型最終性能。為了平衡原始學習和對偶回歸以獲得最好的重建效果，本文實驗中將λ設為0.1。

表4 對偶損失權重λ對SR性能的影響

2.5.3p對自適應算法的影響

訓練過程中不成對圖像在訓練數據集中所占的比例p對訓練所得的模型重建效果也有較大影響。根據4倍重建SR測試圖像的PSNR得分，針對RDRN模型訓練過程中設置不同的p值，研究p對遙感圖像SR重建性能的影響，分別設置p的值為0，0.2，0.3，0.4，0.6，0.8和1在相同的訓練條件下訓練50輪，獲得相應的訓練曲線。如圖8所示。

圖8 不成對數據占比p對4倍重建SR性能的影響

相比于僅能學習LR-HR圖像間潛在非線性映射的原始正向模型(即p=0時)，增加能夠利用非成對遙感圖像的低頻信息生成HR非監督學習的模型(p≠0)能夠獲得更好的性能，其中p=0.3時模型的重建性能最佳。因此，本文實驗中設置p=0.3以獲得最佳性能。

3 結論

為了提高利用神經網絡對遙感圖像的SR重建質量和模型的泛化能力，在研究SR重建常用模型的基礎上，提出了一種基于DRN網絡和RCAN網絡的殘差對偶回歸網絡RDRN。該網絡結構結合對偶學習思想，設置兩個互逆的學習網絡形成一個閉環，對LR-HR間的映射空間形成約束，以減少可能函數的空間。其中：

1)正向學習網絡基于U-Net網絡結構，結合RIR模塊，允許豐富的低頻信息通過多個跳躍連接直接進行傳播，保證淺層網絡同樣擁有良好的學習能力和泛化能力。

2)對偶回歸網絡則將由正向網絡學習得到的HR圖像進行下采樣，通過將下采樣得到的LR圖像與正向網絡輸出的多尺度SR圖像進行對比，與正向學習網絡相互提供反饋，相互提高。

3)采用周期一致性損失函數，同時使用真實的不成對LR遙感數據和成對的LR-HR合成數據，使SR模型能在適應現實未配對數據的同時兼顧退化先驗，重建出更符合實際應用的高質量HR圖像。

實驗結果表明，RDRN在對遙感圖像的SR重建中表現良好，能夠為遙感圖像重建出較清晰的細節紋理信息，且相對于DRN等其他SR網絡，模型參數量較少，在遙感圖像SR領域的具有巨大潛力。此外，未來RDRN網絡還可拓展到更多尺度的SR重建，如8倍放大效果下的重建等，但由此引發重建圖像的真實性仍待討論。