基于自適應重建的雙路徑圖像超分辨率重建網絡

邵俊

（福建師范大學光電與信息工程學院 福建省福州市 350007）

1 引言

單張圖像超分辨率(SISR)旨在從低分辨率圖像(LR)建恢復準確的高分辨率圖像(HR)。單張圖像超分辨率被廣泛應用于監控成像和衛星遙感圖像等領域。早期的單張圖像超分辨率方法，例如，雙三次插值法近年來很少受到關注，因為它往往生成過于平滑和不自然的圖像。由于深度學習在計算機領域取得的進步，促使許多基于深度卷積的超分辨率算法被提出來。Dong 等人[1]首先引入用于圖像重建的三層卷積神經網絡，提出了使用深度卷積網絡的圖像超分辨率方法。Lim 等人[2]提出了一個具有殘差塊的非常深和寬的模型，并且在保真度方面取得了令人滿意的性能。Ledig 等人[3]提出了一種使用殘差網絡實現圖像超分辨率(SRResNet)的方法，但這些方法往往專注于恢復高頻信息，對圖像的低頻信息恢復不足。為了解決這個問題，使用寬激活的高效和精確圖像超分辨率算法[4]將亞像素卷積上采樣[5]作為跳層以單獨對低分辨率圖像進行重建，但是亞像素卷積上采樣使用單尺度結構進行重建，不能充分利用低分辨率圖像中的特征信息。為了解決這個問題，本文提出一種基于自適應重建的雙路徑圖像超分辨率重建網絡。具體而言，自適應亞像素重建層(AFSL)[6]使用具有多個卷積核尺度的亞像素卷積結構實現上采樣，并能根據網絡中自動學習的權重刪除一些比例較低的尺度分支，該方法可以充分利用圖像的特征信息，并且已被證明AFSL 的性能優于亞像素卷積上采樣方法。本文引入自適應亞像素重建層到SRResNet 中，以SRResNet 為網絡主干，將自適應亞像素重建層作為跳層以單獨重建低分辨率圖像，最后將主干輸出結果和跳層輸出結果融合作為最終重建結果，所提的基于自適應重建的雙路徑圖像超分辨率重建網絡能充分利用低分辨率圖像的特征信息來提高重建質量。

2 方法

2.1 網絡架構

圖1 展示了本文的網絡架構，網絡基于SRResNet 網絡進行改進, 分為主體和跳層兩個部分，主體與SRResNet 的結構組成相同，淺層特征提取階段由一個卷積層和一個池化層組成，深層特征提取由16 個殘差塊組成，每個殘差塊的結構是卷積層-批歸一化層-池化層-卷積層-批歸一化層。重建使用了亞像素卷積層，跳層部分使用自適應亞像素重建層。輸入低分辨率圖像分別經過主干部分和跳層部分后，主干的重建結果與跳層的重建結果相加，得到最終的重建圖像。使用AFSL 作為跳層可以幫助網絡充分利用低分辨率圖像的特征信息。

2.2 自適應亞像素重建層

如圖2 所示，自適應亞像素重建層由四個不同卷積核大小的亞像素卷積分支組成，卷積核大小分別為3、5、7 和9, 然后輸入圖像ILR經過4 個分支。

x1,x2,x3,x4,最后通過一個concat 層將4 個輸出級聯，經過一個1×1 的卷積層后，使用一個3×3 卷積層得到重建結果。

表1：Model，Model-Ⅰ和Model-Ⅱ在四個公共數據集上以4 倍放大的重建結果的PSNR 和SSIM

圖1：基于自適應重建的雙路徑圖像超分辨率網絡

圖2：自適應亞像素重建層

2.3 損失函數

本文使用內容損失范數L1作為損失函數來訓練網絡。損失函數的計算可寫為公式（1）。

其中，IHR表示原始高分辨率圖像。G 表示本文網絡。

3 實驗

3.1 數據集及訓練細節

本文使用數據集DIV2K800 作為訓練集，其包含800 張原始高分辨率圖像，在數據集Set5，Set14,BSD100 和Urban100 上測試。將不同的訓練圖像裁剪為128×128 的高分辨率圖像塊，并對高分辨率圖像塊下采樣，以獲得低分辨率圖像。批尺寸大小為16，學習率初始值為0.0002，總共迭代500000 次。使用Adam 優化器進行優化。使用PyTorch 框架在NVDIA GTX1060 GPU 和16G 內存上實現模型訓練。

圖3：Model，Model-Ⅰ和Model-Ⅱ的重建結果

3.2 對比實驗

本文使用峰值信噪比(PSNR)和結構相似度 (SSIM)來評估圖像超分辨率方法的性能。將RGB 圖像轉到YCrCb 色彩空間，在Y 通道上計算兩種指標。為了驗證在殘差網絡將自適應亞像素重建層作為跳層可以提升重建質量，本文以SRResNet 為基礎網絡，表示為模型Model,在Model 的基礎上，分別將亞像素卷積層和自適應亞像素重建層作為跳層，進而構建了Model-Ⅰ和Model-Ⅱ兩個模型。表1 展示了Model，Model-Ⅰ和Model-Ⅱ在四個數據集上以4 倍放大的重建結果的PSNR 和SSIM，粗體字表示最佳。由表可知，Model-Ⅱ在兩個數據集上的PSNR 值和SSIM 值均達到最佳。這表明將自適應亞像素重建層作為跳層對重建質量有一定的提升。圖3展示了Model,Model-Ⅰ和Model-Ⅱ對BSD100 數據集中的102061以4 倍放大的重建結果的定性比較，重建結果下方是局部放大區域，由圖可知，由于自適應亞像素重建層充分利用了低分辨率圖像的特征信息，Model-Ⅱ比Model-Ⅰ生成了更真實的紋理。

4 結語

本文在殘差網絡圖像超分辨率重建算法中將自適應亞像素重建層而不是亞像素卷積層作為跳層，以實現圖像超分辨率。實驗結果表明提出方法的有效性和優越性，解決了在殘差網絡中以亞像素卷積層作為跳層不能充分利用低分辨率圖像特征信息的問題。