基于密集反饋網絡的單幅圖像超分辨率重建

劉錫澤，范 紅，海 涵，王鑫城，許武軍，倪 林

（東華大學 信息科學與技術學院，上海 201620）

0 概述

單幅圖像超分辨率（SISR）重建是利用軟件算法將低分辨率（Low-Resolution，LR）圖像重建為更清晰的高分辨率（High-Resolution，HR）圖像，其被廣泛應用于衛星圖像、醫學影像、監控等計算機視覺領域。

傳統的圖像超分辨率方法包括基于插值的方法、基于重建的方法［1-2］、基于傳統學習的方法［3-4］等。近年來，研究者在SISR 中廣泛采用基于卷積神經網絡的方法。DONG 等［5］提出圖像超分辨率網絡SRCNN，該網絡包含特征提取、非線性映射和重建3 個部分，且網絡經過大量樣本訓練，重建效果超過了傳統的圖像超分辨率方法。KIM 等［6］于2016 年提出VDSR 網絡，該網絡將層數提升到了20 層并且受殘差網絡ResNet［7］的影響，設計全局殘差學習方法，在提升重建效果的同時加快網絡收斂。為減少模型參數，TAI 等［8］提出一種深度遞歸殘差網絡DRRN，在減少參數量的同時進一步提升了重建效果。

由于以上算法在重建之前都要經過雙三次插值算法的預處理，而這種處理會丟失原圖像中的一部分高頻信息，同時提高了計算的復雜程度，因此研究者又提出了直接在原始LR 圖像上進行卷積，最后上采樣到HR 圖像的算法。DONG 等［9］提出FSRCNN 網絡在圖像重建過程中采用反卷積層進行上采樣操作。SHI 等［10］提出一種高效的亞像素卷積網絡ESPCN，相比反卷積層，該網絡的亞像素卷積算法降低了計算復雜度，避免產生由反卷積層帶來的棋盤格效應，提升了重建效果。

在上述網絡基礎上，一些研究者致力于增加網絡深度，提升網絡重建效果。如LIM 等［11］提出MDSR網絡，堆疊了80個殘差模塊，層數達到了165 層。ZHANG 等［12］提出RCAN，堆疊了20 個有注意力機制的殘差模塊，層數達到了400 層以上。這類模型重建效果較好，但模型結構簡單，參數利用效率低；體積過于龐大，運算速度慢且不易部署。

為充分利用網絡中間層提取到的特征，促進信息傳播，在殘差網絡基礎上，不同類型的網絡結構相繼被提出。TONG 等［13］提出SRDenseNet，將前一層的輸出廣播到其后面層的輸入中，從而促進信息傳播，降低訓練難度。TAI 等［14］提出MemNet，利用有門控機制的記憶模塊保留所需要的信息，具有較強的學習能力。ZHENG 等［15］提出IDN，其中的信息蒸餾單元采用切片方式將不同長度路徑的信息進行組合，輸入到下一層中，信息壓縮單元過濾出更有用的特征，提升模型的重建精度。

本文提出密集反饋注意力網絡（Dense Feedback Attention Network，DFAN）模型，以進一步優化超分辨率模型中各層之間的信息流和參數的利用效率。采用多尺度殘差注意力模塊（Multi-scale Residual Attention Block，MRAB）作為基本塊，通過膨脹卷積方式使卷積核具有不同大小的感受野，在保持參數較少的同時提取出更豐富的特征。由于MRAB 融合了通道與空間注意力機制，因此可使模型關注更有利于圖像重建的高頻信息。

1 相關工作

SISR 目標是由大小為H×W×C的低分辨率圖像ILR預測出對應大小為rH×rW×rC的高分辨率圖像ISR，其中r為放大倍數?；谏疃葘W習的圖像超分辨率方法利用大量訓練樣本訓練模型參數θ，最終得到一個映射函數ISR=f(ILR,θ)，使模型預測的圖像ISR最接近真實的高分辨率圖像IHR。

1.1 模型整體架構

DFAN 整體架構如圖1 所示。特征提取網絡中，LR 圖像首先通過含ReLu 激活函數的3×3 卷積核提取淺層特征，再通過數個堆疊的特征融合（Feature Fusion，FF）模塊與MRAB-Group 提取圖像的高層次特征。此過程如式（1）、式（2）所示：

圖1 DFAN 整體架構Fig.1 The overall architecture of DFAN

其中：F0為第一個卷積層輸出；Fi為第i個MRAB-Group輸出；C0為對LR 圖像的卷積操作；CMRAB?Group(i)為第i個MRAB-Group的特征提取函數；CFF(i)為第i個FF模塊的特征融合函數；σ為ReLu激活函數；w0為第一個卷積層的權值，省略偏置項。

在圖像通過特征提取網絡后，第一個卷積層輸出與每個MRAB-Group 輸出進行合并，通過全局特征融合（Global Feature Fusion，GFF）模塊進行特征融合降維，如式（3）所示：

其 中：FGFF為GFF 模塊輸 出；CGFF為全局特征 融合函數；[]為特征圖的串聯操作。

在圖像重建階段，本文采用ESPCN［10］算法進行重建網絡。第一個卷積層的輸出通道數為64r2，Pixel-Shuffle層將特征圖像素重新排列，特征圖的寬度和高度尺寸放大到目標倍數r，輸出通道數為64；最后一個卷積層輸出重建后的高分辨率圖像，由于重建是在RGB格式的圖像上進行，因此輸出通道數為3。重建過程如式（4）所示：

其中：CUP為圖像的上采樣函數；wup1和wup2分別為重建網絡中兩個卷積層的權值；CPS為亞像素卷積操作。

1.2 多尺度殘差模塊

本文提出一種含注意力機制的多尺度殘差模塊（MRAB）作為DFAN模型的基本塊，MRAB結構如圖2所示。

圖2 MRAB 結構Fig.2 The structure of MRAB

在MRAB模塊中，特征圖首先通過含ReLu激活函數的32個通道，1×1大小的卷積層進行降維，降低網絡的計算復雜度并增加網絡的非線性；其次分別通過膨脹因子為1、2、3的膨脹卷積層提取不同尺度的特征，其中膨脹因子為1的卷積層相當于一個普通的3×3卷積層。膨脹卷積層在不增加網絡參數與計算復雜度的情況下，使每個MRAB模塊具有不同大小的感受野，捕獲到不同尺度的空間信息，從而提升模型提取到有效信息的概率。

3 種不同尺度的特征圖分別經過卷積模塊注意力模塊（Convolutional Block Attention Module，CBAM），提取出對圖像重建更有利的高頻信息進行特征圖的串聯與降維。與輸入特征圖求和，形成殘差結構，作為MRAB的最終輸出。特征圖經過MRAB的過程如式（5）、式（6）所示：

1.3 注意力卷積模塊

RCAN［12］網絡將通道注意力機制［16］引入殘差模塊，在SISR 領域取得了顯著的性能。CBAM 結合空間注意力與通道注意力機制，在ImageNet-1K 數據集上的分類問題中提高了性能的穩定性，而且計算復雜度非常低。本文在MRAB 每個通道的膨脹卷積層后增加了CBAM，使模塊在不同尺度的特征圖下關注更有利于重建的邊緣、紋理等高頻信息，并在一定程度上利用卷積核局部感受野外其他上下文信息。本文CBAM 由空間注意力模塊（Spatial Attention Block，SAB）與通道注意力模塊（Channel Attention Block，CAB）組合而成，CBAM 的結構如圖3 所示。SAB 的結構如圖4 所示。

圖3 CBAM 結構Fig.3 The structure of CBAM

圖4 SAB 結構Fig.4 The structure of SAB

從圖4 可以看出，SAB 的特征圖首先在H與W方向上進行二維最大池化和平均池化，再將特征圖串聯并經過帶有ReLu 激活函數的7×7 大小卷積核自適應地學習每個空間位置的權重，最后經過Sigmoid 函數將權重值壓縮到［?1，1］區間中，如式（7）所示：

其 中：F為CBAM 的輸入特征；F'為SAB 的輸出；φ為Sigmoid 激活函數；CMAP與CMEP分別為最大池化與平均池化操作。

CAB 結構如圖5 所示。特征圖首先按通道方向進行最大池化與平均池化，得到1×1×C大小的特征圖；其次分別用1×1 卷積核進行特征圖收縮與擴張操作，收縮率為s，本文取16；最后將計算得到的特征圖通過Sigmoid 函數并相加，獲得通道注意力特征圖。

圖5 CAB 結構Fig.5 The structure of CAB

CAB 輸出過程如式（8）所示：

其中：F″為CAB 輸出；CMAP-C與CMEP-C分別為按特征圖通道方向進行的最大池化與平均池化操作。

SAB 輸出與CAB 輸出相乘得到空間-通道注意力特征圖，用特征圖對CBAM 輸入特征進行加權，即可得到最終的輸出特征。CBAM模塊最終輸出如式（9）所示：

1.4 MRAB-Group 結構

受CliqueNet［17］啟 發，本文將4 個MRAB 組 成MRAB-Group，MRAB 采用密集反饋連接方式，具體結構如圖6 所示。

圖6 MRAB-Group 結構Fig.6 The structure of MRAB-Group

在SRDenseNet［13］中，卷積層采用密集連接方式，即每個卷積層輸出都是其后面所有卷積層的輸入，而在密集反饋網絡結構中，每個MRAB 輸出都是其他所有MRAB 的輸入。在階段1 中，連接方式與密集連接相同，所有已更新模塊的輸出特征圖被連接起來，經過1×1 卷積融合后，作為下一個將要更新模塊的輸入。階段1 第i個MRAB 輸出如式（10）所示：

在階段2 中，除將要更新的MRAB 之外，其他所有MRAB 的輸出特征圖被連接起來，經FF 層降維后作為即將更新的MRAB 輸入，如式（11）～式（13）所示：

2 實驗與結果分析

2.1 數據集

本文使用DIV2K［18］數據集的800 張訓練圖片作為訓練數據集。DIV2K 是一個2K 分辨率的高清數據集，含有豐富的內容，近年來在圖像超分辨率網絡的訓練中被廣泛采用，另外，在DIV2K 的100 張驗證圖片中選擇10 張圖片作為驗證數據集。本文使用Set5［19］、Set14［20］、BSD100［21］與Urban100［22］在圖像超分辨率領域中通用的基準數據集作為測試數據集，其 中Set5、Set14 與BSD100 主要包括景觀、動植物圖像，Urban100 主要包括真實的城市景像，并在放大3 倍與4 倍時對測試集做了大量的實驗和評估。

2.2 實驗參數

在網絡中如無特殊說明，各卷積層的通道數均設置為64，MRAB-Group 的個數設置為3。在訓練前，先使用雙三次插值算法降低訓練圖像分辨率，再使用Matlab 中自帶的randsample 函數將訓練圖像隨機裁剪分辨率為48 像素×48 像素的圖像。為提高模型的泛化能力，本文使用以下方式對訓練圖片進行數據增強：順時針旋轉90°、旋轉180°、順時針旋轉270°、水平翻轉。最終的訓練數據集中含有約15 萬張分辨率為48 像素×48 像素的圖像作為模型輸入。本文使用平均絕對誤差（Mean Absolute Error，MAE）作為模型的損失函數。模型使用Adam［23］優化器，初始學習率設置為0.000 2，優化器的初始參數設置為：β1=0.9，β2=0.999，ε=10-8。

本文實驗環境如下：Windows10 操作系統，Tensorflow 2.1.0 深度學習框架，結合并行計算框架CUDA10.1 對實驗進行加速。實驗采用的硬件設備為：運行內存為12 GB 的Intel?CoreTMi5-8500CPU@3.00 GHz 處理器，顯存為12 GB 的NVIDIA TITAN Xp顯卡。模型訓練時，設置每次迭代的批大小為16，總共迭代350 000 次，每迭代10 000 次將學習率調整為原來的1/2。

2.3 結果分析

2.3.1 實驗分析

首先研究MRAB中的注意力機制和MRAB-Group中的反饋階段對最終實驗結果的影響。在迭代200 000 次時模型接近于收斂，所以為方便實驗，消融研究的實驗結果均為各模型迭代200 000 次時的重建效果。在模型M2 中，去除MRAB 中的CBAM；在模型M3 中，去除了MRAB-Group 中的階段2，使MRAB 的連接方式相當于SRDenseNet［13］中的密集連接方式；在模型M1 中，同時去除CBAM 與階段2；模型M4 的結構與原模型保持一致。在驗證數據集上M2、M3、M4 模型的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）的對比如圖7 所示。

圖7 在驗證數據集上M2、M3、M4 模型的峰值信噪比對比Fig.7 Peak signal-to-noise ratio comparison between M2，M3，M4 models on the validation data set

在Set5 數據集上不同模型參數量的重建結果如表1 所示（放大倍數為3）。從表1 可以看出，相比M1模型，M2 模型的參數量增加了約161×103，M3 模型的參數量約16×103，在Set5 數據集上M4 模型的測試結果增加了0.17 dB。在模型中引入反饋階段和CBAM，不會使模型的參數有大量增長，但能明顯提升模型的重建效果。

表1 在Set5 數據集上不同模型的重建結果Table 1 The reconstruction results among different models on Set5 data set

為分析MRAB-Group 中不同階段提取特征對重建結果的影響，本文在不同數據集上采用4 種版本的DFAN 模型進行測試，具體結果如表2 所示（放大倍數為3）。

表2 在不同數據集上4 種版本的DFAN 重建結果對比Table 2 The reconstruction results comparison among four versions of DFAN on different data sets

從表2 可以看出，輸入到FF 代表MRAB-Group 經FF層輸入到下一個MRAB-Group的特征圖；輸入到GFF代表MRAB-Group 輸入到GFF 層用于最后圖像重建的特征圖。DFAN（2+2）的重建結果最好，說明階段2 比階段1 提取的特征更豐富，更有利于圖像重建，本文采用DFAN（2+2）作為最終的模型結構。

為進一步探索反饋階段功能，本文將模型中4 組MRAB-Group 階段1 和階段2 的平均輸出特征圖進行可視化，特征圖可視化結果如圖8 所示（彩色效果見《計算機工程》官網HTML 版）。

圖8 特征圖可視化結果Fig.8 Visualization results of feature map

從圖8 可以看出，相比階段1，階段2 在平滑區域的特征圖像素值降低，但在邊緣區域的像素值增加，并且階段2 的特征圖明顯比階段1 更加細致，激活了更多高頻特征。因此，引入反饋階段使模型恢復出圖像更多的高頻紋理細節。

2.3.2 PSNR 與結構相似性的對比

在放大倍數分別為3 和4 的情況下，以PSNR 和結構相似性（Structure Similarity Index，SSIM）為評估指標，其他模型均采用原作者的公開代碼。在各測試集上不同模型的平均PSNR 與SSIM 值對比如表3 所示（不同的放大倍數）。從表3 可以看出，DFAN 模型具有優異的重建效果。在放大倍數為4時，圖像重建難度大，DFAN 模型除了在Set5 數據集上的SSIM 值略低于IDN 模型，在其他數據集上的PSNR 和SSIM 均取得了最好的結果。在4 個數據集上DFAN 模型的平均PSNR 值比VDSR 模型提高了約0.35 dB，比IDN 模型提高了約0.1 dB。

表3 在各測試集上不同模型的平均PSNR 與SSIM 值Table 3 Average PSNR and SSIM between different models on each testsets

2.3.3 重建結果對比

在所有測試集中，Urban100 數據集包含豐富的紋理和不同尺度空間的重復圖案，重建難度較大，但更便于對比。當放大倍數為4時，Urban100數據集中img_061圖像上不同模型的重建效果如圖9 所示。當放大倍數為4 時，在Urban100 數據集中img_034 圖像上不同模型的重建效果如圖10 所示。當放大倍數為4 時，在Urban100 數據集中img_047 圖像上不同模型的重建效果如圖11 所示。本文采用Urban100 數據集中3 張圖像進行模型的主觀視覺評價。從圖9～圖11 可以看出，DFAN 模型重構出的圖像更清晰，包含了更多圖像的邊緣和紋理細節。因此，DFAN 模型無論是主觀視覺效果還是客觀評價指標上，都超越了其他基于深度學習的圖像超分辨重建算法。

圖9 在Urban100 數據集中img_061 圖像上不同模型的重建效果對比Fig.9 Reconstructed effects comparison among different models on img_061 image in Urban100 data set

圖10 在Urban100 數據集中img_034 圖像上不同模型的重建效果對比Fig.10 Reconstructed effects comparison among different models on img_034 image in Urban100 data set

圖11 在Urban100 數據集img_047 圖像上不同模型重建效果對比Fig.11 Reconstructed effects comparison among different models on img_047 image in Urban100 data set

2.3.4 運算復雜度對比

為進一步對比DFAN 模型與其他模型的參數量與運算復雜度。在放大倍數為4 時，在Set14 數據集上不同模型的參數量與PSNR 對比如圖12 所示。DFAN 模型具有最高的PSNR 值，參數量是一個輕量級的模型，約1.2×106，可以輕易部署在移動端等對模型大小要求較為嚴格的服務端。

圖12 在Set14 數據集上不同模型的PSNR 與參數量對比Fig.12 PSNR and parameters comparison among different models on Set14 data set

在分析模型的運算復雜度時，假設模型在放大倍數為4 的情況下恢復出尺寸為1 280 像素×720 像素的高分辨率圖像，對比結果如圖13 所示。DFAN 模型的運算復雜度約為VDSR 模型的0.18 倍，DRRN 模型的0.016 倍。因此，DFAN 模型不僅是易部署的輕量級模型，在計算效率方面相比其他模型更有優勢。

圖13 在Set14 數據集上不同模型的PSNR 與運算復雜度對比Fig.13 PSNR and computational complexity comparison among different models on Set14 data set

3 結束語

本文提出一種包含注意力機制的輕量級密集反饋網絡（DFAN）模型，將高層次卷積核提取的高頻信息反饋給低層次卷積核。MRAB 作為模型的基本塊，融合了空間注意力機制和通道注意力機制，能夠篩選出更有利于重建的特征。實驗結果表明，相比VDSR、DRRN、MemNet 等模型，DFAN 模型能提高參數的利用效率，重建效果更優。后續將對DFAN 模型結構的有效性以及更深層次的圖像超分辨率網絡進行研究，進一步提升重建效果。