基于循環生成對抗網絡的超分辨率重建算法研究

蔡文郁 張美燕 吳 巖 郭嘉豪

①(杭州電子科技大學電子信息學院 杭州 310018)

②(浙江水利水電學院電氣工程學院 杭州 310018)

1 引言

圖像超分辨重建(Image Super-resolution reconstruction， SR)是指低分辨率(Low Resolution，LR)圖像轉換為具有更好的視覺質量和精細節的相應高分辨率(High Resolution， HR)圖像[1]，目前已廣泛應用于機器視覺的各個領域，例如視頻監控[2]、遙感[3]、醫學圖像[4]，還可以作為圖像分類[5]、識別[6]、去噪和檢測的預處理方法[7，8]。圖像超分辨率重構方法可以分為以下3類：基于插值、基于重建和基于學習的方法。基于插值的超分辨率重構主要包括最近鄰插值[9]、雙線性插值[10]以及雙三次插值[11]等。基于插值的方法非常簡單，但它們不能為重建提供任何額外的信息，因此無法恢復丟失的頻率。基于重構的方法比較有代表性的是迭代反投影方法(Iterative Back-Projection， IBP)[12]、凸集投影法(Projection Onto Convex Sets， POCS)[13]、最大后驗概率法(Maximum A Posteriori， MAP)[14]。這類方法大部分通過一組高度相關的 LR 圖像序列進行重構，但是重建模型的參數很難估計，當使用場景無法提供足夠信息時，提高圖像分辨率變得非常困難。

Dong等人[15]在2014年首次將深度學習應用在圖像超分辨率重建領域，提出了SRCNN并取得了優于此前傳統算法的重建結果。從此，眾多國內外研究者提出了不同的深度學習網絡進行圖像超分辨率重建。2015年， Dong等人[16]提出了FSRCNN，通過重新設計SRCNN網絡結構，減少了冗余運算，提高了網絡的訓練速度， 首次使用反卷積層進行重建。2016年， Kim等人[17]提出了VDSR，首次將經典的VGG網絡應用在超分辨率領域，采用深層次的網絡結構取得了更好的重建結果。同年，Shi等人[18]提出了ESPCN，其中的亞像素卷積層使網絡能夠在LR空間進行訓練，減少了網絡參數，提高了訓練速度和特征利用率。亞像素卷積層對基于深度學習的超分辨率算法有十分深遠的影響，后續幾乎所有的網絡都使用亞像素卷積層來進行重建。2017年，文獻[19]首次將生成對抗網絡(Generative Adversarial Network， GAN)應用在超分辨率領域，提出了新型的SRGAN[20]，改進了之前網絡中的損失函數，引入感知損失和對抗損失，緩解了以往算法得到的重建結果不真實的問題。同年，Lim等人[21]提出EDSR，改進了SRGAN的生成器網絡SRResnet，移除了其中的批歸一化(Batch Normalization， BN)層，降低了參數量和顯存占用，并進一步構建出了更寬的網絡進行訓練。2018年，Zhang等人[22]提出了RCAN，首次將注意力機制引入圖像超分辨率領域。RCAN參照SE模塊構建了空間注意力模塊CAB，并添加在EDSR基本殘差塊的末端，用更少的參數量實現了比EDSR更好的重建效果。同年， Shocher等人[23]提出了ZSSR，這是首次將無監督學習應用在超分辨率領域，將測試圖片縮小作為輸入進行訓練，得到模型后再將測試圖片作為輸入，從而得到重建結果。因此，ZSSR不需要大規模的預訓練，也不消耗過多的計算資源。

目前深度學習方法依然是圖像超分辨率重建的主流，相關研究都以卷積神經網絡、殘差網絡[24]、亞像素卷積層[18]為基礎，通過修改網絡結構來提高算法的速度和精度。但是，這些算法仍然存在兩個主要問題：一是以巨大的參數量來換取強大的網絡特征提取能力，這將會消耗大量計算資源，難以進行工程實現；二是超分辨率重建后得到的圖像過于平滑，缺少細節紋理信息，不夠逼真。圖像超分辨率重構作為低級圖像處理任務，要求盡可能保留圖像的底層信息，因此本文研究一種基于循環生成對抗網絡的超分辨率重建算法。

2 基于循環生成對抗網絡的超分辨率重建算法

本文提出了一種基于注意力機制的改進多級殘差網絡(Multi-level Residual Attention Network，MRAN)進行超分辨率重建：通過引入注意力機制，改進殘差網絡結構，增強了網絡的特征提取能力，在降低算法復雜度的同時提高了圖像的重建質量。針對SRGAN模型的不足之處，本文構建了新型CycleGAN結構，并且從生成器網絡結構、判別器判別方式、損失函數等方面對SRGAN做了改進。

基于循環生成對抗網絡的超分辨率重建網絡MRA-GAN系統架構如圖1所示，由重建網絡G、退化網絡F和兩個判別器DLR， DHR組成。重建網絡G負責將LR圖像重建為HR圖像，退化網絡F負責將HR圖像降采樣為LR圖像，判別器DLR負責鑒別真實LR圖像和通過退化網絡降采樣得到的LR圖像，判別器DHR負責鑒別真實HR圖像和通過重建網絡重建得到的HR圖像。

2.1 重建網絡

重建網絡的任務是將LR圖像重建為HR圖像，基于注意力機制的改進多級殘差網絡(Multi-Residual Attention Network， MRAN)作為重建網絡，包含低級特征提取模塊、殘差集合和上采樣重建模塊。低級特征提取是從3通道RGB圖像中提取低級特征作為后續網絡的輸入；上采樣重建模塊通過亞像素卷積層將LR圖像重建為HR圖像，并利用1個卷積層將圖像恢復為3通道RGB圖像。殘差集合包含若干個殘差組RG(Residual Group)，用來學習LR圖像與HR圖像之間的非線性映射關系。殘差組RG的結構如圖2所示，每個殘差組RG由4個殘差塊(Residual Block)、1個通道注意力模塊和1個用于調整通道數的卷積層組成。由于低層網絡通常擁有更多的底層信息，為了充分利用這些信息，本文引入了殘差聚合概念，將4個殘差塊的輸出通道拼接在一起，經通道注意力模塊后最終輸出，解決了現有網絡特征提取導致參數量巨大的問題。對于每一個殘差集合的輸入，輸出可以表示為

圖2 MRAN的殘差組RG結構

SRResnet和EDSR都設計了殘差塊RB來構建網絡，其結構示意圖分別如圖3(a)和圖3(b)所示。本文算法的RB架構在移除BN層的同時，還添加了位于末端的空間注意力模塊SAB(Spatial Attention Block)，如圖3(c)所示。本文通過引入通道注意力模塊和空間注意力模塊，使殘差網絡能夠在訓練的過程中學習出相應的通道權重和空間權重，從而分別提高了網絡在不同通道和不同空間區域上提取關鍵信息的能力。通道注意力機制能夠在不增加網絡寬度的情況下，給予這些重要通道更高的權重，以提高網絡提取關鍵信息的能力。而空間注意力機制則是在一張特征圖的內部分配注意力資源，使網絡給予特征圖中的紋理、邊緣等重要的高頻信息更多關注，從而提高網絡提取信息的能力，使最后的重建結果更接近真實圖像。

圖3 SRResnet， EDSR， MRA-GAN的殘差塊RB結構

2.2 退化網絡

退化網絡的任務是將HR圖像退化為LR圖像，可以認為是重建網絡的逆過程，如圖4所示。其中Interpolate表示插值降采樣操作，退化網絡先將HR圖像降采樣到低分辨率空間，然后利用MRAN中提出的殘差集合學習HR與LR的映射關系，最終通過一個卷積層重建得到預測的LR圖像。

圖4 退化網絡結構

2.3 DLR， DHR判別器

本文算法采用的判別器結構參考了由Radford等人[25]提出的判別器網絡，如圖5所示。該相對判別器網絡本質上是一個二元非類，如式(2)所示：

圖5 判別器網絡結構

2.4 損失函數設計

本文算法中重建網絡G的損失函數設計由4部分組成，如式(3)所示：由式(4)可知，將計算誤差由計算差的平方修改為計算差的絕對值，因此能夠降低運算量，同時提高模型收斂速度，緩解重建圖像過于模糊的問題。

(2)感知損失(Perceptual Loss， LP)

本文算法使用的感知損失函數使用VGG19網絡進行特征提取，因為使用未激活的特征圖能夠更全面地衡量兩幅圖片的感知差距，因此選用了ReLU激活層之前的特征圖來計算損失。感知損失函數如式(5)所示

由式(7)可知，生成器的對抗損失部分不僅包括重建圖像，還包括高分辨率原圖，因此二者都促進了重建網絡的訓練。而在SRGAN模型中，僅有重建圖像會對網絡起到積極作用。因此使用相對判別器能夠提高網絡的學習能力，幫助網絡重建出更加真實的圖像。

(4) 循環一致性損失(Cycle Consistency Loss)

通過對抗損失，可以分別對重建網絡、退化網絡和判別器進行訓練。但是在超分辨率重構中，低分辨率圖像與高分辨率圖像并不是一一對應的，因此網絡根據某一組固定的輸入可能會生成多組不同輸出。為了保證不丟失輸入圖像的特征信息以及真實性，在本文算法的循環結構中，引入了循環一致性損失，能夠保證輸入X經過一個循環后得到輸出y仍舊接近輸入X，即

循環一致性損失由兩個循環結構的輸入與輸出之間的平均絕對誤差求和求得

3 實驗結果與分析

實驗采用的基準測試集Set5， Set14， BSD100，Urban100和Manga109中都包含了高分辨率原圖和與之對應的2， 3， 4， 8倍降采樣低分辨率圖片。近年來基于深度學習的超分辨率算法基本都采用上述測試集進行測試和結果對比，為方便對比，本文也選用這5個基準測試集進行測試。實驗平臺為64位Ubuntu操作系統，使用GPU(Nvidia GeForce RTX 2080Ti)訓練網絡，算法實現采用了Pytorch深度學習框架。

實驗設置如下：MRA-GAN使用RGB 3通道圖像進行訓練，圖像在輸入前做了隨機旋轉和隨機翻轉的增強處理，每一批輸入是16幅尺寸為48×48的圖像，這些小的圖像塊均從數據集原圖中提取得到。訓練過程使用L1損失函數和Adam優化器，其中β1= 0.9，β2= 0.999，ε= 10-8，學習率設置為10-4。在訓練開始時，分別先對重建網絡和退化網絡進行10輪預訓練，再使用與訓練好的模型和判別器進行交替訓練，迭代30000輪，模型訓練時間約為72 h。具體參數值如表1所示。

表1 測試參數設置

MRA-GAN通過殘差集合來學習LR圖像到HR圖像的映射，殘差組的數量將會影響網絡整體的參數量和結果。為平衡算法的精度與速度，訓練不同數量殘差組并在Set5數據集上進行4倍重建測試。表2比較了不同數量殘差組時，網絡總參數量和取得的重建結果對比效果。從表2可以看到殘差組的數量由8增至32時，重建圖像的質量在不斷提升。當增至48甚至64時，網絡的參數量已經十分龐大，但是重建圖像并沒有明顯提升，甚至還會有小幅下降。因此，本文最終確定MRAN中使用32個殘差組來構成殘差集合。

表2 不同殘差組數量實驗結果

MRA-GAN與其他網絡不同模型在不同迭代輪數下重建結果如圖6所示，其中橫坐標表示迭代輪數，縱坐標分別表示在DIV2K數據集上進行驗證時得到的PSNR和SSIM指標。從中可以看出MRAGAN在DIV2K驗證集的重建結果明顯優于網絡結構簡單的SRCNN和VDSR，略優于EDSR。

圖6 DIV2K驗證結果

表3詳細給出了MRA-GAN與其他方法在各個基準數據集上分別進行2， 3， 4， 8倍重建后圖像的PSNR和SSIM結果，黑體和下劃線分別標記了每項的最優結果和次優結果。

表3 實驗結果對比

從實驗數據表3中可以發現，在4倍和8倍重建結果中MRA-GAN的結果均優于EDSR， CDSR，SRCNN， Bicubic等算法。但是在2倍和3倍重建的情況下，在小部分測試集中MRA-GAN的結果略差于EDSR，這是由于重建倍率較小，輸入圖片的內部已經包含了明顯的特征信息，使用EDSR就已經能夠充分提取到關鍵信息。同時，由于MRA-GAN強大的特征提取能力和更高的特征利用率，結果也說明在不增加額外參數的前提下，本文算法能夠在高倍率的圖像超分辨重建中取得更好的結果。

圖7展示了在各個基準測試集中使用各種重構方法所得到的測試圖像，從中可以驗證MRA-GAN得到的重建結果細節更豐富，紋理更清晰，因此體現了更好的主觀視覺體驗。

圖7 基準測試集測試結果

4 結束語

本文通過引入注意力機制，構建多級殘差網絡，參考循環生成對抗網絡結構，提出了一種新的圖像超分辨率重建算法MRA-GAN。在標準測試集的驗證實驗結果驗證了本文算法相較于以前的超分辨重建方法，在客觀評價量化上都擁有更好的性能提升。后續研究將本文方法擴展應用到多視角圖像的超分辨率重建領域，并將方法應用于多媒體傳感器網絡中。