基于雙重殘差注意力網絡的圖像超分辨率重構方法*

張美燕，吳 巖，蔡文郁*

(1.浙江水利水電學院電氣工程學院，浙江 杭州 310018；2.杭州電子科技大學電子信息學院，浙江 杭州 310018)

圖像超分辨率重構(Image Super-Resolution Reconstruction，SR)是計算機視覺和圖像處理領域的研究熱點，尤其是單幅圖像超分辨率重構(Single-Image Super-Resolution Reconstruction，SISR)在近幾年得到了越來越多的關注。 SISR 是指從一個低分辨率(Low Resolution，LR)圖像恢復出一個高分辨率(High Resolution，HR)圖像的過程[1]。 圖像超分辨率重構具有廣泛的現實應用，例如視頻監控、遙感、醫學成像，以及作為圖像分類、識別、去噪和檢測的預處理[2-8]。 圖像超分辨率重構是一個具有挑戰性以及固有不適定性的問題，因為總是存在多個HR圖像對應單個LR 圖像[9]。 目前主流的圖像超分辨率重構方法分為以下三類:基于插值的SR 法、基于重構的SR 法和基于學習的SR 法。 基于插值的SR方法非常簡單，直接利用自然圖像的先驗知識，因此不能提供超分辨重構所需的額外信息。 基于插值的SR 方法主要包括最近鄰插值[10]、雙線性插值[11]和雙三次插值[12]等。 基于重構的SR 方法引入某些先驗知識和約束，包括迭代反投影方法(Iterative Back-Projection，IBP)[13]、凸集投影法(Projection Onto Convex Sets，POCS)[14]、最大后驗(Maximum A Posteriori，MAP)概率法[15]等。 這類方法多依賴一組高度相關的LR 圖像序列進行重構，但是重構模型的參數很難精確估計，如果使用場景無法提供足夠信息時，提高圖像分辨率變得非常困難。

Dong 等人[16]首次將卷積神經網絡運用到圖像超分辨問題中，并取得了良好的重構效果，越來越多的研究將卷積神經網絡應用于SISR 領域。 Kim 等人[17]提出了一種超深的網絡架構VDSR，通過對殘差圖像學習獲得較好的圖像超分辨率重構效果。 為了提升SR 的速度，Dong 等人[18]又提出了網絡架構FSRCNN，將低分辨率圖像輸入卷積神經網絡進行學習，在末端利用反卷積進行上采樣降低模型計算量。 2016 年Shi 等人[19]提出了網絡架構ESPCN，可以在低分辨率空間進行學習，通過亞像素卷積的方式對圖像進行上采樣。 2017 年，Zhu 等人[20]提出了CycleGAN(Cycle-Generative Adversarial Network)用于圖像轉換，將雙重學習結構應用于訓練未配對的數據，并提出了一種循環一致性損失來避免GAN 方法[21]的模態崩潰問題，并幫助最小化分布散度。 同年，Lim 等人[22]認為SRGAN 生成器中殘差網絡結構中的BN 層會減小網絡范圍的靈活性，他們對殘差網絡進行簡化之后，提出了非常寬的網絡架構EDSR。 Zhang 等人[23]認為以前的SR 方法對每個信道的特征都進行了平等學習，缺乏對不同類型信息(如低頻和高頻信息)學習的靈活性并且耗費過多的計算資源，因此他們在殘差網絡中加入了注意力機制，提出的RCAN 網絡建立長跳連接和短跳連接用于忽略中間豐富的低頻信息。

新型的圖像超分辨率重構算法多以卷積神經網絡、殘差網絡[24]、亞像素卷積層[18]為基礎，通過修改網絡結構提高算法速度和精度。 圖像超分辨率重構作為低級圖像處理任務，要求盡可能保留圖像的底層信息。 現有算法存在兩個主要問題:一是學習從LR 圖像到HR 圖像的映射函數通常是一個不適定問題，因為存在無數的HR 圖像可降采樣到同一LR 圖像，所以可能存在的函數空間非常大，很難找到一個很好的解決方案；二是現有算法為了提升網絡的特征提取能力往往采用更深更大的網絡架構，導致網絡參數量巨大，因此消耗了大量計算資源；而且超分辨率重構后得到的圖像過于平滑，缺少細節紋理信息，不夠逼真。 針對以上問題，提出了一種基于雙回歸網絡的圖像超分辨率重構算法，采用雙重殘差注意力網絡(Dual Residual Attention Network，DRAN)實現泛化界最小化，實驗結果表明本文方法能夠獲得更好的主觀視覺評價和客觀量化評價。

1 基于雙回歸網絡的超分辨率重構算法

基于雙回歸網絡，提出了雙重殘差注意力網絡的圖像重構方法，通過引入雙回歸方案提出了對LR數據進行附加約束以減少可能的函數空間，解決了現有的SR 方法在學習從LR 圖像到HR 圖像映射函數的不適定問題。 雙重殘差注意力網絡主要由原始網絡和回歸網絡組成，原始網絡負責學習LR 圖像到HR 圖像的重構，對偶回歸網絡負責估計降采樣核和重構LR 圖像。 本文主要創新點如下:提出了基于雙回歸網絡的雙重殘差注意力網絡(Dual Residual Attention Network，DRAN)的圖像超分辨率重構方法(DRAN-SR)，獲取了更好的峰值信噪比和結構相似性。

本文研究的DRAN-SR 模型結構如圖1 所示，其中x代表LR 圖像，y代表HR 圖像，DRAN-SR 同時學習原始映射P重構HR 圖像和對偶映射D重構LR圖像。 原始重構任務可以表示為:學習函數P:x→y，使得預測的P(x)與其對應的HR 圖像y相似；對偶回歸任務可以表示為:學習函數D:y→x，使得預測的D(x)與其對應的LR 圖像x相似。 原始重構任務和對偶回歸任務可以形成一個封閉的循環，并提供信息監督來訓練模型P和D。 理論上如果P(x)是正確的HR 圖像，那么下采樣圖像D(P(x))應該非常接近輸入的LR 圖像x。 在此約束條件下，可以減少可能的映射函數空間，并使它更容易學習到一個更好的映射來重構HR 圖像。 下文將對各個具體模塊進行詳細介紹。

圖1 DRAN-SR 網絡架構

1.1 原始網絡

原始網絡的任務是將LR 圖像重構為HR 圖像，原始網絡包括log2(s)個重構塊，其中s表示超分辨率的倍率。 本文選擇基于注意力機制的多級殘差網絡(Multi-Residual Attention Network，MRAN)作為原始網絡的重構塊，通過引入空間注意力模塊和通道注意力模塊改進殘差網絡，該網絡提高了對重構關鍵信息的提取能力。 重構塊MRAN 主要包括淺層特征提取模塊、殘差集合模塊和上采樣重構模塊。每個殘差集合包含8 個殘差組(Residual Group，RG)，RG 網絡結構如圖2 所示。 每個殘差組由4 個殘差塊(Residual Block)、1 個聚合模塊、1 個通道注意力模塊以及1 個卷積層組成。 本文的殘差塊采用了EDSR 網絡的RB 結構，并在末端添加空間注意力模塊，從而提高網絡的特征提取能力。

圖2 MRAN 的殘差組RG 結構

1.2 回歸網絡

回歸網絡的任務是將重構得到的HR 圖像降采樣為LR 圖像。 理想情況下，如果從LR→HR 的映射最優，則超分辨重構所得HR 圖像可以向下采樣以獲得相同的輸入LR 圖像。 基于這樣的約束，本文估計底層的下采樣核，從而減少可能函數的空間。對偶回歸映射是學習潛在的退化方法，相較于學習從LR 到HR 的重構簡單得多。 所以，本文算法只設計了兩個卷積層和一個LeakyReLU 激活層作為回歸塊，因此計算成本比重構塊更低，但在實際中有良好的效果。 回歸塊的模型結構如圖3 所示。

圖3 回歸塊模型結構

1.3 損失函數設計

為了兼顧原始回歸網絡和對偶回歸網絡對于優化結果的權重，本文設計的DRAN-SR 算法的損失函數主要由兩部分組成，如式(1)所示:

式中:N表示成對的樣本Sp={(xi，yi)}i=1，xi，yi表示成對數據集中的一對低分辨率和高分辨率圖像，P(xi)表示通過原始網絡的重構得到HR 圖像，D(P(xi))表示由回歸網絡對重構HR 圖像降采樣得到的LR 圖像，λ表示雙回歸損失函數的權重系數，Lp和LD分別表示原始回歸任務和對偶回歸任務的損失函數(即L1損失函數)。L1損失函數也稱為最小化絕對誤差(Least Absolute Error，LAE)，目標是最小化真實值yi和預測值f(xi)之間的差值和DL1的絕對值，如式(2)所示:

式中:DL1表示平均絕對誤差(MAE)，L1損失函數表示為minDL1。 下文討論如何確定式(1)中的權重系數λ，表1 所示的為通過實驗測試不同值對結果的影響，λ的值從0.001 增加到10，λ值越大說明對偶回歸模塊在損失函數中所占比重越大，即約束效果越強。

表1 權重系數與PSNR 的影響

從表1 中可以看出，λ過小時，回歸網絡的約束力也比較小，無法提供有效的監督，導致圖像超分辨率重構的結果一般；當λ逐漸增大時，回歸網絡在損失函數所占的比重越來越大，約束力越來越強，導致雙回歸網絡的原始模塊無法很好地學習從LR 圖像到HR 圖像的重構效果。 本文最終選定λ取值0.1，原始網絡和回歸網絡在損失函數中所占比重達到較好的平衡狀態。

1.4 理論分析

模型測試數據樣本所表現的誤差期望稱為“泛化誤差”(Generalization Error)，泛化誤差常用來衡量一個模型對于未知數據的泛化能力。 本文利用泛化誤差來驗證所提出的回歸方案的有效性，并通過拉德馬赫復雜度[25]來獲得本文所提出雙回歸模型的泛化界。

本文將雙重殘差注意力網絡的泛化誤差定義如下:

式中:P表示原始任務，D表示回歸任務，在實際中雙回歸網絡的目標是雙向優化任務，對于N個樣本的經驗損失定義如下:

按照文獻[26]定義了對偶學習的函數空間Hdual∈P×D，拉德馬赫復雜度可以衡量函數空間的復雜度，也就是說它可以得出原始網絡和回歸網絡的豐富性，復雜度越高的函數簇對應的拉德馬赫值越高。 對于一個基本分布S，Z={z1，z2，…，zN}是樣本集合，其中zi={xi，yi}，則雙回歸網絡在集合Z上的經驗拉德馬赫復雜度＾Rz(P，D)為:

泛化誤差上界是指泛化誤差允許的最大值，泛化誤差是指模型由訓練集泛化至測試集的過程中產生的誤差，一般用訓練集外的誤差，即整個輸入空間上的誤差期望減去訓練誤差。 本文分析了該對偶回歸方案的泛化界，從有限函數空間的簡單情況開始，將其推廣到一個具有無限函數空間的更廣泛情況。令LP[P(x)，y]+λLD{D[P(x)，x]}是從x×y映射到[0，C]的一簇函數，假設函數空間Hdual是有限的，則存在一個滿足0≤η≤1 的η，至少以概率1-η，使不等式(7)成立:

因此，在相同的訓練集樣本數量條件下，本文所提出的DRAN-SR 算法具有更小的泛化界，在未知數據中取得更好的圖像超分辨率重構效果。

2 實驗結果與分析

本文采用DIV2K 測試數據集作為數據源，該數據集包含1 000 張2 K 高清圖像。 測試過程中利用數據集中成對的高分辨率原圖與對應2、3、4、8 倍降采樣低分辨率圖片進行模型訓練，并采用了五個基準測試集Set5、Set14、BSD100、Urban100 和Manga109 對所提出的DRAN-SR 算法進行測試驗證。

實驗場景設置如下:DRAN-SR 使用RGB 三通道圖像進行訓練，在輸入前對圖像做歸一化處理，每一批輸入是16 幅尺寸為48×48 的圖像，這些小的圖像塊都從數據集原圖中隨機截取得到，提高了數據豐富性。 訓練過程使用L1 損失函數和Adam 優化器，其中β1=0.9，β2=0.999，ε=10-8，學習率初始化設置為10-4。 在迭代過程中通過余弦退火下降方式逐漸降到10-7，雙回歸損失函數的權重系數λ設為0.1。 實驗用到的主要參數如表2 所示。

表2 實驗參數設置

本文設置原始回歸網絡的每個基礎重構塊MRAN 包含8 個殘差組RG，則對應4 倍的超分辨率原始網絡包括2 個基礎重構塊，共有16 個殘差組RG；8 倍的超分辨率原始網絡包括3 個基礎重構塊，共有24 個殘差組RG。 本文對DRAN-SR 算法與其他網絡在Set5 數據集上進行4 倍超分辨率重構，網絡性能與參數量之間的對比關系如圖4 所示。

圖4 不同模型參數量與重構性能對比

圖4 中橫坐標表示模型的參數量(百萬級別)，縱坐標表示峰值信噪比(Peak Signal to Noise Ratio，PSNR)性能指標。 從圖中可以看出，在Set5 測試集中DRAN 的PSNR 明顯優于傳統的插值法、SRCN 及VDSR 算法，與參數量龐大的EDSR 相比也有其優勢。

為了驗證雙回歸超分辨率重構的有效性，本文進行了四倍超分辨率重構的消融實驗(Ablation Experiment)，實驗結果如表3 所示。 從表3 中可以看出DRAN-SR 與基線相比，雙回歸模型在各個數據集上都有更好的性能。

表3 雙回歸方法消融實驗(SR×4)

通過引入一個附加的約束條件來減少映射函數的空間，對偶回歸方案可以改善HR 圖像的重構效果。 表4 給出了DRAN-SR 與其他方法在各個基準數據集上2、3、4、8 倍重構后圖像的PSNR 和結構相似性(Structural Similarity，SSIM)，最好結果和次好結果分別使用黑體和下劃線標記。

表4 實驗結果對比

從表4 中可以發現，DRAN-SR 算法的結果明顯優于EDSR-SR、VDSR-SR、SRCNN-SR、Bicubic-SR 等算法。 在重構倍率較小的情況下，DRAN-SR 在小部分測試集中的結果略差于EDSR。 但在重構倍率較高的情況下，DRAN-SR 的重構效果明顯優于擁有更大參數量的EDSR-SR。 因此，由于強大的特征提取能力和更好的學習能力，DRAN-SR 在不增加額外參數的前提下，在重構倍率較高的圖像超分辨率重構中取得更好的結果。

圖5 顯示了不同圖像超分辨重構算法在各個基準測試集中得到的測試圖像，可以發現DRAN-SR得到的重構結果細節更豐富，邊緣紋理更加清晰，從視覺上能給人帶來更好的主觀體驗。

圖5 基準測試集測試結果

3 總結

本文引入對偶雙回歸網絡架構，將基于注意力機制的多級殘差網絡作為原始網絡的基礎重構塊，提出了一種基于雙重殘差注意力網絡結構的圖像超分辨重構方法。 回歸網絡結構模型通過對LR 數據增加額外約束減少可能的映射空間，提高HR 圖像的重構質量，多級殘差注意力網絡通過強大的特征提取能力和更高的特征利用率，使得重構的HR 圖像擁有更多的細節紋理。 基于標準測試集的實驗結果驗證了本文算法相較于以前的圖像超分辨重構方法，在主觀視覺評價和客觀量化評價上都取得了明顯的性能提升。