基于退化感知的盲超分辨率模型

蔡建楓，蔣年德

（東華理工大學 信息工程學院，江西 南昌330013）

1 引言

20 世紀首次提出圖像超分辨率重建后，圖像超分辨率重建在醫療、航天、三維點云［1］等領域均取得了顯著成就。單圖像超分辨率重建（Signal Image Super-Resolution，SISR）是從低分辨率圖像中恢復高分辨率圖像的過程。重建過程一般可以分為4 個尺度i（i=2，3，4，8），i表示圖像邊長增加了i倍，即像素密度增加了i倍。Dong 等人［2］將卷積神經網絡（Convolutional Neural Network，CNN）引入單圖像超分辨率（SISR）以獲得良好性能。為了進一步提高圖像超分辨率（Super Resolution，SR）的性能，Kim 等人［3］提出了深度遞歸卷積的方法，其使用了遞歸監督與跳躍鏈接和不同的訓練策略來解決網絡出現的梯度消失問題。此外，Lim 等人［4］提出移除批量歸一化層（BN）能提高模型性能。Dong［5］和Hui［6］等人考慮了模型輕量化。Qiu 等人［7］考慮了圖像低頻和高頻有不同的處理復雜度，提出了一個分離高頻和低頻信息的網絡。Liu 等人［8］提出了一種新的殘差特征聚合框架。上述方法的輸入圖像都是基于固定退化模式生成，然而SR 是一個典型的逆問題，它嚴重依賴于退化模型［9-10］，當實際退化模式與其假設不同時，這些方法的性能會嚴重退化［11-12］。因此，未知退化模式（Blind super-resolution，Blind SR）的問題使大多數SR 方法失效。此外，現有的基于深度學習的方法在真實世界圖像中受到了很大的限制。近年來，除了盲SR 之外，有幾種非盲方法被提出用來處理實際應用中的各種退化模式［13-14］，具體來說，這些方法是使用一組退化組合進行訓練，例如，不同的模糊和噪聲的一些組合。此外，它還假定被測試的LR 圖像的退化是已知的，當真正的退化是已知時，這些非盲方法產生了滿意的SR 結果［15-16］。然而，這些非盲方法的性能高度依賴于退化信息估計的準確性，當估計誤差較大時，會產生明顯的假象。為了解決這一問題，Gu 等人［17］提出了一種迭代內核校正（Iterative Kernel Correction，IKC）的盲SR 方法，它可以通過觀察以前的SR 結果來校正估計的退化。通過迭代校正估計的方法，可以準確估計退化信息。因為它們在測試時需要對退化估計方法和IKC 進行大量迭代，所以這些方法非常耗時。

上述應對真實世界圖像退化的方法都是基于像素級的退化估計，其中需要對圖像每個像素的退化進行估計，當估計的退化偏離真實圖像時，SR 的性能就很差。Wang 等人［18］提出了區分各種退化來學習退化表征，降低了退化估計的難度。盡管Wang 等人提出的退化感知超分辨率（Degradation-aware Super Resolution，DASR）方法在盲超分辨率任務上取得了滿意的性能，但設計的圖像恢復網絡仍有不足之處。首先，恢復網絡里的退化感知模塊只傳入下一個模塊，沒有充分利用中間層的特征相關性，因此低分辨率圖像（Low-resolution image）的紋理細節往往在超分辨率結果中被平滑化。其次，在SR 任務中，生成精細的紋理仍然是一個非常艱巨的問題。雖然DASR 通過使用通道注意力得到的結果保留了一些細節信息，但是這些基于通道注意力的方法只利用了退化表征，在保留信息紋理和恢復自然細節方面很困難，會損失恢復圖像中的一些細節部分。

為了解決這些問題，本文提出了一個新穎的盲圖像超分辨率重建模型。該模型由多個以退化感知塊為基礎的殘差組構成，退化感知塊使用一種基于圖像特征和退化表征交叉的空間注意力計算方法，這種方法會融合圖像退化表征和圖像特征，學習特征圖中不同位置的權重，加強紋理和邊緣等高頻信息的提取能力。此外，本文模型還引入了層級特征復用模塊，通過考慮多層特征之間的相關性來學習特征層間的權重，增強圖像超分辨率恢復能力。

2 本文方法

本文模型主要包括4 個模塊：退化表征提取模塊、基于退化表征交叉注意力的圖像特征提取模塊、層級特征復用模塊和上采樣模塊。為了建模一個符合真實世界的復雜退化模型，本文對原圖像使用隨機生成的各向異性高斯核進行模糊處理。基于像素級退化估計的難度較大，用對比學習提取退化表征只需要區分開不同退化，更容易學習，而且不需要準確的模糊核作為標簽幫助訓練。學習到的退化表征和低分辨率圖一起輸入圖像特征提取模塊。圖像特征提取模塊主要由5 個殘差退化學習模塊（Residual degenrate learning block，RDLB）組成，在每個RDLB 內部包括5 個退化感知塊（Degradationaware block，DAB），每個DAB 包括2 個退化感知卷積塊（Degenerate-aware convolution block，DACB），DACB 能夠充分結合退化表征來提取圖像特征。層級特征復用模塊（Layer feature reuse block，LFRB）提取不同深度的特征，為之分配不同的注意力權重，提高特征表示能力。上采樣模塊用亞像素卷積把圖像特征放大目標上采樣倍數，再用卷積獲得恢復圖像。具體網絡結構如圖1 所示。

圖1 基于退化感知的整體結構圖Fig.1 Overall structure diagram based on degradation aware

2.1 圖像退化模型

盲SR 旨在從具有未知和復雜退化的低分辨率圖像中恢復高分辨率圖像。本文通過區分不同的退化來處理LR 圖像。通常采用經典的退化模型［19］來合成低分辨率輸入。LR 圖像和退化信息可以表示為：

其中：?和↓代表著卷積操作和下采樣操作，k代表模糊核，S代表下采樣比例因子，n代表噪聲，ILR是低分辨率圖像，IHR是高分辨率圖像。本文為了建模現實世界的退化，研究了一個帶有各向異性的高斯核的更普遍的退化模型，即對每個低分辨率圖像隨機生成各自的模糊核k，并在模糊核后用雙三次下采樣方法進行下采樣操作

2.2 退化表征的提取

本文使用MoCo［20］對比學習的方法進行退化表征學習。它根據一個樣本的不同視圖具有相似信息來捕捉類別特征，將同一樣本的不同視圖作為正樣本，不斷拉近這些視圖的特征，其他樣本的視圖作為負樣本盡量遠離。本文將具有相同退化模式的圖像作為正樣本，不同退化模式的圖像為負樣本。詳細來說，給定一批HR 圖像，首先從每個圖像中隨機裁剪兩個小塊圖像并對它們按縮放因子進行退化處理，得到小塊圖像列表，每個Pi是由同個退化模式處理得到的兩個小塊圖像，需要注意的是，Pi之間的退化模式是不同的。由于具有不同的退化模式而被用來對比學習退化表征。無監督對比學習需要建立一個大型字典作為負樣本，本文遵循MoCo 的做法，建立一個隊列作為負樣本字典，當前小批次的特征表示作為負樣本入隊時，最老的特征出隊。退化表征提取模塊的輸入為P?，模塊由6 個卷積層組成，每一層在批量標準化后由LeakyRelu 激活，最后通過自適應平均池化獲得退化表征R。最后，使用InfoNCE 損失進行對比學習：

其中：E(·)表示退化表征提取，Nque表示隊列長度，是jth負樣本，τ是溫度超參數，B是批量大小。

2.3 基于退化表征的交叉注意力方法

真實世界中的退化可能是空間變化的，而DASR［17］假設圖像在空間上具有同一退化。DASR直接將退化信息經過兩層全連接層和Sigmoid 后作為通道注意力，但退化信息不同于SR 網絡中傳播的紋理特征，即退化信息和圖像特征之間存在域差異，因此會干擾紋理特征的提取。Mobile-Former［21］的雙向橋融合局部和全局特征后進行雙向通信，充分發揮卷積在提取局部特征方面的效率和Transformer 在提取全局特征方面的能力。由此得到啟發，本文同時考慮退化表征和圖像的紋理特征，通過交叉注意力方法融合它們，然后學習每個像素特征的重要程度，識別空間變異的退化，提高紋理和邊緣特征提取能力。本文的圖像特征提取網絡以退化感知塊為基本塊，如圖2 所示。整體架構由5 個殘差退化學習塊RDLB 組成，如圖1 所示。首先，低分辨率（Low resolution，LR）圖像經過6 層卷積網絡后，由avgpool 全局自適應平均池化編碼為退化表征。然后，退化表征被輸入到DAB。為了處理圖像的退化信息，在DAB 中使用退化表征和圖像特征計算交叉注意力。具體來說，退化表征和LR 圖像特征F通過一層3×3 卷積初步提取特征后被一起輸入到DAB，退化表征被傳入兩個分支，其中一個通過兩層全連接層后生成動態卷積核W（C×1×3×3），然后使用F和W做深度分離卷積運算，最后通過一個1×1 的卷積層得到F1。圖像經過復雜退化后，用第二個分支來學習像素特征的權重，采用交叉注意力方法將退化表征和圖像特征F融合，它們的計算方法如式（3）所示。退化表征分別經過兩個全連接層后生成K和V（退化表征經過計算轉換后的新特征），圖像特征F不做改變當作Q（圖像特征經reshape 轉換的特征），然后用公式（3）計算得到Zout，再經過1×1 卷積把通道數轉成1 個，再經過sigmoid 函數得到維度是B×1×H×W大小的空間注意力，結構如圖3 所示。

圖3 退化表征交叉注意力塊Fig.3 Degenerate representation cross attention block

該過程可表示為：

其中：d是圖像特征F的通道數，z是退化表征。接下來將兩個分支中的F1和F2執行元素求和并將它們向后傳遞。該方法充分利用對比學習提取的圖像退化表征和LR 圖像特征，分別對LR 圖像特征進行卷積運算和空間權重調制，可以靈活地處理退化信息，加強空間變異退化的判別學習能力，進一步提高網絡的表示能力。

2.4 層級特征復用方法

為了充分利用中間層的特征，提高網絡性能，董等人提出了基于小波域的殘差密集網絡［22］（Residual dense network based on the wavelet domain，WRDSR），該網絡通過跳連接回收不同層特征，但僅使用concat 作為特征融合方法，平等對待不同層特征，這會阻礙模型的表示能力。本文提出層級特征復用方法LFRB，提取各殘差退化學習塊的輸出特征，并通過考慮各層特征之間的相關性，自動為不同深度的特征分配注意力權重，提高提取特征的表示能力，所提出的結構如圖4 所示。模塊的輸入是從N個RDLB 殘差組中提取的中間特征組FGs，維度是N×C×H×W。LFRB 將特征組FGs 重新修整為一個維度為N×CHW的二維矩陣，并應用矩陣乘法與相應的轉置來計算不同層之間的相關性，公式如式（7）所示：

圖4 層級特征復用塊Fig.4 Layer feature reuse block

其中：δ(·)和φ(·)表示softmax 和reshape 操作，wi，j表示第i和j個特征組之間的相關指數。最后，將重新修整形狀后的特征組FGs 乘以帶有比例系數的預測相關矩陣，并加入跳連接，如公式（8）所示：

其中α由網絡自動學習。模塊最后傳入3×3 卷積，輸出通道數與一個殘差的通道數一致。因此，網絡可以自動關注層級特征中的更重要特征。

2.5 損失函數

常用的損失函數有L2［23］、L1［24］、感知損失和對抗損失［25］。本文選擇L1損失函數，給定一批圖像，其中包含B個LR 圖像和其對應HR，L1損失如式（9）所示：

其中：H指本文的SR 模型，整體損失函數定義為L=LSR+Lcl，Lcl是公式（1）的對比損失。

3 實驗結果與分析

3.1 實驗數據

本文根據公式（1）生成LR 圖像用于訓練和測試。將來自DIV2K 的800 張訓練圖像和來自Flickr2K 的2 650 張訓練圖像用作訓練集，并對4 個基礎數據集進行評估，這4 個數據集分別是Set5、Set14、B100 和Urban100。具體來說，本文使用各向異性高斯核作為退化方法進行實驗，其特征為高斯概率密度函數N（0，∑）（具有零均值和變化協方差矩陣∑）。隨機特征值的范圍λ1和λ2為［0.2，4.0］，隨機旋轉角度θ的范圍設置為［0，π］，這些可以確定協方差矩陣∑。

3.2 評價指標

本文選擇峰值信噪比（Peak signal to noise ratio，PSNR）和結構相似性（Structural similarity，SSIM）兩個客觀指標來對比本文模型與其他先進模型的性能。

其中：Ii指HR 圖像在第i位置的值，?指SR 圖像在第i位置的值，Imax為像素最大值255，μ指平均值，σI為方差，為協方差，c1=(0.01×Imax)2，c2=(0.03×Imax)2。

3.3 實驗設置

在訓練中，隨機選擇32 張圖像通過隨機旋轉和翻轉來增強數據。從上述范圍中隨機選擇32 個高斯核來生成LR 圖像。隨機裁剪64 個大小為48×48 的LR 小塊圖像（第2.3 節，每個LR 圖像中有2 個補?。┘捌鋵腍R 圖像塊。使用β1=0.9 和β2=0.999 的Adam 方法進行優化。本文對整個網絡進行了500 個epoch 的訓練。初始學習率設置為1×10-4，每100 個epoch 降低1/2。實驗環境為：GPU 為NVIDIA V100，CPU 8 核，內存為32G，深度學習框架為Pytorch，編程語言為Python。

3.4 消融實驗

為了探究本文提出的基于退化表征和圖像特征的交叉注意力方法和層級特征復用方法在盲超分辨率領域對恢復結果的影響，本文對這兩個模塊進行了消融實驗。將去掉了交叉注意力方法和層級特征復用模塊作為基礎模型，并在放大系數為4 的基礎模型上面訓練500 個epoch，“Baseline+ca”指在基礎模型上添加了交叉注意力模塊，“Ours”指本文提出的整個模型，即引入以上兩個模塊的模型。如表1所示，引入兩個改進模塊時，模型性能有所提高。實驗結果表明，當在基礎模型上引入基于退化表征和圖像特征的交叉注意力方法時，在Set5 數據集上的PSNR 下降0.01，但是SSIM 提高0.001 1；而在Set14 數據集上，PSNR 提高了0.2，SSIM 提高了0.002 3。當同時引入兩個模塊時，模型比基礎模型和只引入交叉注意力方法的模型均提升了性能，在Set5 數據集上比基礎模型的PSNR 提高0.03，SSIM 提高了0.000 7，在Set14 數據集上比基礎模型的PSNR 提高0.25，SSIM 提高0.004 7。綜上所述，相較于基礎模型，本文提出的交叉注意力方法和層級特征復用方法對圖像的恢復效果提高顯著。

表1 不同模塊組合的實驗結果Tab.1 Experimental results of different module combinations

3.5 交叉注意力機制分析

為了驗證交叉注意力機制的有效性，本文可視化了不同層的注意力圖。輸入圖像是從Set14挑選的，整體用圖4 的模糊核1 執行模糊退化，再在中間小矩形用模糊核2 執行模糊退化，然后輸出模型訓練完成后的第8、20、28 和40 層注意力圖?？梢钥闯?，不同的注意力層以不同的粒度識別圖像。圖5 表明，低層注意力能學習粗粒度的顏色變化和細粒度的顏色變化，如8 層的顏色塊和20 層的點和線條，中間層注意力能學習區分前景和背景，高層注意力能學習區分空間變異退化。

圖5 不同層的注意力圖Fig.5 Attention map of different layers

3.6 現有先進模型的對比

3.6.1 定量比較

本文與RCAN［26］、DASR［18］、IKC［17］、HAN［27］、Bicubic 這幾個算法的性能進行了比較，在數據集Set5、Set14、Urban100 和BSD100 上測試不同放大系數（×2，×4）的超分辨率恢復結果，用PSNR和SSIM 作為指標進行比較。測試數據集的LR圖像生成設置使用各向異性的高斯模糊和雙三次下采樣，隨機特征值的范圍λ1和λ2為［0.2，4.0］，隨機旋轉角度θ的范圍設置為［0，π］，隨機種子固定設置為0，這樣能確保不同圖像使用不同的參數。如表2 所示，本文提出方法的性能領先于其他算法，表明交叉注意力方法和層級特征復用方法具有泛化能力，能提升圖像恢復能力，并取得很好的客觀評價指標。

表2 不同SR 算法在2 倍放大系數的測試結果Tab.2 Test results of different SR algorithms at 2X magnification factor

表3 不同SR 算法在4 倍放大系數的測試結果Tab.3 Test results of different SR algorithms at 4X magnification factor

3.6.2 視覺效果

不同模型的恢復結果可視化如圖6、7、8 所示。圖6 中HAN、RCAN 和Bicubic 算法幾乎無法恢復出小鳥頭部的輪廓邊界，IKC 則有較好的提升，而本文方法恢復的圖像有明顯的提升，輪廓更加明顯，最接近HR 圖像。如圖7 所示，在Set14的“pepper”圖像上，Bicubic 算法恢復圖像在邊緣處有少許馬賽克，HAN、RCAN 算法恢復的紋理在視覺上相近，IKC 則錯誤地恢復出蔬菜的邊緣，而本文算法的恢復圖像在紅色部位的邊緣有清晰的邊界，更加接近HR 圖像。如圖8所示，在恢復字體方面，本文算法也是領先于其他算法，恢復文字更加清晰。綜上可以看出，HAN、RCAN 和Bicubic算法在復雜退化的LR 圖像上的性能并不理想。IKC 受益于迭代核，產生了較清晰的結果。在處理具有復雜退化的LR 圖像時，本文模型的視覺效果和圖像質量要更加優秀。

圖6 Set5 中“bird”恢復結果對比圖Fig.6 Comparison of “bird” recovery results in Set5

圖7 Set14 中“pepper”恢復結果對比圖Fig.7 Comparison of “pepper” recovery results in Set14

圖8 Set14 中“ppt3”恢復結果對比圖Fig.8 Comparison of “ppt3” recovery results in Set14

3.6.3 對真實世界圖像的實驗

為了進一步證明本文模型的有效性，本文對真實世界圖像進行實驗和可視化，在RealSR數據集上測試放大4 倍的超分辨率恢復結果。RealSR 數據集通過調整數碼相機的焦距，在多個自然場景下拍攝成對的LR-HR 圖像。如表4所示，本文模型在隨機的模糊核條件下訓練，在真實世界數據上測試，跟其他模型對比具有較好的性能。

表4 模型在RealSR 數據集上的定量比較Tab.4 Quantitative comparison of the models on RealSR

同時在沒有HR 圖像的真實退化圖像上比較各模型性能，通過視覺對比進行評估。如圖9 所示，HAN 和RCAN 都產生了很明顯的模糊線條；IKC 具有多次迭代而產生了更高的清晰度，但右上角的線條仍然有少量模糊；本文模型的交叉注意力方法幫助產生比IKC 更清晰的線條邊緣和細節。如圖10 所示，在文字恢復方面，其他模型恢復的ADVISE 字母有各種程度的模糊。圖11 中IKC 產生了較明顯的振鈴。本文的模型恢復了清晰的字母、尖銳邊緣和高頻細節。綜上表明，本文模型在真實世界圖像上具有良好的泛化能力。

圖9 真實圖像放大4 倍的對比圖1Fig.9 Comparison chart 1 of the real image magnified 4 times

圖10 真實圖像放大4 倍的對比圖2Fig.10 Comparison chart 2 of the real image magnified 4 times

圖11 真實圖像放大4 倍的對比圖3Fig.11 Comparison chart 3 of the real image magnified 4 times

4 結論

為了處理真實世界中具有復雜未知退化的圖像，本文提出了一種基于退化感知的盲超分辨率模型。首先它通過隨機各向異性的模糊核生成LR 圖像，建模一個盡量符合真實世界復雜退化的模型；接著用對比學習提取一個用來區分退化方法的表征，避免學習像素級別的退化估計；然后把退化表征經過全連接層后作為圖像特征提取的卷積核，同時把退化表征和LR 圖像特征做交叉注意力計算，生成的空間注意力圖給圖像特征分配權重，更好地恢復高頻細節，同時此方法還能識別到空間變化的退化方法；最后為了更好地利用各殘差組生成的層級特征，本文還提出了層級特征復用方法，用注意力方法計算不同深度的層級特征之間的相關性，并生成權重圖來提取各層特征。消融實驗證明了本文提出的交叉注意力方法和層級特征復用方法在評價指標上有所提高，能提升恢復圖像的質量。通過與其他先進算法比較，本文提出的方法在評價指標和視覺效果上均有較好的結果。本文提出的算法在盲圖像超分變率領域的性能較好，但模型參數量較大和運算速度較慢，未來的研究將在小型設備中提供快速運算功能。