基于退化學習的圖像超分辨綜述

陳紅，周耀東

（西華大學計算機與軟件工程學院，成都610039）

0 引言

人們生活逐漸被網絡滲透，數字圖像作為可視化的信息載體得到了高度關注。而在數字成像系統中超分辨率的研究是很重要的探索方向，尤其是在醫療、監控、壓縮等領域。圖像超分辨技術按退化原理可以分為監督退化的圖像超分辨率和無監督退化的圖像超分辨率。監督退化是先假設出了一個圖像退化模型，這個模型模擬了自然環境下的高分辨率圖像如何退化為人眼觀察到的低分辨率圖像[3-4]，然后經過逆過程得到超分辨率結果。其常用的有兩種模型，一種是先用模糊內核與高分辨率圖像卷積，再使用具有縮放因子的雙三次下采樣器作用于卷積后的高分辨率圖像得到小尺寸的低分辨率圖像，最后再加上一加性高斯白噪聲(AWGN)。Kim 等人[3]采用另一種簡化的模型，直接把高分辨率圖像通過雙三次下采樣器得到退化圖像。無監督退化的提出是為了仿制真實的低分辨到高分辨的超分過程，提出的模型與現實的情況存在很大的區別。本文著重對圖像超分辨率方法分兩類進行闡述和分析，以向人們展示圖像超分辨率技術的發展方向和應用前景。

1 監督退化的圖像超分辨率

監督學習的圖像超分辨率，基本上是學習了人為設計的圖像降質過程的逆過程，需要先構成LR-HR 的圖像對，采用雙三次下采樣的方法將高分辨率圖像縮小為低分辨率圖像，這種方法是現階段主要的研究方式。監督學習是從成對的訓練數據集中學習出一個函數（模型參數），輸入一個低分辨率圖像通過這個函數得到高分辨率圖像；監督學習的訓練集要求包括輸入輸出，也可以說是低分辨率圖像和高分辨率圖像；訓練集中的目標是由人標注的。監督學習就是最常見的分類問題，通過已有的訓練樣本（即已知數據及其對應的輸出）去訓練得到一個最優模型（這個模型屬于某個函數的集合，最優表示某個評價準則下是最佳的），再利用這個模型將所有的輸入映射為相應的輸出，對輸出進行簡單的判斷從而實現分類的目的。監督學習的目標往往是讓計算機去學習我們已經創建好的分類系統（模型），但是在超分辨中是為了學習低到高的映射關系，輸入一張低分辨率圖像最后可以得到一張放大的高清圖像。

從基于傳統的字典學習到基于深度學習的超分辨率方法已經很成熟了，Yang 等人[1]提出了基于圖像塊的稀疏表示圖像超分辨，明顯降低了計算成本，顯著加快算法速度。文獻[24-25]中Freedman 等人[6]提出了基于示例的超分辨框架，不依賴外部示例數據庫，也不使

用整個輸入圖像作為示例補丁的源，而是在自然圖像上遵循局部自相似假設，并從輸入圖像中極其局部的區域提取補丁。大量從外部低分辨率和高分辨率示例圖像對中學習映射功能[1,2,9-10]。近年來，許多基于深度學習的圖像超分辨在網絡結構、學習策略、參數效率上提出創新[3,11-17]。Dong 等人[11]開創了在超分辨率工作中運用深度學習的先河，結構簡單，僅僅使用了三個卷積層。Shi 等人[12]對SRCNN 提出了改進，為了降低復雜度，直接在低分辨率圖像尺寸上提取特征，最后使用亞像素卷積層放大得到高分辨率圖像。Ledig 等人[15]為了增強細節信息，提出了感知損失函數。下面介紹兩種常用的監督退化學習的超分辨方法。

1.1 基于字典學習的超分辨

對超分辨率方法的字典訓練，預先構建高低分辨率圖像對，由于在現實生活中真實的實驗數據很難采集，所以將清晰的圖像進行下采樣和添加加性高斯白噪聲等操作得到低分辨率圖像。設Y∈Rn表示為原始高分辨率圖像，X∈Rm表示為降質處理后得到的低分辨率圖像，HR 圖像和LR 圖像之間的關系可以表示為：

S 表示下采樣因子，B 為模糊算子，n 為加性高斯白噪聲。

將低分辨率圖像X∈Rn圖像雙三次方插值得到和高分辨率圖像相同大小的低分辨率圖像M∈Rn。將所有的M 圖像分成若干個3×3 或者5×5 之類的小塊，小塊之間有1×1 或者2×2 之類的重疊區域，對應的Y 圖像同樣對應坐標位置，分成小塊。對低分辨率圖像塊做特征提取操作，通過4 個濾波器提取低分辨率塊圖像的特征信息，4 個濾波器依次定義為：

每個圖像塊可以產生相應地4 個特征向量，合并后得到最后的特征表示。因為每個低分辨率圖像塊的特征表示都將其鄰近信息編碼進去，這將更好地促進最終SR 重建圖像的相鄰塊之間相互兼容。

接下來隨機初始化字典Dh和Dl并訓練。訓練過程如下：

上面方法是對兩個字典分開訓練，式中?1范數‖ ‖·1為了保證稀疏度，?2范數‖ ‖·2對字典的列向量進行約束。

通過對兩字典同時訓練可以節省時間，Yang 等人采樣聯合字典訓練，假定對高分辨率字典和低分辨率字典的稀疏表示是相似的，則可以用相同的編碼來表示高分辨率和低分辨率圖像塊，上面公式聯合得到：

式中N 和M 分別表示Y 和X 向量形式的維度，接下來一般采用交替優化方法，先對字典固定，更新Z 值：

最終得到D 和Z。

1.2 基于深度學習的超分辨

最近幾年深度學習在處理圖像、文本、語音的任務上表現出了一定的優勢，所以基于深度學習做超分辨也得到了廣泛關注，涌現了大量的文章[31-35]。以下是對近年基于深度學習超分辨方法的部分分析，表1 是部分分類。

影響超分辨效果的因素有很多，例如數據集的多少、學習策略、評價指標等。這幾年在基于深度學習的方法中這些因素都有體現，文獻[21]和[22]在網絡設計上改進，文獻[23]使用感知損失函數來訓練網絡。雖然改進方法很多，但是大致的框架流程是差不多，先提取圖像塊特征，建立映射關系，最后圖像重建。圖1 展示了大致的流程：

圖1 基于深度學習超分辨網絡結構

圖1 是最簡單的直接學習低分辨率到高分辨率映射的網絡結構，提取特征是將圖像分成小塊提取特征，中間的卷積網絡可以看做許多的卷積層，通過不斷地訓練調整參數，最后低分辨率圖像通過學習的參數得到高分辨率圖像。深度學習網絡結構的主要模塊是卷積，池化，激活，這是一個標準的非線性變換模塊。隨著深度學習的發展，更深的結構模型，意味著更好的非線性表達能力，可以學習更加復雜的變換，從而可以擬合更加復雜的特征輸入。然而隨著網絡深度的加深可能導致，梯度不穩定，這就有可能出現網絡加深，性能反而開始下降。殘差網絡[17]的提出，解決了之前網絡結構較深時無法訓練的問題，也提高了性能。文獻[26]結合了之前的字典學習提出了的殘差字典學習，將低分辨圖像與高分辨圖像的殘差高頻信息學習出來。圖2展示了基于殘差學習的圖像超分辨。

圖2 基于殘差學習的超分辨網絡

圖2 中網絡輸入的是低分辨率圖像通過插值后變成目標像素的低分辨率圖像，再將這個圖像與網絡學到的殘差相加得到最終的輸出。殘差網絡用來處理超分辨問題再合適不過，其原因在于輸入的低分辨率圖像和輸出的高分辨率圖像在很大程度上是相似的，也就是指低分辨率圖像攜帶的低頻信息與高分辨率圖像的低頻信息相近，在訓練階段帶上這冗余部分會多花費大量的時間，實際上我們只需要學習高分辨率圖像和低分辨率圖像之間高頻部分的殘差圖像即可。之后改進基于殘差學習的網絡提出了很多方法，何愷明[16]第一次將遞歸神經網絡結構融入圖像超分辨任務，而Tai等人[18]對一些殘差網絡的結構進行了分析調整，提高了網絡性能。

2 無監督退化的圖像超分辨率

深入了解一些如今做超分的方法，會發現大家都是先將原圖HR 進行下采樣得到LR，再用LR 作為輸入，經過設計的超分算法，得到SR，與原來的HR 計算圖像質量指標，如PSNR、SSIM 等。這個流程跟我們的實際應用場景相差甚遠，需要做超分的輸入圖片，大多數都沒有經過下采樣，即使是有圖像質量壓縮，模式也是未可知的，遠遠不是用某個函數下采樣就能模擬出來。所以針對現實生活中低分辨率圖像的模糊核未知且對應的高分辨率圖像不存在的問題提出了無監督退化學習，所謂無監督的訓練，就是指在訓練過程是不需要配對的圖像對去用于訓練。

目前無監督超分辨率方法很少，Zhang[19]設計了一個新的SISR 退化模型，利用現有的盲去模糊方法進行模糊核估計，文章給出的實驗效果很好，但是經過實驗后發現，在未知模糊核的情況下效果仍待改進。自2014 年Ian Goodfellow 提出了GAN（Generative Adver?sarial Network）以來，對GAN 的研究可謂如火如荼，各種GAN 的變體[28-30]不斷涌現。Kupyn 等人[27]實現了一種基于GAN 盲運動去模糊的方法，即在沒有關于模糊核信息的前提下，給定模糊圖像，復原清晰圖像。Ledig等人[15]利用GAN 增強了超分效果，提出了感知損失函數，它包含了對抗損失和內容損失，對抗損失采用了一個判別器網絡，使結果更加接近原始自然圖像，但它不是無監督退化的方法。最近Zhao 等人[2]提出了一種無監督退化學習的單圖像超分辨，利用生成對抗網絡模擬真實的超分辨過程。生成對抗網絡主要分成兩個部分，一個是生成器，顧名思義它的功能是生成數據；一個是判別器，用來判斷生成的數據的真假。如圖3 顯示了簡單的無監督退化超分辨生成對抗結構。

在這個網絡中，雙向結構一致性被利用于去訓練退化和超分辨率重構網絡，以一種非監督的方式，退化網絡可以通過使用生成對抗網絡去建模從高分辨率到低分辨率的退化過程，然后這些生成的逼真的低分辨率圖像和現實生活中的高分辨率圖像用于去訓練超分辨率重構的網絡，形成第一個循環。然后在第二個逆循環中，實際生活中的低分辨率圖像被用于進一步去穩定SR 重構和退化網絡的訓練。在合成的和實際生活的圖像上的大量實驗表明提出的算法在對比最先進的單圖像超分辨率方法都能變現更出色。

圖3 無監督學習超分辨網絡

3 結語

現代社會網絡迅猛發展，通過圖片、視頻展示和傳遞信息成為一種日常的操作。因而對圖像質量的要求也越來越高，由于設備、技術、距離等限制，導致許多成像系統所得到的圖像不能滿足實際需要，所以圖像超分辨率技術的出現可以解決這些問題。圖像超分辨率在視頻、遙感、醫學和安全監控等領域具都有十分重要的應用，另外其應用也逐步涉及到其他各個領域。在高清數字電視方面采用超分辨率技術會進一步減少成本，提高畫面的質量。超分辨率技術在采集軍事與氣象遙感圖像應用可實現高于系統分辨率的圖像觀測。在醫學成像系統中（如CT、MRI 和超聲波儀器等），可以用圖像超分辨率技術來提高圖像質量，對病變目標進行仔細的檢測。在銀行、證券等部門的安全監控系統中，當有異常情況發生后，可對監控錄像進行超分辨率重建，提高圖像要害部分的分辨率，從而為事件的處理提供重要的線索。單圖像超分辨率是一個具有挑戰性的研究問題，具有重要的現實生活應用，在未來超分辨技術廣泛的應用前景必然會推動這一技術不斷發展。

深度卷積神經網絡在單幅圖像上的超分辨率取得了非常好的效果，人們在網絡結構和學習策略等方面，提出了不同的方法，并獲得了令人振奮的創新。未來既可以從無監督退化學習的方面進行改進，也可以改進損失函數來提升性能。