基于GAN的圖像超分辨率方法研究

王旺 徐俊武

摘 要：圖像超分辨率是一種采用軟件算法提高圖像空間分辨率的技術，由于傳統超分辨率方法超清程度有限，基于深度學習的圖像超分辨率方法成為研究者們近年來的研究重點。基于生成對抗網絡（GAN）的圖像超分辨率方法，在其網絡模型結構基礎上增加批處理歸一化（BN）層以提升網絡收斂速度、加強網絡訓練穩定性，更改上采樣層網絡并對損失函數作相應修改。在網絡訓練過程中，選擇當前比較通用的Adam優化器。實驗結果表明，該方法具有很好的超分辨率圖像重建能力，且在訓練過程中訓練穩定性得到提升，收斂速度也有所加快。

關鍵詞：超分辨率;生成對抗網絡;深度學習;圖像重建

DOI：10. 11907/rjdk. 182450

中圖分類號：TP317.4

文獻標識碼：A文章編號：1672-7800（2019）006-0181-03

Abstract：Image super-resolution is a technology that uses software algorithms to improve the spatial resolution of images. The traditional super-resolution methods can not avoid the limitation of blur or super-resolution. Image super-resolution method based on deep learning has become the focus of researchers. Generative adversarial networks （GAN） are the hottest deep neural networks in recent years. This paper explores the method based on GAN. The super-resolution method which increases the use range of batch normalization and modifies the up-sampling method， also modifies and optimizes the loss function and its optimizer selection， optimizes the training instability of the image super-resolution method based on GAN and greatly enhances the stability. The optimized method is still very good. Excellent images and super resolution capability verified the features in an experimental way.

Key Words：super-resolution; generative adversarial network; deep learning; image reconstruction

0 引言

圖像超分辨率（Super Resolution，SR）是將低分辨率（Low Resolution，LR）圖像通過一定算法提升到高分辨率（High Resolution，HR）[1]的技術。圖像超分辨率技術可應用于許多重要領域，例如：衛星圖像要求為高分辨圖像，以便地面中心能更好地識別出相關信息;某些檢測識別控制裝置也需要分辨率較高的圖像，以保證分類精確度;在醫學領域，高分辨率圖像是重要的疾病判斷依據[2]。

圖像超分辨重建技術于20世紀60年代由Harris[3]首次提出，傳統圖像超分辨率方法有基于插值的方法、基于重建的方法與基于學習的方法[4]。其中基于插值的方法具有最簡單的計算過程與最低計算復雜度，經典方法包括最近鄰插值[5]、雙線性插值[6]和雙三次插值[7];基于重建的方法也稱為基于模型的方法，通常分為建模與重建兩個步驟，經典方法包括迭代反投影法[8]、凸集投影法[9]與最大后驗概率估計法[10-11];傳統基于學習的方法是基于淺層網絡的學習方法，主要包括基于流行學習[12]的方法與基于稀疏表示[13]的方法。

Dong[14]最早提出基于深度網絡學習的方法，基于卷積神經網絡的圖像超分辨率方法（SRCNN）首次使用深度學習解決圖像超分辨率問題，之后不斷有學者對其進行優化與改進。本文主要研究基于生成對抗網絡（GAN）的圖像超分辨率方法。

1 網絡模型設計

1.1 生成對抗網絡

生成對抗網絡（Generative Adversarial Networks，GAN）是Goodfellow等[15]在2014年提出的一種生成模型，其是在深度學習生成模型基礎上發展而來的。它在網絡結構上除生成網絡外，還包含一個判別網絡。生成網絡與判別網絡之間是一種對抗關系[16]。

以圖像超分辨問題為例，在解決該問題過程中，生成網絡要將模糊的低分辨率圖像作為輸入，并輸出一個高分辨率的清晰圖像。判別網絡則要判斷輸入圖像是真實圖像還是生成網絡生成的圖像，生成網絡得到判別網絡的反饋之后繼續進行圖像生成，直到判別網絡無法準確區分真實圖像與生成圖像，即達到理想的納什均衡狀態。

1.2 網絡模型設計與優化

在基于GAN的圖像超分辨率方法（SRGAN）中，網絡模型分為生成網絡模型和判別網絡模型。

1.2.1 生成網絡模型

原SRGAN方法的生成網絡模型結構如圖1所示，其中每種色塊表示一層網絡，相同網絡使用相同顏色。在其網絡模型中，基本結構是先輸入一張LR圖像，使用激活函數ReLU接入一層卷積層進行特征提取;之后接入5個殘差網絡[18-19]模塊（Residual Networks Blocks）。在圖1中可以看出每個殘差網絡模塊的內部結構，每個模塊使用兩個卷積層及兩個批量歸一化層[20]。殘差網絡最重要的結構是跳躍連接（skip connection），通過該方式可以保持梯度，避免網絡退化問題;在殘差塊之后使用兩個上采樣層，通過亞像素卷積層[17]實現上采樣操作，每層放大2倍，總共實現放大4倍的效果;最后通過一層卷積將通道數降為RGB通道，輸出最終圖像。

由于GAN網絡本身存在的缺陷，在實現過程中很難達到最理想狀態，也即納什均衡狀態，具體表現為其在訓練中十分不穩定，計算損失時高時低，而且訓練最終也不一定能達到最低點，收斂不是很徹底，并且還可能出現模式崩潰（model collapse）問題，導致訓練效果非常差，即使增加訓練時間也無法改善，在SRGAN中也存在類似問題。本文主要優化項包括：①使用轉置卷積[20]替換亞像素卷積進行上采樣，亞像素卷積雖然被稱為卷積，實際上沒有卷積操作，而卷積在提取圖像特征方面發揮著重要作用，所以使用轉置卷積進行上采樣會達到更好的效果;②由于BN層可起到很好的提升收斂速度、穩定網絡訓練效果的作用，本文在每一層卷積之后都使用BN層進行歸一化處理;③將生成網絡輸出層的激活函數改為Tanh函數。

1.2.2 判別網絡模型

判別網絡相當于一個特征提取模塊，激活函數選用leak ReLU函數，可以防止梯度稀疏，總共執行4次卷積運算。除在輸入層之后不添加BN層外，在之后的三層卷積之后都添加BN層，最后卷積降維到1，接入sigmoid激活函數，輸出對輸入圖像的判斷結果。其中leaky ReLU函數斜率設置為0.2。網絡結構如圖2所示。

1.2.3 損失函數設計與優化

在傳統深度學習的圖像超分辨率方法中，使用的損失函數大多是MSE，但是使用該函數在圖像放大倍數為4倍時，生成的圖像會顯得過于平滑而缺少一些細節上的真實感。在本文的優化方法中，對生成網絡定義的損失函數采用GAN網絡的通用方法，其損失函數除生成過程本身造成的重建損失外，還有通過判別網絡反饋的對抗損失，從而有效提升了最終生成的圖像效果。

2 實驗設計

本實驗使用的硬件配置為：CPU i7 6700，16G內存，GTX970m顯卡;軟件環境為：Tensorflow 1.4，python 3.6。實驗采用訓練集為DIV2K數據集，這是一種用于圖像復原任務的高質量（2K分辨率）圖像數據集。

本實驗評價標準分為主觀評價與客觀評價，其中主觀評價是從視覺效果上感受圖像細節清晰程度，客觀評價是通過計算原圖像與生成圖像的PSNR（Peak Signal-to-Noise Ratio）和SSIM（Structure Similarity Index）指標進行評價。其中PSNR是最常用的圖像質量評估指標，SSIM主要用來衡量圖像結構完整性。這兩個值越高，代表重建結果的像素值與標準越接近。

2.1 實驗方法

在圖像集中選取一張測試圖像進行1/4倍降采樣處理，將其作為輸入的低分辨率圖像，然后通過SRGAN方法生成高清圖像。同時，本實驗還將低清圖像采用雙三次插值法進行重建，并與生成圖像的超分辨率效果進行對比。

2.2 實驗結果分析

圖3分別展示了通過插值法生成的高清圖像、通過SRGAN方法生成的高清圖像與原始高清圖像。從重建效果來看，插值法雖然在尺寸上與跟高清圖像一致，但其在視覺效果上非常模糊，圖像細節不清晰，邊緣也不夠銳利，而SRGAN方法生成的圖像則視覺效果較好。根據表1中的數據，從客觀評價來看，SRGAN生成圖像的PSNR與SSIM值也比傳統插值法高。因此，實驗從主觀與客觀兩方面都驗證了SRGAN確實具有較好的超分辨率圖像重建能力，并且生成圖像的視覺效果優于傳統方法。

3 結語

本文通過對生成對抗網絡進行研究，對其生成網絡與判別網絡模型進行深入探索，然后對基于GAN的圖像超分辨率方法進行優化，通過添加BN層提升網絡的訓練穩定性與收斂速度，修改上采樣層網絡以提升網絡超分辨率重建能力與生成圖像效果，并修改損失函數和優化器，加強網絡訓練與輸出。最后實驗驗證結果表明，優化后的方法具有良好的超分辨率圖像重建能力，生成的圖像效果十分優異。

參考文獻：

[1] PARK S C，MIN K P，KANG M G. Super-resolution image reconstruction： a technical overview[J]. IEEE Signal Processing Magazine，2003，20（3）：21-36.

[2] 韓小虎. 基于深度學習的圖像超分辨算法研究[D]. 開封：河南大學， 2016.

[3] 黃冬冬. 基于深度學習的圖像超分辨率重建算法研究[D]. 馬鞍山：安徽工業大學，2017.

[4] 于海平，林曉麗，周鳳麗，等.基于稀疏表示的單幅圖像超分辨率重建研究[J].軟件導刊，2017（11）：225-229.

[5] SCHULTZ R R， STEVENSON R L. A Bayesian approach to image expansion for improved definition[J]. Image Processing IEEE Transactions on，1994，3（3）：233-242.

[6] HOU H，ANDREWS H. Cubic splines for image interpolation and digital filtering[J]. IEEE Transactions on Acoustics Speech & Signal Processing， 1978， 26（6）：508-517.

[7] LI X，ORCHARD M T. New edge-directed interpolation[J]. IEEE Trans Image Process，2001，10（10）：1521-1527.

[8] IRANI M， PELEG S. Improving resolution by image registration[J]. Cvgip Graphical Models & Image Processing，1991，53（3）：231-239.

[9] STARK H，OSKOUI P. High-resolution image recovery from image-plane arrays， using convex projections[J]. Journal of the Optical Society of America A Optics & Image Science，1989， 6（11）：1715

[10] SCHULTZ R R， STEVENSON R L. Improved definition video frame enhancement[C].International Conference on Acoustics， Speech， and Signal Processing. IEEE， 1995：2169-2172.

[11] SCHULTZ R R， STEVENSON R L. Extraction of high-resolution frames from video sequences[J]. IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society， 1996， 5（6）：996-1011.

[12] ROWEIS S T， SAUL L K. Nonlinear dimensionality reduction by locally linear embedding[J]. Science， 2000， 290：2323-2326.

[13] YANG J， WRIGHT J， HUANG T， et al. Image super-resolution as sparse representation of raw image patches[C].Computer Vision and Pattern Recognition， CVPR 2008. IEEE Conference on. IEEE， 2008.

[14] DONG C， LOY C C， HE K， et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2016， 38（2）：295-307.

[15] GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets[C].International Conference on Neural Information Processing Systems. MIT Press， 2014：2672-2680.

[16] 唐賢倫， 杜一銘， 劉雨微，等. 基于條件深度卷積生成對抗網絡的圖像識別方法[J]. 自動化學報， 2018（5）：？855-864.

[17] SHI W， CABALLERO J， HUSZáR F， et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[J]. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2016：1874-1883.

[18] 麻旋，戴曙光. 基于殘差網絡的圖像超分辨率算法改進研究[J].軟件導刊，2018（4）：91-93.

[19] IOFFE S，SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift[J]. ARXIV，2015：448-456.

[20] DUMOULIN V，VISIN F. A guide to convolution arithmetic for deep learning[DB/OL]. https：//arxiv.org/pdf/1603.07285.pdf.

（責任編輯：黃 健）