基于GAN的超分辨率的應用

徐鑫 楊鴻陽 管林 張旭

摘 要：針對日常生活中單張圖片清晰度不夠的問題，提出了基于GAN的超分辨率的重建的算法。由圖片效果可看出SRGAN優于SRCNN，在一定程度上可解決SRCNN過于平滑的問題，以低成本給日常視覺帶來享受，可靠，有效。

關鍵詞：超分辨率；生成式對抗網絡；卷積網絡；損失函數

引 言

超分辨率重建是指通過一系列低分辨率的圖像來得到一幅高分辨率的圖像過程。其核心思想就是用一次次的填充來獲得整體空間感，實現時間向空間的轉換。

1生成器

1.1.1 殘差

假設我們想要找一個x，使f（x）=b，給定一個x的估計值x0殘差就是b？f（x0），誤差就是x-x0。

1.1.2 殘差塊

殘差塊的組成如圖所示：

x表示輸入，F（x）表示殘差塊在第二層激活函數之前的輸出，即 F（x）=W2σ（W1x），其中W1和W2表示第一層和第二層的權重，σ表示ReLU 激活函數。最后殘差塊的輸出是σ（F（x）+x）。

1.2判別器

VGG19的作用是圖像識別。其本質是卷積神經網絡，通過反復的使用3*3的小型卷積和2*2的最大池化層，探索卷積神經網絡的深度與其性能之間的關系。

1.3損失函數

內容損失函數選擇基于均方誤差的損失的損失函數：

對抗損失函數選擇VGG模型的損失函數：

2 SRGAN訓練過程和成果分析

2.1 訓練流程

流程應為：

2.2算法分析

我們的目標函數為：

我們先定D的值，讓G取值讓公式先達到最小值，然后固定G，最大化公式，取得D的值。

故將公式表達為：

因為要比對真畫與假畫相似程度，用KL散度，其值越小，差距越小，即越能以假亂真。

我們從真畫里取一些真畫x1，x2，…，xm，可得這幾個樣本的數據似然是：

將問題轉化為找θ最大化這個似然。

采取取對數形式，累乘轉化成累加，最大化累加值，又可轉化為求其期望值來最大化公式。而期望可以展開為在x上的積分形式∫Pdata（x）logPG（x；θ）dx，加減一個常數不會影響函數的整體性質，可添加∫Pdata（x）logPdata（x）dx，對其求KL散度

我們剛剛可知：

在G 給定的，Pdata（x）與PG（x）都可以看作是常數，可分別用a，b來表示，這樣我們就可以得到如下的式子：

上述過程是對式子進行簡化后求導，得到關于D的公式。

當PG=Pdata時將其帶入公式可得：

這意味著生成器和判別器處在一個平衡態，判別器分辨不出Pdata和PG的區別，即判斷樣本來自Pdata和PG 的概率都為 0.5?；谶@一觀點，證明了G就是極小極大博弈的解。

2.3 成果分析

可明顯看出分辨率的提高。但同時也可看出GAN較為不可控，模型過于自由，會出現較為突兀的顏色。在訓練過程中，算法與小程序的連接處較棘手，這也將成為我們接下來要解決的問題。

3 結 語

對與單張圖片的分辨率提出的算法綜合客觀指標和主觀視覺效果因素要優于SRCNN算法，充分說明了本文算法的適 用性。下一步的研究工作將探尋快捷高效省時的算法改進以便重建高質量的。

參考文獻：

[1]王飛躍.生成式對抗網絡的現狀與展望[J].中國計算機學會通訊，第 11期第13卷2017，11（13）：34-39.

[2]張良培，沈煥鋒，張洪艷.圖像超分辨率重建[M]，北京：科學出版社，2012：52-55.