生成對抗網絡模型的基本介紹和應用綜述

馮杰，班彪華

（廣西師范學院計算機與信息工程學院，南寧 530000）

0 引言

與神經網絡相關的大量工作誕生于20世紀五十年代，然而當時的計算機運行得十分緩慢，數據量也小，科研人員并沒有發現在現實世界中能夠使用神經網絡的場景。因此，在21世紀初，神經網絡幾乎被機器學習領域學者所遺忘。直到近年來，神經網絡最先在2009年的語言識別領域，接下來在2012年的計算機視覺中，其憑借優異的表現重新回到人們的視線（同時伴隨著LeNet、AlexNex等網絡架構的提出）。大數據（Big Data）以及廉價高速的GPU為神經網絡的發展提供了動力，使其快速成為當今最炙手可熱的研究方向。

深度學習是機器學習中十分令人振奮的一個分支，它利用大量的數據來訓練計算機去做一些之前只有人類才能做的事情，諸如如何分辨圖像中有哪些物體，分辨人們在打電話時對話的內容，將文檔翻譯成另一種語言，幫助機器人探索世界并對各種事情及時響應，等等。深度學習成為解決機器認知問題最為核心的工具，并且是計算機視覺和語音識別領域當下最為優秀技術之一。

最近幾年，深度神經網絡[1]在圖像識別、語音識別以及自然語言理解方面的應用有了爆炸式的增長，并且都能達到極高的準確度。目前最新進的深度神經網絡算法可以通過數據學習到高度復雜的模型和模式，它們的能力令人印象深刻。然而人類可以做能力遠超出圖像識別和語音識別的任務，而這些任務想要通過機器進行自動化似乎還是天方夜譚。例如：①通過學習維基百科上的文章來訓練出一個人工智能作者，以一種通俗易懂的方式寫一篇面向社區解釋科學概念的文章。②創造一個可以通過學習著名畫家的作品集來模擬他的風格進行創作的人工智能畫家。毫無疑問，這些都是很困難的任務，但是生成對抗網絡（GAN）使得這些任務的解決變為可能。深度學習的領軍人物，Facebook AI部門主管Yann LeCun曾經說過：“生成對抗網絡（GAN）及其變種已然成為近10年來機器學習領域最令人激動的想法。”

1 生成對抗網絡

生成對抗網絡（Generative Adversarial Networks，GAN）是Goodfellow等[2]人在2014年從自博弈論中的“二人零和博弈（即二人的利益之和為零，一方的所得正是另一方的所失）”中受到啟發而提出的。GAN是一個通過對抗過程來估計生成模型的新框架，并可使用隨機梯度下降（Stochastic Gradient Descent，SGD）實現優化。這避免了反復應用馬爾可夫鏈學習機制帶來的配分函數計算，不需變分下限也不需近似推斷，從而大大提高了應用效率[3]。它需要同時訓練兩個模型：捕獲數據分布的生成模型G（Generative Model）和一個用于估計樣本來自訓練數據而非G的概率的判別模型D（Discriminative Model）[1]。生成模型捕捉真實數據樣本的潛在分布并生成新的數據樣本，判別模型是一個二分類器，判別輸入的數據是來自真實數據還是生成的樣本數據。為了能在博弈中勝出，兩個模型需不斷提高自身的生成能力和判別能力。生成模型和判別模型均可用深度神經網絡。生成對抗網絡GAN的優化過程是一個極大極小博弈（Minimax Game）問題，優化的期望是達到納什均衡，使得生成模型估測到數據樣本的分布或生成期望的數據樣本。

2 基于生成對抗網絡GAN的各種變體

2.1 CGAN（Conditionall GAN）

一個生成對抗網絡（GAN）會同時訓練兩個網絡——一個從未知分布或者噪聲中學習生成偽造樣本的生成器，以及一個學習如何從樣本中區分真偽的判別器。

條件生成對抗網絡[4]是在生成對抗網絡（GAN）的基礎上進行了一個擴展。由于GAN不需要預先建模，使得生成過程過于自由，對于較大的圖片，較多像素（Pixel）的情形，基于簡單生成對抗網絡（GAN）的方式就變得不可控。為了解決GAN太過自由這一問題，很自然地就想到給生成對抗網絡增加一定的約束，讓生成對抗網絡以我們理想的方向去生成圖片。在條件生成對抗網絡中，生成模型并不是直接輸入一個隨機噪聲，從一個未知的噪聲分布開始學習，而是通過一個特定的約束條件或者某些特征（例如一個圖像的類別標簽，用于圖像修復的部分數據屬性等）開始學習如何生成樣本。在生成模型和判別模型的建模過程中都引入條件變量，即給兩個網絡都加入一個參數向量y。這樣生成模型和判別模型都擁有一組聯合條件變量。一般情況下，生成模型中的先驗噪聲輸入p（z）和條件變量y會以隱藏節點連接的方式結合在一起。

所以，條件生成對抗網絡的目標函數為：

圖1 條件生成對抗網絡架構

從圖1所示的架構中可以看出，CGAN相比于GAN增加了一個輸入層條件向量C，同時連接到了生成模型網絡和判別模型網絡。

2.2 DCGAN（Deep Convolutional Generative Add--versarial Net woorrkk）

DCGAN即深度卷積生成對抗網絡[5]，它的基本原理是將卷積神經網絡和生成對抗網絡進行結合，將CNN的概念思想融入到生成模型和判別模型中，讓生成對抗網絡的性能得到極大的提高，為后續各種關于GAN的工作提供了思想依據。

DCGAN主要通過以下幾個架構性的約束來固化網絡：

●使用步數卷積取代卷積網絡中的池化層；

●在生成模型和判別模型中均使用批規范化；

●消除網絡架構中較深的全連接層，并且在最后只使用了簡單的平均池化；

●在生成模型的輸出層使用tanh激活函數，而在其他層則使用ReLU激活函數。

●在判別模型的所有層中都使用了Lecky ReLU激活函數。

圖2 DCGAN生成模型的架構圖

2.3 CylclleGAN（Cycle Consistent Generative Nett--wwoorrkk）

循環一致生成網絡[6]最初在論文Unpaired imageto-image using CycleGAN-arXiv：1703.10593,2017 中提出，主要用來尋找不需要其他額外的信息就能將一張圖像從源領域映射到目標領域的方法。被學者們認為是“最好玩”的GANs模型，它可以將灰度圖像變成彩色圖像、將普通的馬轉換成黑白條紋的斑馬、還能將一副普通的畫作瞬間變為具有莫奈和梵高等大師風格的“驚世之作”。

圖3 CycleGAN的有趣應用

CycleGAN的核心思想是一個環形結構，主要有兩個轉換器F和G組成（一個轉換器含有一組生成模型和判別模型），如圖所示，X表示X域的圖像，Y表示Y域的圖像。其中x域的圖像先通過轉換器G生成y域的圖像，再通過轉換器F重構回X域輸入的原圖像。同樣的，y域的圖像先通過轉換器F生成X域的圖像，再通過轉換重構回y域輸入的原圖像。其中判別模型Dx和DY起到判別作用，促使圖像進行風格化遷移。因此，對于一個在域X的圖像x，我們期望函數G(F(x))的結果與x相同；同樣，對于一個在域Y的圖像y，我們期望函數F(G(y))的結果和y相同。

圖4 圖像從域到域的遷移示意圖

CycleGAN模型有以下兩個損失函數：

●對抗損失：它和生成圖像的分布以及目標域的分配相匹配。

●循環一致損失：它用來避免學習到的轉換器G和F互相矛盾。

完整的CycleGAN目標函數如下：

2.4 StackGAN（Stacked Generative Adversarial Networks）

堆積生成對抗網絡的思想最早來自文章Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks—arXiv：1612.03242,2017，GAN 在文中被用于通過文字描述來生成圖像。

通過文本制作逼真的圖像在計算機視覺領域是一個極具挑戰的問題，并且有著極其廣泛的應用場景。通過文本生成圖像的問題可以分解為兩個更易于控制的子問題，進而可以使用StackGAN[7]。通過這種方法，我們根據特定條件（文本描述和上一階段的輸出）堆疊出了一個兩階段生成對抗網絡來解決從文本生成逼真圖像這個問題。

圖5 StackGAN的架構模型

StackGAN模型主要分為兩個階段：

（1）階段一

在本階段中，StackGAN就是一個標志的條件生成對抗網絡，輸入就是隨機的正態分布采樣的z和文本描述刻畫的向量c，網絡需要學習以下內容：

●根據文本描述的條件生成物體大致的形狀和基本的顏色。

●通過先前的分布和隨機噪聲樣本生成背景區域。

在這個階段生成低分辨率的64×64的粗粒度圖像看起來并不真實，有可能物體形態被扭曲，或者丟失了某些部分。

階段一中GAN分別通過下面的公式來訓練判別模型D0（最大化損失）和生成模型G0（最小化損失）：

判別模型損失函數：

生成模型損失函數：

（2）階段二

在本階段中，GAN網絡專注于勾勒細節，將第一階段的生成結果和文本描述作為輸入，用第二個生成對抗網絡生成一張符合文本描述信息的256×256分辨率的高清晰度逼真圖像。

判別模型損失函數：

生成模型損失函數：

3 生成對抗網絡GAN的相關應用

3.1 圖像超分辨率

超分辨率技術（Super-Resolution，SR）是指把低分辨率圖像重建出相應的高分辨率圖像，其在安防監控、衛星觀測和醫療影像等領域都有較為重要的應用價值。SR一般可分為從單張和多張低分辨率圖像重建出高分辨率圖像兩類。基于深度學習的SR，主要是采用單張低分辨率的方法。

來自Twitter公司的Ledig等[8]提出了一個用于超分辨率的生成對抗網絡SRGAN，將低分辨率圖像變換為具有豐富細節的高分辨率圖像。作者以VGG-19網絡作為判別模型，用規則化處理的殘差網絡作為生成模型。實驗結果如圖所示，可以看到SRGAN取得的效果比目前最先進的深度殘差網絡（Deep Residual Net?work，ResNet）更加出色。

圖6 SRGAN生成效果對比

3.2 圖像修復

圖像修復是對圖像上信息缺損區域進行信息填充的過程，其目的是利用圖像現有的信息來恢復丟失的信息。圖像修復技術可用于舊照片中丟失信息的修復，視頻文字去除以及視頻錯誤隱藏等。Pathak等人[9]將CGAN應用到圖像修復中，利用生成對抗網絡的思想，以圖像缺失部分的周邊像素作為生成模型的輸入修復完整的圖像，再將修復樣本和真實樣本輸入到判別模型中，進行對抗訓練，如圖所示，相比于傳統方法（Image Melding），基于GAN的圖像修復可以更好地考慮圖像的語義信息，所生成的修復圖像與周邊更加連貫自然。

最近，英偉達深度視覺實驗室發表了論文Progres?sive Growing of GANs for Improved Quality,Stability,and Variation，提出一種以漸進增大的方式更穩定地訓練GAN，實現了前所未有的高分辨率圖像生成。

3.3 視頻預測

圖7 GAN與傳統方法的數據填補效果[10]

視頻預測是指根據視頻的當前幾幀，來預測接下來發生的一幀或多幀視頻。普遍方法是使用最小二乘法來逐一回歸視頻幀的像素值，這種方法的問題是生成的視頻會存在動作模糊。Mathieu等人[11]最先提出將對抗訓練的思想應用到視頻預測中，其生成模型是根據前面若干幀來生成視頻的最后一幀，而判別模型則是對該幀進行判斷。除了生成的最后一幀外，前面的若干幀都是視頻中的真實圖片，這樣的優點是能使得判別模型利用時間維度的信息更加有效，同時通過對抗，有助于生成幀和前面的若干幀保持一致性。

最近，卡內基梅隆大學和Petuum合作提出了一種對偶運動生成對抗網絡架構[12]，可以使用一種對偶對抗學習機制來學習明確地未來幀中的合成像素值與像素上的運動軌跡保持連貫。具體來說，它能同時根據一種共享的頻率運動編碼器而解決原始的未來幀預測問題和對偶的未來流預測問題。這項研究將有助于解決自動駕駛的難題。

圖8 對偶對抗學習機制架構[12]

4 結語

自2014年Goodfellow提出生成對抗網絡以來，其在機器學習領域得到了廣泛的關注和發展。經過近幾年，各種新穎有趣的生成對抗網絡變體不斷被提出，在計算機視覺的各個領域都得到很好地應用。生成對抗網絡作為一種新型的生成式模型，它的二人零和博弈思想，“無限”的新樣本生成能力，相信會在計算機視覺領域外的語音和語言處理、信息安全等領域發揮更重大的應用價值。