生成對(duì)抗網(wǎng)絡(luò)研究及應(yīng)用

彭泊詞，邵一峰

（北京師范大學(xué)人工智能學(xué)院，北京 100875）

0 引言

近年來(lái)，機(jī)器學(xué)習(xí)領(lǐng)域發(fā)展迅速。在機(jī)器學(xué)習(xí)中，深度學(xué)習(xí)已經(jīng)在人臉識(shí)別[1-3]、人機(jī)對(duì)話[4-5]、機(jī)器翻譯[6-7]等領(lǐng)域取得了良好的效果。機(jī)器學(xué)習(xí)任務(wù)中的無(wú)監(jiān)督學(xué)習(xí)不依賴于大量帶有標(biāo)記的數(shù)據(jù)，是一個(gè)非常具有研究前景的方向。生成模型是無(wú)監(jiān)督學(xué)習(xí)的一項(xiàng)關(guān)鍵技術(shù)，但是早期的生成模型建模比較困難，因此發(fā)展緩慢。生成對(duì)抗網(wǎng)絡(luò)GAN 自Goodfellow[8]等人提出后，由于其新穎的對(duì)抗思想以及優(yōu)秀的生成效果，被學(xué)術(shù)界和工業(yè)界所重視。

1 GAN的基本原理

1.1 模型結(jié)構(gòu)

GAN 最初是在 2014 年由 Goodfellow 等人[8]，受博弈論中的零和博弈啟發(fā)，在NIPS 中提出的。GAN 由兩個(gè)神經(jīng)網(wǎng)絡(luò)構(gòu)成：生成模型G 和判別模型D。其中，生成模型G 用來(lái)生成與真實(shí)樣本相近的生成樣本G(z)。判別模型D 用來(lái)判別輸入的樣本是否是真實(shí)樣本，若判別模型認(rèn)為輸入數(shù)據(jù)x 為真實(shí)樣本則輸出D(x)=1，否則輸出D(x)=0 。GAN 模型結(jié)構(gòu)如圖1所示。

圖1 GAN模型結(jié)構(gòu)

通過(guò)交替訓(xùn)練兩個(gè)模型，使得G 生成的樣本能夠“欺騙”D 以逼近于真實(shí)樣本，D 能夠更準(zhǔn)確的判斷輸入的樣本是來(lái)自于真實(shí)樣本還是由生成模型生成的樣本。當(dāng)訓(xùn)練D 的時(shí)候，對(duì)于真實(shí)輸入的樣本，我們期望得到接近于1 的輸出值，即D(x)趨向于1；如果給定樣本是來(lái)自于生成模型生成的，那么我們期望得到接近于0 的輸出值，即D(G(z))趨向于0，這里的z是輸入到生成模型的服從某一個(gè)簡(jiǎn)單分布（如：高斯分布）的隨機(jī)噪聲。而當(dāng)訓(xùn)練G 的時(shí)候，我們期望得到的生成樣本能夠“騙過(guò)”判別模型，也就是D(G(z))趨向于1。根據(jù)以上所述的原理，可以構(gòu)造出如下所示的目標(biāo)函數(shù)：

如圖1 所示，在GAN 的訓(xùn)練過(guò)程中，先固定G 的參數(shù)，訓(xùn)練D，根據(jù)輸出結(jié)果調(diào)整參數(shù)，使得D 的性能最優(yōu)。然后固定D 的參數(shù)，訓(xùn)練G，得到G 網(wǎng)絡(luò)的參數(shù)。當(dāng)pz=pdata，達(dá)到納什平衡，此時(shí)為全局最優(yōu)。當(dāng)D 判別樣本的準(zhǔn)確率穩(wěn)定在即生成模型無(wú)法判斷出給定的樣本是來(lái)自于真實(shí)樣本還是由生成模型生成的生成樣本。

1.2 模型的優(yōu)點(diǎn)與缺點(diǎn)

GAN 模型相較于其他的模型，具有顯著優(yōu)勢(shì)。與其他的生成網(wǎng)絡(luò)有所不同，GAN 在計(jì)算的時(shí)候可以不使用馬爾科夫鏈，僅僅只需要通過(guò)BP 反向傳播算法來(lái)獲得梯度。除此之外，輸入到GAN 模型中的數(shù)據(jù)先驗(yàn)假設(shè)較少，數(shù)據(jù)可以是任意簡(jiǎn)單的分布，如：高斯分布。并且相較于其他模型，GAN 輸出的生成樣本更加清晰真實(shí)。

雖然GAN 的優(yōu)勢(shì)特別突出，但是同時(shí)也存在著很多缺點(diǎn)。一方面，模型要使得G 和D 訓(xùn)練保持同步，但是實(shí)際情況是二者很難保持同步，因此GAN 模型的訓(xùn)練很不穩(wěn)定。另一方面，原始的GAN 模型是用KL散度和JS 散度來(lái)衡量?jī)蓚€(gè)分布的差異的，而當(dāng)判別模型訓(xùn)練到最優(yōu)的時(shí)候，如果兩個(gè)分布沒有重疊的（在實(shí)際中出現(xiàn)最多的就是這種情況），JS 散度就會(huì)變成一個(gè)常數(shù)，這時(shí)梯度為0，因而生成模型無(wú)法獲得梯度信息。這就是梯度消失現(xiàn)象。除此之外，GAN 模型還具有模式崩潰的缺點(diǎn)。模式崩潰現(xiàn)象是指GAN 模型生成的樣本不具備多樣性，這樣的話就大大削弱了其在數(shù)據(jù)增強(qiáng)中的效果。產(chǎn)生這種現(xiàn)象的原因是，同一類別的高維數(shù)據(jù)，往往集中在某個(gè)低維流形附近，因此生成模型為了安全，會(huì)生成一些重復(fù)的樣本，造成模型的退化。

2 GAN的變體

由于GAN 存在訓(xùn)練困難等問題，研究者們不斷地對(duì)GAN 進(jìn)行改進(jìn)，出現(xiàn)了很多GAN 的變體。下面就幾種常用的變體進(jìn)行討論。

2.1 CCGGAANN

針對(duì)原始GAN 生成過(guò)于自由的問題，Mirza M 等人[9]通過(guò)增加約束條件來(lái)控制生成過(guò)于自由的問題，提出了CGAN，如圖2 所示。在生成模型和判別模型的輸入中增加一個(gè)約束條件y，這樣CGAN 成為有監(jiān)督學(xué)習(xí)，可以向著給定的方向生成數(shù)據(jù)。其目標(biāo)函數(shù)為：

圖2 CGAN結(jié)構(gòu)

雖然CGAN 控制了生成過(guò)于自由的問題，但并沒有解決訓(xùn)練不穩(wěn)定的問題。

2.2 LAAPPGGAANN

LAPGAN[10]是在CGAN 的基礎(chǔ)上，利用多個(gè)CGAN構(gòu)建高斯金字塔和拉普拉斯金字塔[11]生成高分辨率的圖像。拉普拉斯金字塔的公式如下：

圖3 LAPGAN訓(xùn)練過(guò)程[10]

如圖3 所示，對(duì)于拉普拉斯金字塔的第0 層，也就是原始圖像I0，通過(guò)下采樣得到l，再對(duì)其上采樣得到I0，進(jìn)而得到第0 層的拉普拉斯金字塔h0=I0-l0，將其作為CGAN 的真實(shí)樣本數(shù)據(jù)，而后將I0作為CGAN 的條件變量，通過(guò)輸入噪聲z0生成虛假數(shù)據(jù)。通過(guò)不斷訓(xùn)練使得不斷逼近h0，以此類推，逐層完成訓(xùn)練。

訓(xùn)練完成后，將低分辨率圖像z3輸入到G3中，得到圖像I3，對(duì)其上采樣得到G2的條件變量l2，通過(guò)對(duì)G2輸入噪點(diǎn)z2得到h2，將其與l2相加即得到I2。同樣的方式可以得到I1和I0，I0即LAPGAN 得到的高分辨率圖像。

2.3 DDCCGGAANN

DCGAN[12]是嘗試解決GAN 模型訓(xùn)練不穩(wěn)定的一大經(jīng)典模型，它為后序很多工作奠定了基礎(chǔ)。DCGAN通過(guò)將GAN 與CNN 結(jié)合，可以很好地從圖像中學(xué)習(xí)到特征。為了使模型更加穩(wěn)定，DCGAN 在架構(gòu)上相比于CNN 做出了如下改進(jìn)：將池化層替換為了步幅卷積和微步幅卷積；在生成模型和判別模型中使用批量歸一化進(jìn)行訓(xùn)練；去掉了全連接層，只在最后進(jìn)行平均池化；并且在生成模型的輸出層使用tanh 激活函數(shù)，而在其他隱藏層中使用ReLU 激活函數(shù)；在判別模型的所用層中使用Lecky ReLU 激活函數(shù)。

DCGAN 雖然在一定程度上提高了模型的穩(wěn)定性，并且能夠生成多樣性的圖像，但是仍然存在一些形式的模型不穩(wěn)定性，例如，隨著模型的時(shí)間更長(zhǎng)，有時(shí)會(huì)將一些過(guò)濾器的子集塌縮為單個(gè)的振蕩模式。

2.4 InffooGGAANN

由于傳統(tǒng)GAN 網(wǎng)絡(luò)是無(wú)監(jiān)督學(xué)習(xí)模式，隨機(jī)噪聲z 的約束性低，可讀性很差，也就是說(shuō)我們很難確定生成圖像的特征對(duì)應(yīng)于z 的哪一維度，而InfoGAN[13]通過(guò)將隨機(jī)噪聲z 分為c 和z’兩個(gè)部分來(lái)實(shí)現(xiàn)控制生成圖像中的特定特征，其中c 表示隱含編碼，即隨機(jī)噪聲中已知對(duì)應(yīng)特征的某一維度向量，而z’表示未知的不可壓縮的隨機(jī)噪聲信號(hào)。

圖4 InfoGAN結(jié)構(gòu)

如圖4 所示，InfoGAN 的生成模型的輸出改為了G(z’,c)，同時(shí)判別模型D 不僅要判別輸入數(shù)據(jù)的真假，還要通過(guò)分類器實(shí)現(xiàn)隱含編碼c 的校驗(yàn)和更新。相較于傳統(tǒng)GAN，InfoGAN 的損失函數(shù)為：

其中λI(c；G(z',c))表示c與G(z',c)的互信息，即隱含編碼與生成圖像特征的相關(guān)性大小，以此選擇性忽略掉相關(guān)性較小或者“不重要”的隱含編碼。

2.5 WWGGAANN

WGAN 是通過(guò)對(duì)目標(biāo)函數(shù)進(jìn)行優(yōu)化，進(jìn)而提高模型性能的一個(gè)典型例子。原始的GAN 模型的目標(biāo)函數(shù)是通過(guò)JS 散度表征的，因此，當(dāng)兩個(gè)分布互不重疊或者重疊部分可以忽略時(shí)，目標(biāo)函數(shù)會(huì)趨向于一個(gè)常數(shù)，這也是梯度消失的原因[14]。

于是，Arjovsky 等人[15]將JS 散度替換為了Wasserstein 距離（又稱 EM 距離）。Wasserstein 距離具有平滑性，同時(shí)當(dāng)兩個(gè)分布沒有重疊或重疊可以忽略時(shí)，Wasserstein 距離依然可以很好地反映它們的距離，這樣梯度消失的問題就可以在理論上得到解決。

Wasserstein 距離與GAN 模型加以結(jié)合，于是判別模型的目標(biāo)函數(shù)變?yōu)椋?/p>

生成模型的目標(biāo)函數(shù)變?yōu)椋?/p>

WGAN 除了在理論層面上解決了梯度消失的問題，還解決了訓(xùn)練不穩(wěn)定的問題。除此之外，還確立了一個(gè)判斷模型訓(xùn)練好壞的標(biāo)準(zhǔn)。

2.6 WGAANN--GGPP

WGAN 雖然在理論層面上解決了梯度消失的問題，但是該問題在實(shí)驗(yàn)中卻經(jīng)常發(fā)生。因?yàn)椋琖GAN 采用了權(quán)重剪枝的方法來(lái)實(shí)施Lipschitz 約束。然而，滿足Lipschitz 約束條件的情況大多數(shù)都不滿足權(quán)重剪枝。

針對(duì)這個(gè)問題，產(chǎn)生了WGAN-GP[16]。WGAN-GP放棄了權(quán)重剪枝，而是采用一種梯度懲罰的方式。具體來(lái)說(shuō)，就是將Lipschitz 約束正則化，通過(guò)把約束寫成目標(biāo)函數(shù)的懲罰項(xiàng)，以近似Lipschitz 約束條件。

WGAN-GP 在實(shí)驗(yàn)層面也解決了梯度消失的問題，并且具有較強(qiáng)的穩(wěn)定性。但是，WGAN-GP 存在著收斂速度慢的問題，對(duì)于同一個(gè)數(shù)據(jù)集，WGAN-GP 需要訓(xùn)練更多的次數(shù)，才能收斂。

2.7 EEBBGGAANN

EBGAN[17]從能量的角度解決了傳統(tǒng)GAN 梯度消失問題，其與傳統(tǒng)GAN 顯著區(qū)別在于其判別模型D 在本質(zhì)上是一個(gè)能量函數(shù)，判定輸入數(shù)據(jù)的能量越高則說(shuō)明輸入數(shù)據(jù)越接近真實(shí)數(shù)據(jù)，反之能量越低則說(shuō)明越接近虛假數(shù)據(jù)中。

如圖5 所示，相較于傳統(tǒng) GAN 網(wǎng)絡(luò)，EBGAN 并不需要通過(guò)比較KL 散度和JS 散度來(lái)判別輸入的數(shù)據(jù)x是否為真實(shí)數(shù)據(jù)，而是直接將x 輸入到自編碼器中，依據(jù)x 與自編碼器輸出的結(jié)果x’的誤差來(lái)判別x 是否為真實(shí)數(shù)據(jù)。由于自編碼器預(yù)先訓(xùn)練的數(shù)據(jù)就是EBGAN 實(shí)際輸入的真實(shí)數(shù)據(jù)，將未被輸入過(guò)自編碼器的生成數(shù)據(jù)與已經(jīng)作為訓(xùn)練數(shù)據(jù)輸入過(guò)的真實(shí)數(shù)據(jù)所輸出的結(jié)果差異往往會(huì)非常大。也因此EBGAN 比傳統(tǒng)的GAN 模型更加穩(wěn)定，但收斂速度較慢。

圖5 EBGAN結(jié)構(gòu)

2.8 LLSSGGAANN

LSGAN[18]，即最小二乘GAN，其與傳統(tǒng)GAN 網(wǎng)絡(luò)的主要區(qū)別在于，將目標(biāo)函數(shù)的判別標(biāo)準(zhǔn)由交叉熵替換為最小二乘。其損失函數(shù)如下：

其中 a、b、c 有b-c=1，b-a=2 和c=b兩種取值方法，其中需要注意的是，不再去求V(D)的最大值，而是求其最小值，即本質(zhì)上，交叉熵與最小二乘相比，后者不僅要是生成樣本欺騙判別模型，還要使距離決策邊界較遠(yuǎn)的生成圖像盡可能靠近決策邊界，因此LSGAN 可以有效提高生成圖像的質(zhì)量。但同時(shí)，LSGAN 只是將KL 散度替換為了Pearson 卡方散度，并沒有解決梯度消失的問題。

3 GAN模型的應(yīng)用

3.1 風(fēng)格遷移與圖像翻譯

風(fēng)格遷移就是將目標(biāo)圖像的風(fēng)格遷移到原圖像中，使得原圖像在圖像內(nèi)容不變的前提下獲得目標(biāo)圖像的風(fēng)格。簡(jiǎn)單來(lái)說(shuō)，就是將一幅圖像的風(fēng)格轉(zhuǎn)化為另一種風(fēng)格，例如說(shuō)：照片轉(zhuǎn)化為素描畫，照片轉(zhuǎn)化為梵高繪畫風(fēng)格。pix2pix[19]在CGAN 模型的基礎(chǔ)上，生成模型和判別模型分別使用了U-NET[20]架構(gòu)和Patch-GAN 分類模型，實(shí)現(xiàn)了成對(duì)圖像之間的風(fēng)格遷移。CycleGAN[21]提出了循環(huán)一致性的思想，使得兩類圖像經(jīng)過(guò)兩次對(duì)應(yīng)的映射后，又變?yōu)榱嗽瓉?lái)的圖像，該模型消除了pix2pix 只能尋找相互配對(duì)的圖像的劣勢(shì)，不需要配對(duì)的圖像數(shù)據(jù)就可以實(shí)現(xiàn)圖像的翻譯。DualGAN[22]是一種無(wú)監(jiān)督的模型，此模型應(yīng)用了對(duì)偶學(xué)習(xí)的思想，并且將損失函數(shù)改為了WGAN 的損失函數(shù)，能夠在沒有標(biāo)簽數(shù)據(jù)的前提下，實(shí)現(xiàn)在兩個(gè)不同域之間的圖像遷移，大大降低了增添標(biāo)簽的成本。除了上述模型之外，GANILLA[23]是一種能將自然圖像轉(zhuǎn)變?yōu)閮和x物風(fēng)格的模型，在這一領(lǐng)域GANILLA 取得了顯著的效果，如圖6 所示。

圖6 CycleGAN實(shí)現(xiàn)風(fēng)格遷移[21]

3.2 圖像還原與修復(fù)

圖像的還原與修復(fù)是一項(xiàng)重要的工作，應(yīng)用場(chǎng)景也非常的廣泛，例如：破損名畫的修復(fù)、密集場(chǎng)所犯罪嫌疑人識(shí)別等。GAN 模型在圖像還原與修復(fù)上具備著良好的性能。Yah 等人[24]提出了一種基于GAN 網(wǎng)絡(luò)，通過(guò)在潛在的圖像流中尋找與需要修復(fù)圖片最接近的編碼來(lái)實(shí)現(xiàn)修復(fù)的模型。Li 等人[25]提出了一個(gè)深度生成補(bǔ)全圖片補(bǔ)全模型，這個(gè)模型通過(guò)編碼-解碼生成器、兩個(gè)對(duì)抗判別器來(lái)合成用隨機(jī)噪聲遮擋的部分，在面部合成任務(wù)上可以直接生成缺失區(qū)域的內(nèi)容，達(dá)到了良好的效果，如圖7 所示。

圖7 圖像修復(fù)[25]

3.3 超分辨率圖像生成

超分辨率圖像生成前景廣闊。多種GAN 模型在生成超分辨率圖像方面有著出色的效果，例如前文所提到的 LAPGAN[10]，Ledig 等人提出的 SRGAN[26]，以及Xintao Wang 等人提出的 ESRGAN[27]。其中 SRGAN 通過(guò)提出一種感知損失函數(shù)，來(lái)實(shí)現(xiàn)對(duì)自然圖像的四倍放大。而ESRGAN 則是在SRGAN 基礎(chǔ)上，進(jìn)行了改進(jìn)，它引入了RRDB 的概念，同時(shí)也對(duì)SRGAN 中的網(wǎng)絡(luò)結(jié)構(gòu)、感知損失和對(duì)抗損失進(jìn)行了改進(jìn)，可以生成比SRGAN 紋理更加真實(shí)的圖片。此外，Kupyn 等人提出的DeblurGAN[28]在動(dòng)態(tài)模糊移除方面有著出色的效果，以及同樣是由Kupyn 提出在DeblurGAN 基礎(chǔ)上改進(jìn)的Deblur-v2[24]，顯著提高了生成圖像的質(zhì)量和效率，如圖8 所示。

圖8 SRGAN（左）、ESRGAN（中）和真實(shí)圖像（右）對(duì)比[27]

3.4 生成數(shù)據(jù)

數(shù)據(jù)不足是科研工作者常常遇到的難題，并且當(dāng)今隱私保護(hù)問題愈發(fā)受到重視，如何在合法的前提下獲取高質(zhì)量的數(shù)據(jù)集就成了一個(gè)非常重要問題。多種GAN 模型在生成數(shù)據(jù)方面效果顯著，例如DCGAN[12]就可以穩(wěn)定生成多樣的數(shù)據(jù)，也可以使用CGAN[9]生成我們所期望得到的數(shù)據(jù)類型，類似的，InfoGAN[13]以無(wú)監(jiān)督的方式同樣可以生成特定的數(shù)據(jù)。GAN 可以通過(guò)插入不同的噪聲生成不同的數(shù)據(jù)，實(shí)現(xiàn)對(duì)原本數(shù)據(jù)集的增廣，例如由一輛黑色的汽車我們可以通過(guò)GAN 訓(xùn)練輸出白色、棕色等不同顏色的同類型汽車。但與此同時(shí)，如果數(shù)據(jù)集過(guò)小，也可能會(huì)出現(xiàn)異常數(shù)據(jù)比例較低或過(guò)高的現(xiàn)象，導(dǎo)致數(shù)據(jù)集的客觀性減弱。

3.5 其他應(yīng)用

GAN 在其他領(lǐng)域同樣具有良好的表現(xiàn)。例如人臉檢測(cè)方面，人臉表情識(shí)別[29]、人臉生成[30]等。對(duì)于時(shí)間序列數(shù)據(jù)，MoCoGAN[31]通過(guò)分解動(dòng)作和內(nèi)容進(jìn)行視頻的生成；Dual Motion GAN[32]通過(guò)對(duì)偶學(xué)習(xí)能夠精準(zhǔn)預(yù)測(cè)視頻下一幀的內(nèi)容；除了處理視頻以外，GAN 還可以生成音樂[33-34]。在圖像處理方面，GAN 可以應(yīng)用在圖像分割[35]、根據(jù)文本生成圖像[36]等。不僅如此，GAN 還在自動(dòng)駕駛[37]、機(jī)器翻譯[38]、密碼破譯[39]、醫(yī)療影像分割[40]、重癥監(jiān)護(hù)室ICU 記錄生成[41]等也取得了比較出色的效果。

4 結(jié)語(yǔ)

GAN 是無(wú)監(jiān)督學(xué)習(xí)的一個(gè)強(qiáng)大的計(jì)算框架，并且其零和博弈思想也為人工智能領(lǐng)域注入了活力。GAN以其強(qiáng)大的生成能力以及無(wú)限建模能力，已經(jīng)在圖像生成等領(lǐng)域展現(xiàn)了絕佳的效果。雖然GAN 還面臨著很多難題，例如說(shuō)模式坍塌以及模型的生成能力的可解釋性的問題，但是相信在未來(lái)，這些問題都會(huì)得到解決。希望本文能為我國(guó)生成對(duì)抗網(wǎng)絡(luò)研究提供參考與啟示。