基于生成對抗網(wǎng)絡(luò)的研究綜述

葛生國　范寶杰　尹哲

摘要：近年來，隨著人工智能的發(fā)展，生成對抗網(wǎng)絡(luò)[（Generative Adversaria l Network，GAN）]已成為生成型深度學(xué)習(xí)模型中最流行的模型之一，并且基于[GAN]繁衍了一些改進(jìn)型的[GAN]模型，在各個領(lǐng)域進(jìn)行了研究和應(yīng)用。首先對[GAN]及其衍生網(wǎng)絡(luò)進(jìn)行闡述和對比，然后對[GAN]的應(yīng)用場景進(jìn)行介紹，最后對[GAN]做了總結(jié)和展。

關(guān)鍵詞：? 人工智能;生成對抗網(wǎng)絡(luò); 深度學(xué)習(xí)

中圖分類號：TP391.4? ? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2019）25-0197-02

Abstract： In recent years， with the development of artificial intelligence，The Generative Adversarial Networks is one of the most popular models in the generative deep learning model. Firstly， GAN and its derivative network are elaborated and compared. Then， application scenarios of GAN are introduced. Finally， Finally， a summary and development of GAN are made.

Key words：artificial intelligence; generative adversarial networks; deep learning

1 引言

近年來隨著深度學(xué)習(xí)的火熱，大量的神經(jīng)網(wǎng)絡(luò)被提出，而生成對抗網(wǎng)絡(luò)是目前最為流行的生成型神經(jīng)網(wǎng)絡(luò)，2019年圖靈獎獲得者深度學(xué)習(xí)之父[Yann LeCun]稱之為過去十年間，機(jī)器學(xué)習(xí)領(lǐng)域最讓人激動的點子。[GAN]模型提出后立即被應(yīng)用到許多深度學(xué)習(xí)的領(lǐng)域當(dāng)中去，并且針對[GAN]所存在的一些問題如訓(xùn)練不穩(wěn)定等提出了一些改進(jìn)型的[GAN]模型。

本文章節(jié)安排如下，在第2節(jié)中介紹了[GAN]及其改進(jìn)模型，在第3節(jié)中介紹了[GAN]的主要應(yīng)用，在第4節(jié)中做了總結(jié)和展望。

2 [GAN]及其改進(jìn)模型

2.1 [GAN]模型

2014年由[Goodfellow]等人[1]提出了[GAN]模型。[GAN]主要有生成網(wǎng)絡(luò)G和判別網(wǎng)絡(luò)D組成。其工作原理如圖1所示，首先判別器D學(xué)習(xí)真實樣本y，當(dāng)D對真實樣本y有了一定的了解之后用D來觀察通過加入隨機(jī)噪聲x生成的樣本G（x），然后判斷生成樣本G（x）是否為真實樣本y。生成模型G通過判別模型D的判別真假不斷提高自己生成接近真實樣本G（x）的能力，而判別模型D通過不斷學(xué)習(xí)真實樣本y而不斷提高自己判別生成樣本G（x）真?zhèn)蔚哪芰Γ瑑蓚€網(wǎng)絡(luò)通過相互博弈使得各自性能不斷提高，直到生成模型和判別模型別無法提升自己，這樣生成模型就會成為一個比較完美的模型。

雖然[GAN]的生成效果很好但也存在一些缺陷如訓(xùn)練不穩(wěn)定、梯度消失、模式崩潰等問題。因此針對[GAN]的這些缺陷又提出了一些改進(jìn)的[GAN]模型。

2.2 [GAN]的改進(jìn)模型

（1）[DCGAN]模型[2]。[DCGAN]的原理和[GAN]的原理一樣，不過[DCGAN]網(wǎng)絡(luò)將[GAN]網(wǎng)絡(luò)的[G]和[D]換成了兩個卷積神經(jīng)網(wǎng)絡(luò)，通過對兩個卷積神經(jīng)網(wǎng)絡(luò)做一些特定的限定使得[DCGAN]網(wǎng)絡(luò)訓(xùn)練起來更加穩(wěn)定，并且使用得到的特征表示來進(jìn)行圖像分類，得到比較好的效果來驗證生成的圖像特征表示的表達(dá)能力。

（2）[WGAN]模型[3]。[Arjovsky]等人提出了[WGAN]。[WGAN]指出[GAN]使用交叉熵不適合衡量具有不相交部分的分布之間的距離從而導(dǎo)致訓(xùn)練不穩(wěn)定，因此[WGAN]使用[wassertein]距離去衡量生成數(shù)據(jù)分布和真實數(shù)據(jù)分布之間的距離。

（3）[WGAN-GP]模型[4]。鑒于[WGAN]將更新后的權(quán)重強(qiáng)制截斷到一定范圍內(nèi)導(dǎo)致大多數(shù)權(quán)值有可能聚集在兩個數(shù)上，導(dǎo)致梯度消失或梯度爆炸。提出了基于改進(jìn)[WGAN]的[WGAN-GP]網(wǎng)絡(luò)。[WGAN-GP]使用梯度懲罰解決了訓(xùn)練梯度消和失梯度爆炸的問題。

（4）[LSGAN]模型[5]。[LSGAN]指出使用JS散度并不能拉近真實分布和生成分布之間的距離，使用最小二乘可以將圖像的分布盡可能的接近決策邊界，因此[LSGAN]使用了最小二乘損失函數(shù)代替了GAN的損失函數(shù)。

（5）[BEGAN]模型[6]。[BEGAN]提出了一種新的判別生成樣本真?zhèn)蔚姆椒ǎ门袆e器判別生成樣本分布和真實樣本分布之間的誤差距離，當(dāng)誤差距離較小即生成樣本分布與真實樣本分布相似時，說明生成器生成的樣本接近真實樣本。因此可以用多種類型的[GAN]結(jié)構(gòu)和損失函數(shù)做訓(xùn)練。

（6）[Info GAN]模型[7]。[GAN]的生成模型輸入的是一個連續(xù)的噪聲信號并且沒有任何約束，導(dǎo)致GAN無法利用這個噪聲信號，并將噪聲信號的具體維度與數(shù)據(jù)的語義特征對應(yīng)起來，因此不是一個可解釋的表達(dá)。而[Info GAN]將噪聲信號分解為一個不可壓縮的噪聲和一個可解釋的隱變量，使得噪聲數(shù)據(jù)可解釋。

（7）[CatGAN]模型[8]。[CatGAN]的判別器模型以較大確信度劃分真實樣本，而且以較大確信度對真實樣本分類到現(xiàn)有的一個類別，但對于生成樣本的不確信度卻比較大。[CatGAN]采用數(shù)據(jù)的熵來作為衡量標(biāo)準(zhǔn)，即用熵值得大小來衡量確信度，熵值越大，不確信度越大，熵值越小，確信度越大。