生成式對抗網絡GAN的研究進展與展望

王坤峰 茍 超 段艷杰 林懿倫 鄭心湖 王飛躍

生成式對抗網絡GAN的研究進展與展望

王坤峰1,2茍 超1,3段艷杰1,3林懿倫1,3鄭心湖4王飛躍1,5

生成式對抗網絡GAN(Generative adversarial networks)目前已經成為人工智能學界一個熱門的研究方向.GAN的基本思想源自博弈論的二人零和博弈,由一個生成器和一個判別器構成,通過對抗學習的方式來訓練.目的是估測數據樣本的潛在分布并生成新的數據樣本.在圖像和視覺計算、語音和語言處理、信息安全、棋類比賽等領域,GAN正在被廣泛研究,具有巨大的應用前景.本文概括了GAN的研究進展,并進行展望.在總結了GAN的背景、理論與實現模型、應用領域、優缺點及發展趨勢之后,本文還討論了GAN與平行智能的關系,認為GAN可以深化平行系統的虛實互動、交互一體的理念,特別是計算實驗的思想,為ACP(Arti fi cial societies,computational experiments,and parallel execution)理論提供了十分具體和豐富的算法支持.

生成式對抗網絡,生成式模型,零和博弈,對抗學習,平行智能,ACP方法

生成式對抗網絡GAN(Generative adversarial networks)是Goodfellow等[1]在2014年提出的一種生成式模型.GAN在結構上受博弈論中的二人零和博弈(即二人的利益之和為零,一方的所得正是另一方的所失)的啟發,系統由一個生成器和一個判別器構成.生成器捕捉真實數據樣本的潛在分布,并生成新的數據樣本;判別器是一個二分類器,判別輸入是真實數據還是生成的樣本.生成器和判別器均可以采用目前研究火熱的深度神經網絡[2].GAN的優化過程是一個極小極大博弈(Minimax game)問題,優化目標是達到納什均衡[3],使生成器估測到數據樣本的分布.

在當前的人工智能熱潮下,GAN的提出滿足了許多領域的研究和應用需求,同時為這些領域注入了新的發展動力.GAN已經成為人工智能學界一個熱門的研究方向,著名學者LeCun甚至將其稱為“過去十年間機器學習領域最讓人激動的點子”.目前,圖像和視覺領域是對GAN研究和應用最廣泛的一個領域,已經可以生成數字、人臉等物體對象,構成各種逼真的室內外場景,從分割圖像恢復原圖像,給黑白圖像上色,從物體輪廓恢復物體圖像,從低分辨率圖像生成高分辨率圖像等[4].此外,GAN已經開始被應用到語音和語言處理[5?6]、電腦病毒監測[7]、棋類比賽程序[8]等問題的研究中.

本文綜述了生成式對抗網絡GAN的最新研究進展,并對發展趨勢進行展望.第1節介紹GAN的提出背景.第2節描述GAN的理論與實現模型,包括GNN的基本原理、學習方法、衍生模型等.第3節列舉GAN在圖像和視覺、語音和語言、信息安全等領域的典型應用.第4節對GAN進行思考與展望,討論GAN與平行智能,特別是與計算實驗的關系.最后,第5節對本文進行總結.

1 GAN的提出背景

本節介紹GAN的提出背景,以便讀者更好地理解GAN的研究進展和應用領域.

1.1 人工智能的熱潮

近年來,隨著計算能力的提高和各行業數據量的劇增,人工智能取得了快速發展,使得研究者對人工智能的關注度和社會大眾對人工智能的憧憬空前提升[2,9].學術界普遍認為人工智能分為兩個階段:感知階段和認知階段.在感知階段,機器能夠接收來自外界的各種信號,例如視覺信號、聽覺信號等,并對此作出判斷,對應的研究領域有圖像識別、語音識別等.在認知階段,機器能夠對世界的本質有一定的理解,不再是單純、機械地做出判斷.基于多年的研究經驗,本文作者認為人工智能的表現層次包括判斷、生成、理解和創造及應用,如圖1所示.一方面,這些層次相互聯系相互促進;另一方面,各個層次之間又有很大的鴻溝,有待新的研究突破.

無論是普遍認為的人工智能兩階段還是本文作者總結的人工智能四個層次,其中都涉及理解這個環節.然而,理解無論對人類還是人工智能都是內在的表現,無法直接測量,只能間接從其他方面推測.如何衡量人工智能的理解程度,雖然沒有定論,但是著名學者Feynman有句名言“What I cannot create,I do not understand.(不可造者,未能知也.)”這說明機器制造事物的能力從某種程度上取決于機器對事物的理解.而GAN作為典型的生成式模型,其生成器具有生成數據樣本的能力.這種能力在一定程度上反映了它對事物的理解.因此, GAN有望加深人工智能的理解層面的研究.

1.2 生成式模型的積累

圖1 人工智能的研究層次Fig.1 The levels of arti fi cial intelligence

生成式模型不僅在人工智能領域占有重要地位,生成方法本身也具有很大的研究價值.生成方法和判別方法是機器學習中監督學習方法的兩個分支.生成式模型是生成方法學習得到的模型.生成方法涉及對數據的分布假設和分布參數學習,并能夠根據學習而來的模型采樣出新的樣本.本文認為生成式模型從研究出發點的角度可以分為兩類:人類理解數據的角度和機器理解數據的角度.

從人類理解數據的角度出發,典型的做法是先對數據的顯式變量或者隱含變量進行分布假設,然后利用真實數據對分布的參數或包含分布的模型進行擬合或訓練,最后利用學習到的分布或模型生成新的樣本.這類生成式模型涉及的主要方法有最大似然估計法、近似法[10?11]、馬爾科夫鏈方法[12?14]等.從這個角度學習到的模型具有人類能夠理解的分布,但是對機器學習來說具有不同的限制.例如,以真實樣本進行最大似然估計,參數更新直接來自于數據樣本,導致學習到的生成式模型受到限制.而采用近似法學習到的生成式模型由于目標函數難解一般只能在學習過程中逼近目標函數的下界,并不是直接對目標函數的逼近.馬爾科夫鏈方法既可以用于生成式模型的訓練又可以用于新樣本的生成,但是馬爾科夫鏈的計算復雜度較高.

從機器理解數據的角度出發,建立的生成式模型一般不直接估計或擬合分布,而是從未明確假設的分布中獲取采樣的數據[15],通過這些數據對模型進行修正.這樣得到的生成式模型對人類來說缺乏可解釋性,但是生成的樣本卻是人類可以理解的.以此推測,機器以人類無法顯式理解的方式理解了數據并且生成了人類能夠理解的新數據.在GAN提出之前,這種從機器理解數據的角度建立的生成式模型一般需要使用馬爾科夫鏈進行模型訓練,效率較低,一定程度上限制了其系統應用.

GAN提出之前,生成式模型已經有一定研究積累,模型訓練過程和生成數據過程中的局限無疑是生成式模型的障礙.要真正實現人工智能的四個層次,就需要設計新的生成式模型來突破已有的障礙.

1.3 神經網絡的深化

過去10年來,隨著深度學習[16?17]技術在各個領域取得巨大成功,神經網絡研究再度崛起.神經網絡作為深度學習的模型結構,得益于計算能力的提升和數據量的增大,一定程度上解決了自身參數多、訓練難的問題,被廣泛應用于解決各類問題中.例如,深度學習技術在圖像分類問題上取得了突破性的效果[18?19],顯著提高了語音識別的準確率[20],又被成功應用于自然語言理解領域[21].神經網絡取得的成功和模型自身的特點是密不可分的.在訓練方面,神經網絡能夠采用通用的反向傳播算法,訓練過程容易實現;在結構方面,神經網絡的結構設計自由靈活,局限性小;在建模能力方面,神經網絡理論上能夠逼近任意函數,應用范圍廣.另外,計算能力的提升使得神經網絡能夠更快地訓練更多的參數,進一步推動了神經網絡的流行.

1.4 對抗思想的成功

從機器學習到人工智能,對抗思想被成功引入若干領域并發揮作用.博弈、競爭中均包含著對抗的思想.博弈機器學習[22]將博弈論的思想與機器學習結合,對人的動態策略以博弈論的方法進行建模,優化廣告競價機制,并在實驗中證明了該方法的有效性.圍棋程序AlphaGo[23]戰勝人類選手引起大眾對人工智能的興趣,而AlphaGo的中級版本在訓練策略網絡的過程中就采取了兩個網絡左右互博的方式,獲得棋局狀態、策略和對應回報,并以包含博弈回報的期望函數作為最大化目標.在神經網絡的研究中,曾有研究者利用兩個神經網絡互相競爭的方式對網絡進行訓練[24],鼓勵網絡的隱層節點之間在統計上獨立,將此作為訓練過程中的正則因素.還有研究者[25?26]采用對抗思想來訓練領域適應的神經網絡:特征生成器將源領域數據和目標領域數據變換為高層抽象特征,盡可能使特征的產生領域難以判別;領域判別器基于變換后的特征,盡可能準確地判別特征的領域.對抗樣本[27?28]也包含著對抗的思想,指的是那些和真實樣本差別甚微卻被誤分類的樣本或者差異很大卻被以很高置信度分為某一真實類的樣本,反映了神經網絡的一種詭異行為特性.對抗樣本和對抗網絡雖然都包含著對抗的思想,但是目的完全不同.對抗思想應用于機器學習或人工智能取得的諸多成果,也激發了更多的研究者對GAN的不斷挖掘.

2 GAN的理論與實現模型

圖2 GAN的計算流程與結構Fig.2 Computation procedure and structure of GAN

2.1 GAN的基本原理

GAN的核心思想來源于博弈論的納什均衡.它設定參與游戲雙方分別為一個生成器(Generator)和一個判別器(Discriminator),生成器的目的是盡量去學習真實的數據分布,而判別器的目的是盡量正確判別輸入數據是來自真實數據還是來自生成器;為了取得游戲勝利,這兩個游戲參與者需要不斷優化,各自提高自己的生成能力和判別能力,這個學習優化過程就是尋找二者之間的一個納什均衡.GAN的計算流程與結構如圖2所示.任意可微分的函數都可以用來表示GAN的生成器和判別器,由此,我們用可微分函數D和G來分別表示判別器和生成器,它們的輸入分別為真實數據x和隨機變量z. G(z)則為由G生成的盡量服從真實數據分布pdata的樣本.如果判別器的輸入來自真實數據,標注為1.如果輸入樣本為G(z),標注為0.這里D的目標是實現對數據來源的二分類判別:真(來源于真實數據x的分布)或者偽(來源于生成器的偽數據G(z)),而G的目標是使自己生成的偽數據G(z)在D上的表現D(G(z))和真實數據x在D上的表現D(x)一致,這兩個相互對抗并迭代優化的過程使得D和G的性能不斷提升,當最終D的判別能力提升到一定程度,并且無法正確判別數據來源時,可以認為這個生成器G已經學到了真實數據的分布.

2.2 GAN的學習方法

本節中我們討論GAN的學習訓練機制.

首先,在給定生成器G的情況下,我們考慮最優化判別器D.和一般基于Sigmoid的二分類模型訓練一樣,訓練判別器D也是最小化交叉熵的過程,其損失函數為:

其中,x采樣于真實數據分布pdata(x),z采樣于先驗分布pz(z)(例如高斯噪聲分布),E(·)表示計算期望值.這里實際訓練時和常規二值分類模型不同,判別器的訓練數據集來源于真實數據集分布pdata(x) (標注為1)和生成器的數據分布pg(x)(標注為0)兩部分.給定生成器G,我們需要最小化式(1)來得到最優解,在連續空間上,式(1)可以寫為如下形式:

對任意的非零實數m和n,且實數值y∈[0,1],表達式

處得到最小值,此即為判別器的最優解.由式(4)可知,GAN估計的是兩個概率分布密度的比值,這也是和其他基于下界優化或者馬爾科夫鏈方法的關鍵不同之處.

另一方面,D(x)代表的是x來源于真實數據而非生成數據的概率.當輸入數據采樣自真實數據x時,D的目標是使得輸出概率值D(x)趨近于1,而當輸入來自生成數據G(z)時,D的目標是正確判斷數據來源,使得D(G(z))趨近于0,同時G的目標是使得其趨近于1.這實際上就是一個關于G和D的零和游戲,那么生成器G的損失函數為ObjG(θG)=?ObjD(θD,θG).所以GAN的優化問題是一個極小—極大化問題,GAN的目標函數可以描述如下:

總之,對于GAN的學習過程,我們需要訓練模型D來最大化判別數據來源于真實數據或者偽數據分布G(z)的準確率,同時,我們需要訓練模型G來最小化log(1?D(G(z))).這里可以采用交替優化的方法:先固定生成器G,優化判別器D,使得D的判別準確率最大化;然后固定判別器D,優化生成器G,使得D的判別準確率最小化.當且僅當pdata=pg時達到全局最優解.訓練GAN時,同一輪參數更新中,一般對D的參數更新k次再對G的參數更新1次.

2.3 GAN的衍生模型

自Goodfellow等[1]于2014年提出GAN以來,各種基于GAN的衍生模型被提出,這些模型的創新點包括模型結構改進、理論擴展及應用等.部分衍生模型的計算流程與結構如圖3所示.

GAN在基于梯度下降訓練時存在梯度消失的問題,因為當真實樣本和生成樣本之間具有極小重疊甚至沒有重疊時,其目標函數的Jensen-Shannon散度是一個常數,導致優化目標不連續.為了解決訓練梯度消失問題,Arjovsky等[29]提出了Wasserstein GAN(W-GAN).W-GAN用Earth-Mover代替Jensen-Shannon散度來度量真實樣本和生成樣本分布之間的距離,用一個批評函數f來對應GAN的判別器,而且批評函數f需要建立在Lipschitz連續性假設上.另外,GAN的判別器D具有無限的建模能力,無論真實樣本和生成的樣本有多復雜,判別器D都能把它們區分開,這容易導致過擬合問題.為了限制模型的建模能力,Qi[30]提出了Losssensitive GAN(LS-GAN),將最小化目標函數得到的損失函數限定在滿足Lipschitz連續性函數類上,作者還給出了梯度消失時的定量分析結果.需要指出,W-GAN和LS-GAN并沒有改變GAN模型的結構,只是在優化方法上進行了改進.

圖3 GAN衍生模型的計算流程與結構((a)GAN[1],W-GAN[29],LS-GAN[30];(b)Semi-GAN[31];(c)C-GAN[32]; (d)Bi-GAN[33];(e)Info-GAN[34];(f)AC-GAN[35];(g)Seq-GAN[6])Fig.3 Computation procedures and structures of GAN-derived models

GAN的訓練只需要數據源的標注信息(真或偽),并根據判別器輸出來優化.Odena[31]提出了Semi-GAN,將真實數據的標注信息加入判別器D的訓練.更進一步,Conditional GAN(CGAN)[32]提出加入額外的信息y到G、D和真實數據來建模,這里的y可以是標簽或其他輔助信息.傳統GAN都是學習一個生成式模型來把隱變量分布映射到復雜真實數據分布上,Donahue等[33]提出一種Bidirectional GANs(BiGANs)來實現將復雜數據映射到隱變量空間,從而實現特征學習.除了GAN的基本框架,BiGANs額外加入了一個解碼器Q用于將真實數據x映射到隱變量空間,其優化問題轉換為

InfoGAN[34]是GAN的另一個重要擴展.GAN能夠學得有效的語義特征,但是輸入噪聲變量z的特定變量維數和特定語義之間的關系不明確,而InfoGAN能夠獲取輸入的隱層變量和具體語義之間的互信息.具體實現就是把生成器G的輸入分為兩部分z和c,這里z和GAN的輸入一致,而c被稱為隱碼,這個隱碼用于表征結構化隱層隨機變量和具體特定語義之間的隱含關系.GAN設定了pG(x)=pG(x|c),而實際上c與G的輸出具有較強的相關性.用G(z,c)來表示生成器的輸出,作者[34]提出利用互信息I(c;G(z,c))來表征兩個數據的相關程度,用目標函數

來建模求解,這里由于后驗概率p(c|x)不能直接獲取,需要引入變分分布來近似后驗的下界來求得最優解.

Odena等[35]提出的Auxiliary Classi fi er GAN (AC-GAN)可以實現多分類問題,它的判別器輸出相應的標簽概率.在實際訓練中,目標函數則包含真實數據來源的似然和正確分類標簽的似然,不再單獨由判別器二分類損失來反傳調節參數,可以進一步調節損失函數使得分類正確率更高,AC-GAN的關鍵是可以利用輸入生成器的標注信息來生成對應的圖像標簽,同時還可以在判別器擴展調節損失函數,從而進一步提高對抗網絡的生成和判別能力.

考慮到GAN的輸出為連續實數分布而無法產生離散空間的分布,Yu等[6]提出了一種能夠生成離散序列的生成式模型Seq-GAN.他們用RNN實現生成器G,用CNN實現判別器D,用D的輸出判別概率通過增強學習來更新G.增強學習中的獎勵通過D來計算,對于后面可能的行為采用了蒙特卡洛搜索實現,計算D的輸出平均作為獎勵值反饋.

3 GAN的應用領域

作為一個具有“無限”生成能力的模型,GAN的直接應用就是建模,生成與真實數據分布一致的數據樣本,例如可以生成圖像、視頻等.GAN可以用于解決標注數據不足時的學習問題,例如無監督學習、半監督學習等.GAN還可以用于語音和語言處理,例如生成對話、由文本生成圖像等.本節從圖像和視覺、語音和語言、其他領域三個方面來闡述GAN的應用.

3.1 圖像和視覺領域

GAN能夠生成與真實數據分布一致的圖像.一個典型應用來自Twitter公司,Ledig等[36]提出利用GAN來將一個低清模糊圖像變換為具有豐富細節的高清圖像.作者用VGG網絡[37]作為判別器,用參數化的殘差網絡[19]表示生成器,實驗結果如圖4所示,可以看到GAN生成了細節豐富的圖像.

圖4 基于GAN的生成圖像示例[36]Fig.4 Illustration of GAN-generated image[36]

GAN也開始用于生成自動駕駛場景.Santana等[38]提出利用GAN來生成與實際交通場景分布一致的圖像,再訓練一個基于RNN的轉移模型實現預測的目的,實驗結果如圖5所示.GAN可以用于自動駕駛中的半監督學習或無監督學習任務,還可以利用實際場景不斷更新的視頻幀來實時優化GAN的生成器.

Gou等[39?40]提出利用仿真圖像和真實圖像作為訓練樣本來實現人眼檢測,但是這種仿真圖像與真實圖像存在一定的分布差距.Shrivastava等[41]提出一種基于GAN的方法(稱為SimGAN),利用無標簽真實圖像來豐富細化仿真圖像,使得合成圖像更加真實.作者引入一個自正則化項來實現最小化合成誤差并最大程度保留仿真圖像的類別,同時利用加入的局部對抗損失函數來對每個局部圖像塊進行判別,使得局部信息更加豐富.

3.2 語音和語言領域

目前已經有一些關于GAN的語音和語言處理文章.Li等[5]提出用GAN來表征對話之間的隱式關聯性,從而生成對話文本.Zhang等[42]提出基于GAN的文本生成,他們用CNN作為判別器,判別器基于擬合LSTM的輸出,用矩匹配來解決優化問題;在訓練時,和傳統更新多次判別器參數再更新一次生成器不同,需要多次更新生成器再更新CNN判別器.SeqGAN[6]基于策略梯度來訓練生成器G,策略梯度的反饋獎勵信號來自于生成器經過蒙特卡洛搜索得到,實驗表明SeqGAN在語音、詩詞和音樂生成方面可以超過傳統方法.Reed等[43]提出用GAN基于文本描述來生成圖像,文本編碼被作為生成器的條件輸入,同時為了利用文本編碼信息,也將其作為判別器特定層的額外信息輸入來改進判別器,判別是否滿足文本描述的準確率,實驗結果表明生成圖像和文本描述具有較高相關性.

3.3 其他領域

除了將GAN應用于圖像和視覺、語音和語言等領域,GAN還可以與強化學習相結合,例如前述的SeqGAN[6].還有研究者將GAN和模仿學習融合[44?45]、將GAN和Actor-critic方法結合[46]等. Hu等[7]提出MalGAN幫助檢測惡意代碼,用GAN生成具有對抗性的病毒代碼樣本,實驗結果表明基于GAN的方法可以比傳統基于黑盒檢測模型的方法性能更好.Childambaram等[8]基于風格轉換提出了一個擴展GAN的生成器,用判別器來正則化生成器而不是用一個損失函數,用國際象棋實驗示例證明了所提方法的有效性.

圖5 基于GAN的生成圖像示例(奇數列為生成圖像,偶數列為目標圖像)[38]Fig.5 Another illustration of GAN-generated images(Odd columns show the generated images,and even columns show the target images)[38]

4 GAN的思考與展望

4.1 GAN的意義和優點

GAN對于生成式模型的發展具有重要的意義. GAN作為一種生成式方法,有效解決了可建立自然性解釋的數據的生成難題.尤其對于生成高維數據,所采用的神經網絡結構不限制生成維度,大大拓寬了生成數據樣本的范圍.所采用的神經網絡結構能夠整合各類損失函數,增加了設計的自由度.GAN的訓練過程創新性地將兩個神經網絡的對抗作為訓練準則并且可以使用反向傳播進行訓練,訓練過程不需要效率較低的馬爾科夫鏈方法,也不需要做各種近似推理,沒有復雜的變分下界,大大改善了生成式模型的訓練難度和訓練效率.GAN的生成過程不需要繁瑣的采樣序列,可以直接進行新樣本的采樣和推斷,提高了新樣本的生成效率.對抗訓練方法摒棄了直接對真實數據的復制或平均,增加了生成樣本的多樣性.GAN在生成樣本的實踐中,生成的樣本易于人類理解.例如,能夠生成十分銳利清晰的圖像,為創造性地生成對人類有意義的數據提供了可能的解決方法.

GAN除了對生成式模型的貢獻,對于半監督學習也有啟發.GAN學習過程中不需要數據標簽.雖然GAN提出的目的不是半監督學習,但是GAN的訓練過程可以用來實施半監督學習中無標簽數據對模型的預訓練過程.具體來說,先利用無標簽數據訓練GAN,基于訓練好的GAN對數據的理解,再利用小部分有標簽數據訓練判別器,用于傳統的分類和回歸任務.

4.2 GAN的缺陷和發展趨勢

GAN雖然解決了生成式模型的一些問題,并且對其他方法的發展具有一定的啟發意義,但是GAN并不完美,它在解決已有問題的同時也引入了一些新的問題.GAN最突出的優點同時也是它最大的問題根源.GAN采用對抗學習的準則,理論上還不能判斷模型的收斂性和均衡點的存在性.訓練過程需要保證兩個對抗網絡的平衡和同步,否則難以得到很好的訓練效果.而實際過程中兩個對抗網絡的同步不易把控,訓練過程可能不穩定.另外,作為以神經網絡為基礎的生成式模型,GAN存在神經網絡類模型的一般性缺陷,即可解釋性差.另外, GAN生成的樣本雖然具有多樣性,但是存在崩潰模式(Collapse mode)現象[4],可能生成多樣的,但對于人類來說差異不大的樣本.

雖然GAN存在這些問題,但不可否認的是, GAN的研究進展表明它具有廣闊的發展前景.例如,Wasserstein GAN[29]徹底解決了訓練不穩定問題,同時基本解決了崩潰模式現象.如何徹底解決崩潰模式并繼續優化訓練過程是GAN的一個研究方向.另外,關于GAN收斂性和均衡點存在性的理論推斷也是未來的一個重要研究課題.以上研究方向是為了更好地解決GAN存在的缺陷.從發展應用GAN的角度,如何根據簡單隨機的輸入,生成多樣的、能夠與人類交互的數據,是近期的一個應用發展方向.從GAN與其他方法交叉融合的角度,如何將GAN與特征學習、模仿學習、強化學習等技術更好地融合,開發新的人工智能應用或者促進這些方法的發展,是很有意義的發展方向.從長遠來看,如何利用GAN推動人工智能的發展與應用,提升人工智能理解世界的能力,甚至激發人工智能的創造力是值得研究者思考的問題.

4.3 GAN與平行智能的關系

王飛躍研究員[47?48]于2004年提出了復雜系統建模與調控的ACP(Arti fi cial societies,computational experiments,and parallel execution)理論和平行系統方法.平行系統強調虛實互動,構建人工系統來描述實際系統,利用計算實驗來學習和評估各種計算模型,通過平行執行來提升實際系統的性能,使得人工系統和實際系統共同推進[49?50].ACP理論和平行系統方法目前已經發展為更廣義的平行智能理論[51].GAN訓練中真實的數據樣本和生成的數據樣本通過對抗網絡互動,并且訓練好的生成器能夠生成比真實樣本更多的虛擬樣本.GAN可以深化平行系統的虛實互動、交互一體的理念.GAN作為一種有效的生成式模型,可以融入到平行智能研究體系.本節從以下幾個方面討論GAN與平行智能的關系.

4.3.1 GAN與平行視覺

平行視覺[52]是ACP理論在視覺計算領域的推廣,其基本框架與體系結構如圖6所示.平行視覺結合計算機圖形學、虛擬現實、機器學習、知識自動化等技術,利用人工場景、計算實驗、平行執行等理論和方法,建立復雜環境下視覺感知與理解的理論和方法體系.平行視覺利用人工場景來模擬和表示復雜挑戰的實際場景,使采集和標注大規模多樣性數據集成為可能,通過計算實驗進行視覺算法的設計與評估,最后借助平行執行來在線優化視覺系統.其中產生虛擬的人工場景便可以采用GAN實現,如圖5所示.GAN能夠生成大規模多樣性的圖像數據集,與真實數據集結合起來訓練視覺模型,有助于提高視覺模型的泛化能力.

圖6 平行視覺的基本框架與體系結構[52]Fig.6 Basic framework and architecture for parallel vision[52]

4.3.2 GAN與平行控制

平行控制[53?55]是一種反饋控制,是ACP理論在復雜系統控制領域的具體應用,其結構如圖7所示.平行控制核心是利用人工系統進行建模和表示,通過計算實驗進行分析和評估,最后以平行執行實現對復雜系統的控制.除了人工系統的生成和計算實驗的分析,平行控制中的人工系統和實際系統平行執行的過程也利用GAN進行模擬,一方面可以進行人工系統的預測學習和實際系統的反饋學習,另一方面可以進行控制單元的模擬學習和強化學習.

4.3.3 GAN與平行學習

平行學習[56]是一種新的機器學習理論框架,是ACP理論在學習領域的體現,其理論框架如圖8所示.平行學習理論框架強調:使用預測學習解決如何隨時間發展對數據進行探索;使用集成學習解決如何在空間分布上對數據進行探索;使用指示學習解決如何探索數據生成的方向.平行學習作為機器學習的一個新型理論框架,與平行視覺和平行控制關系密切.GAN在大數據生成、基于計算實驗的預測學習等方面都可以和平行學習結合發展.

5 結論

本文綜述了生成式對抗網絡GAN的研究進展. GAN提出后,立刻受到了人工智能研究者的重視. GAN的基本思想源自博弈論的二人零和博弈,由一個生成器和一個判別器構成,通過對抗學習的方式來迭代訓練,逼近納什均衡.GAN作為一種生成式模型,不直接估計數據樣本的分布,而是通過模型學習來估測其潛在分布并生成同分布的新樣本.這種從潛在分布生成“無限”新樣本的能力,在圖像和視覺計算、語音和語言處理、信息安全等領域具有重大的應用價值.

圖7 平行控制系統的結構[55]Fig.7 Structure of parallel control systems[55]

圖8 平行學習的理論框架圖[56]Fig.8 Theoretical framework of parallel learning[56]

本文還展望了GAN的發展趨勢,重點討論了GAN與平行智能的關系,認為GAN可以深化平行系統的虛實互動、交互一體的理念,為ACP理論提供具體和豐富的算法支持.在平行視覺、平行控制、平行學習等若干平行系統中,GAN可以通過生成與真實數據同分布的數據樣本,來支持平行系統的理論和應用研究.因此,GAN作為一種有效的生成式模型,可以融入到平行智能的研究體系.

1 Goodfellow I,Pouget-Abadie J,Mirza M,Xu B,Warde-Farley D,Ozair S,Courville A,Bengio Y.Generative adversarial nets.In:Proceedings of the 2014 Conference on Advances in Neural Information Processing Systems 27.Montreal,Canada:Curran Associates,Inc.,2014.2672?2680

2 Goodfellow I,Bengio Y,Courville A.Deep Learning.Cambridge,UK:MIT Press,2016.

3 Ratli ffL J,Burden S A,Sastry S S.Characterization and computation of local Nash equilibria in continuous games. In:Proceedings of the 51st Annual Allerton Conference on Communication,Control,and Computing(Allerton).Monticello,IL,USA:IEEE,2013.917?924

4 Goodfellow I.NIPS 2016 tutorial:generative adversarial networks.arXiv preprint arXiv:1701.00160,2016.

5 Li J W,Monroe W,Shi T L,Jean S,Ritter A,Jurafsky D. Adversarial learning for neural dialogue generation.arXiv preprint arXiv:1701.06547,2017.

6 Yu L T,Zhang W N,Wang J,Yu Y.SeqGAN:sequence generative adversarial nets with policy gradient.arXiv preprint arXiv:1609.05473,2016.

7 Hu WW,Tan Y.Generating adversarial malware examples for black-box attacks based on GAN.arXiv preprint arXiv: 1702.05983,2017.

8 Chidambaram M,Qi Y J.Style transfer generative adversarial networks:learning to play chess di ff erently.arXiv preprint arXiv:1702.06762,2017.

9 Bengio Y.Learning deep architectures for AI.Foundations and Trends in Machine Learning,2009,2(1):1?127

10 Kingma D P,Welling M.Auto-encoding variational Bayes. arXiv preprint arXiv:1312.6114,2013.

11 Rezende D J,Mohamed S,Wierstra D.Stochastic backpropagation and approximate inference in deep generative models.arXiv preprint arXiv:1401.4082,2014.

12 Hinton G E,Sejnowski T J,Ackley D H.Boltzmann Machines:Constraint Satisfaction Networks that Learn.Technical Report No.CMU-CS-84?119,Carnegie-Mellon University,Pittsburgh,PA,USA,1984.

13 Ackley D H,Hinton G E,Sejnowski T J.A learning algorithm for Boltzmann machines.Cognitive Science,1985, 9(1):147?169

14 Hinton G E,Osindero S,Teh Y W.A fast learning algorithm for deep belief nets.Neural Computation,2006,18(7): 1527?1554

15 Bengio Y,Thibodeau-Laufer′E,Alain G,Yosinski J.Deep generative stochastic networks trainable by backprop.arXiv preprint arXiv:1306.1091,2013.

16 Hinton G E,Salakhutdinov R R.Reducing the dimensionality of data with neural networks.Science,2006,313(5786): 504?507

17 LeCun Y,Bengio Y,Hinton G.Deep learning.Nature,2015, 521(7553):436?444

18 Krizhevsky A,Sutskever I,Hinton G E.Imagenet classi fication with deep convolutional neural networks.In:Proceedings of the 25th International Conference on Neural Information Processing Systems.Lake Tahoe,Nevada,USA: ACM,2012.1097?1105

19 He K M,Zhang X Y,Ren S Q,Sun J.Deep residual learning for image recognition.In:Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Las Vegas,NV,USA:IEEE,2016.770?778

20 Hinton G,Deng L,Yu D,Dahl G E,Mohamed A R,Jaitly N, Senior A,Vanhoucke V,Nguyen P,Sainath T N,Kingsbury B.Deep neural networks for acoustic modeling in speech recognition:the shared views of four research groups.IEEE Signal Processing Magazine,2012,29(6):82?97

21 Sutskever I,Vinyals O,Le Q V.Sequence to sequence learning with neural networks.In:Proceedings of the 2014 Conference on Advances in Neural Information Processing Systems 27.Montreal,Canada:Curran Associates,Inc.,2014. 3104?3112.

22 He D,Chen W,Wang L W,Liu T Y.A game-theoretic machine learning approach for revenue maximization in sponsored search.arXiv preprint arXiv:1406.0728,2014.

23 Silver D,Huang A,Maddison C J,Guez A,Sifre L,van Den Driessche G,Schrittwieser J,Antonoglou I,Panneershelvam V,Lanctot M,Dieleman S,Grewe D,Nham J,Kalchbrenner N,Sutskever I,Lillicrap T,Leach M,Kavukcuoglu K, Graepel T,Hassabis D.Mastering the game of go with deep neural networks and tree search.Nature,2016,529(7587): 484?489

24 Schmidhuber J.Learning factorial codes by predictability minimization.Neural Computation,1992,4(6):863?879

25 Ganin Y,Ustinova E,Ajakan H,Germain P,Larochelle H,Laviolette F,Marchand M,Lempitsky V.Domainadversarial training of neural networks.Journal of Machine Learning Research,2016,17(59):1?35

26 Chen W Z,Wang H,Li Y Y,Su H,Wang Z H,Tu C H, Lischinski D,Cohen-Or D,Chen B.Synthesizing training images for boosting human 3D pose estimation.In:Proceedings of the 2016 Fourth International Conference on 3D Vision(3DV).Stanford,CA,USA:IEEE,2016.479?488

27 Szegedy C,Zaremba W,Sutskever I,Bruna J,Erhan D, Goodfellow I,Fergus R.Intriguing properties of neural networks.arXiv preprint arXiv:1312.6199,2013.

28 McDaniel P,Papernot N,Celik Z B.Machine learning in adversarial settings.IEEE Security&Privacy,2016,14(3): 68?72

29 Arjovsky M,Chintala S,Bottou L.Wasserstein GAN.arXiv preprint arXiv:1701.07875,2017.

30 Qi G J.Loss-sensitive generative adversarial networks on Lipschitz densities.arXiv preprint arXiv:1701.06264,2017.

31 Odena A.Semi-supervised learning with generative adversarial networks.arXiv preprint arXiv:1606.01583,2016.

32 Mirza M,Osindero S.Conditional generative adversarial nets.arXiv preprint arXiv:1411.1784,2014.

33 Donahue J,Kr¨ahenb¨uhl P,Darrell T.Adversarial feature learning.arXiv preprint arXiv:1605.09782,2016.

34 Chen X,Duan Y,Houthooft R,Schulman J,Sutskever I, Abbeel P.InfoGAN:interpretable representation learning by information maximizing generative adversarial nets.In: Proceedings of the 2016 Neural Information Processing Systems.Barcelona,Spain:Department of Information Technology IMEC,2016.2172?2180

35 Odena A,Olah C,Shlens J.Conditional image synthesis with auxiliary classi fi er GANs.arXiv preprint arXiv: 1610.09585,2016.

36 Ledig C,Theis L,Husz′ar F,Caballero J,Cunningham A, Acosta A,Aitken A,Tejani A,Totz J,Wang Z H,Shi W Z. Photo-realistic single image super-resolution using a generative adversarial network.arXiv preprint arXiv:1609.04802, 2016.

37 Simonyan K,Zisserman A.Very deep convolutional networks for large-scale image recognition.arXiv preprint arXiv:1409.1556,2014.

38 Santana E,Hotz G.Learning a driving simulator.arXiv preprint arXiv:1608.01230,2016.

39 Gou C,Wu Y,Wang K,Wang F Y,Ji Q.Learning-bysynthesis for accurate eye detection.In:Proceedings of the 2016 IEEE International Conference on Pattern Recognition (ICPR).Cancun,Mexico:IEEE,2016.

40 Gou C,Wu Y,Wang K,Wang K F,Wang F Y,Ji Q.A joint cascaded framework for simultaneous eye detection and eye state estimation.Pattern Recognition,2017,67:23?31

41 Shrivastava A,P fi ster T,Tuzel O,Susskind J,Wang W D,Webb R.Learning from simulated and unsupervised images through adversarial training.arXiv preprint arXiv: 1612.07828,2016.

42 Zhang Y Z,Gan Z,Carin L.Generating text via adversarial training.In:Proceedings of the 2016 Conference on Advances in Neural Information Processing Systems 29.Curran Associates,Inc.,2016.

43 Reed S,Akata Z,Yan X C,Logeswaran L,Lee H,Schiele B.Generative adversarial text to image synthesis.In:Proceedings of the 33rd International Conference on Machine Learning.New York,NY,USA:ICML,2016.

44 Ho J,Ermon S.Generative adversarial imitation learning. In:Proceedings of the 2016 Conference on Advances in Neural Information Processing Systems 29.Curran Associates, Inc.,2016.4565?4573

45 Finn C,Christiano P,Abbeel P,Levine S.A connection between generative adversarial networks,inverse reinforcement learning,and energy-based models.arXiv preprint arXiv: 1611.03852,2016.

46 Pfau D,Vinyals O.Connecting generative adversarial networks and actor-critic methods.arXiv preprint arXiv: 1610.01945,2016.

47 Wang Fei-Yue.Parallel system methods for management and control of complex systems.Control and decision,2004, 19(5):485?489,514 (王飛躍.平行系統方法與復雜系統的管理和控制.控制與決策, 2004,19(5):485?489,514)

48 Wang Fei-Yue.Computational experiments for behavior analysis and decision evaluation of complex systems.Journal of System Simulation,2004,16(5):893?897 (王飛躍.計算實驗方法與復雜系統行為分析和決策評估.系統仿真學報,2004,16(5):893?897)

49 Wang F Y,Zhang J,Wei Q L,Zheng X H,Li L.PDP: parallel dynamic programming.IEEE/CAA Journal of Automatica Sinica,2017,4(1):1?5

50 Bai Tian-Xiang,Wang Shuai,Shen Zhen,Cao Dong-Pu, Zheng Nan-Ning,Wang Fei-Yue.Parallel robotics and parallel unmanned systems:framework,structure,process,platform and applications.Acta Automatica Sinica,2017,43(2): 161?175 (白天翔,王帥,沈震,曹東璞,鄭南寧,王飛躍.平行機器人與平行無人系統:框架、結構、過程、平臺及其應用.自動化學報,2017, 43(2):161?175)

51 Wang F Y,Wang X,Li L X,Li L.Steps toward parallel intelligence.IEEE/CAA Journal of Automatica Sinica,2016, 3(4):345?348

52 Wang Kun-Feng,Gou Chao,Wang Fei-Yue.Parallel vision: an ACP-based approach to intelligent vision computing. Acta Automatica Sinica,2016,42(10):1490?1500 (王坤峰,茍超,王飛躍.平行視覺:基于ACP的智能視覺計算方法.自動化學報,2016,42(10):1490?1500)

53 Wang Fei-Yue.On the modeling,analysis,control and management of complex systems.Complex Systems and Complexity Science,2006,3(2):26?34 (王飛躍.關于復雜系統的建模、分析、控制和管理.復雜系統與復雜性科學,2006,3(2):26?34)

54 Wang Fei-Yue,Liu De-Rong,Xiong Gang,Cheng Chang-Jian,Zhao Dong-Bin.Parallel control theory of complex systems and applications.Complex Systems and Complexity Science,2012,9(3):1?12 (王飛躍,劉德榮,熊剛,程長建,趙冬斌.復雜系統的平行控制理論及應用.復雜系統與復雜性科學,2012,9(3):1?12)

55 Wang Fei-Yue.Parallel control:a method for data-driven and computational control.Acta Automatica Sinica,2013, 39(4):293?302 (王飛躍.平行控制:數據驅動的計算控制方法.自動化學報,2013, 39(4):293?302)

56 Li Li,Lin Yi-Lun,Cao Dong-Pu,Zheng Nan-Ning,Wang Fei-Yue.Parallel learning—a new framework for machine learning.Acta Automatica Sinica,2017,43(1):1?8 (李力,林懿倫,曹東璞,鄭南寧,王飛躍.平行學習— 機器學習的一個新型理論框架.自動化學報,2017,43(1):1?8)

Generative Adversarial Networks:The State of the Art and Beyond

WANG Kun-Feng1,2GOU Chao1,3DUAN Yan-Jie1,3LIN Yi-Lun1,3ZHENG Xin-Hu4WANG Fei-Yue1,5

Generative adversarial networks(GANs)have become a hot research topic in arti fi cial intelligence.Inspired by the two-player zero-sum game,GAN is composed of a generator and a discriminator,both trained with the adversarial learning mechanism.The aim of GAN is to estimate the potential distribution of existing data and generate new data samples from the same distribution.Since its initiation,GAN has been widely studied due to its enormous prospect for applications,including image and vision computing,speech and language processing,information security,and chess game.In this paper we summarize the state of the art of GAN and look into its future.First of all,we survey the GAN′s background,theoretic and implementation models,application fi elds,advantages and disadvantages,and development trends.Then,we investigate the relation between GAN and parallel intelligence with the conclusion that GAN has a great potential in parallel systems especially in computational experiments,in terms of virtual-real interaction and integration. Finally,we clarify that GAN can provide speci fi c and substantial algorithmic support for the ACP theory.

Generative adversarial networks,generative models,zero-sum game,adversarial learning,parallel intelligence,ACP methodology

王坤峰 中國科學院自動化研究所復雜系統管理與控制國家重點實驗室副研究員.主要研究方向為智能交通系統,智能視覺計算,機器學習.E-mail:kunfeng.wang@ia.ac.cn(WANG Kun-Feng Associate professor at The State Key Laboratory of Management and Control for Complex Systems,Institute of Automation,Chinese Academy of Sciences.His research interest covers intelligent transportation systems,intelligent vision computing,and machine learning.)

茍 超 中國科學院自動化研究所復雜系統管理與控制國家重點實驗室博士研究生.主要研究方向為智能交通系統,圖像處理,模式識別.E-mail:gouchao2012@ia.ac.cn(GOU Chao Ph.D.candidate at The State Key Laboratory of Management and Control for Complex Systems,Institute of Automation,Chinese Academy of Sciences.His research interest covers intelligent transportation systems,image processing,and pattern recognition.)

段艷杰 中國科學院自動化研究所復雜系統管理與控制國家重點實驗室博士研究生.主要研究方向為智能交通系統,機器學習及應用.E-mail:duanyanjie2012@ia.ac.cn(DUAN Yan-Jie Ph.D.candidate at The State Key Laboratory of Management and Control for Complex Systems,Institute of Automation,Chinese Academy of Sciences.Her research interest covers intelligent transportation systems,machinelearning and its application.)

林懿倫 中國科學院自動化研究所復雜系統管理與控制國家重點實驗室博士研究生.主要研究方向為社會計算,智能交通系統,深度學習和強化學習.E-mail:linyilun2014@ia.ac.cn(LIN Yi-Lun Ph.D.candidate at The State Key Laboratory of Management and Control for Complex Systems,Institute of Automation,Chinese Academy of Sciences.His research interest covers social computing,intelligent transportation systems,deep learning and reinforcement learning.)

鄭心湖 明尼蘇達大學計算機科學與工程學院研究生.主要研究方向為社會計算,機器學習,數據分析.E-mail:zheng473@umn.edu(ZHENG Xin-Hu Postgraduate in the Department of Computer Science and Engineering,University of Minnesota,USA.His research interest covers social computing, machine learning,and data analytics.)

王飛躍 中國科學院自動化研究所復雜系統管理與控制國家重點實驗室研究員.國防科學技術大學軍事計算實驗與平行系統技術研究中心主任.主要研究方向為智能系統和復雜系統的建模、分析與控制.本文通信作者.E-mail:feiyue.wang@ia.ac.cn(WANG Fei-Yue Professor at The State Key Laboratory of Management and Control for Complex Systems, Institute of Automation,Chinese Academy of Sciences.Director of the Research Center for Computational Experiments and Parallel Systems Technology,National University of Defense Technology.His research interest covers modeling,analysis,and control of intelligent systems and complex systems.Corresponding author of this paper.)

王坤峰,茍超,段艷杰,林懿倫,鄭心湖,王飛躍.生成式對抗網絡GAN的研究進展與展望.自動化學報,2017, 43(3):321?332

Wang Kun-Feng,Gou Chao,Duan Yan-Jie,Lin Yi-Lun,Zheng Xin-Hu,Wang Fei-Yue.Generative adversarial networks:the state of the art and beyond.Acta Automatica Sinica,2017,43(3):321?332

2017-02-01 錄用日期2017-03-01

Manuscript received February 1,2017;accepted March 1,2017國家自然科學基金(61533019,71232006,91520301)資助

Supported by National Natural Science Foundation of China (61533019,71232006,91520301)本文責任編委劉德榮

Recommended by Associate Editor LIU De-Rong 1.中國科學院自動化研究所復雜系統管理與控制國家重點實驗室北京100190 中國 2.青島智能產業技術研究院 青島266000 中國 3.中國科學院大學北京100049中國 4.明尼蘇達大學計算機科學與工程學院明尼阿波利斯MN 55414美國 5.國防科學技術大學軍事計算實驗與平行系統技術研究中心長沙410073 中國

1.The State Key Laboratory of Management and Control for Complex Systems,Institute of Automation,Chinese Academy of Sciences,Beijing 100190,China 2.Qingdao Academy of Intelligent Industries,Qingdao 266000,China 3.University of Chinese Academy of Sciences,Beijing 100049,China 4.Department of Computer Science and Engineering,University of Minnesota,Minneapolis,MN 55414,USA 5.Research Center for Computational Experiments and Parallel Systems Technology,National University of Defense Technology,Changsha 410073,China

DOI10.16383/j.aas.2017.y000003