基于生成對抗網(wǎng)絡(luò)的動漫頭像生成研究

摘 ?要：在深度學(xué)習(xí)中，數(shù)據(jù)是三大核心要素之一。尤其在某些領(lǐng)域，數(shù)據(jù)的稀有、人工標(biāo)注造成大量人力的浪費(fèi)、數(shù)據(jù)好壞對產(chǎn)出結(jié)果的影響，都顯現(xiàn)出數(shù)據(jù)的重要性。鑒于在動漫領(lǐng)域中，人物的制作需要花費(fèi)大量的人力和時間，所以從動漫頭像出發(fā)，基于生成對抗網(wǎng)絡(luò)，結(jié)合編碼器、殘差網(wǎng)絡(luò)、解碼器，經(jīng)過編碼器改變圖像的維度，最后利用解碼器將提取到的特征數(shù)據(jù)生成近似于原始圖像的數(shù)據(jù)集。生成對抗網(wǎng)絡(luò)本身固有的缺點(diǎn)會導(dǎo)致最后的效果并不是很好，于是嘗試對生成對抗網(wǎng)絡(luò)進(jìn)行深度卷積的改進(jìn)，再加上WGAN的梯度懲罰思想來優(yōu)化自編碼器基礎(chǔ)上的生成對抗網(wǎng)絡(luò)。

關(guān)鍵詞：深度學(xué)習(xí);生成對抗網(wǎng)絡(luò);數(shù)據(jù)生成;深度卷積

中圖分類號：TP391 ? ? 文獻(xiàn)標(biāo)識碼：A

Abstract： In deep learning， data is one of the three core elements. Especially in some fields， scarcity of data， manpower waste caused by manual labeling， and the impact of data quality on the output results all show the importance of data. As in animation field， production of characters takes a lot of time and manpower， this paper starts from animation profile picture and combines encoder， residual network and decoder based on Generative Adversarial Network. After the encoder changes the dimension of the image， the decoder is used to generate a dataset similar to the original image with extracted feature data. The inherent shortcomings of the Generative Adversarial Network itself will lead to an unideal final effect， so the author tries to improve the Generative Adversarial Network by deep convolution， coupled with the gradient penalty idea of WGAN （Wasserstein Generative Adversarial Network） to optimize the Generative Adversarial Network based on the autoencoder.

Keywords： deep learning; Generative Adversarial Network; data generation; deep convolution

1 ? 引言（Introduction）

生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）于2014年被在蒙特利爾讀博士的Ian Goodfellow提出，在之后的幾年，一直都處于火熱研究對象的狀態(tài)之中[1]，且于2016年席卷AI領(lǐng)域頂會，深度學(xué)習(xí)三大馬車之一的Yann LeCun曾形容它為“20年來深度學(xué)習(xí)領(lǐng)域最酷的構(gòu)想”。生成對抗網(wǎng)絡(luò)被廣泛應(yīng)用于圖像生成[2]、圖像轉(zhuǎn)換[3]、圖像修復(fù)[4]，在目標(biāo)檢測[5]、行人識別[6]等方面也有著重要的輔助作用。大量的研究者希望將生成對抗網(wǎng)絡(luò)應(yīng)用于各個領(lǐng)域，例如有在醫(yī)學(xué)領(lǐng)域的研究者希望借助生成對抗網(wǎng)絡(luò)的學(xué)習(xí)方式及其學(xué)習(xí)能力來生成藥學(xué)分子結(jié)構(gòu)和合成新材料的配方。

2 ? 生成對抗網(wǎng)絡(luò)（Generative adversarial network）

2.1 ? 網(wǎng)絡(luò)結(jié)構(gòu)與原理展示

生成對抗網(wǎng)絡(luò)（Generative Adversarial Network， GAN）因?yàn)橛兄鴺O好的生成能力以及效果而得到了廣泛的認(rèn)知，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

它同時包含了判別式模型和生成式模型。生成式模型是為了產(chǎn)生與來自真實(shí)數(shù)據(jù)相似的數(shù)據(jù)，讓判別式模型誤以為是真實(shí)數(shù)據(jù)，而判別式模型是為了極力地判斷出其數(shù)據(jù)并不是真實(shí)的數(shù)據(jù)，將其與真實(shí)的數(shù)據(jù)分別開來。

在判別式模型和生成式模型兩者互相對抗學(xué)習(xí)的情況下，判別式模型的判斷會讓生成式模型逐漸產(chǎn)生逼近于真實(shí)的數(shù)據(jù)，同時生成式模型在生成近似于真實(shí)數(shù)據(jù)的時候，判別式模型的判別能力也會增強(qiáng)，努力找尋兩者數(shù)據(jù)之間的差距，將兩者區(qū)別開來。到最后，生成式模型會擁有生成真實(shí)數(shù)據(jù)分布的能力，判別式模型會因?yàn)樯墒侥Ｐ湍芰Φ脑鰪?qiáng)而增強(qiáng)，對生成樣本判斷為虛假樣本的性能增強(qiáng)。

整個過程與畫家成長過程相似，畫家不斷學(xué)習(xí)自己的畫與名畫之間的差距，畫出的畫更接近名畫來干擾鑒畫師，而鑒畫師也會不斷學(xué)習(xí)鑒別假畫與真畫之間差距的能力。

生成對抗網(wǎng)絡(luò)采用博弈論中零和博弈游戲的思想，以期達(dá)到納什均衡點(diǎn)。

生成式模型不斷生成數(shù)據(jù)分布，判別式模型判斷數(shù)據(jù)是否為真實(shí)數(shù)據(jù)，兩者相互對抗，到最后兩者都學(xué)習(xí)到最優(yōu)狀態(tài)。

編碼器部分用來提取數(shù)據(jù)特征，卷積之后進(jìn)行實(shí)例歸一化（Instance Normalization， IN），激活函數(shù)用Relu。

ResNet部分用來結(jié)合特征，同樣使用IN層，將PRelu用作激活函數(shù)，保留特征，丟失最小的特征信息，組成新的具有相似信息的特征組合。

解碼器部分將經(jīng)過ResNet部分的特征數(shù)據(jù)轉(zhuǎn)換成特征圖。

4.4 ? 判別式模型

判別式模型與生成式模型形成競爭關(guān)系，判別式模型的鑒別能力對生成式模型生成的圖片存在質(zhì)量影響?？紤]到在梯度傳播過程中，參數(shù)在更新的時候梯度會出現(xiàn)消失的情況，在卷積操作之后加入批量歸一化的操作處理方式，以此來保證判別式模型的穩(wěn)定訓(xùn)練，之后再加入Leaky-Relu激活函數(shù)（參數(shù)化修正線性單元），保證Relu優(yōu)點(diǎn)的時候，不會出現(xiàn)Dead Relu的問題。

4.5 ? 結(jié)果

生成結(jié)果圖如圖4所示。

兩個模型的學(xué)習(xí)率都是0.002。學(xué)習(xí)率增加，收斂速度也增加的同時會出現(xiàn)生成式模型倒塌，而將學(xué)習(xí)率降為0.002時，生成式模型倒塌的次數(shù)也會下降，相對穩(wěn)定。

訓(xùn)練時間較長，生成的圖像有屬于失敗的情況，但是對于大多數(shù)圖像來說屬于良好的情況。

5 ? 結(jié)論（Conclusion）

本文將已有的自編碼器與ResNet在生成對抗網(wǎng)絡(luò)上進(jìn)行動漫頭像的生成，本著無監(jiān)督學(xué)習(xí)在深度學(xué)習(xí)方向上對智能發(fā)展的引導(dǎo)，在自編碼器學(xué)習(xí)特征的過程中加入判別信息，經(jīng)過懲罰傳遞判別信息，中間殘差網(wǎng)絡(luò)提高數(shù)據(jù)特征，以此重構(gòu)具有相似特征的動漫圖像。

在將來如果有更好的條件將彌補(bǔ)本文的不足，使用性能更強(qiáng)的GPU增加網(wǎng)絡(luò)參數(shù)，擴(kuò)大網(wǎng)絡(luò)規(guī)模，以期生成分辨率更高的圖像，解決復(fù)雜度以及多樣性問題。

參考文獻(xiàn)（References）

[1] CRESWELL A， WHITE T， DUMOULIN V， et al. Generative adversarial networks： An overview[J]. IEEE Signal Processing Magazine， 2018， 35（1）：53-65.

[2] HUANG H， YU P S， WANG C H. An introduction to image synthesis with generative adversarial nets[DB/OL]. [2018-03]. https：//arxiv.org/pdf/1803.04469.pdf.

[3] 朱海峰，邵清.基于深度學(xué)習(xí)的圖像風(fēng)格轉(zhuǎn)換研究[J].軟件，? ? ?2020，41（3）：102-106，117.

[4] DEMIR U， UNAL G. Patch-based image inpainting with generative adversarial networks[DB/OL]. [2018-03].https：//arxiv.org/pdf/1803.07422.pdf.

[5] PRAKASH C D， KARAM L J. It GAN DO better： GAN-based detection of objects on images with varying quality? ? ?[DB/OL]. [2019-12]. https：//arxiv.org/pdf/1912.01707.pdf.

[6] GE Y X， LI Z W， ZHAO H Y， et al. Fd-gan： Pose-guided feature distilling gan for robust person re-identification[DB/OL]. [2018-10]. https：//arxiv.org/pdf/1810.02936.pdf.

[7] 張恩琪，顧廣華，趙晨，等.生成對抗網(wǎng)絡(luò)GAN的研究進(jìn)展[J].計(jì)算機(jī)應(yīng)用研究，2021，38（04）：968-974.

[8] LECUN Y， BENGIO Y， HINTON G. Deep learning[J]. Nature， 2015， 521（7553）：436-444.

作者簡介：

彭章龍（1995-），男，碩士生.研究領(lǐng)域：圖像處理.