基于生成對(duì)抗網(wǎng)絡(luò)的動(dòng)漫頭像生成研究

摘 ?要：在深度學(xué)習(xí)中，數(shù)據(jù)是三大核心要素之一。尤其在某些領(lǐng)域，數(shù)據(jù)的稀有、人工標(biāo)注造成大量人力的浪費(fèi)、數(shù)據(jù)好壞對(duì)產(chǎn)出結(jié)果的影響，都顯現(xiàn)出數(shù)據(jù)的重要性。鑒于在動(dòng)漫領(lǐng)域中，人物的制作需要花費(fèi)大量的人力和時(shí)間，所以從動(dòng)漫頭像出發(fā)，基于生成對(duì)抗網(wǎng)絡(luò)，結(jié)合編碼器、殘差網(wǎng)絡(luò)、解碼器，經(jīng)過(guò)編碼器改變圖像的維度，最后利用解碼器將提取到的特征數(shù)據(jù)生成近似于原始圖像的數(shù)據(jù)集。生成對(duì)抗網(wǎng)絡(luò)本身固有的缺點(diǎn)會(huì)導(dǎo)致最后的效果并不是很好，于是嘗試對(duì)生成對(duì)抗網(wǎng)絡(luò)進(jìn)行深度卷積的改進(jìn)，再加上WGAN的梯度懲罰思想來(lái)優(yōu)化自編碼器基礎(chǔ)上的生成對(duì)抗網(wǎng)絡(luò)。

關(guān)鍵詞：深度學(xué)習(xí);生成對(duì)抗網(wǎng)絡(luò);數(shù)據(jù)生成;深度卷積

中圖分類(lèi)號(hào)：TP391 ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

Abstract： In deep learning， data is one of the three core elements. Especially in some fields， scarcity of data， manpower waste caused by manual labeling， and the impact of data quality on the output results all show the importance of data. As in animation field， production of characters takes a lot of time and manpower， this paper starts from animation profile picture and combines encoder， residual network and decoder based on Generative Adversarial Network. After the encoder changes the dimension of the image， the decoder is used to generate a dataset similar to the original image with extracted feature data. The inherent shortcomings of the Generative Adversarial Network itself will lead to an unideal final effect， so the author tries to improve the Generative Adversarial Network by deep convolution， coupled with the gradient penalty idea of WGAN （Wasserstein Generative Adversarial Network） to optimize the Generative Adversarial Network based on the autoencoder.

Keywords： deep learning; Generative Adversarial Network; data generation; deep convolution

1 ? 引言（Introduction）

生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）于2014年被在蒙特利爾讀博士的Ian Goodfellow提出，在之后的幾年，一直都處于火熱研究對(duì)象的狀態(tài)之中[1]，且于2016年席卷AI領(lǐng)域頂會(huì)，深度學(xué)習(xí)三大馬車(chē)之一的Yann LeCun曾形容它為“20年來(lái)深度學(xué)習(xí)領(lǐng)域最酷的構(gòu)想”。生成對(duì)抗網(wǎng)絡(luò)被廣泛應(yīng)用于圖像生成[2]、圖像轉(zhuǎn)換[3]、圖像修復(fù)[4]，在目標(biāo)檢測(cè)[5]、行人識(shí)別[6]等方面也有著重要的輔助作用。大量的研究者希望將生成對(duì)抗網(wǎng)絡(luò)應(yīng)用于各個(gè)領(lǐng)域，例如有在醫(yī)學(xué)領(lǐng)域的研究者希望借助生成對(duì)抗網(wǎng)絡(luò)的學(xué)習(xí)方式及其學(xué)習(xí)能力來(lái)生成藥學(xué)分子結(jié)構(gòu)和合成新材料的配方。

2 ? 生成對(duì)抗網(wǎng)絡(luò)（Generative adversarial network）

2.1 ? 網(wǎng)絡(luò)結(jié)構(gòu)與原理展示

生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network， GAN）因?yàn)橛兄鴺O好的生成能力以及效果而得到了廣泛的認(rèn)知，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

它同時(shí)包含了判別式模型和生成式模型。生成式模型是為了產(chǎn)生與來(lái)自真實(shí)數(shù)據(jù)相似的數(shù)據(jù)，讓判別式模型誤以為是真實(shí)數(shù)據(jù)，而判別式模型是為了極力地判斷出其數(shù)據(jù)并不是真實(shí)的數(shù)據(jù)，將其與真實(shí)的數(shù)據(jù)分別開(kāi)來(lái)。

在判別式模型和生成式模型兩者互相對(duì)抗學(xué)習(xí)的情況下，判別式模型的判斷會(huì)讓生成式模型逐漸產(chǎn)生逼近于真實(shí)的數(shù)據(jù)，同時(shí)生成式模型在生成近似于真實(shí)數(shù)據(jù)的時(shí)候，判別式模型的判別能力也會(huì)增強(qiáng)，努力找尋兩者數(shù)據(jù)之間的差距，將兩者區(qū)別開(kāi)來(lái)。到最后，生成式模型會(huì)擁有生成真實(shí)數(shù)據(jù)分布的能力，判別式模型會(huì)因?yàn)樯墒侥Ｐ湍芰Φ脑鰪?qiáng)而增強(qiáng)，對(duì)生成樣本判斷為虛假樣本的性能增強(qiáng)。

整個(gè)過(guò)程與畫(huà)家成長(zhǎng)過(guò)程相似，畫(huà)家不斷學(xué)習(xí)自己的畫(huà)與名畫(huà)之間的差距，畫(huà)出的畫(huà)更接近名畫(huà)來(lái)干擾鑒畫(huà)師，而鑒畫(huà)師也會(huì)不斷學(xué)習(xí)鑒別假畫(huà)與真畫(huà)之間差距的能力。

生成對(duì)抗網(wǎng)絡(luò)采用博弈論中零和博弈游戲的思想，以期達(dá)到納什均衡點(diǎn)。

生成式模型不斷生成數(shù)據(jù)分布，判別式模型判斷數(shù)據(jù)是否為真實(shí)數(shù)據(jù)，兩者相互對(duì)抗，到最后兩者都學(xué)習(xí)到最優(yōu)狀態(tài)。

編碼器部分用來(lái)提取數(shù)據(jù)特征，卷積之后進(jìn)行實(shí)例歸一化（Instance Normalization， IN），激活函數(shù)用Relu。

ResNet部分用來(lái)結(jié)合特征，同樣使用IN層，將PRelu用作激活函數(shù)，保留特征，丟失最小的特征信息，組成新的具有相似信息的特征組合。

解碼器部分將經(jīng)過(guò)ResNet部分的特征數(shù)據(jù)轉(zhuǎn)換成特征圖。

4.4 ? 判別式模型

判別式模型與生成式模型形成競(jìng)爭(zhēng)關(guān)系，判別式模型的鑒別能力對(duì)生成式模型生成的圖片存在質(zhì)量影響。考慮到在梯度傳播過(guò)程中，參數(shù)在更新的時(shí)候梯度會(huì)出現(xiàn)消失的情況，在卷積操作之后加入批量歸一化的操作處理方式，以此來(lái)保證判別式模型的穩(wěn)定訓(xùn)練，之后再加入Leaky-Relu激活函數(shù)（參數(shù)化修正線(xiàn)性單元），保證Relu優(yōu)點(diǎn)的時(shí)候，不會(huì)出現(xiàn)Dead Relu的問(wèn)題。

4.5 ? 結(jié)果

生成結(jié)果圖如圖4所示。

兩個(gè)模型的學(xué)習(xí)率都是0.002。學(xué)習(xí)率增加，收斂速度也增加的同時(shí)會(huì)出現(xiàn)生成式模型倒塌，而將學(xué)習(xí)率降為0.002時(shí)，生成式模型倒塌的次數(shù)也會(huì)下降，相對(duì)穩(wěn)定。

訓(xùn)練時(shí)間較長(zhǎng)，生成的圖像有屬于失敗的情況，但是對(duì)于大多數(shù)圖像來(lái)說(shuō)屬于良好的情況。

5 ? 結(jié)論（Conclusion）

本文將已有的自編碼器與ResNet在生成對(duì)抗網(wǎng)絡(luò)上進(jìn)行動(dòng)漫頭像的生成，本著無(wú)監(jiān)督學(xué)習(xí)在深度學(xué)習(xí)方向上對(duì)智能發(fā)展的引導(dǎo)，在自編碼器學(xué)習(xí)特征的過(guò)程中加入判別信息，經(jīng)過(guò)懲罰傳遞判別信息，中間殘差網(wǎng)絡(luò)提高數(shù)據(jù)特征，以此重構(gòu)具有相似特征的動(dòng)漫圖像。

在將來(lái)如果有更好的條件將彌補(bǔ)本文的不足，使用性能更強(qiáng)的GPU增加網(wǎng)絡(luò)參數(shù)，擴(kuò)大網(wǎng)絡(luò)規(guī)模，以期生成分辨率更高的圖像，解決復(fù)雜度以及多樣性問(wèn)題。

參考文獻(xiàn)（References）

[1] CRESWELL A， WHITE T， DUMOULIN V， et al. Generative adversarial networks： An overview[J]. IEEE Signal Processing Magazine， 2018， 35（1）：53-65.

[2] HUANG H， YU P S， WANG C H. An introduction to image synthesis with generative adversarial nets[DB/OL]. [2018-03]. https：//arxiv.org/pdf/1803.04469.pdf.

[3] 朱海峰，邵清.基于深度學(xué)習(xí)的圖像風(fēng)格轉(zhuǎn)換研究[J].軟件，? ? ?2020，41（3）：102-106，117.

[4] DEMIR U， UNAL G. Patch-based image inpainting with generative adversarial networks[DB/OL]. [2018-03].https：//arxiv.org/pdf/1803.07422.pdf.

[5] PRAKASH C D， KARAM L J. It GAN DO better： GAN-based detection of objects on images with varying quality? ? ?[DB/OL]. [2019-12]. https：//arxiv.org/pdf/1912.01707.pdf.

[6] GE Y X， LI Z W， ZHAO H Y， et al. Fd-gan： Pose-guided feature distilling gan for robust person re-identification[DB/OL]. [2018-10]. https：//arxiv.org/pdf/1810.02936.pdf.

[7] 張恩琪，顧廣華，趙晨，等.生成對(duì)抗網(wǎng)絡(luò)GAN的研究進(jìn)展[J].計(jì)算機(jī)應(yīng)用研究，2021，38（04）：968-974.

[8] LECUN Y， BENGIO Y， HINTON G. Deep learning[J]. Nature， 2015， 521（7553）：436-444.

作者簡(jiǎn)介：

彭章龍（1995-），男，碩士生.研究領(lǐng)域：圖像處理.