基于生成式對抗網(wǎng)絡(luò)的局部風(fēng)格遷移

張紅蕊

摘 要：生成式對抗網(wǎng)絡(luò)GAN（Generative Adversarial Networks）結(jié)合機器學(xué)習(xí)中的生成模型和判別模型的思想演變?yōu)榫W(wǎng)絡(luò)結(jié)構(gòu)中的生成器型用于捕捉真實樣本的概率分布并生成新的樣本，判別器用于對生成結(jié)果進行分類，兩者采用對抗訓(xùn)練方式。本文以GAN的結(jié)構(gòu)特征以及方法原理為基礎(chǔ)，結(jié)合風(fēng)格遷移的理論依據(jù)，對真實場景的圖片數(shù)據(jù)進行藝術(shù)風(fēng)格轉(zhuǎn)換，加入掩膜圖像思想實現(xiàn)局部風(fēng)格轉(zhuǎn)換和混合風(fēng)格轉(zhuǎn)換。

關(guān)鍵字：深度學(xué)習(xí) 生成式對抗網(wǎng)絡(luò) 風(fēng)格遷移

一、相關(guān)工作

（一）GAN原理

GAN[1]源于二人零和博弈理論，它包括生成模型和判別模型：生成器 用于捕捉真實數(shù)據(jù)樣本的概率分布并生成新的樣本；判別器 可以看作是一個二分類器，輸出一個固定的概率值。雙向GAN機制[2-3]包含成對的生成器和判別器，采用深度卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)雙向域中圖像轉(zhuǎn)換任務(wù)。

（二）風(fēng)格遷移

風(fēng)格遷移定義為存在一張圖片 提取圖像整體風(fēng)格，存在另一張圖片 保留紋理內(nèi)容，將兩者因素相互結(jié)合在一起生成新的圖片既具有 的風(fēng)格同時保留 的內(nèi)容。風(fēng)格遷移方法Neural Style Transfer[4]使用深度神經(jīng)網(wǎng)絡(luò)VGG19網(wǎng)絡(luò)提取圖像深層次特征信息，采用感知損失函數(shù)計算差異。

二、 方法原理

本文旨在實現(xiàn) 域到 域圖像的轉(zhuǎn)換任務(wù)，對于風(fēng)格遷移，假定域為內(nèi)容域， 域為風(fēng)格域，采用GAN網(wǎng)絡(luò)架構(gòu)生成新的圖像既保留 域的圖像內(nèi)容又符合 域的圖像風(fēng)格。逐像素匹配圖如圖2-1所示，域與域逐像素匹配，將圖像風(fēng)格進行轉(zhuǎn)換，使合成圖像為輸入圖像內(nèi)容和目標圖像風(fēng)格的完美

結(jié)合。

（一）全局風(fēng)格遷移

GAN網(wǎng)絡(luò)結(jié)構(gòu)中包含一個生成模型和一個判別模型，兩者采用對抗訓(xùn)練的方式學(xué)習(xí)。其中生成器以 圖像尺寸作為輸入，經(jīng)過深度殘差網(wǎng)提取圖像深層次特征信息；判別器則是一個輸入為 的圖像小塊的深度神經(jīng)網(wǎng)絡(luò)，在提取特征后反饋給生成器；網(wǎng)絡(luò)結(jié)構(gòu)中采用多損失函數(shù)共同計算誤差，并通過反向傳播算法將梯度誤差回饋給生成網(wǎng)絡(luò)。

（二）局部風(fēng)格遷移

網(wǎng)絡(luò)模型結(jié)合掩膜圖像的思想，理論實現(xiàn)如公式2-1所示。輸出的圖像對應(yīng)掩膜圖像中值為1的部分保持不變，對應(yīng)掩膜圖像中值為0的部分為轉(zhuǎn)換后的效果。原始圖像是A（x， y），轉(zhuǎn)換后圖像為B（x， y），掩膜圖像為m（x， y），通過代數(shù)運算得到的局部風(fēng)格轉(zhuǎn)換圖像為A'（x， y）。

A'（x， y）=A（x， y）∧B（x， y）+m（x， y）∧（-B（x， y）） （公式2-1）

三、實驗結(jié)果

實驗細節(jié)：實驗數(shù)據(jù)中的原始圖像來源于真實場景的圖像取景，風(fēng)格圖像為藝術(shù)作品圖像；學(xué)習(xí)率最初默認設(shè)定為0.0002，batchsize大小設(shè)置為1；網(wǎng)絡(luò)結(jié)構(gòu)采用深度學(xué)習(xí)中Adam優(yōu)化方法和反向傳播算法。實驗結(jié)果如圖3-1所示，從左至右依次是內(nèi)容圖 、風(fēng)格圖 以及生成圖像。

四、 總結(jié)與展望

本文應(yīng)用生成式對抗網(wǎng)絡(luò)模型架構(gòu)，采用生成器和判別器的對抗訓(xùn)練的方式，結(jié)合深度卷積神經(jīng)網(wǎng)絡(luò)在提取深層次圖像特征的優(yōu)勢，優(yōu)化損失函數(shù)計算，以風(fēng)格遷移圖像轉(zhuǎn)換任務(wù)的理論依據(jù)為指導(dǎo)，實現(xiàn)了自然場景圖像與藝術(shù)風(fēng)格遷移轉(zhuǎn)換任務(wù)，并結(jié)合圖像處理方法的掩膜思想，將全局風(fēng)格遷移轉(zhuǎn)換為局部風(fēng)格遷移。

參考文獻：

[1] Goodfellow I J， Pouget-Abadie J， Mirza M， et al. Generative Adversarial Networks[J]. Advances in Neural Information Processing Systems， 2014， 3：2672-

2680.

[2] Zhu J Y， Park T， Isola P， et al. Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks[C]// IEEE International Conference on Computer Vision. IEEE Computer Society， 2017：2242-2251.

[3] Yi Z， Zhang H， Tan P， et al. DualGAN： Unsupervised Dual Learning for Image-to-Image Translation[J]. 2017：2868-2876.

[4] Johnson J， Alahi A， Li F F. Perceptual Losses for Real-Time Style Transfer and Super-Resolution[C]// European Conference on Computer Vision. Springer， Cham， 2016：694-711.