基于生成對抗網絡的織物圖案生成方法

李 鋒, 邵 健

(東華大學 計算機科學與技術學院, 上海 201620)

0 引 言

紡織業作為中國的支柱性產業，在國民經濟中占有重要的地位，并且具有很強的國際性優勢[1]。 目前紡織品的藝術設計作為紡織品行業的一個重要競爭因素，時尚創新逐漸成為新的市場要求。

圖像的自動生成一直是計算機視覺領域的一個重點研究方向[2]。如今，深度學習等技術的發展帶來了具有重要研究意義的圖像生成技術。生成對抗網絡(Generative Adversarial Nets, GAN)算法是近幾年圖像處理領域比較熱門的技術，GAN的提出給更多的領域提供了新的解決方案，已有眾多研究成果如恢復殘缺圖像、生成逼真人臉、提升圖像分辨率等；深度卷積生成對抗網絡(Deep Convolutional GAN, DCGAN)作為GAN的典型衍生模型已成為近幾年來備受關注的熱點技術。然而在DCGAN生成圖片時會產生類似棋盤格的干擾信息，這一問題普遍存在于眾多模型中。在深度學習中，常常會使用從低分辨率向高分辨率逐步轉換的方式來生成圖片，在DCGAN中亦是如此，具體表現為生成器中的反卷積操作。由于反卷積操作在多數情況下會導致不均勻的像素重疊，使得生成圖像中的部分區域產生類似棋盤格的色彩信息，即棋盤效應。

針對該現象本文使用縮放卷積即上采樣與正向卷積的方式代替DCGAN中的反卷積操作，對DCGAN進行改進。將該改進DCGAN模型應用于織物圖案設計，實現了由人工智能模擬人類思維過程，完成創造性任務。

1 生成對抗網絡

由Goodfellow等人于2014年提出的生成對抗網絡(GAN)在深度學習領域迅速掀起熱潮，成為近幾年來備受關注的熱點技術。GAN在圖像合成、超分辨率、 風格遷移以及其他圖像生成任務上表現出突出的性能。GAN包括一個生成器G(Generator)和一個判別器D(Discriminator)，其結構如圖1所示。其中，生成器G通過輸入噪聲z去學習真實樣本的分布，并嘗試生成判別器D無法將其與真實樣本區分開的樣本，而判別器D的目標是盡力區分開這兩種樣本，可以將其視為二分類器，用0和1分別代表偽樣本和真實樣本[3]。隨著生成器G與判別器D的持續迭代更新，兩者的性能都會此起彼伏的增長。通過不斷的博弈，直到生成器G生成的樣本可以以假亂真欺騙判別器D時，判別器D的判別準確率約為50%， 模型處于納什均衡，表示生成器G成功的生成了符合真實樣本分布的樣本。

圖1 GAN結構圖

GAN中判別器D的損失值來自兩種情況：一是將真實樣本判別為生成器G生成的樣本，二是將生成器G生成的樣本判別為真實樣本[4]。由于生成器G和判別器D是零和博弈的過程，所以其損失值即為判別器D損失值的負值，可由式(1)表示：

(1)

其中，D(x)表示判別器D判定輸入樣本為真實樣本的概率，pdata(x)和pz(z)分別表示真實樣本分布和生成樣本分布。根據式(1)，GAN的優化目標函數表示為式(2)：

Ex～pdata(x)[logD(x)]+Ez～pz(z)[log(1-D(G(z)))].

(2)

判別器D希望判別輸入的真實樣本的值趨于1， 同時對生成樣本的判別值盡可能的趨于0，即讓D(x)無限趨近于1，D(G(z))無限趨近于0。相反。生成器G的目標是學習到真實樣本的分布pdata(x)并成功欺騙判別器D，即使得D(G(z))盡可能的趨近于1。

在實際訓練的過程中，訓練初期生成器G幾乎不可能生成出與真實樣本相似的圖像，即無法很好的模擬真實樣本的分布，判別器D就會很輕易的分辨出樣本的真假，導致判別器D很快收斂。同時，反饋的損失值也非常小，導致生成器G在迭代更新的過程中產生較小的梯度，更新梯度便會下降甚至停止，導致生成器G極早的停止學習。因此，在訓練生成器G時，將其原損失中的log(1-D(G(z)))替換為logG(z)，這使得生成器G的弱梯度引起的模型發散問題得以解決。

上述零和博弈中，生成器G與判別器D的損失值之和嚴格等于0，即飽和式零和博弈，同時，還有一種可以解決因為生成器G梯度消失導致GAN無法收斂的問題的方式，稱作非飽和式零和博弈[5]，其定義如式(3)。 由于式(2)是整體圍繞判別器D而定義的損失，導致判別器D一旦收斂就無法更新生成器G。而式(3)通過重新定義生成器G的損失來避免生成器嚴重約束于判別器。

(3)

2 改進的DCGAN模型

針對原始GAN模型難以收斂、生成樣本缺乏多樣性以及生成樣本質量較差等問題，Alec Radford等人對原始GAN模型進行改進，于2015年提出了深度卷積生成對抗網絡(DCGAN)。 相對于原始GAN模型，DCGAN增加了更多的隱藏層和參數。DCGAN與GAN理論具有一致的標準結構，主要區別在于DCGAN將卷積神經網絡與GAN結合，通過兩個卷積神經網絡實現生成器G和判別器D。具體來說，DCGAN存在如下的改變：

(1)取消池化層，取而代之使用跨步卷積，在生成器G中使用反卷積進行上采樣；

(2)取消全連接層，使用卷積層連接生成器G和判別器D的輸入輸出；

(3)生成器G和判別器D中均使用批量歸一化(Batch Normalization, BN)，可以有效緩解初始化不理想的問題；

(4)生成器G中除了輸出層使用Tanh，其他各層使用ReLU作為激活函數。該改進方式可以有效防止梯度消失，同時加速網絡收斂。激活函數ReLU與Tanh表達式分別如式(4)和式(5)：

(4)

(5)

(5)判別器D使用LeakyReLU作為激活函數，其表達式(6)如下：

(6)

在DCGAN的判別器D中，通過使用卷積神經網絡模型對輸入樣本進行不斷的卷積與下采樣運算，最后完成真假樣本的分類。而在生成器G中，則使用反卷積來完成上采樣運算。反卷積的具體運算過程如圖2所示。首先填充輸入圖像，然后進行卷積運算，裁剪后的卷積運算結果即為反卷積的運算結果。

圖2 反卷積運算

反卷積操作的一個弊端是會造成不均勻的像素重疊，導致生成圖像產生明顯的棋盤效應[6]，在卷積核大小非步長的整數倍時尤為突出。這種重疊的樣式體現在兩個維度上，兩個坐標方向上不均勻的重疊相乘產生了類似棋盤格的樣式特性。在一維情況下， 一個size=3，stride=2的反卷積操作所展示的棋盤效應如圖3所示。在實際生成圖像中棋盤效應的表現如圖4所示，其為使用未改進的DCGAN循環訓練5000次生成的格子織物圖案。

圖3 反卷積重疊

圖4 棋盤效應

圖5 雙線性插值

圖5中，P為理論點，Q11,Q12,Q21,Q22為P點最近的4個點，將在圖像A中找到該理論點最近的4個點。其計算方法為首先通過線性插值求得點R1與R2，再基于點R1與點R2線性插值，求得點P， 式(7)、式(8)和式(9)：

(7)

(8)

(9)

f(x,y)即為通過雙線性插值計算后圖像B中點(x,y)的值。

同時，在訓練網絡的過程中，生成器G的損失值一直處于遞增的趨勢。該現象是由于在訓練過程中判別器D達到過擬合，其損失值在初期迅速的向0逼近，以致于G無法繼續學習。本文通過在判別器D的輸入中添加高斯噪聲來抑制判別器D達到過擬合狀態，提高生成器G的學習能力。

本文基于DCGAN改進后的模型結構，如圖6所示。將原模型生成器G中3個反卷積層替換為3個縮放卷積層，即上采樣和正向卷積操作。判別器D首先對輸入樣本添加高斯噪聲，經過多層卷積運算后映射1個標量結果。

(10)

為模型的整體損失值，如式(11)所示：

(11)

12)

(13)

(a) 生成器 (b) 判別器

改進DCGAN的網絡結構如圖6所示，生成器G和判別器D的網絡參數分別見表1、表2。其中，m@k×k×n表示當前層的卷積核設置為k×k×n, 并運算出m個特征圖。

表1 生成器G網絡參數

表2 判別器D網絡參數

3 實驗分析

本文從互聯網中收集了2 420張格子圖案的織物圖像作為原始數據集，并對這些圖像添加隨機噪聲，翻轉變換以及亮度更改等處理，將數據集樣本數量擴充至8 000，所有樣本數據均已進行中心裁剪和歸一化等預處理操作，樣本圖像分辨率為64×64。數據集示例如圖7所示。

圖7 格子織物圖案樣本示例圖

本文中實驗的硬件環境為Intel(R) Xeon(R) Bronze3204 CPU，16G RAM和NVIDIA GeForce RTX 2080Ti 11G顯卡； 軟件環境為TensorFlow 1.14及Python3.5。實驗中采用小批量隨機梯度下降的方式進行訓練，以提升模型訓練的速度和準確性。設置卷積核大小5×5，步長為2，學習速率0.001，共5 000次循環，單次循環覆蓋所有數據集樣本。本文共進行3組實驗, 分別為原始DCGAN模型、縮放卷積中采用最近鄰插值的改進DCGAN模型NN-DCGAN以及縮放卷積中采用雙線性插值的改進DCGAN模型Bilinear-DCGAN。在相同實驗環境下分別進行訓練，3組實驗在不同訓練階段的生成圖像效果如圖8所示。

在評價模型效果和圖像質量時，主要分為主觀評估和客觀評估兩種方式。針對主觀視覺方面，通過實驗結果可以發現，隨著網絡的不斷迭代更新，生成圖案質量有明顯的提升。從epoch=5k的生成圖像可以發現Bilinear-DCGAN和NN-DCGAN都比原始DCGAN生成的樣本紋理更加清晰，具有更少的噪聲，可以明顯的抑制棋盤效應。

為了更加有效的驗證模型效果，本文對對比實驗中的不同模型進行了客觀評估和分析。模型的訓練損失值一方面表征了模型的收斂效果，同時也體現了生成圖像和真實圖像的相似度，即生成圖像的真實性。 對比實驗中訓練總損失變化曲線如圖9所示。

圖8 不同模型實驗效果

圖9 不同模型的損失曲線

同時，本文使用Inception Score(IS)和Fréchet Inception Distance(FID)兩種客觀評估方法對模型生成圖像的真實性和多樣性進行評估，IS值越大代表生成樣本質量越高，FID值越小代表模型效果越好。最終評估結果見表3。

表3 模型評估結果

從圖9和表3的評估結果可以得出，相對原始DCGAN而言，Bilinear-DCGAN和NN-DCGAN在訓練過程以及生成圖像質量方面都具有更佳的效果，證明該改進方法對抑制棋盤效應并提高圖像質量起到了積極作用。同時也發現在本文針對織物圖案的實驗中NN-DCGAN具有最佳的實驗效果和評估結果，即在縮放卷積的上采樣方式中，使用最近鄰插值上采樣相比使用雙線性插值具有更好的效果。

圖10為原始DCGAN經過5 000次迭代訓練后生成的織物圖案，圖案比較模糊，存在棋盤效應。圖11為通過本文所用NN-DCGAN模型生成的織物圖案，在視覺上比較平滑，圖像質量相比原始DCGAN有所提高。本文不能證明以上兩種方法是上采樣的最終解決方案，但其確實對修復棋盤效應起到一定的作用。

圖10 DCGAN生成樣本圖

圖11 NN-DCGAN生成樣本圖

4 結束語

本文改進了DCGAN的模型結構，使用縮放卷積代替原模型中的反卷積操作。實驗結果表明，該算法可有效解決反卷積操作帶來的棋盤效應問題， 同時保證了生成圖像的質量。此外，該模型在格子織物圖案樣本集上的實驗結果顯示，生成對抗網絡可用于織物圖案的生成工作，模擬設計師完成創造性任務，對織物圖案的快速創新設計具有重要的應用價值和意義。