基于對(duì)抗神經(jīng)網(wǎng)絡(luò)的小樣本生成技術(shù)

徐為立，袁和剛，任凱，董越，麥曉慶

（國(guó)網(wǎng)寧夏電力有限公司中衛(wèi)供電公司，寧夏中衛(wèi),755000）

0 引言

深度學(xué)習(xí)[1-2]需要大量數(shù)據(jù)的訓(xùn)練才能得到一個(gè)泛化能力比較強(qiáng)的學(xué)習(xí)模型。然而受自然因素和人力、物力限制，獲得海量數(shù)據(jù)是非常困難的。因此，使用有限數(shù)量的數(shù)據(jù)來(lái)生成更多相同特征的多樣性的數(shù)據(jù)是當(dāng)前深度學(xué)習(xí)所缺乏的，具有重要研究意義。

生成對(duì)抗網(wǎng)絡(luò)[3](Generative Adversarial Network,GAN)可以學(xué)習(xí)樣本數(shù)據(jù)中潛在信息，并將學(xué)習(xí)到信息用于新樣本的生成，但容易出現(xiàn)梯度消失和模式崩塌等問(wèn)題。本文在數(shù)據(jù)增強(qiáng)生成對(duì)抗網(wǎng)絡(luò)（Data Augmentation Generative Adversarial Network，DAGAN）[4]的基礎(chǔ)上，對(duì)其網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了調(diào)整，并將該網(wǎng)絡(luò)命名為DAGAN3+。實(shí)驗(yàn)結(jié)果表明，改進(jìn)網(wǎng)絡(luò)后生成的圖像可以達(dá)到很好的效果。

1 相關(guān)工作

數(shù)據(jù)擴(kuò)充的目標(biāo)是用新樣本擴(kuò)充訓(xùn)練集。深度生成模型可以利用訓(xùn)練數(shù)據(jù)的分布來(lái)為特征增強(qiáng)和圖像增強(qiáng)生成更加多樣和真實(shí)的樣本。

FIGR[5]將元學(xué)習(xí)的Reptile結(jié)合到遺傳神經(jīng)網(wǎng)絡(luò)中，學(xué)習(xí)同一類(lèi)幾幅圖像的數(shù)據(jù)分布，但生成的圖像質(zhì)量有待提升。DAWSON[6]是基于元學(xué)習(xí)的自適應(yīng)小樣本生成框架，把MAML 應(yīng)用于生成模型，但需要通過(guò)評(píng)估開(kāi)發(fā)集來(lái)獲得生成器的梯度。GMN[7]將Matching 成新穎的圖像，但生成的圖像稍有模糊。

2 模型框架

本模型框架使用一個(gè)自動(dòng)編碼器將現(xiàn)有的圖像進(jìn)行編碼，然后添加噪聲，接著進(jìn)行解碼，從而得到新的同類(lèi)的圖片。

2.1 網(wǎng)絡(luò)模型

模型目標(biāo)函數(shù)如公式（1）所示：

公式（1）中x表示真實(shí)圖片，z表示輸入生成器網(wǎng)絡(luò)的噪聲，G(z)表示生成的圖片。D(x)是判別器網(wǎng)絡(luò)判斷圖片為真的概率。而D(G(z))是判別器網(wǎng)絡(luò)判斷生成器生成的圖片為真的概率。

生成器網(wǎng)絡(luò)應(yīng)該使生成的圖片盡可能得接近真實(shí)圖片。換言之，就要讓D(G(z))盡可能得大，這時(shí)V(D, G)會(huì)變小。該模型也是由一個(gè)生成器和一個(gè)判別器組成，如圖1所示，生成器接收一個(gè)來(lái)自類(lèi)C的圖片Xi，然后圖片通過(guò)生成器的編碼器，得到圖片的低維特征向量Ri。另一個(gè)輸入是符合高斯分布的噪聲，噪聲通過(guò)線性處理后，與圖片的特征向量拼接，一同輸入到解碼器中，由解碼器生成一張圖片Xg。

圖1 DAGAN網(wǎng)絡(luò)結(jié)構(gòu)

2.2 生成器模型

2.2.1 U-Net3+

UNet 3+將編碼器中小尺度、同尺度的特征圖以及來(lái)自解碼器的大尺度的特征圖融合到每一個(gè)解碼器層，這些特征圖包含了全尺度下的細(xì)粒度語(yǔ)義與粗粒度語(yǔ)義。本文基于UNet 3+生成網(wǎng)絡(luò)，提出了一種新的生成器結(jié)構(gòu)。該網(wǎng)絡(luò)將全尺度的跳躍連接來(lái)自不同尺度特征圖中的高級(jí)語(yǔ)義與低級(jí)語(yǔ)義相結(jié)合；而深度監(jiān)督則從多尺度聚合的特征圖中學(xué)習(xí)層次表示。UNet 3+不僅提高了精度，還減少了網(wǎng)絡(luò)參數(shù)，提高了計(jì)算效率。

2.2.2 殘差塊

DAGAN中使用的殘差網(wǎng)絡(luò)結(jié)構(gòu)容易導(dǎo)致梯度混淆和信息損失，因此本文使用一種新的瓶頸模塊SandGlass。首先在逆殘差塊中降維，然后再進(jìn)行升維，在更高維特征之間構(gòu)建短連接。它在更高維度進(jìn)行恒等映射與空間變換，確保了深度卷積在高維空間處理并獲得更豐富的特征表達(dá)。實(shí)驗(yàn)證明該設(shè)計(jì)模式比已有的殘差塊更有效，而且不會(huì)導(dǎo)致額外的參數(shù)量與計(jì)算量的提升。

2.3 判別器模型

數(shù)據(jù)擴(kuò)充模型可以在源域中使用對(duì)抗神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)。一個(gè)數(shù)據(jù)來(lái)自于數(shù)據(jù)域D={x1，x2，...，xN}和相應(yīng)的目標(biāo)域{t1，t2，...，tN}。本文使用了一個(gè)改進(jìn)的WGAN[8]判別器，它要從同一個(gè)類(lèi)中取出兩組數(shù)據(jù)。

從數(shù)據(jù)域D中取出兩個(gè)數(shù)據(jù)，第一個(gè)輸入數(shù)據(jù)點(diǎn)xi和第二個(gè)數(shù)據(jù)點(diǎn)xj，表示從相同類(lèi)別的數(shù)據(jù)中選取兩個(gè)不同的真實(shí)樣本數(shù)據(jù)。另一個(gè)輸入數(shù)據(jù)點(diǎn)表示輸入某樣本類(lèi)別的真實(shí)數(shù)據(jù)和該樣本種類(lèi)的生成數(shù)據(jù)。

3 實(shí)驗(yàn)分析及評(píng)價(jià)

3.1 視覺(jué)效果實(shí)驗(yàn)

為了驗(yàn)證本文算法的有效性，在公開(kāi)數(shù)據(jù)集VGG-Faces進(jìn)行了測(cè)試。對(duì)數(shù)據(jù)集中2396個(gè)類(lèi)打亂順序，將將前1802用作訓(xùn)練集，1803-2300用測(cè)試集，2300-2396用作評(píng)價(jià)集，實(shí)驗(yàn)結(jié)果如圖2所示。

圖2 VGG-Face實(shí)驗(yàn)結(jié)果

從圖2可以看出，本文所提算法DAGan3+得到的人臉視覺(jué)效果優(yōu)于其他兩種算法。

3.2 數(shù)據(jù)增強(qiáng)效果實(shí)驗(yàn)

為了驗(yàn)證該算法的增強(qiáng)效果，利用增強(qiáng)后的數(shù)據(jù)集訓(xùn)練測(cè)試網(wǎng)絡(luò)，用平均分類(lèi)的正確率評(píng)價(jià)數(shù)據(jù)增強(qiáng)算法的性能。先在真實(shí)數(shù)據(jù)上訓(xùn)練判別器，每類(lèi)有5、10或15個(gè)樣本。結(jié)果為5次獨(dú)立運(yùn)行的平均值。表1是實(shí)驗(yàn)測(cè)試結(jié)果。

表1 網(wǎng)絡(luò)測(cè)試結(jié)果準(zhǔn)確率對(duì)比

從表1可以看出，本文所提算法在準(zhǔn)確率上較其他算法那更高，也證明了所提算法的增強(qiáng)效果最優(yōu)。

4 結(jié)論

針對(duì)小樣本生成問(wèn)題，本文將多尺度融合的U-Net3+和生成對(duì)抗神經(jīng)網(wǎng)絡(luò)相結(jié)合，提出了一種新的小樣本生成網(wǎng)絡(luò)。在公開(kāi)數(shù)據(jù)集上進(jìn)行了生成和數(shù)據(jù)增強(qiáng)對(duì)比實(shí)驗(yàn)。結(jié)果表明本文所給模型能夠生成更加多樣、真實(shí)的圖像，其數(shù)據(jù)增強(qiáng)效果更好。