基于子樣本集構建的DCGANs 訓練方法

陳泓佑 和紅杰 陳帆 朱翌明

生成式對抗網絡(Generative adversarial networks,GANs)[1]是2014年Goodfellow等依據零和博弈思想和納什均衡原理提出的一種數據生成模型,該模型[1?4]由生成器網絡(Generative net)和判別器網絡(Discriminative net)組成.生成器G網絡通過輸入隨機向量z使得輸出值G(z)盡可能符合訓練圖像分布,判別器D網絡對輸入的測試樣本盡可能判別出測試樣本的來源(即訓練圖像樣本集或生成圖像樣本集).GANs的最終目的是通過充分訓練,使得G網絡和D網絡達到納什均衡狀態,從而使得D網絡難以判別出輸入的采樣樣本的來源,G網絡生成的樣本分布逼近或相同于訓練樣本集分布.

GANs是一種經典有效的新型數據生成模型,但為使得生成樣本集分布與訓練樣本集分布相近或相同,在模型的優化與訓練上依然比較困難[1].主要原因在于G、D網絡通常使用深度神經網絡,因此會體現出深度神經網絡訓練中的問題,如難以訓練、學習時間長、收斂較慢、訓練最終效果難以控制等;在優化器優化損失函數的時候可能出現梯度消失的問題[1?2],從而導致G和D網絡未達到訓練要求前過早進入平穩狀態,使得訓練失效;GANs在優化器優化損失函數時只會找低損失點,不會找真正意義上的納什均衡點[5],可能導致對抗學習偏離納什均衡點,增大生成圖像分布與訓練圖像分布的差距.

為使得GANs圖像生成效果更好,學者做出了一些改進工作,通常改進的是網絡結構、目標優化函數或網絡的訓練方式.Mirza 等[6]提出一種CGANs模型,它的損失函數帶有條件約束,在G網絡和D網絡之中引入條件變量,從而將無監督GANs變成有監督GANs.Radford等[7]使用卷積神經網絡(CNN)作為G網絡和D網絡,提出了DCGANs(Deep convolutional generative adversarial networks)模型,并且G網絡和D網絡中的CNN去掉了池化處理和全連接層使得GANs圖像生成質量得以提高.Denton 等[8]提出了一種金字塔LAPGANs模型,其結合了CGANs和GANs的一些優點,使用一系列的GANs來生成質量更高的自然圖像.Odena[9]設計出SGANs,使用半監督的方式使得G網絡和D網絡可以同時訓練,相互促進相互學習,能夠明顯改變生成的圖像質量和學習的時間代價.Donahue等[10]提出了一種雙向結構的BiGANs,增加了E網絡(編碼機)作為特征提取器,用于將GANs要生成的數據空間中的數據逆映射回隱藏編碼空間,能夠在實際場景中的自然圖像達到好的效果.Zhang 等[11]提出的StackGAN由兩層CGANs組成,可以生成非常真實的自然圖像.Chen等[12]提出的InfoGAN中,G網絡的輸入信息z加入了隱含約束信息c,能更好地解釋z的語義信息,也能得到內容更豐富的生成圖像.Qi[13]和Arjovsky等[14]分別提出的LSGANs和WGANs主要是通過優化函數進行性能提升,前者主要針對了G網絡的過擬合問題,后者主要針對了整個網絡的梯度消失問題.Yu等[15]提出的SeqGANs通過改變網絡結構和優化函數,緩解了G網絡輸出值離散化后,D網絡難以回傳梯度對G網絡進行參數更新的問題.王功明等[16]在借鑒EBGANs的思想,重新設計了一種能量重構誤差損失函數,在學習效率和圖像生成質量上有所提高.

Salimans等[5]除將D網絡損失函數改為半監督形式外,也更改了它的訓練方式,對其使用Mini-Batch 的訓練方法,每次判別網絡輸入一批圖像進行判別,更改D網絡損失函數正負樣本概率權重,在每次饋入的Batchsize個樣本訓練之前做Normalize處理.Do-Omri[17]將深度神經網絡中的自訓練(Self-training)過程融入到針對半監督任務GANs.Gulrajani等[18]使用梯度懲罰方法替代了D網絡中權重剪枝的過程,提高了WGANs的穩定性.Daskalakis等[19]針對WGANs中的極限循環問題,使用OMD(Optimistic mirror decent)來改進訓練WGANs.Mescheder 等[20]使用D網絡參數正則化策略穩定GANs的訓練,并且指出實例噪聲(Instance noise)或零中心梯度懲罰的GANs訓練上是收斂的.

上述GANs相關文獻從網絡結構、優化函數、訓練方式的改進使得GANs性能有所提升.訓練方式的改進主要對網絡內部中間數據進行處理,或網絡中間層數據處理策略的改進.本文通過對GANs外部數據(訓練樣本集)進行干預,提出一種基于訓練樣本集特征分布的子樣本集構建的訓練方法.先計算出整個訓練樣本集在選取的特征空間中的概率分布,再對每次饋入(feed)生成器G的Batchsize個數據構建成與訓練集分布差異更小的子樣本集.使得在每次epoch內,每個Batchsize大小的子樣本集分布均與訓練樣本集分布相似.最后在卡通人臉數據集和Cifar10數據集上的實驗結果表明,相對于原有的訓練方法,本文能夠取得更好的生成圖像.

1 DCGANs訓練過程及子樣本集分布

DCGANs模型的生成器G和判別器D使用了去除池化層和全連接層的深度卷積神經網絡[7]代替多層感知機網絡,使得整個網絡連續可微.G網絡和D網絡的損失函數分別為:

其中,b是每次饋入的數據量,整個對抗網絡的博弈損失函數為:

V(D,G)是一個二元極小極大零和博弈函數,E(·)為期望函數.損失函數最終目的為使得G(Z)的分布函數FG(x)趨近于訓練樣本集X的分布FX(x),或G(Z)的概率密度函數f G(x)趨近于訓練樣本集X的概率密度函數f X(x).

1.1 DCGANs的訓練過程

DCGANs的訓練過程就是利用訓練樣本集X對損失函數的優化過程.主流的神經網絡優化方法是梯度下降法[20?24],它主要有全樣本梯度下降(Gradient descent,GD)、隨機梯度下降(Stochastic gradient descent,SGD)、批梯度下降(Batchsize gradient descent,BGD).其中SGD[22]每次饋入極少量樣本進行訓練,這種方法對內存要求少,收斂速度很快,但更容易陷入局部最優.BGD[21,23?25]每次饋入較大數據量進行訓練,它綜合考慮了梯度估計準確性、收斂速度、訓練效果等因素.在原DCGANs訓練過程中使用的是動量最小批SGD方法[7].

在選取優化方法后,確定Batchsize、epoch、學習率等超參數,下面分析數據的饋入過程.DCGANs的訓練示意圖如圖1所示.每個epoch 訓練順序饋入子樣本集,X i(i=1,2,···,m).

其中,n為訓練樣本總數,m為子樣本集個數,Batchsize為每次饋入的樣本數量.每次epoch訓練,遺漏的樣本數為nmod Batchsize.所以每個epoch 樣本覆蓋率為:

圖1 DCGANs訓練示意圖Fig.1 Schematic diagram of DCGANs training

每次epoch 訓練結束后,DCGANs的生成器網絡G對應一個生成樣本分布f G(x).由于在每個epoch 訓練中,每次饋入子樣本集X i后G網絡將模擬X i的分布f X i(x).因此每次epoch訓練后G網絡模擬的分布是這m個子分布f X i(x)效果總和.通過若干次epoch訓練使得f G(x)與訓練樣本集f X(x)盡可能相似.即:

其中,式(6)中“⊕”指每個epoch內DCGANs模擬子分布f X i(x)(i=1,2,···,m)效果的總和.式(7)中|·|函數是分布距離度量函數.

1.2 子樣本集分布與訓練效果

由式(6)可知,生成樣本集分布f G(x)與子樣本集X i的分布有直接關系.本節將討論子樣本集分布對網絡訓練效果的影響.命題2討論每個epoch內饋入的子樣本集X i對訓練效果的影響.由于上述問題均是在概率統計基礎上的討論,因此需要先證明G(Z)是隨機變量(命題1),證明命題1需要引用以下3個引理.

引理1[26].可測集上的連續函數是可測函數.

引理2[27].若X為可測空間(?,F)上的隨機變量,g(x)是可測函數,則Y=g(X)是(?,F)上的隨機變量.

引理3[27].設X1,X2,···,X k是可測空間(?,F)上的隨機變量,g(x1,x2,···,x k)是k元可測函數,那么Y=g(X1,X2,···,X k)是(?,F)上的隨機變量.

命題1.DCGANs中G網絡生成的圖像G(Z)=(Q1,Q2,···,Ql)是l維隨機變量,其中l是G網絡輸出神經元個數,Qi是第i個像素值.

證明.G網絡的直接輸出值G?(z)由多個神經元輸出值Ni(z)組成,即,

因為G網絡去掉了池化層[3],G網絡連續可微可導.

所以Ni(z)連續可微可導.

將其展開即Ni(z1,z2,···,zk)連續可微可導,其中k為隨機向量z的維度.

又因為z1,z2,···,zk各自的取值范圍是可測集.

從而由引理1可知Ni(z1,z2,···,zk)是可測集上的k元可測函數.

因為Z1,Z2,···,Zk是隨機變量.

由引理3可知Ni(Z1,Z2,···,Zk)是隨機變量.

所以G?(Z)是l維隨機變量.

將G網絡直接輸出值G?(z)轉化成圖像樣本G(z)時,需要對Ni(z)函數值進行線性變換為[0,255]區間的像素值,記神經元Ni(z)的值域為[n1,n2],它的輸出值為ni,則線性變換函數為:

顯然q(·)函數是可測集上的連續函數,結合引理1知,它是可測函數.

因為Ni是隨機變量.

那么由引理2知,Qi=q(Ni)為隨機變量.

所以G網絡的生成圖像G(Z)=(Q1,Q2,···,Ql)是l維隨機變量.

由第1.2節分析可知,神經網絡每次epoch 訓練過程中需要饋入若干組Batchsize大小的子樣本圖像集X i.因此將討論X i和總體訓練圖像集X的相似度與f G(x)和f X(x)相似度關系.由于涉及概率分布之間相似度度量,需先引入K L距離概念.

定義1.K L距離(Kullback-Leibler divergence),也叫相對熵(Relative entropy),其定量計算了同一事件空間中兩個不同的概率分布的差異程度.記兩個概率密度函數分別為f X(x)和gX(x),K L(f X(x)||gX(x))表示它們的K L距離,那么:

K L距離具有非負性,但不滿足距離定義中的對稱性和三角不等式.在實際操作中,生成圖G(z)和訓練圖像集x是隨機樣本值,計算它們兩組同維度圖片概率分布時,為了降低難度可以使用其在特征空間中的概率分布表征.

命題2.DCGANs訓練過程中依次饋入大小為Batchsize的訓練圖像子樣本集X i時,子樣本集X i、訓練集X、生成集G(Z)它們之間的關系為,

證明.DCGANs訓練過程中每次epoch 依次饋入子樣本集X i時(i∈[1,m]),網絡損失函數梯度估計值為g(X i,Zi).

所以每訓練一個epoch,共訓練m個Batchsize大小的子樣本集X i后,G網絡梯度估計值的總和為與之對應的梯度估計方差為

繼而討論以下兩種子樣本集對訓練結果的影響.

記兩種子樣本集{X1i}m和{X2i}m,滿足如下兩個條件:

因為var(g(X i,Zi))正相關于var((X i,Zi)),且式(12)為已知條件.

所以,

所以在梯度估計精度及平穩性上,子樣本集{X1i}m差于子樣本集{X2i}m.

2 基于子樣本集構建的訓練方法

在子樣本集構建過程中先計算出總體樣本集的概率分布,然后改進按比例抽樣方法從總體樣本集X中構建子樣本集X i.訓練整個網絡時,依次饋入X i進行網絡參數更新.

2.1 樣本特征分布計算

對于f X(x)需在其特征空間上進行描述,樣本本身為樣本的特征,若不對X進行任何處理,X本身就能描述f X(x).由于訓練樣本數量有限,在高維度特征空間中可能導致分布過于離散,不利于利用X的分布進行數據下采樣構建X i.

在計算f X(x)時,應考慮特征空間的構建,即特征向量V的組成.當確定V=(v1,v2,···,vn)后對vi在樣本集X上提取特征得到特征值集Vi,Vi的元素個數與X一致,它的元素由X中每個圖像樣本計算出的特征值vi組成.為了便于子樣本集X i的構建,應對特征值vi進行尺度變換處理,使得訓練集X在特征空間中的密度適當.此時Vi的每個元素值屬于[0,mi],其中mi是vi特征值尺度變換的最大值.最后計算出X關于特征向量V的聯合概率密度函數f V(v),用它表征f X(x).

圖2是Batchsize=128時G網絡的訓練過程生成樣本,第1～8行分別是第0,3,6,9,12,15,18,21個epoch的生成樣本.從圖2中可以看出,在DCGANs訓練過程中,G網絡先學習訓練集樣本的大體輪廓,再學習樣本的顏色,最后學習樣本的紋理,與此同時樣本的多樣性也會逐步提高.對于彩色圖像,人們最關注的部分也大體分解為三個方面,輪廓特征、顏色特征和紋理特征.由于圖像輪廓特征難以用一個量進行描述,并且三維特征空間構造及抽樣難度比二維更復雜(需調節各特征屬性的值域以使得X在特征空間中密度適當以便于抽樣),因此選用顏色特征和紋理特征進行特征空間構建.顏色一階矩和清晰度(圖像細節紋理的一種描述)在人工特征選取中經常被使用.

圖2 G網絡學習的中間效果Fig.2 Intermediate effects of G net learning

彩色圖像顏色一階矩特征如式(14)所示.

其中c={0.30,0.59,0.11}為RGB彩色空間轉灰度空間的系數.Ii(x,y)是第i個顏色通道坐標(x,y)處的值.w,h分別指圖像的寬度和高度.

清晰度評價函數選取廣泛使用且函數曲線與清晰度正相關的能量梯度函數.如式(15)所示.

在確定特征向量后,按以下3個步驟計算X在特征空間中的聯合概率密度函數f V(v).

步驟1.特征值計算:按式(14)、(15)計算出X中每個樣本x的特征值,得到特征值集合V1,V2(均為正值),并分別計算出它們的最大值max1,max2.

步驟2.特征值尺度變換:確定兩種特征值的取值范圍[0,mi](i=1,2),按式(16)將特征值線性縮放到此區間中.

其中,j=1,2,···,n.n為X的規模.表示第j個樣本xj的第i類特征值變換后的特征值.vij表示第j個樣本xj的第i類特征的原始特征值.將計算出的值四舍五入后替代vij,從而更新V1,V2.

步驟3.樣本頻數統計:建立表T(v1,v2),初始值為0,尺寸為m1×m2,表中元素tij表示特征值v1=i,v2=j的樣本個數,vk∈Vk,k=1,2.同時遍歷V1,V2中所有元素,若v1=i,v2=j則tij自加1.

步驟4.f V(v)求取:遍歷表T(v1,v2),將每個表中元素值tij除以X的樣本數n,即tij ←tij/n;從而使用表T(v1,v2)表示f V(v).

最終使用f V(v)表征f X(x).對n維的特征空間計算f X(x)以此類推,隨著空間維度的提高,f X(x)將越來越稀疏.在使用更高維特征空間時,可以適當壓縮特征值線性變換后的取值范圍以增加f X(x)的稠密性,便于子樣本集構建.

2.2 子樣本集構建

為使X i的分布與f X(x)相似,需人為構建X i.在按概率抽樣的基礎上,依據總體分布f X(x)

構建訓練子集如下所示:

步驟1.特征分布計算:依據第2.1節,計算出特征值聯合概率分布f V(v1,v2),V=(V1,V2).將對應的統計概率值記錄在表T1(v1,v2)中,用它來表征f X(x).

步驟2.獲取抽樣個數表:計算每個Batchsize大小的子樣本集X i對應概率的樣本個數表,使用Batchsize乘以T1中每個元素值四舍五入后可得,記為T2(v1,v2).

步驟3.樣本抽樣:遍歷T2中不為0的值,在訓練集X中抽取T2中對應元素個數且對應特征向量的樣本,例如=t,那么就在X中選取t個v1=i,v2=j的樣本.每次抽取樣本時,優先抽取先前未被抽取的樣本.

通過以上處理,得到了一個子樣本集X i,一般地X i的樣本個數numi小于Batchsize,造成這種現象的主要原因在于:1)f X(x)中概率值過小的樣本可能無法采樣.2)f X(x)中乘以Batchsize后小數部分被截斷.

由于f X(x)中高頻部分比較好采樣,并且高頻部分對G網絡的貢獻更大,因此隨機選取前k個高頻概率,計算出它們的比重再對這Batchsize-numi進行補齊,最后使得X i的規模為Batchsize(二次補齊后可能會與Batchsize有很小的差異,再在這k個概率對應的樣本中隨機選取補齊即可;如果想進一步提高樣本覆蓋率,可以隨機采樣未被采樣到的極低概率值對應的樣本).

子樣本集構建中,未進行樣本補齊操作前能保證X i之間獨立同分布,補齊后會有較少的交集部分,整個下采樣獲取的X i可以近似看成獨立同分,且與f X(x)相似.

2.3 網絡訓練

通過以上描述可以得到整個訓練方法如下所示:

步驟1.選定Batchsize和epoch 參數值,動量因子和學習率參考文獻[7]選取;通過總樣本量和Batchsize大小計算出每個epoch 饋入的子樣本集個數m.m依據式(4)所得.

步驟2.依據第2.1節,計算出總體樣本集在特征空間中的統計概率分布f X(x).

步驟3.依據第2.2節,構建m個子樣本集分布其對應的子樣本集記為{X i}m.

步驟4.每次epoch 訓練中依次饋入X i,更新整個DCGANs網絡參數,直到達到epoch 參數值為止.

3 實驗及分析

為驗證本文方法對DCGANs訓練的效果,實驗中選用卡通人臉,Cifar10數據集.主要軟硬件環境為:tensorf ow1.4.0 GPU版本、英偉達gtx1060,gtx1080顯卡、DDR4 2 400 MHz,8 GB內存.卡通人臉數據集有51 223張彩色卡通人臉圖片,每張圖像大小為96×96像素.為便于選取較大Batchsize值,將圖像大小縮放到48×48像素.生成數據規模為51 223,每組訓練耗時1～10小時左右.Cifar10圖像數據集總共有60 000張彩色圖片,其中訓練集50 000張,測試集10 000張,每張圖像大小為32×32像素.在實驗中,選用Cifar10中訓練集參與DCGANs訓練,生成數據規模為50 000,每組訓練耗時1～7 小時左右.圖3和圖4分別給出了兩種訓練集的隨機樣本.實驗數據及分析如下所示.

為客觀評價訓練效果,選取了測試誤差[16]、K L距離(式(10)),Inception score(IS)[28]共3種定量評價指標.1)測試誤差:均值和標準差越小越好,均值越小,生成集分布f G(x)越接近,訓練集分布f X(x),標準差越小,表明批量生成圖像樣本時越穩定;2)K L距離:越小越好,它表明了f G(x)與f X(x)的差異程度;3)IS指標:越大越好,它體現了GANs在生成圖像質量和多樣性方面的能力.

圖3 卡通人臉訓練集樣本Fig.3 Training set samples of cartoon face

圖4 Cifar10訓練集樣本Fig.4 Training set samples of Cifar10

3.1 子樣本集構建

為對比不同Batchsize下構建子樣本集效果及隨機子樣本集與構建子樣本集之間的差異,做了如下實驗.表1統計了不同Batchsize下構建子樣本集總體覆蓋率和隨機子樣本集總體覆蓋率相關數據.表2統計了兩個數據集不同Batchsize下各自所有子分布f X i(x)與總體分布f X(x)的K L距離統計值.表2中1～5行來自于卡通人臉數據集,6～10行來自于Cifar10數據集.

表1 不同Batchsize下總體覆蓋率Table 1 Total coverage rate of different Batchsize

從表1可以看出,Batchsize 增大有利于構建子樣本集后總體樣本覆蓋率的提升及減少與隨機采樣總體覆蓋率的差距.考慮到構建子樣本集后的樣本覆蓋率,選取較大Batchsize進行后繼實驗.從表2可看出Batchsize越大越有利于子分布趨近于總體分布,并且子分布各自之間的差異會越來越小,人為干預后子分布各自之間的差異最小,且與總體分布f X(x)最趨近.這表明對樣本子分布X i進行人為干預后能使得它們有更好的數理統計值(如均值、標準差等).由大數定理可知,子樣本集尺寸越大越使它分布接近總體分布.在特征空間中,依然呈現了這種規律,這也表明該特征空間上訓練集的分布一定程度反映了訓練集未降維時的分布.

表2 不同Batchsize下K L((x)||f X(x))數據Table 2 K L((x)||f X(x))data under different Batchsize

表2 不同Batchsize下K L((x)||f X(x))數據Table 2 K L((x)||f X(x))data under different Batchsize

帶“?”項是構建子樣本集相關數據,下同

這些數據表明,隨機取樣的子樣本集分布比人為構建的子樣本集分布一致性更弱,而且子樣本集分布之間的差異程度高于構建的子樣本集分布之間的差異程度.同時前者的分布與總體分布差異更大,后者的分布與總體分布差異更小.

通過表1可知在子樣本集構建的過程中,有低頻樣本未被覆蓋.圖5展示了Batchsize為2 000左右時未被采樣到的低頻樣本和采樣到的普通樣本示例.其中第1、2行分別是卡通人臉數據集中的低頻樣本和普通樣本;第3、4行分別是Cifar10中的低頻樣本和普通樣本.

圖5 低頻樣本和普通樣本Fig.5 Low frequency and common samples

從圖5中可以看出,子樣本集構建中未參與訓練的低頻樣本與普通樣本有明顯差別,它們主要表現為顏色比較單一,紋理信息也比較簡單.從數據分布的角度上看,這類樣本是屬于分布上的離群點.在神經網絡訓練中,離群點容易對訓練結果產生不利影響.

3.2 訓練效果對比分析

為驗證本文方法的有效性,對比了在Batchsize為1 024,2 000左右時構建子樣本集及未構建子樣本集的訓練效果;對比了本文方法與文獻[7]及其他3種訓練策略的訓練效果.

1)構建與未構建子樣本集對比

對于卡通人臉數據集分別構建了Batchsize在1 024和2 000的子樣本集.對于Cifar10數據集分別構建了Batchsize為1 024和2 048的子樣本集.選取的學習率調參范圍為0.001～0.002之間,動量因子為0.5,使用BGD.得到的實驗數據如下所示.

表3 卡通人臉數據集實驗結果對比Table 3 Experimental results comparison of cartoon face dataset

表4 Cifar10數據集實驗結果對比Table 4 Experimental results comparison of Cifar10 dataset

通過表3和4可知,在Batchsize為1 024時,本文方法訓練結果要稍差一點,主要原因是樣本覆蓋率相對于隨機子樣本集差距較大,在10%左右,導致子樣本集構建后的總體分布與訓練集分布差異較大導致的.在Batchsize為2 000左右,由于覆蓋率差值為5%左右,這表明構建子樣本集后的總體分布與訓練集總體分布差異較小,可以看出子樣本集構建的訓練方法在訓練結果上有更好的生成效果.

圖6 生成樣本(隨機,Batchsize=2 000,卡通人臉)Fig.6 Generated samples(random,2 000,cartoon face)

圖7 生成樣本(構建,Batchsize=2 000,卡通人臉)Fig.7 Generated samples(constructing,2 000,cartoon face)

圖8 生成樣本(隨機,Batchsize 2 048,Cifar10)Fig.8 Generated samples(random,2 048,Cifar10)

圖9 生成樣本(構建,Batchsize=2 048,Cifar10)Fig.9 Generated samples(constructing,2 048,Cifar10)

圖6 ～9直觀展示了兩種數據集在Batchsize大小為2 000左右訓練所隨機抽取的生成樣本.對比圖6、7 可知,兩種生成樣本風格都相差不大,都能比較好地刻畫出面部特征和頭發等細節紋理.但是圖7 (構建方法)的人臉輪廓學習得更到位一些,并且面部特征消失的樣本相對較少.對比圖8、9可知,依然出現了類似的實驗現象,圖9(構建方法)能夠辨別出大體類別的樣本稍多,如1行4列是鳥類,1行7 列是卡車,2行3列是船,2行6列是馬.在圖8(隨機方法)中2行1列是蛙類,3行5列是狗.

綜上所述,適當選取Batchsize,少量損失總體樣本覆蓋率,構建子樣本集訓練方法具有較好的實驗效果.如果選取的Batchsize較小,導致樣本覆蓋率偏低,使得較多的樣本不參與訓練,反而不利于G網絡模擬原訓練集.

2)本文方法與其他訓練策略對比

為對比本文方法相對于文獻[7]訓練方法以及其他3種通過處理D網絡內部數據或梯度信息訓練策略的訓練效果,做了以下實驗.包括D網絡批規范化(BN)、Adam、SGD,對應表中128(a)[7];D網絡權重剪枝結合D網絡損失函數1中心梯度懲罰代替原訓練方法[14,18]、RMSProp、SGD、對應表中128(b);D網絡權重參數正則化代替原訓練方法[20]、RMSProp、SGD對應表中128(c);D網絡真實樣本對應的損失函數0中心梯度懲罰代替原訓練方法[20]、RMSProp、SGD對應表中128(d).RMSProp優化方法的學習率調參范圍為0.00005 ～0.0001,動量因子為0.9.得出了實驗數據如下所示.帶“?”項數據來自于本文方法實驗結果.

表5 卡通人臉數據集不同策略對比Table 5 Different strategies comparison of cartoon face dataset

表6 Cifar10數據集不同策略對比Table 6 Different strategies comparison of Cifar10 dataset

通過表5、6可知,即使在Batchsize為1 024時也能取得不錯指標數據.在Batchsize為2 000左右時有更好的實驗指標數據,并且明顯優于文獻[7]的實驗效果.在卡通人臉數據集中(單類別數據集)Batchsize為1 024時,對除文獻[7]外的其他3種學習策略并無優勢,但在Batchsize為2 000時有一定的優勢.在Cifar10數據集中(多類別數據集),依然有類似的規律,不同的是Batchsize無論為1 024或2 000左右均有相對較好的效果.以上表明本文方法對于多類別數據集有更好的適應性.通過對比表中3 ～6行還可以發現,文獻[7]的訓練策略均差于其他3種訓練策略.實驗也證明了這幾種訓練策略的有效性,它們可以相互替代.

圖10 ～13展示了文獻[7]和D網絡權重參數正則化訓練效果.對比圖7、10、11可以發現本文方法在直觀效果上優于文獻[7]和參數正則化訓練策略.可以看出和文獻[7]和參數正則化策略直觀效果大體相差不大,瞳孔、頭發紋理和眉毛等細節信息都丟失較多,均要弱于本文方法.對比圖9、12、13可知,本文方法生成的樣本中,能夠區分出大體類別的數量相對較多.

圖10 生成樣本(128(文獻[7]),卡通人臉)Fig.10 Generated samples(128(paper[7]),cartoon face)

圖11 生成樣本(128(正則化),卡通人臉)Fig.11 Generated samples(128(regularizer),cartoon face)

需要說明的是,兩種數據集上,實驗所生成圖像中質量高的樣本比例很少,其中存在大量的結構失真和紋理信息丟失嚴重的圖像,這是很常見的現象[1,7,10].單類別數據集訓練效果要明顯優于多類別數據集訓練效果.本文方法由于Batchsize的增大,每次epoch更新次數的減少,會導致總的epoch數增多,需要更多的訓練時間.以上數據表明,本文方法相對于文獻[7]的訓練方法,訓練效果有明顯提升;并且在相同Batchsize,保證有較大樣本覆蓋率的情況下是優于隨機子樣本集訓練方法.

圖12 生成樣本(128(文獻[7]),Cifar10)Fig.12 Generated samples (128(paper[7]),Cifar10)

圖13 生成樣本(128(正則化),Cifar10)Fig.13 Generated samples(128(regularizer),Cifar10)

4 結論

為提高DCGANs訓練的效果,本文嘗試通過對外部訓練數據進行處理來影響最終的生成效果.實驗結果表明,適當增加Batchsize大小,對每次epoch 饋入的子樣本集經過人為構建能夠影響生成結果,與原有的訓練方法比較,提高了生成器網絡生成的圖像的效果,這種處理方式能夠減輕隨機饋入數據對結果產生的不利影響.同時也實踐證明了在訓練集概率統計分布過于抽象難以表達時,其在特征空間中分布表達的有效性.實驗也證明了這幾種訓練策略的有效性,它們可以相互替代.當然本文方法也存在不足之處,如由于加大了Batchsize大小,導致了訓練所需的時間更多.訓練之前需要對訓練集進行較繁瑣的預處理.