基于條件生成式對抗網絡的數據增強方法

陳文兵，管正雄，陳允杰

(南京信息工程大學 數學與統計學院，南京210044)(*通信作者電子郵箱zhengxguan@163.com)

0 引言

卷積神經網絡(Convolution Neural Network, CNN)是一種有監(jiān)督學習模型，在視覺處理和圖像分類中性能優(yōu)越[1-7]。 LeCun等[1]提出的LeNet-5網絡是CNN的最初模型，該模型采用基于梯度的反向傳播(Back Propagation, BP)算法對網絡進行有監(jiān)督的訓練；經過訓練的網絡通過交替連接的卷積層和下采樣層將原始圖像轉換成一系列的特征圖，再通過全連接層實現對圖像特征圖分類或識別，卷積層中的卷積核發(fā)揮人類視覺的感受野功能，卷積核將圖像的低級局部區(qū)域信息轉換成人類視覺的更高級形式。Krizhevsky等[2]提出一種AlexNet網絡架構，該架構在大小為1 400萬張樣本、涵蓋2萬個類別的圖像數據集ImageNet上參加圖像分類競賽，它以準確度超越第二名 11%的巨大優(yōu)勢奪得了2012年冠軍，這一驚人的成績引起了研究人員的普遍關注, 并使得CNN成為近年的研究熱點。Simonyan等[3]基于AlexNet針對CNN深度進行了專門研究，并提出了VGGNet網絡架構，該網絡架構的各卷積層均采用3×3的卷積核，通過對比基于不同深度網絡架構的圖像分類性能，證明了增加網絡架構的深度有助于提升圖像分類的準確度。近年來，對CNN模型架構的研究及應用仍然在迅速發(fā)展之中，在模型架構研究方面， GoogLeNet[4]、ResNet[5]等受到廣泛關注； 另一方面，由前述模型的訓練、測試及分類應用可以看出，良好性能的取得依賴于大規(guī)模圖像數據集的支撐，如LeNet-5采用的訓練集是樣本數為60 000、分類標簽個數為10的MNIST(Modified National Institute of Standards and Technology)數據集， AlexNet、VGGNet等均采用訓練集大小為1 400萬張、涵蓋2萬個類別的ImageNet數據集進行訓練、測試。由此可見，訓練集的規(guī)模對CNN性能發(fā)揮著至關重要的影響。

然而，在現實世界中由于受自然因素的影響和數據記錄條件的限制，得到大尺度有標簽的數據集通常是不現實的，往往僅有少量的、帶標簽的數據樣本。如某地區(qū)為了建立基于濃霧天氣形勢場的智能預報模型，由于天氣形勢場實際上就是一些等高線組成的紋理圖，霧型與紋理之間具有高度的關聯性，因此，利用CNN建模是解決這一問題的最佳選擇。然而，該地區(qū)僅記錄了2010年以來的天氣形勢圖及其對應的出霧記錄，樣本集收集了386個樣本，對應的霧型12類(即分類標簽數12個)。若直接采用該樣本集訓練CNN模型，則訓練出的模型必然缺少泛化性[8]，因此缺乏可信性及可靠性。 因此，在建立可信性及可靠性CNN模型之前，需要尋找一種可靠的擴展數據樣本及多樣性的方法，即所謂的數據增強(Data Augmentation)方法。

在數據增強研究方面，Bjerrum等[9]通過使用仿射變換生成新樣本，將樣本和新樣本混合作為訓練集輸入到神經網絡中，訓練完成后模型的分類結果誤差控制在0.35%以下。 Goodfellow等[10]提出的生成式對抗網絡(Generative Adversarial Net, GAN)是一種生成式模型， 其主要思想如下： 在結構上受博弈論中的二人零和博弈 (即二人的利益之和為零, 一方的所得正是另一方的所失) 的啟發(fā), 由一個生成器G和一個判別器D構成。G捕捉真實數據樣本的數學分布模型, 并由學習到的分布模型生成新的數據樣本;D是一個二值分類器,用處是判別輸入是真實數據還是生成的樣本。 二者不斷學習，提高各自的生成能力和判別能力。Mirza等[11]提出條件生成式對抗網絡(Conditional Generative Adversarial Network, CGAN)模型，該模型是有條件控制的GAN，通過對生成器和判別器添加相同的條件Y(例如數據的標簽)，從而實現對GAN模型控制條件。目前有很多研究自動編碼器(AutoEncoder, AE)、變分自動編碼器(Variational AutoEncoder, VAE)結合GAN的工作[12-14]，目的在于提升GAN生成圖像的真實性和多樣性。

將現有的數據增強算法如仿射變換、GAN等應用于天氣形勢圖，實驗顯示生成的新數據集出現重復率高、多樣性低等問題，利用生成的數據集訓練CNN模型，所訓練模型分類的正確率仍不理想。 綜上，為了更好地解決天氣形勢圖問題，提出一種集成高斯混合模型(Gaussian Mixture Model, GMM)及CGAN模型的數據增強方法，該方法不僅生成類似樣本的新圖像，在提升生成樣本的多樣性方面與傳統方法相比有顯著改進。

1 相關數據增強算法

1.1 仿射變換

仿射變換是一種二維坐標(x,y)到二維坐標(u,v)的線性變換，其數學表達式如式(1)：

(1)

式(1)中的系數矩陣被稱為仿射變換矩陣。其中：θ為圖像旋轉的角度，a為圖像平移的橫坐標移動距離，b為圖像平移的縱坐標移動距離。

Bjerrum等[9]提出了基于仿射變換(Affine Transformation)的數據增強方法，通過對樣本圖像進行放大、縮小、平移、旋轉以實現生成類似樣本。實驗中，隨機生成x軸的位移為a，y軸的位移為b和旋轉角度為θ的仿射變換矩陣A，作用在輸入圖像x上，變換后的新圖像為Ax。 由于仿射變換是一種全局圖像變換，因而在聚焦于局部區(qū)域的多樣性方面該變換無法實現。

1.2 GAN及衍生模型

事實上，這個學習優(yōu)化過程是一個極小極大博弈(Minimax game)問題，即尋找二者之間的一個平衡點，如果達到該平衡點，D無法判斷數據來自G還是真實樣本，此時G達到最優(yōu)狀態(tài)。大量的實踐已經證明可利用GAN解決訓練集中樣本數量過少的問題，如Gurumurthy等[15]利用改進的GAN增強小數據集以提升訓練器的分類精度；王坤峰等[16]提出多個GAN衍生模型以增強數據集。

GAN的結構如圖1所示，D和G分別表示判別器和生成器，它們的結構都為CNN。D的輸入為真實數據x，輸出為1或0；G的輸入是一維隨機噪聲向量z，輸出是G(z)。訓練的目標是使得G(z)的分布盡可能接近真實數據的分布pdata。D的目標是實現對輸入數據的二值分類，若輸入來源于真實樣本，則D的輸出為1；若輸入為G(z)，則D的輸出為0。G的目標是使自己生成的數據G(z)在D上的表現D(G(z)) 和真實數據x在D上的表現D(x)盡可能一致，G的損失函數按式(2)計算：

(2)

式(2)描述的是，G在不斷對抗學習的過程中，生成的數據G(z)越來越接近真實樣本，D對G(z)的判別也越來越模糊。D的損失函數按式(3)計算：

Ez～pz(ln (1-D(z))))

(3)

綜上，G和D的總體損失函數可以描述如式(4)所示：

Ez～pz(ln (1-D(z))))

(4)

傳統的GAN模型一次只能學習一類數據，對于包含多個類的數據樣本集，需逐類學習及生成相應類的被增強樣本集，因此，效率低是模型的主要缺陷。為了解決以上問題，Mirza等[11]提出了CGAN模型，CGAN的結構如圖2所示。該模型通過對生成器和判別器添加相同的條件Y(例如：數據的標簽)，從而使GAN模型具有多類數據的生成能力。

圖1 GAN結構示意圖

與傳統GAN對比，CGAN模型僅對前者的總體損失函數進行了修改，新的總體損失函數如式(5)：

Ez～pz(ln (1-D(z|Y))))

(5)

然而， GAN及CGAN在訓練樣本過少的情況下，均存在G和D過早達到平衡點現象，致使G生成的數據重復度高，數據多樣性不足。

圖2 CGAN結構示意圖

2 GMM-CGAN

如前所述，生成器G通過單一分布描述訓練數據樣本的分布，不難理解單一分布對樣本數據特征多樣性難以反映，其直接后果是訓練的生成器G生成的數據樣本特征單一，難以達成樣本數據集增強的目的。而高斯混合模型(GMM)的實質是利用m(m≥3)個正態(tài)分布來刻畫樣本整體的多樣性特征，通過訓練學習后，建立由m個組件(即m個正態(tài)分布)構成的混合分布模型。一方面多組件構成的混合模型能夠更好地刻畫樣本的多樣性特征，另一方面這種數據特征的多樣性又受到每個組件的約束，使得混合模型生成的新樣本既具有多樣性又保持與原樣本之間特征的相似性。基于此，為了解決上述存在的問題，將GMM集成到CGAN模型進而提出一種全新的GMM-CGAN數據增強框架，這個框架在理論上是可行的。

GAN中的生成器G的目標是使得pdata(G(z))盡可能接近樣本分布，其中pdata(G(z))是描述G(z)的分布。 根據概率的乘法公式，pdata(G(z),z)可寫成一個已知的先驗分布密度函數pz(z)，乘以pdata(G(z)|z)，如式(6)所描述。 結合前面的分析，通過提升先驗分布的多樣性，從而提升G(z)的多樣性，達到生成樣本多樣性的目的。 首先，假設先驗分布的密度函數pz(z)是有m個組件GMM，如式(7)，同時假設每個高斯組件的協方差矩陣為對角陣。

(6)

(7)

其中N(x;μi,σi)表示高斯混合模型的概率密度函數，具體形式如式(8)，在GAN訓練的過程中，由于參數πi不能被優(yōu)化，設πi=1/m以簡化計算：

(8)

接著，利用Kingma等[12]提出的重復調參技術(Reparameterization trick)生成服從先驗分布的一維隨機噪聲向量z，z如式(9)計算：

z=μi+σiδ;δ～N(0,1)

(9)

其中:μi、σi為第i個高斯組件的均值和標準差。 重復調參技術優(yōu)點在于：可將高斯組件的參數看作為網絡參數的一部分進而與網絡參數一起訓練及優(yōu)化。

綜合式(6)、(7)、(9)，可導出式(10)：

(10)

式(10)中，u=[u1,u2,…,uN]T,σ=[σ1,σ2,…,σN]T,m為高斯組件個數，N為z的維度。高斯組件個數與生成樣本多樣性密切相關，實驗分析表明，當m在[20,30]內變化時，生成的樣本效果較好。為了防止在實驗中σ的值變?yōu)?，在生成器G的損失函數中添加關于σ的L2正則化項，修改后的生成器損失函數如式(11):

(11)

GMM-CGAN模型結構如圖3所示。 GMM-CGAN的參數需初始化，由于對應于不同Y條件(樣本的標簽)的數據分布不相同的，因此，對于每一Y條件需要對μ,σ向量初始化，令μi～U(-1,1)，σi∈(0,1)，其中U(-1,1)表示區(qū)間(-1,1)上的均勻分布，標準差(0,1)區(qū)間上隨機選取。

圖3 GMM-CGAN結構示意圖

參數μ、σ按上述方法初始化后，令z=μk+σkδ,δ～N(0,1)，k按照順序從1到m取值，將z輸入G進入CGAN的訓練程序，從而達到逐個訓練、優(yōu)化高斯組件參數μk、σk，k∈(1,m)的目的。

在CGAN被訓練后，利用G生成新的樣本，步驟如下：

1)選定需生成樣本的標簽；

2)在該標簽下從μ、σ向量中任選一對分量μh、σh，h∈(1,m)，并計算z=μh+σhδ,δ～N(0,1)；

3)將z輸入生成器G后，即為生成的新樣本G(z)；

重復1)～3)，即可生成需要更具多樣性的被增強的數據樣本集。

3 實驗分析與評價

3.1 原始數據集

3.1.1 濃霧天氣形勢圖

江蘇省氣象科學研究所整理收集了自2010年以來所有霧型天氣形勢圖，霧型個例77個，每個霧型個例由記錄一個完整成霧過程的若干幅天氣形勢圖組成，一般由4～5張紋理類似、尺寸為1 600×1 500圖像組成。氣象工作人員根據霧型將這77個例分為12類別。然而，深入分析這12個霧型類別對應的天氣形勢圖發(fā)現，即使兩個個例同屬于一個類別，不同個例的形勢圖紋理間的差異性卻很大，故樣本的標簽不能以類別進行標記，而以個例標記更為適當，采用77個分類的one-hot編碼編制樣本標簽。在這樣的編碼機制下，每個類中有至少4張形勢圖，由于在首個歷時及最后的歷時天氣形勢圖未入型，故剔除首尾歷時未入型圖后構成對應個例的樣本集。通過這樣的預處理后，樣本數據集中樣本數為386，標簽類別數為77。對樣本集按標準的70%對30%隨機劃分，分割后訓練集樣本個數為231，測試集樣本個數為155。

3.1.2 MNIST

MNIST[1]是機器學習的常用數據集，它由數字0～ 9共計10類別6 000張手寫數字圖像組成。從每個類別中隨機抽取50張，可以得到樣本數為500的子集。對這樣的數據集按標準的70%對30%隨機分割，將樣本個數為350的數據集作為訓練集，樣本個數為150的數據集作為測試集。

3.1.3 CIFAR 10

CIFAR 10是另外一個機器學習的常用數據集， 它由10個類別，每個類別6 000張圖，共計60 000張彩色圖像組成。實驗中將所有圖像進行灰度化預處理，從每個類別中隨機抽取50張圖像，可以得到樣本數為500張灰度圖像的子集。對樣本數為500張圖像的子集，按70%對30%隨機分割，將樣本個數為350的數據集作為訓練集，樣本個數為150的數據集作為測試集。

3.2 數據預增強

將樣本中影響CNN分類的關鍵區(qū)域稱為核心區(qū)域。在樣本個數較少時，通過滑動圍繞核心區(qū)域的窗口反復重采樣以實現數據的初步增強。

如圖5所示，設在長為a、寬為b的樣本圖像上取長為l、寬為h的區(qū)域為核心區(qū)域，該核心區(qū)域左下角坐標為(x,y)。再設滑動窗口長為α、寬為β(l<α

第1步 隨機生成參數δ∈[0,a-α]，ξ∈[0,b-β]。

第3步 若滿足第2步，則輸出截取的窗口圖像；否則返回第1步。

將滑動窗口法應用于樣本集中的每個樣本，可得到一個以核心區(qū)域為主導的、被初步增強的樣本集，圖4展示了該方法的演化過程。

圖4 窗口滑動法

具體到濃霧天氣形勢圖數據集，由于圖像的經緯度及大小均一樣，這里設定圖像中心的800×800正方形區(qū)域為核心區(qū)域。 在滑動窗口法中設窗口長a=1 000，寬為b=1 000并應用該方法，對每一張樣本作用100次，可使得樣本個數擴展100倍，圖5所示是部分預處理結果，訓練集及測試集的樣本數分別達到23 100、15 500，總38 600張。 隨機抽取的MNIST和CIFAR 10子集無需預增強操作，直接進入GMM-CGAN處理階段。

圖5 滑動窗口法生成圖

LeNet-5、AlexNet等CNN模型，為了保證網絡學習的效率以及限制參數的數量級在可控范圍內，在保持原有圖像特征不丟失的情況下盡可能壓縮輸入圖像的尺寸，使CNN的參數在可訓練的范圍內。 例如，LeNet-5的輸入圖片尺寸為28×28；AlexNet的輸入圖片尺寸為224×224。 濃霧天氣形勢圖經過前面的預增強，其尺寸由1 600×1 500轉化為1 000×1 000，仍需進一步壓縮處理。 對比多種壓縮算法的處理結果后，最優(yōu)的壓縮方法為下采樣法，在保留紋理的情況下圖像的尺寸由1 000×1 000壓縮到56×56，如圖6所示。

3.3 基于GMM-CGAN模型的數據增強

3.3.1 實驗采用的CGAN結構

實驗中使用的CGAN，生成器G和判別器D為CNN，具體的結構如表1～2所示。

表1 CGAN的生成器結構

CGAN的其他訓練參數如下，輸入、輸出圖像尺寸為56×56，條件信息Y為數據集的標簽，訓練批次為50個樣本一組，最大迭代次數設置為1 000，梯度優(yōu)化算法選擇的是Adam優(yōu)化器。 CGAN的結構圖如圖7所示。由于CGAN的生成器和判別器的結構都被設置為淺層卷積神經網絡，而且卷積核尺寸較小，通道數量較少，CGAN需要學習的參數規(guī)模不大。GMM為非神經網絡結構，計算量小，故GMM-CGAN訓練的計算復雜度與CGAN相比變化不大。

表2 CGAN的判別器結構

圖7 CGAN的實例結構

3.3.2 基于GMM-CGAN模型生成的樣本

濃霧天氣形勢圖數據集已通過滑動窗口法進行了預增強，得到新樣本集。以預增強的濃霧天氣形勢圖新樣本集，隨機抽取的MNIST和CIFAR 10子集作為訓練集，按照上述步驟訓練GMM-CGAN模型。訓練后模型中的生成器生成的3個數據集上的新樣本與原樣本對比如圖8所示。

圖8 GMM-CGAN的生成器生成結果

3.4 增強后數據集的CNN分類

3.4.1 CNN結構參數設置及卷積操作可視化

GMM-CGAN模型的性能體現在其增強后的樣本集上，如增強后的樣本集訓練出的CNN具有很高的分類準確率，那么認為所提模型是高效的。CNN的結構選擇是一個重要的問題，因為近年提出的一些高性能CNN模型，例如GOOGLE-NET、 VGG and ResNet等。與傳統的CNN相比，這些網絡的特殊模塊可以一定程度上減弱模型過度擬合數據，例如：殘差模塊[5]、Incepetion模塊[4]、Dropout層[3]等。 如果使用以上提到的高性能CNN作為測試網絡，在分析CNN分類效率時會產生困難，因為無法區(qū)分數據增強算法增強對分類結果的影響還是這些網絡的結構使然。

綜上，自定義了被稱為TestNet的CNN模型，結構如圖9所示，可以更加精確比較和分析不同數據增強算法應用到濃霧天氣形勢圖集的數據增強的效果。

圖9 TestNet的數據流圖

該模型共有3個卷積層，其中第一卷積層(C1層)中的卷積核尺寸為5×5，第二卷積層(C2層)和第三卷積層(C3層)的卷積核尺寸為3×3，卷積核選擇尺寸較小利于減小網絡的復雜度；三層卷積層的卷積核尺寸由大變小的目的是為了先總體后局部的學習樣本特征；設置多個不同的卷積核有利于網絡學習樣本圖像中不同的特征，卷積操作后生成的圖像被稱為特征圖，C1層共有96個特征圖， C2和C3分別有256和384個不同的特征圖, 網絡具體的結構參數設置如表3所示。 選擇ReLu函數為網絡的非線性激活函數，如式(12)所示:

fReLu=max(0,x)

(12)

ReLu函數與其他非線性激活函數[13]相比，具有計算簡便、不易發(fā)生梯度爆炸等特點；在卷積層后設置下采樣層，用于減少CNN整體的參數量。TestNet的其他訓練參數如下，輸入圖像尺寸為56×56，訓練批次(Batch)為50，最大迭代次數設置為1 000，損失函數為交叉熵，梯度優(yōu)化算法是Adam算法。 為了觀察逐層卷積后的特征圖，每一層卷積后圖像的輸出結果，如圖10所示。

表3 TestNet的結構

3.4.2 對比實驗設計及評價指標

為了對比所提GMM-CGAN模型與傳統數據增強算法的增強效果，設計了其他3個對比實驗，其中一個為空白對照組,即不使用數據增強算法(None)，其余對比實驗的數據增強算法為僅使用仿射變換、僅使用CGAN。將在不同數據集上，實現這4個實驗。在相同數據集上，除各個實驗使用的數據增強算法不同，訓練集、測試集中的樣本數量相同等其余控制變量均相同。實驗環(huán)境的配置如下，硬件方面：CPU是Intel Core i7 9280，內存為16 GB DDR4，GPU采用的是NVIDIA GTX1080。軟件方面：操作系統是Windows 10 64 b版本，實現的平臺是基于Python的Tensorflow框架，其中有CUDA9.1以及CUDNN7加速包的支持。

圖10 各個卷積層的輸出結果

利用數據增強后的數據集訓練TestNet，針對網絡的分類結果，以平均分類正確率和過擬合比評價數據增強算法的性能。對于數據集中某一類圖像的正確分類情況，定義了分類正確率如式(13):

Acc=images_correct/images

(13)

其中:images_correct表示在該類中網絡分類正確的圖像數量，images表示該類中圖像的總數。

對包含n類的樣本集，定義了平均分類準確率如式(14):

(14)

其中Acci表示第i類的分類正確率。

反映CNN是否過擬合訓練數據的指標為過擬合比(OverfitRatio)，其定義如式(15):

OverfitRatio=Train_AvgAcc/AvgAcc

(15)

其中OverfitRatio中的Train_AvgAcc表示用訓練后的網絡測試原訓練集的平均分類正確率。

3.5 實驗結果分析與評價

表4記錄了在3個數據集上分別實現4個實驗，共12個實驗的平均分類正確率及過擬合比。

圖11按數據集展示了在該數據集上實驗的平均分類正確率隨迭代次數增加的變化趨勢，未使用數據增強算法的實驗組，在各個數據集上平均分類正確率最低；使用所提GMM-CGAN的實驗組，在各個數據集上平均分類正確率最高。過擬合比是反映模型過擬合數據程度的指標，過擬合比越低模型的泛化性越好，反之泛化性越差。表4展示了12個實驗的過擬合比，因未使用數據增強算法的實驗組中訓練樣本的相似度較高，所以過擬合比最高；其中使用所提的GMM-CGAN的實驗組過擬合比最低，說明所提模型提升數據的多樣性最高。

圖11 不同增強算法在各數據集上的正確率曲線

綜上所述，所提的GMM-CGAN模型具有收斂快，在相同迭代穩(wěn)定后平均正確率高的特點。 使用真實數據的實驗證明所提模型是可靠的、高效的。

表4 各數據集增強后的分類結果

4 結語

本文所提的GMM-CGAN模型，在原有濃霧天氣形勢圖基準集的基礎上有效擴展了濃霧天氣形勢圖數量，解決了濃霧天氣形勢圖基準集因數據量偏小無法有效訓練CNN的問題。 GMM-CGAN方法生成的新數據集所訓練的CNN, 其平均分類準確率達到89.1%，證明GMM-CGAN方法及所訓練的CNN架構性能均高度可靠。未來工作將進一步研究其他類型小數據集場景(如數值型小數據集的增強)的增強模型。