基于MDGAN網(wǎng)絡(luò)的數(shù)據(jù)集擴增方法

李 昆， 朱衛(wèi)綱

(航天工程大學(xué)， 北京 101416)

0 引言

雷達輻射源識別是指對偵察得到的雷達信號進行分析，進而確定該輻射源體制、用途、工作狀態(tài)、威脅等級等信息的過程，是雷達偵察的關(guān)鍵環(huán)節(jié)。近年來，機器學(xué)習作為一種數(shù)據(jù)分析的智能工具，具有強大的自學(xué)習能力。基于機器學(xué)習的雷達輻射源識別可以通過學(xué)習數(shù)據(jù)庫樣本的規(guī)律對新樣本進行識別，是推動雷達偵察向智能化發(fā)展的關(guān)鍵舉措，如美軍陸航研制開發(fā)的AN/ALQ-211綜合雷達對抗系統(tǒng)(SIRFC)、英國Selex公司為本國部隊研制的“空中衛(wèi)士2000”雷達告警系統(tǒng)、BAE系統(tǒng)(北美)公司為美國陸航部隊研制的AN/APR-39A系列系統(tǒng)[1]等，都融合了機器學(xué)習的方法。然而，數(shù)據(jù)庫的建立需要足夠多的有標記的樣本，樣本的標記需要大量的人力和時間，這些都會導(dǎo)致機器學(xué)習的效率降低。并且，雷達信號采集時間和成本的限制將會導(dǎo)致：1)偵察樣本數(shù)量有限而不足以支撐起雷達輻射源識別模型的訓(xùn)練；2)偵察樣本多樣性不足導(dǎo)致雷達輻射源識別模型泛化能力差或訓(xùn)練容易過擬合。

生成模型能學(xué)習有限樣本的內(nèi)在統(tǒng)計規(guī)律進而生成類似樣本。常用的生成模型如受限玻爾茲曼機、深度置信網(wǎng)絡(luò)、深度玻爾茲曼機、變分自編碼器等涉及較高的計算復(fù)雜度，生成對抗網(wǎng)絡(luò)(Generative Adversarial Network，GAN)是Goodfellow[2]在2014年提出的生成模型，在神經(jīng)網(wǎng)絡(luò)中引入對抗訓(xùn)練機制來解決上述問題且由于其能學(xué)習樣本的真實分布，生成多樣性樣本而成為深度學(xué)習中的研究熱點[3]。目前，GAN已成功應(yīng)用于計算機視覺、自然語言處理等領(lǐng)域。此外，Santana利用GAN輔助自動駕駛，Schlegl[4]將GAN用于醫(yī)學(xué)圖像的異常檢測，Wu利用GAN提高機器翻譯質(zhì)量，Hu利用GAN進行惡意軟件的檢測等都拓展了GAN的應(yīng)用。鑒于其優(yōu)良性質(zhì)，本文在原始GAN基礎(chǔ)上進行改進，提出了無監(jiān)督的多樣性最大化生成對抗網(wǎng)絡(luò)(Maximum Diversity Generative Adversarial Network，MDGAN)，證明了是擴充數(shù)據(jù)集的有效方法。

1 改進的生成對抗網(wǎng)絡(luò)

1.1 生成對抗網(wǎng)絡(luò)(GAN)

GAN由兩個卷積神經(jīng)網(wǎng)絡(luò)組成，分別作為生成器(G)和判別器(D)。其結(jié)構(gòu)如圖1所示。首先從先驗分布PZ(z)(100維[-1，1]均勻分布)中采樣出隨機向量Z，即Z～PZ(z)，將Z作為G的輸入，得到生成的假數(shù)據(jù)G(z)。接著，從真實數(shù)據(jù)分布Pdata(x)中采樣出真實數(shù)據(jù)X(需要擴充的數(shù)據(jù)集里已有的樣本)，即X～Pdata(x)。將G(z)和X作為D的輸入，D對于輸入G(z)時，應(yīng)輸出結(jié)果0，對于輸入X時，應(yīng)輸出結(jié)果1，即對于真實數(shù)據(jù)D盡量給予接近1的輸出，對于G產(chǎn)生的假數(shù)據(jù)盡量給予接近0的輸出。同時，G的目標是使自己生成的假數(shù)據(jù)G(z)在D中的表現(xiàn)D(G(z))和真實數(shù)據(jù)X在D中的表現(xiàn)D(x)盡量一致，以使得D無法正確區(qū)分數(shù)據(jù)真實情況。G和D根據(jù)各自的目的在對抗訓(xùn)練中不斷優(yōu)化提升能力，直到達到納什均衡點。此時，D判別能力已經(jīng)得到很大提升，但G也學(xué)到了真實數(shù)據(jù)的分布Pdata(x)能產(chǎn)生和真實數(shù)據(jù)相似的樣本以至于D只能輸出0.5，即無法正確判別數(shù)據(jù)來源只能隨機猜測。將上述過程轉(zhuǎn)化為各自的目標函數(shù)定義如下：

GAN判別器D目標函數(shù)：

maxVD=Ex～Pdata(x)logD(x)+

Ez～PZ(z)log(1-D(G(z)))

(1)

GAN生成器G目標函數(shù)：

maxVG=Ez～PZ(z)log(D(G(z)))

(2)

式中，E(·)表示計算期望值，D(x)表示D對真實數(shù)據(jù)X的真實程度的判斷值，D(G(z))表示D對生成的數(shù)據(jù)G(z)的真實程度的判斷值。D的目的是讓D(x)接近1，D(G(z))接近0，所以希望式(1)最大。G的目的是讓D(G(z))接近1，所以希望式(2)最大。D和G根據(jù)各自目標函數(shù)進行對抗訓(xùn)練，直到G能生成以假亂真的樣本。

1.2 多樣性最大化生成對抗網(wǎng)絡(luò)(MDGAN)

GAN著重考慮了G生成樣本的真實程度問題，希望生成與真實樣本無差別的樣本，會導(dǎo)致G為達到這一目的重復(fù)的生成某一個真實程度很高(D(G(z))值很大)的樣本，這會使生成的樣本的多樣性程度銳減，即生成的樣本特征單一[5]，無法滿足數(shù)據(jù)集多樣性的要求，尤其當采樣的隨機向量z1和z2很接近時，由它們生成的樣本G(z1)和G(z2)也會很相似。為增加生成樣本的多樣性，本文在原始G的目標函數(shù)基礎(chǔ)上增加了一個正則化項，提出MDGAN。新的目標函數(shù)定義如下[6]：

MDGAN判別器D目標函數(shù)：

maxVD=Ex～Pdata(x)logD(x)+

Ez1，z2～PZ(z)log(1-D(G(z)))

(3)

MDGAN生成器G目標函數(shù)：

maxVG=Ez1，z2～PZ(z)log(D(G(z)))+

Ez1，z2～PZ(z)·

(4)

2 數(shù)據(jù)集有效性檢驗

本文利用起始分值(Inception Score，IS)[7]檢驗G生成的數(shù)據(jù)集的多樣性，利用弗雷歇起始距離(Frechet Inception Distance，F(xiàn)ID)檢驗G生成的數(shù)據(jù)集的真實性。IS計算公式如下：

(5)

p(y)=EX～PG(x)[p(y/x)]

(6)

式中，X～PG(x)表示G生成的樣本，p(y/x)是X的條件類別分布，p(y)是類別邊緣分布，DKL(·)是計算p(y/x)和p(y)之間的KL距離，E(·)是計算期望值。實際中，用平均值代替期望值，計算公式如下：

(7)

(8)

式中，N表示G生成的樣本個數(shù)，K表示G生成的樣本類別數(shù)。p(y/xi)=[p(y1/xi)，p(y2/xi)，…，p(yK/xi)]是一個K維的向量，表示將第i個生成樣本xi輸入Inception分類網(wǎng)絡(luò)各個類別分別得到的概率值。p(y)=[p(y1)，p(y2)，…，p(yK)]是N個樣本的各個類別概率的平均值。因為p(y/x)分布是一條含峰值的曲線(存在一個概率最高的值)，如果G生成的樣本類別足夠多，p(y)會向均勻分布靠攏，逐漸變?yōu)橐粭l橫線，則p(y/x)和p(y)的KL距離會變大，所以利用IS值檢驗多樣性，值越大多樣性越好。式(5)只涉及生成樣本，與真實樣本無關(guān)，無法衡量生成樣本的真實性，所以利用FID檢驗真實性[8]，計算公式如下：

(9)

3 仿真實驗與分析

為驗證本文提出的MDGAN網(wǎng)絡(luò)用于擴充雷達輻射源數(shù)據(jù)集的有效性，采用6種雷達信號[9]：二進制相移鍵控(Binary Phase Shift Keying，BPSK)、線性調(diào)頻(Linear Frequency Modulation，LFM)、二進制頻移鍵控(Binary Frequency Shift Keying,BFSK)、非線性調(diào)頻(Non Linear Frequency Modulation，NLFM)、多進制相移鍵控(Multiple Phase Shift Keying，MPSK)、連續(xù)波信號(Continuous Wave，CW)進行仿真實驗。其中，BPSK采用7位巴克碼；MPSK采用P4碼；LFM帶寬17 MHz，脈寬10s；NLFM采用正弦波調(diào)頻；BFSK上邊頻10 MHz，下邊頻20 MHz；CW載頻25 MHz，采樣頻率都取100 MHz。圖2為6種雷達信號在無噪聲條件下的時頻圖像(灰度圖)，但在實際的雷達偵察中，截獲的雷達信號都是受噪聲影響的。因此，在信號中加入高斯白噪聲，在信噪比為-4 dB條件下每種信號利用時頻分析的方法產(chǎn)生100張時頻圖像模擬實際條件下建立的原始數(shù)據(jù)集[10-11]。本實驗軟件環(huán)境：操作系統(tǒng)Win10 64位，基于開源深度學(xué)習框架Tensorflow1.5-GPU搭建模型，VS2015+CUDA9+CUDNN7提供對GPU運算的支持并提高圖形并行運算的速度。硬件環(huán)境：CPU：Intel i7-7700K @ 4.20 GHz，GPU:GTX TITAN X。訓(xùn)練參數(shù)[12]：Mini- Batch為64的隨機梯度下降算法(SGD)進行訓(xùn)練，Adam優(yōu)化器進行超參數(shù)調(diào)優(yōu)，學(xué)習率0.000 2，動量β1為0.5，迭代輪數(shù)Epoch為50輪。

仿真1： 數(shù)據(jù)集擴增實驗

將上述的原始數(shù)據(jù)集分別作為GAN、MDGAN的訓(xùn)練集，每種信號再生成100張時頻圖像作為擴增的數(shù)據(jù)集(為了保證樣本有效，僅對原始數(shù)據(jù)集擴增一倍)。將原始的數(shù)據(jù)集、GAN生成的數(shù)據(jù)集、MDGAN生成的數(shù)據(jù)集進行對比展示，如圖3至圖8所示(每種信號僅展示3張樣本)。其中，第一行為原始數(shù)據(jù)集樣本，第二行為GAN生成的樣本，第三行為MDGAN生成的樣本。

圖2 6種雷達信號的時頻圖像

圖3 BPSK實驗結(jié)果對比

圖4 CW實驗結(jié)果對比

圖5 BFSK實驗結(jié)果對比

圖7 MPSK實驗結(jié)果對比

圖8 NLFM實驗結(jié)果對比

由圖3至圖8可以發(fā)現(xiàn)，受噪聲影響，原始數(shù)據(jù)集中的時頻圖像存在毛刺、時頻結(jié)構(gòu)斷裂、邊緣模糊等情況，GAN將這種情況放大了，生成的時頻圖像背景噪聲更大，有的樣本甚至已經(jīng)嚴重破壞了真實信號的時頻關(guān)系，產(chǎn)生了根本不存在的時頻特征或者時頻特征局部消失，無疑是不能作為先驗樣本使用的。本文提出的MDGAN生成的時頻圖像具有以下優(yōu)點：1)背景噪聲被淡化，時頻聚集性更好；2)生成的時頻特征符合真實信號的時頻關(guān)系，如BPSK的相位突變點、BFSK的頻率跳變點、LFM的時頻起止點、NLFM的調(diào)頻寬度都被很好的刻畫；3)在保證時頻關(guān)系正確的前提下，每個樣本具有不同的特征，如具有不同的時頻分辨率，灰度值的強度變化關(guān)系不同，生成器重點生成的時頻局部特征區(qū)域不同。因此，僅從視覺層面而言，本文提出的MDGAN能產(chǎn)生符合真實情況的樣本，加入到生成器目標函數(shù)中的正則化項能提高生成樣本的多樣性。

仿真2： 數(shù)據(jù)集有效性檢驗實驗

利用第3節(jié)方法，分別求取GAN、MDGAN在迭代輪數(shù)Epoch=0,10,20,30,40,50時生成的數(shù)據(jù)集的IS值和FID值，并將結(jié)果對比展示，如圖9所示。并將MDGAN在Epoch=0，10，20，30，40時生成的樣本進行可視化[13](Epoch=50在仿真1中已展示)，如圖10所示。

(a) IS值

(b) FID值

圖10 生成樣本可視化結(jié)果(從上到下依次為BPSK，CW，BFSK，LFM，MPSK，NLFM)

由圖10可以發(fā)現(xiàn)，在Epoch=0時，此時生成的樣本還只是從先驗分布中采樣的隨機向量，并沒有樣本特征的生成。在Epoch=10時，此時生成的樣本已經(jīng)開始學(xué)習訓(xùn)練樣本的特征，但主要是特征的整體輪廓，還不具備細節(jié)生成的能力。Epoch=30時，此時細節(jié)的刻畫能力更強了，如BPSK的相位突變點已經(jīng)開始顯現(xiàn)。Epoch=40時，此時無論生成的整體特征還是局部特征都較為接近訓(xùn)練樣本了。在這個過程中，隨機向量在逐漸地向生成樣本特征的方向靠攏，訓(xùn)練樣本的背景噪聲被忽視掉了。由圖9可以發(fā)現(xiàn)，IS值：MDGAN>GAN，且整體都在上升，即隨著對訓(xùn)練樣本學(xué)習程度的加深，不同的特征都被挖掘出來，所以生成樣本也不再是單一模式，多樣性逐漸增加，且MDGAN比GAN能生成更多的不一樣的樣本。FID值：MDGAN

4 結(jié)束語

本文提出了一種無監(jiān)督的由圖像生成圖像的網(wǎng)絡(luò)—多樣性最大化生成對抗網(wǎng)絡(luò)(MDGAN)，MDGAN是GAN的衍生模型，它在生成器的原始目標函數(shù)的基礎(chǔ)上引入了一個表示特征圖之間距離與隨機向量之間距離比值的正則化項，通過最大化這個比值，可以生成多樣性樣本。仿真實驗證明了MDGAN相比原始GAN能生成更真實更多樣的樣本，是擴充雷達輻射源數(shù)據(jù)集的有效方法。同時，也存在一些問題需要繼續(xù)考慮：本文提出的正則化項在提升效果的同時也會減緩模型收斂速度，能否對其進行簡化；將生成的數(shù)據(jù)集用于雷達輻射源識別實驗來更近一步說明樣本的有效性；本文以-4 dB信噪比條件下數(shù)據(jù)集的擴充實驗為主，模型在其他信噪比條件下的數(shù)據(jù)集生成效果如何；MDGAN作為一種數(shù)據(jù)生成模型，如何將它融入現(xiàn)有的雷達數(shù)據(jù)庫系統(tǒng)中，提高系統(tǒng)的智能性。