基于深度卷積對抗網絡的迷彩設計方法

冉建國，劉 珩，張 品，劉亞文，呂振堅

(陸軍工程大學 電磁環境效應與光電工程國家級重點實驗室， 南京 210007)

1 引言

迷彩設計是通過將提取的背景顏色、紋理、亮度等特征信息進行分形、聚類、融合后形成具有一定斑點形狀和多種顏色亮度對比的圖案，達到分割、歪曲目標外形的偽裝效果。目前的迷彩設計受噴涂作業的影響，大多根據地域背景特點聚類成亮度差異明顯的3種或4種顏色，斑點形狀和尺寸主要考慮觀測距離、目標特性、人眼分辨率、偽裝效果等因素，設計為大斑點迷彩、小斑點迷彩、數碼迷彩等幾種形式[1-2]。基于數字圖像處理技術及計算機視覺技術基礎上設計的變形迷彩[3]、仿造迷彩[4]、立體動態數碼迷彩[5-6]、仿生迷彩[7]在圖像生成效率及偽裝效果方面有很大的提升，但都難以做到與背景圖像高度匹配，更不能根據自然環境變化快速形成高融合背景的迷彩圖案[8]。

生成對抗網絡[9](generative adversarial networks，GAN)是一種無監督算法生成數據的深度神經網絡架構，通過生成器G(Generator)和判別器D(Discriminator)的互相博弈，在訓練過程中兩個網絡達到動態平衡，使得生成的圖像更逼真。生成對抗網絡可應用于構建高融合迷彩偽裝模型，對抗網絡的判別器類比于光學偵察，努力發現目標與背景的特征差異，對抗網絡的生成器類比于迷彩偽裝，努力減小目標與背景的特征差異，在兩者博弈的過程中，目標與背景的光學特征差異越來越小，逐漸趨近于完全融合。深度卷積生成對抗網絡[10](DCGAN)在圖像生成和數據增強方面有優異的表現，并已在機器識別、計算機視覺等相關領域有廣泛的應用。本文運用改進目標函數的DCGAN網絡，克服GAN在特征提取過程中無針對性，生成的圖像顏色布局隨意，主要顏色失真度較高，圖像結構難以保持穩定的缺點，使自主生成的圖像與背景特征高度相似，在對抗中提高生成器和判別器能力，使生成的圖像與背景圖像特征更接近。滕旭等[11]將循環一致生成對抗網絡應用于數碼迷彩設計，且采用不同激活函數組合比較取得了較好的圖案設計效果,但其生成的圖像顏色失真度較大，沒能解決迷彩偽裝中最關注的難點問題。

本文采用深度卷積生成對抗網絡，通過構建特征空間，改進生成對抗網絡的目標函數，優化生成對抗網絡算法，建立目標與背景圖像之間特征相似度的數學模型，自主對抗訓練不同背景的圖像特征數據，形成與該背景特征高度匹配的相似圖像，將背景中的目標區域設計成背景圖像的一部分，從而達到完美的偽裝設計效果。現有的噴墨打印裝置，可將設計的迷彩圖像輸入計算機，在目標表面逼真復制還原圖像，實現高融合迷彩偽裝。

2 算法優化與模型構建

為了進一步提升DCGAN在紋理提取、顏色轉換上的效率，通過擴展損失函數的維度，運用Vgg16進行特征提取，經過訓練生成高融合迷彩設計方案，再利用結構損失函數和心理物理學實驗進行模型評估,達到納什均衡終止訓練。

2.1 特征空間構造

一般網絡識別的圖像為關于二維平面空間信息的分布函數，偽裝技術中對背景的平面圖像仿造除關注紋理、形狀等二維空間信息，尤其重視可見光波段的顏色信息，因此本文構造具有坐標空間(x,y)和顏色空間(r,g,b)信息的五維特征空間的圖像分布函數p(x,y,r,g,b)和q(x,y,r,g,b)進行計算，本文為描述方便，以x或z代表圖像特征空間的五維信息。在迷彩偽裝設計中，一定區域內的背景圖像顏色相似度高(色差小)的色空間合并，而差距大于一定閾值的顏色區域不能合并，合并后的顏色取均值或者中值，保證最后呈現出的顏色符合心理物理學規律，這種方法稱為顏色聚類，不是類內的點就成了影響顏色的“雜質”。

(1)

(2)

其中，Nk表示矩形區域中總的樣本點數，g(x)是類別指示變量，只取值0和1，相當于一個簡化的權重系數。

構造五維特征空間的質心公式進行顏色聚類，可最大限度保留原背景的顏色信息，滿足高融合迷彩設計的顏色要求。

2.2 目標函數優化

KL(Kullback-Leibler)散度和JS(Jensen-Shannon)散度分別是生成網絡、判別網絡與真實圖像數據相似度的判據[12]。p(x)為生成圖像分布函數，q(x)為真實圖像分布函數，若p(x)和q(x)處處相等，KL散度為0，即生成圖像與真實圖像無限接近；當p(x)和q(x)有差別時，以兩者的平均函數分別與生成圖像與真實圖像的散度求解JS散度。為了使生成網絡生成的圖像能以假亂真，達到高融合的目的，應盡量提高生成網絡數據和真實數據之間的相似度。判斷生成網絡G(generator)和判別網絡D(discriminator)模型相似度需要用目標函數進行測量。DCGAN基本目標函數如式(3)所示。

arg minL(z)=Ex～pdata(x)[logD(x)]+

λEz～p(z)[log(1-D(G(z)))]

(3)

從式(3)中可看出，生成網絡和判別網絡均有目標函數，各自訓練過程中，判別網絡D試圖最大化公式的最終取值，而生成網絡G試圖最小化最終取值，最終D和G之間達到平衡，期望輸出趨于一致，模型即“收斂”。

本文采用深度卷積對抗網絡[13](DCGAN)進行數據集的訓練，其最大優點是使用批歸一化(Batch normalization)解決了初始化差的問題，同時保住梯度傳播到每一層，也能夠防止生成器把所有的樣本都收斂到同一個點。使用最小二乘法生成對抗網絡(Least Square GAN,LSGAN)中的目標函數來替代傳統GAN的目標函數，即使用平方差作為損失而不是Log似然函數，使用LSGAN可以讓DCGAN的模型訓練更加穩定[14-16]。要實現DCGAN中背景與目標區域的高融合，需要滿足兩個條件：一是補全的內容是背景的延伸，生成器能夠生成“騙過”判別器的圖像；第二個條件是生成的圖像能夠將目標區域完全遮蓋。

為使高融合迷彩從紋理到顏色與背景盡可能高度融合，生成對抗網絡不僅需要結構穩定，顏色特征信息的訓練至關重要，因此結合五維特征空間優化的最終目標函數如式(5)所示。

arg minL(z)=E(x,y,r,g,b)～pdata(x,y,r,g,b)[logD(x,y,r,g,b)]+

λEz～p(z)[log(1-D(G(z)))]

(4)

arg minL(z)=E(x,y,r,g,b)～pdata(x,y,r,g,b)[(D(x,y,r,g,b)-1)2]+

λEz～p(z)[D(G(z))2]

(5)

其中,生成器網絡輸入真實背景圖像,輸出為斑點位置(x,y)和顏色(r,g,b)特征相似的圖像。

2.3 生成對抗網絡模型與參數調整

本文在Windows 10系統上選用Tensorflow搭建生成對抗網絡，所有算法及有效性驗證均由Python語言實現，訓練過程使用GPU，顯卡型號為TITAN V，顯存大小為32 G。圖像數據庫為實地拍攝及各類圖庫網站上搜集整理的約500張圖片，經過預處理將其裁剪成像素256×256圖像，并通過數據增強的方法將數據集擴充至約2 000張林地背景圖像。

表1、表2分別為構建的生成模型和判別模型網絡結構。生成網絡由編碼器、傳輸模塊和解碼器組成，首先使用線性單元作為生成器的激活函數，可以加快網絡的訓練速度，讓網絡更快的收斂。同時在生成網絡中嵌入改進了目標函數的Vgg16特征提取器，因增加顏色空間，特征空間從二維增加到五維，目標函數是包含色彩損失函數的總的損失函數迭代優化，經過優化目標函數的Vgg16提取特征可使得生成圖像中更好的保留原背景色彩，提升偽裝效果。Vgg的輸入圖像是 256×256×3，通道數翻倍由64依次增加到128，再到256，直至512保持不變，不再翻倍高和寬變減半，通道數的增多使得更多的信息可以被提取出來，像素由224×224→112×112→56×56→28×28→14×14→7×7。實際背景圖像紋理復雜、邊緣特征不明顯,在生成模型中采用5層ResNet殘差連接卷積網絡，保持圖像整體特征的全局能力，提高圖像紋理的提取能力[17]。之所以使用殘差網絡，是利用其保持圖像整體特征的全局能力。

Conv-RELU表示本層使用了卷積和ReLU操作，stride 代表步長，filter代表濾波器的大小，ResNet代表殘差層，k代表了每個Res Block卷積輸出的特征映射數量。為了解決ReLU負半軸容易飽和的問題，判別網絡采用LReLU作為激活函數。本文模型使用了5層ResNet+Vgg16進行特征提取，在生成器和判別器中使用了基于特征空間p(x,y,r,g,b)的激活函數，采用特征空間優化方法,同時結合了Vgg16和ResNet算法優點，不僅基于一階矩均值計算適應性參數學習率，同時還充分利用了梯度的二階矩均值，彌補了訓練過程中梯度消失的問題,同時加強了特征的傳播，綜合調參以后學習率選用 0.001。

表1 生成模型網絡結構

表2 判別模型網絡結構

基于DCGAN的高融合迷彩設計流程如圖1所示。以真實背景數據建立數據集，構建基于五維特征空間的損失函數，訓練過程不斷優化調整參數以減小生成數據與真實數據間的差異，通過結構相似性分析和心理物理學實驗進行效果評估，形成與背景高融合迷彩圖案。

圖1 DCGAN高融合迷彩設計流程框圖

3 高融合迷彩設計與效果檢驗

偽裝效果評價是軍事偽裝斗爭中不可或缺的環節,目標在戰場上的生存和斗爭能力很大程度上取決于偽裝效果的好壞。迷彩偽裝性能主要包括兩方面：一是遮蔽特性；一是融合特性。遮蔽性能良好可以使敵方無法判斷遮障下面的目標是否存在，而融合性能良好則可以避免被敵方注意[18]。事實上，由于遮蔽性能更容易實現，長期以來迷彩設計多強調遮蔽性能，由于近幾年偵察技術的高分辨能力，完善地偽裝目標變得越來越困難，這也意味著高融合具有了越來越重要的價值[19]。

3.1 基于特征空間的高融合迷彩設計

本文選取比較典型的林地背景進行高融合迷彩設計。林地背景主要指大部分被木本植物覆蓋的山地、丘陵地以及森林、灌木林區等背景，植被覆蓋率一般大于60%。利用前文設計的框架結構完成深度卷積對抗網絡的構建，選擇不同角度在同一地區拍攝部分圖像進行了50個epoch共25 000次的訓練，并挖空每張圖像的中間部分(挖空的區域可以自由選擇)，現實中挖空的區域包含需要進行偽裝的目標部分，然后利用訓練的網絡進行智能填補。實驗部分之所以展示了生成的64張圖像效果，一是為了進行大量的對比，避免只是個別圖像效果的改善；二是當訓練到25 000次時，圖像本身像素還比較小，整體視圖顯示的效果比較好。

圖2(a)代表了64張原始圖像，圖2(b)代表挖空中間部分的圖像，圖2(c)代表改進算法前填補完成的圖像，圖2(d)代表改進算法后填補完成的圖像，對比后發現，利用原始的DCGAN算法生成的圖像紋理延伸性和與周圍背景顏色融合不佳，雖然能將主要目標區域覆蓋，但是增加了新的問題，明顯的拼接痕跡使得填補區域和周圍背景融合度不高，導致全局成了新的暴露征候。而利用基于特征空間改進目標函數的DCGAN生成的圖像細節雖然處理的比較模糊且部分存在陰影的地方沒有處理好，但優點是目標區域的主要顏色與背景類似，紋理延伸性較好，能將周圍的道路和裸露地表按照顏色漸變填補，從整體效果來看基本達到了高融合的目的。個別道路地區填補成林地背景的紋理樣式，2種圖像顏色出現了失真的現象，這和訓練的數據集以及mask的區域有關，解決的方法是擴充數據集并改變圖像中道路所在的位置。

3.2 訓練損失

在軟硬件相同，數據集一致的條件下，算法改進前后2種訓練的損失如圖3所示，紅色曲線表示使用二維空間訓練后的損失，藍色實線表示使用五維特征空間訓練后的損失。因為數據集背景比較單一，所以設置兩次訓練總次數均為 25 000次，從實驗可以看出，隨著生成器迭代次數的上升，損失值一開始快速下降，然后慢慢地趨于穩定，大約在 10 000次時達到平衡，這說明改進后的算法在訓練時間上并沒有延長，同等訓練次數下卻能得到更好的結果。

圖2 深度卷積對抗網絡生成迷彩

圖3 訓練損失曲線

3.3 效果檢驗

本文利用Canny邊緣檢測算法和結構相似性(Structural SIMilarity，SSIM)算法來評估生成高融合迷彩偽裝的有效性。同時為了能夠滿足人眼對偽裝性能的要求,本文還制定了野外試驗方案,組織并挑選判讀人員,收集、分析試驗數據,為效果評價提供基礎。利用以上算法生成的部分圖像如圖4所示。

圖4 Canny算子處理效果

從這64張圖像的邊緣紋理圖中也可以直觀的看出改進之后的紋理特征和原圖像在某些區域更加類似，改進前填補得到的紋理排布很密集，針對以上結果進行結構相似性的數學計算，結構相似度指數從圖像組成的角度將結構信息定義為獨立于亮度、對比度的反映場景中物體結構的屬性，并將失真建模為亮度、對比度和結構3個不同因素的組合。用均值作為亮度的估計，標準差作為對比度的估計，協方差作為結構相似程度的度量。設置兩組對比試驗，將生成的圖像與原圖比較求得SSIM指數，高融合迷彩設計追求的正是目標與背景各項特征的相似，也就是SSIM值越大越好(以下結果均為Canny算子取0.15時的數據)。

表3對應著圖4中64張圖片，奇數列對應的是改進前訓練結果與原圖的SSIM,偶數列對應的是改進后訓練結果與原圖的SSIM(為了區別相同位置圖像的SSIM值，用了不同的編號表示)。從表3圖像結構相似性數據來看，改進前的結果中90%的SSIM值小于改進后的結果。

表3 改進算法前后生成圖像的SSIM評分

下面從心理物理學角度檢驗融合情況，類別判定法是一種對刺激的感知進行分類的心理物理學實驗方法。該方法要求觀察者在觀察樣本剌激之后，將刺激的視覺感知按照類別判定量表進行分類。采用該方法時，首先應正確劃分類別判定量表，取有特殊意義的點，如判斷色差時，可將無色差、恰可察覺色差、恰可接受色差等作為分類點。一般，類別判定法的分類可以根據需要分為5類、7類、9類等，也有一些研究為了避免觀察者取中間值，而將類別劃分為偶數，如6類、8類等。在實驗過程中，觀察者按照給出的類別判定量表對觀察到的刺激進行分類，然后根據Torgerson的類別判定法和統計假設理論，轉化為等距量表(表4)。

在實驗設計中，共安排了10名色覺正常的觀察者參加，均為在校大學本科生，包括5名男性和5名女性，年齡介于20～25歲之間。每名觀察者進行了2次，用來分析觀察者間的精度。因此，本實驗所獲得的視覺評價數據共有1 280個。

對于改進前的圖像，10名學生當中8名選擇類別4，勉強可以接受；另外兩名選擇3，可感知且完全可接受,64張圖像中有24張圖像與背景對比不理想。而對于改進后DCGAN處理過的圖像，10名學生當中5名選擇類別1，無感知色差；3名選擇選擇3，可感知且可接受，另外兩名選擇4勉強可接受，64張圖像中有4張圖像與背景對比校突兀。可見經過改進后DCGAN處理過的圖像的偽裝效果更能滿足要求。

表4 類別判定量

4 結論

基于深度卷積生成對抗網絡的高融合迷彩設計模型利用目標背景圖像中像素點之間的約束關系,引入注重顏色保留的特征空間,優化了目標函數，為背景紋理和顏色的模擬提供了合適的技術途徑。以生成對抗網絡為支撐的設計技術體系,可以實現設計的高融合迷彩圖案,能有效對付不同距離的偵察威脅。針對模型效果評估的問題，根據機器視覺的特點提出利用Canny邊緣檢測算子和結構相似性(SSIM)原理以及心理物理學實驗對生成的圖像進行評估。實驗結果表明，本文基于特征空間的生成對抗網絡改進模型在紋理的延伸和顏色的保留上取得效果，林地背景圖像經過訓練后得到的SSIM值90%以上高于改進前的結果，驗證了所提方法在高融合迷彩設計中的有效性。在今后的工作中，要進一步研究生成對抗網絡的特點，提高模型在復雜背景下的高融合能力，提高生成對抗網絡提取各項特征的精細度。