基于CycleGAN算法的迷彩服裝圖案設(shè)計方法研究

李 敏, 劉冰清,2, 彭慶龍, 于 淼

(1.青島大學(xué) 紡織服裝學(xué)院,青島 266071; 2.東華大學(xué) 服裝與藝術(shù)設(shè)計學(xué)院,上海 200051; 3.青島科技大學(xué) 信息科學(xué)技術(shù)學(xué)院,青島 266025)

圖案是服裝設(shè)計的重要內(nèi)容之一,它具有獨特的形式和鮮明的風(fēng)格特征。迷彩服裝是軍隊作戰(zhàn)、訓(xùn)練穿的具有偽裝效果的一種服裝,主要通過減小服裝顏色、圖案等與周圍環(huán)境在亮度、顏色、紋理等光學(xué)特性上的差別來達(dá)到偽裝效果[1-2]。以此降低目標(biāo)的顯著特征和某些探測儀器對目標(biāo)的發(fā)現(xiàn)概率[3],從而有效提升戰(zhàn)士在戰(zhàn)場的生存能力。在軍事領(lǐng)域,迷彩偽裝是一種有效的偽裝方式,有重要的應(yīng)用價值。現(xiàn)在常用的迷彩圖案是通過計算機(jī)處理加以人類視覺特性開發(fā)的數(shù)碼迷彩,獨特的馬賽克式斑點組合很好地模擬了自然環(huán)境的特性。然而傳統(tǒng)的數(shù)碼迷彩算法繁雜且在一定程度仍然依賴于人類的自我感知并且色彩單一,50 m內(nèi)偽裝效果不佳。

隨著數(shù)據(jù)經(jīng)濟(jì)時代的快速發(fā)展,智能化、網(wǎng)絡(luò)化都被推向更高的發(fā)展層面,人工智能技術(shù)在各個領(lǐng)域被廣泛應(yīng)用。服裝這一傳統(tǒng)手工制造業(yè),正在緊跟時代發(fā)展的潮流,智能化生產(chǎn)、虛擬試衣等多項技術(shù)推進(jìn)這項行業(yè)實現(xiàn)轉(zhuǎn)型升級。計算機(jī)技術(shù)與服裝的有效結(jié)合不僅可以提升服裝發(fā)展效率,更能有效提高特殊服裝的功能性。隨著計算機(jī)圖像技術(shù)的發(fā)展,越來越多的學(xué)者對利用計算機(jī)技術(shù)生成服裝圖像做了深入研究。在服裝圖案設(shè)計方面,出現(xiàn)了像3D打印、CAD和MTM等的一些電腦輔助科技,這些電腦科技是有效的輔助服裝設(shè)計的計算機(jī)技術(shù)。張培婷等[4]在針織服裝的圖案設(shè)計中提出,利用三維虛擬技術(shù)實現(xiàn)國潮風(fēng)圖案的生成。胡明珠等[5]利用計算機(jī)技術(shù)對地貌景觀進(jìn)行特征提取,并最終應(yīng)用于針織服裝的設(shè)計中。然而,以上的實驗方案大多是通過提取圖片特征,直接應(yīng)用于服裝圖案設(shè)計中,而且現(xiàn)有的大部分電腦圖案設(shè)計技術(shù)雖然為服裝設(shè)計提供了有效幫助,但是大部分工作仍然需要手工完成,耗費時間和精力。

針對以上問題,本文利用循環(huán)生成對抗網(wǎng)絡(luò)模型進(jìn)行服裝迷彩圖案的自動化生成。CycleGAN算法可以利用輸入圖像進(jìn)行特征融合,不依靠實驗人員的主觀判斷,針對不同背景環(huán)境可生成具有高質(zhì)量、抗偵察能力強(qiáng)、端到端的迷彩圖案,使最終的迷彩服裝具有優(yōu)良的偽裝效果。

1 循環(huán)一致生成式對抗網(wǎng)絡(luò)(CycleGAN)

GAN由Goodfellow在2014年首次提出,是一種深度學(xué)習(xí)模型,由于其獨特的對抗性思想使得在眾多計算機(jī)學(xué)習(xí)網(wǎng)絡(luò)中脫穎而出。隨著人們不斷提出優(yōu)化改進(jìn)的網(wǎng)絡(luò)模型,生成式對抗網(wǎng)絡(luò)廣泛應(yīng)用于計算機(jī)視覺(CV)[6-7]、圖像[8]、機(jī)器學(xué)習(xí)(ML)[9-10]、語音處理(AS)[11-13]等領(lǐng)域。生成式對抗網(wǎng)絡(luò)包括兩部分:生成模型(Generative model,G模型)和判別模型(Discriminative model,D模型)。傳統(tǒng)生成式對抗網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示。其中,生成器接受一個隨機(jī)信號并學(xué)習(xí)輸入的真實圖像的分布,生成一張類似真實圖像的圖像,目的是“欺騙”判別器;同時,生成器把生成圖像和真實圖像輸入判別器中。判別器判斷輸入的圖像接近真實圖像的概率,輸出一個概率值并給生成器一個反饋,由此,兩者就構(gòu)成了一個動態(tài)的博弈過程。之后利用隨機(jī)梯度下降法(SGD)來訓(xùn)練生成器和判別器,在此過程中,G模型需要盡可能地優(yōu)化生成目標(biāo),同時,D模型也需要優(yōu)化自身使得盡可能地判別目標(biāo)真?zhèn)螐亩菇Y(jié)果達(dá)到更優(yōu)化。理想狀態(tài)下,生成器生成的圖片與真實圖片非常類似,這時的判別器無法判別輸入圖像的真假,最終達(dá)到Nash均衡狀態(tài)。迷彩的生成可以看作是利用GAN生成服裝圖案,實際上是將數(shù)據(jù)集中的圖片風(fēng)格進(jìn)行遷移,CycleGAN在GAN基礎(chǔ)上實現(xiàn)了雙向映射,在圖片風(fēng)格遷移領(lǐng)域有更好的效果。

圖1 傳統(tǒng)生成式對抗網(wǎng)絡(luò)模型Fig.1 Traditional generative countermeasure network model

2017年,Zhu等[14]在GAN算法基礎(chǔ)上提出了循環(huán)一致性生成對抗模型(CycleGAN),該模型在原GAN算法模型的基礎(chǔ)上,各增添一個生成器和判別器,即使用兩個GAN算法模型。而CycleGAN模型與其他模型相比,在圖像翻譯領(lǐng)域有著無法比擬的優(yōu)勢,其主要原因在于引入了循環(huán)映射的概念。圖2為CycleGAN網(wǎng)絡(luò)的模型架構(gòu),與Pix2pix不同,CycleGAN可以使用不對稱的數(shù)據(jù)集。首先需要定義兩個有潛在關(guān)系的域X和域Y,通過學(xué)習(xí)完成從X到Y(jié)的映射,即G:X-Y。兩個生成模型G和F,及其相對應(yīng)的判別模型DX和DY被設(shè)定在映射函數(shù)中。將所有圖像X{x1,x2,……}輸入到生成器G中,利用對抗損失使得生成圖像G(x)與生成目標(biāo)域Y的圖像相似,再將G(x)輸入到生成器F中可以生成X域的一個fake圖像F(G(x))。同時,域Y對于X進(jìn)行上述同樣映射。最后,F(G(x))與G(F(x))分別被送入對應(yīng)的判別模型中。CycleGAN的循環(huán)映射確保了圖像轉(zhuǎn)換過程中的有效性,不會將多張圖像的特征反映在同一張圖像上。

圖2 CycleGAN網(wǎng)絡(luò)的模型架構(gòu)Fig.2 Model architecture of CycleGAN network

2 基于CycleGAN的迷彩圖像生成模型

CycleGAN算法的雙向映射使得輸出圖片得以最大程度上保留輸入圖片的特征。基于此,本文提出了一種基于CycleGAN進(jìn)行迷彩設(shè)計的實驗,該模型與原GAN不同之處在于,輸入是圖像而不是一組隨機(jī)噪聲。

2.1 實驗?zāi)Ｐ驮O(shè)計

圖3 CycleGAN生成模型結(jié)構(gòu)Fig.3 Structure of CycleGAN generation model

本文的目的是使生成的迷彩圖像中擁有環(huán)境圖像的復(fù)雜紋理,因此,要使用對抗損失函數(shù)學(xué)習(xí)到A→B→A的映射。讓輸入兩個判別器的假圖G與真實圖像要盡可能相似,本文算法共使用4個loss組成,可以用下式來定義循環(huán)一致性損失函數(shù):

(1)

式中:G(·)為生成器,F(·)為判別器,A為生成圖像,B為真實圖像。

在整個運算過程中,算法利用對抗損失學(xué)習(xí)映射,并采用損失函數(shù)進(jìn)行激勵。這種循環(huán)映射的方式可以使CycleGAN網(wǎng)絡(luò)在面對較為復(fù)雜的數(shù)據(jù)集時,依舊可以實現(xiàn)數(shù)據(jù)集圖像的一一映射,而避免在學(xué)習(xí)過程中發(fā)生重大錯誤。CycleGAN算法的特點同樣保證了提取圖片紋理特征的細(xì)膩性與完整性,使得最終能夠生成與環(huán)境圖像色彩紋理相近的迷彩圖案。

2.2 算法流程

為了運用CycleGAN算法實現(xiàn)迷彩圖案的生成,需要利用Python語言編寫代碼,實現(xiàn)整個模型的架構(gòu)來保證實驗的進(jìn)行。具體算法流程如圖4所示,文字描述如下:

Step 1:搭建運行環(huán)境,安裝好Python接口的OpenCV、scikit-image等函數(shù)庫。制作數(shù)據(jù)集,對環(huán)境和迷彩圖像進(jìn)行預(yù)處理。

Step 2:對layer層文件進(jìn)行編寫,主要包括定義生成模型、判別模型中的卷積層、反卷積層和一些輔助函數(shù),為最終完整模型的架構(gòu)提供初步的框架。

Step 3:對模型文件進(jìn)行編寫,對生成、判別模型進(jìn)行定義;編寫訓(xùn)練文件和主函數(shù),完成整個CycleGAN模型的架構(gòu)。

Step 4:利用斑馬和馬數(shù)據(jù)集進(jìn)行模型訓(xùn)練,訓(xùn)練后查看結(jié)果及權(quán)重。

Step 5:將環(huán)境和迷彩數(shù)據(jù)集分別放在Train A、Train B文件夾中,對本文數(shù)據(jù)模型進(jìn)行生成訓(xùn)練,在主函數(shù)下運行程序,并將訓(xùn)練次數(shù)設(shè)置為100。

Step 6:對不同的訓(xùn)練次數(shù)下生成的圖像效果進(jìn)行對比,及時對循環(huán)迭代的次數(shù)進(jìn)行調(diào)整,以輸出最優(yōu)結(jié)果。

圖4 實驗具體算法流程Fig.4 Specific flow chart of experiment

3 實 驗

為了進(jìn)行本文實驗方案的運作,需要搭建算法運作環(huán)境。整個運算過程采用Ubuntu 18.04系統(tǒng),搭載Python 3.6和Tensorflow 2.2結(jié)合的運算環(huán)境平臺,同時,安裝基于Python接口的OpenCV、scikit-image、tqdm、oyaml數(shù)據(jù)圖像處理包。

3.1 數(shù)據(jù)集預(yù)處理

由于生成器需要大量的學(xué)習(xí)和訓(xùn)練才能很好地生成逼真的圖片,而各國并未將迷彩圖案的數(shù)據(jù)集公開。因此,需要根據(jù)要求自行搜集圖片,建立數(shù)據(jù)集。而為使最終生成的圖片達(dá)到令人滿意的效果,需根據(jù)數(shù)據(jù)代碼了解所要搜集的圖片大小及分辨率,盡可能保證每個數(shù)據(jù)集里圖片的大小和分辨率一致。最終,在圖庫中選用300張環(huán)境圖像和300張迷彩圖像,并通過翻轉(zhuǎn)、裁剪、調(diào)整對比度等方法將數(shù)據(jù)集擴(kuò)充至600×600張。所有圖像分辨率均為256 dpi×256 dpi,文件格式為JPG。

3.1.1 環(huán)境圖片

如前所述,迷彩圖案要保留相關(guān)環(huán)境圖片的紋理、相似的色塊構(gòu)成等才可達(dá)到較好的偽裝效果。查閱文獻(xiàn)得知,每種環(huán)境的季節(jié)特性不同,通過使用每種背景的通用色和唯一色之間的中間色,可以實現(xiàn)針對兩種背景的最佳隱藏效果[15]。因此,在設(shè)計迷彩服裝圖案時,首先設(shè)定具體作戰(zhàn)環(huán)境的唯一色,設(shè)定可能轉(zhuǎn)換的場景顏色為通用色。本文以陸軍叢林迷彩服裝圖案設(shè)計為例,設(shè)定以叢林植物綠色為主背景,搜集褐色、藍(lán)色等其他色的一系列符合具體作戰(zhàn)背景的環(huán)境圖片。最終選用300張環(huán)境圖像,部分圖像如圖5所示。

圖5 部分林地背景環(huán)境圖像Fig.5 Background environment image of some forest lands

3.1.2 迷彩圖片

從遠(yuǎn)古時期開始,人們就意識到利用衣物和環(huán)境相似的特點來迷惑敵人、保護(hù)自己。目前,中國軍隊已開始采用新式迷彩服裝,其又被稱為“星空迷彩”,分為海洋、城市、荒漠、林地、叢林等五種,可適應(yīng)國內(nèi)外不同地形的需要。然而,基于軍事機(jī)密等問題,各國都未公開用于迷彩服裝設(shè)計的數(shù)據(jù)集。因此,需要自行搜集圖片、建立數(shù)據(jù)集,而為使輸出的圖案接近迷彩樣式,本文廣泛搜集07式及新型迷彩的實體圖片。為適應(yīng)作戰(zhàn)環(huán)境,各國間也一直優(yōu)化各款迷彩服裝的圖案和顏色設(shè)計,本文借鑒美國、英國等一些迷彩服裝圖案設(shè)計經(jīng)驗,同樣搜集他們的一些迷彩服裝實際圖片。最終選定300張迷彩圖片,部分迷彩圖片如圖6所示。

圖6 部分輸入迷彩圖像Fig.6 Partial input camouflage image

3.2 結(jié)果分析

在實驗中發(fā)現(xiàn)設(shè)置不同的epoch,輸出的結(jié)果大不相同。圖7(a)是設(shè)置算法不同epoch生成的圖片。當(dāng)訓(xùn)練epoch為15時,輸出的圖像色彩簡單,紋理模糊不清,基本無明顯的斑塊;而當(dāng)訓(xùn)練epoch為45時,圖像紋理開始明晰,能看出較為模糊的斑塊,且色彩保持較好,未發(fā)生較大偏移。隨著訓(xùn)練epoch的增加,輸出的迷彩圖像在色彩、紋理方面愈來愈接近背景圖像。最終,將epoch設(shè)置為100。實驗的部分輸出結(jié)果如圖7(b)所示。

圖7 CycleGAN模型預(yù)實驗與正式實驗生成圖像Fig.7 CycleGAN model pre-experiment and formal experiment to generate images

CycleGAN算法模型是在GAN算法模型的基礎(chǔ)上衍生出的,與GAN算法模型相比,CycleGAN算法模型可做圖像風(fēng)格的雙向遷移。圖8是使用GAN模型生成的圖像,生成圖像色塊明顯且未將環(huán)境、迷彩圖像的內(nèi)容、風(fēng)格特征有效融合到一起。

圖8 傳統(tǒng)GAN模型生成的圖像Fig.8 Image generated by traditional GAN model

為了驗證CycleGAN算法生成迷彩圖案的有效性,本文使用同樣的數(shù)據(jù)圖片,采用MUNIT、DRIT兩種模型生成迷彩圖片,對三種模型生成的圖片進(jìn)行對比分析,結(jié)果如圖9所示。MUNIT(Multimodal Unsupervised Image-to-Image Translation)[16]是一種多模型無監(jiān)督式的圖像風(fēng)格轉(zhuǎn)換模型,包含生成器與鑒別器。通過對數(shù)據(jù)域中采集到的樣本進(jìn)行風(fēng)格和內(nèi)容的分解、重組,生成全新的圖像。DRIT(Diverse Image-to-Image Translation)與MUNIT模型類似將樣本的風(fēng)格和內(nèi)容特征進(jìn)行分離,重組輸入內(nèi)容特征與目標(biāo)域風(fēng)格特征,從而生成新圖像[17]。

從圖9可以看出,圖9(a)的顏色與輸入圖像相距甚遠(yuǎn);圖9(b)的圖像保留了輸入背景圖像中的顏色和紋理特征,相較于其他兩種模型來說,生成圖片效果優(yōu)異;圖9(d)的生成圖像模糊、色素混濁,生成圖片效果差。

圖9 不同模型之間的生成圖像對比Fig.9 Comparison of generated images among different models

對于生成的迷彩圖像應(yīng)用效果的評估方面,本文利用SSIM結(jié)構(gòu)相似性算法和生成圖像在環(huán)境中的融合度分別進(jìn)行定量評估和主觀評估。將圖9所示的原有迷彩圖像和三種模型生成圖像輸入SSIM算法,三種模型的得分結(jié)果如表1所示。SSIM結(jié)構(gòu)相似性算法主要從亮度、對比度、結(jié)構(gòu)等的方面來評估兩幅圖片間結(jié)構(gòu)的差異性,其得分越高表示生成圖像與原有圖像差異性越小。從圖9和表1所示的計算結(jié)果來看,使用本文所采用的CycleGAN算法生成的迷彩圖像與原有迷彩圖像既保留一定的相似性又融入環(huán)境圖像所特有的一些結(jié)構(gòu)、色彩等特征,且與MUNIT模型相比結(jié)果清晰,與DRIT結(jié)果相比迷彩圖像與環(huán)境圖像的融合度更高。因此,使用CycleGAN模型生成的圖像相比于其他兩種算法具有更好的偽裝效果。

表1 生成圖像的SSIM評價得分Tab.1 SSIM evaluation scores of generated images

在主觀評價方面,本文主要采用色彩、紋理與邊緣特征等評價指標(biāo)對生成的圖像進(jìn)行對比評定。生成圖像與原有迷彩圖像在環(huán)境中的對比如圖10所示。在迷彩圖像色彩方面,圖10(a)生成的迷彩圖像在色彩層次上變化豐富,與背景圖像色彩相似度高;不同色塊之間過渡不明顯,具有很好的混色效果。在圖像紋理方面,背景圖像中的紋理大部分清晰地保存在生成圖像中。生成的偽裝斑塊無序,不同顏色和形狀的斑塊在保持較大背景輪廓的基礎(chǔ)上相互重疊,因此,圖像會產(chǎn)生視覺上的三維效果。這主要是因為CycleGAN網(wǎng)絡(luò)中生成器采用的是編碼器-解碼器結(jié)構(gòu),編碼器對每層的數(shù)碼圖像和背景進(jìn)行下采樣。內(nèi)容編碼器則保留圖像的結(jié)構(gòu)布局,樣式編碼器的主要目的是保留數(shù)碼迷彩的紋理和色彩特征。通過將來自背景圖像域的內(nèi)容特征與來自數(shù)碼迷彩域的樣式特征送入到生成器中實現(xiàn),實現(xiàn)跨域圖像之間的特征融合。

圖10 CycleGAN模型生成圖像在背景環(huán)境中的應(yīng)用效果Fig.10 The effect of the image generated by the CycleGAN modelapplied in the background environment

綜上,通過對生成的迷彩圖像進(jìn)行主客觀三方面的檢測評價,發(fā)現(xiàn)使用CycleGAN模型生成的迷彩具有較好的偽裝效果,將環(huán)境特點與迷彩特征有效進(jìn)行融合,且色彩層次鮮明、紋理細(xì)膩,與背景邊緣明暗差異小,斑塊邊緣也模糊破碎不易辨別,環(huán)境適應(yīng)性強(qiáng)。因此,基于CycleGAN模型進(jìn)行迷彩設(shè)計的實驗方法是可行的。

4 結(jié) 論

迷彩偽裝技術(shù)是軍事領(lǐng)域最常用且最有效的偽裝技術(shù)之一,在對抗高科技武器偵察和攻擊系統(tǒng)中發(fā)揮了舉足輕重的作用。如何進(jìn)一步提高數(shù)碼迷彩的偽裝性能,設(shè)計具有高質(zhì)量、抗偵察的數(shù)碼迷彩具有重要的科學(xué)意義和軍事應(yīng)用價值。現(xiàn)代戰(zhàn)場突變性強(qiáng)、方式靈活多變、縱向深且作戰(zhàn)區(qū)域范圍變化大,這直接使得作戰(zhàn)環(huán)境多變,因而提前根據(jù)作戰(zhàn)環(huán)境設(shè)計能適應(yīng)多變環(huán)境的迷彩圖案幾乎是不可能的,為了使迷彩偽裝達(dá)到良好的效果,必須根據(jù)作戰(zhàn)環(huán)境的變化及時且快速地調(diào)整迷彩的斑點和色彩。本文根據(jù)現(xiàn)代軍事高科技戰(zhàn)爭的需求,結(jié)合計算機(jī)技術(shù),提出了一種基于生成式對抗網(wǎng)絡(luò)的迷彩服裝圖案設(shè)計的新方法,將軍事服裝與現(xiàn)代科技進(jìn)行雙贏融合。該方法是利用生成模型與判斷模型間的對抗思想,提取輸入圖片特征生成所需圖片,在整個過程中,利用計算機(jī)網(wǎng)絡(luò)實現(xiàn)迷彩圖案的自動化生成。這種方法與傳統(tǒng)服裝設(shè)計相比既節(jié)省紙張、燃料等資源,符合當(dāng)下所提倡的環(huán)境保護(hù)主題,又可節(jié)約時間資本,將服裝設(shè)計變得更簡便快速,且生成不以設(shè)計人員的喜好為轉(zhuǎn)變。同時,又可增加迷彩服裝圖案設(shè)計的新途徑,為實現(xiàn)服裝設(shè)計與人工智能的融合提供更多可能。

本文使用CycleGAN模型生成了一系列迷彩圖案,通過這種方法可以看到,將人工智能應(yīng)用于服裝設(shè)計領(lǐng)域已變?yōu)榭赡堋Ｔ诤罄m(xù)的研究工作中,可采用CycleGAN算法對圖案設(shè)計中常見的風(fēng)景和花卉圖案進(jìn)行生成應(yīng)用,以此推進(jìn)GAN算法在普通服裝領(lǐng)域的適用性。人工智能技術(shù)的發(fā)展推動了服裝行業(yè)的進(jìn)步,而GAN計算網(wǎng)絡(luò)與傳統(tǒng)服裝設(shè)計的結(jié)合可以實現(xiàn)更準(zhǔn)確、更便捷的服裝圖案設(shè)計。

《絲綢》官網(wǎng)下載

中國知網(wǎng)下載