改進(jìn)生成對(duì)抗網(wǎng)絡(luò)在場(chǎng)景圖像轉(zhuǎn)換中的應(yīng)用①

金 陽(yáng),何利力

1(浙江理工大學(xué) 智能無(wú)人系統(tǒng)軟件技術(shù)與應(yīng)用重點(diǎn)實(shí)驗(yàn)室,杭州 310018)

2(浙江理工大學(xué) 浙江省服裝個(gè)性化定制2011 協(xié)同創(chuàng)新中心,杭州 310018)

1 引言

近幾年來(lái),生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)在計(jì)算機(jī)視覺(jué)、圖像處理等多個(gè)領(lǐng)域得到越來(lái)越多的應(yīng)用.其中包括應(yīng)用最廣泛的圖像到圖像的轉(zhuǎn)換,它可以將來(lái)自不同域的圖像進(jìn)行相互之間轉(zhuǎn)換.場(chǎng)景圖像轉(zhuǎn)換可以看成是圖形處理和計(jì)算機(jī)視覺(jué)領(lǐng)域相結(jié)合的問(wèn)題.傳統(tǒng)的場(chǎng)景圖像轉(zhuǎn)換算法大多是基于模型的方法.孫毅剛等[1]提出一種基于改進(jìn)的snake 模型,該算法利用模糊連接度準(zhǔn)確找到雨雪輪廓點(diǎn),并通過(guò)模糊相似度函數(shù)確定雨雪邊界,實(shí)現(xiàn)雨雪場(chǎng)景圖像轉(zhuǎn)換.劉杰平等[2]基于大氣散射模型,提出了一種適應(yīng)人眼視覺(jué)特征的HSI 色彩空間估計(jì)大氣光和透射率,實(shí)現(xiàn)霧霾場(chǎng)景圖像轉(zhuǎn)換.費(fèi)子豪等[3]建立了基于高頻分量直方圖均衡化,低頻分量同態(tài)濾波處理的小波變換模型,完成晴天多云場(chǎng)景圖像轉(zhuǎn)換.

場(chǎng)景圖像轉(zhuǎn)換是圖像轉(zhuǎn)換的一類問(wèn)題.解決圖像轉(zhuǎn)換問(wèn)題大多使用基于學(xué)習(xí)的方法,利用卷積神經(jīng)網(wǎng)絡(luò)的強(qiáng)大特征表示能力,學(xué)習(xí)源域到目標(biāo)域圖像的映射函數(shù).為了學(xué)習(xí)到這個(gè)映射函數(shù),許多國(guó)內(nèi)外學(xué)者展開(kāi)了廣泛的科學(xué)研究.得益于文獻(xiàn)[4],其將生成對(duì)抗網(wǎng)絡(luò)(GAN)引入到深度學(xué)習(xí)領(lǐng)域,給生成圖像工作帶來(lái)了更加新穎的方法.基于GAN 網(wǎng)絡(luò)模型,提出各種改進(jìn)的圖像轉(zhuǎn)換模型.Mirza 等[5]提出了帶條件約束的cGAN(conditional GAN)模型,該網(wǎng)絡(luò)模型通過(guò)添加條件變量限制生成結(jié)果.基于cGAN的思想,Isola 等[6]提出Pix2Pix 算法模型,該算法要求配對(duì)的圖像數(shù)據(jù)集,能夠無(wú)監(jiān)督地學(xué)習(xí)到不同域圖像之間的映射關(guān)系.Kim 等[7]提出DiscoGAN 模型在跨域圖像轉(zhuǎn)換中發(fā)揮不錯(cuò)的效果.Yi 等[8]借鑒對(duì)偶學(xué)習(xí)的思想提出DualGAN.Radford 等[9]提出DCGAN,極大的提高了圖像生成的實(shí)用性.Zhu 等[10]提出了CycleGAN 網(wǎng)絡(luò),該方法突破了要求成對(duì)圖像數(shù)據(jù)集的限制,無(wú)需配對(duì)數(shù)據(jù)集就能夠?qū)崿F(xiàn)不同域圖像之間的轉(zhuǎn)換工作.

本文正是基于CycleGAN 網(wǎng)絡(luò),提出了一種場(chǎng)景圖像轉(zhuǎn)換的新方法.通過(guò)改進(jìn)的生成網(wǎng)絡(luò)結(jié)構(gòu)、SSIM結(jié)構(gòu)重建損失和身份保持損失,應(yīng)用到場(chǎng)景圖像轉(zhuǎn)換上能夠取得很好的效果.

2 相關(guān)工作

2.1 生成對(duì)抗網(wǎng)絡(luò)(GAN)

生成對(duì)抗網(wǎng)絡(luò)(GAN)是一個(gè)十分強(qiáng)大的生成模型,它能夠在各種不同的計(jì)算機(jī)視覺(jué)任務(wù)中取得優(yōu)秀的結(jié)果.GAN 基于連續(xù)數(shù)據(jù),且假設(shè)有無(wú)限建模能力[11].其靈感來(lái)源于零和博弈思想,通過(guò)雙方的博弈過(guò)程,達(dá)到兩者之間納什平衡.其由兩種網(wǎng)絡(luò)結(jié)構(gòu)模型組成:生成網(wǎng)絡(luò)G(Generator)和判別網(wǎng)絡(luò)D(Discriminator).判別網(wǎng)絡(luò)D用來(lái)判斷樣本圖像是原始圖像還是由生成網(wǎng)絡(luò)G生成的圖像,目的是將他們區(qū)分開(kāi)來(lái).而生成網(wǎng)絡(luò)G則盡可能的生成更加逼真的圖像,以此來(lái)迷惑判別網(wǎng)絡(luò)D,達(dá)到以假亂真的目的.通過(guò)G和D之間相互對(duì)抗,直到生成的圖像判別網(wǎng)絡(luò)無(wú)法分辨.

GAN的優(yōu)化目標(biāo)函數(shù)為:

其中,x表示真實(shí)圖片,采樣于真實(shí)數(shù)據(jù)分布,z表示輸入生成網(wǎng)絡(luò)G的隨機(jī)噪聲,采樣于正態(tài)分布.D(x)表示輸入的圖片x接近真實(shí)圖片的概率.訓(xùn)練是批量進(jìn)行的,E為數(shù)學(xué)期望.D希望D(x)變 大,D(G(z))變小,所以D盡可能的最大化目標(biāo)函數(shù).G希望D(G(z))變大,這時(shí)G盡可能的最小化目標(biāo)函數(shù).

2.2 CycleGAN 模型

CycleGAN 模型工作在無(wú)配對(duì)的數(shù)據(jù)集上,實(shí)現(xiàn)跨域圖像轉(zhuǎn)換.其網(wǎng)絡(luò)結(jié)構(gòu)由兩個(gè)生成網(wǎng)絡(luò)GXY、GYX和兩個(gè)判別網(wǎng)絡(luò)DX、DY組成.G與D相互對(duì)抗過(guò)程類似于一種雙向環(huán)結(jié)構(gòu).其整體結(jié)構(gòu)如圖1所示.

圖1中,左邊部分是GXY與DY,GYX與DX之間的對(duì)抗.中間部分是將X域中的圖像經(jīng)過(guò)兩次轉(zhuǎn)換回原域后反饋調(diào)節(jié)網(wǎng)絡(luò)參數(shù),右邊部分與之類似,作用于Y域中的圖像.

該模型的目標(biāo)函數(shù)由兩部分損失函數(shù)組成,對(duì)抗損失和循環(huán)一致?lián)p失.對(duì)抗損失表示生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)之間的對(duì)抗,生成網(wǎng)絡(luò)盡可能生成接近真實(shí)樣本分布的圖像,而判別網(wǎng)絡(luò)盡可能將他們分辨出來(lái).通過(guò)網(wǎng)絡(luò)之間的對(duì)抗,模型可以學(xué)習(xí)到很好的映射函數(shù)GXY和GYX,然而單靠對(duì)抗損失還不能夠保證學(xué)習(xí)函數(shù)能夠?qū)蝹€(gè)輸入xi映 射到期望的輸出yi,因此需要循環(huán)一致?lián)p失縮小映射函數(shù)空間.循環(huán)一致?lián)p失類似于對(duì)偶學(xué)習(xí),它通過(guò)前后兩次轉(zhuǎn)換將輸入x映射回原始域,例如x→GXY(x)→GYX(GXY(x))≈x,然后根據(jù)反饋回來(lái)的信息就能指導(dǎo)模型優(yōu)化改進(jìn).

2.3 跳躍連接和殘差塊

跳躍連接(skip connections)[12]常用在生成網(wǎng)絡(luò)結(jié)構(gòu)中,以保證圖像空間位置信息在網(wǎng)絡(luò)傳遞中的連續(xù)性.通常生成網(wǎng)絡(luò)包含下采樣部分和上采樣部分,在下采樣中,輸入是原始圖像,每經(jīng)過(guò)一次下采樣,圖像都會(huì)在空間上被壓縮,同時(shí)擴(kuò)張圖像的通道數(shù).相反,上采樣中,圖像在空間上拓展,相應(yīng)的通道數(shù)減少.這樣的網(wǎng)絡(luò)是線性的,圖像數(shù)據(jù)從輸入層流入,通過(guò)網(wǎng)絡(luò)一層接一層的向下流動(dòng),最后到達(dá)輸出層.

圖1 CycleGAN 對(duì)抗過(guò)程整體結(jié)構(gòu)圖

在下采樣部分的網(wǎng)絡(luò)中,經(jīng)過(guò)每一個(gè)連續(xù)的層,模型都會(huì)提取到圖像特征內(nèi)容,但卻丟失了圖像空間位置信息.在下采樣的最后一層,特征圖已經(jīng)有足夠強(qiáng)的能力學(xué)習(xí)到圖像的內(nèi)容,但幾乎不理解空間位置.對(duì)于預(yù)測(cè)分類問(wèn)題,這已經(jīng)足夠了,所以我們可以把它連接到一個(gè)稠密層上,來(lái)輸出一個(gè)特定類出現(xiàn)在圖像中的概率.然而,對(duì)于圖像生成或者圖像轉(zhuǎn)換問(wèn)題,需要在上采樣回到原始圖像大小過(guò)程中將下采樣丟失的空間位置信息傳遞回每一層.這就是需要跳躍連接,它允許網(wǎng)絡(luò)將在下采樣過(guò)程中捕獲的高級(jí)抽象信息與從網(wǎng)絡(luò)的先前層反饋來(lái)的特定空間信息進(jìn)行混合.

為了讓網(wǎng)絡(luò)提取到的特征更加豐富,避免在非采樣層中,過(guò)深的網(wǎng)絡(luò)進(jìn)行卷積和池化操作時(shí)導(dǎo)致的圖像信息丟失,我們也引入了殘差塊(residual block)[13].其結(jié)構(gòu)如圖2所示.

圖2 殘差塊結(jié)構(gòu)

殘差塊通過(guò)跳躍連接將淺層特征直接傳遞到深層特征,其工作方式是將輸入與殘差塊的網(wǎng)絡(luò)輸出疊加后作為最后的輸出.通過(guò)跳躍連接將圖像特征向神經(jīng)網(wǎng)絡(luò)的更深層傳遞,即使網(wǎng)絡(luò)結(jié)構(gòu)更深,也不會(huì)出現(xiàn)特征丟失的現(xiàn)象.同時(shí)還有效的解決了梯度消失和梯度爆炸問(wèn)題,提高了網(wǎng)絡(luò)的穩(wěn)定性.

3 改進(jìn)的網(wǎng)絡(luò)模型

本文從網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)兩個(gè)方面改進(jìn)網(wǎng)絡(luò)模型.

3.1 判別網(wǎng)絡(luò)結(jié)構(gòu)

本文設(shè)計(jì)了一個(gè)全卷積多層下采樣網(wǎng)絡(luò)結(jié)構(gòu),通過(guò)提取場(chǎng)景圖像特征,將真假圖像辨別出來(lái).所提的判別網(wǎng)絡(luò)包含兩類DX和DY,DX用來(lái)判別輸入的圖像是否來(lái)自X域中的真實(shí)圖像,DY將Y域中的真實(shí)圖像y與生成的圖像區(qū)分開(kāi)來(lái).它們共用同一網(wǎng)絡(luò)結(jié)構(gòu),但模型參數(shù)不共享.判別網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示.

圖3 判別網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)的輸入為3 通道大小為的圖片,隨后通過(guò)邊下采樣邊拓展通道的方式,提取圖像內(nèi)容特征.采用步幅為2,卷積核大小為3×3的卷積操作,每次卷積后圖像寬高都減小一半,除了輸入層和輸出層外,其他層還需要連接Instance Normalization 實(shí)例歸一化層以及緊跟著Leaky ReLU 激活層.最后通過(guò)一個(gè)卷積核為1的卷積操作輸出形狀為1×16×16的特征圖,對(duì)其求取平均值作為判別網(wǎng)絡(luò)的輸出,也就是輸入圖片判別為真實(shí)圖像的概率.

3.2 生成網(wǎng)絡(luò)結(jié)構(gòu)

僅用卷積層提取特征存在缺陷,沒(méi)有考慮輸入圖像與生成圖像在紋理特征和圖像結(jié)構(gòu)上的聯(lián)系,造成生成的圖像細(xì)節(jié)模糊.為了彌補(bǔ)該缺陷,本文改進(jìn)生成網(wǎng)絡(luò)結(jié)構(gòu),通過(guò)引入跳躍連接,將下采樣過(guò)程中丟失的圖像空間結(jié)構(gòu)信息傳遞回上采樣中,以及在加深的網(wǎng)絡(luò)層中加入殘差塊進(jìn)一步抑制圖像紋理特征信息在傳遞過(guò)程中的丟失現(xiàn)象.

所提的生成網(wǎng)絡(luò)同樣包含兩類GXY:X→Y和,GXY生成網(wǎng)絡(luò)將X域中圖像x作為輸入,盡可能去生成接近Y域數(shù)據(jù)樣本分布的圖像.GYX則是與之相反,將Y域中的圖像盡可GYX:Y→X能轉(zhuǎn)化為X域中圖像.它們的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示.

圖4 生成網(wǎng)絡(luò)結(jié)構(gòu)

該網(wǎng)絡(luò)輸入輸出圖像均為3 通道大小為256×256的圖片.模型左側(cè)為下采樣結(jié)構(gòu),采用步幅為2 卷積核為5×5的卷積層,同時(shí)緊跟其后的是實(shí)例歸一化層以及Leaky ReLU 層.在這里我們參考Ulyanov 等[14]的建議,使用實(shí)例歸一化層(instance normalization),在生成網(wǎng)絡(luò)中使用實(shí)例歸一化層比批量歸一化層[15]更能生成令人滿意的結(jié)果.總共進(jìn)行3 次下采樣,每次圖像寬高減半,通道數(shù)加倍,最終到達(dá)256×32×32 尺寸為止.隨后保持該尺寸經(jīng)過(guò)9 個(gè)殘差塊傳遞圖像特征,對(duì)應(yīng)著模型底部的結(jié)構(gòu).之后,進(jìn)行向上采樣回原圖像尺寸,這部分屬于模型右側(cè)的結(jié)構(gòu),其采用相同的步幅2、卷積核5×5的反卷積層,以及Instance Normalization 層和Leaky ReLU 層,每次上采樣圖像大小加倍,通道數(shù)減半,不同的是使用跳躍連接將下采樣過(guò)程中對(duì)應(yīng)大小尺寸的特征圖連接過(guò)來(lái).最后,將上采樣的結(jié)果通過(guò)通道數(shù)為3的反卷積層連接,輸出相同尺寸的圖像.

3.3 損失函數(shù)

損失函數(shù)即本文所提模型的目標(biāo)函數(shù),它是由對(duì)抗損失、SSIM 重建損失和身份保持損失3 個(gè)部分組成.

3.3.1 對(duì)抗損失

在原始的GAN 模型中,網(wǎng)絡(luò)的訓(xùn)練過(guò)程存在著不穩(wěn)定和生成圖像質(zhì)量不高等問(wèn)題,針對(duì)該問(wèn)題,我們將交叉熵?fù)p失替換為最小二乘損失[16].對(duì)應(yīng)的生成網(wǎng)絡(luò)GXY和判別網(wǎng)絡(luò)DY的對(duì)抗損失定義如下:

式中,y～pdata(y)表示變量y采樣于Y域空間服從的概率分布,x～pdata(x)表示變量x采樣于X域空間服從的概率分布,E[]表示計(jì)算數(shù)學(xué)期望值.對(duì)于生成網(wǎng)絡(luò)GXY,其目標(biāo)是盡可能最大化Lgan(GXY,DY),即生成更接近目標(biāo)域Y數(shù)據(jù)分布的圖像來(lái)混淆判別網(wǎng)絡(luò)DY的決策.而判別網(wǎng)絡(luò)DY則盡可能最小化目標(biāo),將真實(shí)樣本y和生成樣本區(qū)分開(kāi).

如式(3)所示,通過(guò)兩者對(duì)抗最終達(dá)到最優(yōu)解GXY?和DY?.

同樣的,對(duì)于生成網(wǎng)絡(luò)GYX和判別網(wǎng)絡(luò)DX的對(duì)抗損失定義如式(4),通過(guò)兩者之間的對(duì)抗過(guò)程尋找到最優(yōu)解GYX?,DX?,如式(5)所示.

3.3.2 SSIM 重建損失

通過(guò)優(yōu)化上述對(duì)抗損失函數(shù)可以學(xué)習(xí)到很好的映射函數(shù)GXY?和GYX?,產(chǎn)生接近目標(biāo)域空間分布的樣本.但如果有足夠大的樣本容量,生成網(wǎng)絡(luò)可以將同一組輸入圖像映射到目標(biāo)域中任意隨機(jī)排列的圖像,對(duì)于GXY?生成網(wǎng)絡(luò),它完全可以將所有的X域圖像都映射到目標(biāo)Y域的同一圖像上,從而導(dǎo)致對(duì)抗損失失效.因此,本文引入了重建損失來(lái)幫助網(wǎng)絡(luò)進(jìn)一步縮小無(wú)效的映射函數(shù)空間,確保映射函數(shù)能夠?qū)蝹€(gè)輸入映射到期望的輸出.

同時(shí),為進(jìn)一步保證生成圖像過(guò)程中結(jié)構(gòu)特性不丟失,引入Wang 等[17]提出的結(jié)構(gòu)相似性指數(shù)(Structural Similarity Index Measurement,SSIM)來(lái)衡量?jī)煞鶊D像的結(jié)構(gòu)差異.

對(duì)于給定的圖像x和y,其結(jié)構(gòu)相似性指數(shù)定義如下:

式中,ux是圖像x的均值,是圖像x的方差,σxy是圖像x和y的協(xié)方差.c1與c2為兩個(gè)常數(shù),避免除零,L為像素范圍,k1=0.01,k2=0.03為默認(rèn)值.SSIM 結(jié)構(gòu)相似性范圍為?1 到1,值越大表示圖像x和y越相似.

因此,我們引入SSIM 重建損失,如式(8)所示,模型盡可能的最小化該目標(biāo).

3.3.3 身份保持損失

為了讓生成網(wǎng)絡(luò)將其目標(biāo)域的圖像作為輸入后保持不變性,我們引入了身份保持損失.存在這樣一種情況,將Y域中的圖像y輸入到GXY中,滿意的結(jié)果應(yīng)該是圖像y原封不動(dòng)的從生成網(wǎng)絡(luò)中輸出.身份保持損失能夠幫助我們做到這一點(diǎn),該項(xiàng)損失幫助調(diào)節(jié)生成網(wǎng)絡(luò),以確保它只調(diào)整完成轉(zhuǎn)換所需的圖像部分,而不是更多的內(nèi)容.在保持圖像內(nèi)容前后一致性的同時(shí),也間接地維持了圖像的色彩飽和度.身份保持損失公式如式(9)所示.

模型通過(guò)最小化目標(biāo)函數(shù)Lid(GXY,GYX),保證轉(zhuǎn)換圖像前后內(nèi)容的一致性,同時(shí)也避免轉(zhuǎn)換后的圖像出現(xiàn)色彩失真現(xiàn)象,以保留更多的色彩細(xì)節(jié).

綜合以上三項(xiàng)損失函數(shù),得到最終的目標(biāo)函數(shù)為L(zhǎng)(GXY,GYX,DX,DY).如式(10)所示.

其中,λ1和λ2分別控制3 項(xiàng)損失之間的相對(duì)重要性.

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)環(huán)境和數(shù)據(jù)集

本文算法進(jìn)行實(shí)驗(yàn)的平臺(tái)環(huán)境及配置如表1所示.選用Tensorflow 作為深度學(xué)習(xí)框架,在GPU 上使用CUDNN 加速訓(xùn)練模型,使用的編程語(yǔ)言為Python.

表1 實(shí)驗(yàn)環(huán)境配置

數(shù)據(jù)集包括4 個(gè)類別的場(chǎng)景圖像,兩類季節(jié)場(chǎng)景summer、winter和兩類天氣場(chǎng)景cloudy、sunny.數(shù)據(jù)分別選自MWD (Multi-class Weather Dataset)數(shù)據(jù)集、Two-class Weather Classification 數(shù)據(jù)集,組成我們需要的兩類場(chǎng)景轉(zhuǎn)換數(shù)據(jù)集,數(shù)據(jù)集一為多云與晴天場(chǎng)景轉(zhuǎn)換數(shù)據(jù)集(cloudy2sunny),數(shù)據(jù)集二為夏季與冬季場(chǎng)景轉(zhuǎn)換數(shù)據(jù)集(summer2winter).每個(gè)數(shù)據(jù)集中每類場(chǎng)景各自包含訓(xùn)練數(shù)據(jù)5000 張圖片,測(cè)試數(shù)據(jù)1000 張圖片,圖片大小都為256×256.

4.2 訓(xùn)練過(guò)程及參數(shù)設(shè)置

基于TensorFlow 深度學(xué)習(xí)框架,使用GPU 加速,采用迭代交替的方式對(duì)本文算法模型進(jìn)行訓(xùn)練.優(yōu)化算法使用Adam,批量大小為1,λ1、λ2分別取10和5,所有的網(wǎng)絡(luò)從學(xué)習(xí)率為0.0002 開(kāi)始訓(xùn)練,前100 個(gè)epochs 保持0.0002的學(xué)習(xí)率不變,后100 個(gè)epochs 中學(xué)習(xí)率線性衰減為0,交替迭代訓(xùn)練生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò).模型參數(shù)如表2所示.

表2 網(wǎng)絡(luò)模型參數(shù)

4.3 對(duì)比實(shí)驗(yàn)驗(yàn)證

為驗(yàn)證所提模型的有效性,分別進(jìn)行兩類場(chǎng)景圖像轉(zhuǎn)換對(duì)比實(shí)驗(yàn).第一類場(chǎng)景為天氣場(chǎng)景圖像轉(zhuǎn)換(多云與晴天互轉(zhuǎn)),首先分別選取不同域的圖片,輸入到對(duì)應(yīng)的生成網(wǎng)絡(luò)中,得到轉(zhuǎn)換后的圖像結(jié)果.然后將實(shí)驗(yàn)結(jié)果與GAN、Pix2Pix、CycleGAN 模型得到的結(jié)果進(jìn)行定性和定量對(duì)比.第二類場(chǎng)景為季節(jié)場(chǎng)景圖像轉(zhuǎn)換(夏季與冬季互轉(zhuǎn)),驗(yàn)證過(guò)程與上述類似.

(1)定性對(duì)比實(shí)驗(yàn)

使用數(shù)據(jù)集一(cloudy2sunny)訓(xùn)練本文所提模型.分別選取多云圖片和晴天圖片各一張進(jìn)行對(duì)比實(shí)驗(yàn),得到如圖5所示結(jié)果.從實(shí)驗(yàn)結(jié)果中可以發(fā)現(xiàn),GAN模型轉(zhuǎn)換后的晴天和多云場(chǎng)景圖像模糊不清.Pix2Pix模型生成的目標(biāo)場(chǎng)景圖像部分存在結(jié)構(gòu)上的缺陷問(wèn)題.CycleGAN 模型轉(zhuǎn)換后的場(chǎng)景圖像容易造成圖像色彩失真,與真實(shí)的圖像存在差異.本文算法生成的目標(biāo)場(chǎng)景圖像(多云和晴天)更加的接近真實(shí)場(chǎng)景圖像.

圖5 天氣場(chǎng)景圖像轉(zhuǎn)換實(shí)驗(yàn)結(jié)果對(duì)比圖

使用數(shù)據(jù)集二(summer2winter)時(shí),同樣選取夏季和冬季圖片各一張,將實(shí)驗(yàn)結(jié)果圖與GAN、Pix2Pix、CycleGAN 模型得到的結(jié)果進(jìn)行對(duì)比,如圖6所示.通過(guò)對(duì)比可以看出,所提模型轉(zhuǎn)換后的結(jié)果更加接近目標(biāo)真實(shí)場(chǎng)景,同時(shí)保持了完整的圖像結(jié)構(gòu)和紋理細(xì)節(jié)信息.通過(guò)這兩類場(chǎng)景圖像轉(zhuǎn)換的對(duì)比實(shí)驗(yàn),驗(yàn)證了本文所提模型應(yīng)用到場(chǎng)景圖像轉(zhuǎn)換上的有效性和可行性.

圖6 季節(jié)場(chǎng)景圖像轉(zhuǎn)換實(shí)驗(yàn)結(jié)果對(duì)比圖

(2)定量對(duì)比實(shí)驗(yàn)

定量對(duì)比部分,我們采用廣泛使用的PSNR[18]和SSIM這兩種全參考的圖像質(zhì)量評(píng)價(jià)指標(biāo),來(lái)對(duì)生成的圖像進(jìn)行客觀的定量評(píng)判.在同一測(cè)試數(shù)據(jù)集上,使用這兩種評(píng)價(jià)指標(biāo),將本文算法和其他算法生成的圖像與真實(shí)圖像進(jìn)行定量對(duì)比.各算法的評(píng)價(jià)指標(biāo)結(jié)果如表3所示.

表3 測(cè)試數(shù)據(jù)集上各算法評(píng)價(jià)指標(biāo)結(jié)果

5 結(jié)束語(yǔ)

本文設(shè)計(jì)了基于改進(jìn)生成對(duì)抗網(wǎng)絡(luò)的圖像轉(zhuǎn)換算法,應(yīng)用在天氣和季節(jié)場(chǎng)景的圖像轉(zhuǎn)換上能夠獲得很好的效果.具體改進(jìn)方法涉及以下幾個(gè)方面:首先是改進(jìn)生成網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu),通過(guò)在網(wǎng)絡(luò)的下采樣部分和上采樣部分中間加入跳躍連接,保證下采樣部分的圖像空間位置信息傳遞的連續(xù)性,以及在非采樣部分使用殘差塊,保證層數(shù)加深的網(wǎng)絡(luò)不丟失圖像內(nèi)容信息.其次,選用SSIM 相似性指數(shù)作為衡量圖像結(jié)構(gòu)差異的指標(biāo),組成SSIM 結(jié)構(gòu)重建損失,目的是使得模型生成的圖像結(jié)構(gòu)更完整.此外,還通過(guò)添加身份保持損失,保證轉(zhuǎn)換前后圖像色彩不失真和內(nèi)容的一致性.在今后的研究工作中,我們將考慮進(jìn)一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù),在紋理、細(xì)節(jié)等方面,增強(qiáng)原圖和轉(zhuǎn)換圖之間的結(jié)構(gòu)相似性和語(yǔ)義一致性.