基于改進循環(huán)生成式對抗網(wǎng)絡(luò)的圖像去霧方法

黃山，賈俊

（四川大學(xué) 電氣工程學(xué)院，成都 610065）

0 概述

受霧霾天氣的影響，電子設(shè)備采集到的圖像往往存在顏色偏移、對比度低、場景模糊等問題［1］，這對圖像特征相關(guān)的目標(biāo)識別［2］、視頻監(jiān)控［3］、自動駕駛［4］等領(lǐng)域有著重要影響。因此，圖像去霧技術(shù)具有廣泛的研究意義和重要的社會意義［5］。

近年來，為提高帶霧圖像的質(zhì)量，眾多學(xué)者對圖像去霧技術(shù)進行了研究與分析，提出了許多去霧方法，這些去霧方法根據(jù)原理的不同主要分為三類：第一類是基于圖像增強的去霧方法，第二類是基于物理模型的去霧方法，第三類是基于深度學(xué)習(xí)的去霧方法［6］。基于圖像增強的去霧方法主要通過增強圖像中場景的對比度、亮度以及色彩飽和度，使得圖像更加清晰［7］，此類方法的典型算法有直方圖均衡化［8］、Retinex 算法［9］、同態(tài)濾波［10］和小波變換［11］等。文獻［12］通過HSV 顏色模型與自適應(yīng)直方圖均衡化算法提高圖像的整體對比度，重構(gòu)出無霧圖像。文獻［13］提出一種單幅圖像去霧方法，以色彩恒常理論為基礎(chǔ)，使用增強調(diào)整因子來增強圖像中的顏色信息。基于物理模型的去霧方法主要通過數(shù)學(xué)模型來模擬霧圖降質(zhì)的過程，再將圖像逐漸清晰化，此類方法包括暗通道先驗算法以及基于偏微分方程的算法［14］。文獻［15］提出的暗通道先驗理論通過假設(shè)先驗估計出模型的未知量，再逆向地復(fù)原出無霧圖像，由于該算法無須利用輔助設(shè)備或者額外信息對模型進行約束，因此后續(xù)出現(xiàn)了大量文獻［16-18］這類以暗通道先驗作為基礎(chǔ)的改進算法。文獻［19］通過變分得到圖像的偏微分方程，結(jié)合大氣散射模型與梯度算子得到圖像之間的關(guān)系，對圖像進行局部修正，還原場景的分辨率與真實色彩。隨著深度學(xué)習(xí)在計算機視覺研究中取得了較為明顯的進展，不少學(xué)者開展了基于深度學(xué)習(xí)的去霧研究。文獻［20］將門控上下文聚合網(wǎng)絡(luò)用于圖像去霧中，在不需要套用先驗知識的情況下建立了GCANet 網(wǎng)絡(luò)獲取無霧圖像。文獻［21］對大氣退化模型進行了全新的估計，利用卷積神經(jīng)網(wǎng)絡(luò)深層結(jié)構(gòu)建立了DehazeNet模型用于圖像去霧，取得了較好的效果。文獻［22］設(shè)計了一種多合一除霧網(wǎng)絡(luò)AOD-Net，通過卷積神經(jīng)網(wǎng)絡(luò)從單個帶霧圖像直接獲取到無霧圖像。文獻［23］在神經(jīng)網(wǎng)絡(luò)中融入了注意力機制來提取圖像中的特征信息，從而獲取到擁有更多有用信息的目標(biāo)圖像。

目前的去霧算法雖然取得了一定的去霧效果，但是依然存在一些不足：基于圖像增強的去霧算法能夠?qū)D像中的環(huán)境起到突出的作用，但是去霧時容易丟失圖像的細節(jié)信息；基于物理模型的去霧算法考慮了霧化降低圖像質(zhì)量的根本因素，但是這類方法在去霧過程中加入的先驗信息難以獲取，算法復(fù)雜度較高；基于深度學(xué)習(xí)的去霧算法利用神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，能夠?qū)崿F(xiàn)端到端去霧，但是深度學(xué)習(xí)模型大多需要成對數(shù)據(jù)集進行訓(xùn)練［24］，并且算法恢復(fù)出的無霧圖像存在不同程度的顏色失真與信息丟失。

針對上述問題，本文提出一種基于生成式對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）的去霧方法。首先采用循環(huán)一致性生成式對抗網(wǎng)絡(luò)作為模型基礎(chǔ)，在不需要成對數(shù)據(jù)集的情況下產(chǎn)生無霧圖像；然后使用多尺度鑒別器對判別網(wǎng)絡(luò)進行搭建，提高網(wǎng)絡(luò)的判別能力和圖像生成能力；最后通過最小二乘和循環(huán)感知損失，加強對網(wǎng)絡(luò)模型的約束，提高圖像質(zhì)量。

1 基礎(chǔ)知識

1.1 生成式對抗網(wǎng)絡(luò)

文獻［25］提出的生成式對抗網(wǎng)絡(luò)是一種深度生成的神經(jīng)網(wǎng)絡(luò)模型，如圖1 所示，其由生成器和判別器兩個功能模塊組成。生成器接收隨機噪聲z，從真實樣本中獲取數(shù)據(jù)分布映射到新的數(shù)據(jù)空間，嘗試生成能夠欺騙判別器的虛假樣本G（x）［26］。判別器的輸入包括兩個部分，分別是生成器生成的數(shù)據(jù)G（x）和真實數(shù)據(jù)x，判別器需要盡可能去判別輸入的樣本是生成器生成的樣本還是真實樣本，若判別輸入為真實樣本，則輸出1，反之則為0。生成器和判別器兩者不斷進行對抗和優(yōu)化，直到生成器生成的樣本能夠以假亂真，判別器判別錯誤的概率達到最小。

圖1 生成式對抗網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of generative adversarial network

GAN 的訓(xùn)練過程可以視為生成器和判別器互相博弈的過程，訓(xùn)練時會先固定生成器G，更新判別器D的參數(shù)，然后再固定判別器D，更新生成器G的參數(shù)，兩個模型交替迭代，最終達到最優(yōu)解。生成器和判別器之間存在的對抗關(guān)系表示如下：

在訓(xùn)練判別器時，為了最大程度降低判別模型D判別錯誤的概率，需要極大化判別模型：當(dāng)判別器的輸入為真實樣本x時，希望D（x）能夠趨近于1；當(dāng)輸入為虛假樣本G（z）時，希望D（G（z））趨近于0，即1-D（G（z））趨近于1。而對于生成模型G則需要極小化，生成器的輸入只有隨機噪聲z，此時希望D（G（z））能夠趨近于1，即1-D（G（z））趨近于0，生成樣本G（z）被判別器判別為真的概率值為1。只有當(dāng)Pz=Pdata時，生成器學(xué)會真實樣本Pdata的分布，判別器的準(zhǔn)確率穩(wěn)定為1/2，此時該模型得到全局最優(yōu)解。

1.2 循環(huán)生成式對抗網(wǎng)絡(luò)

文獻［27］提出的循環(huán)生成式對抗網(wǎng)絡(luò)（Cycleconsistent Adversarial Network，CycleGAN）是一種在GAN 基礎(chǔ)上提出的無監(jiān)督生成式對抗網(wǎng)絡(luò)，通過對傳統(tǒng)GAN 的鏡像對稱得到具有兩個生成器和兩個判別器的網(wǎng)絡(luò)結(jié)構(gòu)。得益于這種循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)，CycleGAN 模型可以在不需要成對圖像數(shù)據(jù)集的情況下，讓兩個域的圖片相互轉(zhuǎn)換，原理如圖2 所示。其中：X和Y分別為原域X和目標(biāo)域Y；G和F分別為進行X→Y映射的生成器與進行Y→X映射的生成器；DX和DY為對應(yīng)的判別器。G將X域的圖像轉(zhuǎn)換為Y域的圖像G（x），再由判別器DY判斷圖像為真或者假。同理，F(xiàn)將X域的圖像轉(zhuǎn)換為Y域的圖像F（y），再由判別器DX判斷圖像為真或者假。

圖2 CycleGAN 網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of CycleGAN

生成器G生成圖像G（x），然后由判別器DY來判斷G（x）是否為真實圖像，這一過程就是一個標(biāo)準(zhǔn)的單向GAN 模型訓(xùn)練過程，故CycleGAN 的對抗損失函數(shù)與GAN 一致，G和DY的對抗損失函數(shù)表示如下：

同理，F(xiàn)和DX的對抗損失函數(shù)表示如下：

生成器G將圖像x轉(zhuǎn)換為G（x），再由F轉(zhuǎn)換為F（G（x））后，為了盡可能地保證圖像在經(jīng)過兩次網(wǎng)絡(luò)之后還能保持一致，即試圖使F（G（x））≈x以及G（F（y））≈y，需要計算原始圖像與F（G（x））之間的損失。循環(huán)一致?lián)p失由原始圖像與映射圖像的L1范數(shù)計算得到，其函數(shù)表達式如下：

CycleGAN 的損失函數(shù)由以上三個部分組成，其總目標(biāo)函數(shù)表示如下：

其中：LGAN為對抗損失；Lcyc為循環(huán)一致性損失；λ為循環(huán)一致性損失的權(quán)重系數(shù)。

2 本文方法

根據(jù)現(xiàn)有圖像去霧方法和生成式對抗網(wǎng)絡(luò)原理，結(jié)合CycleGAN 無需成對數(shù)據(jù)的特點，本文以CycleGAN 作為基礎(chǔ)網(wǎng)絡(luò)對模型進行改進，引入多尺度鑒別器并設(shè)計新的損失函數(shù)，解決現(xiàn)有圖像去霧方法信息失真和去霧效果不自然等問題。

2.1 多尺度鑒別器

在生成式對抗網(wǎng)絡(luò)中，判別器作為模型的重要網(wǎng)絡(luò)結(jié)構(gòu)，主要目標(biāo)是判別出真實和虛假樣本并提供反饋機制，優(yōu)化生成器的性能［28］。在一般情況下，判別器將輸入的圖像進行分層卷積，不斷地對圖像進行壓縮，然后獲得與圖像特征相對應(yīng)的特征矢量，最后以一個概率值作為輸出來判斷圖像的來源。這種傳統(tǒng)單一的判別方法存在缺陷，即只能懲罰一定塊規(guī)模的圖像，然后對整張圖像進行卷積，并且與生成網(wǎng)絡(luò)配合，最后輸出平均化的結(jié)果，無法反映出圖像的整體結(jié)構(gòu)。為更好地學(xué)習(xí)圖像的局部與全局特征，本文利用多尺度鑒別器對真實圖像與生成圖像進行下采樣，分別在多個尺度上對圖像進行區(qū)分。多尺度鑒別器工作原理如圖3 所示。

圖3 多尺度鑒別器工作原理Fig.3 Working principle of multi-scale discriminator

本文所使用的多尺度鑒別器的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示（彩色效果見《計算機工程》官網(wǎng)HTML 版），其由兩個結(jié)構(gòu)完全相同的判別器組成，判別器D1和判別器D2都包括了7 個卷積層，每個卷積層的卷積核尺寸均為3×3，全連接層為1 024，左上方的圖像是由生成器產(chǎn)生的圖像，無須對該圖像進行任何處理，將其直接輸入到第一個判別器D1中，隨后再執(zhí)行2 倍下采樣操作，將縮小后的圖像作為判別器D2的輸入。在網(wǎng)絡(luò)模型中引入多尺度鑒別器后，網(wǎng)絡(luò)會將原來尺寸的圖像和縮小兩倍尺寸的圖像分別輸入到兩個判別器中，這兩個判別器具有不同大小的感受野，當(dāng)輸入的圖像尺寸較小時，判別器擁有較大的感受野，會更加關(guān)注圖像的結(jié)構(gòu)，而當(dāng)輸入的圖像尺寸較大時則會更加關(guān)注圖像的細節(jié)信息。通過這種方式可以提高判別器對樣本圖像細節(jié)與整體的鑒別能力，監(jiān)督引導(dǎo)生成器生成更加真實的圖像。

圖4 多尺度鑒別器網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Network structure of multi-scale discriminator

2.2 改進的復(fù)合損失函數(shù)

2.2.1 對抗損失

原始CycleGAN 采用Sigmoid 交叉熵損失函數(shù)作為對抗損失，這就導(dǎo)致了無論生成器生成的圖像質(zhì)量如何，判別器對生成器產(chǎn)生的圖像都只進行一次判別，無法保證除霧后圖像的質(zhì)量。因此，本文將原本的Sigmoid 交叉熵損失改進為最小二乘損失。以最小二乘作為對抗損失函數(shù)時，判別器在對圖像進行判別之后，會將圖像再次放回到?jīng)Q策邊界［29］，從而提高無霧圖像的質(zhì)量。生成器G與判別器DY的損失函數(shù)如下：

生成器F與判別器DX的損失函數(shù)如下：

2.2.2 循環(huán)感知損失

雖然CycleGAN 在執(zhí)行圖像轉(zhuǎn)換任務(wù)的過程中，通過使用循環(huán)一致性損失對輸入圖像與循環(huán)重建的圖像進行約束，除去了圖像的一部分噪聲，但是仍然存在部分殘留，無法完全還原圖像的細節(jié)信息，而VGG 網(wǎng)絡(luò)有著較深的網(wǎng)絡(luò)結(jié)構(gòu)，相比一般鑒別器可以提取更加豐富的細節(jié)與高級特征，其視覺表現(xiàn)更好。因此，本文引入循環(huán)感知損失來確保圖像之間的結(jié)構(gòu)相似性，進一步提升生成圖像的質(zhì)量。循環(huán)感知損失函數(shù)表達式如下：

其中：x和y分別為帶霧圖像和無霧圖像；φ（）為特征提取器函數(shù)；||||2為L2范數(shù)。

經(jīng)過上述改進之后，最終的復(fù)合損失函數(shù)如下：

其中：LGAN為改進后的對抗損失；Lcyc為循環(huán)一致性損失；Lperceptual為循環(huán)感知損失；λ1為循環(huán)一致性損失的權(quán)重系數(shù)；λ2為循環(huán)感知損失的權(quán)重系數(shù)。

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)集

本文選用D-HAZY 數(shù)據(jù)集［30］與SOTS 數(shù)據(jù)集［31］作為實驗合成數(shù)據(jù)集，兩者都是常用于圖像去霧領(lǐng)域的公開數(shù)據(jù)集，其中D-HAZY 數(shù)據(jù)集作為訓(xùn)練集，SOTS 數(shù)據(jù)集作為測試集。為使實驗數(shù)據(jù)符合本文網(wǎng)絡(luò)訓(xùn)練圖像的要求，首先將所有圖像調(diào)整為256×256像素，然后將訓(xùn)練集數(shù)據(jù)分為A組與B 組，A 組中存放有霧圖像，B 組中存放無霧圖像。

3.2 實驗設(shè)置

實驗環(huán)境配置：CPU 為Intel?Celeron?N2940 @1.83 GHz，內(nèi)存為16 GB，GPU 為Nvidia GeForce RTX 2080 Ti。本文深度學(xué)習(xí)的框架為Pytorch 1.10.0，解釋器為Python 3.8，Cuda 版本為11.3。

實驗流程參數(shù)設(shè)置如下：學(xué)習(xí)速率初始化為2×10-3；采用小批量的方式訓(xùn)練模型batch-size 為1；迭代次數(shù)為200 次；num_workers 為4；不對原始網(wǎng)絡(luò)權(quán)重系數(shù)λ1進行修改，故λ1為10；權(quán)重系數(shù)λ2根據(jù)經(jīng)驗設(shè)置為0.5，并且在每個epoch 開始時對數(shù)據(jù)進行重新打亂。

3.3 實驗結(jié)果

為驗證本文方法的有效性，使用基于圖像增強的Fan 算法、經(jīng)典的DCP 算法，以及基于深度學(xué)習(xí)的GCANet、DehazeNet 與AOD-Net 作為對比算法，在SOTS 數(shù)據(jù)集上進行去霧效果比較，從主觀評價和客觀評價兩個角度對實驗結(jié)果進行分析。

3.3.1 主觀評價

不同算法的去霧結(jié)果對比如圖5 所示（彩色效果見《計算機工程》官網(wǎng)HTML 版），從中可以看出：經(jīng)Fan算法去霧后的圖像顏色發(fā)生嚴(yán)重偏移，紋理以及邊緣信息存在大量丟失，整體去霧效果最差；基于物理模型去霧的DCP 算法效果優(yōu)于Fan 算法，但是由于該算法過于依賴顏色信息，容易出現(xiàn)圖像整體清晰度低而局部色彩飽和度偏高的情況；GCANet算法去霧能力不足，去霧后的圖像出現(xiàn)了顏色異常；與DehazeNet算法相比，顯然AOD-Net 算法去霧后的圖像視覺效果更好，但是也存在部分霧氣殘留以及細節(jié)丟失等不足；與前面4 種方法相比，本文算法得到的去霧圖像具有更明亮的顏色和更清晰的邊緣與細節(jié)信息，與原始無霧圖像最為接近。

圖5 不同算法的去霧結(jié)果Fig.5 Defogging results of different algorithms

3.3.2 客觀評價

通常來說，人眼的視覺特性會導(dǎo)致人眼對不同圖像同一區(qū)域的感知結(jié)果易受鄰近圖像的影響，不同個體評價圖像時也會受到個體主觀意識的影響，因此，評價圖像質(zhì)量不能僅靠主觀評估，對圖像質(zhì)量進行量化尤為重要。本文采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）［32］和結(jié)構(gòu)相似性指數(shù)（Structure Similarity Index，SSIM）［33］作為結(jié)果圖像的評估指標(biāo)。

PSNR 用于對圖像像素點間的誤差進行衡量，計算公式如式（10）所示，其中MMSE為圖像之間的均方誤差，MMAX1為圖像最大像素值。PSNR 值越大，圖像受噪聲影響越小，圖像質(zhì)量越好。

SSIM 用于對圖像之間的相似度進行度量，計算公式如式（11）所示，其中L為圖像的亮度比較，C為圖像的對比度比較，S為圖像的結(jié)構(gòu)比較。SSIM 值越大，代表圖像保留了越多細節(jié)信息。

不同算法去霧后的PSNR 與SSIM 平均值如表1所示。從中可以看出：Fan 算法與GCANet 的PSNR和SSIM 值都較低；DCP 算法的PSNR 與SSIM值略高于DehazeNet 算法，具有更好的圖像重建能力；AOD-Net 算法的PSNR 值雖然高于其他算法，但是SSIM 值反而降低了；相比之下，經(jīng)過本文算法去霧后的圖像SSIM 和PSNR 值都高于對比算法，其中PSNR 值與對比算法中的最佳值相比提高了7.1%，SSIM 值提高了4.3%。由此可見，本文算法能夠更好地保留圖像的場景結(jié)構(gòu)和細節(jié)信息，結(jié)果圖像與原始無霧圖像的像素級差異更小，能夠獲得更好的去霧效果。

表1 不同算法的客觀指標(biāo)Table 1 Objective index of different algorithms

3.4 消融實驗

為進一步證明本文算法引入的多尺度鑒別器和復(fù)合損失函數(shù)的有效性，本文對算法進行剝離，增加了有無改進部分的對比實驗。實驗的對比模型主要包括原始循環(huán)生成式對抗網(wǎng)絡(luò)模型Model-1、僅增加多尺度鑒別器的網(wǎng)絡(luò)模型Model-2 以及僅采用改進復(fù)合損失函數(shù)的網(wǎng)絡(luò)模型Model-3，并分別對拆解的模型進行測試。

圖6 為消融實驗結(jié)果（彩色效果見《計算機工程》官網(wǎng)HTML 版）。從中可以看出：不進行任何修改的原始CycleGAN 網(wǎng)絡(luò)能夠在一定程度上去除霧霾，但是將去霧后的圖像與原始無霧圖像相比較后不難發(fā)現(xiàn)：原始CycleGAN 網(wǎng)絡(luò)處理后的圖像顏色發(fā)生了扭曲，細節(jié)恢復(fù)能力不足，亮度過渡區(qū)域也較為生硬，去霧效果不自然；引入多尺度鑒別器的網(wǎng)絡(luò)模型與采用改進復(fù)合損失函數(shù)的模型生成的圖像均比原始網(wǎng)絡(luò)更好，生成的圖像更加接近原始無霧圖像，視覺上更加自然。

圖6 消融實驗結(jié)果Fig.6 Results of ablation experiment

上述各個模型去霧后的圖像質(zhì)量指標(biāo)如表2所示，可以直觀地從表中看出，經(jīng)改進部分的模型去霧后圖像的PSNR 值和SSIM 值均比未改進的原始模型高，其中，Model-2 的PSNR值比Model-1 提高 了18.8%，Model-3 的SSIM值比Model-1 提高了9.1%。

表2 消融實驗結(jié)果的客觀指標(biāo)Table 2 Objective index of ablation experimental results

多尺度鑒別器能夠通過不同大小的感受野獲取到更多的圖像特征信息，加上判別器和生成器相互配合，在提高判別網(wǎng)絡(luò)能力的同時也會優(yōu)化生成網(wǎng)絡(luò)，從圖6 和表2 可以看出，與原始網(wǎng)絡(luò)相比，引入多尺度鑒別器的網(wǎng)絡(luò)模型生成的圖像無論是視覺感觀還是客觀指標(biāo)均優(yōu)于原始網(wǎng)絡(luò)，能夠更好地保留圖像的細節(jié)信息，改善亮度轉(zhuǎn)換區(qū)域過渡不自然的問題，生成的圖像更加貼近原始無霧圖像。改進的復(fù)合損失函數(shù)能夠利用多個隱藏層作為特征提取器來提取特征，并且按照樣本和決策邊界的距離對樣本圖像做出懲罰，從而提高圖像的質(zhì)量，從實驗結(jié)果中可以看出，采用改進復(fù)合損失函數(shù)的網(wǎng)絡(luò)恢復(fù)后的圖像信息丟失更少，能夠較好地改善圖像細節(jié)信息缺失和顏色失真的問題，去霧效果比原始網(wǎng)絡(luò)更好。由此可見，本文對于CycleGAN 的改進能夠促進網(wǎng)絡(luò)優(yōu)化，對圖像去霧起到有利的作用。

4 結(jié)束語

本文設(shè)計一種基于改進CycleGAN 的圖像去霧方法。以CycleGAN 作為基礎(chǔ)網(wǎng)絡(luò)模型，采用多尺度鑒別器代替單個鑒別器提高生成圖像的質(zhì)量，使得生成的圖像更接近真實無霧圖像，同時引入最小二乘和循環(huán)感知損失對映射空間進行約束，改善去霧圖像顏色扭曲和細節(jié)丟失等問題。實驗結(jié)果表明，相比傳統(tǒng)去霧方法，本文方法在圖像去霧方面效果更優(yōu)，并且具有更好的視覺效果。后續(xù)將對模型做進一步優(yōu)化，提高其在低照度情況下的去霧性能。