結合FC-DenseNet和WGAN的圖像去霧算法*

孫 斌，雎青青，桑慶兵

江南大學 物聯網工程學院，江蘇 無錫 214122

1 引言

霧霾天氣下，空氣中存在大量諸如水蒸氣、粉塵等懸浮顆粒。它們吸收并散射光線，致使設備采集的圖片出現嚴重顏色衰減，清晰度、對比度下降，視覺效果差，這對后續計算機視覺任務造成嚴重影響。因此，對霧霾圖像進行有效去霧是很有必要的。

近年來，圖像去霧算法研究取得了重大進展。現階段，圖像去霧研究主要分成兩種，基于特征和先驗的方法以及基于學習的方法。基于特征和先驗的去霧算法側重對透射圖的估計，其難點在于特征和先驗的選擇。常用的特征和先驗有如下幾種：（1）對比度。Tan[1]通過統計發現無霧圖像對比度高，從而通過最大化圖像的局部對比度進行圖像去霧。（2）暗通道先驗（dark channel prior，DCP）。He 等[2]發現在無霧圖像中暗通道的值接近零，進而用此來估計透射圖，并且根據大氣散射模型計算出無霧圖像。（3）顏色衰減先驗（color attenuation prior，CAP）。Zhu 等[3]通過統計發現霧的濃度與亮度和飽和度的差成正比，并創建了場景深度的線性模型求解場景深度，進而計算出無霧圖像。

基于學習的去霧算法可以分為兩種，分步學習算法和端到端學習算法。分步學習算法與傳統方法類似，側重對中間變量的預測。例如，Cai等[4]通過分析人工先驗特征，設計了DehazeNet，以完成對透射圖的預測。與之相似，Ren等[5]提出了一種多尺度卷積神經網絡（single image dehazing via multi-scale convolu-tional neural networks，MSCNN），通過兩個不同尺度的網絡模型，完成對透射圖的精準預測；端到端學習算法，通過設計全卷積神經網絡簡單高效地實現圖像去霧。例如，考慮到上述算法忽略對大氣光值的合理預測，Li 等[6]利用線性變化將大氣散射模型[7]中的多個中間變量整合成為一個，并提出AOD_Net（all-in-one dehazing network）直接預測無霧圖像。

基于模型的去霧算法緊扣大氣散射模型，嚴重依賴對中間變量的準確預測。事實上，每種算法在中間量的預測上均存在誤差，在計算無霧圖像時會放大誤差[8]，致使圖片失真。相比之下，目前端到端去霧算法雖然可以避免這些誤差，但依舊存在特征學習不充分，圖片細節恢復不夠逼真[9]的問題。

為此，本文提出了一種基于Wasserstein 生成對抗網絡（Wasserstein generative adversarial networks，WGAN）[10]的端到端去霧模型。為充分提取和融合霧的特征，本文使用FC-DenseNet[11]在網絡規模較小的情況下充分學習圖像中霧的特征；考慮到圖像去霧和去噪之間的相似性，本文將大氣散射模型公式重新變形，通過深度殘差學習得到清晰圖像特征，并實現端到端的去霧；同時，為保護圖片的結構細節信息，在以均方誤差(mean square error，MSE)為損失函數的基礎上，本文引入了感知結構損失構成了復合損失函數。為生成更加清晰自然的無霧圖片，本文使用WGAN 對生成圖片進行細致優化，從而生成更加清晰真實的無霧圖像。

2 相關工作

2.1 大氣散射模型

在計算機視覺領域，為了克服霧霾引起的圖像失真問題，McCartney[7]提出了可以用來描述有霧圖像形成過程的大氣散射模型，其公式如下：

其中，I(x)為有霧圖像，J(x)為無霧圖像。A(x)為大氣光值，代表大氣光強度。t(x)為透射率，表示光線通過大氣媒介傳播到達成像設備過程中沒有被散射的部分，x代表像素位置。式中右邊第一項為直接衰減項，代表經過大氣衰減后的物體的反射光，而第二項則表示為經過大氣散射得到的增強的大氣光。

當大氣成分均勻，即A(x)恒定時，透射率可以表示為：

其中，β表示大氣的衰減系數，d(x)是指場景深度。從公式中不難發現，場景深度和大氣光值對圖像去霧效果有很大的影響。在單幅圖像去霧中，僅有霧圖像已知，大氣光值和場景深度均未知，而且關于大氣成分均勻的假定并不一定成立。因此，如何對霧霾圖像有效去霧是極具挑戰性的問題。

2.2 生成對抗網絡及其改進

生成式對抗網絡（generative adversarial networks，GAN）是Goodfellow 等[12]設計出的一種深度學習模型。GAN由生成器G和判別器D構成。受二人零和博弈啟發，生成器G盡可能生成逼真樣本欺騙判別器D，而判別網絡D盡量區分生成樣本和真實樣本。原始GAN以其具有生成良好感知質量的樣本的能力而聞名，然而依舊存在模型崩潰、梯度彌散等缺陷。為了解決GAN 訓練不穩定，模型容易崩潰的問題，Arjovsky等[10]從理論上分析了JS（Jensen-Shannon）散度不適合衡量分布之間不相交部分的距離，轉而使用Wasserstein（Earth-Mover）距離W(q,p)去衡量生成數據和真實數據分布之間的距離，進而提出了WGAN。WGAN的損失函數如下：

這里，D 為滿足Lipschitz連續的非線性函數集，Pg為生成數據分布，Pr為真實數據分布，在使用Wassers-tein 距離優化方式訓練WGAN 時，判別網絡D需要滿足Lipschitz 連續性，即判別值近似于K×W(Pr,Pg)，其中K作為Lipschitz 常數，代表判別網絡梯度值的上界，而W(Pr,Pg)為Wasserstein距離，在網絡訓練時，通過將判別網絡權值限制為[-c,c]的方式，確保權值參數的有界性，進而間接限制其梯度信息。

3 基于WGAN的圖像去霧算法

本文借鑒生成對抗網絡在低級視覺任務中的成功應用[13-15]，提出了一種基于WGAN 的圖像去霧模型。該模型采用殘差學習思想將退化圖像中霧的特征剔除得到清晰圖像的特征，從而實現端到端去霧操作，并使用WGAN對生成圖像優化，使生成圖像更加清晰逼真。

3.1 生成網絡框架

本文將大氣散射模型式（1）重新編寫：

其中，e(x)是指有霧圖像中有霧部分信息。這與圖像去噪模型類似，DeblurGan[15]利用深度殘差思想將原始圖像中高斯噪聲的特征剔除，得到清晰圖像的特征，并實現端到端的去噪。與之相似，本文利用深度殘差學習，得到無霧圖片的特征，實現端到端的去霧。本文生成網絡模型主要由三部分組成，分別是多尺度特征提取、特征學習以及清晰圖像重建，其網絡結構圖如圖1所示。其中，f表示卷積核的尺寸，c為通道數，代表卷積核的個數，s為卷積步長，若不寫則默認為1。

Fig.1 Structure of generator network圖1 生成網絡結構圖

（1）多尺度特征提取。文獻[4-5]證明多尺度特征可以保留原始圖片更多細節信息，提高網絡在不同尺度下的魯棒性，有利于圖像去霧。本文首先采用64個卷積核對有霧圖片進行卷積操作得到初始特征圖，然后與Inception_v1[16]類似，分別使用1×1、3×3、5×5 和7×7 四種不同尺度的卷積核對原始特征圖進行特征提取，同時為控制模型規模、簡化模型，這里每種卷積核個數置為16，并將各尺度特征圖疊加，作為有霧圖像的多尺度特征。

（2）特征學習。本文使用全卷積密集塊網絡（fully convolutional DenseNet，FC-DenseNet）模型從原始圖像特征圖中學習霧的特征信息。類似于U-Net[17]，FC-DenseNet 主要分為編碼部分、解碼部分和跳躍連接三部分。在編碼部分，使用5 組稠密塊（dense block，DB）及相應的池化模塊（transition down，TD）提取特征；在解碼部分，使用5 組Dense Block 及相應的上采樣模塊（transition up，TU）融合特征。在編碼與解碼過程中，由于使用了下采樣操作，對獲取到的特征信息造成了一定程度的損失，因此在上采樣過程中，將上采樣得到的特征圖與編碼部分下采樣之前的特征圖級聯，避免特征信息丟失，并作為下一層DB的輸入；在編碼過程中，每一個DB的輸入特征和輸出特征又進行了級聯，但是在解碼過程中，DB的輸入和輸出沒有級聯，其原因在于編碼和解碼過程中相同維度的淺層特征與深層特征已經存在跳躍連接，如果將其輸入與輸出級聯，便會出現特征冗余的情況；同時特征數量的線性增長導致內存需求過大，計算速度降低的情況。

DB 塊結構組成與DenseNet[18]類似，在一個DB中，每一層的輸入是前面所有層的輸出的總和，每一層的輸出又構成了其后每一層的輸入，通過將特征圖重復疊加，實現特征的重用。本文采用的DB塊結構，如圖2 所示。其中，C 表示通道級聯操作。一個DB 包含4 層layer 層，每個layer 層包含批標準化（batch normalization，BN）層、修正線性單元（rectified linear unit，Relu）層、卷積（convolution，Conv）層，通道數為16；一個TD 塊包含了BN 層、Relu 層、Conv 層，通道數為64以及最大池化層；一個TU塊包含上采樣層操作。

Fig.2 Structure of DB圖2 DB網絡結構

（3）清晰圖像重建。上述兩部分分別求得原始圖像特征和霧的相關特征。本文借助殘差學習[19]的思想，將原始圖像特征與霧的特征相減，得到清晰圖像的特征，并通過兩層卷積完成清晰圖像的重建。其具體操作如圖1 所示，主要包括一個Elementwise subtraction 層；一個特征融合層包含通道數為64 的Conv層、BN層和Relu層；一個通道數為3的Conv層作為輸出層，其激活函數為雙曲正切（hyperbolic tangent，tanh）函數。

3.2 判別網絡框架

判別網絡的作用是盡可能把真實圖像和生成網絡生成的圖像區分開來。和大多數GAN網絡結構一樣，判別網絡的結構設計一般不用太復雜，本文的判別網絡如圖3所示。不同于原始GAN的判別器作為一個真假二分類器，在WGAN 中判別器D(x)的目的是近似擬合真實樣本與生成樣本之間的Wasserstein距離，屬于回歸任務，因此網絡輸出端并沒有使用Sigmoid激活函數而是直接輸出結果。

Fig.3 Architecture of discriminator network圖3 判別網絡結構

3.3 損失函數

本文的損失函數由兩部分組成，WGAN 的對抗損失和生成網絡的內容損失。其公式如下：

其中，因為網絡更加注重生成圖片的質量，為凸顯圖像內容損失，本文置λ1=1，λ2=100。LWGAN為對抗損失，大多數條件生成對抗網絡（conditional generative adversarial networks，CGAN）[20]的論文都使用vanilla GAN objective 作為損失函數，這種損失函數在網絡訓練時會帶來梯度消失等不穩定情況，本文使用WGAN 作為判別函數，主要原因在于不同于原始GAN，其不需要糾結如何平衡判別網絡和生成網絡的訓練程度，大大提高了訓練的穩定性，同時也避免了相應的生成樣本分布不均[21]的問題。式（3）為WGAN的損失函數，在優化生成網絡時，其判別網絡固定，因此僅需優化式（3）中后面部分。其生成網絡的對抗損失函數如下所示：

這里，Pg為生成清晰圖像數據分布，D(x)為判別網絡輸出。

Lcontent為生成網絡的內容損失，其直接影響到生成圖片的質量。為確保生成圖像結構和內容上的相似性，本文采用復合損失函數對生成圖片進行優化。其由兩部分組成，其公式如下：

其中，LMSE即MSE 損失，LVGG為感知損失。MSE 損失是一種低級特征約束，其側重于像素級別誤差調整，表現在生成圖像上，則是更注重圖像顏色內容信息。這里將生成偽清晰圖像和真實標簽圖像做均方誤差，其公式如下：

其中，C為圖像高級語義特征的通道數，W×H為圖像特征維度大小。F為VGG16網絡模型特征提取，本文采用第4 層池化層之前的卷積層作為高級語義特征圖，對特征圖進行MSE 損失計算從而得到感知損失，網絡越深，特征越抽象。

本文提出的改進卷積神經網絡的圖像去霧模型，其優勢如下：（1）通過簡化大氣散射模型，采用殘差學習思想將退化圖像中霧的特征剔除得到清晰圖像的特征，從而避免在預測中間變量上的損失，相較于其他算法去霧效果更優；（2）通過構建FC-DenseNet進行特征提取，相較于其他方法，該模型能夠在網絡規模較小的情況下，充分提取和融合圖像特征；（3）復合內容損失函數兼顧生成圖像內容和結構上的信息，并使用WGAN對生成結果細致優化，生成清晰逼真的無霧圖像；（4）該網絡的輸入是整幅圖像，與其他算法切塊操作[23]相比，一定程度上可以有效防止算法的過擬合，提高算法的泛化能力。

4 實驗結果

為評估本文模型性能，本文在合成數據集和真實場景圖像上與幾種先進的單幅圖像去霧算法進行比較，本文選取的對比算法主要包括DCP[2]、CAP[3]、DehazeNet[4]、MSCNN[5]、AOD_Net[6]，其 中DCP 和CAP算法為基于先驗特征的傳統方法，DehazeNet和MSCNN 為基于多步學習的深度學習方法，而AOD_Net為端到端圖像去霧算法。此外，為證明本文網絡模塊設計的有效性，本文對模型進行剝離對比實驗。

4.1 實驗設置

數據集：由于目前的研究中沒有真實場景的霧霾圖像數據集，與已知基于深度學習的圖像去霧算法[4-5]類似，本文采用NYU Depth Dataset V2[24]作為基礎數據集，該數據集包含1 449 張640×480 的室內彩色圖像及其場景深度圖。本文選取其中1 200 張圖片作為基礎訓練數據集，選取其余200張圖片作為基礎測試數據集。針對每一張圖片，隨機生成4組大氣光值α和大氣衰減系數β，其中α∈[0.7,1.0]，β∈[0.6,1.6]，然后根據式（1）計算出4組透射圖和合成有霧圖像。本文共生成4 800 張有霧圖像及其透射圖作為訓練集，生成800 張有霧圖像作為合成圖像測試集。為驗證本文模型的泛化能力，本文收集了100張真實場景圖片作為真實場景測試集。

參數設置：在網絡訓練階段，每層卷積核初始化為高斯分布，偏置初始化為0，學習率初始化為0.000 1，模型訓練采用小批量訓練的方式，batch-size為2。本文模型的訓練使用Keras 深度學習架構，采用RMS-prop算法優化模型參數，訓練次數為100。實驗機器為帶有Nvidia GTX1080 GPU的計算機。

4.2 合成數據集上實驗結果分析

為驗證本文算法的去霧效果，本文在合成數據測試集上將本文模型與現有經典算法進行對比。在合成數據集中，有霧圖像對應的清晰圖像已知，因此能夠定性和定量地評估模型性能。

圖4 所示為測試集中比較典型的兩個樣本的去霧結果。其中第一幅圖像背景較為昏暗，圖像細節恢復無疑是個挑戰。從圖中不難發現，傳統方法DCP和CAP 去霧結果相較于基于學習的方法，顏色更加鮮艷，但存在過度去霧的情況，圖中主要表現為去霧后整體顏色偏深，在地毯處丟失相關細節特征。而基于學習的方法DehazeNet、MSCNN、AOD_Net均存在去霧程度不夠的情況，相比之下本文算法去霧結果與原圖更相似。第二幅圖圖像背景較為明亮，其難點在于在去除霧的同時保留遠景的細節信息，從圖中不難發現DCP、CAP算法過度去霧，造成顏色失真，具體表現為圖中地磚顏色過深；而基于學習的算法依舊存在去霧程度不足，圖像細節信息丟失的問題，具體表現為圖中墻壁的亮度較為昏暗和窗外樹的細節信息缺失。而本文算法去霧效果更貼近原圖。不難發現，本文所提的算法總體適用性強，去霧結果與原始無霧圖像也最為接近。

Fig.4 Dehazing results on synthetic images圖4 合成圖像上的去霧結果

為了從客觀角度評價本文算法的優劣，本文采用峰值信噪比[25]（peak signal to noise ratio，PSNR）和結構相似度[26]（structural similarity index，SSIM）作為客觀評價指標。峰值信噪比反映了圖像結構信息的完整性，其值越高，圖像受噪聲的影響越小。結構相似度反映了圖像結構信息的相似性，其值越大，圖像越相近，失真差異越小。六種算法去霧前后的SSIM和PSNR指標結果如表1所示。與其他算法相比，本文算法結構相似度指標值更高，說明本文算法在去霧前后圖像的結構更為相似，在圖像邊緣細節處復原效果較好；且本文算法在峰值信噪比指標上明顯占有優勢，表明本文算法的去霧圖像與原始清晰圖像像素級差異小，受噪聲影響更小，圖像更加清晰，去霧質量得到顯著提高。

Table 1 SSIM,PSNR values on synthetic dataset表1 合成數據集的SSIM、PSNR值

4.3 真實圖像上的實驗結果分析

本文模型在合成霧天圖像數據集上進行訓練，并在合成測試集上取得了不錯的去霧效果。由于真實場景與合成霧天圖片在視覺觀感上依舊存在差距，為驗證本文算法的泛化能力，在自然場景數據集上將本文算法與其他算法進行比較，去霧結果如圖5、圖6所示。

圖5 為一般場景去霧效果圖，其中，第一幅圖為人物場景圖像，傳統算法DCP、CAP在面部和頭發的處理上出現了色彩失真、去霧過度的現象，基于學習的方法DehazeNet、MSCNN、AOD_Net依舊存在去霧不完全的情況，并且在細節處理上依舊存在瑕疵，主要表現在頭發顏色和背景信息的復原上；第二幅圖為風景圖，從圖中不難發現，傳統方法和基于學習的方法會出現顏色失真、場景恢復不夠自然的情況，而本文算法可以在保護圖像顏色與對比度信息的情況下，生成更為清晰的圖像。

Fig.5 Dehazing results on general images圖5 一般場景去霧效果圖

Fig.6 Dehazing results on complex images圖6 復雜場景下的去霧效果圖

圖6 為復雜場景下的實驗效果圖。復雜場景下的去霧側重在大氣光值較低、背景較為昏暗的情況下，盡可能恢復圖像的細節信息，這是圖像去霧中一大難點。圖6中第一幅圖為陰雨天氣，第二幅圖為夜間有霧圖像。實驗結果表明，傳統算法對此類圖像的處理不太理想，均出現顏色扭曲和色彩失真的現象。本文算法效果相較于深度學習的方法（DehazeNet、MSCNN、AOD_Net），去霧圖像細節信息保存完整，顏色恢復比較自然，去霧程度適中。因此可知，本文算法在自然霧天圖像的處理優于其他對比算法，適用性強。

4.4 模型對比實驗

為驗證本文模型設計的合理性，本文對提出的模型進行剝離實驗對比。對比模型主要包括：（1）僅使用多尺度特征提取模塊和FC-DenseNet 特征學習模塊的model_1，其損失函數為MSE損失；（2）僅使用本文生成網絡模型的model_2，其損失函數為MSE損失；（3）使用本文生成網絡模型，損失函數為MSE 損失，并使用WGAN 進行優化的model_3；（4）本文模型，即使用本文生成網絡模型，損失函數為MSE損失和感知損失構成的復合損失，使用WGAN 進行優化。本文在合成測試集上對幾種模型進行定性和定量的評估。

表2 中所示為各模型在合成數據集上各項指標的計算結果，與model_2相比，model_1未引入殘差學習思想，反映在網絡結構上，則是缺少Elementwise subtraction層，網絡參數一樣，實驗數據表明這兩種模型相差不大；與model_2 相比，model_3 使用WGAN對生成結果進行細致優化，從實驗結果中可以看出，model_3的SSIM和PSNR均比model_2高，這說明生成對抗網絡能夠促使網絡優化，對圖像去霧有利；與其他模型相比，本文模型的SSIM 和PSNR 值均有所降低，原因在于為更好恢復圖像細節，本文模型中加入了感知損失，這樣很好地恢復圖像高頻細節信息，但也會造成一些像素級別的信息丟失。

Table 2 SSIM,PSNR values of different models表2 不同模型的SSIM、PSNR值

表2中的數據是在合成測試數據集中計算的，合成測試集與訓練集相似度很高，致使兩種評價指標的值都比較高。本文在真實場景下對模型的泛化能力進行評估，由于model_1 與model_2 的去霧結果相差不大，本文只選取model_2 進行實驗對比，實現結果如圖7 所示。通過對比不難發現，從整體上看，三個模型均有不錯的去霧效果。但是，未使用生成對抗網絡的model_2生成的圖像顏色比較深，出現少許顏色失真。而使用WGAN 對網絡進行優化后的model_3生成圖像更為逼真，但出現了一些細節信息丟失的情況。而本文模型通過使用感知損失，獲得了細節更加豐富的圖像去霧效果。總體上說，本文提出的模型泛化能力強，去霧效果更優。

Fig.7 Dehazing results of different models圖7 不同模型的去霧效果

5 結束語

本文提出了一種結合FC-DenseNet 和WGAN 的端到端圖像去霧算法，通過簡化大氣散射模型，采用殘差學習思想將退化圖像中霧的特征剔除得到清晰圖像的特征，從而實現端到端去霧；在特征提取過程中，本文利用DenseNet網絡規模小，可以特征重用的機制，通過構建FC-DenseNet充分學習圖像中霧的特征；最后，本文使用復合內容損失函數兼顧生成圖像內容和結構上的信息，并使用WGAN 對生成結果細致優化，生成清晰逼真的無霧圖像。實驗結果表明，與其他對比算法相比，本文算法去霧能力更優，且可以用于其他低級視覺任務中。