融合估計與評估網(wǎng)絡的去霧算法研究

蔡夢姚，王鵬，李曉艷，吳嬌，呂志剛

摘? 要： 針對由于霧霾天氣影響造成拍攝的圖像出現(xiàn)模糊不清、低對比度和色彩暗淡等問題，提出一種融合估計與評估網(wǎng)絡的去霧算法。根據(jù)大氣退化模型將霧霾圖像輸入到兩個聯(lián)合且獨立的估計網(wǎng)絡模型中，分別得到透射圖與大氣光圖的估計值;將估計得到的透射圖與大氣光值輸入到霧圖成像公式中，得到去霧圖像;通過生成式對抗GAN網(wǎng)絡中的鑒別器來聯(lián)合鑒別，生成更好的透射圖與大氣光值;最后，通過霧圖成像公式反演恢復出清晰的無霧圖像。實驗結果表明，該算法去霧后的圖像變得清晰，對比度得到提高，且圖像質量評價指標峰值信噪比和結構相似性指數(shù)分別達到了22.14dB，75.3%。

關鍵詞： 低對比度; 估計與評估網(wǎng)絡; 大氣退化模型; 透射率; 大氣光值; 生成式對抗網(wǎng)絡

中圖分類號：TP751? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2022）01-22-06

Research on de-haze algorithm with estimation and evaluation network fuse

Cai Mengyao， Wang Peng， Li Xiaoyan， Wu Jiao， Lv Zhigang

（School of Electronics and Information Engineering， Xi'an Technological University， Xi'an， Shaanxi 710021， China）

Abstract： Aiming at the problems of blurred images， low contrast and dim color caused by haze weather， a de-haze algorithm with estimation and evaluation network fuse is proposed. According to the atmospheric degradation model， the hazing image is input into two joint and independent estimation network models to obtain the estimated values of transmission image and atmospheric light image respectively; the estimated transmission image and atmospheric light value are input into the hazing image formula to get the de-haze image; the discriminator in GAN network is used to generate better transmission image and atmospheric light image; Finally， a clear haze free image is recovered by inversion of haze imaging formula. The experiment results show that the image becomes clearer， its contrast is improved and the PSNR and structure similarity index of image quality evaluation index are up to 22.14db and 75.3% respectively.

Key words： low contrast; estimation and evaluation network; atmospheric degradation model; transmission map; atmospheric light value; GAN

0 引言

霧天拍攝的室外圖像質量嚴重下降，很大程度上限制了圖像的使用價值。為了降低霧霾環(huán)境對圖像質量的影響，增加圖像的可視性，必須對原始霧霾圖像進行去霧處理[1]。

目前提出了一些基于圖像復原的去霧方法[2]，例如，Tan等人的最大對比度方法假設獲得的大氣信息比場景深度更準確，可以比較容易地進行霧圖的恢復，但在實際條件下，先驗知識并不是在任何條件下都滿足，這使得霧圖的恢復由于缺乏已知信息而具有很大的不確定性;Li等人提出直接端到端去霧網(wǎng)絡模型，通過未知變量K（x）將透射圖t（x）與大氣光值A（x）統(tǒng)一，基于K（x）能夠完成對清晰圖像的恢復，但該類方法并沒有進行透射圖t（x）和大氣光值A（x）的單獨估計，估計參數(shù)使得誤差相互放大，從而影響最終的去霧效果;Cai[3]等人提出一種名為DehazeNet的間接端到端去霧網(wǎng)絡系統(tǒng)，該端到端系統(tǒng)對原始圖像與傳輸圖之間的映射關系進行直接學習和估計，通過其深層架構的特殊性設計來實現(xiàn)去霧，該算法數(shù)據(jù)集由室內(nèi)場景圖片進行人工加霧處理形成，這與自然霧場景下所拍攝的原始霧圖存在一定誤差，所以該算法在自然場景中的應用效果不佳。

為了解決以上存在的問題，本文提出了一種稱為融合估計與評估網(wǎng)絡（Estimation and evaluation of demisting network，EAEDN）的圖像去霧算法。主要貢獻如下。

⑴ 提出了一種端到端聯(lián)合優(yōu)化去霧網(wǎng)絡。不依賴于大氣散射模型，避免了由于缺乏先驗知識而導致去霧效果不好的問題。

⑵ 提出了聯(lián)合且獨立的估計網(wǎng)絡框架。利用粗估計與細優(yōu)化網(wǎng)絡進行透射圖t（x）的估計，同時利用卷積-反卷積網(wǎng)絡精確估計大氣光值A（x）。

⑶ 采用對稱的GAN鑒別評估網(wǎng)絡模型聯(lián)合判別透射圖t（x）、大氣光值A（x）與去霧后的圖像是否為最優(yōu)估計，從而得到效果更好的去霧后的圖像。

1 融合估計與評估網(wǎng)絡的端到端去霧算法

1.1 融合估計與評估的端到端去霧算法模型

本文提出了一種有效的端到端的融合估計與評估網(wǎng)絡的去霧算法，整體算法模型如圖1所示。

第一階段，將霧霾圖像輸入到兩個聯(lián)合且獨立的網(wǎng)絡估計模型中。利用粗估計-細優(yōu)化網(wǎng)絡進行透射圖t（x）的估計;同時利用卷積-反卷積網(wǎng)絡進行大氣光值A（x）的估計。

第二階段，將在網(wǎng)絡訓練階段獲得的透射圖t（x）和大氣光值A（x）代入霧圖成像模型中，結合深度學習框架提供的數(shù)學運算模塊進行反演，從而恢復去霧后的圖像。

第三階段，利用對稱的GAN鑒別評估網(wǎng)絡模型來聯(lián)合鑒別生成更好的透射圖t（x）與大氣光值A（x），從而得到效果更好的去霧后的圖像。

1.2 去霧參數(shù)估計網(wǎng)絡模型

McCartney[4]等人在霧散射原理的基礎上提出了大氣散射模型，該模型認為到達圖像采集設備的光線由兩部分組成。一部分是由于大氣中懸浮微粒的散射作用使得一部分反射光線受到衰減，剩余的部分光線進入成像設備;另一部分是由于場景中的其他光線在大氣粒子的散射作用下被成像設備接收并附加在目標圖像上。一般情況下，最終進入成像設備的光線由這兩部分疊加而成。因此，霧天條件下成像模型的表達式如下所示：

[I（x）=J（x）t（x）+A（1-t（x））]? ⑴

其中x表示圖像中任意像素的位置，I（x）表示成像設備采集的霧天圖像;J（x）表示去霧后的圖像;t（x）表示透射圖;A（x）代表大氣光值;J（x）t（x）對應入射光的衰減模型，A（1-t（x））對應混合大氣光圖模型。

從式⑴可以看出，去霧過程中有兩個重要參數(shù)的估計：①透射圖t（x）準確估計;②大氣光值A（x）準確估計，一旦估計得到透射圖和大氣光值，代入式⑵從而生成去霧后的圖像。

[J（x）=I（x）-A（x）（1-t（x）t（x）]? ⑵

⑴ 透射圖估計網(wǎng)絡

圖2所示為用于估計透射圖的端到端回歸網(wǎng)絡，該網(wǎng)絡由粗估計和細優(yōu)化網(wǎng)絡兩部分組成。粗估計網(wǎng)絡和細優(yōu)化網(wǎng)絡結構相似，以粗估計網(wǎng)絡為例說明，粗估計網(wǎng)絡主要由：卷積層、池化層、上采樣層、線性合并層組成，其中上采樣層主要作用是讓輸出的透射圖和輸入的霧圖尺寸一致。

上采樣層的計算公式為：

[nl+1（2x-1：2x，2y-1：2y）=nl（x，y）]? ⑶

其中[l]表示層的序號，[（x，y）]表示圖像的二維空間坐標。

為了滿足尺度一致性，將粗估計網(wǎng)絡的輸出與細優(yōu)化網(wǎng)絡第二個卷積層的輸入相結合。粗估計網(wǎng)絡的底層和中間層通過最大池化層來連接圖像的不同部分，使網(wǎng)絡能夠整合對全局場景的理解來預測網(wǎng)絡深度，在獲得全局深度圖后，利用細優(yōu)化網(wǎng)絡進行局部改進。

⑵ 大氣光值估計網(wǎng)絡

在大氣光值估計網(wǎng)絡中，對于給定的圖像，預測的大氣光值A（x）是均勻的，即其中每個像素A（z）具有相同的值（例如，A（z）=c，c為常數(shù)）。大氣光值A（x）具有與輸入圖像相同的特征尺寸，為了估算大氣光值，采用如圖3所示的卷積-反卷積網(wǎng)絡結構。

1.3 GAN鑒別評估網(wǎng)絡模型

從式⑵可以看出，透射圖t（x）、大氣光值A（x）與去霧后的圖像[J]密切相關。因此，令[Gt]和[Gd]分別表示生成的透射圖和去霧后的圖像，為了優(yōu)化輸出并確保估計的透射圖和去霧后的圖像分別與它們對應的地面真相t和實際去霧后的圖像[J]為最優(yōu)估計，使用GAN網(wǎng)絡中的鑒別器進行評估;對于給定的圖像，預測的大氣光線A是均勻的，同樣進行判別優(yōu)化。

將在估計階段獲取的透射圖t（x）、大氣光值A（x）輸入到GAN網(wǎng)絡的生成器中，一個新的數(shù)據(jù)分布G（x）被映射到生成器的多層感知器中。將處理后的圖像以G（x）形式輸入到判別器中，對輸入的兩個數(shù)據(jù)分別進行判斷。如果判別的輸出與先驗假設方向一致，即真實數(shù)據(jù)的概率值接近1，生成數(shù)據(jù)值的概率接近0，此時對透射圖和大氣光圖進行重新估計，再次代入到式⑵中進行反演，得到去霧后的圖像。通過該評估方法優(yōu)化估計網(wǎng)絡的網(wǎng)絡模型，獲得效果較好的去霧后的圖像。

2 實驗與分析

2.1 實驗數(shù)據(jù)集介紹

實驗數(shù)據(jù)采用包含室內(nèi)帶霧圖片集（ITS）和室外帶霧圖片集（OTS）的RESIDE數(shù)據(jù)集和根據(jù)經(jīng)典大氣光散射模型公式，設置不同的大氣光強度后得到的人工合成帶霧圖像的NYU2數(shù)據(jù)集[5]。選取室內(nèi)、外混合圖片集（HSTS）中10張人工合成霧圖像和10張真實生活圖像作為測試集。在實驗中，將兩部分數(shù)據(jù)集對應的訓練集和測試集分別集合在一起，總訓練集數(shù)據(jù)近38390張，訓練集占70%，測試集30%，部分數(shù)據(jù)集圖片如圖4所示。

2.2 實驗設置

本文算法采用Ubuntu 16.04操作系統(tǒng)和深度學習框架Pytorch，實現(xiàn)了集估計階段、模型計算以及鑒別評估于一體的霧圖恢復算法。CPU （Central Processing Unit）為Intel（R） Core（TM） i5-8600，主頻3.10GHz;內(nèi)存：16G;GPU（Graphics Processing Unit）：NVIDIA GTX 1080Ti。

2.3 實驗分析

2.3.1 定量分析

為了驗證本文算法的有效性和優(yōu)越性，我們的實驗對比了直方圖均衡化去霧算法（HE）[6]、單尺度同態(tài)濾波去霧算法（SHF）[7]、多尺度同態(tài)濾波去霧算法（MHF）[8]、卷積神經(jīng)網(wǎng)絡去霧算法（CNN）[9]、AOD-Net去霧算法（AOD）[10]以及本文算法（EAEDN）等多種算法在測試集上的去霧效果。其中包括平均PSNR值、平均SSIM值等圖像質量評價指標，如表1所示;處理單張圖片的耗時結果如表2所示。

PSNR的計算定義為給定一個m×n的干凈圖像I和噪聲圖像K，其均方誤差（MSE）定義為：

[MSE=1mni=0m-1j=0n-1[I（i，j）-K（i，j）]2]? ⑷

則PSNR（dB）定義為：

PSNR=10?[log10（MAX2IMSE）]? ⑸

像素i的SSIM值由定義計算得出：

[SSIM（i）=2μxμy+C1μ2x+μ2y+C1?2δxy+C2δ2x+δ2y+C2]? ⑹

SSIM值在（0，1）范圍內(nèi)，當兩個圖像完全相同時，SSIM=1。因此，使用[1-SSIM（i）]來計算像素的損失，SSIM損失函數(shù)定義如下：

[lssim=1Ni∈I1-SSIM（i）]? ⑺

表1的對比數(shù)據(jù)說明了本文所提EAEDN去霧模型的平均PSNR、SSIM指標相對其他算法都取得了更好的表現(xiàn)。這是因為，一方面EAEDN網(wǎng)絡在透射圖t（x）與大氣光值A（x）估計階段分別采用了不同的網(wǎng)絡模型進行圖像去霧特征的提取，這使得EAEDN模型能夠學習到相對更好的圖像去霧特征;另外一方面與GAN鑒別評估網(wǎng)絡存在密切關系。表2中記錄了是否利用GPU處理分辨率1024×768圖片的耗時對比。結果表明，在利用GPU處理的情況下，EAEDN網(wǎng)絡模型相比于其他算法可以更快速有效地處理帶霧圖片。

2.3.2 定性分析

圖5包括了室內(nèi)和室外場景下的去霧效果對比圖。從圖像細節(jié)來看，前四幅圖像是對真實生活中拍攝的帶霧圖片進行去霧處理并做出相應比對;后四幅圖像是將清晰圖像通過大氣散射模型加霧后進行處理的效果對比。可以觀察到，即使先前的方法能夠消除輸入圖像中的霧，但它們傾向于使圖像過度模糊或模糊不足，從而使結果變暗或模糊。

對比結果表明，EAEDN對于諸如包含天空白云、霧霾集中區(qū)域去霧效果較好。從視覺感官上來看，經(jīng)過EAEDN模型去霧后，圖像在清晰度、亮度、色彩飽和度及圖像對比度上都有了更高的優(yōu)越性。無論是從客觀角度分析還是主觀對比層次，從最終的結果可以看出，本文所采用的EAEDN模型保留了更清晰的輪廓，同時減少了顏色失真，并且在視覺上更接近于真實環(huán)境，本文所提去霧算法能夠實現(xiàn)更好的去霧效果，并具有視覺吸引力。

3 結束語

本文針對霧霾天氣下圖像去霧問題，運用深度學習方法，提出融合估計與評估網(wǎng)絡的去霧算法。通過神經(jīng)網(wǎng)絡進行特征提取，獲得參數(shù)估值，結合霧圖成像模型進行反演從而實現(xiàn)端到端網(wǎng)絡的圖像去霧，智能化實現(xiàn)霧霾圖像增強技術，并運用對稱的GAN網(wǎng)絡鑒別器進行博弈鑒別去霧后的圖像是否為最優(yōu)估計。仿真結果表明，該算法在定量、定性的評價指標上均優(yōu)于傳統(tǒng)算法。后期可以通過優(yōu)化網(wǎng)絡模型，減少網(wǎng)絡參數(shù)實現(xiàn)輕量化網(wǎng)絡，以便于在嵌入式終端進行移植實現(xiàn)。

參考文獻（References）：

[1] 宋佳怡，謝維信，王鑫.融合暗通道濾波和空間金字塔的圖像去霧算法[J].信號處理，2019（5）：816-824

[2] 溫立民，巨永鋒，王會峰，等.基于雙邊濾波暗原色透射率細化的圖像去霧算法[J].測控技術，2020，338（4）：67-70

[3] Cai B， Xu X， Jia K， et al. DehazeNet： An End-to-End System for Single Image Haze Removal[J].IEEE Transactions on Image Processing，2016，25（11）：5187-5198

[4] Zhu H， Xi P， Chandrasekhar V， et al. DehazeGAN： When Image Dehazing Meets Differential Programming[C]// Twenty-Seventh International Joint Conference on Artificial Intelligence IJCAI-18，2018

[5] 賀薪宇，王橙橙，魏強，等.一種基于暗原色先驗模型的混合濾波圖像去霧算法[J].北華大學學報，2020（4）

[6] 李慶玄，王麗豐，靳濟方.基于巴特沃斯低通濾波的直方圖均衡化去霧算法[J].北京電子科技學院學報，2019，3：7

[7] 郭瑞，黨建武，沈瑜，等.改進的單尺度Retinex圖像去霧算法[J].蘭州交通大學學報，2018，37（6）：75-81

[8] 肖勝筆，李燕.具有顏色保真性的快速多尺度Retinex去霧算法[J].計算機工程與應用，2015，51（6）：176-180

[9] 徐巖，孫美雙.基于多特征融合的卷積神經(jīng)網(wǎng)絡圖像去霧算法[J].激光與光電子學進展，2018，55（3）：254-263

[10] 陳瓊紅，冀杰，種一帆，等.基于AOD-Net和SSD的霧天車輛和行人檢測[J].重慶理工大學學報：自然科學，2021，35（5）：10