圖像去霧技術研究綜述

李博文，劉進鋒

（寧夏大學信息工程學院，銀川 750021）

0 引言

隨著現代工業文明的發展進步，大氣污染現象愈發嚴重，由此產生的霧霾天氣困擾著人們的出行和工作。霧霾是導致圖像模糊的最主要原因之一，受霧霾天氣影響，專業的監控和遙感成像系統所拍攝的圖像也無法滿足相應的工作需求。數字圖像質量的惡化會影響各種視覺任務的執行與處理。因此需要對圖像進行預處理，以降低霧霾對其成像質量的影響。此外，霧霾天氣下獲取的圖像，直接影響計算機視覺中的語義分割、目標檢測等任務的效果。綜上所述，對包含霧或霾影響的圖像進行相應的處理十分必要。

近年來，眾多國內外學者和研究機構對圖像去霧算法開展了深入的研究，并不斷突破已有技術水平，取得了長足的進步。本文按照去霧算法中所使用圖像數量的不同，對多幅圖像去霧算法和單幅圖像去霧算法進行分析，對圖像去霧中常用的數據集和評價指標進行闡述。

1 圖像去霧的各類算法及比較

1.1 基于多幅圖像的去霧算法

2001 年，Schechner 等提出了一種無需依賴天氣狀況變化的去霧算法，他們認為通常被大氣粒子散射的大氣光是部分極化的，僅依靠偏振過濾無法得到較好的去霧效果。同時大氣散射的偏振效應會影響去霧效果，因此，該算法將兩幅圖像在不同位置上獲得的偏振圖像作為輸入計算大氣光強，可以恢復出無霧場景下的圖像。雖然該算法在場景對比和色彩校正方面取得了較大的進步，但是對于包含濃霧天氣的圖像，其處理效果差強人意。

2009 年，Schaul 等應用基于加權最小二乘（WLS）算法優化的框架及最大化對比度的像素級融合標準，融合可見光和近紅外（NIR）圖像來生成無霧場景下的圖像，該方法不依賴于散射模型，在近紅外圖像和去霧圖像中具有更高的清晰度和對比度，并且產生的偽影較少。由于該算法使用亮度通道進行處理，因此在極端亮度變化的情況下，圖像的顏色會顯得不真實。

2016 年，劉同軍提出基于多幅偏振圖像的去霧算法。該算法首先對0°、60°及120°的偏振圖像進行Stokes 矢量分析，結合He 等的暗原色先驗理論估計霧天圖像的無窮遠處大氣光強，應用導向濾波進一步優化霧天圖像的傳輸透射率，該算法可以有效地增強圖像細節信息的表現力。

1.2 單幅圖像去霧算法

雖然多幅圖像去霧算法可以實現有效的去霧效果，但是在實際應用場景中往往無法獲取到需要補充的額外信息。目前更多的是針對單幅圖像去霧的研究。

1.2.1 基于圖像增強的去霧算法

基于圖像增強的去霧算法通過增強對比度改善圖像的視覺效果，但是對于圖像突出部分的信息可能會造成一定損失。圖像增強分為全局化增強和局部化增強兩大類。在全局化增強的方法中，有基于直方圖均衡化、基于同態濾波以及基于Retinex 理論等算法。在全局化增強的方法中，主要有對比增強和局部直方圖均衡化等算法。

直方圖均衡化即對圖像的直方圖進行均衡化處理，使原圖的灰度級分布更加均勻，同時提升圖像的對比度和亮度，使圖像的感官效果更佳。

同態濾波旨在消除不均勻照度的影響而又不損失圖象細節，在頻域中將圖像動態范圍進行壓縮，可以同時增加對比度和亮度，借此達到圖像增強的目的。

Retinex 理論以色感一致性（顏色恒常性）為基礎，通過增強對比度改善圖像視覺效果。不同于傳統方法，Retinex可以兼顧動態范圍壓縮、邊緣增強和顏色恒常三個方面，因此可以對各種不同類型的圖像進行自適應的增強。隨著研究的深入，單尺度Retinex 算法改進成多尺度加權平均的Retinex 算法，再發展成為帶色彩恢復多尺度Retinex 算法。以上三種算法可以達到一定的除霧效果，但是處理后圖像的細節特征仍然不夠突出，其根本原因在于圖像的最大動態范圍未能被充分利用，對比度沒有得到進一步的增強。

1.2.2 基于物理模型的去霧算法

基于物理模型的去霧算法常依賴于大氣散射模型，通過得到其中的映射關系，根據有霧圖像的形成過程來進行逆運算，恢復出清晰圖像。散射模型是后續眾多去霧算法研究的基石，該類算法主要關注于模型中參數的求解。眾多的研究者在大氣散射模型的基礎上進行廣泛而深入的研究，不斷提高圖像去霧水平。

其中，由He 等提出的基于暗通道先驗的去霧算法廣為人知。暗通道先驗去霧算法認為：在沒有霧霾的室外圖像中，大多數局部區域包含的一些像素至少在一個顏色通道中具有非常低的強度，基于這個先驗知識，可以直接評估出霧霾的厚度，并恢復出高質量的圖像。但是該算法的理論前提存在一定的局限性，當處理類似大面積雪地或天空的圖像時效果會受到一定的影響。

2015年，Zhu 等提出了基于顏色衰減先驗的去霧算法。該算法建立在對大量有霧圖像的統計分析之上。該算法認為，霧的濃度越高，景深越大，圖像的亮度和飽和度相差就越大。利用這一先驗及建立模型，得到與有霧圖像及其對應的深度信息之間的聯系，并利用有霧圖像的深度信息恢復出無霧的清晰圖像。

1.2.3 基于深度學習的去霧算法

基于物理模型的去霧算法由于存在一定的累積誤差，因而具有先天的局限性。近年來，卷積神經網絡（CNN）在計算機視覺領域取得了出色表現，基于深度學習的圖像去霧算法也應運而生并不斷推陳出新。

2016年，Cai等提出了一種名為DehazeNet的可訓練端到端系統，以單幅有霧圖像為輸入，輸出介質傳輸圖，根據大氣散射模型完成清晰圖像的重構DehazeNet 融合了傳統去霧網絡中的先驗知識，通過特征提取、多尺度映射、局部極值和非線性回歸，配合引導濾波得到精細化的透射圖。總體而言，DehazeNet 的整體處理效果較好，但也存在著一定的問題，由于真實的大氣環境中不同位置對光的吸收、散射與透射作用程度不盡相同，從而使得環境光并非均勻分布，而采用假設先驗求得的大氣光在去霧任務中不能很好地適應各種情況，對景深變化處的處理效果一般。

同年，Ren 等提出基于多尺度卷積神經網絡的單幅圖像去霧網絡（MSCNN）。該網絡首先由粗尺度網絡估計整體的傳輸透射圖，然后由精細尺度網絡對該傳輸圖進行進一步優化，再分析傳統方法與卷積神經網絡學習所獲取的特征之間的差異。

2017 年，Li 等提出了一種基于CNN 的一體化去霧網絡（AOD-Net），其核心思想是將大氣散射模型中的兩個參數通過轉換公式統一為一個參數，省去中間步驟從而減小參數預估中的累計誤差。該網絡包含兩個子模塊，分別是參數估計模塊和清晰無霧圖像的生成模型，結構簡單，處理高效。

2018年，Engin等提出了增強循環生成對抗網絡（Cycle-Dehaze），可以直接由輸入的有霧圖像生成無霧圖像，而無需估算大氣散射模型的參數。此外，該網絡以不成對的方式提供有霧圖像和Ground Truth 圖像的訓練過程，將之與感知損失相結合來改善CycleGAN 架構的循環一致性損失。此外，Cycle-Dehaze 利用拉普拉斯金字塔來放大低分辨率圖像。實驗結果表明，該方法有更好的感官效果。

Chen 等于2019 年提出門控上下文聚合網絡（GCANet），由三個卷積塊作為編碼器部分，一個反卷積塊和兩個卷積塊作為解碼器部分。使用平滑擴張技術，即在編解碼器之間插入空洞殘差塊來聚合上下文信息，從而不會造成網格偽影。該網絡在圖像去霧及去雨任務上都取得了不錯的效果。

Wu 等于2021 年提出了一種新的基于對比學習的對比正則化（CR）去霧網絡AECR-Net，將清晰圖像和有霧圖像的信息分別作為正樣本和負樣本來利用，此舉保證了把恢復后的圖像在表示空間中向清晰圖像拉近，向遠離模糊圖像的方向推遠。此外，將可變形卷積引入AECR-Net 中的動態特征增強模塊，使采樣網格可以動態地適應形狀擴展接收域，提高模型的變換能力，達到更好的去霧效果。AECR-Net 基于類自動編碼器框架，減少了層數和空間的大小而變得更加緊湊。

2022 年，Tran 等提出了一種用于單幅圖像去霧的新型編碼-解碼網絡（EDN-GTM），用傳統的RGB 有霧圖像和采用暗通道先驗估計的傳輸圖作為該網絡的輸入，使用U-Net 作為核心網絡進行圖像處理，并在網絡中使用空間金字塔池化模塊和Swish 激活函數以實現較好的去霧目標。EDN-GTM 算法在指標上優于大多數傳統的和基于深度學習的算法。該模型還可以成功地應用于目標檢測的預處理工具。

目前，大多數單幅圖像去霧網絡模型無法在單個GPU 上實時處理超高分辨（UHD）圖像。Xiao 等于2022 年使用拉普拉斯金字塔融合泰勒的無限逼近原理，構建了能夠實時處理4K 有霧圖像的模型。其中，低階多項式重建圖像的低頻信息（顏色、亮度），高階多項式抑制圖像的高頻信息。并且提出了作用于金字塔模型各分支網絡的Tucker 重建的正則化項，進一步限制了特征空間中異常信號的產生。

2 圖像去霧常用的評價指標和數據集

2.1 評價指標

評價一個去霧算法的好壞，常常使用主觀評價法和客觀評價法。前者即通過肉眼觀察經過去霧處理的圖像，從圖像的紋理特征、對比度、飽和度及細節信息等多方面進行感官感受和評價。后者即采用指標評價，從不同的角度衡量處理效果的好壞。在圖像去霧領域經常使用的指標是峰值信噪比（PSNR）和結構相似性（SSIM）。

峰值信噪比，單位為分貝（db），是信號的最大功率與可能影響它的表示精度的噪聲功率的比值，數值越大表明圖像去霧的失真越小。計算PSNR的公式如下：

式（2）中，表示當前圖像和參考圖像的均方誤差，為像素的比特數，一般取8，即像素的灰階數為256。和分別表示當前圖像的長度和寬度。

結構相似性（SSIM），單位為分貝（db），該指標從亮度、對比度、結構三個方面考量圖像相似性，取值范圍是［0,1］，數值越大表明當前圖像與Ground Truth 圖像越相似。相比于，在圖像品質的衡量上更能符合肉眼感官對圖像質量的評價。計算的公式如下：

式（3）中，μ、μ是平均值，σ、σ是方差，σ 是協方差，和是為了使得分母不為0 的常數。

2.2 數據集

本節對圖像去霧領域中常用的數據集（RESIDE、NYU2、I-HAZE、O-HAZE）做出歸納。

RESIDE 數據集包括合成和真實世界的有霧圖像，分為五個子集，用于不同場景的訓練和評估任務，除了廣泛采用的PSNR 和SSIM 作為評價指標外，RESIDE 還采用無參考度量和人類主觀評價來評估去霧效果。其訓練集包含13,990個合成模糊圖像，測試集由綜合目標測試集（SOTS）和混合主觀測試集（HSTS）組成，旨在表現出多種評估觀點。

NYU2 數據集囊括了1449 張含有深度信息的RGBD 圖像，這些圖像包含464個不同的室內場景。

I-HAZE 包含35 組室內有ground truth 的由霧霾機產生的霧霾圖。O-HAZE 數據集由45 組室外有霧和無霧的圖像對組成。

3 結語

本文主要從基于多幅圖像、圖像增強、物理模型的去霧方法與基于深度學習的去霧方法這四個角度介紹了近20 年來的自然圖像去霧技術。與傳統方法相比，基于深度學習的方法去霧效果更好。但是基于深度學習的去霧方法目前也不可避免地存在一些亟待解決的問題：其可解釋性、遷移泛化能力、穩定性等目前尚無理想的解決方案。因此，探尋更具穩定性、更準確的物理模型，與基于深度學習的方法相結合的方法，或是解決包含去霧在內的圖像去噪問題的一個突破口。

未來相關方面的研究或許艱辛而曲折，但是基于深度學習的圖像去霧方法也有其巨大的潛力。隨著研究的進一步深入和深度學習的發展，圖像去霧技術勢必會在社會生活的各個領域有更大的應用價值和意義。