基于先驗知識的單幅圖像雨霧去除方法

梁楚萍，馮一簞，謝浩然，魏明強，*，燕雪峰

（1.南京航空航天大學計算機科學與技術學院,江蘇南京 210016；2.模式分析與機器智能工業和信息化部重點實驗室,江蘇 南京 210016；3.香港嶺南大學 電腦及決策科學學系,中國 香港 999077）

0 引言

在室外場景圖像中，空氣中的混濁介質是導致圖像質量下降的常見環境因素［1］，根據空氣中介質的物理性質以及所產生的視覺效果類型，可將其分為平穩介質（煙、霧和霾）和動態介質（雨、雪和冰雹）兩類［2］。此外，在糟糕天氣條件下取景時，場景光被不同介質吸收和分散，降低了圖像的對比度和色彩逼真度，影響室外取景圖像的質量，如將其直接用于圖像處理算法，會影響分析效果。

圖像去霧和去雨都是計算機視覺中具有挑戰性的課題，在攝影學和圖像處理，如視頻監控、自動駕駛、圖像識別和目標檢測等中均具重要應用。目前已出現了許多效果顯著的圖像去雨算法和去霧算法，但缺少高效的單幅圖像去雨霧技術。由于在自然條件中，降雨環境必然存在一定的霧氣和水汽，因此，在真實拍攝的雨霧圖像中，除雨痕造成的圖像噪聲外，還存在平穩介質對環境細節的遮擋和干擾。真實環境中，含霧場景的能見度取決于霧的濃度和分布，霧層越濃，該區域灰度圖像的像素強度越高。

雨霧圖像的場景能見度還與成像距離有關，一般來說，離攝像機越近的場景，受雨滴的影響越大，而遠離攝像機的場景主要受霧氣的干擾，即雨滴的能見度與場景深度有關。圖1 給出了圖像像素強度I隨雨滴與相機距離z變化的函數。對于距離相機較近的雨滴(z＜zm)，I的變化與z無關。對于距離相機較遠的雨滴(z＞zm)，I與z成反比。當雨滴與相機的距離z＞Rzm（R為常數）時，因I太小無法被相機檢測到。因此，雨水的視覺效果僅存在于z＜Rzm的區域，此為雨水可視區域，超出該區域的雨滴積累則會在圖像上形成類似霧或霾的遮罩層，稱為雨累積。靠近相機鏡頭的雨滴在成像時因動態降落形成一道道方向、形狀各異的雨痕，這類雨痕在自然情況下隨機分布，密度與降水情況和相機參數有關。通常，雨痕分布與場景細節相互纏繞。

圖1 圖像像素強度隨雨滴與相機距離變化的函數［2］Fig.1 The function of pixel intensity and camera distance

盡管圖像去雨技術已取得很大進步，在處理微雨圖像時有很好的去噪效果，但大多數方法仍無法有效保留糟糕天氣室外場景的背景圖像細節。目前尚無一種能完全適應各種情況的去雨通用技術，現有方法往往在雨痕去除和細節維護之間進行折中，導致輸出圖像模糊和存在偽影等。在含霧條件下，由于手段的局限，模糊和遮擋干擾的程度更甚。

圖像去霧的原理與去雨不盡相同，僅通過單種方法難以提高去雨霧圖像的質量。因此，針對單幅圖像去雨霧的難題，本文設計了一種基于先驗知識的單幅圖像去雨霧框架，該框架分階段處理輸入圖像的霧和雨痕，再通過條件生成對抗網絡（conditional generative adversarial network，cGAN）修復圖像細節，以提高去雨霧后的圖像質量。

本文的創新點：

（1）提出了一種新型的單幅圖像去雨霧方法，能適應霧濃度和雨分布變化情況；

（2）引入了一種改進條件對抗網絡，對去雨霧后的圖像進行細節修復，不僅能恢復去雨霧過程中丟失的細節，還能近似生成和填補原圖中被濃霧或密集雨痕遮擋的場景；

（3）利用峰值信噪比（peak signal-to-noise ratio，PSNR）和結構相似性（structural similarity，SSIM）2 個常用指標對本文方法進行量化評估，實驗表明，在所用的合成數據集中，本文方法較其他基準方法更具優越性。將本文方法應用于真實雨霧圖像恢復，結果表明，本文方法在真實雨天場景中具有更好的魯棒性。

1 研究現狀

1.1 圖像去雨技術

根據輸入數據，一般可將圖像去雨技術分為單幅圖像導向和視頻導向2 類。前者只利用單幅圖像進行雨水噪聲檢測，提供的數據信息較少，不同圖像的場景差異增加了算法的難度。后者則不僅要考慮單幀畫面的雨水噪聲分布，還需要計算各幀特征的時空相關性，但由于對同一場景輸入視頻的圖像是連續多張的，因此，利用深度學習方法能獲得較好的效果。本文主要關注單幅圖像的雨水去噪問題。

1.2 單幅圖像去霧技術

使單幅圖像恢復場景光亮的主要方法有2 類：先驗知識導向方法和數據驅動機器學習方法。傳統方法是計算近似大氣散射模型，并基于先驗知識估計大氣光成分和光照透射率2 個霧遮擋因素。

TAN 等［7］提出，無霧圖像的對比度高于含霧圖像，并建立了最大化輸入圖對比度模型，試圖通過提高對比度達到去霧效果；何凱明等［1］提出了通過暗通道先驗檢測透射率圖的方法；ZHU 等［8］提出了一種簡單又有效的顏色衰減先驗方法，通過建立模糊圖像場景深度的線性模型，能較好地恢復場景深度信息；TANG 等［9］通過構建回歸學習框架，系統地探究了一系列與去霧關聯的先驗知識，得到最佳的先驗組合。然而，先驗知識畢竟是根據物理模型和觀察提出的準則，對霧籠罩的真實場景圖仍不具有魯棒性，因此，大多情況下實驗效果遠達不到模型預期。

近年來，機器學習在圖像處理領域取得了巨大進展，涌現了不少基于機器學習的去霧方法。此類方法不依賴先驗知識，直接估計輸入圖的大氣光成分和透射率。CAI 等［10］提出基于卷積神經網絡的端到端去霧模型（DehazeNet），通過學習得到透射率，進而恢復為無霧場景。類似地，REN 等［11］通過學習模糊圖像與其對應的傳輸圖之間的映射關系，提出了一種將多尺度深層神經網絡用于單圖像去霧；LI等［12］則重構了傳統的大氣散射模型，利用改進的卷積神經網絡（AODNet）學習含霧圖與干凈圖之間的映射函數；REN 等［13］則建立了一個由編碼器和解碼器組成的端到端神經網絡。

1.3 單幅圖像去雨技術

單幅圖像去雨技術同樣可分為先驗知識導向方法和數據驅動機器學習方法。對于雨圖模型O=B+R，通常假定雨痕R稀疏且方向相似，基于此假設，可將輸入圖像O分解為無雨干凈場景B和雨痕層R。

在傳統方法中，KANG 等［14］首先用雙邊濾波器將圖像分解為低頻部分和高頻部分，然后通過字典學習和稀疏編碼，將高頻部分分解為“雨分量”和“非雨分量”，從而既保留了細節，又從圖像中去除了雨痕；LUO 等［15］提出一種基于強互斥性字典學習的單幅圖像去雨算法；LI 等［16］提出，背景層和雨層均使用簡單的基于區域塊的高斯混合模型先驗知識，以適應雨痕的多個方向和尺度；ZHU 等［17］首先檢測雨痕所在的主要區域，然后將檢測到的區域作為引導圖，以幫助從背景層中分離雨痕層；ZHANG 等［18］提出了一種學習卷積低階濾波器的新算法，該算法直接處理整幅圖像，無須將圖像分割成重疊的塊后再學習局部詞典；FU 等［19］提出用深度細節網絡縮小從輸入到輸出的映射范圍，在訓練過程中，利用先驗圖像域知識聚焦高頻細節，去除背景干擾，使模型聚焦于圖像中的雨結構；ZHANG 等［20］利用cGAN 強大的生成建模能力，實施附加約束，即去雨后的圖像須與其對應的地面真實干凈圖像極其近似；YANG等［21］通過添加一個定位雨痕區域的二元映射，提出一種迭代信息反饋（IIF）網絡，對常用的雨痕層和背景層線性組合模型進行修正；LI 等［22］提出了一種基于深度卷積和遞歸神經網絡的深度網絡結構；ZHANG 等［23］提出了一種用于去雨的密度感知多流連接網絡；FAN 等［24］提出了一種新的基于殘差特征的融合網絡ResGuideNet，用于逐步預測高質量的單張去雨恢復圖像，殘差網絡對單幅圖像的去雨能力得到證實；LIU 等［25］提出了一種“對偶殘差連接”的新殘差連接類型，充分發揮了成對操作的潛力；YANG 等［21］將去除雨痕作為一項單獨任務；與此相異，HU 等［3］和LI 等［26］將物理公式融入網絡體系結構；為使去雨技術在真實圖像集中有更好的效果，WANG 等［27］構建了現實世界的雨水數據集，并將空間感知機制納入網絡設計；WEI 等［28］通過最小化雨殘差與參數化分布之間的KL 距離，將監督的圖像對和無監督的真實多雨圖像納入網絡訓練。WANG 等［29］將基于編碼器-解碼器的網絡解釋為條件生成器，并且通過優化生成器輸入的殘差學習分支，提高去雨算法的性能。

為集中討論單幅圖像去雨技術的方法變遷和對比算法效率，YANG 等［30］調研了已有的圖像去雨方法，討論了基于模型的傳統方法和數據驅動的學習方法這兩大類去雨方法，對本領域的相關工作、研究思路進行了總結、整理，對已有算法的性能進行了評估，同時還得到了一系列常用合成雨數據集。

1.4 生成對抗網絡在圖像恢復中的應用

近年來，生成對抗網絡（generative adversarial networks，GAN）［31］研究取得了重大進展，在計算機視覺領域應用廣泛，受GAN 在圖像轉換和圖像修復上出色表現的啟發，涌現了一批利用GAN 生成恢復含霧圖或去雨圖的研究。ISOLA 等［32］提出了一種在圖像轉換領域通用的改進條件對抗網絡（pix2pix）；QU 等［33］將該網絡用于圖像去霧，并在其基礎上增強了細節修復能力，通過加入2 個增強塊和引入感知損失函數，提高了原網絡對圖像細節的敏感度。LI 等［26］提出了針對重雨環境的室外圖像學習框架，在最后階段將深度圖作為條件進行對抗學習，以恢復前階段去除雨霧過程中丟失的圖像細節。

2 基于先驗知識的雨霧去除方法

2.1 雨霧模型

單幅圖像去霧的難點在于無法根據無限制條件的單張輸入圖得到準確的深度信息。傳統去霧方法主要基于大氣散射模型［1-2］：

其中，I為觀測到的霧圖像，t為透射率（medium transmission），A為大氣光成分（global atmospheric light），J為場景光反射圖像，即需要恢復的目標無霧環境。等式右邊第1 項為直接衰減因子（direct attenuation），第2 項為大氣光（airlight），如果大氣是均勻的，則透射率t可表示為

其中，β為大氣散射系數。式（2）表明，隨著場景深度d的增加，場景亮度呈指數衰減。

靠近相機的雨滴在取景平面上的投影在圖像空間產生隨時間變化的動態隨機場，形成糾纏的密集線狀紋理，此類雨點或雨線統稱為雨痕，在圖像中一般表現為高像素強度值的短線和點痕。與平穩介質或雨累積形成的遮罩層不同，雨痕在圖像中的分布更為隨機和堆疊，除雨痕自身對場景的遮擋外，由動態模糊和未對焦等造成的光暈也會對周邊像素產生干擾。

僅靠傳統物理模型檢測并不能去除所有潛在雨痕，近年來，基于神經網絡的去雨方法取得了巨大進展［30］，但是針對真實雨圖中雨水方向形態多變的情況，神經網絡在學習和修復雨圖時仍需要加入更多的限制和增強手段，尤其是對含濃霧的雨圖，有霧存在的區域對雨痕特征的學習會產生干擾。

考慮霧和雨痕在圖像中的分布特性，綜合其物理性質，筆者對傳統的大氣散射模型和雨圖模型進行了改進，提出基于深度圖的新雨霧模型：

其中，t|d表示基于深度圖的透射率估計，Si為雨霧圖中第i層雨痕。

考慮雨霧在不同圖像、不同頻率時雨痕層分布不同，將圖像分解為多重雨痕在霧環境中的成像，并用深度圖估計透射率，避免因濃霧在場景中深度分布不均造成的去霧失真。

2.2 暗通道先驗知識

基于暗通道先驗知識（dark channel prior，DCP）［1］的去霧是最經典的圖像去霧方法之一，源于對無霧室外場景圖的觀察：在多數無霧覆蓋的區域，有一些像素至少在一個顏色通道上擁有非常低的強度，即此類區域的最低強度值很小。因此對于一張無霧室外圖，圖像的暗通道是指像素點在其鄰域各顏色通道中最小的強度值（見式（1））。

一般來說，霧圖的暗通道擁有更高的強度值，而在視覺上，暗通道的強度近似于霧的厚度。通過計算輸入圖的暗通道，可近似得到霧的分布和濃度。HE 等［1］給出了基于暗通道去霧的基本方法：假設對于任意像素x，圖像局部塊Ω 的透射率為常數，則對霧圖的顏色通道c，有以下公式：

根據暗通道先驗知識，無霧場景的暗通道的強度趨于零：

因此，局部塊區域的透射率為

2.3 殘差網絡學習

殘差網絡（ResNet）是為解決在傳統神經網絡中因網絡過深出現退化現象這一缺陷而提出的，網絡過深，其訓練效果反而比淺的差［34］。研究表明，濫用網絡層數并不能有效提高網絡的學習能力，實際上，更深層的網絡出現的錯誤率更高（見圖2）。因過深的網絡加大了優化難度，淺層中學習到的特征也難以在深層網絡中繼續傳播。

圖2 不同層次深度學習網絡訓練和測試錯誤率比較［35］Fig.2 Comparison of training and test error rates of different levels of deep learning networks

因此，HE 等［34］提出了利用殘差網絡學習的ResNet 方法，每個殘差塊中均存在一個捷徑連接（shortcut connection），捷徑連接跳過一層或多層，為梯度增加了一條恒等映射通道。殘差塊的加入能使網絡學習非線性變換部分，這不僅能降低整體訓練的難度，也能大大提升梯度下降算法的訓練速度，且更利于網絡傳播。

2.4 生成對抗網絡

GAN 由生成器和判別器組成。通過引入判別器提高生成器的學習能力，并促使生成器產生判別器無法辨別真假的數據。訓練時，判別器試圖最大化準確判斷真實數據的概率，而生成器則要求生成非真實數據的概率最小，優化該極小化極大算法的函數為

其中，G為生成器，通過學習輸入數據的分布生成相似的假樣本，D為對應判別器，用于估計輸入樣本來自真實數據集的概率，給出真假判斷。

由于GAN 在圖像處理中的出色表現，近年來，在圖像轉換［35］、風格遷移［36］、圖像合成［32］、圖像修復［37］等領域涌現了不少基于GAN 的高效方法，本文也在去雨霧框架的最后階段引入cGAN，用以修復去雨霧過程中損失的細節，填補被雨霧過分遮擋的場景。為避免GAN 對圖像產生過量原結構以外的填補，本文將GAN 的處理過程置于殘差網絡之后，并限制其在圖像小區域進行精細化修補。

3 基于先驗知識的單幅圖像去雨霧方法

現有的圖像恢復方法試圖通過使用適當的損失函數或從大規模數據集的學習中保持圖像細節。然而，現有的大多網絡仍無法處理雨痕高度密集且完全遮擋場景背景的飽和區域，此區域的場景細節易丟失。為此，本文提出一種新的基于先驗知識的單幅圖像去雨霧框架，框架主要分為3 個階段：保持細節的去霧技術、基于雨痕特征的殘差網絡以及圖像細節修復網絡。

3.1 框架算法

本文整體去雨霧方法和2 個子網絡的綜合損失函數可以表示為其中，λ 為L1 損失的系數，訓練中設為100。

3.2 保持細節的去霧技術

因霧和霾主要處于圖像的低頻部分，而雨痕特征和場景細節往往是圖像的高頻信息，因此應用滾動引導濾波［38］對輸入雨霧圖進行高、低頻分離提取。滾動引導濾波能高效地平滑圖像紋理和區域細節，同時保持場景物體輪廓，防止邊界細節丟失。經濾波，可得到圖像的低頻部分，再對低頻部分進行暗通道去霧，低頻去霧能避免混合在雨痕中的高頻場景丟失，同時能使雨痕密集區域更加清晰，有利于后續的雨痕學習。

在原始暗通道去霧方法中，盡管引入了調節參數ω來控制去霧程度，但從實驗中仍可發現，對于霧聚集較濃的區域（往往是場景遠處），無法通過恒定參數適應不同輸入圖的霧分布。且暗通道去霧方法容易造成場景顏色失真，因為僅通過暗通道的先驗知識計算透射率，接近相機的較亮無霧區域也會受去霧的影響；對于與大氣光強度相近的像素，在計算中會因透射率的計算值小于實際值產生去霧后過亮的問題。由于該現象往往出現在天空區域較多的室外場景圖中，而本文場景需考慮霧分布的空間因素，因此不適合采用原始暗通道去霧方法。為此，引入圖像的深度圖作為引導，深度圖是包含與視點的場景對象的表面距離有關的信息的圖像通道，其能適應性地隨場景深度調整局部塊的透射率，從而控制去霧強度。對于不含深度圖信息的數據集，WOFK等［39］提出了一種快速單目深度估計方法。

根據上述分析并結合式（3），將基于深度圖的去霧方法分解為

其中，IL和IH分別為輸入圖I的低頻和高頻部分，由滾動引導濾波（rolling guidance filter，RGF）算法得到，t|d為基于深度圖的透射率估計，t0為避免圖像失真設定的透射率下限。分頻去霧可避免濾波算法中出現場景邊緣模糊現象，此外，深度圖的引導能使暗通道去霧方法更適應輸入圖像中霧度隨景深的分布變化。

3.3 基于雨痕特征的殘差網絡

以往工作證明，殘差網絡學習是圖像去噪和恢復中的一項強有效的手段［22］。基于對雨痕特征的觀察，文獻［22］指出，雨痕特征較干凈的圖，場景特征更稀疏，因此，可利用殘差網絡學習以下函數：

其中，Si為第i層雨痕，B為無雨場景，O為雨圖。該函數反映雨圖O到雨痕特征之間的映射，即雨圖是由干凈無雨場景和處在不同特征層的雨痕堆疊而成的。

為去除主要存在于圖像高頻部分的雨痕，本文引入了雨痕特征殘差網絡，該網絡通過訓練學習已去霧的雨圖到雨痕之間的映射，得到一張干凈的去雨霧圖。雨痕特征殘差網絡包括3 個卷積層和16 個雨殘差塊。其中，以第1 卷積層作為編碼器，將雨圖轉換為特征圖，后兩層用于將特征圖恢復RGB 通道圖。為加強殘差網絡的學習效果，在殘差塊間嵌入壓縮激發（squeeze-and-excitation，SE）模塊，見圖3，SE 模塊能在統一卷積層中聚合特征圖，通過充分利用空間上下文信息去除雨痕。

空間上下文信息被證明在單張圖像去雨中具有一定效果［22，40］，然而，在同一卷積層中，各特征通道是相互獨立的，并且與之前的卷積運算無關。SE 模塊則能建立不同特征通道之間的關系，因此，通過調整權重增強具有更多上下文信息的特征通道。相對而言，具有較少上下文信息的特征通道在訓練時會被賦予較小的權重。在訓練過程中，雨痕特征殘差網絡會自動地學習不同通道中所有的權重。文獻［22］給出了現有殘差網絡與插入SE 模塊后的對比實驗，結果顯示，插入SE 模塊的殘差網絡能更好地提取圖像特征信息。

雨殘差塊RRB 可表示為

其中，RRB 為雨殘差塊的輸出，SE（?）和Res（?）分別表示圖3 中的SE 模塊操作和殘差塊，X0為輸入信號。

圖3 傳統殘差塊與插入SE 模塊的殘差網絡結構Fig.3 Traditional residual block and residual network structure with SE block added

3.4 圖像細節修復網絡

雨痕特征和場景細節本質上都是圖像高頻信息，盡管通常認為雨痕特征較場景細節更為稀疏，但兩者在結構上具有相似性，因此，圖像去雨通常會造成場景細節模糊。為恢復去雨過程中丟失的細節，本框架應用pix2pix［32］對去雨霧后的圖像進行細節修復。

pix2pix 網絡除對抗損失之外，還加入了傳統的L1 損失（范數損失函數），衡量生成的虛假圖像與真值圖之間的距離，從而在訓練中保證輸入圖像與輸出圖像的相似性。實驗證明，在圖像轉換中，L1 損失相對于L2 損失（平方損失函數）能更好地避免出現模糊現象［32］。

在圖像轉移問題中，為在輸入和輸出之間共享大量不同層次的信息，一般希望整個網絡能共享此類特征，比如圖像尖銳的邊緣結構位置。因此，本文所用生成器在編碼器-解碼器上遵循“U-Net”結構［41］的設計，通過添加捷徑連接保留低層信息，減少下采樣過程帶來的空間信息損失。如圖4 所示，UNet 結構在網絡瓶頸的前后均建立特征的捷徑連接，也能使訓練時從淺層網絡提取的特征傳遞到深層網絡。用PatchGAN 架構判別器限制高頻，其預設塊區域直徑之外的像素均相互獨立，即判別器是對圖像中每個N×N塊進行的真假分類，通過在圖像中卷積地運行，最后將所有的結果取平均，給出判別器D的輸出。

圖4 U-Net 的捷徑連接［32］Fig.4 Shortcut structure of U-Net

3.5 基于先驗知識的單幅圖像去雨霧框架

基于先驗知識的單幅圖像去雨霧框架如圖5 所示，其由3 個階段構成，各階段分別承擔不同的功能。

圖5 基于先驗知識的單幅圖像去雨霧框架Fig.5 Prior-based single image rain and haze removal framework

第1 階段，利用暗通道先驗知識對輸入圖的低頻部分去霧，通過分頻去霧使圖像高頻細節得以保留；第2 階段，將已去霧的圖像輸入殘差網絡，學習雨痕特征，殘差網絡由編碼的1 層卷積層、16 層插入SE 模塊的殘差層、2 層解碼轉換的卷積層構成，輸出所學到的多層雨痕圖，利用本階段輸入及其差值可得到去除雨霧的干凈圖；第3 階段，采用cGAN 修復圖像細節、填補被過分遮擋的場景，該網絡由生成器和判別器2 個子網絡組成，通過兩者的對抗學習提升網絡能力，其中生成器采用U-Net 結構，在瓶頸處前后建立高低層次的捷徑連接，將真值圖作為輸入，在生成時起約束作用。

本文所提出的單幅圖像去雨霧框架將傳統先驗知識與深度學習方法有效結合，針對性地為不同恢復目的設計了具體算法和網絡結構。

4 實驗與分析

為驗證本文方法的有效性，在合成數據集和真實數據集上進行了對比實驗，選取pix2pix［32］、RESCAN［22］、DAF-Net［3］等3 個已公開源代碼的方法并進行對比。此外，還分析了本框架中間階段的處理結果，以證明各階段設計的有效性。

4.1 合成雨霧數據集

在現實中，同一取景地在雨前雨后難免存在場景物體變動（如行人移動、云層漂移、林葉位移等），且在不同時段拍攝的照片也難以保持相機參數在不同場景光下的成像色彩相近，因此構造純粹真實的雨霧數據集難以實現，通常做法是采用一定的算法在干凈真值圖中合成雨霧環境，本實驗采用此類合成數據集進行訓練和評估。

常用于去雨訓練的較新數據集有Rain 100、Rain 800、NYU-Rain 和RainCityscapes。前二者只加入了雨痕，且雨痕類型較少，難以與真實場景近似；NYU-Rain 采用深度圖合成雨痕和雨積累，但雨積累層分布過于單一，雨痕類型較少；RainCityscapes 同樣采用深度圖合成雨霧圖，在Cityscapes 高質量街景圖的基礎上添加了12 種不同方向和密度的雨痕，有3 種強度霧層，濃度分布取決于場景深度，經實驗測試，參與人員對該數據集的真實度評分非常接近真實雨天照片［3］，見圖3。

為有效解決糟糕天氣下雨霧圖的恢復問題，同時使含有雨和霧元素且場景細節更豐富的RainCityscapes 數據集更適合作為本文方法的訓練和測試數據，以驗證本文方法對雨霧等干擾介質的高效去除能力。

圖6 各合成數據集中的樣圖Fig.6 Sample images in each synthetic dataset

4.2 合成數據集對比實驗

4.2.1 評估準則及結果

采用峰值信噪比（PSNR）與結構相似性（SSIM）［42］2 個指標進行量化評估，將無雨干凈場景圖作為評判的真值，統計所有測試結果的表現。由于PSNR 是面向像素的計算指標，其數值不一定與圖像品質直接掛鉤，以往實驗也證明，存在PSNR 較低但主觀評價良好的結果，因為人眼視覺是對圖像整體感知做出的評判而非基于逐個像素。SSIM 評價方法基于結構相似理論，認為自然圖像信號是高度結構化的，在空間上具有相關性，因此，圖像中場景和物體均具有一定的結構性，在對比圖像質量時應考慮其結構信息。

盡管以上指標具有一定局限性，但一般來說，PSNR 和SSIM 越高，輸出圖與真值圖越接近。

上述去雨霧方法在Cityscapes 測試集上PSNR與SSIM 的平均值見表1。由表1 可知，本文方法的PSNR 和SSIM 平均值均有更出色的表現。

表1 各方法在Cityscapes 測試集上PSNR 和SSIM的平均值Table 1 The average performance of PSNR and SSIM of different methods on dataset Cityscapes

4.2.2 可視化結果

圖7 展示了pix2pix、RESCAN、DAF-Net 和本文方法4 種去雨霧方法的實驗結果。輸入圖和輸出圖的像素為1 024×2 048，為便于展示，對圖像進行裁剪。其中，本文方法在顏色保持、細節恢復、雨痕和雨霧去除方面均有更好的表現，對于濃霧區域和物體邊界，本文方法也較少出現因光暈和模糊帶來的失真，能有效保留圖像結構。由圖7 可知，本文方法恢復的場景較pix2pix、RESCAN、DAF-Net 3 種方法更干凈。

圖7 合成數據集測試結果對比Fig.7 Comparison of synthetic dataset test results

4.3 真實雨霧圖實驗

為展示本文方法對真實雨霧照片的魯棒性，選取Google 搜索結果中質量較高的街景雨霧圖進行實驗（利用Cityscapes 數據集訓練測試所用模型），見圖8。由于所獲得的真實圖像大小各異，與訓練輸入數據不匹配，且雨痕形態與訓練所用數據集存在差異，因此，人眼感知不如合成數據集測試結果干凈，但仍能有效地去除場景中的大部分雨霧。

由圖8 可知，本文方法在真實數據上依舊具有顯著的去雨霧恢復效果，較好地去除了真實圖像中的雨痕和霧（雨積累），場景中的街道和人物更接近無雨情況。實驗證明，本文方法能在真實測試集上提供更干凈清晰的輸出圖，也便于其他圖像處理和模式識別算法的后續操作。

圖8 本文方法在真實圖像集上的測試結果Fig.8 Test results of our method on real images

4.4 各階段設計分析

第1 階段，利用暗通道先驗知識對輸入圖的低頻部分進行去霧；第2 階段，將經去霧的圖像輸入殘差網絡學習雨痕特征，去除場景中隨機分布的雨痕；第3 階段，采用GAN 網絡修復圖像細節、填補被過分遮擋的場景。各階段的恢復目的不同，具有針對性。從去除雨霧的恢復目標看，第1 階段和第2 階段去除任務不同，不可移除。從實驗結果看，第3 階段確實能提高圖像與真值的PSNR 和SSIM值，具有修復作用。圖9 為第2 和第3 階段的輸出圖和真值圖的PSNR 比較，可見，第3 階段的cGAN能整體提高輸入圖與真值圖的細節相似性。

圖9 本文框架第2 和第3 階段輸出比較Fig.9 Comparison of the output of the 2nd and 3rd stages

為更直觀地展現各階段算法設計的意義，圖10給出了輸入圖像在中間各階段的輸出結果對比，結果表明，本框架各階段設計具有必要性。

圖10 本文框架中間階段輸出Fig.10 The intermediate stage output of our framework

針對圖像低頻部分的暗通道先驗去霧范圍較大問題，雖一定程度上能恢復圖像色彩，但因未施加限制條件，圖像整體顏色與真值圖不符，且仍存在殘留霧的遮擋區域。殘差網絡雖在相當大程度上去除了圖像高頻雨痕，但在場景細節稀疏區域仍有殘留，同時第1 階段的霧遮擋也未能去除。cGAN 在第3 階段很好地修復和填補了第1 和第2 階段遺留的問題，精細化地恢復了干凈場景。因此，本文框架的各階段設計具有合理性。

4.5 方法缺陷

盡管當前實驗結果表明，本文方法在雨霧去除上表現優越，但實驗中，仍有許多人眼視覺評價極佳但PSNR 值偏低的輸出，拉低了整體的平均水平。原因在于在部分極端輸入樣例中，過度濃厚的霧對圖像真實場景造成完全性遮擋（如圖11 所示）。

圖11 過度濃厚的霧完全遮擋建筑物Fig.11 Excessively thick fog may completely obscures the buildings in test images

本文方法雖然在第1 階段對霧遮擋進行了去除，但僅靠傳統先驗知識無法恢復整體場景結構，因此造成場景丟失。且由于遮擋區域范圍過大，第3階段的cGAN 無法大規模修復此類區域，即使能從訓練提取的特征中感知地填補一些紋理，但其生成的像素仍為脫離真值的隨機構圖，像素顏色和物體結構易偏離，無論是人眼視覺還是評估指標均得不到有效提升。

在改進方向上，從圖像修復［37，43］技術入手，將此類區域的丟失信息視作遮擋區域的填充問題（如圖12 所示），通過在損失函數中加入與圖像邊緣或與結構有關的條件，實現對丟失區域的填補，從而提高圖像修復質量。

圖12 圖像修復技術［44］Fig.12 Image inpainting

此外，由圖8 可知，當雨滴直徑較小時，真實雨霧環境中雨累積（霧）與雨痕區別模糊，本文的高低頻分離方法并不能完全給出雨和霧的界限，從而使雨痕殘差網絡無法解決余霧問題，需要通過第3 階段的修復提升雨霧殘留區域圖像的質量，可從加強細節修復網絡角度進行改進。

最后，盡管本文所設計的3 階段框架各有針對性，但在實際應用中仍不夠高效，且缺乏整體性。今后通過充分運用先進的深度網絡結構，整合可復用的模塊，以減少整體網絡的計算量和體量，甚至將其移植至移動設備，實現更多應用。

5 展望和設想

本文工作的出發點在于，現有去雨工作往往忽視霧層對雨天圖像的影響，通常僅采用針對雨痕特征的方法除雨，使得在真實數據集上難以有優越的表現。因此，后續研究應注重考量自然成像的物理因素和圖像特性，并將兩者納入模型構造。除此之外，現有的雨霧綜合數據集仍較少，且未考慮霧在空間的濃度分布，HU 等［3］提供的合成雨霧數據集已能較好地模擬真實雨天場景，但仍缺少雨滴、地面積水等自然場景元素。由于同一取景地雨前雨后難免存在場景物體變動，獲取真實雨霧數據集是一項難以完成的任務，若能充分利用現有科技手段模擬拍攝雨霧環境，構造含雨霧圖和真值圖的數據集，則能對本領域的研究做出重大貢獻。

因此，單幅圖像去雨霧技術仍有很大研究空間，無論是更高效的算法或是更真實的合成數據集，均有拓展的可能。同時，去雨霧技術還可推廣至如霾、雪、冰雹、沙塵等更多同類型的天氣場景，本文的單幅圖像去雨霧技術對基于視頻的同類研究、單幅低質量圖像的恢復等亦有指導和借鑒意義。