圖像去霧算法研究進(jìn)展

賀長(zhǎng)秀

（中國(guó)人民解放軍63636部隊(duì)，酒泉732750）

0 引言

霧霾天氣條件下，戶外采集的圖像會(huì)受到空氣中懸浮微粒（水蒸氣或煙塵）的影響而降質(zhì)，這是由于光線在空氣傳播過(guò)程中受到微粒的散射和吸收作用，導(dǎo)致目標(biāo)場(chǎng)景表面的反射光衰減，同時(shí)大氣環(huán)境光受懸浮微粒的散射而混入到成像光路中，使得戶外采集到的圖像出現(xiàn)模糊、顏色退化、對(duì)比度下降等現(xiàn)象。這些缺陷會(huì)嚴(yán)重影響室外計(jì)算機(jī)視覺(jué)系統(tǒng)的工作性能。因此，針對(duì)霧霾圖像研究圖像去霧技術(shù)對(duì)計(jì)算機(jī)視覺(jué)系統(tǒng)的應(yīng)用有著重要意義。

圖像去霧算法是通過(guò)一定的技術(shù)或手段對(duì)霧天圖像進(jìn)行處理，去除圖像中霧的遮擋和干擾，得到對(duì)比度、顏色和細(xì)節(jié)等各方面都滿意的圖像。目前現(xiàn)有的圖像去霧算法可分為三類：基于圖像增強(qiáng)的方法、基于物理模型的方法和基于深度學(xué)習(xí)的方法。

1 基于圖像增強(qiáng)的方法

基于圖像增強(qiáng)的去霧方法是從圖像的特征出發(fā)，通過(guò)利用或改進(jìn)傳統(tǒng)的增強(qiáng)算法來(lái)改善霧天圖像的對(duì)比度和顏色信息，以此來(lái)達(dá)到去霧的目的。常用的圖像增強(qiáng)算法有直方圖均衡化、同態(tài)濾波、小波變換和基于Retinex 的算法[1]。圖1 展示了利用傳統(tǒng)圖像增強(qiáng)方法進(jìn)行去霧的例子。從圖1 中可以看出，處理后的霧天圖像對(duì)比度得到了提升，但是整體去霧效果不自然。這是由于基于圖像增強(qiáng)的去霧方法沒(méi)有考慮到霧天圖像降質(zhì)的原因，僅從圖像特征出發(fā)，來(lái)改善對(duì)比度和顏色信息，在增強(qiáng)過(guò)程中忽略了圖像中場(chǎng)景的深度信息，導(dǎo)致增強(qiáng)后的圖像在景深跳躍的區(qū)域不自然，不是實(shí)質(zhì)意義上的去霧處理。

圖1 傳統(tǒng)圖像增強(qiáng)方法應(yīng)用于霧天圖像的處理結(jié)果

2 基于物理模型的方法

基于物理模型的圖像去霧方法是從霧天圖像降質(zhì)或退化的機(jī)理出發(fā)，研究可以描述霧天圖像退化的物理模型，進(jìn)而通過(guò)估計(jì)模型中的未知參數(shù)，來(lái)反演降質(zhì)過(guò)程，最終復(fù)原出無(wú)霧清晰的圖像。目前，此類方法中使用較多的是大氣散射模型，該模型最先由McCartney等人[3]根據(jù)米氏大氣散射理論提出，后續(xù)Narasimhan 和Nayar[4]進(jìn)行推導(dǎo)得到的。如圖2 所示，大氣散射模型描述的是采集設(shè)備接收到的圖像可由兩部分組成，一部分是目標(biāo)場(chǎng)景的反射光在大氣傳播過(guò)程中經(jīng)過(guò)懸浮粒子衰減后到達(dá)接收設(shè)備，另一部分是光路周圍的大氣光經(jīng)過(guò)懸浮粒子的散射混入到了成像光路，與目標(biāo)場(chǎng)景的反射光一起到達(dá)接收設(shè)備。在數(shù)學(xué)上，可用如下公式表示：

式（1）中，I(x)為觀察到的圖像，即霧天圖像，t(x)為透射率，A為大氣光，J(x)為復(fù)原后的無(wú)霧圖像。式（1）右側(cè)有兩部分組成，J(x)t(x)表示直接衰減項(xiàng)，描述目標(biāo)場(chǎng)景反射光衰減后的部分，A(1-t(x))表示大氣光項(xiàng)，描述混入到成像光路的部分。圖像去霧的目的是從輸入的霧天圖像I(x)出發(fā)，估計(jì)模型中的未知參數(shù)，復(fù)原無(wú)霧圖像J(x)。根據(jù)目前基于物理模型的去霧方法所基于的假設(shè)或先驗(yàn)，又可將此類方法分為三類：基于深度信息的方法、基于偏振光的方法和基于先驗(yàn)知識(shí)的單幅圖像去霧方法[5]。

2.1 基于深度信息的方法

基于深度信息的方法是通過(guò)一定的方法得到圖像的景深信息，進(jìn)而估計(jì)物理模型中的參數(shù)，進(jìn)而將參數(shù)代入模型，反演得到清晰無(wú)霧的結(jié)果圖像。常用的深度估計(jì)方法有以下幾種，1998 年，Oakley 等人[6]利用雷達(dá)和飛機(jī)的飛行參數(shù)來(lái)估計(jì)場(chǎng)景的深度信息。Nara?simhan 和Nayar 在文獻(xiàn)[7]中提出了一種基于用戶交互方式估計(jì)場(chǎng)景深度的方法。該方法通過(guò)用戶手動(dòng)指定天空區(qū)域和消失點(diǎn)的方法來(lái)得到場(chǎng)景的深度信息。隨后，Narasimhan 和Nayar[8]利用在相同場(chǎng)景不同天氣條件下的兩幅或多幅圖像，通過(guò)相應(yīng)的約束條件，計(jì)算場(chǎng)景的三維結(jié)構(gòu)信息，進(jìn)而復(fù)原得到清晰無(wú)霧的圖像。Kopf 等人[9]利用已經(jīng)場(chǎng)景的三維紋理信息，得到相應(yīng)的深度信息。

雖然基于深度信息的去霧方法可以得到較好的復(fù)原效果，但是此類方法應(yīng)用場(chǎng)景單一，針對(duì)性強(qiáng)，且需要額外的硬件或者用戶交互信息，因此難以推廣和應(yīng)用。

2.2 基于偏振光的方法

霧霾天氣條件下，目標(biāo)場(chǎng)景光線強(qiáng)度隨著場(chǎng)景距離增大而指數(shù)衰減，相應(yīng)的環(huán)境光強(qiáng)度隨著距離增大而指數(shù)增加，通常認(rèn)為接收設(shè)備采集到的光線偏振度大部分是由空氣中散射例子的環(huán)境光造成的。基于這一假設(shè)，Schechner 等人[10]從大氣光的偏振特性出發(fā)，通過(guò)估計(jì)兩幅或多幅圖像在不同偏振方向偏振度、大氣光以及透射率等參數(shù)，進(jìn)而將估計(jì)的參數(shù)代入到降質(zhì)模型中復(fù)原得到清晰的圖像。然而，這些基于偏振光的圖像去霧方法僅適用于薄霧的場(chǎng)景，在濃霧場(chǎng)景下效果較差。

2.3 基于先驗(yàn)知識(shí)或假設(shè)的方法

由于前兩類方法都需要額外的信息或者多幅輸入圖像，在真實(shí)的應(yīng)用場(chǎng)景下很難滿足，因此基于單幅圖像的去霧方法得到更多研究者的關(guān)注。針對(duì)單幅圖像去霧而言，由于僅有輸入的單幅圖像信息可用，因此模型的反演求解屬于病態(tài)問(wèn)題。為了實(shí)現(xiàn)單幅圖像去霧的目的，需要有效的先驗(yàn)知識(shí)或合理的假設(shè)來(lái)估計(jì)模型中的關(guān)鍵參數(shù)，進(jìn)而代入到降質(zhì)模型中進(jìn)行反演復(fù)原得到無(wú)霧圖像。Tan[11]通過(guò)觀察發(fā)現(xiàn)無(wú)霧圖像的對(duì)比度與霧天圖像相比較高，進(jìn)而提出了一種最大化局部對(duì)比度的方法來(lái)達(dá)到去霧的目的。Fattal 等人[12]假設(shè)場(chǎng)景表面陰影與透射率呈統(tǒng)計(jì)不相關(guān)性，然后利用獨(dú)立成分分析（Independent Component Analysis，ICA）的方法來(lái)估計(jì)透射率和大氣光參數(shù)。Tarel 等人[13]首次引入了大氣光幕的概念，并利用快速中值濾波的方法來(lái)對(duì)大氣光幕進(jìn)行估計(jì)，進(jìn)而將估計(jì)的大氣光幕參數(shù)代入到模型中進(jìn)行求解。He 等人[14]通過(guò)對(duì)大量無(wú)霧自然圖像進(jìn)行觀察發(fā)現(xiàn)在大多數(shù)非局部天空局部區(qū)域內(nèi)，總存在一些像素點(diǎn)至少在某個(gè)顏色通道的亮度值很小，甚至?xí)吔?，稱之為暗通道先驗(yàn)規(guī)律（Dark Channel Prior）。數(shù)學(xué)上，暗通道先驗(yàn)規(guī)律可表示為：

式（2）中，Ω(x)為像素點(diǎn)x 的鄰域，Jc為圖像的顏色通道，Jdark為暗通道圖，由暗通道先驗(yàn)理論可得，Jdark趨近于0。He 等人進(jìn)而將暗通道先驗(yàn)理論來(lái)簡(jiǎn)化大氣散射模型，具體的，將模型（1）兩邊進(jìn)行兩次最小值運(yùn)算，可得：

式（3）中假設(shè)透射率在局部塊內(nèi)是恒定不變的，結(jié)合式（2）中的暗通道先驗(yàn)規(guī)律，可對(duì)式（3）進(jìn)行簡(jiǎn)化再推導(dǎo)，可得：

式（4）中可以粗略求出透射率參數(shù)，如果將此粗略透射率直接代入模型中，則會(huì)出現(xiàn)明顯的塊效應(yīng)，嚴(yán)重影響復(fù)原效果。因此，He 等人利用軟摳圖算法來(lái)細(xì)化透射率圖，即求解矩陣方程：

式（5）中L為拉普拉斯稀疏矩陣，λ為參數(shù)，U是和L同樣大小的單位矩陣，為式（4）求出的粗略透射率，t為細(xì)化后的透射率圖。

由于該方法簡(jiǎn)單有效，迅速被國(guó)內(nèi)外研究者關(guān)注。然而，軟摳圖細(xì)化透射率圖的方法復(fù)雜度較高，耗時(shí)較大，因此，He 等人隨后又提出了導(dǎo)向圖濾波（Guid?ed Image Filter，GIF）[15]來(lái)細(xì)化透射率圖，大大提高了算法的執(zhí)行效率。然而，該方法在某些場(chǎng)景下會(huì)失效，如含有大片天空區(qū)域的霧天圖像。當(dāng)輸入的霧天圖像中含有大片天空區(qū)域時(shí)，暗通道先驗(yàn)規(guī)律不成立，導(dǎo)致基于暗通道先驗(yàn)的方法在對(duì)此類圖像處理時(shí)會(huì)出現(xiàn)顏色失真，噪聲放大等現(xiàn)象。后續(xù)研究者針對(duì)該方法的缺陷也提出了一系列的改進(jìn)算法。

近年來(lái)，一些有效的先驗(yàn)知識(shí)被先后提出，如顏色衰減先驗(yàn)（Color Attenuation Prior，CAP）[16]、霧線先驗(yàn)（Haze-lines Prior）[17]等。圖3 是利用不同先驗(yàn)知識(shí)得到的去霧結(jié)果圖像。如圖3 所示，基于先驗(yàn)知識(shí)的去霧方法可去除霧氣對(duì)圖像的遮擋，有效改善霧天圖像的視覺(jué)效果。

基于先驗(yàn)知識(shí)的方法目前是傳統(tǒng)圖像去霧領(lǐng)域研究的趨勢(shì)，通過(guò)探索有效的先驗(yàn)知識(shí)來(lái)估計(jì)模型的參數(shù)，便可以很好的復(fù)原圖像。但是，先驗(yàn)知識(shí)的應(yīng)用場(chǎng)景往往受限，其通用性有待進(jìn)一步探究。

圖3 基于先驗(yàn)知識(shí)的圖像去霧方法處理結(jié)果

3 基于深度學(xué)習(xí)的方法

隨著計(jì)算能力的提升和硬件成本的下降，以數(shù)據(jù)為驅(qū)動(dòng)的基于學(xué)習(xí)的圖像去霧方法得到了迅猛的發(fā)展，成為了近年來(lái)主流的方法。特別的，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNNs）和生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GANs）[18]已成功應(yīng)用于圖像去霧領(lǐng)域。Cai 等人[19]首次嘗試?yán)肅NN 來(lái)構(gòu)造端到端的去霧網(wǎng)絡(luò)，實(shí)現(xiàn)從輸入單幅霧天圖像到透射率圖之間的映射。Ren 等人[20]提出了一種多尺度CNN 去霧網(wǎng)絡(luò)，包括兩個(gè)子網(wǎng)絡(luò)，分別用于粗略估計(jì)透射率圖和細(xì)化透射率圖。隨后，Li 等人[21]通過(guò)推導(dǎo)大氣散射模型公式，將透射率和大氣光兩個(gè)參數(shù)進(jìn)行合并，統(tǒng)一到一個(gè)參數(shù)中，并構(gòu)造了一體化CNN 去霧網(wǎng)絡(luò)，實(shí)現(xiàn)從輸入單幅霧天圖像到無(wú)霧圖像之間的映射。基于GAN 網(wǎng)絡(luò)，Li 等人設(shè)計(jì)了條件生成對(duì)抗式去霧網(wǎng)絡(luò)，實(shí)現(xiàn)霧天圖像到透射率之間的映射。Zhu 等將可微編程的思想與生成對(duì)抗網(wǎng)絡(luò)進(jìn)行結(jié)合用于圖像去霧領(lǐng)域。Pan 等人[22]為了求解通用的圖像復(fù)原問(wèn)題，將GAN 網(wǎng)絡(luò)與物理模型進(jìn)行結(jié)合，改進(jìn)了GAN 網(wǎng)絡(luò)的結(jié)構(gòu)，成功應(yīng)用于圖像去霧、去噪、超分辨以及去模糊任務(wù)。基于深度學(xué)習(xí)的方法由于需要大量配對(duì)的霧天和無(wú)霧圖像作為訓(xùn)練數(shù)據(jù)，現(xiàn)有的方法通常是利用物理模型通過(guò)設(shè)計(jì)不同的參數(shù)值來(lái)得到仿真的霧天圖像。由于真實(shí)的配對(duì)數(shù)據(jù)很難獲取，基于循環(huán)一致性的生成對(duì)抗網(wǎng)絡(luò)（CycleGAN）[23]應(yīng)運(yùn)而生，該網(wǎng)絡(luò)的所需的訓(xùn)練數(shù)據(jù)無(wú)需成對(duì)出現(xiàn)，大大放松了基于深度學(xué)習(xí)的方法對(duì)訓(xùn)練數(shù)據(jù)集的限制。

基于深度學(xué)習(xí)的圖像去霧方法目前是該領(lǐng)域研究的主流，此類方法通過(guò)大量的仿真霧天數(shù)據(jù)集進(jìn)行學(xué)習(xí)得到的網(wǎng)絡(luò)結(jié)構(gòu)在應(yīng)用于仿真霧天圖像時(shí)可以得到很好的去霧效果，但應(yīng)用于真實(shí)霧天圖像時(shí)往往效果欠佳，這是由于仿真的霧天圖像無(wú)法有效如實(shí)反映真實(shí)霧天圖像的霧霾分布。

圖4 為基于深度學(xué)習(xí)的去霧方法得到的處理結(jié)果。如圖4 所示，基于深度學(xué)習(xí)的方法在應(yīng)用于真實(shí)霧天圖像時(shí)會(huì)出現(xiàn)過(guò)飽和或去霧不徹底的現(xiàn)象。

圖4 基于深度學(xué)習(xí)的去霧方法處理結(jié)果

4 結(jié)語(yǔ)

本文針對(duì)近年來(lái)圖像去霧算法的研究進(jìn)展進(jìn)行了綜述，其中包括基于圖像增強(qiáng)的方法，基于物理模型的方法和基于深度學(xué)習(xí)的方法，并闡述了各自的優(yōu)缺點(diǎn)。圖像去霧領(lǐng)域的發(fā)展對(duì)戶外計(jì)算機(jī)視覺(jué)系統(tǒng)的應(yīng)用具有重要的意義。然而，該領(lǐng)域仍存在一些難點(diǎn)亟待解決。

（1）物理模型的準(zhǔn)確性。目前廣泛使用的大氣散射模型僅考慮空氣中粒子的單散射作用，忽略了粒子與粒子之間的再次散射影響。此外，現(xiàn)有的物理模型也基于大氣中懸浮粒子具有空間不變性的假設(shè)，而真實(shí)的霧霾天氣往往更加復(fù)雜，不一定滿足現(xiàn)有模型的假設(shè)條件。

（2）算法的實(shí)時(shí)性。目前現(xiàn)有的大多數(shù)算法均關(guān)注圖像去霧的效果，而對(duì)算法的執(zhí)行效率和處理時(shí)間研究的較少，算法的可實(shí)時(shí)性對(duì)計(jì)算機(jī)視覺(jué)系統(tǒng)的應(yīng)用具有很大的影響，在保證效果的前提下提高算法的處理效率，使其可以實(shí)時(shí)應(yīng)用于戶外視覺(jué)系統(tǒng)是未來(lái)的研究方向。

（3）圖像去霧算法的客觀評(píng)價(jià)標(biāo)準(zhǔn)。目前現(xiàn)有的算法在進(jìn)行對(duì)比時(shí)，客觀評(píng)價(jià)指標(biāo)無(wú)法全面的評(píng)價(jià)算法性能，只能反映單方面的優(yōu)劣，因此，研究針對(duì)圖像去霧算法的客觀評(píng)價(jià)指標(biāo)有利用該領(lǐng)域的發(fā)展。