基于光照估計和快速引導(dǎo)濾波的夜間圖像去霧算法

段柳

（四川大學(xué)計算機學(xué)院，成都610065）

0 引言

夜間有霧低照度條件下，由于人造光源、霧霾、捕獲設(shè)備等因素的影響，圖像采集設(shè)備所捕獲的圖像常伴隨低光照、光照不均勻、對比度下降、顏色失真、部分信息丟失等情況，嚴(yán)重影響戶外計算機視覺系統(tǒng)的應(yīng)用，如視頻監(jiān)控、目標(biāo)識別、智能交通分析及自動駕駛等。因此，復(fù)原夜間圖像對計算機視覺系統(tǒng)有著重要的研究價值。

目前對于夜間霧天圖像去霧主要有以下研究：Pei等人[1]提出一種基于顏色轉(zhuǎn)換和暗原色先驗的方法，首先利用顏色轉(zhuǎn)換技術(shù)作為夜間圖像去霧的預(yù)處理，把顏色映射到白天有霧圖像中，然后利用改進(jìn)的暗通道先驗方法去霧，由于顏色轉(zhuǎn)換沒有使用有效的物理模型，導(dǎo)致復(fù)原后的顏色不真實。Zhang 等人[2]引入一種新的夜間霧天圖像退化模型，模型中首次考慮了夜晚圖像的不均勻光照和顏色失真現(xiàn)象，并利用Retinex 和暗原色先驗等技術(shù)反解該模型得到復(fù)原圖像，該方法的處理結(jié)果真實自然，對比度明顯提升，但在人造光源區(qū)域存在輝光現(xiàn)象。Li 等人[3]把人造光源加入到大氣散射模型中，該算法首先利用基于相對平滑約束的層次分解算法分離并去除輝光項，然后采用暗原色先驗進(jìn)行去霧。該方法對因輝光較大遮擋住圖像細(xì)節(jié)的夜晚霧天圖像有很好的適應(yīng)力，但在噪聲抑制方面處理欠佳。Zhang 等人[4]通過對大量白天無霧圖像塊進(jìn)行統(tǒng)計并提出最大反射先驗理論，利用其進(jìn)行夜間圖像去霧，該算法處理結(jié)果整體偏暗且存在很大的噪聲。Yang 等人[5]將超像素分割引入大氣光和透射率的估計中，使圖像保留更多的細(xì)節(jié)信息，但處理結(jié)果仍存在噪聲被放大的問題。

綜上分析，本文提出了一種基于光照估計和快速引導(dǎo)濾波的夜間圖像去霧算法，包括四個步驟：輝光分解、圖像增強、亮度補償、去噪。實驗表明，本文提出的算法具有很好的夜間霧天圖像清晰化效果，使去霧后的圖像整體協(xié)調(diào)自然，細(xì)節(jié)更加豐富。

1 夜間霧天模型

1.1 Retinex理論

Retinex 理論認(rèn)為人眼對物體亮度的感知取決于照明環(huán)境和物體表面對照射光的反射，將原圖像看成是照射光分量和反射光分量的組成，這一過程可由圖1描述，其中照射光分量會影響圖像整體的亮度，對圖像的動態(tài)范圍起決定性作用，反射光分量表示圖像中目標(biāo)本來的細(xì)節(jié)信息，如式（1）：

圖1 Retinex 原理圖

其中I（x）表示相機捕獲的圖像，L（x）表示照射分量，R（x）表示反射分量。

1.2 新模型

我們注意到在夜間霧天環(huán)境中，夜晚環(huán)境光占主導(dǎo)因素，周圍環(huán)境的可視度較低。在某些情況下環(huán)境光的存在致使我們看不見附近的物體，為了提高可視性，首先要盡可能消除人造光源的影響。于是在Retinex 理論的基礎(chǔ)上引入人造光源發(fā)光因子項建立新模型，如圖2 所示。

圖2 基于Retinex的夜晚霧天新模型

由新模型可知，捕獲的圖像由兩部分組成，即去掉輝光層的新霧天圖像（Iˉ(x)）和發(fā)光因子項圖像（G(x)），I(x)為相機所捕獲的圖像。借此本文提出的算法步驟為：首先進(jìn)行輝光層分解盡最大可能減少人造光的影響，其次針對低光照問題進(jìn)行圖像增強，伽馬光補償，最后利用快速引導(dǎo)濾波進(jìn)行保邊去噪得到最終結(jié)果，算法流程圖如圖3 所示。

圖3 本文算法基本流程圖

2 新模型求解

2.1 輝光層分離

由公式（2）可知捕獲的場景圖由新霧天圖像和輝光層圖像兩部分構(gòu)成，所以去除夜晚輝光G（x）就變成層分離問題。夜間霧霾下的發(fā)光具有“短尾”效應(yīng)，并且輝光圍繞光源多次散射后逐漸平穩(wěn)，因此我們可以利用這種平滑特性和“短尾”效應(yīng)建立模型，使目標(biāo)函數(shù)層分離出來，環(huán)境光層光滑，把較大梯度的光留在新霧天圖像中：

其中f1,2是雙向一階導(dǎo)數(shù)濾波器，f3是二階拉普拉斯濾波器，計算符“*”表示卷積，第二項G 使用?2范數(shù)正則化來處理環(huán)境光的梯度，由于G(x)=I(x)-Iˉ(x)，這將促使環(huán)境光層能夠平滑的輸出，第一項使用魯棒函數(shù)r（s）=min（s2,i），該函數(shù)將保留輸入圖像在得到的新霧天圖像中最大梯度的存在。同時還增加了一個不等式約束來確保解決方案處于適當(dāng)?shù)姆秶鷥?nèi)，然而由于這個約束被獨立的應(yīng)用于每個顏色通道，在對夜間霧霾圖像測試時，易導(dǎo)致顏色的偏移。受顏色恒常性假設(shè)的啟發(fā)，添加了第二個約束條件來控制顏色的偏移問題。將兩個約束條件結(jié)合在一起，就可以得到具有較少的顏色偏移的環(huán)境光的分離結(jié)果，式（4）可通過Li等人[7]提出的半二次分解算法來進(jìn)行求解，分離出的環(huán)境光如圖4 所示。

從實驗結(jié)果圖4 可以看出，輸入的夜間圖像在去除圖4（b）輝光層后，展現(xiàn)了圖像更多的細(xì)節(jié)信息，圖像整體的清晰度也得到了提高，圖4（c）分別是兩組圖像輝光層分離后得到的新霧天圖像。

圖4 輝光層分離結(jié)果圖

2.2 圖像增強

得到的新霧天圖像具有低照度特性，利用Guo 等人[6]對低照度圖像的思考進(jìn)行圖像增強，該方法建立在Retinex 基礎(chǔ)之上，表示為：

Iˉ表示去除輝光層的新霧天圖像，R 表示理想中得到的圖像，L（L?）表示光照圖，運算符“*”表示各元素相乘。在該算法中，對于彩色圖像，三個顏色通道假設(shè)使用相同光照圖，用L（L?）來同時表示單通道和三通道，在式（5）中新的霧天圖像分解為兩部分，希望得到的復(fù)原圖像和光照圖。我們的目的僅是增強低光照圖像，所以求出L 才是關(guān)鍵因素，Iˉ/L 就是我們最終所求結(jié)果。

（1）光照估計

我們采用局部估計法來獲得更準(zhǔn)確的局部光照圖，表示如下：

對于每一個像素點x，亮度值是在某一確切位置三通道的最大值，得到的L?(x)確保了復(fù)原結(jié)果不會飽和，因此：

為了避免分母為零，e 是一個很小的常數(shù)。

這些改進(jìn)中的大多數(shù)方法皆是通過考慮目標(biāo)像素周圍小區(qū)域內(nèi)的相鄰像素來估計照明的局部一致性。為了同時保留整體結(jié)構(gòu)特征和平滑紋理細(xì)節(jié)，依據(jù)最初的光照圖，可通過以下公式求解：

a 是平衡這兩項的系數(shù)，‖ ‖*F和‖ ‖*1分別是Frobenious 和?1范式。W 是權(quán)重矩陣，?L 是一階導(dǎo)濾波器，它包括水平方向的?hL 和垂直方向的?vL。在式（8）中，第一項關(guān)注的是初始光照圖和改進(jìn)后L 的保真度，第二項關(guān)注的是平滑結(jié)果。

細(xì)看式（8），最初的迭代進(jìn)程是稀疏加權(quán)梯度項‖ ‖W °?L1，范數(shù)?1與L 上的梯度同時運算使其有些復(fù)雜。顯然下面的關(guān)系是成立的：

雖然目標(biāo)函數(shù)與原始函數(shù)相比發(fā)生了變化，但從初始照明估計T?中提取照明結(jié)構(gòu)的目標(biāo)與原始圖像一致。當(dāng)很小時，值會被抑制。換句話說，目標(biāo)L 被約束以避免產(chǎn)生初始照明梯度圖中的小幅度梯度。相反，當(dāng) ||?dL?(x) 值很大時，上述抑制會減弱。

問題式（10）僅涉及二次項，可通過以下方式求解：

（2）權(quán)重選擇

對于初始光照圖的結(jié)構(gòu)性修復(fù)，權(quán)重W 的設(shè)計很關(guān)鍵。受相對總變分（RTV）的啟發(fā)，權(quán)重可通過以下方式設(shè)置：

Gs（x,y）由高斯核和標(biāo)準(zhǔn)差s 產(chǎn)生，表示為：

Dist（x,y）函數(shù)用于測量空間歐幾里德距離。我們知道，不同于RTV，此處的權(quán)重矩陣是根據(jù)L?構(gòu)造的，而不是利用L 迭代更新，這意味著W 只需計算一次。

根據(jù)重新定義的光照圖T，我們可通過式（3）恢復(fù)R，效果如圖5（c）所示，與圖5（b）相比，利用光照估計后得到的實驗結(jié)果圖細(xì)節(jié)信息更加突出。了多張具有代表性的圖片，利用剛提到的三種先進(jìn)的夜間去霧算法與文本算法進(jìn)行實驗對比，實驗結(jié)果如圖6。

圖5 整個算法處理結(jié)果圖

2.3 亮度補償

在去除輝光層，利用光照估計的方法進(jìn)行圖像增強后，仍存在圖像整體亮度偏暗問題，因此，利用伽馬矯正方法來提高圖像整體亮度，表示如下：

通過對比圖5（c）和（d）我們可以看出，亮度補償后的圖像在暗區(qū)域的細(xì)節(jié)信息得以更加突出，整體視覺效果也得到了改善。

2.4 快速引導(dǎo)濾波

我們發(fā)現(xiàn)圖像去除輝光層、利用光照估計算法增強、伽馬光補償后，仍存在一定的噪聲，針對這一問題，通過采用具有保邊去噪效果的濾波算法進(jìn)行細(xì)化處理。為了在去噪的同時提高算法效率，本文采用了He等人[10]提出的快速引波濾波算法圖5（e）為利用快速引導(dǎo)濾波的處理結(jié)果，從圖中可以看出，相比原夜晚霧天圖像，噪聲得到極大抑制。

3 實驗結(jié)果與分析

3.1 主觀評價

為了進(jìn)一步說明本文算法的有效性，從網(wǎng)上收集

圖6 本文算法與三種算法的夜間去霧結(jié)果對比圖

從實驗結(jié)果對比圖6 我們可以看出，Zhang 算法1去除了夜晚霧霾圖像大部分霧霾和一些人造光，但光源周圍仍存在可見的輝光偽影以及被放大了的噪聲。Li 算法消除了大部分人造光源的影響，但仍存在噪聲被放大的特點。Zhang 的另一算法2 雖比他之前提出的效果好，但仍沒有解決輝光偽影問題，并存在噪聲放大、圖像整體亮度偏暗的問題。本文提出的算法很好地避免了并不適用于夜晚的白天大氣成像模型和基于白天高清無霧提出的暗通道先驗方法，利用以Retinex為基礎(chǔ)的增強方法，并考慮了輝光現(xiàn)象、亮度以及噪聲問題，可以很好地解決夜晚圖像去霧問題。同時我們分別對部分圖像處理結(jié)果進(jìn)行局部放大處理，如圖6，通過對比局部放大區(qū)域，可以發(fā)現(xiàn)對比其他三種方法，本文算法處理結(jié)果細(xì)節(jié)更突出，并有效抑制了噪聲。

3.2 客觀評價

為了客觀說明去霧結(jié)果的優(yōu)劣，本文采用了4 種客觀評價標(biāo)準(zhǔn)進(jìn)行驗證，即無參考的霧感知濃度指標(biāo)（Fog Aware Density Evaluator，F(xiàn)ADE）、平均梯度、標(biāo)準(zhǔn)差和信息熵。FADE 值越小代表圖像霧密度越低，去霧效果較好。平均梯度反映了圖像的清晰度和紋理變化，平均梯度越大說明圖像越清晰，標(biāo)準(zhǔn)差反映了圖像像素值與均值的離散程度，數(shù)值越大說明對比度越高，圖像質(zhì)量越好。信息熵反映圖像信息量，值越大，表明圖像信息越多。

根據(jù)上述4 個評價指標(biāo)，表1-4 分別給出了基于圖6 各算法的評價結(jié)果，表中加粗部分為各評價結(jié)果對應(yīng)的最優(yōu)分值。

由表1 可知，四種算法FADE 值均小于輸入圖像，表明在一定程度上進(jìn)行了去霧操作，Li 等人算法的處理結(jié)果優(yōu)于Zhang 等人提出的兩種算法，這是因為Li算法針對夜間霧天圖像進(jìn)行了輝光去除，有效避免了人造光對圖像去霧的阻礙。本文算法FADE 值取得最優(yōu)結(jié)果，這是由于在去除輝光的同時還進(jìn)行了圖像增強、伽馬光補償和快速引導(dǎo)濾波去噪等處理，使得本文算法相比其他三種算法結(jié)果更優(yōu)。

由表2-4 可知，與原有霧圖像相比，經(jīng)各算法處理結(jié)果后的圖像在各個評價指標(biāo)上均得到不同程度的提升。其中本文算法的去霧結(jié)果在平均梯度、標(biāo)準(zhǔn)差上皆明顯優(yōu)于Zhang 算法和Li 算法，在信息熵上明顯優(yōu)于Li 算法，略優(yōu)于Zhang 算法。由此更加客觀地說明利用本文算法進(jìn)行夜間圖像去霧能得到細(xì)節(jié)更清晰的無霧圖像。

表1 圖6 中各算法去霧結(jié)果的FADE 值客觀評價

表2 圖6 中各算法去霧結(jié)果的平均梯度客觀評價

表3 圖6 中各算法去霧結(jié)果的標(biāo)準(zhǔn)差客觀評價

表4 圖6 中各算法去霧結(jié)果的信息熵客觀評價

4 結(jié)語

本文提出了一種基于光照估計和快速引導(dǎo)濾波的單幅夜間霧天圖像去霧算法。首先針對夜間輝光效應(yīng)可能造成圖像信息被嚴(yán)重遮擋的問題，進(jìn)行輝光層的分解以提升圖像清晰度，接著對夜晚低能見度問題在Retinex 基礎(chǔ)上通過估計光照圖進(jìn)行圖像增強，從而避免使用并不適用于夜晚的在白天基礎(chǔ)上總結(jié)的暗原色先驗規(guī)律，然后對圖像整體進(jìn)行光補償，最后對圖像中存在的噪聲利用快速引導(dǎo)濾波進(jìn)行處理，在抑制噪聲的同時還提高了效率。將本文提出的算法與多種先進(jìn)的夜間去霧算法進(jìn)行實驗對比，主客觀分析，驗證了本文算法的優(yōu)越性。但本文算法仍有待進(jìn)一步完善，夜間圖像成像模型條件復(fù)雜，本文建立的新模型將其劃為兩大部分，但在實際場景中會更細(xì)雜，因此在對夜間圖像成像模型的構(gòu)建上可做更加深入的研究。