基于自適應大氣光校正的圖像去霧方法

全 雪 峰

(南陽醫學高等專科學校衛生管理系 河南 南陽 473061)

0 引 言

霧霾天氣下拍攝的戶外圖像模糊不清，直接影響圖像在視頻監控、目標識別、智能交通等方面的應用，因此霧霾圖像清晰化處理至關重要。

目前主流的圖像去霧技術可以分為兩大類：一類是基于圖像增強的方法，另一類是基于物理模型的方法[1]。前者包括直方圖均衡化[2]和Retinex算法[3]，這類方法通過提高有霧圖像的對比度或突出圖像特征來實現圖像清晰化，但是容易造成圖像細節丟失；后者通過研究大氣懸浮顆粒對光的散射作用，建立霧天圖像的物理模型[4]，進一步反演恢復出清晰圖像。基于同一場景下有霧圖像的對比度比無霧圖像的對比度低這一先驗知識，Tan[5]提出最大化有霧圖像的局部對比度來實現去霧目的，但是存在去霧圖像顏色失真問題。Kim等[6]通過最小化代價函數來提高圖像對比度，但存在去霧后圖像的細節信息丟失等問題。Fattal[7]假設入射光強度與物體表面反射特性不相關，計算透射率并求出去霧圖像, 但對濃霧圖像去霧效果不佳。Tarel等[8]利用中值濾波估計大氣散射函數實現圖像去霧，其去霧效果一般。He等[9]提出暗通道先驗算法并獲得了良好的去霧效果，但不適于天空區域，而且由

于使用了軟摳圖致使算法處理速度較慢，不適合實時處理。導向濾波算法[10]雖然解決了軟摳圖實時性能不好的問題，但是恢復圖像仍然存在光暈。針對暗通道先驗算法的不足，人們提出了一些改進算法[11-14]，并取得了一定的效果。

本文針對暗通道先驗算法存在的問題，提出了一種自適應大氣光校正方法，以避免由于大氣光值不準而造成估計的透射率偏差大，導致去霧圖像出現光暈等；提出了一種針對天空等明亮區域的透射率自適應補償方法，使這些區域的色彩失真得以校正。本文提出的算法不需要進行透射率細化。實驗結果表明，本文算法可以有效避免光暈和顏色失真等問題，而且處理速度較快。

1 暗通道先驗去霧算法

1.1 大氣散射模型

在計算機視覺和圖像處理領域，常用下式來描述霧天圖像：

I(x)=J(x)t(x)+A(1-t(x))

(1)

式中：x為圖像像素；A為全球大氣光強度；I表示采集的霧天圖像強度；J表示場景輻射，即去除霧干擾后的清晰圖像強度；t是介質傳輸透射率，在大氣均勻情況下，t(x)=e-βd(x)，這里的β為大氣散射系數，d(x)為場景深度。式(1)表明，在RGB顏色空間若能事先估計出A和t，代入式(1)便可復原出無霧圖像J。

1.2 暗通道先驗去霧基礎

He等[9]通過對大量戶外無霧圖像觀察統計，發現在大多數圖像里，對于非天空區域來說，某些像素至少一個顏色通道其強度非常低，接近于0。基于這一發現，He等提出暗通道概念。對于任意圖像J，其暗通道Jdark由下式給出：

(2)

式中：Ω(x)表示以像素x為中心的一個局部區域 (通常取7×7或15×15的方形矩陣)；Jc表示圖像J的一個顏色通道。如果J為戶外無霧圖像，在天空以外的區域，J的暗通道Jdark的值很小，趨近于0。

假設Ac為大氣光A在c通道的值，局部區域Ω(x)內透射率t(x)不變，式(1)可變形為：

(3)

對式(3)兩邊進行兩次最小運算，可得：

(4)

將式(2)代入式(4)，并由Jdark(x) → 0，可得：

(5)

為了使去霧后的圖像更符合人眼視覺效果，在式(5)中引入參數ω(0≤ω≤1，通常取0.95)，得到：

(6)

將式(6)代入式(1)，得到：

(7)

為防止分母為0，在式(7)中引入常數t0(t0為很小的常數，通常取0.1)，最終的圖像恢復公式如下：

(8)

2 算法設計

本文對暗通道先驗去霧算法進行以下四個方面的改進：(1) 利用四叉樹算法搜索濃霧區域求取大氣光并進行自適應校正；(2) 利用均值濾波代替最小值濾波求取暗通道；(3) 對估計的透射率不再進行細化，而是直接用于圖像恢復；(4) 對去霧圖像的亮度進行調節，以提高輸出圖像的視覺效果。本文算法流程如圖1所示。

圖1 本文算法流程

2.1 估計大氣光值

2.1.1 初步估計大氣光

由式(1)可知，大氣光A在圖像去霧過程起著舉足重要的作用。He等[9]選取暗通道圖中前0.1%的亮度最大的像素，將這些像素對應有霧圖像中像素的最大值作為大氣光值。大氣光應是霧濃度最大的地方，但是最亮點有時并不是霧濃度最大的地方，而可能是場景中的白色汽車等高亮物體，此時仍然選取全局亮度最大值作為大氣光值顯然錯誤。為了準確估計大氣光，基于圖像中天空區域的像素值方差較小，本文采用四叉樹搜索法[6]來初步估計大氣光，方法如下：將原圖像劃分為4個大小相同的矩形區域，記每一區域像素的均值與標準差之差為Score[i] (i=1,2,3,4)，選取Score[i]值最高的區域繼續劃分為4個更小的區域，再次計算Score[i]，如此迭代進行，直到選取區域滿足預先設定的閾值，以最后選取區域的最亮點作為大氣光的初步估計值。具體選擇過程如圖2所示，圖中黑色方塊區域為最終選取的區域，設定的閾值為長×寬=200像素。

圖2 四叉樹搜索算法選擇圖像塊過程

2.1.2 自適應大氣光校正

測試發現，對于一些天空區域較小的圖像，采用文獻[6]的四叉樹搜索法求得的大氣光值往往偏低，造成最終去霧能力下降。為解決這一問題，本文提出如下自適應大氣光校正方法。

以最后選定區域的最亮點作為初步估計的大氣光A0的值，利用下式對A0值進行校正。

A=(1+max(0,log(vw))>A0

(9)

式中：w=7+9e-20v，稱參數v為自適應大氣光校正因子，表示輸入圖像中非天空或景深突變區域的大小。這里采用max的目的是設定一個校正閾值0，當log(vw)>0時，給大氣光A適量的增加，而當log(vw)<0時，不進行校正，從而避免了A值不增反降。測試發現，絕大多數圖像中v≤0.85的區域屬于非天空或景深突變區域，故本文取v=0.85，這樣即可自動確定w的值，并最終得到校正后的大氣光值A。v和w間的關系如圖3所示。

圖3 v和w間的關系曲線圖

對圖4(a)所示有霧圖像分別采用文獻[9]方法、文獻[6]方法和本文方法求取大氣光，所得大氣光值如表1所示，去霧效果如圖4(b)-(d)所示。

圖4 不同方法求取大氣光后的去霧效果

文獻[9]方法文獻[6]方法本文方法(v=0.83)A(255,248,245)(181,186,185)(212,218,217)

由表1可以看出，由文獻[9]方法所得大氣光值偏高，由文獻[6]方法所得大氣光值偏低，本文方法對四叉樹搜索法所得大氣光值進行了較好的校正。比較圖4(b)-(d)可以發現，利用本文提出的大氣光自適應校正方法求得的大氣光恢復的圖像去霧效果較好。

2.2 透射率估計

2.2.1 暗通道均值

He等[9]在求取暗通道過程中使用了最小值濾波。本文利用均值濾波代替最小值濾波對暗通道先驗公式修訂如下[14]：

(10)

式中：稱JdarkM(x)為暗通道均值。

分別利用He[9]的方法和本文方法對圖5(a)求取暗通道如圖5(b)和圖5(c)所示。比較圖5(b)和圖5(c)可以看出，由最小值濾波得到的暗通道顏色呈塊狀分布，計算透射率時容易產生較大的誤差，由均值濾波得到的暗通道圖更為平滑，而且保持了圖像原有的細節。

圖5 不同算法所得暗通道

2.2.2 透射率估計

對式(3)先進行最小運算，再進行均值濾波，即：

(11)

應用第1節討論的大氣散射物理模型和暗通道先驗模型，由式(6)可知，基于上述暗通道均值的透射率描述如下：

(12)

式中：ω(0≤ω≤1)為常數，本文取ω值為0.95。

對圖5(a)所示圖像分別采用引導濾波[10]和本文算法估計透射率，所得結果如圖6所示。圖中：(a)為引導濾波細化后的透射率；(b)為本文算法未細化的透射率；(c)為對應圖6(b)中黑色方框區域放大圖；(d)為本文算法用引導濾波細化后的透射率；(e)為對應圖6(d)中黑色方框區域放大圖；(f)為對應圖6(a)為去霧圖；(g)為對應圖6(b)的去霧圖；(h)為對應圖6(g)黑色方框區域放大圖；(i)為對應圖6(d)的去霧圖；(j)為對應圖6(i)黑色方框區域放大圖。

圖6 不同方法所得透射率和去霧效果

對比圖6(a)和圖6(b)可以看出，本文算法得到的透射率更加精確，這也可以從相應的去霧圖像圖6(f)和圖6(g)得到驗證。此外，對比圖6(b)和圖6(d)，以及圖6(g)和圖6(i)可以看出，由本文算法得到的透射率無需進行細化操作，如果采用引導濾波對透射率進行細化，去霧效果反而不好，這可從圖6(c)和圖6(e)，以及對應的去霧圖像圖6(h)和圖6(j)到驗證。本文算法得到的透射率無需細化的原因是，由本文算法得到的大氣光更精確，因而由式(12)求得的透射率也更精確，此時若再用引導濾波進行細化，由于引導濾波在保留圖像細節的同時，也保留了不必要的圖像紋理細節[11]，這樣反而降低了圖像去霧效果。

2.3 天空等明亮區域的透射率自適應補償

補償后的透射率t(x)可表示為：

t(x)=tM(x)+Δt(x)

(13)

式中：Δt(x)表示補償函數，其定義為：

Δt(x)=e-ktM(x)

(14)

其中，參數k=7+9e-20u，u為透射率補償因子，表示有霧圖像中天空或雪地等明亮區域的大小。根據前述自適應大氣光校正因子ν的含義可知，u與v的關系為u=1-v。

對式(14)求導，得到該凹函數的最小值點在平面tM-t的坐標(tp,tmin)，即：

(15)

顯然，天空區域的景深為整個圖像的最遠處，該區域的透射率是整個透射率圖中的最小值[11]。因此，對補償后的透射率t(x)設置一個下限tmin，得到最終補償后的透射率：

(16)

圖7給出了u取不同值時透射率的補償情況。由圖7可以看出，通過本文提出的自適應透射率補償方法，對于天空區域這種透射率較小的地方，其透射率得到了較多的補償；對于透射率較大的地方，給予的補償較小。通過調整u值，進而調整k值，可以使補償曲線接近預期。

圖7 不同k值補償前后的透射率tM和t間的關系曲線圖

2.4 恢復去霧場景

得到透射率t(x)和大氣光A之后，將其代入式(1)就可恢復無霧圖像。為防止分母為0，本文借鑒文獻[9]的處理方法，為透射率設定一個下限值t0，取值為0.1，最終復原圖像表達式為：

(17)

2.5 圖像亮度調整

在霧天采集的圖像，由于受大氣光的作用，圖像整體偏白，通過上述步驟得到的無霧圖像整體偏暗。為提高圖像的視覺效果，本文采用下面的調整函數來調整圖像亮度，同時修正色偏。

(18)

式中：L0(x)和L(x)分別表示調整前后圖像；α為調整因子，值越大圖像亮度越高，本文取α=4。

3 實驗結果與分析

為檢驗本文算法的有效性，本文對大量室外圖像進行了測試，測試圖像來源于互聯網或所附文獻，所使用的硬件平臺為：2.50 GHz AMD Sempron (tm) X2 190 CPU，8 GB內存；軟件平臺為：Qt5.9，Opencv3.4，Windows 7 64位系統。

3.1 不同參數值對去霧效果的影響

圖8所示為不同參數對去霧效果的影響。由圖8可以看出，不同的u值、ν值對去霧效果有較大影響。通常對于包含天空的圖像或存在景深突變的圖像，一般設置μ值為0.10 ～ 0.15去霧效果最佳，過大的u值可能出現色偏或光暈；對于不包含天空或僅包含很小部分天空的圖像，一般設置u值為0.15 ～ 0.20即可。

圖8 不同參數對去霧效果的影響

3.2 去霧視覺效果對比

下面從視覺感受上比較引導濾波算法[10]、Kim算法[6]和本文算法的去霧效果。圖9-圖12給出了比較典型的室外有霧圖像的去霧效果。

圖9 不同算法去霧效果比較

圖10 不同算法去霧效果比較

圖11 不同算法去霧效果比較

圖12 不同算法去霧效果比較

從圖9這種含有較大面積天空區域圖像的去霧效果可以看出，引導濾波算法在圖像的天空區域出現較嚴重的色彩失真和光暈，這是由于引導濾波算法對天空區域的透射率估計過小，通過式(8)還原無霧圖像時，因為分母很小，擴大了RGB三通道之間原有的差異，從而產生色彩失真和光暈。Kim算法和本文算法的去霧效果明顯優于引導濾波方法。從細節上講，本文算法的去霧效果又優于Kim的去霧效果，如圖9(c)白色方框區域仍有薄薄的一層殘霧。這是因為本文算法分別對大氣光和天空部分的透射率進行了一定程度的增強，所以基本不會出現引導濾波算法和Kim算法存在的現象。

從圖10這種普通有霧圖像的去霧結果看，三種算法均取得了較好的去霧效果，但從色彩豐富度上看，本文算法和Kim算法要優于引導濾波算法。

從圖11這種存在景深突變圖像的去霧效果看，引導濾波和Kim算法在景深突變的邊緣均存在光暈，引導濾波算法尤其明顯，而本文算法能保持比較清晰的景深邊緣，不存在任何光暈。

從圖12這種含有遠景區域圖像的去霧效果看，引導濾波算法恢復的圖像比Kim算法和本文算法效果較好。這是因為遠景部分的像素值一般跟大氣光接近，具有較大的通道最小值[15]，利用本文算法去霧時，該區域的透射率將得到一定量的提升，高于真實的透射率，從而導致對該區域的去霧能力降低。但從近景 (如圖12(b)和圖12(c)中白色方框區域) 看，引導濾波方法和Kim算法恢復的圖像均存在一部分殘霧，而本文算法不存在殘霧，圖像清晰。

3.3 去霧效果的客觀評價

下面分別從色調保真度、新增可見邊之比、平均梯度比以及基于視覺感知的CNC綜合評價體系等方面對不同算法的去霧效果進行客觀比較。

圖像的色調保真度[16]是一種基于圖像統計特征的度量參數，定義為：

(19)

式中：abs(·)表示對所有元素取絕對值；mean(·)表示對所有元素取均值；Hin(x)和Hout(x)分別表示輸入、輸出圖像在HSV空間的色調分量。一般來說，H值越小，圖像的色調保真度越高。

(20)

(21)

基于視覺感知的CNC (Contrast-Naturalness-Colorfulness) 綜合評價體系是郭璠等[18]提出的一種圖像質量評價體系。該評價體系以人眼視覺感知特性為依據，從對比度、色彩豐富度和色彩自然度3個方面綜合評價去霧圖像的質量。CNC評價體系的總體框架如圖13所示，其中x表示有霧圖像，y表示去霧圖像。

圖13 CNC評價體系總體框架

CNC評價體系利用x與y的可見邊求出圖像的對比度增強指標e′，并分別計算去霧圖像y的色彩豐富度指標CCI(Color Colorfulness Index)和色彩自然度指標CNI(Color Natural Index)，最后運用這三個指標構造一個綜合評價函數，并用該函數對去霧結果進行客觀、定量評定。CNC綜合評價函數為：

(22)

表2給出了圖9-圖12所示4幅圖像在不同去霧算法下各指標值的大小。

表2 不同算法去霧效果客觀比較

由表2可以看出，在色調保真度方面，本文算法對“娃娃”圖像的處理低于引導濾波算法，稍次于Kim算法；在新增可見邊之比和平均梯度比方面，本文算法對“城市”圖像的處理次于引導濾波算法，但本文算法的平均梯度比高于Kim算法，而且相比于原有霧圖像仍有較大改善；在CNC綜合評價方面，本文算法對“城市”圖像的處理效果介于引導濾波算法和Kim算法之間，對其他圖像則均優于這兩種算法；在處理時間上，相對于引導濾波算法本文算法并未引入明顯的時間開銷，且相比于Kim算法有較大減少。總的來說，本文算法在提高圖像清晰度的同時也具有較快的處理速度。

4 結 語

本文提出了一種基于暗通道先驗去霧的新的改進方法。本文利用提出的自適應校正大氣光方法對由四叉樹搜索法得到的大氣光進行校正，得到了更為準確的大氣光；利用均值濾波代替最小值濾波得到一種更為平滑的暗通道。基于本文方法估計的透射率無需進一步細化。針對暗通道先驗不適用于天空等明亮區域問題，本文提出一種無需天空分割的自適應透射率補償方法，有效改善了天空區域的顏色失真。實驗結果表明，相比于傳統的去霧算法，本文算法恢復出來的圖像細節突出，具有更好的視覺效果。本文算法的局限是對于少數一些含有遠景區域的有霧圖像，對遠景區域的去霧能力稍弱。接下來的工作是進一步改進算法，以更加有效和快速地處理霧霾對圖像的影響。