基于L1范式優化透射率和飽和度補償的去霧方法

麻文剛，張亞東，郭 進，晏 姍

(西南交通大學 信息科學與技術學院，四川 成都 611756)

霧天條件下采集到的圖像容易出現諸如圖像對比度下降、顏色失真及缺失細節等問題，嚴重影響智能交通系統、鐵路監控系統、鐵路故障檢測系統的功能發揮及行車人員的日常操作，因此將在鐵路交通等場景采集回來的圖像進行去霧處理，得到清晰的無霧圖像，能為鐵路場景工況處理打下很好的基礎。目前去霧處理的方法主要有2種：圖像增強與圖像復原。圖像增強主要針對有霧圖像的局部信息，基本忽略了次要信息的影響，因此會導致圖像存在細節信息丟失的問題。圖像復原主要基于大氣散射模型，利用退化的暗通道先驗知識進行圖像復原，主觀上去霧效果比較自然且有較強的針對性，同時此類方法對細節進行了有效改善，根據構造代價函數和約束方程來恢復圖像[1-8]。

文獻[1-2]根據優化的暗原色先驗模型，對天空區域引入具有保邊去噪的雙邊濾波算法，提出一種改進的邊界約束算法，通過兩種算法分別估計兩個區域的透射率，然后利用大氣物理散射模型復原各區域，最后合并兩個無霧區域得到去霧圖像。文獻[3]利用優化暗通道模型，同時根據獨立成分分析來復原圖像，取得了一定去霧效果，但是由于主要原理是基于顏色信息的統計特性，在濃霧條件下，顏色信息少，處理效果較差。He等[4]根據原始暗原色先驗方法求解傳輸函數，利用softingmatting算法對其進一步處理，得到了去霧效果較好的圖像，但是復雜度高、耗時長等缺點限制了實時視頻圖像的處理，因此后續He等[5]等在暗通道先驗基礎上又提出了引導濾波的方法，對圖像進行進一步修正，但是由于建立濾波窗口問題導致透射率估計不準確。文獻[6]提出了一種快速圖像去霧算法，對原始暗通道先驗方法進行改進，能夠有效去霧，但此方法由于局部濾波的原因，會導致景深區域信息較為模糊，一些信息會被當做霧氣信息直接濾除，導致得到的圖像出現了失真。Meng等[7]在大氣散射模型基礎上，提出了基于邊界約束的去霧方法，雖能取得一定效果，但是圖像細節信息丟失。Sun等[8]在暗通道先驗基礎上提出的大氣光估計方法，可有效解決大氣光選取不足的現象，但是由于僅是對局部大氣光的估計，所以天空會出現大量的白色區域，導致獲得的圖像畫面蒼白。Cai等[9]通過建立霧天圖像庫，使用卷積神經網絡的方法得到圖像的傳輸圖，從而實現霧天圖像的去霧處理，但該方法只獲取了圖像的傳輸圖，仍需應用大氣成像模型計算得到清晰的圖像，且去霧效果仍受成像模型的其他參數影響。Zhu等[10]等提出了一種顏色衰減去霧方法，用于從單個輸入模糊圖像中去除霧霾，通過在新型先驗條件下對模糊圖像的景深信息建立線性模型，并使用監督學習方法計算模型參數，可以很好地恢復深度信息達到去霧效果。文獻[11-20]都是在暗通道先驗基礎上，通過各自的優化方法對圖像的透射率以及圖像更為細節的邊緣信息進行優化改進，都能各自取得較好的去霧效果，但是獲得的圖像直觀效果畫面較為蒼白，飽和度較低，邊緣細節能力恢復較差。

綜上，本文的圖像去霧過程分為3個步驟：①大氣光與初始透射率估計；②優化透射率；③飽和度補償。利用交叉雙邊濾波器與多重引導濾波方法對大氣光值與初始透射率進行估計；引入Kirsch與Laplacian算子構成高階濾波器對透射率進行優化處理，利用L1范式對透射率進行迭代優化；受模糊圖像低飽和度的影響，對圖像進行飽和度補償以獲得高飽和度的圖像；通過主觀與客觀評價驗證方法的有效性。

1 背景

根據散射理論，McCartney首次提出大氣散射模型，用來描述霧化圖像的退化過程，其數學表達式為

I(x)=J(x)t(x)+A(1-t(x))

(1)

t(x)=e-βd(x)0≤d(x)≤1

(2)

式中：I為有霧圖像；J為最終需復原的圖像；t為透射率；d為場景深度；A為大氣光值；β為大氣散射系數。

去霧的主要目的是通過估計參數A與t(x)，從而從霧圖中得到J(x)，而復原圖像的關鍵是估計介質傳輸率t(x)。He等[4]通過研究提出暗通道模型

(3)

Jdark(x)→0

(4)

式中：JC為J某一個顏色通道；Ω(x)為以x為中心的鄰域；經統計觀察得出，Jdark的強度總是很低并且趨近于0；介質傳輸率t(x)為局部常量。

結合式(1)～式(4)，則有

(5)

根據暗通道先驗，透射率表達式為

(6)

對于式(6)，引入系數θ使得去霧后的圖像保持一定霧感，經驗取值為0.95。

2 本文算法

本文去霧算法流程見圖1。首先，根據形態學操作與交叉雙邊濾波器實現大氣光值估計；其次，根據多重導向濾波實現透射率初始估計，通過L1范式計算目標函數對初始透射率進行優化得到介質傳輸率的最終估計；最后，通過飽和度補償與色調調整來修正圖像，以獲得去霧圖像。

圖1 去霧算法流程

2.1 透射率估計

2.1.1 初始透射率及大氣光估計

He等[5]提出的導向濾波方法為

qi=akIguide+bk?i∈wk

(7)

式中：Iguide為導向圖像；wk為二維窗口；ak與bk為線性變換系數。由于建立在二維窗口內，導致估計透射率效果不太良好。為使去霧圖像具有良好的透射率，將圖像結構層Is導向濾波得到第一導向圖，進而邊緣檢測得邊緣圖Iedge，則有

t1=ak1Is+bk1

(8)

t2=ak2Iedge+bk2

(9)

t*=ω1t1+ω2t2

(10)

式中：ω1,ω2∈[0,1]為權重；t1為結構信息；t2為邊緣信息。為了使去霧后的圖像邊緣與結構更加清晰直觀，取ω1=ω2=0.5，其效果見圖2。

圖2 初始透射率權重效果對比

從圖2可以看到，由于透射率估計不準確的原因，4幅圖像的天空及景物區域顯示不太清晰，且存在Halo效應，去霧效果一般。

為了獲得邊緣保持良好的大氣光，本文對有霧圖像取最大值得到AmC(x)，且進行形態學閉操作消除局部像素的干擾，然后根據交叉雙邊濾波得到最終的大氣光A(x)，其表達式為

(11)

2.1.2 透射率優化

采用式(10)求出的透射率進行去霧處理時，復原的圖像會出現Halo效應。為了繼續得到更精細的透射率，本文構造加權函數，使相鄰像素之間透射率差趨于0，即滿足G(x,y)(t(x)-t(y))≈0。同時通過Kirsch與Laplacian兩種邊緣檢測[12-15]算子(圖3,圖中：中心為Laplacian算子；周圍為Kirsch算子)，構成一組高階濾波器。其構造的加權函數為

(12)

式中：Dj為一組高階濾波器；j為濾波器組索引；i為第j個濾波器構造的第i個加權函數，i=j=0,1,2,3,…,9；參數σ是標準差。

圖3 高階濾波器組

根據L1范式優化初始透射率，則有

(13)

為了求解式(13)，加入輔助變量χj，則代價函數為

(14)

式中：o為元素級乘法運算符；μ為歸一化參數；τ為權重值；ω為高階算子索引值；t*為初始透射率。

最終的透射率為

(15)

圖4 透射率優化效果對比

圖4中4幅圖片依次為有霧圖像、τ0=1的迭代透射率、τ0=64的迭代優化透射率，以及τmax=28的透射率。從圖4中可以看到，經過優化后獲得的迭代優化透射率效果較好，遠景及近景層次分明，細節信息較好。

2.2 圖像復原

2.2.1 飽和度補償

從前節的圖4可以看出，優化后的透射率處理雖具有高對比度，但圖像顏色暗淡，視覺效果不佳。因此本文采用文獻[17]的方法，將圖像轉換到HSV空間進行飽和度補償，則有

(16)

式中：S(x)為飽和度值。

將式(16)進行變形可得

(17)

飽和度補償因子φ(x)可以表示為

(18)

將式(18)代入式(16)可以得到飽和度補償公式

(19)

從式(19)可知，φ(x)越小，飽和度越大，得到的圖像整體直觀效果越好。作為對比，本文選擇一幅圖像進行飽和度補償實驗。圖5(a)～圖5(d)依次為有霧圖像、初始透射率去霧圖像、透射率優化去霧圖像及飽和度補償去霧圖像，可以看到，在經過飽和度補償后，圖像整體霧感降低，且亮度適宜，白色物體區域線條分明，圖像質量整體較好。

2.2.2 色調調整

在有霧的條件下，大氣光的影響可能導致恢復的圖像O(x)變暗，因此有必要調整圖像的色調以改善圖像的細節和亮度。本文采用文獻[18]的方法，則有

(20)

圖5 飽和度補償效果

圖6 色調調整效果

3 實驗結果與分析

3.1 復原視覺對比分析

圖7 霧氣較小圖像去霧效果

分別選取霧氣較小的圖片以及霧氣較大的圖片進行去霧實驗對比。霧氣較小圖片為草堆、森林和高樓3種場景中的有霧圖像，霧氣較大圖像為天安門、山峰和鄉村圖像，分別見圖7和圖8。從圖7可以看出：對于霧氣較小的圖像，本文方法對于3個場景的有霧圖像處理效果較好，清晰度得到了提高，在濃霧區域透射率圖反映細節較多，去霧之后的圖像邊緣細節信息保持良好；尤其從圖7(c)可以看出，去霧之后沒有產生黑斑效應及圖像失真等影響，并且復原的圖像色彩鮮艷，具有較好的圖像顏色。從圖8可以看出：對于霧氣較大的圖像，經過本文方法處理后，得到的透射率信息較為良好，3個不同場景的濃霧圖像經過去霧處理后，能夠恢復出較多的邊緣細節信息，圖像直觀性效果較好，去霧之后飽和度與亮度都較為適宜。由此驗證了本文方法去霧的性能，同時從霧氣大小圖片也能驗證本文方法的魯棒性與有效性。

圖8 霧氣較大圖像去霧效果

選擇去霧領域較好的一些方法與本文方法進行去霧效果對比，包括He方法[4]、Meng方法[7]、Sun方法[8]、Zhu方法[10]和Cai方法[9]，去霧效果見圖9。He方法根據原始暗原色先驗求解傳輸函數，利用softingmatting算法進行去霧處理，但是復雜度高、耗時長等缺點限制了處理效果，去霧效果如圖9(b)所示，濃霧區域霧氣基本消除，但是遠景區域仍然存在殘霧，并且某些細節部分完全失真，看不出任何細節信息，這主要是全局大氣光估計不準確造成的。Meng在大氣散射模型基礎上，提出了基于邊界約束的去霧方法，但是圖像邊緣信息丟失，盡管恢復出了圖像的一些細節并且基本上沒有失真，但圖像存在偏色現象，導致得到的圖像顏色不均勻，去霧效果見圖9(c)。Sun在暗通道先驗基礎上提出的大氣光估計方法，可有效解決大氣光選取不足的現象，得到的圖像亮度也較好，但會發生顏色失真問題，去霧效果如圖9(d)所示，在天空及景色區域均出現了完全性的失真，且畫面較為蒼白，這主要是由于形態學操作所導致的。Zhu等提出使用先驗顏色衰減方法，通過在新型先驗條件下對模糊圖像的景深信息建立線性模型，并使用監督學習方法學習模型的參數進行去霧，但圖像上仍然存在霧感，即去霧不徹底，從圖9(e)第1張及第4張圖像可以看出，去霧后的圖像顏色線條過度飽合，很難復原圖像濃霧區域的細節信息。Cai方法通過建立霧天圖像庫，使用卷積神經網絡的方法得到圖像的傳輸圖，從而實現霧天圖像的去霧處理，但該方法只獲取了圖像的傳輸圖，仍需應用大氣成像模型計算得到清晰的圖像，且去霧效果仍受成像模型的其它參數影響，從圖9(f)的去霧效果可以看到，該方法處理圖像能夠獲得更多細節信息，但是由于其先驗性和假設約束性會導致去霧不足以及濃霧去霧效果不佳。本文(圖9(g))結合傳統引導濾波與交叉雙邊濾波對初始透射率與大氣光值進行估計，并利用L1正則化思想優化介質傳輸率的權值，同時通過飽和度補償與色調調整進一步優化了復原圖像。與暗通道先驗相比，本文方法恢復了圖像的很多細節，特別是在遠處區域，亮度適宜。對比其他幾種去霧方法，本文方法復原的圖像具有較好的色彩保真性能，經過本文方法處理后，圖像的色調與飽和度都得到很大的提高。但是本文方法處理圖像得到的亮度較之Sun方法來說略低，但仍在可接受范圍之內。同時經過本文方法處理后，圖像濃霧區域霧氣基本去除，且復原的圖像細節信息較多，對于天空區域的處理較為適宜，失真最小。

為了驗證本文每個步驟的必要性，分析了公路及火車兩種場景下的圖像，分別將有霧圖像利用每個步驟處理后的去霧效果做對比，見圖10和圖11。圖中依次為：有霧圖像、初始透射率去霧圖像、權重值都取0.5去霧效果圖、交叉雙邊濾波器估計大氣光去霧效果圖、透射率優化后去霧效果圖、飽和度補償后去霧效果圖、色調調整后去霧效果圖、整體去霧效果圖。

從圖10及圖11可以看出：利用初始透射率恢復的圖像在濃霧區域去霧效果不徹底，大樹部分出現暗影，基本沒有達到去霧效果；在初始計算透射率權重后，大樹暗影基本消失，但是濃霧區域還有霧氣干擾，圖像較遠處信息顯示不清晰，但相比前一步驟，細節明顯增多，這是大氣光估計不準確的原因；利用雙邊交叉濾波器后，可以看到圖像亮度適宜，且較遠處圖像信息顯示出來，但是大樹部分圖像信息出現黑斑現象，這是由于透射率估計不精確的原因；在經過L1范式迭代優化透射率后，可以看到大部分黑斑基本消失，圖像細節顯示效果較好，但是天空區域較暗，尤其從圖11(e)就可以看出，整個圖像偏暗，這是因為飽和度調整不恰當導致的；在經過飽和度補償后，從圖10(f)及圖11(f)可以看出，圖像整體復原變好，且較之前者方法，圖像明亮度較為適宜，但是景色部分色調顯示很蒼白；從圖10(g)及圖11(g)可以看出，在經過色調調整后，圖像整體恢復較好，但是也可以看到由于參數選擇的不正確也會導致天空區域過亮；圖10(h)及圖11(h)為整體利用本文提出的方法進行去霧，可以看到復原圖像細節多，暗影現象基本消失，不存在Halo效應，尤其在遠景區域，并且明亮度相對較好，這就驗證了本文方法每個步驟的必要性。同時也應該看到，在鐵路場景進行去霧處理時，受到天氣、圖像采集設備的影響，經過本文去霧處理后的圖像色調及其亮度較之上節處理的圖像效果偏差，且鐵路場景皆為實時視頻圖像，此時本文的去霧效果較差，但是對于單幅靜態圖像來說，本文方法整體去霧效果較好，能夠達到鐵路處理圖像的要求。

圖9 各種去霧方法去霧效果

圖10 公路去霧效果

圖11 火車去霧效果

3.2 算法評價指標分析

本文通過基于可見邊的對比度增強評估方法，對去霧之后的圖像進行客觀參數評價，包括可見邊比(e越大越好)、可見梯度比(k*越大越好)、色調保真度參數(H越小越好)，以及各種方法的運行時間對比。3個客觀參數的數學表達式為

(21)

(22)

(23)

式中：ur與u0分別為霧化圖像和去霧圖像中可見邊的數目；jr為去霧圖像的平均梯度；j0為霧化圖像的平均梯度；abs()為對所有元素取絕對值；Gα(x)與Gβ(x)分別為去霧前后彩色圖像在HSV空間中的色調分量。

客觀評價指標效果見圖12(圖像為圖9圖像)。從圖12(a)可以看出，Meng方法與Zhu方法的可見邊比出現了負值，但使用本文提出的方法恢復圖像，效果較好，其可見邊比達到了最大，這是因為本文使用飽和度來補償模糊圖像，從而使得圖像局部細節變好。圖12(b)為各方法運行時間對比，所有方法都比較耗時，其中He方法因為其復雜度較高所以運行時間最長，本文方法較之其他方法運行時間最短。圖12(c)為可見邊緣梯度比的比較，本文比Cai方法的性能弱一點，這是由于本文在選取透射率權值時只考慮了權重相等的結果導致的，但是與其他方法相比，恢復后圖像的r值也較大。圖12(d)為色調保真參數對比，可以看出本文復原圖像獲得的H值最小，說明本文算法可獲得較高的色彩保真度。

圖12 算法評價

綜上，本文提出的方法相比于其它去霧方法，具有一定的優越性，去霧效果及魯棒性較好。同時從主觀分析得出本文方法對各個場景中的有霧圖像都可以有效去霧，較之其他的去霧方法效果較好，且本文中加了一項每個步驟的驗證實驗，從主觀評價可以得出本文提出的每個步驟都是有必要且必不可少的，因此體現出了本文方法的魯棒性。本文提出方法的主觀評價中，去霧后的圖像雖然還是存在一些缺點，但是不足以影響圖像的整體直觀效果，同時本文方法恢復的圖像細節信息較多，達到了較好的去霧，且從客觀評價也可以看出，雖然指標沒有達到最優，但是較之其它方法也取得了較好的效果，證明了本文方法去霧的魯棒性和有效性。

4 結論

針對霧天采集圖像存在低飽和度與低亮度的現象，以及傳統暗通道先驗去霧方法透射率估計不精確的問題，本文結合傳統引導濾波與交叉雙邊濾波對初始透射率與大氣光值進行估計，并利用L1正則化思想優化介質傳輸率的權值，同時通過飽和度補償與色調調整進一步優化了復原圖像。實驗分別從主觀與客觀兩個方面對提出的方法進行驗證分析。從主觀方面來看，本文算法復原的圖像色彩等信息較好，且不同場景獲得的圖像更加清晰直觀，較之其他方法，圖像邊緣細節層次分明；從客觀評價也可以看到，本文方法的可見邊比與色彩保真度最好，算法雖然耗時，但在可接受范圍之內；實驗也用8幅對比的圖像驗證了本文方法每一步的必要性。總體而言，本文所提方法去霧效果較好，魯棒性較高。但是當對鐵路場景圖像進行操作時，由于對圖像實時性操作要求較高，本文還需在后續將去霧處理時間降低，以能實現對鐵路場景視頻圖像的去霧處理。提高算法的實用性，更好地對鐵路及交通場景的視頻圖像進行處理，是下一步的研究工作。