基于圖像退化模型的圖像去霧算法①

蘇國強, 張 明(上海海事大學 信息工程學院, 上海 201306)

基于圖像退化模型的圖像去霧算法①

蘇國強, 張 明
(上海海事大學 信息工程學院, 上海 201306)

在霧、霾之類的惡劣天氣下拍攝的圖像, 由于存在大氣的散射作用, 使得物體特征難以辨認, 嚴重影響了圖像的視覺效果, 同時還妨礙了圖像的特征提取. 因此, 需要利用去霧技術對圖像進行增強和修復, 以改善視覺效果和方便后期處理. 本文針對暗原色先驗去霧算法耗時長和處理效果不佳等問題, 提出了一種改進的自適應邊界約束去霧算法. 同時, 引入了信息熵和平均梯度對其進行客觀評價, 對比實驗結果表明該方法運算速度快,在細節處理上效果更好.

去霧; 邊界約束; 自適應

近年來, 伴隨著計算機技術的不斷發展, 計算機視覺系統在軍事、交通以及安全監控等領域應用的不斷深入, 圖像去霧已成為計算機視覺領域的重要研究方向. 由于大氣污染的影響, 霧、霾等天氣頻繁出現,造成戶外可見光成像系統特別是交通視頻監控系統成像模糊, 對比度下降, 信息缺失等問題愈發嚴重. 在這種惡劣天氣條件下, 大氣中的水分及大量懸浮顆粒對光線的散射作用, 使得景物的能見度大大降低, 從而導致監控系統無法準確的提取目標景物的圖像特征.因此必須要對惡劣條件下拍攝的圖像進行去霧處理并進行優化, 來提高圖像的質量. 目前, 國內外學者提出的去霧方法主要分為以下兩種: 基于非物理模型的圖像增強方法和基于物理模型的圖像復原方法. 其中,基于非物理模型的圖像增強方法, 是根據霧天圖像對比度低、亮度低等特點, 通過增強圖像某些特征(如對比度)來改善圖像質量. 該方法能夠實現一定程度的去霧, 但更容易造成圖像信息的丟失和顏色失真. 而基于物理模型的圖像復原方法則使用大氣散射物理模型來進行求解, 只要確定了透射率和大氣光強的值就可以恢復出原始的無霧圖像, 該方法針對單幅圖像, 處理效果自然, 是目前廣泛采用的方法.

單幅圖像去霧算法的研究作為一個綜合性的、跨學科的課題發展, 近年來引起了人們的廣泛關注, 許多學者都提出了自己的去霧優化方法[1]. Tan[2]提出了利用圖像增強的方式進行去霧, 該方法不以物理成像模型為出發點, 而采用最大化局部對比度對圖像進行恢復, 但缺點是容易造成信息的丟失. Fattal[3]采用大氣物理模型的方法, 該方法首先假設目標的局部表面投影和透射率無關, 然后借助于物理模型對透射率進行獨立分析與估計, 但缺點是只能用于處理單幅彩色圖像且濃霧天氣條件下不成立. Tarel等人[4]在此基礎上, 對大氣光的取值范圍進行了深入分析, 先利用中值濾波器對環境光的衰減進行過濾, 去除圖像中的多余紋理信息, 然后在帶入物理模型中求解, 從而達到去霧效果, 但由于中值濾波不能很好地處理邊緣部分,在景深突變處影響很大, 易造成顏色失真. 后來, He等人[5]提出了基于暗原色先驗知識的去霧算法, 先采用最小值濾波的方式對透射率進行初步估計, 然后通過引入軟摳圖的算法對透射率進行細化處理, 最終也復原出了無霧圖像, 該方法也是目前被普遍接受的有效去霧方法, 但該方法的時間復雜度較高, 不能達到實時性的要求.

上述方法各有利弊. 本文針對當前圖像去霧算法的時間復雜度高和去霧圖像信息丟失等問題, 對基于暗原色先驗的去霧方法進行了優化與改進. 首先, 通過邊界約束條件對透射率進行三階段估計, 更準確的估計出了透射率, 然后引入容差機制對霧天圖像進行恢復. 實驗結果表明, 該算法具備有效的去霧功能,運算的時間較低, 更有實際應用價值.

1 基于暗原色先驗去霧過程

1.1 大氣散射物理模型

本系統在1975年, McCartney等人根據Mie散射理論提出了大氣散射模型[6], 該模型是目前圖像處理領域最為常用的模型, 該模型由大氣光衰減模型和環境光成像模型兩部分組成. 其中, 大氣光衰減模型是指從人眼觀測方向入射進來的光受到大氣戒指的阻礙,發生了散射從而導致光強衰減; 而環境光成像模型則是描述周圍環境中的各種光線, 經大氣粒子的散射之后, 附加在目標景物上, 導致景物顏色的偏移. 用數學表達式表示, 即為:

在上式中, I( x)是待去霧的圖像(有霧圖像), J( x)是要恢復的圖像(無霧圖像), A是全球大氣光,通常將其視為大氣、地面或者遠處天空的顏色, t( x)為霧氣的濃度, 也稱為透射率, 其數學表達式為

該式表明了透射率是隨著景物深度d變化的, 且是按指數衰減的.

對式(1)進行變換操作, 即可推導出霧天圖像的復原模型, 數學表達式為:

如式(3)所示, 只要求出大氣光A和透射率()t x,即可恢復出無霧圖像()J x.

1.2 暗原色先驗理論

暗原色先驗的理論可以有效地處理單幅有霧圖像,該理論是通過對大量戶外無霧圖像的統計分析得出的規律. 該理論認為, 對于大部分的無霧圖像而言, 在每個局部區域內都存在著一個或多個顏色通道的強度值很低的像素點, 這些點被就被稱為暗通道. 其數學表達形式如下:

式中, Jc表示原始圖像的每個通道, Ω(x)表示的是以點x為中心的一個局部塊. 式(4)的代碼意義是:首先求出每個像素點對應的RGB分量, 取最小的顏色分量值, 并將值保存在一幅和原圖像大小相同的灰度圖中, 接著再對其進行最小值濾波操作, 濾波的半徑由窗口大小決定, 濾波的窗口一般都是手動設定好的.一般選取5*5, 7*7大小的窗口進行濾波.

1.3 暗原色先驗去霧算法

從上文知, 要求得J( x)的值, 要做一些假設. 首先假設在每一個局部塊內透射率t( x)為固定的常量,用符號t表示, 并且假設A的值已經給定, 對式(1)兩邊同時除以A, 進行歸一化操作, 接著對式(1)的兩邊進行兩次最小值濾波, 求其暗原色, 于是有

式(4)中, ()J x是需要求解的無霧圖像, 根據暗原色先驗知識的理論有

將式(6)代入式(5)可得

在一般天氣情況下, 由于空氣中存在著一些微小的運動顆粒, 所以總會讓人感覺有一點霧蒙蒙的感覺.如果徹底將霧移除, 則去霧后圖像看起來會不真實,即出現顏色失真, 同時對圖像深度信息產生一定影響.因此, 在式(6)中我們引入一個可控的輔助參數ω(01ω＜＜)用來保留一定程度的霧. 原文中選取ω=0.8, 則式(7)修正為

由上文分析可知, 式(7)中()t x的比較粗糙, 所以圖像用它處理后塊效應會很明顯, 即Halo響應. 為了修正該參數, 何凱明[8]等人對透射率使用Soft Matting[7]方法進行優化, 其()t x通過式(7)求解得到

式(9)中, λ是修正參數, U是大小和L相同的單位矩陣. 綜上所知, 再估計出A的值, 便可根據公式(1)求出()J x, 但用Soft Matting方法的時間復雜度很高, 處理會花費較長的時間.

2 本文改進的算法

本文主要針對目前圖像去霧存在的失真和信息丟失問題, 深入地研究了基于暗原色先驗的圖像去霧算法, 只要能夠求解出大氣光強A和透射率)(xt, 就可以根據大氣散射模型恢復出無霧圖像. 大氣光強A的取值一般都需要手動的進行參數估計, 本文提出了自適應的求解方法. 關于透射率的求解過程, 分析了基于邊界約束的方法, 發現其約束條件并不總是成立的,在某些區域條件并不滿足, 從而會導致透射率的錯誤估計. 本文在此基礎上對其進行了分析和改進, 設計出了一種三階段的場景透射率的估計方法. 最后, 利用大氣散射模型恢復出了清晰的無霧圖像.

圖1 算法流程圖

整個算法的核心部分流程圖見圖1.

2.1 估計全局大氣光

傳統的求解全局大氣光的方法是選取暗通道中前0.1%像素值較大的區域, 然后在原圖像的目標區域內尋找像素值最大的點, 其對應的值即為全局大氣光的值. 本文在計算全局大氣光值時, 對其進行了優化和改進. 參照文獻[9]求取大氣光的方法, 首先對原圖像的每一個通道進行局部最小值濾波, 得到三個暗通道圖像. 接著把RGB三個暗通道圖像中的灰度值做為大氣光在該通道的灰度值. 其數學表達式也可表示為:

式(10)中, 本文所選用的濾波窗口不在是固定的窗口大小, 而是采用動態窗口, 選取圖像的行和列的最大值的3%作為窗口半徑r. 假設輸入圖片的大小為M*N, 則半徑r的數學表示形式為: r=round(max(M, N )×3%). 實驗結果表明, 本文選取的動態窗口能更好的實現去霧效果; 同時自適應的設置窗口的大小, 提高了處理效果和處理效率之間的均衡性.

2.2 估計透射率

在文獻[9]的方法中, 通過線性外推的式(11), 來約束一幅圖像的場景輻射大小:

式(12)中, C0和C1是兩個與給定圖像相關的常向量.

通過觀察式(11)可知, 約束了J(x)就約束了t(x).因此, 每一個局部塊內的x, 都有對應的Jb(x)和tb(x).

則有:

本文在Meng方法[9]的基礎上, 提出了一種改進的邊界約束方法求取透射率, 然后用正則化方法對其進行優化. 其詳細過程如下所示:

第一, 對基于塊的場景透射率進行粗估計, 主要計算場景透射率的下邊界tb(x)和透射率粗估計~t( x).公式如下:

第二, 對基于塊的場景透射率進行細化[10], 主要利用了基于加權L1范數的正則化技術. 構造目標函數如下:

式中, λ是正則化參數, Wj是一個權重矩陣, Dj是一階微分算子.

然后, 引入輔助變量uj=Dj?t( j∈ω)和權重參數β, 將上式轉換為下式:

之后, 通過迭代求解uj和t. 實驗結果表明, 經過幾次迭代之后, 估計的透射率就會很快的收斂. 本文中, λ的值取2, β的取值是從20到28按比例2 2遞增的, Dj采用是高階差分算子集, 具體的如圖2所示.

圖2 本算法用到的高階差分算子集

第三, 引入容差機制[11]修正場景透射率. 增加可控參數K, 對于I-A＜K的區域, 認為是明亮區域,需要對透射率進行修正. 而對于I-A＞K的區域, 認為是非明亮區域, 仍然保持原始透射率不變. 修正后的公式如下:

式中, t0是一個很小的常數, 用來防止ttrue(x)為零. 本文中, t0的值取0.001, K的取值在50到80之間(默認取70).

當C0的取值為C0=(20,20,20)T,C1的取值為C1=2*A -C0時, 用本方法計算出的透射率圖如圖3所示.

圖3 透射率對比圖

由圖3可以看出, 原始透射率圖由于塊的選取過大, 導致透射率出現了Halo效應[8]. 于是采用了軟摳圖7的方法對其進行細化,但是該方法在邊緣處理上不佳. 而本文算法處理后的結果, 不僅細化了原始透射率, 而且很好的解決了圖像邊緣的細節問題.

綜上所述, 只要估計完全局大氣光和場景透射率的取值后, 即可對霧天圖像進行復原操作. 采用該方法求得的透射率更為準確的反應了真實場景, 能夠更好地恢復無霧圖像

3 實驗結果及比較分析

該算法的驗證平臺為Matlab2012a, CPU為intel core i5-2450M雙核2.5GHz處理器, 在內存為4GB的win10操作系統上運行. 分別選取了大小不同的五張互聯網圖像進行驗證, 其中前三張圖像整體偏暗, 色彩較為均衡, 不存在明顯的亮點, 去霧容易; 而后兩張圖像偏亮, 色彩變化較明顯, 有明顯的亮點, 去霧后易造成信息的丟失. 實驗結果表明本方法去霧效果更理想, 并與He[8]方法, Tarel[4]方法進行了對比, 從而驗證了該算法的優越性.

3.1 實驗主觀評價

本文算法處理大量的戶外單幅有霧圖像均實現了較好的去霧功能. 為驗證算法的有效性, 對部分戶外真實場景(互聯網圖片)進行了對比分析, 實驗結果表明He算法對于天空等部分效果不佳, 可能會出現失真現象. Tarel方法由于增強了圖像的對比度, 會導致圖像的色彩不真實. 而本文算法在處理天空區域和邊緣細節部分上效果更為逼真, 更加真實地再現了場景的實際顏色, 實驗效果圖如圖4所示.

圖4 實驗結果比較

從實驗結果可得如下結論, He采用暗原色先驗加軟摳圖的方法, 雖然在部分圖片邊緣會出現失真現象,但是總體處理效果顯著, 缺點就是運算時間較長; Tarel方法的運算時間明顯縮短, 但是圖像的過度增強,嚴重影響了圖像的視覺效果; 本文方法處理獲得了比較好的效果, 算法復雜度也不高(見表1). 綜上所述,在與上述的對比方法中, 本文方法比其他方法能獲得更好的視覺效果, 實驗結果良好.

表1 各算法時間復雜度比較(單位/s)

3.2 實驗客觀評價

圖像的客觀評價主要是依靠相關的數學理論模型給出的量化指標, 來模擬人類視覺系統感知機制, 對實驗結果進行定性的衡量. 目前, 該領域有多種圖像質量評價的指標, 經常使用的客觀評價標準有亮度、對比度、信息熵、平均梯度和信噪比等. 本文中, 選取平均梯度和信息熵作為評價指標. 下面簡要介紹下指標的定義:

式(19)是平均梯度的定義式, 式中(,)F i j是圖像中點(,)i j的灰度值, M,N分別為圖像的總行數和總列數. 圖像的平均梯度是衡量圖像細節相關程度的重要指標, 反應了圖像微小細節變化的速率.

式(20)是圖像信息熵的定義式, 式中, ()p g表示灰度級g的分布概率, L為灰度級數. 圖像的信息熵是圖像信息的重要標志, 它衡量了圖像信息的豐富程度, 通過對信息熵的分析, 也可以看出圖像在細節處理上的表現能力.

上述兩個指標的值越大, 則表明去霧后的整體質量越好. 比較結果如表2及表3所示.

表2 客觀質量評價一

表3 客觀質量評價二

從表2及表3可以看出, He算法在處理光線昏暗的圖像時, 其平均梯度值大, 圖像更清晰. 在處理光照不是特別暗的圖像時, Tarel和本文算法更好; 同時,相比于Tarel算法, 本文處理后的圖像信息熵和平均梯度的值都較高, 表明去霧后的效果更好. 實驗結果表明: 本文方法在處理時間和去霧后的效果上更具優越性.

4 結語

本文在分析了暗原色先驗去霧方法的基礎上, 提出了一種改進的邊界約束去霧算法. 針對He方法在處理戶外有霧圖像時, 天空部分去霧效果不好及算法耗時較長的問題, 提出了一種自適應的大氣光值計算方法, 該方法可以有效的自動估計出大氣光強的值, 同時通過邊界約束條件對透射率進行三階段估計, 更準確的估計出了透射率. 此外, 為了彌補人眼對于圖像本身的評價帶來的局限性, 引入了平均梯度和信息熵對圖像進行客觀評價. 通過實驗結果對比分析可知,本文算法能夠大幅度地提高了算法運算速度, 而且處理效果顯著, 尤其在細節變化上, 彌補了圖像的信息丟失問題.

1 郭璠,蔡自興,謝斌,等.圖像去霧技術研究綜述與展望.計算機應用,2010,30(9):2417–2421.

2 Tan RT. Visibility in bad weather from a single image. IEEE Conference on Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE. 2008. 1–8.

3 Fattal R. Single image dehazing. ACM Siggraph, 2008, 27(3): 1–9.

4 Tarel JP, Hautiere N. Fast visibility restoration from a signal color or gray level image. IEEE 12th International Conference on Computer Vision. 2009. 2201–2208.

5 He KM, Sun J, Tang XO. Single image haze removal using dark channel prior. IEEE Conference on Computer Vision and Pattern Recogntion. 2009. 1956–1963.

6 McCartney EJ. Optics of the Atmosphere: Scattering by Molecules and Particles. John Wiley and Sons, 1976: 123–129.

7 He KM, Sun J, Tang XO. Fast Matting using large kernel matting Laplacian matrices. IEEE Conference on Computer Vision and Pattern Recognition. 2010. 2165–2172.

8 He KM, Sun J, Tang XO. Single image haze removal using dark channel prior. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341–2353.

9 Meng G, Wang Y, Duan J, et al. Efficient image dehazing with boundary constraint and contextual regularization. Proc. of IEEE 16th International Conference on Computer Vision. 2013. 617–624.

10 唐述,龔衛國,仲建華.稀疏平滑特性的多正則化約束圖像盲復原方法.軟件學報,2013,24(5):1143–1154.

11 蔣建國,侯天峰,齊美彬.改進的基于暗原色先驗的圖像去霧算法.電路與系統學報,2011,16(2):7–12.

Image Defog Algorithm Based on Image Degradation Model

SU Guo-Qiang, ZHANG Ming
(Information Engineering College, Shanghai Maritime University, Shanghai 201306, China)

For the images captured in the bad weather like fog or haze, the atmospheric scattering effect not only seriously affects the visual appearance of the image, but also hinders the image feature extraction. Therefore, it needs de-fog technology for image enhancement and restoration, to improve the visual effects and convenience of post-processing. Because that dark colors prior algorithm is time consuming and has poor treatment effect etc., we put forward an improved algorithm of boundary constraints defogging algorithms. At the same time, we introduce information entropy and average gradient to evaluate the algorithm objectively. Comparison of experimental results shows that this method has a high computing speed, and better effects on the deal.

defogging; boundary constraints; adaptive

2016-07-23;收到修改稿時間:2016-09-05

10.15888/j.cnki.csa.005710