基于鄰域窗口濾波的圖像去霧

李鋒 張朝霖

摘? 要： 戶外攝影成像質量常常受霧霾等能見度低的天氣影響，為了提高霧天的成像質量，提出了一種基于鄰域窗口濾波——NWF（Neighborhood Window Filtering）的圖像去霧算法。在大氣散射模型下使用暗原色統計先驗，大氣透射率和暗通道有關，直接使用暗通道估計出的大氣透射率結果粗糙，還原的圖像邊緣有光暈看起來不夠真實。針對這一問題設計了一種簡單高效的鄰域窗口濾波器從八個鄰域方向上計算切尾均值自適應選擇出最佳的方向來提取精細的大氣透射率圖，該方法不僅能平滑塵霧濃度圖，又能從根本上保留紋理信息。結合大氣散射模型使用具有更多紋理邊緣信息的的透射率圖，最后可以還原出一幅更加真實的去霧圖片。實驗結果表明，該方法相比于傳統的導向濾波及雙邊濾波的去霧方法更加簡單，效果明顯。

關鍵詞： 去霧;鄰域窗口濾波;切尾均值;暗通道;大氣散射模型

中圖分類號： TP391.41? ? 文獻標識碼： A? ? DOI：10.3969/j.issn.1003-6970.2020.10.028

本文著錄格式：李鋒，張朝霖. 基于鄰域窗口濾波的圖像去霧[J]. 軟件，2020，41（10）：114119

【Abstract】： The quality of outdoor photography imaging is often affected by weather with low visibility such as haze. In order to improve the imaging quality of foggy days， this paper proposes an image defogging algorithm based on Neighborhood Window Filtering （NWF）. This method is based on the atmospheric scattering model and the dark channel prior technique， and uses a neighborhood window filter with smooth texture preservation function to restore high-quality pictures. The feature of edge-preserving filtering using the domain window filter can extract more transmittance maps with texture edge information from the dark channel prior model. Combined with the physical model of atmospheric scattering， it can finally restore a high-quality defogging picture. The experimental results show that the method is simpler and more effective than traditional guided filtering and bilateral filtering defogging methods， and the effect is obvious.

【Key words】： Defogging; Neighborhood window filtering; Trimmed mean; Dark channel; Atmospheric Scattering model

0? 引言

當空氣中存在著許多懸浮物如塵埃、煙、水霧等時無論是人肉眼觀察還是拍攝獲取的圖像，總是存在能見度和對比度下降的問題。這種降質退化的圖像對我們后續的監控、識別、跟蹤等實際應用場景帶來了困難，因此對霧天成像去霧算法的研究是十分有意義和實用價值的。

針對霧天圖像存在嚴重降質的現象，1999年，Srinivasa G. Narasimhan[1]等人通過建立數學模型，解釋了霧天圖像的成像過程以及霧天圖像包括的各個要素。2009年何凱明等人[2]提出一種新的先驗統計理論——暗通道先驗，使用該方法估計大氣的透射率和大氣光強值，實現降質圖像的除霧。2010年何凱明等人[3]等人提出一種基于導向濾波器的去霧算法精細了透射率圖，使還原的圖像更加真實，2014年王一帆[4]等人基于雙邊濾波的圖像去霧，提高去霧的實時性。2017年陳高科[5]等人提出結合透射率和大氣光改進的暗原色先驗去霧算法。2017年董宇飛[6]等人提出基于導向圖優化的單幅圖像深度去霧算法。2019年劉萬軍[7]等人提出融合GF-MSRCR和暗通道先驗的圖像去霧算法。

1? 算法設計

1.1? 大氣散射模型

大氣散射模型中指出引起探測系統成像結果降質的主要原因有兩種：一是目標反射光受大氣中懸浮粒子的吸收和散射作用，造成目標反射光能量的衰減，導致探測系統的成像結果亮度降低，對比度下降;二是太陽光等環境光受大氣中散射介質的散射作用形成背景光，通常這部分背景光強度大于目標光，因而造成探測系統的成像結果模糊不清，圖1直觀的展示霧天的成像模型。

公式1中是帶有衰減的實際拍攝的圖像，是理想條件下拍攝的圖像，是大氣的投射率，對應的是衰減后的圖像，A是大氣光輻射強度，是表示大氣的散射強度。

1.2? 暗原色先驗原理

對于沒有霧的圖片在絕大多數非天空的局部區域里，某些像素總會有至少一個顏色通道具有很低的值。其對于任意的輸入圖像J，其暗通道可以用下式表達

公式2中表示彩色圖像的每個通道，表示以像素x為中心的一個窗口。首先求出每個像素RGB分量中的最小值，存入一副和原始圖像大小相同的灰度圖中，然后再對這幅灰度圖進行最小值濾波。

就是大氣透射率的預估值。

從暗通道圖中按照亮度的大小取前0.1%的像素在這些位置中，在原始有霧圖像I中尋找對應的具有最高亮度的點的值，作為A值

1.3? 基于鄰域窗口濾波的去霧算法

在基于暗通道先驗原理直接估計的大氣透射率結果比較粗糙，還原的圖像邊緣有光暈圖像看起來也不夠真實，針對這一問題需要使用具有平 滑功能又具備保留邊緣增強紋理信息[8]的濾波器來提取精細的大氣透射率圖，但是常見的圖像濾波器大多數是各向同性濾波（例如簡單平滑或高斯平滑）而言，它們對待噪聲和邊緣信息都采取一致的態度。結果，噪聲被濾除的同時，圖像中具有重要地位的邊緣、紋理和細節也同時被抹平了。這是因為濾波器使用了全窗口回歸，把窗的中心位置放在待處理像素的位置。即便是用非線性各向異性加權，仍然無法杜絕沿著圖像邊緣的擴散，只是沿著邊緣的擴散比較大，而沿著法線的擴散還是比較小，也是擴散，這是傳統方法不保邊的本質原因。

如圖2所示，全窗口回歸方式以c為中心窗口落在平緩的區域，效果會比較好，但是如圖3窗口落在階躍跳變區域上a、b兩點會對本不屬于自己平面的值進行計算，造成真實平面的濾波偏差。

以圖3階躍跳變邊緣[9]建模分析，使用表示強度值，該圖所示的函數是連續的，但不可微。因為強度在各個位置不一樣，我們令“a–”和“a+”分別表示a點的左極限和右極限，其中有圖可知存在邊緣跳躍所以，這兩個區域的泰勒展開是不同的：

因此，任何位置“a–”的近似值必須來自a點的左側區域，而位置“a+”的近似值都必須自a點的右區域。

所以如果一個像素點處于圖像中的邊緣位置，那么濾波的時候就應該把濾波器的邊緣和該像素點對齊，而不是像傳統的全窗口濾波器那樣，這樣可以使用半窗口濾波[10]，把濾波器的中心和該像素點對齊在除去噪聲的同時，也會將圖像中具有重要地位的邊緣、紋理和細節也被一同消除了。

為了解決這種濾波偏差常見的解決辦法是使用具有保邊濾波的算法如雙邊濾波器[11]或者導向濾波器[12]，但是這兩中算法比較復雜。

本文在側窗口濾波[13]的基礎上使用消除干擾的切尾均值尋找鄰域最佳方向，使用最佳窗口濾波來去除帶質圖片。該方法使用非全窗口回歸的半窗口回歸，即選取與中心像素點接近的鄰域進行濾波操作。

如圖4中，以像素點c為中心半徑為r的八個與之相鄰的區域（上、下、左、右、左上、左下、右上、右下方向），計算這個八個區域的切尾均值去除噪點的干擾，并與中心點c計算歐式距離。在相同平面的，八鄰域的切尾平均數和原始值距離代表中心點與八鄰域的相似程度，若不在一個平面則和中心點相差比較大。選取差值最小的方向做為最佳方向，并取該方向上的窗口進行平滑濾波。

（1）鄰域窗口濾波算法步驟：

計算目標像素點八鄰域上的切尾均值可以更好的消除除噪點干擾，是窗口大小為的八鄰域里的像素點

（2）基于鄰域窗口濾波去霧具體步驟如下

① 首先對輸入帶霧圖像進行鄰域窗口濾波實現平滑和紋理信息加強。鄰域域濾波函數

② 由鄰域濾波公式可得濾波后的，由式（7）提出暗通道則

③ 在暗通道中統計出前0.1%亮度最高的像素點，然后在由帶霧圖像I中尋找出暗通道里面統計出的最高亮度點所對應的像素的極小值作為大氣光A

④ 通過式（9）和式（17）可得粗估大氣透射率

⑤ 再將粗估透射率圖再進行一次鄰域濾波得到平滑且邊界加強的精細估計的透射率

⑥ 最后由式10還原出去霧的圖片

2? 實驗結果和分析

在對帶霧圖像I進行鄰域濾波器時，八鄰域窗口為3*3大小。實驗平臺使用的時Intel i5 1.8 GHz 8GB RAM windows10電腦，實驗軟件環境使用的時python3.7和opencv3。

2.1? 去霧效果分析

實驗采用常用的去霧效果測試圖片，圖片來源He[2]、He[3]使用的是640*480大小的圖片，如圖5-8所示，。復原對比He算法[3]、基于雙邊濾波的圖像去霧算法[4]，實驗參數設置如表1所示。

2.1.1? 去霧效果評估標準

為了更加客觀的評估不同算法的去霧效果，可以從圖像的紋理、圖像的信息含量、圖像的對比度三個方向上去衡量[14]，繼而引入圖像的信息熵、圖像的標準差和圖像的平均梯度去定量分析對比。

（1）圖像信息熵，圖像所含信息量多少的一種評估量，數字越大表示信息含量越大反之越小。其數學公式如下

（2）圖像標準差，可以反映圖片的對比度的量，

數字越大表示圖片對比度越好。其數學公式如下

（3）圖像的平均梯度，表示圖像的紋理細節清晰

程度，數字越大表明圖片紋理細節越清晰。其數學公式如下

2.1.2? 去霧視覺效果對比

圖9列出帶霧原圖Cones、Pumpkin、Aerial及Houses在不同去霧算法處理后的視覺效果圖。

2.1.3? 客觀數據分析

圖10列出了列出帶霧原圖Cones、Pumpkin、Aerial及Houses在不同去霧算法處理后的直方圖統計信息。

圖10中我們可以清晰的看出原圖的三個通道的信息量是最豐富的也說明存在霧霾導致其像素范圍比較廣，而在三種算法的過濾下的去霧圖像中直方圖統計的數據中均有體現出與帶霧霾圖片直方圖統計數據有明顯的信息丟失，這也反映出三種算法的數據過濾和數據保留效果。但是單純對比三種算法去霧后的直方圖數據是很難定量的對比出算法去霧效果的。但是我們可以簡單的從這三種算法的直方圖中看出在圖Cones中三種算法去霧后的直方圖形狀基本相同，而在后三張圖片中每個算法去霧后的直方圖表現較大的差異。

為了更加客觀的對這三種算法進行評估，表2列出了不同算法處理后的圖片的標準差、平均梯度、信息熵的信息對比。

表2中我們可以通過對比三種算法去霧后的標準差、平均梯度及信息熵來評估每種算法的性能，在表中可以得出三種算法在信息熵這一項中和原圖對比有所減少，這反映出圖像信息在減少，體現出算法降質去霧的本質，而三種算法在平均梯度這一評估標準上與原圖的平均梯度值相比有所增加，這反應出三種算法在降質的同時保留及加強紋理細節的特點，但是在標準差中三種算法表現出不同情況，圖Pumpkin是帶有天空的圖片文獻[3]算法處理效果要好于后兩個算法。圖片平均梯度最小的Aerial中文獻[4]算法處理效果要好于其他兩個也體現出雙邊濾波是從空間及色彩兩個維度上考慮的。當帶霧原圖平均梯度較大時即

紋理細節較為豐富時如圖Cones和圖House本文算法處理后的效果要好于文獻[3-4]，在紋理細節越強的圖片中本文算法去霧后的效果越好，這也體現出鄰域窗口保留紋理濾波效果強的特點。

圖11單獨對比三種算法作用于平均梯度最大的House圖片上的透射率圖及效果圖。

在圖11中可以清晰對比出三種算法在圖House上的去霧效果，紅框單獨放大局部區域的透射率圖，可以清晰對比出三種算法在相同區域透射率圖紋理細節的不同。

為了更加客觀的比較三種算法的透射率圖，表3中列出了不同算法處理后的投射率圖的標準差及平均梯度，這兩個評估標準可以客觀的代表圖像的對比度及圖像的紋理細節，可以從表中發現三個算法在平均梯度這一項中很接近，三種算法有具有保邊濾波的功能，三種算法能使的透射率圖的紋理信息得到保留加強，但本文算法在平均梯度略好于前兩個算法，在濾波及加強紋理細節后也使得透射率圖的對比度也加強了。

3? 結語

通過分析基于暗通道先驗的去霧算發需要精細化透射率圖來提高去霧效果，常見的經典去霧算法常使用導向濾波及雙邊濾波，但是這兩種算較為復雜，本文從精細化透射率圖的角度上，提出一種新的濾波算法，該算法只需要對八個鄰域進行切尾均值濾波選出最佳濾波方向即可。從實驗結果分析本文算法具有較強的保留紋理及濾波的效果，特別是在紋理細節較為豐富的圖片上其去霧效果更佳。本文算法原理簡單，實驗效果明顯。

參考文獻

[1]S. K. Nayar and S. G. Narasimhan， “Vision in bad weather， ” in IEEE Intl Conf. Computer Vision， 1999.

[2]He K， Sun J， Tang X. Single image haze removal using dark channel prior[J]. IEEE transactions on pattern analysis and machine intelligence， 2010， 33（12）： 2341-2353.

[3]He K， Sun J， Tang X. Guided image filtering[C]//European conference on computer vision. Springer， Berlin， Heidelberg， 2010： 1-14.

[4]王一帆， 尹傳歷， 黃義明， 等. 基于雙邊濾波的圖像去霧[J]. 中國圖象圖形學報， 2014（3）： 58-64.

[5]陳高科， 楊燕， 張寶山. 結合透射率和大氣光改進的暗原色先驗去霧算法[J]. 計算機應用， 2017（5）.

[6]董宇飛， 楊燕， 曹碧婷. 基于導向圖優化的單幅圖像深度去霧算法 [J]. 計算機應用， 2017（1）： 268-272， 277共6頁.

[7]劉萬軍， 白宛司， 曲海成， et al. 融合GF-MSRCR和暗通道先驗的圖像去霧[J]. 中國圖象圖形學報， 2019（11）： 1893- 1905.

[8]Gong Y， Sbalzarini I F. Curvature filters efficiently reduce certain variational energies[J]. IEEE Transactions on Image Processing， 2017， 26（4）： 1786-1798.

[9]Koschan A， Abidi M. Detection and classification of edges in color images[J]. IEEE Signal Processing Magazine， 2005， 22（1）： 64-73.

[10]Gong Y， Liu B， Hou X， et al. Sub-window box filter[C]// 2018 IEEE Visual Communications and Image Processing （VCIP）. IEEE， 2018： 1-4.

[11]Tomasi C， Manduchi R. Bilateral filtering for gray and color images[C]//Sixth international conference on computer vision （IEEE Cat. No. 98CH36271）. IEEE， 1998： 839-846.

[12]Kaiming He， Jian Sun， Xiaoou Tang. Guided Image Filtering[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2013， 35（6）： 1397-1409.

[13]Yin H， Gong Y， Qiu G. Side window filtering[C]// Proceed ings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019： 8758-8766.

[14]李佳童， 章毓晉. 圖像去霧算法的改進和主客觀性能評價[J]. 光學精密工程， 2017（3）.