吳紹啟,唐 寧,張子方,趙 鵬
(1.桂林電子科技大學信息與通信學院,廣西桂林 541004;2.天津市聯大通信發展有限公司,天津 300192)
一種視頻圖像的去霧算法
吳紹啟1,唐 寧1,張子方2,趙 鵬1
(1.桂林電子科技大學信息與通信學院,廣西桂林 541004;2.天津市聯大通信發展有限公司,天津 300192)
針對去霧方法存在運算復雜度高、圖像邊沿細節模糊等缺點,提出一種基于K值鄰域均值濾波的去霧算法。利用K值鄰域均值濾波算法對大氣透射圖進行估計,通過大氣散射物理模型進行去霧處理,最后通過乘法運算實現圖像的亮度調整。實驗結果表明,K值鄰域均值濾波算法具有更快的處理速度,滿足視頻圖像去霧處理系統的實時性要求,且解決了圖像去霧后邊沿模糊的問題,去霧效果更好。
視頻圖像去霧;K值鄰域均值濾波算法;大氣散射物理模型
在霧霾環境下,交通監控等室外成像系統獲得的視頻圖像受到霧、霾的吸收和散射作用導致圖像質量差,且隨著景深加大,圖像變模糊。因此,如何有效地快速去霧并且保留圖像的邊沿細節,對視覺系統的運營有著重要的意義。雖然在圖像去霧方面涌現出很多新算法,但這些算法仍存在諸如運算時間長、實時性差以及去霧效果不理想等問題。
目前去霧方法研究的主流方向是圍繞基于模型和基于非模型2個角度開展。基于非模型的處理方法主要通過增強圖像的對比度來達到改善圖像視覺的效果,如最常用的直方圖方法,通過改變直方圖的形狀來增強圖像的對比度,但這種方法增強效果不易控制,易導致圖像失真,去霧效果差。基于模型的去霧方法是從圖像復原角度出發,需要考查圖像退化原因,對大氣散射作用進行建模分析,實現場景的復原。比較典型的圖像復原方法有文獻[1]算法和文獻[2]算法。文獻[1]算法利用暗通道先驗知識,用軟件摳圖法估計大氣投射圖,得到較好的圖像去霧效果,但算法復雜度高,暗通道先驗不適用于有天空區域含霧圖像。文獻[2]算法用中值濾波算法估計大氣光幕函數,速度雖較快,但去霧效果一般。后續涌現的新方法大多在文獻[1-2]算法上進行改進。如雙邊濾波算法[34]和導向濾波算法[5-6]較好地保持了圖像邊緣細節,但算法實時性差。均值濾波算法[7-9]速度較快,但圖像灰度值邊緣突變區域的細節模糊。
針對上述算法實時性差和圖像邊緣細節模糊的問題,提出一種基于K值鄰域均值濾波算法的快速視頻圖像去霧算法。利用長寬為K×K窗口內最靠近中心像素值的K個鄰近像素的平均灰度值來替代中心像素,實現對大氣光幕濾波估計。在場景邊緣進行濾波處理,很好地保留了邊緣的細節,并且保留了均值濾波的快速處理的優點。
大氣散射理論認為,在霧天環境下,物體表面的反射光到達觀測點的傳播過程由于受到霧霾粒子的散射作用,導致入射光被衰減和圖像對比度降低。另外,成像光路的周圍存在雜散光,與目標物體的反射光一起參與成像,從而導致目標物體顏色偏移。根據這一霧天光傳輸的物理特性,大氣散射模型[10]給出了反映霧天條件下霧對圖像的退化過程:

其中:(x,y)為輸入圖像中像素點的空間坐標;I(x,y)為攝像頭采集的有霧圖像;J(x,y)為去霧后的圖像;e-rd(x,y)為大氣透射率,r為大氣散射系數;d(x,y)為景物深度;A為全局大氣光。文獻[2]用大氣光幕V(x,y)代替A(1-e-rd(x,y)),若求得全局大氣光A和大氣光幕V(x,y),則可通過

得到清晰圖像。
2.1 全局大氣光的估計
一般情況下,全局大氣光為常數,為了方便在系統上進行運行和求解,全局大氣光的估計值可通過

得到。其中:c表示所選擇的色彩通道;R、G、B分別代表圖像的紅、綠、藍三色分量;255為圖像中最大像素的灰度值;means為求解算術平均值的函數。
2.2 大氣光幕的推導
由大氣散射物理模型可知,大氣光幕滿足約束條件V(x,y)≤I(x,y),即V(x,y)不大于有霧圖像I(x,y)的三通道的最小顏色分量W(x,y)[69]:

引入一個偏移可調整參數q(0<q<1),則

霧化圖像的最小顏色分量W(x,y)實際上含有霧霾和環境光等噪聲,要從霧霾等噪聲中獲取原始圖像信息,需對W(x,y)進行濾波處理。
文獻[7]用傳統均值濾波法對圖像進行濾波時,圖像邊緣灰度值突變區域會變得模糊。為此,采用K值鄰域均值濾波法,在長度為K×K(K=2N+1,N為自然數)濾波窗口中有K2個像素值,求得K個與中心像素灰度值最接近的像素(包括被處理的像素)構成灰度值高度相關的集合,用這個集合內所有像素灰度值的平均值來代替中心像素,實現對窗口內中心像素的濾波功能。濾波窗口為3×3的K值鄰域均值濾波器如圖1所示。

圖1K值鄰域均值濾波器Fig.1Kvalue domain average filtering
從圖1可看出,第一個平滑窗口的中心像素值為7,與中心像素最靠近的像素有4、5、7,則該窗口被處理的像素(窗口中心像素)被(4+5+7)/3≈5代替。同理窗口2的中心像素值1被(1+3+4)/3≈3所代替,窗口3的中心像素值40被(22+24+40)/3≈29所代替。在圖像像素突變邊沿(1~40),用K值鄰域均值濾波法可有效地保留圖像邊沿細節信息,解決了傳統均值濾波帶來的圖像模糊問題。
K值鄰域均值濾波器算法步驟:
1)設定K×K濾波窗口內所有像素的灰度值,構成集合O,且集合保存于數組a[k2]、b[k2]中;
2)n從0到k2-1對數組b[k2]進行由低到高排序,得到新的排序數組b[n];
3)n從0到k2-1循環,判斷窗口內中心像素值a[k2/2]是否等于排序數組b[n];
4)找到a[k2/2]=b[n]時所對應的位置n;
5)在位置n找到與中心像素K個相鄰的像素值,并求平均值來代替中心像素值。
2.3 大氣光幕估計算子
用函數Kf代替K值鄰域均值濾波法,根據大氣光幕滿足的約束條件,可得大氣光幕的近似估計為:
其中C(x,y)、S(x,y)分別表示對W(x,y)進行初級濾波、深度濾波。
2.4 恢復無霧圖像
根據式(2)、(6)求得全局大氣光和大氣光幕的估計值后,可通過求解

得到去霧后的圖像。
在對含霧圖像進行去霧處理后,得到的圖像往往偏暗,且圖像的色彩飽和度太高。為了較好地還原自然亮度,且改變圖像的色彩飽和度,選擇在RGB色彩空間進行亮度和色彩的調整,同時對RGB三個色彩空間進行亮度增強:其中Δk為圖像亮度可調整參數,0≤Δk≤1。Δk值越大,圖像亮度增強效果越好。經實驗驗證,在Δk=0.8時,圖像可取得較好的亮度增強效果。

為了更好地評判本算法的去霧效果和性能,分別從主觀和客觀上與文獻[1,7]的算法進行對比測試。圖2為本算法的去霧效果。從圖2可看出,經過初級去霧到深度去霧,圖像更加清晰,圖像紋理更加突出,但圖像也變得更暗,最后經過亮度增強之后,圖像的清晰度和色彩等得到了較大提高。

圖2 本算法去霧效果Fig.2 Defogging effect of the proposed algorithm
4.1 主觀評價
圖3為霧天圖像(bird)經過不同去霧算法處理后得到的效果對比圖。從圖3可看出,文獻[1]算法有一定的去霧能力,但去霧不徹底,圖像不清晰;文獻[7]算法去霧后圖像清晰,但過于昏暗,局部區域存在模糊霧團,圖像邊緣突變區域細節模糊;本算法處理細節突出,去霧效果明顯,能夠比較自然地還原出原始圖像亮度。

圖3 單幅圖像去霧效果Fig.3 Defogging effect of single image
圖4為一幀監控視頻圖像(frame)的去霧處理效果。從圖4可看出,文獻[1]算法雖然具有一定的去霧效果,但去霧圖像模糊,在天空區域出現光暈等色彩失真現象;文獻[7]算法去霧清晰,但圖像昏暗,且局部景物突變區域出現有帶霧團狀和色彩失真的問題;本算法去霧圖像近處清晰,遠處景物突出,天空區域未出現失真現象,圖像邊緣細節突出。

圖4 一幀圖像去霧效果Fig.4 Defogging effect of a frame image
4.2 客觀評價
為了客觀地比較圖像去霧效果,通過平均梯度、圖像的邊緣強度、運行時間等指標對圖像進行質量評價。若平均梯度和圖像的邊緣強度越大,則圖像的紋理細節越突出、圖像越清晰、去霧效果越好。
表1、2分別為各個圖像的平均梯度和邊緣強度。從表1、2可看出,3種算法的平均梯度和邊緣強度值都比原始圖像大,表明3種算法都能達到去霧要求,但本算法在去霧效果、圖像清晰度、圖像保持邊緣細節的能力等方面優于其他2種算法。

表1 平均梯度Tab.1 Mean gradient

表2 邊緣強度Tab.2 Edge strength
4.3 實時性比較
為了比較算法的運行復雜度,在同一環境下仿真:CPU為2.8GHz的Pentium處理器,內存為3GB的Window 7系統,仿真工具為Matlab 2010b。為了比較準確地分析運行時間,對100幅長寬為640像素×480像素的不同有霧圖像分別經過算法處理,統計其運算時間,得到其平均時間如表3所示。從表3可以看出,本算法用時最短,實時性最好。

表3 平均時間Tab.3 Average time ms
在視頻監控應用領域,針對當前去霧算法的缺陷,提出K值鄰域均值濾波去霧算法。本算法在運行速度上得到提高,景物的邊緣細節得到增強,且去霧后的圖像色彩更逼真,去霧效果更好。K值鄰域均值濾波去霧算法的濾波窗口大小為K×K,K個靠近中心像素值的像素與整個窗口內像素的總和的比值隨著濾波窗口變大而逐漸減小。若濾波窗口過大,則可適當增大K值,即增大K值與濾波窗口內像素的比值,從而解決因濾波窗口發生變化而帶來的濾波效果減弱的問題。
[1] HE Kaiming,SUN Jian,TANG Xiaoou.Single image haze removal using dark channel prior[C]//IEEE Conference on Computer Vision and Pattern Recognition,2009:1956-1963.
[2] TAREL J P,HAUTIERE N.Fast visibility restoration from a single color or gray level image[C]//IEEE 12th International Conference on Computer Vision,2009:2201-2208.
[3] XU Haoran,GUO Jianming,LIU Qing,et al.Fast image dehazing using improved dark channel prior[C]//IEEE International Conference on Information Science and Technology,2012:663-667.
[4] 王一帆,伊傳異,黃義明,等.基于雙邊濾波的圖像去霧[J].中國圖像圖形學報,2014,19(3):386-392.
[5] 劉冬冬,陳瑩.基于暗原色先驗的區域自適應圖像去霧方法[J].計算機工程與應用,2015,16(6):1-5.
[6] 楚君,王華彬,陶亮.基于引導濾波器的單幅霧天圖像復原算法[J].計算機工程與應用,2015,51(21):155-160.
[7] 劉倩,陳茂銀,周東華.基于單幅圖像的快速去霧算法[C]//The 25th Chinese Control and Decision Conference,2013:3780-3785.
[8] 陳超,彭鑫玨,馬利莊.視頻實時自適應去霧算法[J].計算機工程與應用,2015,11(9):1-8.
[9] 陸士猛,劉昌錦.無人機偵察圖像快速去霧算法[J].紅外技術,2015,37(10):847-851.
[10] NARASIMHAN S G,NAYAR S K.Contrast restoration of weather degraded images[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,2003,25(6):713-724.
編輯:張所濱
A defogging algorithm of video image
WU Shaoqi1,TANG Ning1,ZHANG Zifang2,ZHAO Peng1
(1.School of Information and Communication Engineering,Guilin University of Electronic Technology,Guilin 541004,China;2.Tianjin Lianda Communication Development Co.Ltd.,Tianjin 300192,China)
In view of high computational complexity,fuzzy image edge details and other shortcomings of the defogging method,a defogging algorithm based onKvalue domain average filtering method is proposed.The atmospheric transmission is estimated by usingKvalue domain average filtering method.Haze is removed by the physical model of atmospheric scattering.Finally the brightness enhancement of image is realized by multiplicative operation.Experimental results show that theKvalue domain average filtering method has faster processing speed to meet the requirements of real-time video image defogging system.It resolves the problem of image edge blurring after defogging and gets better defogging effect.
video image defogging;Kvalue domain average filtering method;physical model of atmospheric scattering
TN911.73;TP317.41
:A
:1673-808X(2016)05-0364-05
2016-01-18
國家自然科學基金(61464003)
唐寧(1964-),男,湖南邵陽人,副教授,研究方向為專用集成電路設計與應用。E-mail:ningt@guet.edu.cn.
吳紹啟,唐寧,張子方,等.一種視頻圖像的去霧算法[J].桂林電子科技大學學報,2016,36(5):364-368.