基于引導濾波的車載視頻圖像去霧簡化模型

【摘要】為解決現有視頻去霧模型計算量大、運算速度慢且只能處理單幅圖像的問題，提出了基于引導濾波的車載視頻圖像去霧簡化模型。對光能的大氣衰減指數定律和霧霾退化的物理模型進行修正得到去霧簡化模型，利用灰度圖法和引導濾波法確定了模型中的霧氣濃度系數和環境大氣光強度，最后利用計算機仿真對去霧簡化模型進行驗證，結果顯示，模型對連續的視頻幀去霧效果顯著。

關鍵詞：引導濾波 灰度圖 車載視頻 去霧簡化模型

中圖分類號：U463" 文獻標志碼：A" "DOI： 10.20104/j.cnki.1674-6546.20230229

Defogging Simplified Model for Vehicular Video Based on Guide Filtering

Wei Yucong， Sun Mingchen， Jiang Xinming， Liu Jinyuan， Wang Duoyang

（FAW-Volkswagen Automotive Co.， Ltd.， Changchun 130062）

【Abstract】To address the issue of large amount of computation， slow arithmetic speed of the current defogging video model that can only process single image， this article proposed a defogging simplified model for vehicular video based on guide filtering. Firstly， the law of atmospheric attenuation index of light energy and physical model of haze degradation were introduced， then the defogging simplified model was obtained by correcting the attenuation law and the degradation model， and two parameters of the fog concentration factor and ambient air light were determined with the gray scale method and guided filtering method. Finally， the model was verified by computer simulation. The simulation results show that the defogging simplified model works effectively to defog for continuous video.

Key words： Guide filtering， Grey-scale map， Vehicular video， Defogging simplified model

【引用格式】 魏玉聰， 孫銘辰， 姜新明， 等. 基于引導濾波的車載視頻圖像去霧簡化模型[J]. 汽車工程師， 2024（8）： 42-48.

WEI Y C， SUN M C， JIANG X M， et al. Defogging Simplified Model for Vehicular Video Based on Guide Filtering[J]. Automotive Engineer， 2024（8）： 42-48.

1 前言

惡劣天氣是引起嚴重交通事故的重要原因之一。研究表明，雨天發生交通事故的概率是晴天的6.4倍，而霧天發生交通事故的概率是晴天的3.4倍[1]。雨、霧天氣下如何提高駕駛員對前方車輛等障礙物的辨識能力是汽車主動安全技術的研究熱點。

提高雨、霧天氣下障礙物辨識能力最常用的方法是采集車輛前方的視頻、圖像信息，并將圖像處理后呈現給駕駛員。Yitzhaky等[2]針對因大氣湍流和前向散射作用造成的模糊，估計大氣調制傳遞函數，通過頻域解卷積復原模糊圖像；Narasimhan和Nayar[3-6]利用不同天氣條件下同一場景的2幅或多幅圖像估算場景的三維結構，建立二色大氣散射模型[3]，進而恢復出清晰圖像。霧會使所拍攝到的圖像模糊不清，將霧對景物的退化作用等效成照度變化的結果，根據Retinex理論及有霧圖像直方圖的特點分析多尺度增強算法（Multi-Scale Retinex，MSR），采用正態截取拉伸處理輸出圖像可實現較好的去薄霧效果[7-8]。郭璠等[9]提出2種基于霧氣理論的視頻去霧算法，一種方法將霧氣視為覆蓋在各幀圖像上的一層遮罩而從原視頻中減除，另一種方法將霧氣視為光路傳播圖進行分離消除；弓振鵬等[10]基于紅外圖像的視覺處理技術，提出了新的汽車夜視安全控制方法。

但以上方法僅能處理單幅圖像，很難滿足連續性強的車載視頻圖像的處理要求。本文提出一種基于引導濾波的車載視頻圖像去霧模型，實現連續圖像的去霧處理。

2 霧對行車的影響

霧天對能見度的影響嚴重，按照不同霧濃度下的能見度范圍，可以將霧劃分為6個等級，如表1所示。

研究表明，駕駛員在駕駛車輛時，90%以上的行車信息通過視覺獲取[7]。駕駛員在霧天條件下難以識別交通標志、路面設施，對車距及車速的判斷不準確，極易發生追尾事故。按照我國公安部規定[8]，為了保障霧天行車安全，需根據能見度對高速公路上的行駛車速進行限制。道路能見度對交通安全的影響如表2所示。

3 圖像去霧理論

霧霾視頻圖像恢復技術用于從霧霾退化圖像中分離出大氣散射光，進而獲取清晰圖像。

由光能的大氣衰減指數定律[9]可知：

φ（d）=φ（0）e-kd （1）

式中：d為場景距離，即圖像接收器與被拍攝物之間的距離；φ（0）為圖像接收器在零距離時獲得的光能；φ（d）為φ（0）經過距離為d的大氣傳輸后圖像接收器獲得的光能；k為大氣介質的衰減系數。

根據光能的大氣衰減指數定律，Nayar等[3-6]提出了圖像場景中每一點的光輻射強度模型：

[Ed，λ=E∞λγλe-βλdd2+E∞λ（1-e-βλd）]" （2）

式中：E（d，λ）為圖像接收器獲得的霧霾影響下的實際圖像；E∞（λ）為水平方向的天空光強度；γ（λ）為圖像場景中每一點的反射屬性；λ為入射光線波長；β（λ）為基于光波長函數的大氣散射系數，與霧霾濃度有關。

通過轉換式（2）可得場景圖像每一點的亮度，即觀察到的圖像E：

E=I∞ρe-βd+I∞（1-e-βd） （3）

式中：I∞為環境大氣光強度；ρ為標準光輻射強度，是與大氣狀況無關的距離函數；I∞ρ為未經霧霾散射的圖像亮度，即沒有霧霾時的圖像受霧霾介質影響衰減，衰減的程度以d為冪次的指數衰減函數來表征，故I∞ρe-βd又稱為直接衰減項[10]；e-βd為霧霾介質傳輸率；I∞（1-e-βd）為大氣散射光強度，能使圖像模糊退化和色彩偏移失真。

由此可知，圖像去霧應從E中恢復出I∞ρ。

4 去霧簡化模型

4.1 簡化大氣模型

霧霾天氣下，空氣中各種懸浮粒子數量較多，對成像系統影響如下：景物表面的放射光傳播過程中被懸浮粒子吸收而衰減，強度降低；空氣中的懸浮粒子會散射大氣光，部分散射光和景物反射光疊加后傳入成像設備，使圖像清晰度降低。

因此，McCartney于1975年提出大氣雙色散射理論[11]，建立了霧霾退化的物理模型：

I=I∞ρ（x）e-βd（x）+I∞（1-e-βd（x）） （4）

式中：I為霧天攝像機捕獲的退化圖像，ρ（x）為標準光輻射強度，β為霧霾濃度影響系數，d（x）為環境中各點到攝像機的距離函數，x為攝像機捕捉到的環境中點的信息。

令景物表面反射光為I′，由輻射原理可得I′=I∞ρ（x），帶入式（4）可得：

I′=e-βd（x）（I-I∞）+I∞ （5）

相對于天空等長距離光線傳播，可假設圖像各點對應的環境深度為定值，即e-βd（x）可簡化為當前環境的霧氣濃度系數fβ，則式（5）可簡化為：

E=fβ（I-I∞）+I∞ （6）

式（6）中，I為已知量，fβ和I∞為未知量，需進行估算。對于一個地點的短距離范圍，短時間內fβ不會明顯改變，因此，不需要實時計算fβ，可以間歇性測量計算，以節省視頻圖像處理時間。

4.2 fβ估算

fβ是衡量霧濃度大小的重要參數，為避免fβ的取值過大或過小影響修復質量，將fβ的取值范圍限定為[1，8][12]，本文采用灰度圖法估算fβ，灰度圖像通常采用每個像素8位的非線性尺度保存，因此，灰度有256級，其中0級為純黑色、255級為純白色，該精度可避免可見的條帶失真。

假設相機獲得的圖像中某點的顏色為（R，G，B），其中R、G、B分別為紅色、綠色、藍色光強度，灰度圖法估算fβ時需將彩色圖像轉換為灰度圖像，本文采用整數方法轉換：

Gy=（R×30+G×59+B×11）/100 （7）

式中：Gy為灰度。

灰度圖像同樣反映了圖像整體及局部色度和亮度等級的分布和特征。霧對灰度圖像的亮度影響更加明顯，因此，猜想灰度圖像和霧濃度存在相關性，設計如下統計試驗進行驗證：

分析灰度級分布情況可知：不同fβ下，圖像的灰度分布不同，隨著霧氣濃度的增加，灰度像素閾值低于50像素的變化明顯。

圖1中各灰度圖像R、G、B值低于50所占比例分別為0.07%、0.05%、0，可見濃霧圖像像素值低于50的像素點基本沒有，中霧和濃霧下像素值低于100的像素點很少。因此，灰度圖像像素值低于50的像素點所占比例越高，則圖像越清晰。為方便運算，定義像素值低于50的像素點所占比例p與fβ成線性關系，根據經驗值可知，p的取值范圍為[0，0.035]，則：

[fβ=8-200p] （8）

通過式（8）可實現對霧氣濃度的快速估算，需注意，當pgt;0.035時，fβ=1。

4.3 [I∞]的估算

He等于2010年提出的圖像引導濾波器[13]是一種局部線性濾波器，在實時性和去偽影方面優勢明顯，本文利用該濾波器對有霧圖像的灰度圖進行濾波處理，作為I∞的估算值。引導濾波中的局部線性模型如圖2所示。

局部線性模型認為，某函數上一點與其鄰近部分的點成線性關系，一個復雜的函數可用多個局部的線性函數表示，當需求解該函數上某一點的值時，僅需計算所有包含該點的線性函數的平均值。同理，可以認為圖像是一個二維函數，無法給出解析表達式，假設該函數的輸出與輸入在一個二維窗口內滿足線性關系，圖像引導濾波器是一種線性可變濾波器，其濾波核qi為[14]：

[qi=akIi+bk， ?i∈wk]" （9）

式中：wk為第k個核函數窗口，ak、bk分別為給定單元窗口wk內的線性變換系數，Ii為引導圖像，i為wk中的像素索引序號。

引導濾波器必須保證輸入圖像P與輸出圖像q的差異值Z最小：

[Z=mina，bk∈wi（qi-pi）2-εak2] （10）

式中：a、b為線性變換系數，pi為輸入圖像中的像素點，[wi]為以像素[pi]為中心的單元窗口，[ε]為正則化平滑因子。

以式（10）為目標函數，利用最小二乘法可解得：

[ak=covk（I，P）varkI+ε·bk] （11）

經換算，可得：

[ak=Pk-akIk] （12）

式中：covk（I，P）為引導圖像I和輸入圖像P的協方差，vark（I）為I的方差，[Pk]為P在單元窗口wk內的均值，[Ik]為I在單元窗口wk內的均值。

本文中引導圖為輸入圖像P，即I=P，帶入式（11）、式（12）中求得ak和bk，I∞可表示為：

[I∞?R1wk∈wiakpi+1wk∈wibk] （13）

式中：|w|為單元窗口像素數量；R表示對每個像素點作濾波處理，濾波半徑為30像素，平滑因子取值為0.3。

如圖3所示，原圖和灰度圖除顏色不同外，沒有其他差異，引導濾波后的圖像更加模糊，邊緣被很好地保留，引導濾波后的圖像用來估計各場景深度下的大氣環境光。

5 仿真驗證

為了更加客觀地評價算法的有效性，本文采用信息熵方法評估圖像質量，采用處理時間tp評價算法的處理速度[15-16]。

圖像信息熵H表示灰度集合的比特平均數，描述了圖像的平均信息量：

[H=-i=0255pilogpi] （14）

本文將所提出的模型和行業中典型算法[17]進行量化對比，由表3可知：本文算法的單幀處理時間為32 ms，可滿足幀速率為30 幀/s的視頻處理要求，適用于連續視頻數據處理；利用本文算法可復原出更多的圖像信息，復原的結果較He等的算法[17]更優，即該算法還原圖像信息的能力很強。

6 結束語

本文提出了雨霧狀態下的車載視頻圖像去霧模型，并利用灰度圖法和引導濾波法確定了模型中的霧氣濃度系數和環境大氣光強度。最后利用計算機仿真驗證了去霧簡化模型，結果顯示，該模型去霧效果顯著，且對于連續的視頻去霧效果明顯。

視頻去霧可廣泛應用于智能駕駛領域，典型應用場景有：流媒體后視鏡，可在雨霧等天氣情況下較為清晰地顯示周邊環境；行車記錄儀，當雨霧天發生交通事故且事故責任不清晰時，去霧后的視頻數據可用于事故分析。

參考文獻

[1]" "徐鋮鋮， 劉攀， 王煒， 等. 惡劣天氣下高速公路實時事故風險預測模型[J]. 吉林大學學報（工學版）， 2013， 43（1）： 68-73.

XU C C， LIU P， WANG W， et al. Real Time Crash Risk Prediction Model on Freeways Under Nasty Weather Conditions[J]. Journal of Jilin University （Engineering and Technology Edition）， 2013， 43（1）： 68-73.

[2]" YITZHAKY Y， DOR I， KOPEIKA N S. Restoration of Atmospherically Blurred Images According to Weather-Predicted Atmospheric Modulation Transfer Functions[J]. Optical Engineering， 1997， 36（11）： 3064-3072.

[3]" NAYAR S K， NARASIMHAN S G. Vision in Bad Weather[C]// Proceedings of the Seventh IEEE International Conference on Computer Vision. Kerkyra， Greece： IEEE， 1999： 820-827.

[4]" NARASIMHAN S G， NAYAR S K. Contrast Restoration of Weather Degraded Images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2003， 25（6）： 713-724.

[5] NARASIMHAN S G， NAYAR S K. Vision and the Atmosphere[J]. International Journal of Computer Vision， 2002， 48（3）： 233-254.

[6]" "NARASIMHAN S G， NAYAR S K. Chromatic Framework for Vision in Bad Weather[C]// Proceeding of IEEE Conference on Computer Vision and Pattern Recognition. Hilton Head， SC， USA： IEEE， 2000： 1598-l605.

[7]" "芮義斌， 李鵬， 孫錦濤. 一種圖像去薄霧方法[J]. 計算機應用， 2006（1）： 154-156.

RUI Y B， LI P， SUN J T. Method of Removing Fog Effect from Images[J]. Computer Applications， 2006（1）： 154-156.

[8]" "代紅焱， 龍偉， 李炎炎. 高速公路雨霧監測及車輛安全預警系統研究[J]. 南京工程學院學報（自然科學版）， 2012， 10（3）： 55-60.

DAI H Y， LONG W， LI Y Y. Study of Rain and Fog Monitoring and Vehicle Safety Warning System for Expressways[J]. Journal of Nanjing Institute of Technology （Natural Science Edition）， 2012， 10（3）： 55-60.

[9]" "郭璠， 蔡自興， 謝斌. 基于霧氣理論的視頻去霧算法[J]. 電子學報， 2011， 39（9）： 2019-2025.

GUO F， CAI Z X， XIE B. Video Defogging Algorithm Based on Fog Theory[J]. Acta Electronica Sinca， 2011， 39（9）： 2019-2025.

[10] 弓振鵬， 丁鼎. 紅外圖像處理在汽車防撞系統中的運用[J]. 汽車科技， 2011（5）： 45-48.

GONG Z P， DING D. The Application of Infrared Image Processing in the Automotive Anti-Collision System[J]. Auto Sci-Tech， 2011（5）： 45-48.

[11] CAMPBELL G S， NORMAN J M. An Introduction to Environmental Biophysics[M]. New York， NY， USA： Springer-Verlag， 1998： 105-107.

[12] MCCARTNEY E J. Optics of the Atmosphere[M]. New York， NY， USA： John Wiley and Sons， 1976： 198-200.

[13] ROBBY T T. Visibility in Bad Weather from a Single Image[C]// 2008 IEEE Conference on Computer Vision and Pattern Recognition. Anchorage， AK， USA： IEEE， 2008： 1-8.

[14] HE K M， SUN J， TANG X O. Guided Image Filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010： 35（6）： 1397-1409.

[15] GUO F C， CAI Z. Objective Assessment Method for the Clearness Effect of Image Defogging Algorithm[J]. Acta Automatica Sinica， 2012， 38（9）： 1410.

[16] LI D P， YU J， XIAO C B. No-Reference Quality Assessment Method for Defogged Images[J]. Journal of Image and Graphics， 2011， 16（9）： 1753-1757.

[17] HE K M， SUN J， TANG X O. Single Image Haze Removal Using Dark Channel Prior[C]// 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami， FL， USA： IEEE， 2020.

（責任編輯 弦 歌）

修改稿收到日期為2023年7月22日。