結合自適應暗通道先驗和圖像融合策略的單幅圖像除霧方法

程丹松， 劉 歡， 張永強， 金 野， 吳 銳， 劉 鵬

(哈爾濱工業大學 計算機科學與技術學院， 哈爾濱 150001)

?

結合自適應暗通道先驗和圖像融合策略的單幅圖像除霧方法

程丹松， 劉 歡， 張永強， 金 野， 吳 銳， 劉 鵬

(哈爾濱工業大學 計算機科學與技術學院， 哈爾濱 150001)

為解決暗通道先驗統計學模型在一些情況下存在“光暈效應”、顏色偏暗和在霧濃度高區域處理效果不佳等問題,針對暗通道先驗方法進行改進,并結合圖像融合策略來增強可視化區域的視覺效果. 利用像素塊加權插值法來計算每個像素點的暗通道值,進而消除軟摳圖或導向濾波方法所帶來的光暈效應;利用高斯模型對待恢復圖像的暗通道像素值進行模擬,從而自適應地恢復天空和其他明亮區域;通過圖像融合策略增強高濃度區域的圖像信息. 實驗結果表明,與其他幾種經典算法相比,改進方案不僅能夠顯著提高有霧圖像的可見度,而且具有更好的魯棒性.

單幅圖像除霧; 暗通道先驗; 圖像融合; 自適應

室外自然場景捕獲對于理解自然環境和執行可視化活動，如對象檢測、識別和導航，是十分重要的.但是在惡劣天氣環境下，光受大氣顆粒的吸收或散射使場景可見度和對比度大大降低，顏色發生偏移和特征信息大量減少[1]，進而降低識別和檢測的效果，所以圖像去霧技術逐漸受到了研究人員的關注.

基于物理模型研究圖像去霧，最早是利用暗對象相減來處理多光譜數據[2]對大氣散射校正或利用同一場景不同天氣狀況下的多幅圖像進行除霧.后來，近似3D場景模型得到使用. Hautiere等[3]提出利用無霧的車輛視覺系統進行對比度恢復， Kopf等[4]利用現有的地理數字城市模型生成深度圖來提高圖像可見度.然而獲得足夠的圖像或獲取精確的3D地理模型是非常費時和困難的，所以單幅圖像除霧方法的研究顯得尤為重要.在單幅有霧圖像處理方法中，大部分除霧算法都假設圖像滿足大氣散射模型[5]，利用一個附加的深度估計圖或單獨的投射圖來增強圖像的可見度.Tan[6]通過最大化局部對比度來預測場景反照率，但結果往往過飽和并出現“halo效應”.Fattal[7]假定傳輸和表面模型是統計不相關來提高圖像對比度，但該方法需要知道有霧場景下大量的顏色和亮度信息.Tarel等[8]提出了一種使用中值濾波的快速算法，但所提取的深度圖在邊緣細節上不能很好保持.He等[9]在暗通道先驗方面作出重大貢獻，通過加入先驗約束條件，使用軟摳圖方法對初始投射圖進行細化并取得成功的處理結果.然而軟摳圖在計算上十分耗時，盡管后來使用導向濾波來進行加速[10]，但計算復雜度還是比較高，另外在天空區域和邊緣區域存在處理效果不佳等問題.

本文結合融合框架[11]對原有暗原色先驗方法的不足提出了一些改進措施：為了減少原方法塊操作所帶來的“halo效應”，在投射圖計算中加入圖像塊的加權插值技術，一定意義上消除了“halo效應”；針對原色先驗在天空或明亮區域的損失，提出一種自適應暗原色先驗模型，提高模型的魯棒性和適用范圍；針對暗原色先驗處理后的圖像顏色偏暗，在霧濃度偏高地方細節特征變少的問題，結合白平衡處理后圖像和霧濃度感知預測模型處理后的圖像進行融合，在增加霧濃度過高區域特征信息的同時，還可以使圖像整體顏色更加自然.

1 基于物理模型的圖像去霧算法

1.1 大氣散射模型-霧天圖像降質的物理原理

在霧霾天氣條件下，大氣中懸浮的大量粒子對光線有較強的散射作用. 一方面物體表面的反射光由于大氣粒子的散射而發生衰減，光強的衰減直接導致物體成像的亮度減弱，而前向散射也會導致圖像模糊分辨力下降；另一方面自然光因大氣粒子的后向散射而進入成像傳感器參與成像，這種后向散射作用造成圖像飽和度、對比度降低及色調發生偏差[5].

理論上，根據暗原色先驗模型，一幅含霧圖像I可以被分解成兩個分量，直接衰減項和大氣光成分項，即

式中：I(x)是觀察者接收的有霧圖像在x處的亮度，J(x)是觀察者應該接收到的圖像，t(x)∈[0,1]是大氣反射光的投射圖，A代表周圍環境的大氣光成分.第一項J(x)t(x)是直接衰減項，表示場景輻射率如何隨著媒介進行衰減的. 第二項A[1-t(x)]稱為大氣光成分，由于先前的散射光會造成場景顏色偏移. 一般來說，通過假定大氣是均勻的，并且光傳播更長的距離時會加塊衰減和散射.其中t(x)=e-βd(x)中β是介質的衰減系數，d(x)是場景和觀察者之間的距離.

霧天圖像的成像模型如圖1所示,它揭示了從圖像復原角度實現去霧的核心思想, 即從觀測到的圖像亮度中去除大氣光參與成像的部分,同時對衰減光的結果進行補償, 即可實現場景的清晰復原.它意味著在 RGB色彩空間中,向量A,J(x)，I(x)從幾何學來看是共面的,端點是共線的,透過系數t是兩條線段長度之比[9],即

圖1 霧天圖像成像模型

利用大氣散射模型將有霧圖像恢復到無霧圖像的方法總體上可以分為三類：第一類是基于深度信息的方法；第二類是基于大氣光偏振特性的去霧算法；第三類是基于先驗知識的方法.

1.2 暗通道先驗

暗原色先驗是一種對無霧圖像的統計學規律. 先前的去霧方法重心都是放在提高圖像對比度上，而He等人著眼于無霧圖像的統計特征，通過對收集到的大量的無霧圖像做實驗，發現了這個客觀存在的統計規律，即在絕大多數戶外無霧圖像的任意局部小塊中，總存在一些(至少一個)像素，它們的某一個或幾個顏色通道的強度值很低且接近于零，稱之為暗原色[9].

在暗原色的求取過程中, 首先將霧圖像在RGB空間進行分解,在局部塊中取最小值操作,求得 R,G,B三通道中最小分量,然后采用軟摳圖或導向濾波算法[10]對最小分量值進行局部區域最小濾波.求取暗通道的數學表達式為

(1)

式中：Jc(y)表示彩色圖像的每個通道,Ω(x)表示以像素x為中心的一個窗口.式(1)的表達也很簡單, 首先求出每個像素RGB分量中的最小值, 存入一幅和原始圖像大小相同的灰度圖中,然后再對這幅灰度圖進行最小值濾波,濾波的半徑由窗口大小決定,一般有WindowSize = 2 * Radius + 1.暗通道先驗的理論指出：Jdark(x)→0.

暗原色先驗理論是基于統計學上的規律，目前還沒有被數學證明.為了驗證其有效性和正確性，He等做了大量的統計實驗，圖2給出了超5 000幅圖像的暗原色強度統計直方圖，從中可以看出約有 75%的像素點，其強度值為0，約有86%的像素點，其強度值低于16，絕大多數的像素點的強度值都很低. 以上統計結果在一定程度上證明了暗原色先驗的合理性.因此He得出結論：絕大多數戶外無霧圖像中的暗原色都具有較低的平均強度值，這就意味著在無霧圖像中絕大多數都符合暗原色先驗規律.

圖2 超過5 000幅圖像暗通道先驗強度統計直方圖

Fig.2 Histogram of the intensity of the pixels in all the 5 000 dark channels

1.3 霧濃度感知模型

霧濃度感知預測模型[12]首先從測試集中提取霧統計特征，然后通過高斯模型對霧統計特征進行擬合， 進而計算自然無霧圖像和含霧圖像的偏差.霧統計特征是通過自然場景統計模型和霧統計特征派生出來的. 霧感知密度可以表示為有霧圖像等級與無霧圖像等級的比率.該比率方法包含有霧圖像與無霧圖像的特征， 因此比單純利用有霧圖像預測霧濃度更準確[13].

馬氏距離的表達式為

其中，v1,v2和Σ1,Σ2是無霧圖像集和測試圖像集MVG模型的均值向量和協方差矩陣. 同樣，定義Dff為測試圖像集和有霧圖像集的在MVG模型中參數的距離.最后通過Df和Dff的比重來確定測試圖像區域塊霧濃度.

2 改進方法

2.1 大氣光A的估計

在 He的論文中一般選取暗原色中最大亮度的前0.1%像素，并把它們對應到原始有霧圖像中的相應像素點上，然后選定這些像素點中亮度最高像素點的值作為A值. 也就是說，He選取了原始有霧圖像I中的某一點的值作為整幅圖像的大氣環境光值，這樣當圖像中其他區域顏色偏亮時會很容易導致誤選. 為了使大氣光的估計更可靠，本文基于天空區域像素值方差通常很低這個前提，采用四分搜索法將輸入圖像劃分4個矩形區域，并定義每個區域取值為區域內所有像素值減去標準偏差的平均值，然后再選中具有最低取值的區域，并進一步將其劃分成4個更小的區域.重復此過程，直到所選擇的區域比預先規定的閾值小，將最后這塊區域的像素亮度均值作為大氣光取值.

2.1 大氣光A的估計

暗通道先驗圖像除霧的關鍵一步是投射圖的計算.在He的文章中先通過暗通道先驗粗估計投射圖，然后利用軟摳圖或導向濾波進行細化，得到最終的投射圖[9].

暗通道先驗利用局部塊最小操作來進行計算必然會產生“halo效應”. 這是因為假如像素x位于邊緣附件,利用上述方法求取的最小值，在位置上會更傾向于邊緣附近較暗的一面, 進而導致最終估計的值比實際值小. 如圖3所示,由于位于邊緣附近較亮側的像素會比整個亮區域有更低的極小值，而比整個暗區域會有較高的極小值，所以整個投射圖邊緣保持性并不是很好，在最終恢復的圖像中邊緣部分就會出現光帶，即“halo效應”.

圖3 局部最小操作

為了解決上述問題，提出一種更有效的方法來估算投射圖. 因為投射圖與場景深度有關，而一個物體自身的像素具有相似的透射率. 這就意味著透射率有局部不變性. 對于一幅含霧圖像I，首先計算每個像素點在各個通道中的最小值，記為I1(x). 但是由于暗原色先驗是基于局部最小值而不是一個像素點，所以不能直接用來估計投射圖. 因此本文首先計算不重疊塊的暗通道先驗值Bdark(i). 然后利用周圍塊的加權插值方法來計算Idark(x)，最后再利用導向濾波求取最終的透射圖. Idark(x)的表達式為

(2)

ωx(i)計算公式為

其中Dx(i)=I1(x)-Bdark(i)，σ=0.3.

通過式(2)可知,對于任一像素,當I1(x)與鄰域塊的Bdark(i)差別很小時,像素Idark(x)趨向于和塊i來自于同一物體,所以對應權重ωx(i)相應很高.而當I1(x)與鄰域塊的Bdark(i)差別很大時, 像素Idark(x)趨向于和塊i來自于不同物體,相應權重ωx(i)很低. 一方面I1(x)的存在可以很好地保留細節信息, 另一方面通過加權歸一化計算得到的值會更傾向于來自同一物體,即滿足局部不變特性.這樣在邊緣部分的求取中就不會發生求取的值傾向于邊緣較暗的一面的問題, 所以該方法能夠有效計算暗通道像素值，避免由于塊效應而引起的“光暈效應”.

另外，在He的文章中對于無霧圖像暗通道先驗假設是Jdark→0， 所以在后面的計算中舍棄Jdark(x)因子即將式(1)的值設置為0. 在大多數情況下這項操作沒有問題，但是在天空或接近大氣光的明亮區域式，公式并不成立.所以在一些特殊情況下，會出現暗通道先驗在天空等明亮區域失效的情況.

為了解決這個問題,通過重新計算無霧圖像的暗通道先驗值Jdark(x)來進行校正. 通過Idark(x)對Jdark(x)進行擬合,根據圖2和圖3可以知道，對于一幅無霧圖像, 其像素分布可以用一個高斯模型來擬合,通過一種自適應方法求取Jdark(x),表達式為

其中ω2和Z是為了調整模型形狀和取值以自適應求取暗通道值而設立的,本文實驗調整為ω2=13，Z=0.65.

暗通道先驗透射圖的估計表達式為

綜合以上，改進后的投射圖估算公式為

其中在He等人[9]的文章中為了使圖像更自然真實，設置ω1=0.95.

2.3 基于圖像融合策略的信息增強

通過上面處理得到的結果雖然消除了暗通道先驗失效和“halo效應”，但是仍存在圖像顏色偏暗、高霧濃度區域對比度低、信息特征少等問題，因此本文通過圖像增強的方式利用融合策略來增加圖像的有用信息.

圖像I2是利用2.2節改進方法獲取的圖像，即消除了“halo效應”和暗通道先驗失效后的圖像. 定義I1為白平衡圖像，I3是通過霧濃度感知模型導出的圖像，主要是為了補償I2在濃度高區域的處理中缺失的特征信息和顏色偏移.其表達式為

在文獻[13]中，為了增強圖像細節信息和對比度，提出通過加權圖融合來增強圖像的信息和可見度.在融合過程中，為了保留更多顯著特征，本文使用加權圖進行計算.多尺度融合方法是基于人的視覺系統對局部變化敏感這一事實，并且多尺度融合提供了一種吸納不同分辨率的圖像局部細節的簡便方法.每個預處理圖像和相應的歸一化權重圖利用拉普拉斯金字塔和高斯金字塔進行分解.

為了消除融合降質，在實驗中取l=9為金字塔等級， Gl{·}和Ll{·}為金字塔等級l的高斯和拉普拉斯分解.操作通過自下而上的方式在每一層依次執行.最后，除霧圖像通過拉普拉斯金字塔重建獲得.

3 實驗結果

為了驗證所提出的去霧方法的有效性,利用多幅含霧圖像對其進行測試，并且和He[9]，Tarel[8]，Fattal[7]和Lark[13]的方法進行比較.所有的算法都是在采用MATLABR2014a實現，實驗系統環境是主頻為3.4 GHz和4 GB RAM的PC.

3.1 現實世界圖像的定性比較

由于所有的去霧算法對一般室外圖像能夠得到非常好的結果，為了對它們進行比較，對一些具有白色或灰色區域的挑戰性圖像進行處理，因為大多數現有的去霧算法對白色是不敏感的.

在圖4中，Tarel[8]的結果對大多數的霧都能很好去除，對場景和對象的細節都能很好的恢復.然而在部分區域會出現過度增強現象，如在天空區域顏色會更暗.這是因為Tarel[8]的算法和He[9]的算法都具有過高估計透射率的問題.此外由于中值濾波中位數是邊緣不保持性的濾波，所以在邊緣區域會出現“halo效應”. Fattal[7]的方法在場景的天際線附近對霧只能進行部分除去，并且處理后的圖像整體顏色也過飽和.這是由于Fattal[7]的算法是基于統計學的，需要充足的顏色信息以及差異性.當霧很濃時，顏色很微弱，差異也不夠明顯，他的評估透射率的方法就不可靠了. He[9]的結果雖然有更好的視覺效果，但不幸的是，當場景亮度和大氣光相似時暗通道先驗是無效的，在一些情況下透射率的估計是不可靠的，所以在天空區域和霧濃度高的情況下處理效果欠佳. Lark[13]的結果雖然得到很好的效果，但是在天空區域也會出現顏色偏暗和處理效果不佳等問題.與這4種方法相比，本文的方法不會出現過飽和現象，并且在天空等明亮區域能取得很好的處理效果.

3.2 定量比較

為了定量評估算法性能，計算各個算法結果的峰值信噪比(PSNR)和結構相似性(SSIM)來作為比較，對比結果如圖5和圖6所示.

峰值信噪比公式為

其中n為采樣值得比特數，此時值設為8.

MSE的計算公式為

峰值信噪比(PSNR)是最普遍最廣泛使用的評鑒畫質的客觀量測法，其值越大，就代表失真越少.結構相似性(SSIM)是用來評估算法保留結構信息的能力.其值越大越好，最大為1. 從表1數據可以看出，本文方法整體PSNR值比其他算法的值都較高，說明方法失真較少.而SSIM的值處于中等程度，說明該算法也能很好地保留更多的結構化信息.

圖像FattalMSEPSNRSSIMPHeMSEPSNRSSIMLarkMSEPSNRSSIMTarelMSEPSNRSSIM本文MSEPSNRSSIMFig10.09858.20.4660.19255.30.4650.10458.00.660.08259.00.7150.01466.60.825Fig20.04261.90.5710.14956.40.4550.06260.20.650.10358.00.6050.05460.80.597Fig30.15456.30.2160.17555.70.3790.04561.60.740.07459.40.6900.05560.70.626Fig40.01267.30.7830.18955.40.4710.12757.10.750.11557.50.7200.03363.00.702Fig50.05061.10.5250.07559.40.6420.04561.60.700.03562.70.8890.02164.90.761

圖5 算法的PSNR對比柱狀圖

Fig.5 PSNR’s comparative histogram of the recent dehazing techniques

圖6 算法的SSIM對比柱狀圖

Fig.6 SSIM’s comparative histogram of the recent dehazing techniques

4 結 論

本文結合改進的自適應暗通道先驗算法和圖像融合策略對單幅圖像進行處理，不僅保留了暗通道先驗簡單有效的優勢，而且還針對處理結果中出現的“halo效應”和暗通道先驗在天空等明亮區域失效的情況進行了提升.通過圖像融合解決圖像整體顏色偏暗的問題和增強了高濃度霧區域的特征信息.實驗表明，該方法在圖像可見度和處理效果上有所改善，尤其在天空等明亮區域的處理效果有了顯著提高.

[1] NARASIMHAN S G,NAYAR S K. Contrast restoration of weather degraded images[J].IEEE Trans. Pattern Anal. Mach. Intell., 2003,25(6): 713 -724.

[2] CHAVEZ P S.An improved dark-object subtraction technique for atmospheric scattering correction of multispectral data[J].Remote Sens. Environ., 1988,24(3):459-479.

[3] HAUTIERE N, TAREL J P, LAVENANT J, et al. Automatic fog detection and estimation of visibility distance through use of an onboard camera[J]. Machine Vision and Applications, 2006, 17(1): 8-20.

[4] KOPF J, NEUBERT B, CHEN B, et al. Deep photo: model-based photograph enhancement and viewing[C]//ACM Transactions on Graphics (TOG). New York:ACM, 2008, 27(5): 116.

[5] KOSCHMIEDER E L. Bénard convection[J]. Adv. Chem. Phys, 1974, 26(177-212): 605.

[6] TAN R T. Visibility in bad weather from a single image[C]// IEEE Conference on Computer Vision and Pattern Recognition. Anchorage: IEEE, 2008: 1-8.

[7] FATTAL R. Single image dehazing[J].ACM transactions on graphics, 2008, 27(3): 72.

[8] TAREL J P, HAUTIERE N. Fast visibility restoration from a single color or gray level image[C]// IEEE 12th International Conference on Computer Vision. IEEE, 2009: 2201-2208.

[9] HE K, SUN J, TANG X. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341-2353.

[10]HE K, SUN J, TANG X. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6): 1397-1409.

[11]ANCUTI C O, ANCUTI C.Single image dehazing by multi-scale fusion[J].IEEE Trans. Image Process., 2013,22(8):3271-3282.

[12]CHOI L K, YOU J,BOVIK A C.Referenceless perceptual fog density prediction model[J].Proc. SPIE, 2014, 9014(10):90140H.

[13]CHOI L K, YOU J, BOVIK A C. Referenceless prediction of perceptual fog density and perceptual image defogging[J]. IEEE Transactions on Image Processing, 2015, 24(11): 3888-3901.

(編輯 王小唯 苗秀芝)

Single image haze removal using adaptive dark channel prior and image fusion strategy

CHENG Dansong, LIU Huan, ZHANG Yongqiang, JIN Ye, WU Rui, LIU Peng

(School of Computer Science and Technology, Harbin institute of technology, Harbin 150001, China)

To resolve the problems of over-saturation, artefacts and dark-look for Dark Channel Prior, this study proposes a method of single image haze removal using adaptive dark channel and image fusion. The Weighted Normalization Interpolation Method is used to compute the dark channel of pixel. The dark channel pixels of the image going to be recovered are modeled as a Gaussian one that a more natural recovered image of the sky and other bright regions can be obtained adaptively. Finally, a post fusion method is devised to increase the image information at dense haze region. Experimental results demonstrate that the proposed method not only significantly improves the visibility of the hazy image than the well-known state-of-the-art approaches, but also has a better robustness.

signal image dehazing; dark channel prior; image fusion; adaptive

10.11918/j.issn.0367-6234.2016.11.006

2015-03-25

國家自然科學基金 (61440025，61402133); 國家博士后科學基金(20100480998); 中國航天科技集團公司哈爾濱工業大學聯合技術創新中心項目(CASC-HIT13-1004); 國防科工局重大專項(公開)(50-Y20A08-0508-15/16)

程丹松(1972—),男,博士,副教授

金 野, jinye@hit.edu.cn

文獻標志碼: A 文章編號: 0367-6234(2016)11-0035-06