基于顯著性權重的多曝光融合的單幅霧天圖像復原算法

李紅云 施 云 高 銀

①(泉州職業技術大學 晉江 362200)②(泉州裝備制造研究所 晉江 362200)

1 引言

在霧天，拍攝的圖像出現能見度和顏色失真等問題對戶外的道路監控、智能導航、目標識別等產生嚴重干擾。因此，為了得到高質量的目標信息，迫切需要一種對霧天圖像進行有效的復原的方法。

眾所周知，圖像去霧是個不適定問題，即使幾年來替代深度測量，也依然難以取得理想的效果。由于忽略霧天圖像降級的機制，所以很多復原方法受到限制。例如，直方圖均衡方法是通過擴大3個通道的靜態范圍來優化整個局部對比度，卻無法擴展每個局部區域的有效信息[1]。自適應平衡化方法可有效地解決局部問題，但增加了算法復雜性[2]。圖像去霧中早期的模型，retinex方法[3—5]，具有較佳的動態壓縮能力和色彩再現能力，但缺乏邊緣保持的能力，導致恢復后圖像呈現光暈偽影。后來許多學者進行改進，但依舊不能在復原的清晰度和色彩保真度方面達到更好的權衡。

Nayar等人[6]提出大氣散射模式去復原霧天圖像，但引入了無限遠點和近距離點的求解，很容易導致深度區域過飽和。文獻[7]使用不同的偏振角去霧，但所需條件比較困難。因此，這些方法缺乏在實際應用中的實踐性。近幾年，單模型去霧引起人們廣泛的關注，尤其是先驗方法。Fattal[8]提出單成分分析方法，但以輸入圖像的統計特性為基礎的先驗普適性較差，尤其是針對自然戶外圖像。之后，Fattal[9]又設計出顏色線模型，卻不適用于單色圖像。早期的大氣散射模型需要場景的深度求解困難，因此發展應用一直受限制，但He等人[10]借助先驗概率的理論，提出一種新的暗原色先驗去霧的方法(Dark Channel Prior， DCP)，大大促進單圖像去霧的發展，但在亮度變化區域出現視覺感損失問題。為了提高DCP的復原的效果，出現了各向異性高斯濾波[11]、多圖像融合[12]和基于拉普拉斯機制[13]來優化透射率。為了提高算法效率，文獻[14，15]尋求一種新的方法，來代替軟摳圖算法，但并沒有從根本上解決DCP的固有缺陷。Meng等人[16]提出一種邊界約束和上下文正則化方法，但對于霧天的局部曝光圖像，仍出現光暈問題。Zhu等人[17]通過有監督的學習方法，建立顏色損失先驗的線性模型，但遺憾的是，由于散射系數不確定，復原的質量也得到不到保證。

最近，基于機器學習的方法被應用到圖像去霧領域。文獻[18—20]通過混合已建立的假設或先驗知識來訓練，為去霧提供新的線索。雖然他們的系統可以在很大程度上彌補相關特征的弱點，但所采用的復雜的機器學習方法降低實時性能。Zhang等人[21]構建金字塔密集連接的透射圖估計和全局大氣光估計網絡來恢復霧天圖像，但該方法仍然依靠DCP先驗模型。為了擺脫其干擾，Zhang等人[22]提出一種感知金字塔深度網絡，直接復原霧天圖像，但需要成對的大量樣本。之后Wang等人[23]提出了一種大氣光照先驗網絡解決配對問題，用于去霧。但是這些基于學習的方法，仍然離不開準確的大氣散射模型參數。因此，當使用這些可論證的訓練模型來處理不在訓練數據集中的霧天圖像時，這些基于學習的方法可能會遭遇模型失敗。

為了解決這些不良的視覺感，融合原理被引入到圖像去霧中。Ancuti等人[24]通過白平衡和對比度增強過程，構建兩個輸入圖像，然后將兩個對應的映射圖通過多尺度方法進行融合。由于融合對象不足和全局大氣光不準確，該方法視覺效果不理想。Galdran等人[25]提出一種基于融合的變分方法對霧天圖像進行復原，但僅使用增強的變分圖像去模糊迭代優化，這只消除圖像中部分的霧。最近，Gao等人[26]采用自構造的方法對霧天圖像進行復原，該方法提高了圖像的視覺感，但增加了算法的復雜度。

綜上所述，這些基于融合的方法增加了計算復雜性，即使是減少融合的數量，降低算法的復雜度也是有限的。在最近的基于融合的去霧文獻中，這些方法通過在一定程度上權衡方法來獲得更好的視覺效果。這種策略在視覺效果和算法復雜度上取得了較好的權衡。基于此思想，我們提出基于快速多曝光融合的單幅霧天圖像復原算法。本文方法主要貢獻是：(1)提出一種創新的方法去估計全局大氣背景光的范圍，通過該方法可以構造不同曝光程度的圖像，解決亮度損失問題；(2)提出一種自適應邊界限制的Kirsh算子的高階差分濾波方法，更加準確地優化透射率圖像；(3)提出一種基于顯著性權重的快速曝光圖像融合方法，解決圖像視覺效果的問題。

2 本文算法

經典的DCP模型[10]表示如式(1)

其中，I(x)是輸入圖像。J(x)是去霧后的圖像。t(x)表示介質的透射率，早期采用導向濾波[15]進行優化。A是全局大氣背景光的值。由于該模型算法處理后圖像的視覺感損失較嚴重，很多學者開始不斷地對該模型進行修正。

針對DCP的固有缺陷，本文在構建模型和統計實驗的基礎上，提出了一種基于權重多曝光融合的單幅霧天圖像復原算法，算法流程如圖1所示。

圖1 算法的流程圖

2.1 圖像中較亮區域分割

針對暗通道獲取全局大氣背景光值的缺陷，本文提出一種基于直方圖分析的局部尋優閾值分割方法。通過分割，分離較亮區域，求取全局大氣背景光的有效值，在去霧的時候就能有效地解決局部過曝光或者光暈現象，達到最優的視覺效果。

首先，運用高斯濾波平滑處理，或者直方圖；其次利用二分法求解直方圖中的局部最小值

式中，fc(x)為平滑后的單通道圖像。Hc(x)是輸入圖像的直方圖。g(x)是高斯濾波函數，h，σ是高斯卷積核的尺寸和標準差，*是卷積操作。對直方圖進行倒序，mHc(x)取Hc(x)的最大值。Lm(·)是二分法對局部最小值的求解函數。p是二分法求取的一系列局部最小值，p ∈[0，mHc(x))。ac是霧天圖像每個通道較亮區域范圍的下限閾值，全局大氣背景光的有效值正是在該范圍內。對于每個通道，根據不同的高斯核和標準差給出分割的結果。如圖2所示，本文方法分割天空區域有較高的普適性。

圖2 區域分割的對比圖

通過統計實驗，構建出較亮區域的亮度值函數，其公式為

式中，A1，A2，A3為分割后較亮區域像素的最大值，中間值和最小值。中間值可能包含多個值，其求解函數fm求取過程如下：首先獲取fc(x)直方圖占比最大的像素A1，其次獲取占比最大值像素的95%的點At，作為閾值點，最后獲取At與A1中間的值，作為中間值。這些值就是本文全局大氣背景光的值。

2.2 透射率圖像的優化

DCP中對透射率圖像的優化經過He等人[10]改進，引入導向濾波，雖然減少了處理時間，卻增加了算法的復雜度。本文通過大量的實驗發現，處理完的圖像的平滑度直接影響處理后圖像的視覺效果，并且針對不同場景的圖像，透射率的優化程度也應該不同。因此，考慮到算法復雜度和處理效果，本文提出一種新的基于自適應邊界限制的Kirsh算子的高階差分濾波方法，其步驟如下。

首先，根據輻射立方體理論，本文重新定義一種針對任何霧天圖像的自適應邊界限制條件

其次，構造Kirsh算子的高階差分濾波方法，對獲得的透射率圖像進行優化處理。

由于Kirsh算子單獨運行可以增強圖像的細節，但是對于霧天圖像，對透射率的優化是在保持邊緣的基礎上，達到對梯度較小區域的平滑。因此需要借助高階差分濾波的方法，把Kirsh算子的8方向模板融合到該濾波之中，具體的構造為

2.3 顯著性權重多曝光圖像融合

經過自適應邊界限制的Kirsh算子的高階差分濾波處理，透射率的圖像得到不同程度的平滑。在DCP基礎上，可以獲取不同程度去霧的初始圖像。

其中，Ji(x)是不同全局大氣背景光Ai和透射率圖像Ti下求取的去霧后的結果，i的取值為1， 2， 3。d是一個調節參數，取值范圍為[0， 1]。T0是透射率圖像的Ti下邊界限制值。

由于全局大氣背景光Ai在暗原色理論中起到調節處理后圖像亮度的作用，復原完成后圖像出現不同程度的曝光。本文根據此特點，提出一種基于顯著性權重的多曝光圖像融合方法，其表示為

其中，NJ(x)是融合后的圖像。ME(·)是多曝光融合算法，其具體的步驟如下。

3 實驗結果及分析

為了提高算法的普適性，我們把圖像庫中400個霧天圖像作為樣本，運用統計學方法獲得圖像分割的一般性規律，在雙核2.4 GHz CPU，Matlab R2015a和Windows 7操作系統基礎上，對本文算法進行驗證。文中從區域分割和透射率圖像優化方面進行分析，說明本文分割算法和新的濾波方法的作用。為測試算法的有效性，本文與文獻[10，16，28—31]進行比較，從主觀和客觀兩個方面對算法進行分析。其中合成圖像從RESIDE的測試集SOTS隨機取出[32]。

3.1 區域分割的對比和透射率圖像優化的分析

對霧天圖像的全局處理，容易引起圖像中的色彩過度飽和對比度過大等問題，因此，尋找一種能對霧天圖像中不同區域進行分割的方法，對每個不同的分割區域采用不同方法處理，是處理霧天圖像的關鍵之一?？紤]到一天中不同部分時間段的影響，文中采用不同場景和時間段采集的圖像，測試算法處理的普適性，其處理效果如圖4所示。

在圖4中，第1行圖像是沒有較亮區域的，分割出的部分是圖像中反射率比較大的部分，該部分由于反射率比較大，顯現的圖像亮度值就比較高，可以作為全局大氣背景光的值所在的區域。第2行圖像是有小部分的較亮區域的圖像，分割出的結果是圖中比較亮的部分，但不包含路燈，本文分割算法可以有效地消除路燈的干擾。第3行為較亮區域占比比較大的圖像，從分割的結果可以看出，本文算法可以有效地分離出主要的較亮區域，去掉大部分“霧帶”的干擾。3幅圖像的復原結果都很好地保留了原圖的色彩，比較接近人眼可視的視覺感。

圖3 顯著性多曝光融合過程

圖4 濾波后透射率圖像的對比

為了有效地說明本文提出的透射率算法的有效性，我們與經典的導向濾波[15]方法進行對比分析。

在圖4中，通過文獻[10]的方法獲取的暗通道圖像細節比較清晰，經過導向濾波的處理，圖像中大部分得到了平滑優化，復原后的結果色彩保真度也很好，但有些圖像中殘存有霧氣，如第1行文獻[10]處理的結果。此外文獻[10]處理后的結果有亮度損失的現象，如第3行圖像，主要原因是作者采用統計先驗的方法估計全局大氣背景光，造成該值出現偏差。導向濾波的方法是對全局的平滑處理，促使圖像失去了深度感，圖像中物體的邊緣損失嚴重，如圖4(c)所示。本文首先通過自適應邊界限制的方法獲取初始透射率圖像，如圖4(e)所示，圖中物體的深度信息比圖4(b)明顯；其次通過Kirsh算子的高階差分濾波方法對初始透射率圖像進行保邊平滑處理，如圖4(f)所示，圖中每個物體的深度信息依然很突出，并且在保留圖像邊緣細節的同時，增加大量的低頻信息，明顯提高暗原色理論模型的增強優化效果。此外，經過本文算法的處理，在較平滑的區域，如圖4(g)中的第1行所示，紅色的墻體表面沒有殘存霧氣，色彩保真度明顯優于暗原色理論算法，其余的2幅圖像，本文算法處理后，圖像的對比度明顯得到增強，視覺可視度也得到明顯的提高。因此，本文算法在透射率圖像優化方面有明顯的優勢。

3.2 本文算法效果的對比分析

根據對比分析的一致性原則，本文分別采用不同類別的自然圖像和合成圖像，與當前最新的暗原色理論模型及其修正方法進行對比，文獻[10，16，28—31]通過主觀和客觀數據分析進行評價?？陀^評價中，表1分別用黑體標注最優的兩種方法。

由于自然環境下的圖像缺少真實的無霧圖像，對其評價沒有可參考對象，所以對自然圖像的評價采用無參考的圖像評價方法[33，34]。圖5采用的是戶外霧天圖像，分別命名為工地、寺廟、稻田和原野。表1是針對圖5進行的客觀評價，評價方法為ILNIQE[33]和ENIQA[34]。ILNIQE是通過圖像的特征，對自然圖像進行評價，評價的值越小，說明該圖像質量越高。ENIQA是一種無參考圖像評價方法，評價的值越大，圖像質量越好。

圖5 自然圖像去霧對比圖

在圖5中，色彩畸變最大的為文獻[28]處理后的圖像，4幅圖像中較亮區域均出現了顏色畸變，物體的表面殘存有大量的霧氣，整體視覺感較差。其次是文獻[31]的方法，在4幅圖像中，有3幅都出現了一定程度的顏色畸變，圖像的亮度整體偏暗，局部區域出現過增強現象。文獻[16]的結果和文獻[30]的結果類似，有一半的圖像出現了色彩畸變。文獻[30]的方法對圖像的局部有明顯的對比度增強，這一方面，文獻[16]的弱一點。文獻[29]的方法和文獻[10]的方法處理后的結果，在較亮區域只有一小部分出現了顏色畸變，圖像的保真度明顯優于前幾種方法，但處理后物體表面的霧氣，文獻[29]的方法這一方面明顯優于文獻[10]的方法。文獻[10]的方法處理后的結果，殘留的霧氣較多，并且以犧牲圖像亮度來增強圖像的對比度。

與以上6種方法對比，本文的方法處理后的圖像在較亮區域沒有出現顏色畸變，圖像的保真度也比較好，由近及遠，處理后圖像的深度保持比較好，圖像整體達到較好的可視度。

在客觀評價方面，表1中，文獻[10]和文獻[31]的方法沒有產生較好的評價值；文獻[16]和文獻[28]的方法只產生一個較好的評價值；文獻[29]的方法產生2個較好的評價值；文獻[30]的方法產生3個較好的評價值。與以上幾種方法進行對比分析，本文算法產生7個較好的評價值，說明本文算法在處理效果上明顯優于以上6種方法。

表1 自然圖像中不同方法的客觀評價分析

為了更加直觀地分析算法的有效性，本文采用合成圖對本文算法進行對比分析，其中最后一列是輸入圖像的真實結果?？紤]到實驗圖中有合成圖像，所以在客觀評價中對該類圖像采用全參考的圖像評價方法[33]。圖6是從RESIDE的測試集SOTS[32]取出的圖像，分別命名為校園、小區、馬路和宮殿，通過6種經典的方法進行主觀的分析。表2是針對圖6進行的客觀評價。為了更加合理地對自然圖像進行評價，本文采用兩種評價方法：PSNR和RVSIM[35]。PSNR是峰值信噪比的簡稱，PSNR越大，代表圖像越接近真實圖像，質量越好。RVSIM是一種基于視覺敏感度的全參考圖像評價方法，評價的值越大，說明該圖像失真度越小，質量越好。

在圖6中，文獻[10]和文獻[31]的結果是7種方法中最差的，在4幅圖像中較亮區域均出現色彩畸變，圖像出現局部過增強現象，圖像亮度損失也較多，很多物體的細節無法辨析，如圖6(b)、圖6(g)所示。其次，文獻[16]的結果在亮度方面，損失少于以上兩種方法，但在較亮區域依舊出現色彩畸變和過增強問題，并且出現一定程度的“漣漪”現象，如圖6(c)所示。文獻[28]的結果優于以上3種方法，在較亮區域色彩失真較為明顯，雖然圖像亮度得到提高，但處理后圖像仍殘存一層淡淡的霧氣，如圖6(d)所示。文獻[29]和文獻[30]的方法是這幾種對比方法最好的，圖像中只有局部較亮區域出現色彩畸變，圖像中物體的細節雖然有些不太清楚，但整體視覺感得到一定程度的提高，如圖6(e)、圖6(f)所示。與真實的圖像進行對比，6種對比方法均無法達到真實無霧圖像的效果。

圖6 合成圖像去霧對比圖

與以上6種方法進行對比，本文算法處理后的圖像亮度和可視度均較好，較亮區域的色彩保真度也較好，圖像中的物體的細節保留非常完整，清晰可辨，此外，與真實無霧結果對比，本文處理后的圖像非常接近無霧的圖像。

在客觀評價方面，表2中，文獻[10]、文獻[28]和文獻[31]均沒有產生較好的評價值；文獻[16]產生一個較好的評價值；文獻[30]產生2個較好的評價值；文獻[29]產生4個較好的評價值。與以上6種方法相對比，本文的方法產生8組較好的評價值，說明本文算法在處理合成圖像時，其處理的效果明顯優于以上6種方法。

表2 合成圖像中不同方法的客觀評價分析

此外，為了更好地驗證算法的效率，本文利用圖5的圖像進行對比實驗，單位是s，如表3所示。

表3 各種算法的處理時間對比(s)

對比以上7種處理方法，文獻[29]和文獻[31]的處理速度最快，效率最高，但效果比不上本文方法。其次是本文算法，影響效率的主要原因是圖像融合。文獻[30]的方法效率比本文方法稍弱，但強于文獻[10]等方法的處理效率。效率最慢的是文獻[28]等的方法。

4 結束語

在本文中，通過分析大量的霧天圖像直方圖，提出一種新的霧天圖像亮度區域分割方法，更有效地獲取全局大氣背景光；根據Kirsh算子的性質，設計一種新的Kirsh算子的高階差分濾波方法，綜合各個方向優點對透射率圖像進行優化；利用圖像顯著性方法，構造一種顯著性多曝光融合方法，提高復原后的圖像視覺效果。霧天圖像的視覺效果一直是該方向的追求，本文構建顯著性圖，通過多曝光融合方法，根據主觀和客觀實驗對比分析發現，本文避免了亮度區域的光暈現象和圖像的色彩失真問題，很好地提高復原后圖像的視覺效果?？紤]到透射率優化和多曝光融合過程中涉及多圖像的處理，未來工作重點將針對算法的效率和復原后圖像的質量之間的平衡。