基于滾動引導濾波的紅外與可見光圖像融合

張 慧，韓新寧，韓惠麗

（1.寧夏師范學院 數學與計算機科學學院，寧夏 固原 756000；2.寧夏師范學院 化學化工學院，寧夏 固原 756000）

0 引言

由于成像設備成像原理造成同一場景下的紅外與可見光圖像各有利弊：紅外圖像受光線或不利天氣條件的影響較小，但缺乏足夠的背景細節；可見光圖像通常包含更多的細節和紋理信息與更高的空間分辨率，但受不利天氣等因素影響較大。如果將同一場景下紅外與可見光圖像融合就可獲取更多圖像信息，因此紅外與可見光圖像融合在目標檢測、監視、情報收集等軍事和民用領域有著重要的應用[1-3]。

紅外與可見光圖像的融合有很多種方法，現階段較常見的為基于多尺度分解的融合方法。多尺度融合方法實質是用多尺度分解將空間上重疊的特征在尺度上充分分離，從而使不同尺度上分離出來的特征更有效地進行組合。如劉等人提出了一種基于多尺度變換和稀疏表示的圖像融合的一般框架[4]，并取得了不錯的融合效果。但由于稀疏表示采用窗口滑動技術，致使融合圖像中細節過于平滑，圖像局部模糊不清，整體視覺效果不佳。為了提高視覺效果，李等人提出了一種快速有效的圖像融合方法，稱為基于引導濾波的融合方法（guided filtering fusion GFF）[5]，其中引入了一種新的基于引導濾波的權重構造方法，由于權重的計算不可避免帶來融合后圖像的噪音和偽影，因此構造了視覺顯著性函數將像素顯著性和空間一致性結合起來。Bavirisetti 等人借鑒GFF 方法中的優點，提出了一種多尺度引導濾波融合方法（multi-scale guided fusion MGF）[6]，在不同尺度上轉移邊緣結構方面，大大降低了算法的復雜度。GFF 和MGF 方法有一定的優點，但是也有不足之處。Gan 等人提出了GFF 與MGF 方法中的不足之處[7]：首先，顯著性函數沒有保留圖像所有特征，導致視覺效果差；其次，這兩類方法所采用邊緣保護濾波器在圖像分解中較少考慮其空間尺度，因此，沒有將多尺度分解的優勢發揮出來。為了取得較好的融合效果，必須解決以上的兩個問題。張等人提出了一種基于尺度的邊緣保護濾波器，稱為滾動引導濾波器（rolling guidance filter RGF）[8]，RGF 在圖像分解過程中具有很好的尺度感知和邊緣保持特性，彌補了GFF 與MGF 方法中的關于空間尺度的不足之處，因此本文采用RGF 方法作為源圖像分解的工具。

圖像融合除了分解方法外還有融合規則影響圖像融合的最終效果。傳統的基礎層和細節層大多數采用“平均”與“絕對值最大”的融合規則，常常會導致圖像的對比度下降和可見光圖像細節丟失且產生噪聲，從而影響融合后圖像的視覺效果。馬等人在文獻[9]中提出了使用視覺顯著性圖（visual saliency map,VSM）[10]來合并基礎層，有效地避免對比度的損失；同時提出了一種優化的加權最小二乘法（weighted least square,WLS）方法來融合細節層，此方法基于紅外和可見光圖像特征的不同特性，可以選擇性地融合源圖像中的細節信息。文獻[9]中所提及的融合規則很好地解決了GFF 與MGF 方法中采用顯著性函數導致融合圖像視覺效果不佳的問題。所以，本文也采用VSM 和WLS 方法作為基礎層和細節層的融合規則。

可見光圖像成像時易受天氣等因素的影響使得可見光源圖像辨識度低，直接導致融合后圖像的視覺效果不佳，因此，可見光圖像的增強一直是圖像融合過程中源圖像預處理的重要環節之一。現階段很多研究成果，如文獻[11-12]所提及的方法都在可見光圖像增強上有不錯的效果，但是也有計算成本高等一些不足之處，如何提高可見光圖像的增強效果也是圖像融合中急需解決的問題。

綜上所述，本文提出了一種基于滾動引導濾波的紅外與可見光圖像融合方法。首先利用引導濾波將可見光圖像進行增強，然后利用滾動引導濾波將源圖像進行多尺度的分解。通常的融合方法將源圖像分別分解為細節層和基礎層，但在文獻[13-14]中提出將源圖像分解為基礎層，大尺度層與小尺度層，即將細節層繼續細分。這樣分解的原因是細化細節層的分解能夠提高融合圖像的視覺效果，同時也能保護圖像邊緣。因此本文也采用這種分解方法，并在分解后的基礎層，大尺度層、小尺度層采用不同的融合方法進行融合，最后進行信息合成得到最終融合圖像。通過觀察融合圖像和對比數據結果發現，本文所提出的融合方法在主觀評價和客觀評價上都有不錯的表現。

1 可見光圖像的增強與源圖像的分解

1.1 可見光圖像的增強

為了增強較暗光線下可見光圖像，文獻[15]給出了一種基于引導濾波的高動態范圍壓縮的圖像增強方法，其實質是利用引導濾波對圖像進行分解，分步對圖像進行增強。標記引導濾波算子為GFr,ε(·)，則基本步驟可以表述如下：

1）對圖像I先利用方引導濾波算子進行分解得到基礎層Ib＝GFr,ε(·)。

3）增強后的圖像為：

式中：r與ε是關于引導濾波的大小和保護圖像邊緣程度的參數；β與γ是動態范圍壓縮的尺度因子。由于篇幅所限，4 個參數的具體定義與取值可參閱文獻[15]。

圖1 給出了兩組可見光圖像利用所給方法進行增強前、后的對比圖像。通過圖1 明顯可以看出，增強后的可見光圖像無論是在細節表現還是整體的對比度上都得到了提升。

圖1 兩組可見光圖像的增強結果Fig.1 Visibility enhancement results for two test visible images

1.2 源圖像的分解

在多尺度分解中往往會伴隨融合后圖像邊緣出現一些光暈以及不能很好地實現空間重疊特征的尺度分離，而RGF 具有邊緣保持和尺度感知特性，從而可以減少光暈并保留特定尺度的信息，故本文采用RGF方法對源圖像進行分解。記滾動引導濾波算子為RGF(I,σs,σr,T)。其中I為輸入圖像，σs是標準方差作為尺度參數，σr是用來控制權重的范圍，本文取σr＝0.05，T是迭代次數，這里取T＝4。源圖像可利用以下式來進行多尺度分解：

式中：uj是第j層濾波輸出圖像，u0＝I。dj是第j層細節層。N代表分解的層數，本文N＝4，令利用公式(5)～(8)將可見光與紅外圖像分別分解為小尺度層、大尺度層和基礎層。基于滾動引導濾波融合的框架如圖2所示。

2 分解后的信息合成

2.1 小尺度層的信息合成

通過圖2 融合流程圖的展示可知，利用RGF方法將可見光與紅外圖像分別分解后所得的第一層細節層作為小尺度層。由于細節層系數的絕對值越大，對應的特征越顯著，所以在小尺度層上采用傳統的“絕對值最大”融合規則對細節層進行合并。

圖2 基于多尺度分解的滾動方向導波融合流程圖Fig.2 Flow chart of fusion based on MSD of the rolling guided filter

首先給出絕對值最大的系數Wj：

那么在小尺度層的復合信息利用下式進行計算：

2.2 大尺度層的信息合成

與可見光圖像相比，紅外圖像通常含有大尺度的結構信息，但缺乏視覺細節信息并含噪聲。在更高層的細節層如果簡單地使用傳統的“絕對值最大”融合規則，不考慮紅外和可見光圖像之間的不同特性，可能會融合來自源圖像不相關的細節信息，以及紅外圖像的噪聲。為了使融合后的圖像更自然，更適合人類視覺感知，我們稱自第二層開始的細節層為大尺度層，結合文獻[9]，提出WLS 融合規則。

為了減少噪聲，我們將公式(9)的融合系數利用高斯濾波器進行平滑，即：

在此取σs＝2。然后依然利用“絕對值最大”融合規則，得到融合后第j層的細節層。

然后利用公式(11)來獲得優化后的第j層的細節層。

2.3 基礎層的信息合成

常見的基礎層融合方法容易導致對比度降低，為了避免對比度的損失，我們引入VSM 融合方法對基礎層進行融合。VSM 方法根據像素與所有其他像素的對比度來定義像素的顯著性[16]。

讓Ip表示圖像I中像素p的強度值，像素p的顯著值V(p)定義為：

式中：L表示I中的像素總數。將V(p)規范化后其取值在[0,1]之間，令V1和V2分別表示輸入的紅外圖像和可見光圖像利用公式(14)計算得到的顯著值，則紅外與可見光圖像基礎層的融合結果可以通過公式(15)得到：

最后的融合結果為：

3 實驗結果與分析

3.1 測試集與相比較的融合方法

為了驗證本文所提出方法的融合效果，選取如圖3 所給的10 組紅外與可見光圖像的測試集（來源于http://www.imagefusion.org/）。本文所提的方法記為RGF_GSE，與本文所提方法進行比較的融合方法有RGF_GS（文獻[9]所提方法），GFF 方法和MGF 方法，以及離散小波變換方法（discrete wavelet transform,DWT）和曲波變換方法（curvelet transform,CVT）。

圖3 測試集Fig.3 Test set

3.2 圖像質量評價指標

為了更加客觀地評價融合的效果，本文采用6 種常見的融合指標對各種融合方法進行客觀質量評價。6種融合指標分別為度量圖像中信息豐富程度的熵（Entropy,EN），度量融合圖像中結構信息的標準偏差（standard deviation,SD），度量從源圖像傳遞到融合圖像的信息熵（tsallis entropy,QTE）[17]、度量輸入圖像與融合圖像之間的非線性相關信息熵（nonlinear correlation information entropy,QNCIE）[18]，度量圖像的感知顯著性（perceptual saliency,PS）[15]，以及所用時間（time，單位為秒）。在評價的過程中，這些評價指標的數值除時間值越小越好，其指標數值越大說明融合效果越好。

3.3 融合后的主觀評價

鑒于文章篇幅的限制，從10 組融合結果中給出其中兩組的融合結果進行比較，如圖4所示。通過觀察融合結果發現，兩組實驗結果中利用DWT 與CVT 方法融合結果中都出現了“塊”，這是因為兩種方法都是采用多尺度分解＋SR 的融合框架，而稀疏的融合規則會導致融合結果中出現“塊”。并且采用這兩種方法所得融合圖像較為模糊，辨識度低。采用GFF 方法與MGF 方法所得兩組融合結果中圖像對比度比較低，并且圖像中有些邊界較為模糊，例如第一組實驗結果中的樹木和花草基本無法辨識，只是一個輪廓；第二組中柵欄與周圍植物基本無法分辨，視覺效果差。利用RGS_GS 方法融合所得的實驗結果與之前的4 種方法對比，沒有出現“塊”，對比度也得到了提高，兩組融合結果中邊緣處理的也較為理想，但是也有一些不足之處。例如，第一組融合結果中植物辨識度也不是很好，地面與墻面較為模糊；第二組中植物輪廓不分明，某些區域對比度低。采用本文提出的方法RGS_GSE所得到的融合結果，視覺效果好，整個融合圖像的對比度高，兩組圖像中的植物輪廓分明，樹葉與花朵都能分的很清楚。并且某些細節處理很好，例如第一組融合結果中右邊墻面上有很多均勻的豎線，都看得很清楚，這些豎線在其他方法的融合結果中根本看不到；在第二組融合結果中柵欄、房屋上的煙囪都很清楚。

圖4 兩組實驗結果圖Fig.4 Two sets of experimental results

通過實驗結果展示和分析可以看出，本文所提出的方法無論是在細節處理、邊緣保護還是在對比度提升上都有很好的表現，所得融合圖像適應人類視覺感知，有很好的視覺效果。

3.4 融合后的客觀評價

表1 給出的是10 組圖像經不同融合方法后所得客觀評價指標的結果，由于篇幅原因，表中的數據是10 組圖像在同一方法、同一指標取平均值。通過觀察6 種客觀評價指標的測試數據（黑色表明結果最好），本文所提出的方法在其中4 項的評價指標中都是最好的，有一項的指標在6 種方法中數據是排在第二的，在耗時方面沒有MGF 和GFF 兩種方法優化。這主要是由于本文所提方法需要對可見光圖像進行增強，會耗費一定時間，并且MGF 與GFF 方法的特點就是分解方法簡單，融合用時少。但是綜合考慮融合效果和用時的細微差距，本文給出的融合方法在邊緣保護、細節的融合處理以及視覺效果等方面都有不錯的表現。

表1 用DWT、CVT、GFF、MGF、RGF_GS 和RGF_GSE 方法融合得到的指標Table 1 Comparison with DWT,CVT,GFF,MGF,RGF_GS and RGF_GSE of different processing results

4 結論

本文提出一種基于滾動引導濾波的可見光與紅外圖像融合方法，首先利用引導濾波對可見光圖像的內容進行增強，提高可見光圖像在照明條件不好情況下的融合效果。同時，為了提高融合圖像的視覺感知以適應人類視覺，并實現紅外圖像與可見光圖像不同特征信息的融合，本文利用滾動引導濾波將源圖像分解為小尺度層、大尺度層和基礎層。在大尺度層的信息合并中，采用WLS 融合規則解決可見光與紅外圖像不同特征，使融合后的圖像更加適應人類感知。為了降低對比度的損失，在基礎層的信息合成過程中使用了VSM 優化的融合方法。主觀評價與客觀評價也證實了本文方法的有效性。