基于NSCT和最小化-局部平均梯度的圖像融合

楊孫運，奚崢皓，王漢東，羅 曉，闞 秀

（上海工程技術大學 電子電氣工程學院，上海 201620）

0 引言

圖像融合是將兩個或多個圖像的相關信息結合成一個綜合圖像的過程，可以認為是對原始場景的一種新的解釋。由于單個視覺傳感器在信息采集過程中往往具有局限性，實際中通常采用兩種或多種傳感器采集信息，并對信息數據進行融合處理，從而得到一個清晰完整的圖片信息。考慮到實際應用中的可操作性，近年來采用紅外傳感器和可見光傳感器相結合的方式進行視覺圖像采集與融合的研究越來越多，特別是在環境感知和視頻監控領域[1]。

紅外視覺傳感器可以通過紅外輻射捕獲明顯的目標信息，然而獲取的紅外圖像普遍存在場景信息丟失、分辨率低的缺點[2]。可見光視覺傳感器可以獲取豐富的細節和紋理信息，但在較差的照明條件下，或目標顏色和空間特征與背景相似時，獲取的可見光圖像往往較差[3]。將紅外和可見光圖像融合可以克服單一類型傳感器只能提取特定方面信息的缺點，且融合后圖像既保留了紅外圖像的目標高亮區域，又包含了可見光圖像的紋理細節信息，利于人類視覺感知與分析處理[4]。

現有的紅外圖像和可見光圖像融合的方法可以分為：變換域方法[5]、空間域方法[6]、深度學習方法[7]和其他的方法[8]。基于多尺度變換的方法是最典型的變換域方法，且多尺度變換理論是多種圖像融合場景中最流行的工具。常用的多尺度變換工具有金字塔變換[9]、小波變換[10]、輪廓波變換[11]和NSCT 等[12-13]。但是，金字塔變換融合后容易出現模糊現象，小波變換只能捕獲水平、垂直和對角方向的信息，輪廓波變換容易產生頻譜混疊。NSCT 具有多尺度和多方向特性，分解結果具有平移不變性，并克服了頻譜混疊問題，融合結果具有更好的邊緣、細節信息。

綜合以上分析，根據紅外圖像和可見光圖像的特點，并從實際視覺特征識別與分析的角度出發，本文設計了一種新的融合算法實現對紅外圖像和可見光圖像的有效融合，采用最小化-局部平均梯度規則進行融合處理，并在3 組公共數據集基礎上與5 種經典融合算法進行對比實驗，驗證本文所設計算法的實用性和有效性。

1 NSCT 理論

NSCT 是由多尺度分解和多方向分解兩部分組成，使用非下采樣金字塔濾波器組和非下采樣方向濾波器組實現，由于沒有圖像下采樣的步驟，一幅圖像經N級分解后，可以得到個與原圖像相同大小的子帶圖像，這其中源圖像的低頻近似圖像為1 個，高頻子帶圖像為個，kr是尺度r上的方向分解級數。NSCT 具體變換過程如圖1[14]所示。

2 改進的圖像融合算法

紅外與可見光圖像融合的思想是在充分地保留可見光圖像豐富的背景信息基礎上，進一步保留紅外圖像中顯著的目標信息，使得融合結果更符合人類的視覺感知。源圖像經NSCT 分解后得到低頻子帶和高頻子帶，低頻子帶包含大量源圖像的能量信息，用以描述圖像的目標和背景特征。高頻子帶包含豐富的邊緣和紋理信息，用以描述圖像的細節輪廓特征。

圖1 NSCT 分解圖Fig.1 NSCT decomposition figure

2.1 低頻子帶系數融合

本文采用最小化規則進行低頻子帶系數融合，將m行n列的紅外圖像和可見光圖像低頻系數的對應每一列分別進行融合，其融合規則表述為如下最小化問題：

式中：Il和Vl分別是紅外圖像和可見光圖像低頻系數矩陣中對應的列向量；是融合的列向量；p表示像素的位置；||?||2表示2 范數；W表示對角元素為權重值Wp的m×m對角矩陣。兩項分別控制融合列向量與Il以及與Vl具有相同的像素強度，權重矩陣W控制著這兩項之間的平衡關系，顯然權重值Wp對融合方法的性能影響較大，合理定義權重值Wp也顯得尤為重要。

對于式(1)的求解，參考文獻[15]，將式(1)改寫成如下形式：

令M(Z)＝(Z－Il)T(Z－Il)＋W(Z－Vl)T(Z－Vl)，進一步令M(Z)關于Z的導數等于0，可得：

式中：E為m×m的單位矩陣。經矩陣運算得：

通過式(4)將紅外圖像低頻系數和可見光圖像的低頻系數直接融合得到列向量，再將所有的融合列向量組合成m×n的低頻融合系數矩陣L：

基于紅外傳感器獲取的圖像具有目標信息明顯的特點，使用亮度對比度（Luminance Contrast，LC）的顯著性檢測方法提取紅外圖像中目標信息。定義紅外圖像I中某個像素Ip的顯著性為Ip與I中其他所有像素在灰度上的距離之和，即全局的亮度對比可表示為：

式中：S(Ip)表示像素Ip的顯著性值；Ii取值范圍為[0,255]，將式(6)展開可得：

式中：N表示圖像中像素的數量。

鑒于圖像中不同位置可能具有相同的像素值，故式(7)可進一步改寫為：

式中：Nb表示圖像I中像素值等于b的像素總數。圖2 給出了一個紅外圖像和其對應的顯著圖。

圖2 紅外圖像和顯著性檢測圖Fig.2 Infrared image and significance detection diagram

下面，重點考慮融合算法中的權重值Wp的設計問題。現有算法大多采用如下權重值函數：

將像素值進行歸一化處理至[0,1]范圍。如果選用如式(9)所構造的權重值，如圖3所示，當S(Ip)值逼近0 時，權重值Wp趨于無窮大，且過程曲線斜率變化劇烈，直接導致融合圖像出現嚴重的偽影及明暗分布不均現象。為克服這一問題，本文給出一種新的權重值設計方法，定義融合算法中的權重值Wp為：

式中：a為一個未知可調參數，用于調控圖像質量，對于每一個圖像，選取客觀評價中的一個或若干個指標，通過迭代計算分析以獲取一個最優值。

取a＝0.02，得到如圖4所示權重值函數圖像，從圖中可以看出當紅外圖像中p處的顯著性值S(Ip)越大，權重值Wp越小，由式(1)可知，得到的圖像中p處的像素從紅外圖像中轉移的較多；當紅外圖像中p處的顯著性值S(Ip)越小，權重值Wp越大，得到的圖像中p處的像素從可見光圖像中轉移的較多，達到融合圖像目標和背景均清楚的目的。即本文所設計的權重函數不僅可以實現對權重范圍的控制，還可以通過控制權重實現對紅外圖像和可見光圖像中每個像素在融合圖像中作用的調節，從而實現對融合圖像質量的控制。

圖3 式(9)函數對應表達Fig.3 The corresponding expression of equation (9) is the function

圖4 式(10)函數對應表達Fig.4 The corresponding expression of equation (10) is the function

根據式(1)中定義的融合規則，分別使用式(9)和式(10)中設計的權重值函數，得到改進前后的融合結果如圖5所示，原算法的融合結果存在偽影和明暗分布不均的問題，改進后算法所得融合結果的清晰度和明暗度明顯改善很多。

圖5 改進前后的融合結果對比圖Fig.5 Comparison before and after improvement

2.2 高頻系數融合

本文采用局部平均梯度規則進行高頻子帶系數融合。

令X方向的梯度為：

令Y方向的梯度為：

令圖像中(i,j)處的梯度：

故局部平均梯度計算公式如下：

式中：M、N為滑動窗口的寬和高。本文選擇使用3×3 大小的滑動窗口，窗口內9 個像素梯度的平均值作為窗口內中心像素的平均梯度。定義如下形式的高頻系數局部平均梯度融合規則：

2.3 圖像融合

將低頻系數L和高頻系數H進行NSCT 逆變換得到融合圖像F，具體融合過程如圖6所示。

3 實驗分析

本章將使用UN Camp、Kaptein_1123 和Quad 這3對已經過嚴格配準的紅外與可見光圖像進行實驗，其中UN Camp 和Kaptein_1123 來自TNO 數據集，Quad來自英國布里斯托大學博士Stavri Nikolov 拍攝的“Bristol Quees Road”紅外與可見光圖像序列圖。通過與低通比率金子塔（low pass ratio pyramid，LPRP）[16]、交叉雙邊濾波（cross bilateral filter，CBF）[17]、曲波變換（curvelet transform，CT）[18]、雙樹復合小波變換（dual-tree complex wavelet transform，DTCWT）[19]和非下采樣輪廓波變換-均值（non-subsampled contourlet transformmean，NSCT-M）5 種融合算法進行對比試驗，驗證本文所提算法的有效性。

實驗在Intel Core I5-4200M@2.50 GHz 雙核8 G 內存，Win7 操作系統，Matlab 2018b 環境下實現。NSCT分級級數設置為3，每一級方向級數分別為[2,3,2]，a設置為0.02，圖像大小均調整為120×100 像素。

圖6 圖像融合流程圖Fig.6 Schematic diagram of image fusion

3.1 性能評估

為了定量分析融合算法的性能，本文選用信息熵（information entropy，IE）[20]、平均梯度（average gradient，AG）[20]、標準差（standard deviation，SD）[20]、空間頻率（spatial frequency，SF）[21]、互信息（mutual information，MI）[22]、視覺信息保真度（visual information fidelity，VIF）[23]和邊緣相似性度量（edge based on similarity measure，QABF）[23]作為綜合評價指標。其中，IE 衡量圖像信息的豐富程度，熵值越大，融合圖像的信息越豐富；AG 表征融合圖像的細節和紋理的表現能力，用于評價圖像的清晰度，值越大圖像清晰度越高；SD 衡量樣本分布均勻性，值越大表示圖像具有更高的對比度；SF 表征圖像細節的明確性和圖像的空間變化程度，值越大邊緣和紋理越豐富；MI 值越大融合圖像包含源圖像的信息越多；VIF 和QABF衡量融合圖像質量，值越大融合圖像質量越好。

3.2 實驗結果

利用3 組圖像對6 種算法進行融合實驗，結果如圖7～圖9所示，雖然6 種算法都做到了保留源圖像中重要的信息，并對互補信息做了較好的融合，但是仍存在一定的差異。在圖7 中，與(c)、(d)、(e)、(f)和(g) 5 幅融合結果圖像相比，本文所提算法的融合結果明顯具備對比度高且目標突出的特點。在圖8 中，(c)、(d)、(e)和(g) 4 幅融合結果圖像目標不夠突出，融合圖像(f)中背景昏暗，本文所提算法的融合結果目標更為突出，且背景細節信息清晰。在圖9 中，(c)、(d)和(g) 3 幅融合結果圖像對比度偏低，融合圖像(e)明顯模糊，融合圖像(f)中存在偽影，本文所提算法對比度較好且目標更為清晰。

圖7 “UN Camp”圖像的融合結果Fig.7 “UN Camp”image fusion results

圖8 “Kaptein_1123”圖像的融合結果Fig.8 “Kaptein_1123”image fusion results

圖9 “Quad”圖像的融合結果Fig.9 “Quad”image fusion results

為更為直觀地評判各種算法的融合效果，表1～表3 給出在前述7 個性能評價指標下的具體客觀數據，表中每一行中的最優值采用黑體加粗標記，次優值數據下采用橫線標記。由表1 和表2 可以得出，本文所設計算法在除互信息MI 外的6 個性能評價指標下均表現最優，MI 評價結果為次優值且與最優值相差不大。由于“Quad”圖像組本身目標多樣細節復雜等特點，6 種算法中沒有任何一種算法在7 個性能指標下均表現優秀，本文所設計算法表現為3 個最優值，2 個次優值，且其他2 個值與最優值相差較小，整體性能相比其他算法仍然表現良好。

為進一步說明各種算法在7 個評價指標下的整體性能表現，用每一行中的各個數據除以該行中的最優值得每個數據的目標達成度[24]，最后統計算出各算法的總目標達成度（total goal attainment，TGA）。目標達成度公式如下：

式中：Q表示目標達成度；P表示表中的數據；N表示與P同行數據中的最優值。

表4～表6 給出了各種算法在7 個性能評價指標下的整體目標達成度，由表4～表6 的數據可以看出，本文所設計算法整體目標達成度最優，且遠好于次優的算法。故本文所設計算法在應用中具有穩定性好魯棒性強的特點。

表1 “UN Camp”圖像融合結果的客觀評價數據Table 1 Objective evaluation data of fusion results of “UN Camp” image

表2 “Kaptein_1123”圖像的融合結果的客觀評價數據Table 2 Objective evaluation data of fusion results of "Kaptein_1123" image

表3 “Quad”圖像的融合結果客觀評價數據Table 3 Objective evaluation data of fusion results of “Quad” image

表4 “UN Camp”融合圖像的達成度Table 4 Degree of “UN Camp” fusion image

表5 “Kaptein_1123”融合圖像的達成度Table 5 degree of “Kaptein_1123” fusion image

表6 “Quad”融合圖像的達成度Table 6 degree of “Quad” fusion image

4 結論

本文給出了一種新的基于NSCT 變換方法的紅外圖像和可見光圖像的融合方法。改進權重函數并結合紅外圖像的顯著性信息，得到新的權重值，采用最小化原則進行低頻系數部分融合，得到對應低頻融合系數。采用局部平均梯度規則進行高頻系數部分融合，得到對應高頻融合系數，利用所得融合系數進行NSCT 逆變換得到融合圖像。選取5 種經典算法在3個公共數據集中進行比較實驗，實驗結果表明本文所提算法綜合表現明顯優于其他5 種算法且獲得的圖像對比度高、細節清晰、目標顯著，說明了本文所設計算法的合理性和有效性。