結合NSST和LC顯著性的紅外與可見光圖像融合

李偉 陳紅斌

（仲愷農業工程學院自動化學院 廣東省廣州市 510225）

圖像融合是以圖像為研究對象的信息融合，它通過特定的算法把多幅源圖像的信息進行互補處理成為一幅新圖像，得到信息量更豐富的圖像。紅外與可見光圖像的融合算法是其中一類重要算法。紅外圖像普遍存在對比度較差和邊緣模糊以及細節不夠明顯的問題。相比之下，可見光圖像能夠提供更高的對比度和豐富的細節信息，但其圖像質量易受到光照亮度、目標遮擋和外部環境的影響。隨著融合技術的發展，研究人員提出一些多尺度幾何分析工具如Wavelet 變換、Curvelet 變換和NSCT 變換等。基于NSCT 的圖像融合方法是近年來研究的焦點，它通過非下采樣的拉普拉斯金字塔分解和非下采樣的方向濾波器組來實現，NSCT 所有的分解子帶都和源圖像的大小相同，并具有平移不變性，從而具有較好的多方向性、多尺度性和平移不變性。但是NSCT 計算復雜度較高運行時間較長，并且其分解的方向數有限。2007年，Easley 等人提出了NSST，它由多尺度分解和方向分解構成，NSST 的時域變換和NSCT 是相類似的， 但NSST 由于在方向分解中采用了剪切濾波器，從而解決了NSCT 的非下采樣方向濾波器所存在的方向數的限制問題。此外，其可以根據時間復雜度的需要和融合質量的要求決定方向數的多少。因此，NSST 不僅保留了NSCT 變換原有的優點，而且比NSCT 更具有靈活性和有效性。

圖像視覺顯著性檢測的目的在于結合圖像的局部及全局特性，檢測能夠描述場景的圖像重要區域。利用視覺顯著性檢測結果指導的系數加權融合，可以充分利用源圖像的特征信息，使融合圖像更大程度地保留源圖像的光譜信息，并能突出源圖像中的目標區域。根據以上分析，本文提出了利用圖像的視覺顯著性特征來指導NSST 系數，實現紅外與可見光圖像融合。算法具體步驟如下：首先，利用基于LC 算法的顯著性檢測方法對紅外和可見光圖像進行顯著特征提取；再利用NSST 變換分別對紅外和可見光源圖像進行多尺度、多方向分解，得到低頻和高頻方向子帶系數；然后利用圖像顯著性特征和區域能量分別指導低頻子帶和各高頻子帶系數融合；最后，將融合后的低頻以及各高頻系數進行NSST 逆變換，得到最后的融合結果。以上方法能夠使源圖像的視覺顯著性目標在融合圖像中得到保持，融合圖像從而更適合于視覺觀察和進一步的圖像處理應用。實驗結果驗證了算法的優越性。

1 NSST

圖1：LC 顯著圖

圖2：融合圖像

NSST 以Shearlet 變換理論為基礎，它是通過合成小波理論把幾何和多尺度分析結合起來提出的一種新的多分辨率分析工具。NSST 離散化過程首先采用非下采樣金字塔（nonsubsampled pyramid，NSP）濾波組獲得圖像的多尺度分解，然后采用改進的剪切波濾波器組（shearlet filter，SF）獲得圖像的多方向和多尺度分解。圖像經過NSP 分解后形成大小相同的低頻子帶和高頻子帶。為捕獲圖像的細節信號，可對低頻子帶反復進行多級非下采樣金字塔分解，最終形成大小相同的一個低頻子帶和多個高頻子帶。

本文首先對紅外圖像Ii和可見光圖像Iv分別進行NSST 分解，表達式如下：

分解后得到高頻分量H 和低頻分量L。式中，J 表示分解層數，j 表示尺度大小，r 代表方向。

2 LC顯著性檢測

LC 算法由Zhai 等2006年提出，它能夠均勻地突出圖像整體的顯著性區域，較好地定義顯著目標的邊界，并能有效忽略來自紋理、噪聲和塊效應的高頻成分。它通過計算某個像素在整個圖像上的全局對比度，即該像素和圖像中其他的所有像素的某個距離的總和，這個距離一般使用歐式距離：

表1：不同融合方法的評價結果

式中，I是是圖像像素集，S是與原圖等尺寸的顯著性圖。圖1中，（a）（b）為紅外和可見光原圖，（c）（d）為其相應的顯著度圖。

3 低頻子帶融合規則

原圖像經NSST 分解后，低頻部分占據著圖像的大部分能量，即紅外圖像與可見光圖像的背景信息。由于可見光圖像中背景區域較為清晰，而紅外圖像中目標部分具有較大的能量和灰度值，為了能夠較好地保存紅外目標信息和可見光背景圖像，本文采用了以紅外可見光顯著圖為參考的方法進行融合，其融合策略可以表示為：

其中Li(x,y)和Lv(x,y)分別為紅外和可見光圖像低頻子帶系數，LR(x,y)為融合后的低頻子帶系數，Si(x,y)和Sv(x,y)為紅外顯著圖和可見顯著圖。

4 高頻子帶融合規則

高頻方向子帶包含了圖像的細節信息，如邊緣、線條以及區域的邊界等。高頻分量中較大的值對應著亮度急劇變化的點，也就是圖像中的顯著特征，其融合的主要目標是盡可能獲取圖像的空間細節。區域能量能夠反映圖像區域內信息量的大小，本文采用了基于區域能量的規則進行融合，首先計算高頻子帶內以像素點（x,y）為中心的區域大小為3×3 的能量E(x,y)，定義為：

然后對高頻系數進行融合，規則如下：

5 融合結果

為了驗證融合方法的正確性和有效性，本文對紅外與可見光圖像進行融合處理，并將本文方法與均值、最大值、小波變換方法進行了比較。本文NSST 分解層數為5，小波變換低頻系數采用均值融合，高頻系數采用最大值融合，實驗結果圖2 所示。

在圖2 中，源圖像是在同一場景中獲得的可見光圖像和紅外圖像，紅外圖像中的行人作為熱源目標是清晰可見的，但周圍的背景信息卻非常模糊。而在可見圖像中，可以清楚地觀察到周圍環境，如道路、灌木叢和柵欄，卻不可能識別行人。圖2（a）中的紅外和可見信號均較弱；圖2（b）中除了紅外物體明顯，但道路、房屋等可見光信號沒能做到較好的保留；圖2（c）中紅外和可見信號也較弱，且存在小波變換帶來的塊狀效應。相比于其他三種融合方法，本文的融合結果亮度和對比度較大，人物特征清晰，同時也很好的保留了道路、房屋和圍欄等可見光信號，具有較好的視覺效果。

為了更加客觀地對融合結果進行對比，本文還利用熵（IE）、邊緣保持度（QAB/F）和標準偏差（STD）對融合圖像進行評價，結果如表1 所示。熵是表示圖像信息豐富程度的重要指標，熵值越大越好; 邊緣保持度可以衡量從源圖像轉移到融合圖像中的邊緣信息多少，值越大融合結果越好；標準差反映圖像對比度的變化，值越大邊緣輪廓越清晰。從表1 中可以看出本文算法融合圖像的熵和標準偏差明顯大于其他三種方法，邊緣保持度相比最大值融合結果略小。客觀評價結果也說明本文融合結果包含了較多的信息，具有較高的清晰度和對比度,保留了更多的圖像特征。

6 結論

根據紅外圖像與可見光圖像的特點，利用NSST 變換的特性和圖像視覺顯著性的優點，提出了一種基于NSST 的圖像融合算法。該算法在低頻子帶采用以視覺顯著圖為參考的方法進行融合，高頻子帶采用基于區域能量的方法進行融合。融合結果表明，相對于其他部分算法，本文能夠取得較大的熵、邊緣保持度和標準偏差，可以較好地保留可見光圖像的信息，還能較好地嵌入紅外目標，是一種有效的融合方法。