基于灰度能量差異性的紅外與可見光圖像融合

趙立昌,張寶輝,吳 杰,吳旭東,吉 莉

(1.南京理工大學 電子工程與光電技術學院，江蘇 南京 210094;2.昆明物理研究所，云南 昆明 650223)

0 引言

圖像融合技術是將多個圖像傳感器對同一場景進行圖像采集，利用各個圖像傳感器的特點，將它們所采集到的圖像融合成一幅新的圖像。融合后的圖像具有更加豐富的信息[1]，更適合人眼的觀察以及計算機的后續處理。

紅外與可見光圖像的融合是圖像融合領域的重要組成部分，紅外圖像是根據環境中不同物體所發出的熱輻射差異來探測目標，因此它適合在低照度或者目標被隱藏的環境下識別目標，但是其缺點是細節信息的缺失;而可見光圖像具有很高的分辨率，擁有豐富的細節信息，但是難以探測出在復雜環境條件下的目標。而紅外與可見光圖像的融合可以集成這兩種類型圖像的優勢[2]，在計算機視覺、安防監控、地震遙感等領域有著廣泛的應用[3]。

目前，多尺度變換的融合方法是應用于紅外與可見光融合的最廣泛的方法。常用的基于多尺度分解的圖像融合方法有:拉普拉斯金字塔融合算法[4]、離散小波變換法(discrete wavelet transformation,DWT)[5]、雙樹復小波變換(dual tree complex wavelet transform, DTCWT)[6]、輪廓波變換(contourlet transform, CT)[7]、非下采樣輪廓波變換(NSCT)等等。拉普拉斯金字塔分解算法不具備方向性;離散小波變換法分解的方向有限，不能很好地表示細節、輪廓等信息;雙樹復小波變換可得到6 個方向上的高頻子帶信息，但它是冗余的，對于n維信號，將產生2n:1 的冗余度;輪廓波變換進行了上、下采樣操作，缺少平移不變性，容易產生偽吉布斯效應;非下采樣輪廓波變換是對輪廓波變換的改善，在輪廓波的基礎上添加了平移不變性，解決了偽吉布斯效應的產生，具有多方向、多尺度的特性，將NSCT 應用到圖像融合中能夠更好地提取源圖像的細節特征和方向信息，保留更多源圖像的信息。

融合規則對最終融合圖像的質量有著至關重要的作用，傳統的融合規則有加權平均法[8]、絕對值取大法[9]、區域能量法[10]等，這些融合規則沒有從圖像區域之間的相關性考慮，最終的融合效果并不是太理想。而對紅外圖像進行顯著目標提取的融合算法是根據人類的視覺機制將人眼感興趣的部分進行提取，背景進行抑制，融合后的圖像具有突顯目標特征，保留背景細節的優勢。已有一些文章對此類算法進行研究，主要是對紅外圖像的顯著性區域提取算法的研究，如基于文獻[11]的改進流形排序的顯著性區域檢測，基于文獻[12]的改進FT(frequency-tuned)算法的顯著性區域檢測和基于文獻[13]的形態學濾波的顯著性區域檢測等。

為了進一步提高目標和背景之間的對比度，增強目標信息的辨識率，同時盡可能完整地保留可見光圖像中的細節紋理，本文提出了一種基于灰度能量差異性的紅外與可見光融合方法，首先通過基于灰度能量差異性的顯著目標提取算法突出紅外圖像中的目標信息;然后使用NSCT 的分解框架對紅外圖像和可見光圖像進行高低頻的分解;利用計算得出的灰度能量差異圖對紅外圖像和可見光圖像的低頻部分進行融合，對于高頻部分采用加權方差的規則進行融合;最后對融合后的高頻系數和低頻系數進行NSCT 逆變換得到最終的融合圖像。

1 基于灰度能量差異性的目標提取算法

基于灰度能量差異性的目標提取算法是一種在圖像中提取人眼感興趣的區域的顯著目標檢測算法，也是一種顯著性檢測方法，主要原理是計算某一灰度能量與其他灰度能量的差異，通過能量差異值將圖像中的目標區域提取出來。以往的顯著性檢測方法，主要是基于像素點的灰度值之間的關聯進行顯著區域的檢測，如文獻[14]和文獻[15]，而本文的顯著區域檢測算法是基于本文定義的像素點之間的灰度能量的關系，對于像素點之間的灰度差異具有更高的敏感性，更能突出顯著目標。對于一幅8 位的灰度圖像，定義該幅圖像的灰度距離矩陣D為:

式中:dk=[k-0,k-1,…,k-255]T，表征像素值為k時與其他像素值的灰度距離。定義灰度能量差異值Ek為:

式中:

式中:Wi表示各個像素出現的頻數;N表示圖像總共的像素個數。將灰度能量差異值歸一化得:

式中:Emin為能量差異最小值;Emax為能量差異最大值，以現在的灰度能量差異值取代原來的像素值，某區域灰度能量差異值越大，說明該區域越引人注意，是我們需要檢測的目標，而其他灰度能量差異值小的區域則是我們不感興趣的地方，因此可以有效地抑制背景信息，突出圖像的目標特征。使用正弦函數對灰度能量差異圖進一步增強，如下式:

圖1是由文獻[14]、文獻[15]和本文算法所得到的顯著區域比較圖。圖(a)是紅外圖像，圖(b)是由文獻[14]的算法所得出的顯著圖，圖(c)是由文獻[15]的算法得到的顯著圖，圖(d)是由本文算法所得出的顯著圖。傳統的圖像增強算法在提高圖像對比度時無法檢測出顯著目標，會對場景中一些其他的物體也進行增強，使得紅外圖像中細節、紋理等高頻信息的缺失的區域無法有效地抑制，而后續的低頻融合規則會以此作為融合權重，這會導致融合后的圖像細節也會相應地缺失，從而使得成像的清晰度較低，成像質量較差。而像文獻[14]和文獻[15]的顯著區域檢測算法，雖然避免了對圖像中高頻信息缺失部分的增強，但是也沒有很好地抑制這些區域。經本文算法處理后的紅外圖像能夠有效抑制背景，增強圖像中的目標信息，將人眼感興趣的目標提取出來。

2 NSCT分解框架

NSCT利用非下采樣金字塔(non-subsampled pyramid,NSP)和非下采樣方向濾波器組(non-subsampled direction filter banks, NSDFB)實現對圖像的多尺度、多方向的分解。首先通過NSP實現多尺度的分解，獲取高頻子帶和低頻子帶，然后使用NSDFB對高頻子帶進行多方向的分解，得到高頻各方向子帶，然后對低頻子帶繼續NSP分解，重復上述過程，即得到NSCT 的多層分解，分解過程如圖2所示。NSCT取消了上、下采樣過程，改為對濾波器直接采樣，使得變換后得到的每一個子帶圖像都與源圖像大小相同，有良好的空域和頻域特性，并且具有平移不變性[16]。

3 本文融合策略

本文首先通過基于灰度能量差異性的目標檢測算法突出表征紅外圖像中的目標特征;然后對紅外圖像和可見光圖像采用NSCT 分解得到高頻分量和低頻分量;將基于灰度能量差異性的顯著區域提取算法的結果作為融合權重對紅外圖像和可見光圖像的低頻部分進行融合，對于高頻部分采用加權方差的規則進行融合;最后對融合后的高頻系數和低頻系數進行NSCT 逆變換得到最終的融合圖像。融合框架如圖3所示。

圖1 紅外圖像的顯著圖比較Fig.1 Sali ency comparis on of infrared i mages

圖2 NSCT分解框架示意圖Fig.2 NSCT decomposition framework

圖3 本文算法的融合框架Fig.3 Fusion framework of the proposed algorithm

3.1 低頻系數融合規則

由于人眼的視覺系統主要是對圖像中像素的對比度較為敏感，對像素的亮度不太敏感，背景等灰度變化較為緩慢的區域被保留在低頻子帶中，而傳統的低頻系數融合方法無法清晰地區分出目標輪廓與背景信息，全局對比度較低，本文提出了一種基于灰度能量差異的方法能夠有效地提取紅外圖像中的目標區域。設紅外圖像和可見光圖像經NSCT 后所得到的低頻系數分別為CLIR(i,j)和CLVIS(i,j)，由本文算法所得到灰度能量差異圖為EI，則融合后的低頻系數為:

其中融合權重wLIR和wLVIS的值由下式可得:

3.2 高頻系數融合規則

經NSCT 分解得到的高頻子帶能夠表征圖像的邊緣、紋理等細節信息。本文的高頻系數融合規則是基于方差制定。方差的大小可以表示為該區域包含細節信息的多少，方差越大，說明該點與周圍區域的灰度值差距越大，在圖像畫面中表現的就是紋理等高頻信息越豐富，本文所設定的方差分辨閾值主要是用來比較紅外圖像與可見光圖像高頻部分方差的大小，本文所取的閾值為0.24。由數學關系可知，兩者所占的權重之和為定值1，則權重之積最大為0.25，此時表示紅外圖像與可見光圖像的權重各占50%，說明兩幅圖像有著近乎相同細節信息。當一方所占權重≥40%并且≤50%，即權重之積大于等于0.24，可以認為兩者方差之差較小，擁有相似的細節信息，兩幅圖像的高頻部分對最終的融合圖像的高頻部分均有較大貢獻，此時的融合圖像的高頻信息使用加權融合的方法;當一方所占權重小于40%，即權重之積小于0.24，說明兩幅圖像的方差之差較大，一方含有較多的細節信息，而另一方的細節信息較少，最終的融合圖像的高頻部分主要來自于方差大的一方，此時高頻部分采用方差取大的融合方法。由于高頻部分的融合規則是基于方差制定的，所以對于不同場景都能取得較好的融合效果。

設T為分辨兩幅圖局部方差差距的判斷依據，T的表達式為:

式中:wIRH,k(i,j)表示在紅外圖像k方向上的高頻子帶在像素點(i,j)處所占的權重;wVISH,k(i,j)則表示可見光圖像所占的比重。權重表達式可由下式求得:

式中:SIRH,k(i,j)表征紅外圖像k方向上的高頻子帶在像素點(i,j)處的方差;SVISH,k(i,j)表征可見光圖像的方差，其具體表達式如下:

當T<0.24時:

當T≥0.224時:

式中:CFH,k表征兩幅圖像在k方向上的高頻子帶融合后的高頻系數。

4 實驗結果與分析

為驗證本文算法的有效性，選取3 組典型的已配準的紅外與可見光圖像進行融合實驗，并將本文算法與離散小波變換(DWT)、雙樹復小波變換(DTCWT)、非下采樣輪廓波變換(NSCT)以及文獻[17]和文獻[18]的方法進行比較。實驗計算機CPU 主頻是2.8 GHz，內存為8G，實驗軟件平臺為MATLABR2018a。本文中DWT、DTCWT 和NSCT 的融合規則均采用低頻系數取均值，高頻系數為局部能量取大。源圖像與融合結果如圖4～圖6。

圖4為Uncamp源圖像的融合結果。紅外圖像中人物目標清晰，但無法分辨柵欄、灌木等景物的細節;而可見光圖像中人物被遮擋，但是可以清楚地看到柵欄、灌木的細節信息。圖(c)、(d)、(e)中左下角的樹木的細節模糊，且目標人物與周圍環境的對比度較低，沒有突顯目標特征;圖(f)中整體亮度偏低，樹木的細節看不清楚;圖(g)中整體亮度偏高，背景信息丟失嚴重;圖(h)是利用本文算法所獲得的融合圖像，可以看出融合圖像既有紅外圖像中目標突出的優勢，也能很好地保留可見光圖像中樹木、柵欄的細節信息，整體視覺效果更好。

圖5為Quad 源圖像融合結果。圖(c)、(d)、(e)中行人、汽車較為模糊，圖像對比度較低;圖(f)亮度偏低，無法很好地分辨出行人，汽車等目標信息;圖(g)整體亮度偏高，給人一種失真的感覺;圖(h)為本文算法所計算得到的圖像，可以明顯看出該幅圖像的清晰度更高，廣告牌上的字以及行人汽車清晰可見，符合真實場景，更適宜人眼觀察。

圖4 Uncamp源圖像融合結果Fig.4 Fusion resultsof Uncampsource images

圖6為Kayak 源圖像融合結果。可以看出圖(c)、(d)、(e)對比度較低，視覺效果較差;圖(f)有明顯的陰影;圖(g)保留的背景信息較為完整，但是整體亮度偏高，不符合人眼觀察;圖(h)是由本文算法計算出的融合圖像，清晰度、對比度適宜，無偽影，亮度適中，視覺觀感最佳。

根據以上3組圖片，通過主觀視覺比較可以看出本文算法在圖像融合的成像質量、視覺效果上有著較大的優勢，也可以通過客觀參數指標對這幾種算法進行比較，如表1所示。

從表1中可以看出本文算法在信息熵(information entropy,IE)、平均梯度(averagegradient,AD)、標準差(standard deviation,STD)、空間頻率(spatialfrequency,SF)這4個指標中均位于前列，說明由本文算法處理所得的融合圖像從源圖像中獲得的信息量最多、擁有更豐富的細節特征、對比度和邊緣保持能力好、背景與目標可清晰分辨，與主觀視覺所得出的結論相符。

圖5 Quad 源圖像融合結果Fig.5 Fusionresultsof Quad source images

圖6 Kayak 源圖像融合結果Fig.6 Fusion r esultsof Kayak sourceimage s

表1 客觀指標對比Table 1 Comparison of objective indicators

5 結論

本文提出了一種基于灰度能量差異性的紅外與可見光圖像融合方法，通過對紅外圖像中目標信息的增強提取，融合后的目標特征更加顯著，并且極大地保留了可見光圖像中的細節，有效地解決了傳統融合算法時出現的目標信息不夠突出，細節、紋理模糊等缺點，并且利用3 組經典的紅外與可見光圖像進行融合實驗，實驗結果表明本文算法較其他算法清晰度更高，對比度更適宜，更適合人眼觀察，STD、IE、AG、SF 等客觀評價指標所得出的結論也與主觀視覺感受一致，說明本文融合算法是一種行之有效的紅外與可見光圖像融合算法。