基于灰度直方圖熵與小波變換的近紅外與可見光圖像融合

吳立果

（甘肅省測繪地理信息局，甘肅 蘭州 730000）

目前，全國第一次地理國情普查正在緊鑼密鼓的進行，遙感影像自動解譯將大大減少內業工作量，而近紅外波段能夠很好的區分水體和植被，彌補可見光波段光譜特性的不足，所以對近紅外與可見光圖像融合質量提出來較高的要求。

目前關于圖像融合的方式與理論不斷被提出，就像素級圖像融合而言，按照算法的不同主要包括基于塔形分解的圖像融合和基于小波分解基的圖像融合[1]。本文通過對上述算法進行分析，就目前近紅外與可見光圖像融合方法上存在的問題，提出了基于圖像分割技術與多分辨率分析的基礎上，應用灰度直方圖熵理論與平穩小波變換理論實現近紅外與可見光圖像融合的方法。

1 基于灰度直方圖熵和平穩小波變換圖像融合原理

本方法首先以灰度直方圖熵及索貝爾算子邊緣檢測相結合的方式為標準，對圖像進行分割，將其分為目標圖像與背景圖像。隨后應用平穩小波變換理論將可見光條件下的目標圖像與近紅外條件下的背景圖像進行融合，頻率高的部分采用絕對值取大的方式進行融合，頻率低的部分則采用高斯模糊邏輯進行融合。按照加權與融合準則融合背景圖像與目標圖像，最終形成近紅外圖像與可見光圖像的完美融合圖像。

1.1 索貝爾算子邊緣檢測

索貝爾算子，作為圖像邊緣檢測算子中常用的一種的離散性差分算子，可以較好的實現圖像亮度函數在梯度方向近似數值的計算工作。將圖像進行極限劃分，圖像中的任意某一點都可以計算出其縱向矩陣與橫向矩陣，按照積分計算可得出它們與圖像作平面的卷積，也就是橫向與縱向在亮度上的差分解。假設以X 代表原始圖像，則索貝爾算子邊緣檢測步驟如下：

首先，分別計算圖像A 的橫向及縱向邊緣檢測圖像Gx和Gy，如公式（1）所示：

其次，完成圖像各像素點的梯度值和梯度方向的計算，如公式（2）所示：

最后，設置閾值T，在圖像像素梯度值不小于T 時，則表明該像素點即是邊緣像素點，所有的邊緣像素點則形成最終的邊緣圖像。

1.2 近紅外圖像分割方法與融合準則

近紅外圖像分割方法主要是結合了灰度直方圖熵以及索貝爾算子邊緣檢測技術而實現圖像的分割。在進行分割時，需要用索貝爾算子邊緣檢測判別有可能出現的目標區域，并以灰度直方圖熵計算目標閾值作為參考，統籌兩者最終判定所需的目標區域。

傳統的融合準則傾向于應用區域空隙頻率取的較大情況下的融合準則，以便于獲取質量高的圖像融合效果，但是區域空間的頻率在圖像灰度出現跳躍時表現力強，其主要反映了圖像的邊緣化強度，所以在選擇區域空間頻率取大的融合準則時往往會出現圖像邊緣細節信息獲取量大而忽略了圖像的亮度信息。為了規避上述融合準則的不足，本文基于高斯模糊邏輯權重的融合準則。本融合準則可以在突出近紅外圖像的目標信息的同時也統籌了可見光圖像的場景細節信息，其系數選取準則如公式（3）所示：

2 實驗結果和分析

為了驗證本文提出的近紅外與可見光圖像融合方法，結合常用的幾種方法進行對比實驗。對比的方法包括基于Laplacian塔變換的圖像融合方法(LPTF)，基于小波變換的圖像融合方法(WTF)和基于平穩小波變換的圖像融合方法(SWTF)與本文提出的方法共四種[3]。

WTF 所采用小波基為bior4.4 小波，分解層數總共為4層，低頻與高頻融合準則分別為均值法和絕對值取大法[2]；SWTF同樣使用bior4.4 小波，分解層數也為4 層，其中低頻融合準則其一為均值法(SWTF1)，其二為高斯模糊邏輯權值法(SWTF2)，高頻融合準則為絕對值取大法； 本文提出的方法所使用的小波基為bior4.4 小波，分解層數為4 層，權重系數w1=1.0，w2=1.0。采用標準差、信息熵及互信息三個指標作為不同方法的綜合評價。本實驗采用的近紅外與可見光圖像是荷蘭TNO 人為因素研究所拍攝的近紅外和可見光圖像，融合圖像結果分別如圖1 所示，評價指標結果如表1 所示。

圖1 源圖像及不同方法的融合結果:(1)近紅外源圖；(2)可見光源圖；(3)LPTF 融合結果；(4)WTF 融合結果；(5)SWTF1 融合結果；(6)SWTF2 融合結果；(7)本文算法融合結果。

從圖1 可以看出LPTF、WTF 與SWTF1 所融合形成的圖像層次感差，對比度低，且畫面亮度不夠，圖像中的景物清晰度不足，且源圖像中的柵欄與道路等關鍵信息在融合圖中模糊；本文的融合算法與SWTF2 融合所得到的融合圖像則表現質量較好，一方面突出了人物的形體特征，另一方面柵欄與道路等景物細節也有著很好的體現，因此本文的融合方法整體效果優于上述前幾種方法。

表1 圖像融合結果客觀評價指標

從表1 可以得出量化的評價信息。結論如下：本文融合算法得到的融合圖像較之其他幾種的融合方法形成的圖像其標準差、信息熵與互信息均為最高，這說明采用本文的融合算法得到的融合圖像具有高對比度、高信息量的特點，有利于最大程度上反映出源圖像上所包含的信息。

其中SWTF2 得到的融合圖像的標準差、信息熵、互信息要較之于SWTF1 的有著很大的提高，SWTF2 的融合效果優于SWTF1，這說明在低頻子帶相比于均值法，應用高斯模糊邏輯融合準則的融合效果更好。

3 小結

本文闡述了基于灰度直方圖熵和平穩小波變換的近紅外與可見光圖像融合方法，通過與傳統融合方法進行實驗比較，表明本文所提出的融合方法很好的統籌了紅外圖像的目標信息與可見光圖像的場景細節信息，且在標準差、信息熵和互信息的客觀指標體系上也表明本方法的優越性。因此基于灰度直方圖熵和小波變換的近紅外與可見光圖像融合的方法是一種較優的融合方法，可以在生產實踐中應用。

[1]王海暉，彭嘉雄.基于多小波變換的圖像融合研究[J].中國圖像圖形學報，2004，9(8)：1002-1007.

[2]劉貴喜，楊萬海.基于小波分解的圖像融合方法及性能評價[J].自動化學報，2002，28(6):927-934.

[3]沈景悅，吳秀清，劉嚴巖.一種基于模糊融合的遙感圖像目標識別方法[J].計算機工程與應用，2005，41(16):83-85.