基于區域特性量測的小波變換圖像融合

郭立強，范志祥

(淮陰師范學院計算機科學與技術學院，江蘇淮安 223300)

近年來，隨著成像傳感器芯片工藝的提高，圖像的獲取已經從以往單一模式的可見光傳感器發展到今天的紅外、近紅外、紫外等多個波段。不同成像傳感器所獲取的圖像具有信息互補的特點，因此需要圖像融合技術將多個圖像融合成為一幅圖像。圖像融合是指將同一場景的多幅圖像合并成為一幅圖像的過程。但合并后的圖像應該包含原始圖像中的有用信息，視覺感知進一步增強，便于后續的特征提取與處理。圖像融合技術[1]按照信息表征層次不同，由低到高可分為像素級圖像融合、特征級圖像融合和決策級圖像融合。像素級圖像融合水平較低，但處理的效果是最好的。該算法有很多，例如基于HIS變換的圖像融合算法[2]、基于主成分分析(PCA)的算法[3]、基于小波變換的算法[4-6]等。本文重點關注像素級圖像融合算法。

紅外傳感器與可見光傳感器是兩類最常用的成像傳感器。紅外傳感器是通過被拍攝目標的熱輻射差異來成像的，能夠識別出被遮擋的物體，例如隱藏在衣服里的金屬物品，具有“透視”作用。但紅外圖像的亮度和分辨率較低，無法呈現被拍攝目標的紋理等細節信息。可見光傳感器所獲得的圖像具有分辨率高，圖像細節信息豐富等優點。但容易受到外界光照、天氣因素的影響。

由上述兩種類型的成像傳感器所獲取的紅外圖像和可見光圖像具有信息互補的特性。通過紅外圖像與可見光圖像融合,能進一步提高圖像的質量、穩定性和可靠性，減少圖像的信噪比影響，形成一幅更為全面、準確、可靠的融合圖像。目前，紅外與可見光圖像融合被廣泛地應用于航空、軍事、醫療和監控等領域。

現有的紅外與可見光圖像融合算法在效果上存在諸多問題。如加權平均算法，算法復雜度最小，同時效果是最差的，融合后的圖像上存在物體模糊現象，細節信息丟失。圖像像素灰度值選取法(最大法，最小法)所得到的融合圖像，會失去可見光圖像的物體的細節信息(最大法)，或失去紅外圖像的隱藏物體的細節信息(最小法)。傳統的基于小波變換的圖像融合算法能夠較好地克服上述算法所存在的缺點，但融合后的圖像仍會出現部分邊緣信息丟失的問題。針對上述問題，本文提出的基于區域特性量測的小波變換圖像融合算法，對紅外與可見光圖像進行融合，該算法的優點的是圖像的細節信息丟失少，圖像清晰。

1 基于區域特性量測的小波變換圖像融合

1.1 融合算法流程

本文提出的基于區域特性量測的小波變換的圖像融合算法如圖1所示。①對原始紅外和可見光圖像分別進行2層的小波分解，獲得6個高頻子圖像和1個低頻子圖像。②高頻子圖像是原始細節部分在對應于高頻率系數的急劇變化，反映圖像中物體的細節信息，例如線、邊界和邊緣等，因此對高頻子圖像采用基于區域特性量測的融合規則。低頻子圖像反映圖像的整體亮度信息，因此對低頻子圖像采用取最大值方法，獲取紅外圖像中隱藏物體的信息。③對融合后所得小波金字塔進行小波逆變換來獲得融合圖像。

圖1 基于區域特性量測的小波變換的圖像融合流程圖

1.2 融合規則

在圖像融合過程中，融合規則的選取至關重要。本文融合算法中，對高頻子圖像采用的融合規則是區域特性量測[7]。首先,計算圖像相應分解層上對應局部區域的“能量”值，其計算公式如下：

(1)

y(i,j)=x(i,j)2.

(2)

(3)

其中，公式(1)是一個3×3模版，公式(2)是對x的值進行的逐點平方運算，公式(3)是y與3×3模版w的卷積運算。

其次，計算兩幅圖像對應局部區域的匹配度，并定義匹配閾值，D1和D2表示紅外圖像與可見光圖像高頻子圖像的“能量”值，計算公式如下：

y(i,j)=x1(i,j)*x2(i,j).

(4)

(5)

T=0.75.

(6)

接下來判斷匹配度和匹配閾值的大小，如果匹配度小于匹配閾值，說明兩幅圖像對應局部區域匹配度低，所以直接選取兩幅圖像中對應區域“能量”值較大的區域,運算流程如圖2所示。

圖2 選取“能量”值較大區域算法的流程圖

圖3 加權融合算法的流程圖

如果匹配度大于匹配閾值，說明兩幅圖像對應局部區域匹配度較高，兩幅圖像采用加權的融合算法。運算流程如圖3所示。

2 實驗結果與分析

為了驗證本文提出的基于區域特性量測的小波變換的圖像融合算法的效能，選用兩幅不同物體的紅外圖像與可見光圖像，進行兩組試驗。源圖像如圖4所示。

圖4 源圖像

為了對比融合的效果，將本文算法與加權平均、PCA和DWT三種融合算法結果進行比較。融合結果如圖5和圖6所示。通過這兩組融合圖像的對比分析，發現本文算法在提高圖像整體對比度的同時能很好地保留細節信息。觀察圖5的右上角山丘區域，本文算法在處理物體邊緣細節時能夠很好地保留細節信息。觀察圖中人物區域可以看出，在處理人物整體時，相比較加權平均算法和PCA算法，本文算法能夠更好地突出顯著目標的信息。從圖6可以看出，本文算法相比較加權平均、PCA和DWT三種融合算法，使背景圖像的對比度有很好的提升，局部細節信息得到了很好的增加，對背景的刻畫更加清晰。

圖5 Camp圖像不同融合算法性能比較

圖6 Octec圖像不同融合算法性能比較

以上是對各種算法所得到的融合圖像進行主觀評價，接下來進行客觀評價。通過一些量化指標，可以從客觀角度對本文算法和其他算法進行分析。本文所用的客觀評價指標有[8-14]：平均互信息、平均梯度、邊緣強度、灰度標準差、信息熵。平均互信息是融合圖像與兩幅原圖像的互信息的均值，平均互信息越大，表示融合圖像從源圖像中提取的信息越豐富，融合效果越好。平均梯度，又稱圖像清晰度，可以敏感地反映圖像中的微小細節，同時還可以反映出圖像的紋理變換特征，通常平均梯度越大，表示圖像層次越多，圖像也越清晰。邊緣強度，反映圖像邊緣信息，值越大，邊緣越清晰。灰度標準差，反映圖像灰度相對灰度平均值的離散情況，融合圖像的標準差越大，圖像的灰度級分布越分散，融合效果越好。信息熵，信息熵值的大小反映融合圖像信息量的多少，通常信息熵值越大，表示融合圖像從源圖像提取的信息越多，融合質量越好。

表1和表2是兩組融合圖像的客觀評價結果。對表1和表2中的結果進行分析，可以看出本文算法的互信息、平均梯度、邊緣強度、灰度標準差和信息熵這些指標均優于其他三種算法。

表1 源圖像Camp評價數據

表2 源圖像Octec評價數據

本文所提出的基于區域測量小波變換的紅外與可見光圖像融合算法在圖像細節信息處理上達到了較好的效果，其融合效果優于加權平均算法、PCA算法和傳統的離散小波算法。

3 結語

為了解決現有紅外與可見光圖像融合算法存在細節信息表現不足等問題，本文提出了基于區域特性量測的小波變換圖像融合算法。實驗結果表明，本文算法所得到的融合圖像，其視覺效果最好。同時，一些客觀評價指標如平均互信息、平均梯度、邊緣強度、灰度標準差和信息熵均優于傳統經典圖像融合算法。