交互信息加權的紅外與可見光圖像融合評價方法

趙飛翔，陶忠祥

（空軍航空大學 作戰指揮系，吉林 長春 130022）

圖像融合是指將兩個或兩個以上傳感器在同一時間或不同時間獲取的關于某個具體場景的圖像或圖像序列信息進行綜合，以生成新的關于此場景解釋的信息處理過程[1]。它通過提取各輸入圖像的信息，形成統一的圖像或數據來控制其他系統或指導決策，可使信息具有高度集成性，便于存儲傳輸和后續機器處理。圖像融合在計算機視覺、遙感、機器人、醫學圖像處理及軍事領域等都有著廣泛的應用前景[2]。目前，圖像融合方法研究已取得很大進步，不少學者提出如主成分分析法、金字塔分解方法、小波變換方法、Contourlet變換方法及NSCT變換法等[3-6]，但圖像融合的質量評價問題卻沒有得到很好的解決，因此圖像融合質量評價問題的研究是圖像融合中一項重要而且急需解決的工作。

由于在圖像融合中，同一融合算法，對不同類型的圖像，其融合效果不同；同一融合算法，對同一圖像，觀察者感興趣的對象不同，則認為效果不同；不同的應用方面，對圖像各項參數的要求不同，使選取的融合方法不同。這就使對融合圖像進行客觀、定量評價變得困難和復雜，尤其針對多源不同質傳感器圖像的融合算法，人們很難定義一個通用的評價標準。目前，圖像融合的質量評價方法分為兩類：主觀評價法和客觀評價法。主觀評價法指觀察者憑自己的觀察對圖像的質量提出相對嚴格的判斷，其不足之處是整個過程非常繁瑣，另外評價結果易受環境及人的心理因素的影響；而現在常用的客觀評價方法最大的問題在于沒有充分考慮到人眼的視覺特性，這對于以人眼為最終信宿的圖像而言是不合理的。因此綜合考慮人眼的視覺系統特點進行圖像融合質量評價就顯得尤為重要。本文將主觀和客觀結合起來，以反應人眼視覺系統特點的結構相似度為依據，同時考慮源圖像和融合圖像的邊緣信息，提出一種基于交互信息加權的改進結構相似度和邊緣信息保留值的圖像融合質量評價指標，并對紅外與可見光圖像采用不同融合算法進行的質量評價結果分析表明，評價結果與人眼主觀相一致，是一種有效的圖像融合質量評價方法。

1 基于交互信息加權的改進結構相似度和邊緣信息保留值的評價方法

當前的客觀評價多是通過熵、交叉熵、方差、均值、平均梯度等指標對圖像進行評價[7-8]，這些方法或基于像素點間的誤差，或根據融合圖像與源圖像間關系，但都沒充分考慮到人眼的視覺特性。人眼視覺的主要功能就是提取圖像中的結構信息，因此對圖像結構性失真的度量是圖像感知質量的最好近似。而在紅外與可見光圖像的融合中，對于紅外圖像最重要的視覺信息就是其輪廓信息。因此，將圖像結構信息和邊緣信息結合起來進行圖像質量評價就顯得重要而有效。狄紅衛[9]，許少凡[10]，劉明晶[11]等在充分考慮了圖像結構信息和人眼視覺系統特性基礎上提出基于結構相似度的圖像融合評價方法，可為不同場合下選擇不同的算法提供依據；張勇[12]在分析圖像結構相似度算法基礎上提出基于結構相似度和感興趣區域的融合評價方法，根據人眼對劃分的圖像感興趣區域和剩余區域的重視程度，分別賦予不同的加權因子，它較其他評價方法能夠更突出圖像重要特征在評價中的影響；蘇伍各[13]等以反映人眼視覺特性的結構相似度為依據，同時考慮源圖像和融合圖像間的邊緣信息，提出一種評價方法。但他們都沒有充分考慮到融合圖像和源圖像之間的信息量問題。因此，本文將主觀和客觀結合起來，提出一種基于交互信息加權的改進結構相似度和邊緣信息保留值的圖像融合質量評價新方法。

1.1 交互信息加權的改進結構相似度

1.2 源圖像到融合圖像的邊緣信息保留值

2 實驗結果與分析

為驗證所提評價指標的有效性，本文采用不同融合算法，對多組紅外與可見光圖像進行了評價。本文采用的融合算法及融合規則如表1所示。

表1 融合算法及融合規則Tab.1 Fusion rules used in the fusion experiment

圖1中（a）、（b）為嚴格配準的紅外與可見光圖像。對兩幅圖像分別采用表1中所列融合方法進行融合，其中1~4采用基于小波變換的融合方法，小波采用“sym4”，5~8采用基于NSCT的融合方法，多尺度分解均為3層。圖中（c）~（j）分別為采用融合規則1~8獲得的融合圖像。同時，為更好地對融合結果進行分析比較，文中還采用了均值、方差、信息熵與QMISM（X，Y，F）指標等客觀評價指標進行對比分析。

圖1 基于邊緣-結構相似度的客觀評價實驗Fig.1 Objective evaluation based on edge information and structure similarity

由融合圖像與源紅外圖像和可見光圖像進行比較可以發現，融合圖像基本上都從不同方面改善了源圖像的質量。具體來說，采用基于區域能量加權和區域方差取大的融合方法獲得的融合效果要強于簡單平均和像素絕對值選大的融合方法，其中融合效果最好的是（g）圖，該融合圖像的紅外目標較明顯，而且能夠較清晰地刻畫出背景信息。圖（i）雖然也較好，但背景信息不如圖（g）清晰。客觀評價指標如表2所示。

表2 紅外與可見光圖像融合質量評價Tab.2 The quality measure for infrared and visible image fusion

從表2中可以看到，圖（g）的灰度比較適中，而且標準差較其他幾個融合圖像要大，同時，信息熵也比較大，圖像比較清晰。而本文提出的QMISM（X，Y，F）指標也能較好的反映出該圖像要優于其他融合圖像，評價結果與主觀觀察保持一致。

3 結 論

建立科學合理的圖像融合質量評價方法是研究圖像融合的一項重要而有意義的工作。結合主觀和客觀的評價方法進行融合評價是未來的研究重點。本文以反映人眼視覺特性的結構相似度為依據，考慮源圖像到融合圖像的邊緣信息，同時結合融合圖像和源圖像之間的信息量問題，提出一種基于交互信息加權的改進結構相似度和邊緣信息的評價指標，該指標充分考慮了融合圖像從源圖像中繼承的邊緣和結構信息，并且與人眼視覺觀察結果相一致。實驗證明了該指標在紅外與可見光圖像融合的質量評價中的有效性和實用性。

[1]敬忠良，肖剛，李振華.圖像融合——理論與應用[M].高等教育出版社，2007.

[2]李俊山，楊威，張雄美.紅外圖像處理、分析與融合[M]北京：科學出版社，2009.

[3]GONZALO Pajares，JESUS Manuel de la Cruz.A Wavelet based image fusion tutorial[J].Pattern Recognition，2004，37（9）：185521872.

[4]DO M N，VETTERL IM.The Contourlet transform：An efficient directional multiresolution image representation[J].IEEE Transaction on Image Processing，2005，14（12）：2091－2106.

[5]柴奇，楊華，楊偉.基于非采樣Contourlet變換的紅外與可見光圖像融合方法[J].激光與紅外，2009，39（1）：92－96.CHAI Qi，YANG Hua，YANG Wei.Infrared and visible image fusion method based on nonsubsampled contourlet transform[J].Laser&Infrared，2009，39（1）：92－96.

[6]Fangfang Lu，Qunfei Zhao，Genke Yang.Nonsubsampled contourlet transform-based algorithm for no-reference image quality assessment[J].Optical Engineering，2011，50（6）：067010.

[7]胡良梅，高雋，何柯峰.圖像融合質量評價方法的研究[J].電子學報，2004，32（12A）：218－221.HU Liang-mei，GAO Jun，HE Ke-feng.Research on quality measures for image fusion[J].Acta Electronica Sinica，2004，32（12A）：218－221.

[8]Zhou Wang，Alan C.Bovik.A universal image quality index[J].IEEE Signal Processing，2002，9（3）：81－84.

[9]狄紅衛，劉顯峰.基于結構相似度的圖像融合質量評價[J].光子學報，2006，35（5）：766－770.DI Hong-wei，LIU Xian-feng.Image fusion quality assessment based on structural similarity[J].Acta Photonica Sinica，2006，35（5）：766－770.

[10]許少凡，劉顯峰，狄紅衛.基于加權結構相似度的圖像融合質量評價[J].暨南大學學報：自然科學版，2007，28（5）：470－473.XU Shao-fan，LIU Xian-feng，DI Hong-wei.An image fusion quality assessment based on structral similarity[J].Journal of Jinan University：Natural Science，2007，28（5）：470－473.

[11]劉明晶，劉國棟，李澄清，等.一種基于視覺感知的圖像質量評價方法[J].計算機工程與設計，2005，26（2）：470－473.LIU Ming-jing，LIU Guo-dong，LI Cheng-qing.Method to evaluate image quality based on visional perception[J].Computer Engineering and Design，2005，26（2）：470－473.

[12]張勇，金偉其.基于結構相似度與感興趣區域的圖像融合評價方法[J].光子學報，2011，40（2）：311－315.ZHANG Yong，JIN Wei-qi.Image fusion assessment method based on structural similarity and region of interest[J].Acta Photonica Sinica，2011，40（2）：311－315.

[13]蘇伍各，陶忠祥，董博.邊緣信息的紅外與可見光圖像融合評價[J].火力與指揮控制，2012，37（1）：194－197.SU Wu-ge，TAO Zhong-xiang，DONG Bo.The quality measure for infrared and visible image fusion based on the verge information[J].Fire Control&Command Control，2012，37（1）：194－197.

[14]Xydeas C S，petrovic V.Objective image fusion performance measure[J].Electronic Letters，2000，36（4）：308－309.