圖像融合算法的性能評價

王宇慶

(中國科學院 長春光學精密機械與物理研究所，吉林 長春 130033)

圖像融合算法的性能評價

王宇慶

(中國科學院 長春光學精密機械與物理研究所，吉林 長春 130033)

圖像融合算法的性能評價需要考慮在融合圖像中傳遞的信息是否滿足人眼視覺特性，而傳統的基于信息論的方法并沒有考慮人眼視覺特性。針對此提出了一種綜合考慮多種圖像結構信息的信息合并方法，將局部方差和梯度等信息作為反映圖像結構的重要特征,將結構特征矩陣進行分塊奇異值分解，從而設計了相應的評價算法。實驗結果表明，該方法能夠準確度量融合圖像中的信息增量,評價結果與人眼視覺特性的一致性優于傳統方法。

圖像融合；梯度；局部方差

0 引言

圖像融合的最終目的是為了增加融合圖像中的信息量，這與信息融合的研究目的是類似的，所不同的是，融合圖像中的信息分布形式必須符合人眼的視覺特性。事實上，人類視覺系統并不能實現圖像融合功能，圖像融合僅僅是借鑒了信息論中的類似概念而已，因此，圖像融合的關鍵步驟無法引入人類視覺系統的生理學模型，僅能憑借信息論中的一些基本概念完成圖像處理過程。

與各種圖像處理過程類似，圖像融合同樣需要進行質量評價。客觀評價是目前幾乎所有圖像質量評價算法的研究重點，根據對參考圖像的依賴程度可以分為無參考圖像質量評價、半參考圖像質量評價以及全參考圖像質量評價3種。對于圖像融合這樣的圖像處理過程，評價算法則更加特殊。圖像融合的優劣不僅要考慮圖像的畫質，還要考慮信息量的增量，這就需要與源圖像進行比對才能實現，因此，圖像融合的評價過程更加復雜，要考慮多方面因素，并且要引入信息論中的一些基本理論才能實現。

傳統的圖像融合性能評價指標[1-2]主要從信息論的角度評價融合圖像中信息量的增量值，通過度量信息傳遞的數量實現對融合圖像的質量評價,從而實現對相應融合算法的評價。這一機制所存在的問題在于所評價的信息量增量沒有考慮人眼視覺特性的需要，無用的噪聲甚至失真的圖像信息都可以被認為是融合過程中傳遞的信息，從而給融合算法的評價結果帶來嚴重的誤差。因此，融合算法的評價不應該僅僅考慮信息傳遞的數量，還應該考慮信息傳遞的類型，將符合人眼視覺特性的圖像信息作為評價的主要內容。針對傳統融合評價算法的不足，本文設計了一種能夠反映圖像中人眼敏感結構信息的融合算法評價指標,從而使得評價結果更加接近于相應融合算法的真實性能。

1 基于人眼敏感圖像結構信息的融合算法性能評價

人眼對圖像中各種信息的敏感程度不同，對各類信息的正確區分是關系到評價算法是否合理的關鍵。圖像的梯度和局部方差都能較為全面地刻畫圖像的輪廓信息，圖像的輪廓信息描述了圖像中人眼敏感的主要信息。根據文獻[3]的描述，對于二維灰度圖像矩陣，位于二維矩陣中(x,y)像素點的圖像梯度可以表示為：

(1)

根據文獻[4]，圖像的局部方差可以表示為：

(2)

圖像的梯度側重于描述圖像的輪廓，所得到的梯度矩陣具有較好的可視效果，局部方差能夠較好地體現圖像的細節變化。但是，細節并不是圖像的全部，因此，這里將細節和輪廓兩種信息進行合并處理。合并的方法采用四元數信息合并的方法，即：

(3)

公式(3)是一種簡化的四元數表示方法。根據Hamilton等人于1843年提出的四元數理論[5]，將四元數的3個虛部表示為梯度、局部方差和0，從而得到了一種新的圖像結構信息表示方法。

信息論中的互信息與人眼敏感的視覺信息并沒有直接的聯系，這里需要將由公式(3)組成的矩陣變換為可度量的實數矩陣，矩陣中還應包含圖像中人眼敏感的視覺信息。根據文獻[6-7]給出的復數伴隨矩陣的定義，四元數矩陣仍然可以進行奇異值分解。對圖像進行分塊奇異值分解[8]，從而得到每一分塊的奇異值特征向量，這樣，對于相應的灰度圖像，就可以得到一個實數矩陣，表征該圖像的視覺特征信息。假設分塊大小為k×k，對于N×M大小的彩色圖像，相應的奇異值分解后的奇異值特征向量矩陣大小為：(N/k)×(M/k)。這樣得到的實數矩陣包含了四元數運算過程中的一些新的數學特征，矩陣中的每一個元素都是實數，接下來的運算可以采用實數域的一些方法進行。

令F為融合圖像的四元數奇異值矩陣，A和B為源圖像的四元數奇異值矩陣，F與A、B之間的交互信息量分別表示為MIFA和MIFB，根據文獻[1]有：

(4)

(5)

其中：pA、pB和pF分別為矩陣A、B和F的灰度直方圖分布；pFA(k,i)和pFB(k,j)分別為矩陣F與A和矩陣F與B的歸一化聯合灰度直方圖分布。將MIFA和MIFB之和作為融合圖像與源圖像A、B的交互信息量總和：

(6)

式(6)給出的指標QMI可以作為對該融合圖像以及相應融合算法的性能評價結果，其度量的是圖像局部方差和梯度的合并互信息，與文獻[1]、[2]有所不同。文獻[2]的互信息方法僅僅度量了兩圖像像素分布的互信息，而文獻[1]的方法度量的是兩圖像經過邊緣提取之后的結構差異，并沒有考慮圖像的細節信息。

2 實驗結果

圖像融合的質量評價不僅要考慮圖像的主觀感知質量，還要考慮圖像信息的增量。圖像融合的質量評價已經不是一個簡單的下意識感知過程，而是需要詳細分析圖像的融合過程以及圖像內容的具體變化。實驗中采用了經典的CAMP圖像驗證本文算法的性能，該系列的圖像已經在拍攝過程中進行了配準，直接進行融合處理就可以得到融合圖像。為了使得實驗結果盡可能清晰明確，并且與主觀觀察效果具有較好的一致性，采用了常用的4種經典融合算法(小波方法、金字塔分解方法、均值方法以及PCA方法)針對實驗圖像進行相應的圖像融合實驗。為了驗證所提算法的性能，對于融合圖像的質量以及相應的融合算法的性能還采用了傳統的互信息方法以及文獻[1]的融合評價方法對相應的融合算法進行了評價。融合圖像質量測試見圖1，評價結果見表1。

從圖1的實驗結果中可以看到，小波和金字塔方法算法復雜,圖像處理過程與人眼的視覺感知過程有類似，融合圖像的細節豐富，效果較好。而PCA方法和均值方法效果較差。均值方法的成像質量和源圖像相比有較大差距，PCA方法得到的融合圖像沒有實現多源的信息傳遞。實驗的最終目的是為了驗證所提的融合算法評價指標的合理性。由表1可知，根據QMI方法的評價結果，圖1(e)和圖1(f)的融合效果最好，圖1(c)和圖1(d)的融合效果較差，這與我們人眼的主觀觀測也是一致的。對于效果接近的金字塔方法和小波方法，QMI也給出了明顯的區分度，這說明算法對圖像的細節變化具有較好的區分能力。而文獻[1]的邊緣比較方法和文獻[2]的簡單互信息方法給出的結果都與相應的融合算法的輸出結果不符，其原因在于：文獻[1]的方法僅僅考慮了圖像的邊緣信息，丟失了部分結構信息；而文獻[2]的互信息方法沒有考慮圖像中人眼敏感的結構信息，所以評價結果與人眼的主觀感知一致性較差。

圖1融合圖像質量測試

方法圖1(c)圖1(d)圖1(e)圖1(f)文獻[1]的方法0.36590.51270.47860.4312文獻[2]的互信息法1.37554.05391.68941.5818QMI1.71321.66902.56222.7166

3 結論

在本文的研究中，采用信息合并的方法實現了對融合圖像的質量評價，既考慮了圖像的細節信息，又考慮了多種未知因素對圖像質量的影響；結合人眼視覺特性與信息論的基本概念實現了對多種融合算法的性能評價，實驗證明，所提的方法與人眼視覺特性的一致程度優于傳統方法。

[1] Xydaes C,Petrovi V.Objective image fusion performance Measure[J]. Electronic Letters,2000, 36(4): 308-309.

[2] Qu Guihong, Zhang Dali, Yan Pingfan. Information measure for performance of image fusion[J]. Electronics Letters,2002,37(7):313-315.

[3] Valdimir S Petrovic', Costas S Xydeas. Gradient-based multiresolution image fusion[J].IEEE Transactions on Image Processing,2004,13:228-237.

[4] Zhou Wang, Bovik A C, Sheikh H R, et a1.Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004,13(4):600-612.

[5] Hamilton W R. On quaternions[G]//Proceeding of the Royal Irish Academy.[s.l.]:[s.n.],1844.

[6] Zhang F.Quaternion and matrices of quaternion[J].Lin Alge Appl,1997,215:21-57.

[7] Nicolas Le Bihan,Jerome Mars.Singular value decomposition of quatemion matrices:a new tool for vector-sensor signal processing[J]. Signal Processing,2004,84(7):1177-1199.

[8] Aleksandr Shnayderman, Alexander Gusev, Ahmet M Eskicioglu. An SVD-based grayscale image quality mea-sure for local and global assessment[J]. IEEE Transactions on Image Processing, 2006,15(2):422-429.

(英文摘要Assessment of Image Fusion Method

WANG Yu-qing

(Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, Changchun 130033, China)

The information increment in fusion image should be assessed in order to assess the performance of the fusion method. Image perception is performed by human visual system in order to perceive significant information in an image, so the properties of the human visual system should also be considered. In order to improve the performance of assessment method, information combination method is used to perform the task. Gradient information and local variance are used to combine the matrix. Then singular value decomposition is performed on the combination matrix. Results from experiments show that the proposed method can assess the performance of the fusion method properly. It is more consistent with human visual system than traditional methods.

image fusion; gradient; local variance

1672- 6413(2015)06- 0003- 02

國家自然科學基金青年基金資助項目(61201368)

2015- 07- 06；

2015- 11- 01

王宇慶(1979-)，男，吉林長春人，副研究員，博士，主要研究方向：圖像質量評價、圖像增強、圖像融合、FPGA設計、群體智能。

TN911.73

A