基于結構色彩差異對比的彩色圖像融合客觀評價指標

郭立強，朱瑞瑞

(淮陰師范學院計算機科學與技術學院，江蘇淮安 223300)

圖像融合[1]是在同一目標或場景中，用同種傳感器以不同成像方式或不同成像時間獲得的不同圖像，整合成為一幅圖像，以實現信息的互補并對該場景進行更好的描述。圖像融合技術被廣泛應用于醫學影像、軍事、遙感、計算機視覺等領域。隨著圖像融合技術的深入研究，圖像融合客觀評價也變得尤為重要。目前圖像融合評價主要分主觀評價與客觀評價。主觀評價即人眼直接對圖像融合的結果做出評價，但是不同的人做出的評價有時也會不同，這是因為人由于自己的主觀原因而得出的誤判。客觀評價即由算法對圖像融合的結果做出評價，也是對主觀評價的一個數值量化。

目前，大多數客觀評價指標都是針對灰度圖像融合，而對彩色圖像的客觀評價指標的研究仍處于起步階段，很多方面有待完善。其中，在構建彩色圖像融合客觀評價指標中，一個突出問題是客觀評價與主觀視覺感知相違背。此外，如何對顏色信息進行量化也是構建彩色圖像融合客觀評價指標的一個難點，即人眼對彩色部分的感知還沒有公認的量化方法。

對彩色圖像融合進行評價往往結合幾種灰度圖像融合的指標來進行評價。使用廣泛的是基于互信息的圖像融合客觀評價[2]，融合圖像與源圖像的互信息之和越大，表示融合圖像從源圖像獲取的信息越豐富，融合效果越好。基于相關系數的評價方法,在統計學中，相關系數用于描述兩個變量相關程度的指標。將融合圖像與原始圖像的相關系數作為融合算法的評價指標，相關系數越大，表示融合圖像從源圖像中獲取的信息越多，融合效果越好。基于邊緣傳遞(QABF)的融合方法[3]，其值越大,表示融合圖像從原始圖像中獲取的有用邊緣越多，就認定融合效果越好。此外，還有用于可見光與紅外圖像融合評價的顏色豐富度指標(CCM)，CCM值越大說明融合圖像質量越高[4]。

然而，上述客觀評價指標都存在一個共同的缺點就是客觀評價與主觀視覺感知不符。具體而言，視覺上能明顯觀察出其融合效果比較差，但客觀評價指標卻給出很高的分數。為了解決這一問題，本文中提出了彩色圖像客觀評價指標，該方法主要基于模擬人眼對圖像的感知。

1 算法原理

人眼對彩色融合圖像的感知，主要在圖像的結構和色彩方面。例如灰度圖像融合，人眼感知融合后的圖像的差異主要在于對比結構的差異。彩色圖像對灰度的不同在于人眼對色彩的認識。圖像的結構差異在于圖像的邊緣部分的差異，人眼對圖像結構的認識主要來源于圖像的邊緣部分。本文提出的算法將兩幅融合圖像的邊緣做加法得出最大邊緣，然后將融合后圖像與最大邊緣做差得出結構差異性。在HIS顏色空間將兩幅源圖像做加法得出最大色彩，然后將融合后圖像與源圖像做差得出色彩差異性。

算法在結構和顏色上得出的評價結果不在一個數量級上，將結構的結果加權后與顏色上的結果在一個數量級上再做加法得出綜合評價。得出的綜合評價越好,表示與源圖像中較為清晰部分的差異越小，融合圖像越好。該算法的具體實現過程如下：(1)計算源圖像A、B和融合圖像F的邊緣圖像；(2)將A、B的邊緣圖像求和得出最大邊緣；(3)將最大邊緣與F的邊緣做差得到結構差異；(4)將源圖像A、B和融合圖像F轉換到HIS顏色空間；(5)在HIS顏色空間里對圖像A和B求和得到最大顏色差異；(6)將最大顏色差異和融合圖像F做差得到色彩差異；(7)將結構差異和色彩差異求和得到綜合差異評價。

需要注意的是，本文所提出的客觀評價指標是負向指標，即值越小表示融合效果越好。

2 實驗與結果分析

通過對一些融合效果具有較大差異的3種經典彩色圖像融合算法進行分析，來驗證筆者所提出的基于結構色彩差異對比的彩色圖像融合客觀評價指標。這3個圖融合算法是：基于均值的彩色圖像融合方法、基于PCA的方法[5]和在HIS顏色空間下的小波方法[6-8]。

第一組實驗的兩幅待融合圖像如圖1所示，圖1(a)中左邊區域清晰，右邊區域模糊；而圖1(b)正好相反，是左邊模糊，右邊清晰。接下來用上述3種融合算法得到融合圖像，如圖2所示。

圖1 源圖像book

圖2 融合結果

從圖2的融合結果可以看出，基于小波變換的融合結果最好，前景、背景都很清晰，且沒有顏色失真。PCA和均值方法相比，PCA方法存在顏色失真，均值方法比PCA方法略好一些。針對圖2中的3幅融合圖像計算互信息、相關系數、QABF、CCM以及本文的客觀評價指標，結果如表1所示。

在表1中，互信息給出的評價結果認為PCA方法的融合效果最好，這與視覺感知不符。同樣，相關系數計算結果認為均值方法比小波融合的效果好，也不符合視覺感知；QABF評價結果認定PCA方法比均值融合方法好，不符合視覺感知；CCM得出的結果認定均值方法權最好，不符合視覺感知。而本文算法認定小波融合最好，PCA融合最差，這與視覺感知相符。

表1 圖像book融合評價結果

接下來進行第二組實驗，如圖3所示。融合結果如圖4所示，可以看出小波方法融合效果最好，其次是均值方法，最差的是PCA方法。

圖3 源圖像food

圖4 融合結果

均值融合PCA融合小波融合互信息24．253025．346722．2439相關系數5．95365．77835．9153QABF0．70640．64860．7192CCM38．367733．565938．7099本文算法43．416865．023541．3017

表2是對圖4中的3幅融合圖像進行評價的結果。互信息的評價結果認定PCA方法最好，這與視覺感知不符；相關系數的評價結果認定均值方法最好，也與視覺感知不符；QABF、CCM和本文算法與視覺感知相符。但通過對比均值融合和小波融合的客觀評價數據可以發現，QABF和CCM評價的數值比較接近，但從主觀視覺感知上來講，小波方法要遠好于均值方法。

一個好的圖像評價指標應該有較大的區分度，以圖4為例，小波融合的結果比均值方法要好很多，那么相應的客觀評價指標在數值上也應該相差較大。我們通過引入離散度指標來對QABF、CCM和本文算法做進一步對比。離散度指標的計算是通過標準差除以均值得到的。計算的結果越大，表明對應評價指標的離散度越大，也就是區分融合圖像質量好壞的能力越強。表3是QABF、CCM和本文算法的離散度指標。

表3 離散度對比

從表3可以看出，本文算法的離散度最大，即本文算法描述融合圖像質量的能力要優于QABF和CCM。

3 結語

本文提出了一種基于結構色彩差異性的彩色圖像融合客觀評價指標，通過對比圖像的邊緣差異和色彩差異來構建評價指標。實驗結果表明，本文所提出的彩色圖像融合客觀評價指標有互信息、相關系數、QABF和CCM等算法，其主觀評價與人眼視覺感知相符，同時具有較大的離散度，能夠作為彩色圖像融合的客觀評價指標。

[1]H.B.Mitchell.Image fusion:theories,techniques and applications[M].Berlin Heidelberg:Springer Publishing Company,2010.

[2]G H Qu,D Zhang,P Yan.Information measure for performance of image fusion[J].Electronics Letters,2002,38(7): 313-315.

[3]C S Xydeas,V Petrovic.Objective image fusion performance measure[J].Electronics letters,2000,36(4):308-309.

[4]Y Yuan,J Zhang,B Chang,et al.Objective quality evaluation of visible and infrared color fusion image[J]. Optical Engineering,2011,50(3):033202.

[5]Y H Jia.Fusion of Landsat TM and SAR image based on principal component analysis[J].Remote Sensing Technology and Applicaton,1998,13(1):46-49.

[6]T M Tu,S C Su,Hsuen-chyun shyu,et al.A new look at IHS-like image fusion methods[J].Information Fusion,2001(2):177-186.

[7]H Zhao,Q Li,H Feng.Multi-focus color image fusion in the HSI space using the sum modified laplacian and a coarse edge map[J].Image and Vision Computing,2008(26):1285-1295.

[8]K Amolins,Y Zhang,P Dare.Wavelet based image fusion techniques-an introduction, review and comparison[J]. ISPRS Journal of Photogrammetry & Remote Sensing,2007,62(4):249-263.