基于視覺特性的圖像融合質量評價新方法

邢素霞，　陳天華

(北京工商大學 計算機與信息工程學院， 北京　100048)

圖像融合是指采集源于多源通道關于同一目標或場景的圖像，經過一定的處理,提取每個通道的互補信息,綜合成信息更豐富、對同一場景或目標的描述更準確、全面、可靠的圖像或圖像特征. 圖像融合能夠提高系統可靠性和信息利用率,廣泛應用于食品安全檢測、遙感、軍事目標探測和識別等方面. 近年來, 不少學者提出了多種圖像融合方法,如主成分分析方法(principal components analysis,PCA) 、金字塔分解算法、小波變換算法等[1].

融合圖像的質量是圖像融合領域需要解決的一個關鍵問題[2-4]. 該問題一直沒有得到很好地解決，其主要原因是，同一融合算法，對不同類型的圖像,融合效果不同；同一融合算法,對同一圖像，觀察者感興趣的部分不同,則認為效果不同. 目前,評價圖像融合效果的方法主要可以分為兩類,即主觀評價方法和客觀評價方法. 主觀評價方法是由測試者直接對圖像進行質量評價,具有簡單直觀等特點,然而在人為評價融合質量的過程中,會有很多主觀因素影響評價結果；客觀評價方法主要是通過均值、方差、標準差、平均梯度、信息熵、交互信息量等客觀評價指標對圖像進行評價[5-7]. 這些評價方法或基于像素點間的誤差，或根據圖像的統計特性,最大問題是都沒有充分考慮人眼視覺系統的特點,這對于以人眼為最終信宿的圖像來說是很不合理的. 這就需要研究結合人眼視覺特性的、主觀與客觀因素相結合的圖像質量評價方法.

1　主觀評價方法

主觀評價方法就是讓觀測者根據事先規定的評價尺度或憑借自己的經驗，對測試圖像按視覺效果進行質量判斷，并給出質量分數，然后對所有觀測者給出的分數進行加權平均，所得的結果即為圖像的主觀質量評價. 這種打分隨意性大，同一個人在不同情況下對同一幅圖像可能會打不同的分[8]. 處理的圖像最終是給人看的，接收的圖像是具有對光刺激產生感覺的人眼視覺系統，因此合理評價圖像質量的方法應充分遵循人眼的視覺特性，大量研究表明，基于人眼的視覺特性的評價方法優于沒有考慮人眼視覺特性的評價方法.

2　圖像融合質量的客觀評價方法

2.1　灰度均值和標準差

(1)

圖像的灰度標準差：

(2)

均值是像素的灰度平均值,它反映了圖像的平均亮度,如果均值適中,則目視效果良好. 標準差法反映圖像的清晰度和對比度. 標準差越大，對比度越大，圖像越清晰；反之，圖像受噪聲影響就越大.

2.2　均方根誤差

融合圖像F與理想圖像R的均方根誤差為:

(3)

其中M和N為圖像的尺寸,均方根誤差越小,說明融合圖像與理想圖像越接近.

2.3　信息熵

圖像的信息熵是衡量圖像信息豐富程度的一個重要指標,表示圖像所包含的平均信息量的多少. 融合圖像的熵值越大,說明融合圖像攜帶的信息量越大,信息就越豐富. 其定義為：

(4)

式中pi為圖像上像素灰度為i的概率.

灰度均值、標準差和信息熵都是針對單幅圖像進行評價，主要反映圖像的絕對質量，不能反映融合圖像與源圖像的關系.

2.4　交叉熵

評價融合圖像效果的一個重要指標是融合圖像從源圖像中獲取了多少信息, 交叉熵是兩幅圖像之間相關性或一幅圖像包含另一幅圖像信息量的度量.

設理想圖像和融合圖像的概率分布分別為:pR={pR(1),pR(2),…,pR(g),…,pR(L)},pA={pA(1),pA(2),…,pA(g),…,pA(L)}. 交叉熵度量它們之間的信息差異,定義為:

(5)

均方根和交叉熵都需要理想圖像，而在實際應用中無法獲取理想圖像；另外，在許多圖像應用中，最終的用戶都是人，上述指標都沒有考慮人眼的視覺特性，無法反映人眼的視覺效果，評價結果往往與主觀視覺效果不一致.

這就需要給出主觀與客觀因素相結合的圖像融合質量的評價準則,從而使計算機能夠自動選取適合當前圖像融合效果最佳的算法,為不同場合下選擇不同的算法提供依據. 胡良梅等人[9-10]提出了結合主觀和客觀因素的評價方法，該評價方法考慮了融合圖像與源圖像之間的結構相似度、對比度失真和平均照度失真，因而優于傳統的均方根誤差等評價指標,且具有通用性,適用于評價不同的圖像處理過程. 在圖像評價中起到了一定的實用效果，但該評價指標中沒有考慮到融合圖像與源圖像之間的信息量的關系，研究針對信息量及亮度、對比度等方面對該方法進行了改進，提出了一種新的評價方法.

3　結合主觀和客觀因素的圖像融合質量評價方法

即：

(6)

(7)

則可以定義評價指標：

(8)

Q0(A,B)是圖像A和B之間的結構化相似度的一種度量. 公式中的第一項是A和B的平均對比度失真, 其值在[0，1]之間；第二項是平均照度失真,其值在[0，1]之間；第三項是融合后圖像和源圖像的相對信息熵,其值在[0，2]之間.

在圖像融合中，由于融合圖像一般是通過兩幅圖像融合得到的，因此在進行圖像融合質量評價時，要綜合考慮源圖像A,B與融合后圖像F三者之間的關系. 通過構造函數Q(A,B,F)來評價融合圖像的質量:

Q(A,B,F)=λQ(A,F)+(1-λ)Q(B,F).

(9)

其中A、B對應兩幅源圖像，F對應融合后圖像，λ表示權重系數，其值在[0，1]之間. 在一般情況下λ值取0.5，考慮某一幅圖像對融合后圖像的貢獻率比較大時，可以加重其權重系數，如紅外圖像的貢獻率較大時，可以取λ>0.5. 式(9)中Q的值介于[0，2]之間，數值越大代表融合后的圖像質量越好.

4　實驗結果

用Q評價指標對不同算法下的紅外與微光圖像融合結果進行評價. 融合結果見圖1.

圖1中(a)，(b)分別為紅外圖像和微光圖像. 分別采用灰度加權平均、PCA、對比度金字塔、離散小波變換、梯度金字塔、拉普拉斯(Laplace)金字塔、比率金字塔等七種方法進行了融合，融合后的圖像分別對應圖1中的(c)～(i).

圖1　紅外圖像與微光圖像以及不同融合算法下的融合圖像Fig.1　Infrared image, low-light image and fusion images under different fusion algorithms

采用Q指標對各種融合算法的圖像質量評價結果見表1，其中λ取值為0.5. 以A表示紅外圖像，B表示微光圖像，F表示融合后圖像.Q(A,B,F)為融合圖像相對兩幅圖像的總的評價指標.Q(A,F)和Q(B,F)分別為融合圖像相對紅外圖像和微光圖像的評價指標. 從表中可以看出，融合后圖像相對紅外圖像的質量大多情況下提高較大，即在亮度、對比度、信息量上要優于紅外圖像；相對微光圖像，融合圖像的亮度、對比度和信息量略低，摒除了微光圖像中的高亮度信息.

綜合考慮兩幅圖像，從Q(A,B,F)可以看出,對比度金字塔、離散小波變換、Laplace金字塔的評價指標明顯比其他融合方法的要高，其綜合指標大于1；梯度金字塔和比率金字塔的融合圖像的評價指標比平均加權方法的指標高,而均值的方法比PCA的方法得到的融合指標高，但都小于1. 這與對圖1(c)～(i)的主觀判斷評價結果一致.

表1　不同融合算法下的圖像質量評價結果Tab.1　Image quality evaluation results under different　image fusion algorithms

5　結　論

建立圖像融合質量評價標準是目前圖像融合中急需解決的問題之一,通用的、結合主觀和客觀因素的圖像融合質量的評價方法是未來研究的重點. 在分析了現有圖像融合質量的主觀評價方法和客觀評價方法的基礎上,討論了一種新的結合主觀和客觀因素的圖像融合質量的評價方法,該方法無需理想圖像,同時充分考慮了人類的視覺特性,能夠定量評價融合圖像中保留了多少顯著信息(如對比度、亮度及信息等). 研究以均值、拉普拉斯金字塔、對比度金字塔、離散小波變換等七種常用的融合算法為例進行了紅外與微光圖像的融合質量評價,實驗結果表明：該方法得到的客觀評價指標與主觀評價的結果是一致的,是一種實用的、有效的融合圖像質量評價方法,可以為不同場合下選擇不同的算法提供依據.

由于研究僅對紅外與微光圖像的融合效果進行了實驗，為了驗證該方法使用的普遍性，下一步的工作需要對多類圖像融合開展實驗研究.