聚類分析的紅外與可見光融合質量指標相似性研究①

朱亞輝

(陜西學前師范學院 數學系,西安 710077)

紅外與可見光圖像融合在公共安全方面均有廣泛的應用,特別是在國家和社會安全監控等民用領域[1].圖像融合評估有助于研究人員設計出更為科學、精度更高的圖像融合方法.圖像融合質量評價分為主觀評價和客觀評價[2].主觀評價是由觀察者的主觀感覺和統計結果對融合圖像的優劣做出主觀定性評價.例如,Petrovixc[3]建立一個包含120組圖像的數據集,其中110組為遙感圖像融合,6組為紅外與可見光融合,4組為可見光與可見光圖像融合,每組圖像包含2幅源圖像和2幅融合圖像,并提供組內兩幅融合圖像獲得的投票數,客觀評價采用數學公式定量評價圖像融合質量.常用的客觀評價指標有很多種,大致分為四類:1)基于統計特性的評價指標;2)基于信息論的評價指標;3)基于結構相似度的評價指標;4)基于人眼視覺系統的評價指標.

張小利等人[4]在Petrovixc圖像融合數據庫的基礎上,研究了評價指標的正確率排名,結果表明:大部分評價指標的正確率排名均小于0.8,故單個評價指標很難完成準確評估融合質量的任務,需要進行綜合評價.因此面臨的主要問題在于:所選的評價指標必須滿足非冗余性原則.雖然文獻[4]研究了融合圖像質量評價指標的相關性,但結合紅外與可見光圖像融合質量評價,該研究存在以下不足:1)Petrovixc圖像融合主觀數據庫中遙感圖像的個數占91.7%,文獻[4]側重分析遙感圖像圖像融合質量評價指標的相關性;2)文獻[4]采用的融合方法比較陳舊,已經無法滿足現階段融合方法質量評價的需求;3)文獻[4]采用閾值分類對評價指標進行聚類分析,所選閾值具有隨機性,無法保證分類的有效性.

借鑒文獻[4]總結的融合圖像質量評價指標,本文從斯皮爾曼等級相關系數和灰色關聯分析理論研究評價指標在紅外與可見光圖像融合質量評價的相關性.

1 客觀評價指標

根據圖像融合質量評價原理,將圖像融合質量評價方法分為4類:基于統計特性的評價指標、基于信息論的評價指標、基于結構相似度的評價指標、基于人眼視覺系統的評價指標.

設A,B分別表示兩源圖像,采用融合算法將兩源圖像進行融合,得到融合圖像F,圖像的大小均為M×N,圖像中的灰度級數為L.

1.1 基于統計特性評價指標

本文主要介紹常用的統計特性評價指標,包括:平均梯度(Average Gradient,AG)、空間頻率(Spatial Frequency,SF)、均方誤差(Mean Square Error,MSE)、峰值信噪比(peak signal to noise ratio,PSNR)、相關系數(Correlation Coefficient,CC).其中,AG反映圖像微小細節變化與紋理變化的反差特征,SF反映圖像灰度的變化率,MSE反映變量之間的差異,PSNR衡量有效信息與噪聲之間的比率,CC衡量變量間相關關系密切的程度.上述評價指標的計算公式詳見文獻[4].

1.2 基于信息論的評價指標

信息熵作為圖像融合質量評價指標,用于衡量融合圖像信息豐富程度.但該指標只是衡量了融合圖像自身的信息量,無法衡量源圖像傳遞給融合圖像的信息量,評價結果具有片面性.互信息用于衡量融合圖像保留源圖像信息量的多少,較為準確地反映圖像融合質量.故本文介紹源圖像與融合圖像間的互信息及其改進算法.

(1)互信息

對于圖像X,Y,它們間的互信息計算公式如下:

式中,pXY(x,y)是圖像X,Y間的歸一化聯合灰度直方圖,pX(x)和pY(y)分別為圖像X,Y的概率密度分布.

在已知源圖像A,B和融合圖像F的基礎上,基于互信息的融合質量評價指標計算公式如下:

融合圖像的互信息越大,融合圖像質量越優,反之,則融合圖像質量越差.

(2)Taillis熵

Cvejic[5]利用Taillis熵改進了互信息,其計算公式如下所示:

融合圖像的Taillis熵越大,則融合圖像質量越優,反之,則融合圖像質量越差.

1.3 基于結構相似度的圖像融合評估指標

結構相似度理論是一種關于圖像質量評價的新思想.它自頂向下地模擬HVS整體功能,使得測量結構信息的改變與感知圖像質量的變化非常接近.圖像X,Y間的結構相似度表達式如下:

這里,μX,μY,σX,σY分別為圖像X,Y的均值和標準差,σXY是圖像X,Y的協方差,C1,C2,C3為常數.

在此基礎上,Piealla[6]提出了三個融合圖像質量評價指標:Q,Qw,QE.融合圖像的評價指標Q,Qw,QE值越大,表明融合圖像質量越優;反之,則評價指標質量越差.

下面對三個指標進行描述:

(1)評價指標Q

評價指標Q的計算思想:首先分別計算融合圖像F和源圖像A,B在局部窗口w內的結構相似度SSIM(A,F|w)和SSIM(B,F|w);然后利用輸入圖像的局部顯著度構成歸一化局部權重系數λ(w),表示源圖像之間的相對重要程度;最后通過加權乘法獲得融合圖像質量.其表達式如式(1).

其中,|W|是W的基數.λ(w)是源圖像的局部顯著度構成的歸一化權重,其表達式如下:

這里,s(A|w),s(B|w)分別表示圖像A,B在窗口w的顯著性.

(2)評價指標Qw

Piella考慮到窗口重要性不同,對式(1)進行改進,得到加權結構相似度Qw(A,B,F):

其中,c(w)是圖像塊w在整個圖像中的重要程度:

(3)評價指標QE

考慮到圖像質量優劣與邊緣的完整度、清晰度有關,Piella在獲得評價指標Qw(A,B,F)的基礎上,分別獲取源圖像和融合圖像的邊緣圖像A,B,F,然后求出Qw(A,B,F),得到基于邊緣結構相似指標QE:

1.4 基于人眼視覺系統的評價指標

基于人眼視覺系統的評價指標是模仿人眼對像素層絕對差值的認知機制,通過掩蓋低于人眼感知能力的差異修正評測結果.該類指標主要被劃分為2部分:1)基于顯著性幾何評價指標;2)基于邊緣保持度的評價指標.

1.4.1 基于顯著性幾何評價指標

Luo等人[7]利用圖像區域顯著性對結構相似度進行改進,提出了基于顯著性幾何評價指標.該指標的計算過程如下:

首先,分別計算源圖像A,B的顯著性,將所得結果存入到SA,SB中,當源圖像A,B在點(x,y)處的顯著性大于閾值t,則認為此處是顯著性位置;否則,則認為是非顯著性位置.

然后,分別統計源圖像A,B與融合圖像F在顯著性區域、非顯著性區域的相似度.以源圖像A和融合圖像F為例,計算方法如下所示:

式中,m1,m2分別表示顯著性區域、非顯著區域中像素的個數.

其次,將它們進行整合,得到源圖像A和融合圖像F的整體相似度為:

同樣,獲得源圖像B和融合圖像F的整體相似度FIQRO(F,B).

結合FIQRO(F,A)和FIQRO(F,B),基于顯著性幾何評價指標表達式為:

其中,a1,a2為參數,通常取a1=a2=1.

1.4.2 基于邊緣保持度的評價指標

根據視覺系統特性,Xydeas等人[8]提出了一種衡量邊緣信息量從源圖像到融合圖像多少的客觀評價指標.其實質是通過Sobel算子分別計算輸入、輸出圖像的邊緣信息,得到邊緣信息傳遞的量化值,然后對源圖像的邊緣保持度加權求和得到最終值.其計算步驟如下:

Step 1.計算源圖像A,B到融合圖像F的邊緣信息保留值QAF(x,y)和QBF(x,y).

以QAF(x,y)的計算過程為例進行說明.

首先,應用式(2)計算源圖像A和融合圖像F在點(x,y)處的邊緣強度gA(x,y)和gF(x,y):

再應用式(3)計算源圖像A和圖像F在點(x,y)處的邊緣方向αA(x,y),αF(x,y):

然后,應用式(4)計算源圖像A相對于融合圖像F的相對邊緣強度GAF(x,y)和邊緣方向AAF(x,y):

應用式(5)得到源圖像A到融合圖像F的邊緣信息保留值QAF(x,y):

其中,Γg,kg,σg,Γα,kα,σα均為常量.

同樣,應用式(2)至式(5)得到源圖像B到融合圖像F的邊緣信息保留值QBF(x,y).

Step 2.計算基于邊緣保持度的質量評價指標QAB/F.

這里,ωA(x,y)和ωB(x,y)分別是源圖像A,B的邊緣強度,其表達式分別為:

式中,L是常數.

Xydeas等人[9]在進一步考慮人眼視覺感知性能后,通過對融合圖像與源圖像之間各像素點上的邊緣強度添加閾值Tg和計算各鄰域內像素方向的一致性程度來分辨融合圖像中出現的噪聲和邊緣情況,在此基礎上,改進了加權系數ωA(x,y)和ωB(x,y),具體表達式見式(7).

這里,W是中心處在(x,y),且大小為k×l的窗口,窗口,δ為常數.

2 相關性指標

本文采用斯皮爾曼等級相關系數和灰色關聯理論分析圖像融合質量評價指標在紅外與可見光圖像融合中的相關性.

2.1 基于灰色關聯度的相關性分析

灰色系統理論對樣本數據量的要求不高、設計思路相對簡單,能夠解決因統計資料不足而造成的信息不完善的問題.灰色關聯分析理論是灰色系統理論的重要組成部分,它通過各個樣本序列的曲線幾何形狀的相似度來判斷序列之間的關系.

2.2 斯皮爾曼相關系數

設兩變量X和Y,它們的長度均為N.X和Y均按降序排列后分別記為Xsort和Ysort.X’和Y’分別記錄X和Y中元素在Xsort和Ysort中的位置,并稱其為秩次.記di=X(i)-Y(i),斯皮爾曼相關系數ρs表示為式(10).

ρs反映客觀評價指標的單調性,ρs∈ [-1,1].當ρs=1時,表示X和Y秩次完全相同;當ρs=-1時,表示X和Y的秩次完全相反;當ρs=0時,X和Y不相關.當ρs越接近1,表明客觀評價指標單調性越好.

2.3 選取聚類閾值

取閾值θ=θk,當rij≥ θk(i≠j),則認為指標ui和指標uj具有相同特性并將其分為一類.

設B1,B2是聚類閾值為θk時的兩個類,若B1∩B2≠?,稱它們是相似的,將所有相似的類合并成一個類,最后得到的分類就是閾值θk時的等價分類.

Zhang[10]采用θ 的變化率Ci確定聚類閾值 θ:

其中,i為 θ從大到小的聚類次數,ni和ni-1分別為第i次和第i-1次聚類的對象個數,θi和θi-1分別為第i次和第i-1次聚類時的閾值,若

則認為第i次聚類對應閾值為最優聚類閾值.

從公式(12)可以看出:閾值θ的變化率Ci越大,表明類別之間的差異越大,類與類之間的邊界就越明顯.因此,取最大Ci對應的θi為最優聚類閾值.

3 融合圖像質量評價指標相關性分析

實驗圖像來源于美國麻省理工學院林肯實驗室、荷蘭人力資源研究所、美國海軍研究生院在網絡上提供的紅外與可見光源圖像,共計10組圖像,見圖1.

圖1 10組紅外與可見光源圖像

本文采用融合方法包括:基于奇異值分解的PCNN融合方法[11]、基于Tetrolet變換的融合方法[12]、基于非下采樣Contourlet變換和稀疏表示的融合方法[13]、基于對比度增強的融合方法[14]、基于多特征的融合方法[15]和基于剪切波變換的圖像融合方法[16].上述融合方法既具有代表性,且融合效果比較好.由于篇幅限制,圖2給出了第七組源圖像及其融合圖像.

采用的評價指標有:峰值信噪比(u1)、顯著性幾何評價指標VIFF(u2)、平均梯度(u3)、指標Q(u4)、互信息(u5)、指標Qw(u6)、邊緣保持度QAB/F(u7)、指標QE(u8)、Taillis熵(u9)、空間頻率(u10)、相關系數(u11).

圖2 源圖像與融合圖像

3.1 評價指標規范化處理

圖像融合質量評價指標的物理意義和計量單位不相同,在對融合圖像質量評價指標進行相關性分析時,需要對評價指標進行規范化處理.根據評價指標與融合圖像質量的關系,除了均方誤差屬于“越小越優型”外,其它評價指標均屬于“越大越優型”.本文采用公式(14)對評價指標值進行規范化處理.

這里,T1,T2分別表示指標屬于“越大越優型”和“越小越優型”.

3.2 基于灰色關聯度的相關性分析

本文利用數據集內10組融合圖像,分別計算兩兩客觀評價指標間的灰色關聯度,并求其均值.計算結果見表1所示.

表1 客觀評價指標的相關系數

圖3給出了基于灰色關聯度的動態聚類圖.由公式(12)和公式(13)確定聚類閾值θ=0.9,由圖3可知的聚類結果為:

3.3 基于斯皮爾曼等級相關系數的分析

圖4給出了基于斯皮爾曼相關系統的動態聚類圖.

圖3 動態聚類圖

圖4 動態聚類圖

確定聚類閾值θ=0.9,由圖4可以看出聚類結果為:

顯然,上述兩種聚類結果不一致,這是因為基于灰色關聯度的聚類方法反映兩變量間的相關系數;基于斯皮爾曼等級相關系數的聚類分析法反映兩變量之間聯系的強弱程度.結合上述兩種分類結果,將上述11個評價指標分為6類,即:

因此,在建立紅外與可見光圖像融合質量評價指標體系時,可以選擇相關性較低的評價指標,保證了評價指標的合理性和非冗余性,既提高了綜合評價的速度,同時也保證了綜合評價的合理性.

4 結論與展望

紅外與可見光圖像融合質量評價能夠進一步豐富和完善圖像融合理論框架.單個評價指標往往不能準確地評價圖像融合質量,需要進行綜合評價.評價指標體系是進行綜合評價的關鍵,它的建立應該滿足非冗余性原則.本文選取有代表性的評價指標共計11個,采用斯皮爾曼相關等級系數和灰色關聯度研究評價指標的相關程度,在此基礎上分析閾值變化率選取最優聚類閾值,將評價指標進行分類.為后續研究紅外與可見光圖像融合質量綜合評價提供理論支持.

1張寶輝.紅外與可見光的圖像融合系統及應用研究[博士學位論文].南京:南京理工大學,2013.

2夏明革,何友,黃曉東.多傳感器圖像融合效果評價方法研究.電光與控制,2003,10(2):31-35.

3Petrovi? V.Subjective tests for image fusion evaluation and objective metric validation.Information Fusion,2007,8(2):208-216.[doi:10.1016/j.inffus.2005.05.001]

4張小利,李雄飛,李軍.融合圖像質量評價指標的相關性分析及性能評估.自動化學報,2014,40(2):306-315.

5Cvejic N,Canagarajah CN,Bull DR.Image fusion metric based on mutual information and Tsallis entropy.Electronics Letters,2006,42(11):626-627.[doi:10.1049/el:20060693]

6Piella G,Heijmans H.A new quality metric for image fusion.Proceedings of the 2003 IEEE International Conference on Image Processing.Barcelona,Spain.2003.173-176.

7Luo XY,Zhang J,Dai QH.Saliency-based geometry measurement for image fusion performance.IEEE Transactions on Instrumentation and Measurement,2012,61(4):1130-1132.[doi:10.1109/TIM.2011.2174898]

8Xydeas CS,Petrovic V.Objective image fusion performance measure.Electronics Letters,2000,36(4):308-309.[doi:10.1049/el:20000267]

9Xydeas CS,Petrovic VS.Objective pixel-level image fusion performance measure.Proceedings of SPIE 4051,Sensor Fusion:Architectures,Algorithms,and Applications IV.Orlando,FL,USA.2000.89-98.

10Zhang ZG.An approach to multiple attribute group decision making for supplier selection.Proceedings of 2011 IEEE International Conferenc on Advanced Management Science.Chengdu,China.2010.536-539.

11陳廣秋,高印寒,段錦,等.基于奇異值分解的PCNN紅外與可見光圖像融合.液晶與顯示,2015,30(1):126-136.

12沈瑜,黨建武,馮鑫,等.基于Tetrolet變換的紅外與可見光融合.光譜學與光譜分析,2013,33(6):1506-1511.

13王珺,彭進業,何貴青,等.基于非下采樣Contourlet變換和稀疏表示的紅外與可見光圖像融合方法.兵工學報,2013,34(7):815-820.

14周渝人,耿愛輝,王瑩,等.基于對比度增強的紅外與可見光圖像融合.中國激光,2014,41(9):0909001.

15楊桄,童濤,陸松巖,等.基于多特征的紅外與可見光圖像融合.光學精密工程,2014,22(2):489-496.

16鄭紅,鄭晨,閆秀生,等.基于剪切波變換的可見光與紅外圖像融合算法.儀器儀表學報,2012,33(7):1613-1619.