基于視覺注意機制的異源圖像融合

胡燕翔,萬 莉

(天津師范大學計算機與信息工程學院,天津300387)

基于視覺注意機制的異源圖像融合

胡燕翔,萬 莉

(天津師范大學計算機與信息工程學院,天津300387)

針對融合規則不能真實反映觀察者視覺感知特點的問題,提出一種異源圖像多尺度融合算法。應用視覺注意機制,計算異源圖像間的視覺顯著度匹配系數,并根據這一系數對小波變換近似系數進行自適應融合,在小波細節系數融合中使用帶有方向連續性檢查的選大值方法,采用視覺顯著度差對融合算法的視覺保持一致性進行評價。測試結果表明,與傳統算法相比,該算法在客觀性能指標和主觀視覺一致性方面都有所提高。

異源圖像融合;視覺注意機制;視覺一致性;視覺顯著度;多尺度融合算法

1 概述

隨著各類電子成像技術的發展,圖像融合受到廣泛的關注和研究,已在遠程監控、數字醫療成像、航空遙感、特征識別、高動態范圍成像以及壓縮傳感成像等［1-3］圖像領域得到廣泛應用。圖像融合的目的在于將多幅不同成像模式的源圖像組合為單一圖像,在融合結果中保留原圖像中的全部內容信息并保持主要特征［4-5］。在像素級、特征級以及決策級3個層次的融合方法中,像素級融合得到大量研究和應用,其主要方法包括多尺度分析、稀疏表示、神經網絡等［6-8］。

在基于多尺度分析的融合算法規則方面,已提出包括基于局部系數或塊能量選大、加權平均及其他更復雜的方法。這些規則以大系數或塊能量代表圖像中顯著信息(如突出目標和邊緣)為前提進行融合計算［6］。雖然這些算法取得了較好的融合效果,但共同問題在于根據分解系數本身的大小來確定融合系數,而圖像對于人眼的視覺激勵是多種區域性因素的共同作用結果,基于數值本身的融合方式與視覺感受沒有直接聯系。

視覺注意機制(Visual Attention Mechanism, VAM)是人類視覺系統的一個重要特征［9］。研究表明,圖像中的不同區域對于人眼具有不同的激勵程度。在亮度、顏色以及方向等方面具有快速變化的區域具有更高的注意優先級。通過在融合過程中使

用視覺注意機制,能夠使得源圖像中的視覺顯著區域在融合結果中被顯著體現,使得融合結果包含更多的可視信息。這一特點對于最終觀察者是人的圖像應用,例如視覺監控、數字醫療等,作用尤為明顯。本文提出一種基于視覺顯著度的異源圖像多尺度融合方法及視覺一致性評價指標。通過計算顯著度匹配系數來判斷源圖像間的視覺顯著信息互補程度;根據顯著度匹配系數進行自適應的近似系數融合。通過顯著度匹配系數直方圖選取最佳顯著度匹配系數。采用計算融合結果與源圖像的視覺顯著度圖差評價融合算法的視覺一致性性能。

2 圖像融合算法

近年來最受關注的圖像融合算法包括基于多尺度分析和基于稀疏表示2類。多尺度分析融合算法基于近似系數反映圖像的局部亮度、細節系數表征局部變化的思路,其主要過程包括多尺度分解、組合以及逆變換重構。

文獻［10］提出使用梯度金字塔進行圖像融合:輸入源圖像被分解為梯度圖,按照規則進行組合,組合梯度圖使用正交鏡像濾波器處理后,形成梯度金字塔,通過重構得到融合結果,有效降低了對比度損失。文獻［11］使用拉普拉斯金字塔作為分析工具,近似系數使用基于相似度的權重規則,細節系數使用參數化對比度測量方法。文獻［12］對基于小波變換的高分辨率全色圖像和低分辨率多譜圖像融合算法進行了測試比較,證明不同融合規則對于提高空間分辨率和保留光譜質量的不同效果。文獻［13］采用平移不變小波進行Landsat圖像與SPOT全色圖像的融合,測試結果表明SIDWT優于主分量分析以及色度-強度-飽和度變換。文獻［14］研究了非下采樣輪廓波(NSCT)在多傳感器圖像融合中的應用。文獻［15］研究了基于均勻離散曲波變換的多聚焦圖像融合。

在基于稀疏表示的融合算法方面,文獻［8］使用NSCT多尺度分析,采用字典學習進行NSCT系數融合,顯著減少計算量。文獻［16］采用同步正交匹配追蹤進行稀疏表示圖像融合,取得良好的客觀性能評價。此外,基于壓縮感知原理的圖像融合技術也獲得了研究［17］。

目前基于仿生視覺的多尺度圖像融合研究相對較少。包括文獻［18］根據多碼率視覺模型提出的融合算法［19］以及文獻［20］提出的局部能量與視覺顯著度組合的算法等。已提出算法的不足之處在于: (1)多尺度分解高低頻系數融合都采用顯著度制導,沒有考慮到視覺顯著度區域效應對于高低頻系數的不同影響;(2)使用簡單固定的融合規則,沒有考慮到源圖像間的視覺信息互補特點。例如文獻［20］算法在高低頻系數融合中均使用了基于顯著度的加權平均策略,會使圖像中的細節被模糊。

針對上述問題,本文通過計算顯著度匹配系數來反映源圖像間的視覺差異,使用該顯著度匹配系數指導近似系數的融合;在細節系數的融合使用帶有方向連續性檢查的選大規則,避免使用顯著度引入的區域模糊效應,較已有算法更為合理。

3 視覺注意機制

視覺注意機制是近20年來興起的一個多學科交叉研究領域,已被應用于認知心理學、人工智能以及圖像處理等領域。視覺注意表明圖像中在強度、顏色、方向等屬性上具有快速變化的區域具有更高的顯著度。其最主要的價值在于當面對海量視覺信息時,觀察者可以集中有限處理資源優先處理圖像中的顯著目標［21］。

文獻［22］開展了自底向上的選擇性注意,在此基礎上提出自底向上、數據驅動的VAM模型來計算人眼感受的視覺激勵程度。該模型使用金字塔多尺度分析方法和中央-周邊差策略計算視覺顯著度圖(Visual Saliency Map,VSM)。視覺顯著度圖綜合了各類視覺刺激,量化表示了圖中每點的視覺激勵程度。觀察者將首先注意到具有最高顯著度的區域,繼而按照“勝者為王”和禁止-返回策略遍歷整個圖像。視覺注意已經被應用于機器視覺、機器人導航以及特征提取等［22］。

圖像融合的目的在于保留源圖像中的顯著信息而不引入虛假信息。已提出的多尺度分析和稀疏表示融合方法中大多根據數值本身來確定融合方法。但視覺感受是多種因素綜合作用的結果,只考慮系數本身而非視覺特性可能引入虛假目標。使用視覺顯著度圖來指導融合使不同源圖像中的高顯著區域在融合結果中同樣被突出,對于存在較大視覺差異的異源圖像融合具有突出效果。

圖1給出了紅外-可見光圖像的視覺顯著度圖比較。圖1(a)中顯著區域包括屋角、煙囪以及右上角小路,這3個區域在圖1(c)中最為顯著,如箭頭所指;圖1(b)中最顯著的人體在圖1(d)中最為突出。可見對于視覺差異較大的異源圖像,其視覺顯著區域表征了紅外波長和可見光成像模式下主要視覺目標的位置、輪廓和顯著程度。使用視覺顯著度

指導融合,可完整將異源圖像中的顯著目標集成在融合結果中,同時不產生虛假目標。

圖1 紅外-可見光圖像及其視覺顯著度圖

4 融合算法

由于小波變換具有很好的重構能力以及較高的計算效率,因此本文使用小波變換作為多尺度分析工具。圖2給出算法的總體流程。

圖2 小波變換融合算法流程

算法包括以下步驟:(1)使用Itti模型計算各源圖像的視覺顯著度圖;(2)對源圖像進行2D DWT變換;由于Itti模型計算結果為源圖像的1/8大小,因此分解層數為3;(3)按照融合規則對近似系數和細節系數進行融合;(4)小波逆變換重構圖像。

4.1 近似系數融合

視覺顯著度匹配系數為:

其中,SA(x,y),SB(x,y)為輸入圖像A,B的VSM中(x,y)點處的值,該值表示此位置視覺激勵的大小;視覺顯著度匹配系數MAB(x,y)通過計算該處異源圖像的視覺顯著度差來比較圖像內容的互補程度。此系數為0表示異源圖像的視覺顯著度圖沒有差別,為1則表示其視覺顯著度圖完全不同。

融合方法為:

當視覺顯著度匹配系數小于預定義閾值Mt時,表明異源圖像中該位置的視覺顯著度相差不大,近似系數采用加權平均;當其大于預定義閾值時,說明該區域只在一幅源圖像中被充分展示,采用“選大值”的方法來保持其高顯著度。權重WA定義為:

文獻［20］在近似系數的融合中使用基于子窗口能量的比較方法,只有當子窗口能量差異較大時才使用視覺顯著度進行權重組合。由于子窗口能量只反映亮度高低,不能反映組合變化引起的視覺刺激,因此是不全面的。

4.2 細節系數融合

在細節系數融合中,采用帶方向連續性檢查的選大值策略。該方法的優點在于融合后某點的水平、垂直、對角三方向細節系數來自同一幅源圖像,在保持細節信息量的同時不產生畸變。

該位置φ方向的能量匹配度Mφ:

其中,φ=(h,v,d),分別表示水平、垂直和對角方向。帶方向的組合能量匹配度:

其中,取(Wv,Wh,Wd)=(0.25,0.25,0,5)。當能量

匹配度大于閾值Th(經驗值0.7)時,采用加權平均:

其中,權重系數WA有:

當能量匹配度小于Th時,有:

文獻［20］在細節系數的融合中采用與近似系數同樣的加權策略,會使得低顯著區域的細節被模糊,例如大片平坦區域的微小細節。

5 實驗結果與分析

給出對紅外-可見光異源圖像進行融合的實驗結果,并與拉普拉斯金字塔算法(LP)5、DWT算法5、文獻［20］算法進行比較。LP算法和DWT算法的融合規則均為近似系數平均以及細節系數選大。本文采用的評價指標包括:(1)文獻［23］提出的基于結構相似度的3項指標:Q,QW和Q24E; (2)文獻［25］提出的QAB/F測度,它評價從源圖像傳遞到融合圖像的邊緣信息量;上述指標越接近1,算法效果越好;(3)信息熵描述圖像信息含量。除上述指標外,定義視覺顯著度差來評價主觀視覺一致性:

其中,M,N為圖像大小;SMresult為融合結果視覺顯著度圖;SMint為組合顯著度圖:

組合顯著度圖完整集合了各異源圖像的顯著目標,同時其顯著度大小分布不發生變化。

圖3給出4種算法的融合結果。比較4種融合結果,可見在圖3(c)和圖3(d)中最重要目標,即人體與周圍環境的區分度最高,這是由于在近似系數融合考慮了視覺顯著度的結果,因而比圖3(a)和圖3(b)的近似系數簡單平均顯得更為突出;從細節角度觀察,圖3(c)最為模糊,特別是在煙囪周圍區域。這是由于文獻［20］在細節系數融合中采用加權平均方法造成的。而其他3種算法由于在細節系數融合中采用了選大或更合理的方法,因而能夠保留圖像中的細節變化。由此例可見,文獻［20］在細節系數采用基于顯著度的加權平均方法并不合理。而本文算法在近似系數融合中使用視覺顯著度,在細節系數融合中使用了帶有方向連續性檢查的選大值策略,因此既保證了顯著區域的突出,又使得圖像細節不被模糊。圖4給出組合顯著度圖及4種融合結果的顯著度圖。

圖3 紅外-可見光融合結果比較

圖4 紅外-可見光融合結果的VSM比較

表1給出客觀評價指標及視覺一致性比較。由表1可見,本文算法(閾值0.5)和LP算法的客觀評價指標好于其他2種算法,本文算法同時具有最小的視覺顯著度差,這與圖4的比較一致。

表1 紅外-可見光融合結果性能評價指標比較

在上述例子比較上,本文算法均具有最好的指標,LP算法的性能次之,DWT算法和文獻［20］算法最差。在視覺一致性比較方面,本文算法的指標明顯高于其他算法,LP算法好于DWT算和文獻［20］算法,這與客觀指標的比較一致。特別在圖像內容差別較大的紅外-可見光圖像融合例子中更加明顯。上述結果證明本文算法在近似系數和細節系數融合上的有效性。

根據式(1)定義,視覺顯著度匹配系數定義為源圖像對應位置顯著度差值與其和的比值:為0時源圖像在此位置顯著度相同;為1時則差別最大。當其小于閾值Mt時,表明源圖像在該位置的顯著度比較接近,近似系數采取權重平均方法;當大于閾值時,為突出顯著目標采取選大值方法。因此如何選取合理的閾值是算法的關鍵。由于光譜特性及成像模式的區別,不同的異源圖像融合時最優閾值并不相同。表2給出紅外-可見光融合例子中不同閾值下客觀評價指標的比較(為便于比較,將閾值為0.5時的指標規則化為1)。

表2 可見光-紅外融合中不同閾值的性能比較

由表2可見:隨著閾值增大,基于結構相似性的3項指標、QAB/F測度以及視覺一致性都單調上升。其原因可以解釋為:原來由于視覺匹配系數大于閾值而進行選最大值的位置,隨閾值增大變為加權平均,因此融合結果與源圖像的結構相似性提高;熵值隨著閾值的增大而逐漸減小,原因為選最大值較加權平均使融合結果包含更多細節變化,具有更高的信息量。

大量實驗比較表明,不同類型源圖像的顯著度匹配系數分布規律及其平均值差異很大:多聚焦圖像平均值為0.1～0.2,紅外/可見光圖像為0.4～ 0.7,CT/MRI、遙感圖像為0.5～0.9。圖5為紅外-可見光例子中視覺顯著度匹配系數直方圖。

圖5 紅外-可見光圖像的顯著度匹配系數直方圖

由圖5可見,絕大部分匹配系數小于0,7,0.8～1間的大系數表明部分區域的顯著度差異非常明顯(人體部分),其整體平均值為0.485 2。大量實驗表明,當閾值取顯著度匹配系數平均值時具有最優的視覺顯著度差及其他各項指標的綜合最優值,即:

當閾值大于匹配系數平均值后,由表2可見各項指標增減隨閾值提高的變化程度非常緩慢,表明源圖像中的絕大多數顯著區域已被集成。

此外,本文所提出的視覺一致性指標VSD與結構相似性3項指標具有完全一致的變化趨勢和規律,證明該指標準確反映了融合結果中的顯著信息含量及與源圖像的視覺相似度。

6 結束語

本文提出一種基于視覺顯著度的異源圖像多尺度融合算法,并首次提出使用視覺一致性來評價融合算法在保持主觀視覺一致性方面的性能。實驗分析結果表明,本文算法較對比算法在客觀指標和主觀視覺一致性方面都有提升。所提算法能夠使得異源圖像中包含的不同顯著目標在融合結果中被更好地表現出來。提出的主觀視覺一致性評價指標能夠評價視覺顯著目標的融合保持效果,同時可以對融合過程中產生的虛假視覺信息進行量化評估,這是已有的客觀評價指標所不具備的。

［1]Seng Cher-Hau,Bouzerdoum A,Amin M G.Two-stage Fuzzy Fusion with Applications to Through-the-Wall Radar Imaging［J］.IEEE Geoscience and Remote Sensing Letters,2013,10(4):687-691.

［2]Kao Chih-Chung,Chen Shou-Hung.Integrating Image Fusion and Motion Stabilization for Capturing Still Images in High Dynamic Range Scenes［J］.IEEE Transactions on Consumer Electronics,2006,52(3): 735-741.

［3]Luo Xiaoyan,Zhang Jun,Yang Jingyu.Classification BasedImage-fusionFrameworkforCompressive Imaging［J］.Journal of Electronics Imaging,2010, 19(3):1-14.

［4]Goshtasby A,Nikolov S.Image Fusion:Advances in the State of the Art［J］.Information Fusion,2007,8(2): 114-118.

［5]Dong Jiang,Zhuang Dafang,Huang Yaohuan.Advances inMulti-sensorDataFusion:Algorithmsand Applications［J］.Sensors,2009,9(10):7771-7784.

［6]Krista A,Zhang Yun,Peter D.Wavelet Based Image Fusion Techniques——AnIntroduction,Reviewand Comparison［J］.ISPRS Journal of Photogrammetry and Remote Sensing,2007,62(4):1-13.

［7]Kong W W,Lei Y J,Lei Y.Image Fusion Technique Based on Non-subsampled Contourlet Transform and AdaptiveUnit-fast-linkingPulse-coupledNeural Network［J］.IET Image Processing,2011,5(2): 113-121.

［8]Wang J,Peng J Y,Feng X Y.Image Fusion with Nonsubsampled Contourlet Transform and Sparse Representation［J］.Journal of Electronics Imaging,2013,22(4): 1901-1915.

［9]魏龍生.視覺信息處理中注意機制計算模型研究［D］.武漢:華中科技大學,2011.

［10]Petrovic V S,XydeasCS.Gradient-basedMultiresolution Image Fusion［J］.IEEE Transactions on Image Process,2004,13(2):228-237.

［11]Nercessian S C,Panetta K A,Agaian S S.Multiscale Image Fusion Using an Adaptive Similarity-based Sensor Weighting Scheme and Human Visual System-inspired Contrast Measure［J］.Journal of Electronics Imaging, 2012,21(2):1112-1117.

［12]Guo Qing,Liu Shutian.Performance Analysis of Multispectral and Panchromatic Image Fusion Techniques Based on Two Wavelet Discrete Approaches［J］.International Journal for Light and Electron Optics, 2011,122(9):811-819.

［13]Li Shutao,Kwok J T,Wang Yaonan.Discrete Wavelet Frame Transform Method to MERGE Landsat TM and SPOT Panchromatic Images［J］.Information Fusion, 2002,3(1):17-23.

［14]常 霞,焦李成,賈建華.基于非下采樣Contourlet的多傳感器圖像自適應融合［J］.計算機學報,2009, 32(11):2229-2239.

［15]楊 揚,戴 明,周籮魚.基于均勻離散曲波變換的多聚焦圖像融合［J］.紅外與激光工程,2013,42(9): 2547-2552.

［16]Yang Bin,Li Shutao.Pixel-level Image Fusion with SimultaneousOrthogonalMatchingPursuit［J］.Information Fusion,2012,13(1):10-19.

［17]Li X,Qin S Y.Efficient Fusion for Infrared and visible Images Based on Compressive Sensing Principle［J］.IET Image Process,2011,5(2):141-147.

［18]Rodriguez S R,GarcíaJA,FdezVJ.Axiomatic ApproachtoComputationalAttention［J］.Pattern Recognition,2010,43(4):1618-1630.

［19]Rodriguez S R,GarcíaJA,FdezVJ.From Computational Attention to Image Fusion［J］.Pattern Recognition Letter,2011,32(14):1178-1195.

［20]Ren Xianyi,Liu Wei,Duan Peng,et al.Image Fusion Based on WaveletTransformandVisualAttentionMechanism［EB/OL］.(2009-10-12).http://www.researchgate.net/publication/252641798_Image_fusion_based_on_ wavelet_transform_and_visual_attention_mechanism.

［21]Borji A,Itti L.State-of-the-Art in Visual Attention Modeling［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence,2013,25(1):185-207.

［22]Itti L.Models of Bottom-up andTop-downVisual Attention［D］.Pasadena,USA:California Institute of Technology,2000.

［23]Wang Zhou,Bovik A C.A Universal Image Quality Index［J］.IEEE Signal Processing Letter,2002,9(3): 81-84.

［24]Piella G,Heijmans H.A New Quality Metric for Image Fusion［C］//Proceeding of International Conference on Image Processing.Barcelona,Spain:IEEE Computer Society,2003:173-176.

［25]Xydeas C S,PetrovicV.ObjectiveImageFusion Performance［J］.Electronics Letters,2000,36(4):308-309.

編輯 顧逸斐

Difference-source Image Fusion Based on Visual Attention Mechanism

HU Yanxiang,WAN Li
(College of Computer and Information Engineering,Tianjin Normal University,Tianjin 300387,China)

A Visual Attention Mechanism(VAM)based multi-scale image fusion algorithm is proposed in this paper, which tries to overcome the inconformity between fusion rules and observer′s visual characteristics.Visual saliency matching coefficients based on visual attention mechanism are computed and employed in Wavelet Transform(WT) approximate coefficient fusion.In WT detail coefficient fusion,select-max rule with directional consistency checking is used.A fusion performance evaluating method based on the comparison of visual saliency is proposed to measure visual consistency between source images and fused results.Experimental results demonstrate the superiority of the proposed algorithm in terms of subjective visual similarity and objective quantization comparison.

different-source image fusion;Visual Attention Mechanism(VAM);visual consistency;visual saliency; multi-scale fusion algorithm

胡燕翔,萬 莉.基于視覺注意機制的異源圖像融合［J］.計算機工程,2015,41(3):247-252.

英文引用格式:Hu Yanxiang,Wan Li.Difference-source Image Fusion Based on Visual Attention Mechanism［J］.Computer Engineering,2015,41(3):247-252.

1000-3428(2015)03-0247-06

:A

:TP391.41

10.3969/j.issn.1000-3428.2015.03.046

國家自然科學基金資助項目(61274021)。

胡燕翔(1969-),男,副教授、博士,主研方向:圖像處理,計算機視覺;萬 莉,碩士研究生。

2014-02-18

:2014-05-14E-mail:yanxianghu@126.com