基于視覺顯著度的多聚焦圖像融合方法

侯慶岑,潘 晨,楊 勇

(1.中國計量學院信息工程學院,杭州310018;2.江西財經大學信息管理學院,南昌330032)

·圖形圖像處理·

基于視覺顯著度的多聚焦圖像融合方法

侯慶岑1,潘 晨1,楊 勇2

(1.中國計量學院信息工程學院,杭州310018;2.江西財經大學信息管理學院,南昌330032)

多聚焦圖像存在聚焦區和離焦區,聚焦區通常吸引人的注意力,具有突出的視覺顯著性。傳統融合算法缺乏對聚焦區域的定位能力,對多聚焦圖像融合的適應性普遍較差。為此,提出一種模擬人類視覺注意機制的多聚焦圖像融合方法。利用譜殘差算法計算源圖像的顯著度圖,通過判斷不同源圖像相同位置上的像素顯著性,選擇顯著度大的圖像像素組成該源圖像的聚焦區,顯著度相等的像素構成邊界帶,使用腐蝕膨脹操作消除聚焦區內的孤立像素點,以每幅源圖像的聚焦區域和梯度值較大的邊界帶像素作為融合圖像的像素。實驗結果表明,該方法能自主選擇清晰像素,獲得37 dB以上的高峰值信噪比,且基本無參數設置,在不同類型圖像融合中均表現出較強的魯棒性。

視覺注意;多聚焦圖像;圖像融合;顯著度;聚焦區;顯著圖

1 概述

高性能的圖像融合技術在醫學診斷、航空航天等諸多實際應用領域有廣闊的需求,一直是圖像處理/機器視覺領域的研究熱點。圖像融合技術可大致分為3個層次:數據級融合,特征級融合,決策級融合[1]。3個層次的區別在于對信息的抽象程度不同。多聚焦圖像融合是將場景相同,但鏡頭所聚焦目標不同的多幅圖像融合成多個目標都清晰的一幅圖像,其中,關鍵問題是源圖像中聚焦區域的定位。傳統圖像融合大體上可分為頻域和空域方法2類。基于空間域的圖像融合方法在待融合圖像的像素空間上進行直觀、簡單的灰度值取大小、加權平均等操作。基于頻域的圖像融合方法先對待融合圖像進行頻域變換得到相關的系數,再結合相關規則得到圖像的融合系數,最后進行逆變換得到最終融合圖像。由于缺乏對聚焦區域的定位能力,傳統融合方法對多聚焦圖像融合的適應性普遍很差。近年來,基于多尺度分解、區域選擇和基于學習等新的圖像融合策略被不斷提出[2-4],改善和提高了算法性能,然而仍存在局限性。一般而言,如何自適應地確定不同類型圖像的融合層次、減少參數設置等問題一直是困擾算法設計者的問題。具體方法中,基于多尺度分解方法的主要問題是會使融合圖像產生振鈴現象和失真[2];基于區域選擇方法的最大問題是產生塊效應[3];基于學習方法的融合效果會依賴于訓練數據[4]等。與機器視覺系統在現實中表現出的脆弱性相反,人類“腦-眼”視覺系統具有普適性和高效率,能有效應對復雜場景,揭示了模擬人類視覺機制或許是改進機器視覺方法的有效途徑。

人類視覺最重要的機制是視覺注意,是指人面對復雜場景時,會迅速將注意力集中在少數重要區域(注視),并利用有限的處理能力對其優先處理。為了賦予給機器這種能力,以視覺顯著度檢測為主的視覺注意模型研究目前正成為機器視覺領域的熱點。可大致分為基于空域、信息理論和頻域等3類。其中,基于空域的經典方法是 1998年以來文獻[5-7]提出基于空間鄰域對比度的模型。通過在空間域中計算每個像素或像素塊相對于四周鄰域或者整幅圖像在不同特征下的相對對比度,經特征之間的競爭或融合,最終確定圖像中每個位置的顯著度而形成顯著度圖。該模型描述了在無先驗信息指導情況下圖像自身特質對人眼的刺激程度,對噪聲、對比度和亮度變化具有很好的魯棒性。但該模型存在問題是整體計算量大,違背了自底向上視覺注意過程快速的特點。顯著圖只能描述顯著對象的大致位置,而無法準確描述顯著對象的輪廓。基于信息理論的經典視覺注意模型如文獻[8],通過在空間域中逐點計算每個像素位置周圍的熵等指標,來衡量該位置的顯著度。顯然,逐點計算使得算法的時間復雜度大,很難用于實時場合。基于頻域分析模型是文獻[9]提出的一種方法,通過求得圖像傅里葉變換后的幅度譜的殘差,經傅里葉逆變換來直接檢測圖像顯著區域。與其他的顯著性檢測方法[10]比較,譜殘差法的計算速度很快。

在對多聚焦圖像的視覺顯著性檢測實驗中,發現圖像中的聚焦清晰區域相比于失焦模糊區域總是具有更高的顯著度值,更能引起視覺注意。為此,本文提出一種基于視覺顯著度的多聚焦圖像融合方法。利用顯著性檢測算法定位待融合圖像的聚焦區域,挑選其中最顯著(最清晰)像素作為聚焦區域進行圖像融合。

2 顯著度檢測原理

為了保證算法速度,本文借鑒了文獻[9]提出的顯著性檢測方法。對于給定的待融合圖像I(x),首先對其進行2維離散傅里葉變換F[I(x)],將圖像由空間域轉換到頻域,得到幅值A(f)和相位P(f)信息:

接著對幅值取對數,得到譜L(f):

其中,F表示2維離散傅里葉變換;|·|表示幅值運算;φ(·)表示相位運算。由于log曲線滿足局部線性條件,因此用局部平均濾波器hn(f)對其進行平滑,獲得log譜的大致形狀:

其中,?代表卷積運算符;hn(f)是一個n×n的矩陣(本文實驗中n=3。),定義如下:

譜殘差R(f)則是對圖像中的突變區域的描述:

通過傅里葉逆變換,可以在空間域得到顯著度圖像:

顯著度圖上每點的值表示該位置的顯著度。考慮到人眼視覺的局部成組效應,為了消除少數孤立的顯著點,得到更好的視覺效果,在得到S(x)后再用平均濾波器進行一次平滑,得到最終的顯著度圖Z(x):

其中,?代表卷積運算符;譜殘差算法對像素的操作是一種批處理,算法簡單、快速、易實現,且對于噪聲具有一定的魯棒性。

圖1(a)是一幅實際圖像,圖1(b)為利用顯著性檢測(譜殘差)算法處理得到的顯著度圖(像素越白對應顯著度越高)。其中,聚焦清晰區域(蝴蝶)顯著度值明顯比失焦模糊區域高。圖1(a)中的叉號標出了最顯著的前200個點,98%都在蝴蝶上(大部分在目標輪廓上),蝴蝶周邊因離焦而模糊區域的顯著度差。圖1表明了顯著度高區域與聚焦區域存在相互對應關系,越清晰的聚焦區域顯著度越大。

圖1 實際圖像的顯著度圖

3 圖像融合算法

基于視覺顯著度比較的圖像融合框架如圖2所示。圖像融合方法首先通過譜殘差法檢測2幅待融合圖像的顯著度圖,再比較2幅圖相同位置的顯著度,來判斷每幅圖中的聚焦和離焦區域;最終選擇2幅圖像的聚焦區域中像素(即最清晰像素)組成一幅融合圖像。

圖2 基于視覺顯著度比較的圖像融合框架

以圖3為例,將原清晰圖通過二值模板進行左、右部分模糊化,生成2個仿真待融合圖像I1和I2。再通過本文方法得到融合結果。

圖3 由1個清晰圖生成的2個待融合圖像

具體過程說明如下:

(1)圖像顯著度

首先根據第2節式(1)～式(8)計算待融合圖像I1和I2的顯著度圖。

(2)比較顯著度,確定聚焦區

參照式(9),逐點比較2幅顯著圖Z1、Z2中對應位置(i,j)的顯著度值,選擇顯著度值大的點對應的源像素構成聚焦區像素。

上述比較過程得到2幅實際圖像的聚焦/離焦區域分布如圖4初始聚焦區域子圖所示。其中,白色區域表示第1幅源圖像I1的聚焦;黑色區域表示第2幅源圖像I2的聚焦區;顯著度相等點則組成聚焦和離焦區的邊界帶,如圖4(d)的灰色條帶。

圖4 聚焦區的選擇和邊界帶

(3)消除聚焦區域內部的孤立離焦點

在人眼觀察場景時,同一聚焦區分布具有連續性,聚焦區內部通常沒有離焦點。而上述過程檢測到的聚焦區域中可能存在離焦點,與事實不符。為了克服這個現象,本文利用形態學開閉運算,填補聚焦區域內部的離焦空洞(孤立離焦點),形成最終聚焦區域。

(4)邊界帶融合規則

經上述步驟,可以選定每幅待融合圖像的聚焦區像素組成融合圖像。然而2個聚焦區的邊界帶(Z1、Z2顯著度相等點)還未處理。盡管這些邊界帶區域通常很小,但是它們可能帶來融合間隙,會影響融合效果。

為了妥善處理邊界帶像素,本文采用最大梯度原則選擇像素。具體做法為:先制作出I1和I2的梯度圖,比較兩梯度圖邊界帶像素,選擇梯度值最大的源圖像素點作為融合圖像素。最終融合規則如下:

聚焦區的選擇和融合結果示例如圖5所示。

圖5 聚焦區的選擇和融合結果示例

4 實驗結果及評價

本文在Matlab7環境下進行實現,實驗中所用圖像來自互聯網下載的標準圖庫。客觀評價指標由空間頻率(Space-Frequency)、信息熵(avg-Entropy)、平均梯度(avg_gradient)、均方根誤差(Root-Mean-Square Error,RMSE)、峰值信噪比(Peak Signal to Noise Ratio,PSNR)等參數組成[11]。其中,空間頻率近似反映圖像微小細節和空間總體活躍程度;信息熵表示圖像信息量、展現圖像細節表現力;平均梯度近似于圖像清晰度,反映圖像邊緣細節的分明程度;均方根誤差和峰值信噪比則說明融合結果與原清晰圖的相似程度。

本文方法(Saliency-based)與加權平均融合算法(Average-based)、小波分解融合算法 (DWT-based)[12]做性能對比。其中,本文方法和加權平均法基本無參數調整。基于小波變換的融合算法需要用戶選擇小波基、確定分解層數等,且參數不同融合效果差別很大。本文實驗選用了 Image fusion tool[12]中效果最好的DWT-DBSS(2,2)4層小波融合方法。

4.1 仿真實驗

先對清晰的標準圖像進行模糊濾波處理,用聚焦/失焦模板模擬生成具有不同聚焦區域的2幅待融合源圖像,然后進行圖像融合。為了仿真復雜聚焦情況,制作了矩形和米字形2種不同聚焦/失焦模板,并分別采用彩色和灰度2幅圖像說明實驗結果。清晰圖像和聚焦/失焦模板如圖6所示,融合示例如圖7和圖8所示,實驗結果可得,清晰圖像Butterfly的空間頻率、信息熵、平均梯度分別為59.901 2, 13.712 2,11.318 0,清晰圖像 Barbara的結果為: 26.474 1,7.525 2,9.604 0。

圖6 清晰圖像和聚焦/失焦模板

圖7 彩色圖融合示例

圖8 灰度圖融合示例

從主觀視覺效果看,加權平均法融合的圖像比較模糊,小波變換融合的圖像中存在振鈴現象(特別對蝴蝶圖)。而本文方法融合結果用肉眼目視看不出與原圖差別。

仿真實驗由于有清晰標準圖像作參照,融合圖像的空間頻率、信息熵和平均梯度3項性能指標應該越接近原圖的對應指標越好。表1為圖7～圖8客觀評價指標比較。實驗數據顯示,基于顯著度的融合算法除了在“Barbara圖矩形聚焦”實驗中“空間頻率”一項指標絕對差稍大于小波變換融合算法外,幾乎所有指標都與原圖的差別最小。基于小波變換方法的指標差別居中,而加權平均法差別最大。此結果說明本文方法的融合結果最接近原清晰圖,比較適合大多數圖像和較任意聚焦方式,而小波變換融合算法性能在Barbara類型圖像和簡單聚焦情形下表現稍好,但是其他情形下表現一般。

表1 客觀評價指標比較1

針對實驗數據,需要指出的是,在圖7、圖8實驗結果中,小波變換方法的融合結果在空間頻率、信息熵和平均梯度3項指標上有相對最大值,但是與原清晰圖對應指標的絕對差值并非最小,說明該融合方法的最后結果與原圖并不十分吻合。究其原因,可能是融合結果中較多的振鈴現象導致了偽邊界,增加了虛假圖像細節,從而提高了上述客觀指標值。從實驗觀察角度,造成的偽邊界并沒有為主觀感受帶來實際好處。

圖9和圖10為3種方法均方根誤差和峰值信噪比對比,其中,圖像聚焦方式分別對應表1第1列的方式。這些折線表明,本文方法對不同圖像和較任意的聚焦/失焦模板,無需參數調整,始終可以取得最小均方根誤差(＜5)和最大的峰值信噪比(大于37 dB)。這樣高的信噪比在目前已發表的融合方法中非常少見(傳統融合算法對此類圖像的最高峰值信噪比大都小于37 dB)。

圖9 3種方法均方根誤差比較

圖10 3種方法峰值信噪比比較

4.2 自然圖像融合實驗

圖11～圖15是對3幅自然圖像的融合結果。表2為相應的測試指標。

圖11 原始圖像A

圖12 原始圖像B

圖13 加權平均融合算法

圖14 小波分解融合算法

圖15 本文方法

表2 客觀評價指標比較2

由于自然多聚焦圖像沒有標準的清晰圖做比照,無法用均方根誤差、峰值信噪比和客觀指標的差別來衡量性能,只能用空間頻率、信息熵和平均梯度指標的絕對值來評價算法。從表2客觀指標比較來看,本文算法的“空間頻率”指標最高,說明對圖像細節刻畫相對好;其他參數與基于小波變換的算法基本持平,大大優于加權平均法。

從目視觀察角度,基于加權平均和小波變換的算法都容易在場景中顯著區域,如文字等的邊緣部分產生模糊或振鈴現象,增加了偽邊界細節。尤其是基于小波變換的算法,雖然在3個客觀性能指標上有提高,但是主觀質量感受沒有提高,甚至有所降低。如圖16的局部放大圖所示。

圖16 Pesi圖融合結果的局部放大

而本文方法依據視覺顯著性原理,能夠避免在圖像的顯著區域內出現上述問題;并且只有可能在聚焦區和離焦區的邊界帶出現模糊現象,實驗的“clock圖”中鐘表上部邊界部分。由圖4可以看出,本文邊界帶是非常窄小的縫隙區域,對圖像整體感知的影響相對較小。這樣的特點說明算法結果符合人類視覺感知,是一種值得深入研究的新方法。

由于本文方法只涉及離散傅里葉變換和像素顯著度比較,運算速度快(512×512像素彩色圖像融合時間小于2 s)。傅里葉變換部分用硬件實現可做到實時化。

4.3 算法魯棒性分析

為了測試算法魯棒性,矩形失焦模板生成的2幅Butterfly源圖分別加上一定程度的高斯噪聲(均值0,方差0.001)。分別對加噪圖像進行融合。結果對比如圖17和表3所示。

圖17 加噪圖像的融合結果

表3 客觀評價指標比較3

表3數據顯示本文方法融合結果在空間頻率和平均梯度指標上遠高于加權平均法;整體性能與小波融合算法大體相當。對圖17的目視觀察表明,基于顯著度和基于小波變換的融合結果主觀差別不大,說明本文方法抗干擾能力類似基于小波變換的方法,對噪聲具有一定的魯棒性。

5 結束語

本文提出一種基于視覺顯著度的多聚焦圖像融合方法。利用圖像聚焦區域顯著度高的特性,通過比較待融合圖像的顯著度定位圖像的聚焦區域,組合不同圖像中的聚焦區域像素,得到具有高清晰度的融合圖像。實驗結果表明,該方法無需先驗知識,基本無參數調整,且速度快、效果好。研究初步揭示了模擬人類視覺注意機制的算法,能夠獲得類似人類視覺的強魯棒性,有望推廣應用于更多自然場景圖像融合場合。由于譜殘差算法只適合檢測灰度圖像的顯著度,本文求彩色圖像顯著度需要先將彩色圖像變成灰度圖像,因此丟失了彩色信息。針對彩色圖像改進顯著度檢測算法將是下一步研究的內容。另外,人類視覺具有多分辨率特性,如何將視覺顯著度與多分辨率有機結合,進一步提高算法性能也是今后的研究方向。

[1] Varshney P K.Multisensor Data Fusion[J].Electronics and Communication Engineering Journal,1997,9(6):245-253.

[2] De I,Chanda B.A Simple and Efficient Algorithm for Multi-focus Image Fusion Using Morphological Wavelets[J].Signal Processing,2006,86(5):924-936.

[3] 徐冠雷,王孝通,徐曉剛,等.基于視覺特性的多聚焦圖像融合新算法[J].中國圖象圖形學報,2007,12(2): 330-335.

[4] Kwok J T Y,Tsang I W H,et al.Fusing Images with Different Focuses Using Support Vector Machines[J]. IEEE Transactions on Neural Networks,2004,15(6): 1555-1561.

[5] Borji A,Itti L.State-of-the-Art in Visual Attention Modeling[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(1):185-207.

[6] Hou Xiaodi,Zhang Liqing.Saliency Detection:A Spectral Residual Approach[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Minneapolis, USA:IEEE Press,2007:1-8.

[7] 郭文濤,王文劍,白雪飛.基于視覺注意的SVM彩色圖像分割方法[J].計算機工程與應用,2011,47(36): 174-176.

[8] Itti L,Koch C,Niebur E A.Model of Saliency-based Visual Attention for Rapid Scene Analysis[J].IEEE Transactions on Pattern Analysisand MachineIntelligence,1998, 20(11):1254-1259.

[9] Sun Y R,Fisher R.Object-based Visual Attention for Computer Vision[J].Artificial Intelligence,2003,146(1): 77-123.

[10] Radek B,Dvorak P,Faundez-Zanuy M,et al.Multifocus Thermal Image Fusion[J].Pattern Recognition Letters,2013,34(5):536-544.

[11] 高紹姝,金偉其,王嶺雪,等.圖像融合質量客觀評價方法[J].應用光學,2011,32(4):671-677.

[12] Oliver R.Toolbox[EB/OL].(2011-11-21).http:// www.metapix.de/fusion.htm.

編輯 劉 冰

Multi-focus Image Fusion Method Based on Visual Saliency Degree

HOU Qingcen1,PAN Chen1,YANG Yong2
(1.College of Information Engineering,China Jiliang University,Hangzhou 310018,China; 2.School of Information Technology,Jiangxi University of Finance and Economics,Nanchang 330032,China)

Multi-focus image is divided into focus area and defocus area.Focus area usually attracts attention with outstanding visual salience.Traditional fusion algorithms can not locate the focus areas automatically,resulting in low adaptability to multu-focus image fusion.This paper presents a fusion method for multi-focus image by simulating visual attention mechanism of human.The saliency maps of the source images can be calculated by using the spectrum residual algorithm.By which the saliency degree of the same pixel position in different images are determined,and selecting pixels with lager saliency degree as the focus area of the original image,the pixels with equal saliency degree as the edge area,

eliminating the isolated pixel in the focus area by eroding and dilating method.The fusion image consists of focus areas of original images and pixels with lager gradient degree in the edge area.Experimental results show that the proposed method can choose the clearest pixels from the focus area,obtains over 37 dB Peak Signal to Noise Ratio(PSNR)and needs no parameter settings.It also exhibits strong robustness in different type of images.

visual attention;multi-focus image;image fusion;saliency degree;focus area;saliency map

1000-3428(2015)01-0211-07

A

TP391

10.3969/j.issn.1000-3428.2015.01.039

侯慶岑(1989-),男,碩士研究生,主研方向:數字圖像處理,機器視覺;潘 晨,博士;楊 勇,教授、博士。

2014-01-03

2014-03-09 E-mail:840180214@qq.com

中文引用格式:侯慶岑,潘 晨,楊 勇.基于視覺顯著度的多聚焦圖像融合方法[J].計算機工程,2015,41(1):211-217.

英文引用格式:Hou Qingcen,Pan Chen,Yang Yong.Multi-focus Image Fusion Method Based on Visual Saliency Degree[J].Computer Engineering,2015,41(1):211-217.