shearlet變換和區域特性相結合的圖像融合

shearlet變換和區域特性相結合的圖像融合

鄭偉1,2，孫雪青1,2，李哲1,2

(1.河北大學 電子信息工程學院，保定 071002； 2.河北大學 河北省數字醫療工程重點實驗室，保定 071002)

摘要：為了提高多模醫學圖像或多聚焦圖像的融合性能，結合shearlet變換能夠捕捉圖像細節信息的性質，提出了一種基于shearlet變換的圖像融合算法。首先，用shearlet變換將已精確配準的兩幅原始圖像分解，得到低頻子帶系數和不同尺度不同方向的高頻子帶系數。低頻子帶系數使用改進的加權融合算法，用平均梯度來計算加權參量，以此來改善融合圖像輪廓模糊度高的問題，高頻子帶系數采用區域方差和區域能量相結合的融合規則，以得到豐富的細節信息。最后，進行shearlet逆變換得到融合圖像。結果表明，此算法在主觀視覺效果和客觀評價指標上優于其它融合算法。

關鍵詞：圖像處理；圖像融合；shearlet變換；加權融合；區域方差；區域能量

E-mail:weizheng799@yahoo.com

引言

圖像融合是將兩幅或兩幅以上的圖像合成一幅新圖像的過程，但這并不意味著僅僅是把多幅圖像相加，而是要使用特定的規則把每幅圖像的有用信息綜合起來，以獲取一幅更加準確、更加全面的新圖像。近年來，圖像融合技術得到迅猛發展，在遙感探測、醫學圖像分析、環境保護、交通監測、軍事安全等領域[1-2]都有著重大的應用價值。

圖像融合算法在早期是基于空域的，直接對源圖像的像素灰度空間操作，實現簡單但效果欠佳。1983年BURT等人首先提出了金字塔變換，開啟了多尺度分解的先河，隨著技術的日益發展，小波變換、contourlet變換、非下采樣contourlet變換(non-subsampled contourlet transform，NSCT)等相繼被提出[3-5]。shearlet變換是LABATE等人[6-7]在2005年時提出來的，克服了小波變換在方向數上的限制，繼承了curvelet變換的優良特性，能夠對圖像進行稀疏表示，此外還有高度的方向敏感性。目前，具有這些優點的shearlet變換在稀疏表示[7]、人臉識別[8]、邊緣檢測[9]、去噪[10]等領域都有研究，在圖像融合領域，CAO等人[11]和MIAO等人[12-13]都證明其融合結果比其它多尺度分解方法包含更多的圖像細節信息和邊緣輪廓特征。

一個好的融合算法不僅需要好的變換方法，其融合規則的選擇也是一個重要問題。低頻系數決定著圖像的整體特征，以往文獻中針對低頻系數的融合規則，大多采用加權平均法[11-13]，雖然實現簡單，但是圖像的部分輪廓信息有可能會丟失；至于在高頻系數的選取上，考慮到人類視覺系統對高頻系數代表的細節信息比較敏感，而且圖像模糊或清晰的特征，不能由某個像素的灰度值來體現，需要局部區域內多個像素點的共同體現，多數文獻中采用基于區域的融合規則[12-14]。根據以上分析，本文中提出了一種shearlet變換和區域特性相結合的圖像融合方法，低頻部分采用改進的加權融合的規則，用平均梯度來計算加權參量，改善融合圖像邊緣清晰度低的問題，高頻部分采用區域方差與區域能量相結合的融合規則。通過對多聚焦圖像和醫學圖像進行仿真實驗，結果表明，該融合算法能夠較好地保留圖像的邊緣細節，在主觀視覺和客觀評價上都優于其它融合算法。

1shearlet變換

LABATE等人將合成小波理論與傳統的仿射系統理論相結合，提出了一種新的多尺度幾何分析方法，即shearlet變換。通過對一個函數進行伸縮、平移、旋轉生成一組基函數，使其和多分辨分析關聯起來，能夠在不同尺度、不同方向對圖像的細節信息進行有效描述。

Fig.1　Zoneplate image and the sub-band images

a—zoneplate imageb—low frequency sub-band imagec~f—four sub-band images of the first level decompositiong~l—six sub-band images of the second level decomposition

2融合規則的選取

shearlet變換的融合步驟：首先用shearlet變換將已經配準好的源圖像A、B分解，得到分解后的高低頻子帶系數；然后對高低頻子帶系數分別采用不同的融合規則，得到融合后的高低頻系數；最后進行shearlet逆變換得到融合圖像F。

2.1　低頻系數的融合規則

由shearlet變換分解得到的低頻子帶系數，包含了圖像的主要信息，決定著圖像的整體特征，以往的融合算法一般選用簡單的加權平均方法，降低了融合圖像的對比度，忽視了低頻系數對圖像的整體作用。本文中采用改進的加權融合算法，加權規則如下所示：

式中,GX,j0為低頻系數的平均梯度,X=A,B。

2.2　高頻系數的融合規則

高頻子帶系數包含豐富的細節信息，由于像素之間存在較大的相關性，單個像素無法表達圖像的區域特征，不能判斷圖像清晰與否，需要局部區域內多個像素點的共同體現，因此本文中提出區域特性的融合規則。針對高頻系數的特性，區域方差取大法側重于保留邊緣細節豐富的區域，但忽視了兩幅圖像的相關性；區域能量取大法既體現了圖像的相關性又保留了圖像的細節信息，但容易忽略亮度較低的細節信息，為此本文中采用區域方差與區域能量相結合的融合規則：

3實驗結果及分析

實驗環境為MATLAB 7.9，中央處理器為2.10GHz，內存2GB，實驗中所用的多聚焦圖像為常用的鐘表圖像和實驗室圖像，這些圖像選自參考文獻[11]，醫學圖像為顱腦的計算機斷層掃描(computed tomography，CT)、核磁共振(magnetic resonance imaging，MRI)圖像和甲狀腺腫瘤的B超、單光子發射計算機斷層掃描(single-photon emission computed tomography，SPECT)圖像，顱腦圖像來源于參考文獻[13]，甲狀腺腫瘤圖像由河北大學附屬醫院提供。本文中所用的客觀評價指標為：結構相似度(structural similarity，SSIM)；標準差(standard deviation，SD)；互信息(mutual information，MI)；信息熵(information entropy，IE)；平均梯度(average grads，AG)[15]。

3.1　變換方法的選取

在圖像融合過程中，多尺度分解方法有很多，不同的分解方法對融合結果都會產生一定的影響，所以需要對此進行仿真實驗。為了找到合適的變換方法，在融合規則固定的情況下，將本文中提出的shearlet變換與傳統的小波變換、contourlet變換以及NSCT作對比。在實驗中，將這4種多尺度分解方法的分解層數調成一致，并通過主觀視覺和客觀評價進行驗證。在此分為2組實驗，第1組實驗是多聚焦圖像的仿真實驗，如圖2所示。

圖2a～圖2f是多聚焦鐘表圖像及其融合結果；圖2g~圖2l是多聚焦實驗室圖像及其融合結果。圖2a和圖2g是左聚焦圖像，特點為左半邊清晰，右半邊模糊；圖2b和圖2h是右聚焦圖像，特點為左半邊模糊，右半邊清晰；圖2c和圖2i是基于小波變換的融合算法得到的融合圖像，從白色矩形區域可以看出，圖2c中大鐘和小鐘的邊緣處信息均損失嚴重，而且小鐘圖像的時間指示不清晰，圖2i中時鐘部分有波紋出現，人物頭像有明顯的虛影存在；圖2d和圖2j是基于contourlet變換的融合算法得到的融合圖像，圖2d中小鐘刻度模糊，大鐘的邊緣有重影現象，圖2j中人物頭像處有重影；圖2e和圖2k是基于NSCT的融合算法得到的融合圖像，兩幅圖像中的鐘表的時間刻度均不清晰；圖2f和圖2l是基于本文中提出的shearlet變換的融合算法得到的融合結果，能夠清晰看到鐘表的時間刻度，人物頭像不存在重影現象，融合效果自然，更加符合人眼的視覺感受。

Fig.2　Multi-focus source images and the fused images

表1中列出了圖2中多聚焦圖像融合結果的客觀評價指標，可以看出，在源圖像為鐘表的實驗結果中，基于shearlet變換的融合算法只有信息熵，平均梯度的數值小于其它算法，其余指標均高于其它方法；在源圖像為實驗室的融合結果中，只有平均梯度小于其它算法，其余指標均是最優。這些數據表明，在多聚焦圖像融合上，基于shearlet變換的融合算法得到的融合圖像能夠最大程度繼承源圖像中的信息，細節信息最為豐富，具有更好的融合性能。

第2組是醫學圖像的仿真實驗，如圖3所示。

Table 1　Objective evaluation index of the multi-focus fused images

從圖中可以得知，醫學圖像與多聚焦圖像有所不同，即便有的區域模糊，有的區域清晰，但是大部分信息還是相同的，而醫學圖像由于成像機理不同，所以得到的圖像側重點也不同，除了基本輪廓相似外，幾乎沒有相同的地方，因此，這類圖像融合要更側重于方法的選取。

圖3a～圖3f是顱腦的源圖像及其融合結果；圖3g～圖3l是甲狀腺腫瘤的源圖像及其融合結果。圖3a是顱腦的CT圖像，體現的是腦部的骨骼信息；圖3b是是顱腦的MRI圖像，體現的是腦部的軟組織信息；圖3g是甲狀腺腫瘤的B超圖像，為解剖成像，可提供臟器組織結構的信息；圖3h是甲狀腺腫瘤的SPECT圖像，為功能成像，可提供腫瘤的良性和惡性信息。所用的變換方法與第1組實驗相同，從視覺效果上來看，基于小波變換得到的融合圖像亮度偏低，從標記區域處可以看到，顱腦圖像邊緣出現模糊現象，甲狀腺圖像中腫瘤模糊不清，不容易區分；基于contourlet變換和基于NSCT得到的融合圖像，融合效果均有一定的改善，但邊緣處還是有波紋出現，細節信息有損失；本文中提出的基于shearlet變換得到的融合圖像從視覺上看，邊緣處的細節信息保存較好，清晰度高。

Fig.3　Medical images and the fused images

表2為圖3融合結果的客觀評價指標，對表2中數據進行分析發現，基于shearlet變換的融合算法在標準差、信息熵、平均梯度上都優于小波變換、contourlet變換和NSCT的融合算法，特別是平均梯度，有明顯的提高。這些數據表明，在醫學圖像融合上，基于shearlet變換的融合算法得到的融合圖像有足夠豐富的細節信息，清晰度也優于其它變換方法。

Table 2　Objective evaluation index of the medical fused images

3.2　融合算法的對比

將本文中的算法(簡稱方法6)與近幾年提出5種的融合算法作對比，方法1是參考文獻[16]中提出的基于離散余弦變換的圖像融合算法，直流系數取平均，交流系數采用對比度取大法，參量按照文獻中給定的數據來設置；方法2～方法4分別由參考

文獻[11]～參考文獻[13]中提出，都是基于shearlet變換的圖像融合算法，這3種方法的低頻系數均采用傳統的加權平均，高頻系數分別使用絕對值取大法，區域絕對值取大法，區域方差取大法；方法5為參考文獻[14]中提出的基于shaerlet變換的融合算法，低頻系數用自適應的融合規則，高頻系數使用區域方差取大法。把shearlet變換的分解層數與分解方向數調成一致，區域大小均調整為3×3，實驗中選用的圖像分別是多聚焦鐘表圖像和甲狀腺腫瘤的B超、SPECT圖像，其融合結果如圖4所示。

Fig.4　Fused images of different fusion methods

圖4a~圖4f是多聚焦鐘表圖像使用不同融合方法得到的融合結果，從視覺效果來看，這6幅圖像均保留了源圖像的主要信息，亮度適中，符合人眼視覺;圖4g~圖4l是甲狀腺腫瘤圖像得到的融合結果，從視覺上來看，圖4g比較模糊，有明顯的塊效應;圖4h和圖4i亮度偏暗，對比度低，可視性較差，說明方法1至方法3并不適合在醫學圖像融合中使用；圖4j邊緣輪廓清晰度偏低，且腫瘤信息有擴散現象，不適合臨床診斷使用；圖4k的融合效果較好；圖4l是本文中算法得到的融合圖像，從視覺上看能把甲狀腺腫瘤的B超和SPECT圖像很好地融合在一起，細節信息保存完好，邊緣特征明顯，而且亮度適中。

表3為圖4中融合結果的客觀評價指標，對表中數據進行分析可以發現，在源圖像為多聚焦鐘表的實驗結果中，本文中的算法除了在互信息上不是最優，其余指標值均是最優；在源圖像為甲狀腺腫瘤的實驗結果中，本文中的算法得到的融合圖像在結構相似度和互信息上的指標值不是最好的，但其余指標值均是最優，而且都有明顯的提高。這是由基于區域特性的融合規則所造成的，因為兩個局部區域值相差不大時，會直接選擇區域值較大的系數，因此會造成部分有用信息的丟失，產生失真現象。多聚焦圖像即使聚焦區域不同，但其背景信息相同，因此損失的信息較小，而醫學圖像相差較大，一旦有信息損失，就會使源圖像的細節特征得不到充分保留，導致融合圖像邊界模糊，產生失真現象。

Table 3　Objective evaluation index of different fusion methods

4結論

提出了一種shearlet變換和區域特性相結合的圖像融合方法，分別對多聚焦圖像和醫學圖像進行仿真實驗。在變換方法的對比中發現，基于shearlet變換的融合算法在主觀視覺和客觀評價上都要優于小波變換、contourlet變換以及NSCT的融合算法。在融合規則的對比中發現，本文中的融合算法與文獻中提出的算法在多聚焦圖像融合中均獲得了較好的效果；在醫學圖像融合中，本文中的算法得到的融合圖像在視覺效果上要遠好于文獻中提出的算法，在客觀評價上，除了結構相似度和互信息的指標值不是最好的，其余指標值均是最優。總而言之，不論在主觀視覺上還是在客觀評價上本文中的算法都顯示了其強大的優越性。

參考文獻

[1]GAO Y, WANG A M, WANG F H,etal. Application of improved wavelet transform algorithm in image fusion[J]. Laser Technology, 2013, 37(5): 690-695(in Chinese).

[2]YU W J, GU G H, YANG W. Fusion algorithm of infrared polarization images based on wavelet transform[J]. Laser Technology, 2013, 37(3): 289-292(in Chinese).

[3]MINH N D, VETTERLI M. The contourlet transform: an efficient directional multiresolution image representation [J]. IEEE Transactions on Image Processing, 2005, 14(12):2091-2106.

[4]ZHANG Q, GUO B L. Multifocus image fusion using the nonsubsampled contourlet transform[J]. Signal Processing, 2009, 89(7): 1334-1346.

[5]JIAO L C, TAN S. Development and prospect of image multiscale geometric analysis [J]. Acta Electronica Sinica, 2003, 31(12A):1975-1981(in Chinese).

[6]EASLEY G R, LABATE D, LIM W Q. Optimally sparse image representations using shearlets[C]// Fortieth Asilomar Conference on Signals, Systems and Computers. New York, USA:IEEE, 2006: 974-978.

[7]EASLEY G R, LABATE D, LIM W Q. Sparse directional image representations using the discrete shearlet transform[J]. Applied and Computational Harmonic Analysis, 2008, 25(1):25-46.

[8]BORGI M A, LABATE D, EL’ARBI M,etal. Shearlet network-based sparse coding augmented by facial texture features for face recognition[C]//The 17th International Conference on Image Analysis and Processing. Berlin,Germany:Springer, 2013:611-620.

[9]YI S, LABATE D, EASLEY G R.etal. A shearlet approach to edge analysis and detection[J]. IEEE Transactions on Image Processing, 2009, 18(5): 929-941.

[10]HU H Z, SUN H, DENG C Z. Shearlet shrinkage de-noising based total variation regularization [J]. Journal of Image and Graphics, 2011, 16(2):168- 173(in Chinese).

[11]CAO Y, LI S T, HU J W. Multi-focus image fusion by nonsubsampled shearlet transform[C]// 2011 Sixth International Conference on Image and Graphics (ICIG).New York, USA：IEEE, 2011:17-21.

[12]MIAO Q, SHI C, XU P,etal. Multi-focus image fusion algorithm based on shearlets[J]. Chinese Optics Letters, 2011, 9(4): 041001.

[13]MIAO Q, SHI C, XU P,etal. A novel algorithm of image fusion using shearlets[J]. Optics Communications, 2011, 284(6): 1540-1547.

[14]SHI Z, ZHANG Z, YUE Y G. Adaptive image fusion algorithm based on shearlet transform [J]. Acta Photonica Sinica, 2013, 42(1):115-120(in Chinese).

[15]HONG R C. Research on multi-source image fusion and its applications [D].Hefei:University of Science and Technology of China, 2007: 82-88(in Chinese).

[16]HU L M, ZHANG J, XIE Z,etal. Contrast measure based image fusion algorithm in the DCT domain [J]. Chinese Journal of Scientific Instrument, 2007, 28(s3):105-109(in Chinese).

Image fusion based on shearlet transform and region characteristics

ZHENGWei1,2,SUNXueqing1,2,LIZhe1,2

(1. College of Electronic and Information Engineering, Hebei University, Baoding 071002, China; 2.Key Laboratory of Hebei on Digital Medical Engineering, Hebei University, Baoding 071002, China)

Abstract：In order to improve the performance of multi-modality medical image fusion and multi-focus image fusion, since the shearlet transform can capture the detail information of images, an image fusion algorithm based on shearlet transform was proposed. Firstly, the shearlet transform was used to decompose the two registered original images, thus the low frequency sub-band coefficients and high frequency sub-band coefficients of different scales and directions were obtained. The fusion principle of low frequency sub-band coefficients was based on the method of weighted fusion, using the average gradient to calculate the weighted parameters in order to improve the edge fuzzy of the fused image. As for the high frequency sub-band coefficients, a fusion rule adopting the region variance combining with the region energy to get the detail information was presented. Finally, the fused image was reconstructed by inverse shearlet transform. The results show that the algorithm is superior to other fusion algorithms on subjective visual effect and objective evaluation.

Key words:image processing；image fusion；shearlet transform；weighted fusion；region variance；region energy

收稿日期：2014-01-14；收到修改稿日期：2014-02-28

作者簡介：鄭偉(1972-)，女，博士，現主要從事圖像處理、圖像安全通信的研究。

基金項目：河北省教育廳高等學校科學研究計劃資助項目(2010218)；河北大學醫工交叉研究中心開放基金資助項目(BM201103)

中圖分類號：TP391

文獻標志碼：A

doi:10.7510/jgjs.issn.1001-3806.2015.01.010

文章編號：1001-3806(2015)01-00050-07