基于小波變換的多模態醫學圖像的融合方法

詹玲超　閔芳　郭慧敏

摘 要： 針對單一模態的圖像不能提供足夠的信息，可以將互補的圖像進行融合。提出一種基于小波變換的醫學圖像融合方法。首先對待融合的醫學圖像進行小波變換，分別得到低頻和高頻分量。對于低頻分量，采用基于局部區域能量的方法進行融合；對于高頻分量，采用基于局部區域系數之差的加權和方法進行融合；最后通過小波逆變換得到融合圖像。實驗結果表明，相比同類研究方法，該算法在保證圖像質量的同時可增強圖像的空間細節表現能力。

關鍵詞： 圖像融合； 醫學圖像； DWT； 區域能量； 相鄰系數

中圖分類號： TN911.73?34； TP391 文獻標識碼： A 文章編號： 1004?373X（2016）24?0096?04

Multimodal medical image fusion method based on discrete wavelet transform

ZHAN Lingchao， MIN Fang， GUO Huimin

（Department of Information Engineering， Nanhang Jincheng College， Nanjing 211156， China）

Abstract： Since the single modal image can′t provide enough information， it is necessary to fuse the complementary images. A medical image fusion method based on discrete wavelet transform （DWT） is proposed. DWT is performed for the multimodal medical images under fusion to obtain the low?frequency and high?frequency components respectively. A method based on the local regional energy is adopted to fuse low?frequency components. The weighted sum method based on difference of the local regions coefficients is used to fuse the high?frequency components. The fusion image is obtained by means of the inverse DWT. The experimental results prove that， in comparison with the similar research methods， the method can enhance the spatial detail expressive ability of the image while ensuring the image quality.

Keywords： image fusion； medical image； DWT； regional energy； adjacent coefficient

0 引 言

隨著醫學影像工程和計算機技術的不斷發展，出現了很多成像設備，這樣就有多模態的醫學圖像，這些圖像對人體臟器和病變組織的分析有不同的作用，比如CT圖像有較強的空間分辨率和幾何特性，對骨骼成像非常清晰，但對軟組織的對比度則較低；MR圖像可清晰反映軟組織等解剖結構，但對鈣化點不敏感，并且受到磁干擾會發生幾何失真。這樣可以看出對于人體同一解剖結構所得到的不同圖像，在形態和功能信息上是互補的。單一模態的圖像往往不能提供足夠的信息，可以將互補的圖像進行融合。

圖像融合技術[1?5]就是將來自多個傳感器的多幅源圖像融合成一幅新的圖像，這幅融合圖像具有更多的信息和更高的可信度。圖像融合技術應用在很多領域，醫學圖像融合就是其中的一個。圖像融合可以分為像素級融合、特征級融合和決策級融合。目前的融合方法大多為像素級融合，常用的有PCA[6]、金字塔變換[7]、小波變換[8?11]等融合方法。其中PCA是一種選取最優像素權值的方法，缺點是無法突出光譜特性，不適用于相關性弱的圖像融合。金字塔變換的缺點是層間具有相關性，導致融合結果不夠理想。

小波變換對保留圖像信息具有相當好的性能，通過不同的融合規則可以得到不同的結果。本文提出了一種基于小波變換的醫學圖像的融合方法。先將待融合的兩幅圖像進行小波變換，分別得到一個低頻和若干個高頻分量，然后分別對低頻和高頻分量進行融合。對于低頻分量，采用局部區域能量取大的方法進行融合；對于高頻分量，采用局部區域系數之差的加權和的方法進行融合；最后通過小波逆變換得到融合結果。

本文算法的融合結果與幾種算法的融合結果作對比，采用熵、平均梯度和互信息三種客觀評價標準進行評價，結果表明本文算法有不錯的效果，融合結果更加清晰。

1 IVIFDWT算法

本文提出IVIFDWT融合算法，即一種基于小波變換多模態醫學圖像的融合方法（Multimodal Medical Image Fusion Based on Discrete Wavelet Transform）。

1.1 IVIFDWT算法規則的設計

小波變換的層數越多，融合結果的細節信息就越豐富，但隨著分解層數的增加，圖像的結構信息量損失變大，這些信息在小波逆變換后都是不能恢復的，所以小波分解的層數不能過高，一般在2～5層之間。通過實驗證明且考慮到運行時間，本文里選2層小波分解。

定義1：設待融合的兩幅圖像分別為A和B，將這兩幅圖像分別進行兩層小波變換。兩層小波變換后，它們的低頻分量分別表示為[LA（x，y）]和[LB（x，y）]，高頻分量分別表示為[Hh1A（x，y）]，[Hv1A（x，y）]，[Hd1A（x，y）]，[Hh2A（x，y）]，[Hv2A（x，y）]，[Hd2A（x，y）]，[Hh1B（x，y）]，[Hv1B（x，y）]，[Hd1B（x，y）]，[Hh2B（x，y）]，[Hv2B（x，y）]，[Hd2B（x，y）]，分別為兩層小波變換后A圖像第一層和第二層水平、垂直、對角高頻分量和B圖像第一層和第二層水平、垂直、對角高頻分量。

這樣對圖像A和B的低頻和高頻分量，分別以不同的融合規則進行融合。本文算法規則如下：

（1） 低頻分量融合規則是將兩幅圖像低頻分量按照系數的區域能量來決定。需要計算低頻分量的區域能量，之后根據區域能量的大小來得到低頻系數的融合結果。

（2） 高頻分量融合規則是先計算高頻系數局部區域系數之差，再求出這些差的加權和，如果圖像A的加權和大于圖像B的加權和，選取圖像A的高頻系數，否則選取圖像B的高頻系數。

1.2 IVIFDWT算法的原理圖

已知待融合的兩幅圖像分別為圖像A和圖像B，IVIFDWT算法的原理圖如圖1所示。

1.3 IVIFDWT算法的描述

本文設計的IVIFDWT算法先對待融合的兩幅圖像分別進行小波變換，然后使用不同的融合規則分別對低頻系數和高頻系數進行融合。具體算法描述如下：

1.3.1 低頻系數融合方法

將[A]，[B]兩幅圖像的低頻系數的分別劃分成[N×N]的區域窗口（嘗試將圖像劃分為[3×3]和[5×5]區域窗口分別計算，實驗證明[3×3]的效果相對較好，以下都劃分為[3×3]大小的區域窗口），然后計算每個窗口的能量。假設用[EA]和[EB]分別表示圖像[A]和圖像[B]低通子帶系數每個窗口的能量，能量公式為[8]：[EA（x，y）=i，j=-N2N2（LA（x+i，y+j））2log（（LA（x+i，y+j））2）] （1）

[EB（x，y）=i，j=-N2N2（LB（x+i，y+j））2log（（LB（x+i，y+j））2）] （2）

據以上的能量公式就可以得到一個初步的融合圖（Initial Fusion Decision Map），其公式為：

[iL_map（x，y）=1，EA（x，y）≥EB（x，y）0，EA（x，y）

融合規則是，如果圖像[A]的區域窗口能量大于圖像[B]的區域窗口能量，則對應的融合圖里的值就是1，否則就是0。

最終的融合圖[fL_map（x，y）]（Final Fusion Decision Map）是通過濾波運算的一致性驗證得到的。對于之前得到的初步融合圖，如果在一個[3×3]大小的窗口區域內，中間的是0，其他大部分是0，這時中間的值不變；如果中間的為0，其他大部分是1，這時將中間的值改為1。

可以根據最終的融合圖來得到低頻系數的融合結果，其結果為：

[L（x，y）=LA（x，y）， fL_map（x，y）=1LB（x，y）， fL_map（x，y）=0] （4）

如果在最終的融合圖中值為1，表示這個位置取圖像[A]的低頻系數，如果值為0，則取圖像[B]的低頻系數。

1.3.2 高頻系數融合方法

高頻系數反映圖像的邊緣和細節信息，這里充分考慮了相鄰系數，采用相鄰系數之差加權和的融合方法。首先計算每個系數和其相鄰系數之差，以兩幅圖像的第一層水平系數為例，其公式為[4]：

[Mh1A（x，y）=2Hh1A（x，y）-Hh1A（x-1，y）-Hh1A（x+1，y）+ 2Hh1A（x，y）-Hh1A（x，y-1）-Hh1A（x，y+1）+ 2Hh1A（x，y）-Hh1A（x-1，y-1）-Hh1A（x+1，y+1）+ 2Hh1A（x，y）-Hh1A（x-1，y+1）-Hh1A（x+1，y-1）] （5）

[Mh1B（x，y）=2Hh1B（x，y）-Hh1B（x-1，y）-Hh1B（x+1，y）+2Hh1B（x，y）-Hh1B（x，y-1）-Hh1B（x，y+1）+2Hh1B（x，y）-Hh1B（x-1，y-1）-Hh1B（x+1，y+1）+2Hh1B（x，y）-Hh1B（x-1，y+1）-Hh1B（x+1，y-1）] （6）

則其相鄰系數之差加權和的公式[4]為：

[WMh1A（x，y）=i，j=-N2N2ω（i+1，j+1）Mh1A（x+i，y+j）] （7）

[WMh1B（x，y）=i，j=-N2N2ω（i+1，j+1）Mh1B（x+i，y+j）] （8）

式中，[N=3]，[ω]為[4]：

[ω=116121242121] （9）

根據式（7）和式（8）計算出的局部區域系數之差加權和，得到一個初步的高頻系數融合圖，其公式為：

[ih1H_map（x，y）=1，WMh1A（x，y）≥WMh1B（x，y）0，WMh1A（x，y）

融合規則是，如果圖像[A]的局部區域系數之差加權和大于圖像[B]的局部區域系數之差加權和，則對應的融合圖里的值就是1，否則就是0。

最終的融合圖[fh1H_map（x，y）]同樣是通過濾波運算的一致性驗證得到的。對于之前得到的初步融合圖，如果在一個[3×3]大小的窗口區域內，中間的是0，其他大部分是0，這時中間的值不變；如果中間的為0，其他大部分是1，這時將中間的值改為1。

得到最終的融合圖之后，可以根據最終的融合圖來得到高頻系數的融合結果，其結果為：

[Hh1（x，y）=Hh1A（x，y），fh1H_map（x，y）=1Hh1B（x，y），fh1H_map（x，y）=0] （11）

如果在最終的融合圖中值為1，表示這個位置取圖像[A]的高頻系數，如果值為0，則取圖像[B]的高頻系數。高頻的其他分量依次類推。

對融合后的低頻系數和高頻系數進行小波逆變換，得到最終的融合結果。

2 實驗及結果分析

2.1 融合結果

本文算法在Matlab環境中進行實驗。實驗中的圖像來自http：//www.med.harvard.edu/aanlib/home.html。本文算法應用于CT和MR的融合，MR?T1和MR?T2的融合。

2.1.1 CT和MR的融合

圖2列出了其中兩組CT和MR圖像，其中圖2（a），圖2（c）是CT圖像，圖2（b），圖2（d）是MR圖像。

<實驗結果如圖3所示。實驗里有三組對比實驗分別是像素取平均值法（P_avg），如圖3（a），圖3（e）所示；小波變換低頻分量取平均，高頻分量取大值法（DWT_avg_max），如圖3（b），圖3（f）所示；NSCT變換低通子帶系數取平均，帶通子帶系數取大值法（NSCT_avg_max），如圖3（c），圖3（g）所示；本文算法如圖3（d），圖3（h）所示。

2.1.2 MR?T1和MR?T2的融合

圖4列出了其中兩組MR?T1和MR?T2圖像，其中圖4（a），圖4（c）是MR?T1 images，圖4（b），圖4（d）是MR?T2 images。

實驗結果如圖5所示。對比實驗同樣分別是像素取平均值法（P_avg），如圖5（a），圖5（e）所示；小波變換低頻分量取平均，高頻分量取大值法（DWT_avg_max），如圖5（b），圖5（f）所示；NSCT變換低通子帶系數取平均，帶通子帶系數取大值法（NSCT_avg_max），如圖5（c），圖5（g）所示；本文算法如圖5（d），圖5（h）所示。

2.2 結果分析

將實驗結果用信息熵、平均梯度和互信息三種評價標準進行評價。信息熵是衡量圖像信息豐富程度的一個重要指標，熵值越大說明信息量越大。平均梯度反映了圖像中的微小細節方差、紋理變化特征和圖像的清晰度，平均梯度越大表示圖像清晰度越好。互信息是對兩幅圖像共享信息的測量，互信息的值越大，圖像的融合效果越好。表1是對CT和MR的融合結果的評價，表2為MR?T1和MR?T2的融合結果的評價。

從表1和表2中可以看出，將本文提出的融合方法和另外三種融合方法相比，本文方法效果比較好。表1是CT和MR融合結果的評價，除了第一組數據DWT_avg_max中的信息熵，本文方法都是最優的。表2是MR?T1和MR?T2融合結果的評價，除了第二組數據DWT_avg_max中的信息熵，本文方法都是最優的。

3 結 語

本文提出了一種基于小波變換的紅外和可見光圖像的融合方法。對于低頻系數，采用基于局部區域能量的方法進行融合；對于高頻系數，采用基于局部區域系數之差加權和的方法進行融合。結果表明不管是從視覺效果方面來看，還是從融合結果的客觀評價來看，相對同類研究方法，本文方法獲得的圖像都更好，更為清晰，達到較為滿意的效果。

參考文獻

[1] 段先華，操佳佳，劉佳.改進的PCNN模型在多光譜與全色圖像融合中的應用研究[J].現代電子技術，2014，37（3）：55?60.

[2] 許良鳳，林輝，胡敏.基于差分進化算法的多模態醫學圖像融合[J].電子測量與儀器學報，2013，27（2）：110?114.

[3] 康晨，曾丹，沈潔，等.圖像融合中的彩色圖像顏色校正[J].電子測量技術，2014，37（3）：54?57.

[4] GANASALA P， KUMAR V. CT and MR image fusion scheme in nonsubsampled contourlet transform domain [J]. Journal of digit imaging， 2014， 27（3）： 407?418.

[5] BHATNAGAR G， WU Q M J， LIU Z. Directive contrast based multimodal medical image fusion in NSCT domain [J]. IEEE transactions on multimedia， 2013， 15（5）： 1014?1024.

[6] KUMAR M， DASS S. A total variation?based algorithm for pixel?level image fusion [J]. IEEE transactions on image processing， 2009， 18（9）： 2137?2143.

[7] BURT P J. A gradient pyramid basis for pattern selective image fusion [C]// Proceedings of 1992 Society for Information Display Conference. San Jose： SID Press， 1992： 467?470.

[8] 王健，鄭少鋒.基于YUV與小波變換的可見光與紅外圖像融合[J].西北工業大學學報，2013，33（3）：208?211.

[9] 徐小軍，王友仁，陳帥.基于下采樣分數階小波變換的圖像融合新方法[J].儀器儀表學報，2014，35（9）：2061?2069.

[10] SINGH R， KHARE A. Fusion of multimodal medical images using Daubechies complex wavelet transform： a multi resolution approach [J]. Information fusion， 2012， 19（3）： 49?60.

[11] ROY S， HOWLADER T， RAHMAN S M M. Image fusion technique using multivariate statistical model for wavelet coefficients [J]. Signal， image and video processing， 2013， 7（2）： 355?365.