基于小波變換的圖像融合算法研究

劉娜 田大為

摘 要： 圖像融合是改善圖像質量的一個重要途徑，傳統算法難以正確地對圖像進行有效融合。為了提高圖像融合的質量，提出一種基于小波變換的圖像融合算法。首先對2幅原始圖像進行小波變換，提取它們的小波系數，然后采用不同的規則對不同層次的小波系數進行融合，并采用小波變換對融合的系數進行融合，最后采用不同類型對圖像融合結果進行測試和分析。結果表明，小波變換融合后的圖像更加自然、清晰，提高了圖像的信噪比，并且圖像融合速度明顯加快，獲得了比對比算法更加理想的圖像融合效果。

關鍵詞： 圖像質量； 小波變換； 神經網絡； 加權融合； 信噪比； 圖像融合

中圖分類號： TN911.73?34； TP391 文獻標識碼： A 文章編號： 1004?373X（2018）07?0071?04

Research on image fusion algorithm based on wavelet transform

LIU Na1， TIAN Dawei2

（1. Center of Health Administration and Development Studies， Hubei University of Medicine， Shiyan 442000， China；

2. Dongfeng Affiliated Hospital of Hubei University of Medicine， Shiyan 442000， China）

Abstract： The image fusion is an important way to improve the image quality， but the traditional algorithm is difficult to fuse the image effectively. In order to improve the quality of image fusion， an image fusion algorithm based on wavelet transform is proposed. Wavelet transform is performed for two original images to extract their wavelet coefficients. The different rules are used to fuse the wavelet coefficients at different levels， and then the wavelet transform is used to fuse the fused coefficients. The images with different types are adopted to test and analyze the image fusion results. The results show that the image after wavelet transform fusion is more natural and clearer， the proposed algorithm can improve the signal?to?noise ratio of the image， quicken the speed of image fusion， and can obtain more satisfactory image fusion effect than the comparing algorithms.

Keywords： image quality； wavelet transform； neural network； weighted fusion； signal?to?noise ratio； image fusion

0 引 言

當圖像采集環境不理想時，采集單一的一幅圖像無法準確地描述目標信息，需要通過對目標的多幅圖像進行融合，以更加全面、準確地描述目標信息。圖像融合成為圖像處理的一個重要方面，在遙感、氣象等領域具有十分重要的實際應用價值。為此，圖像融合算法的研究引起了人們的高度關注[1?3]。

針對圖像融合問題，國內外專家進行了深入的分析。通常情況下，傳感器對同一個目標的圖像信息進行采集，并進行去噪、歸一化等預處理操作，最后通過圖像融合算法實現信息互補，得到一幅比原圖像質量更高的圖像[4?5]。最初采用單一傳感器進行信息采集，但是單一傳感器的缺陷十分明顯，如分辨率、光譜等方面的不足。為了克服單一傳感器的局限性，當前主要采用多個傳感器同時對目標信息進行采集，可以更加全面地反映目標狀態，改善圖像質量[6]。當前圖像融合分為三個層次：第一個層次為像素級融合，也是最低層次的圖像融合，可以最大可能地保留原始信息，是當前主要的研究方向；第二個層次為特征級融合，首先提取圖像的相關特征，如邊緣特征、紋理特征、顏色特征等，然后進行融合，該類方法易丟失圖像中的重要信息，融合后的圖像失真比較嚴重[7?9]；第三個層次為決策級融合，是最高層次的圖像融合，也要提取圖像的特征，然后通過決策模塊進行圖像融合，但工作過程復雜，不易實現。在圖像融合過程中，圖像融合算法的選擇最為關鍵，當前圖像融合算法有很多，如金字塔分解、傅里葉變換等，它們對圖像進行多尺度分解，然后根據不同尺度進行相應的圖像融合，但是它們也存在一定的不足，如分解尺度有限，無法使圖像融合達到最佳[10?11]。

針對傳統圖像融合算法存在的缺陷，為了改善融合后的圖像質量，本文提出基于小波變換的圖像融合算法。測試結果表明，小波變換可以明顯改善圖像的信噪比，而且圖像融合的速度快，比采用其他方法得到的圖像融合效果更佳。

1 小波變換

相對于傅里葉變換，小波變換更加靈活，具有更強的自適應能力，可以對圖像進行不同分辨率的分解，便于對圖像進行后期處理。

1.1 連續小波變換

小波變換通過一個母小波[ψ（t）]產生相應尺度和位移函數，其定義如下：

[ψa，b（t）=1aψt-ba] （1）

式中[a]和[b]分別表示尺度因子和位移因子。

信號[f（t）]的小波變換可以定義如下：

[W（a，b）=Rψa，b（t）f（t）dt] （2）

[f（t）]的小波逆變換可以定義如下：

[f（t）=a=0+∞b=-∞+∞1CψW（a，b）ψa，b（t）dadb] （3）

式中：[Cψ=Rψ（ω）ωdω；][ψ（ω）]是[ψ（t）]的傅里葉變換。

連續小波變換要求a和b是連續變量，[f（t）]也是連續函數，而圖像是一種數字信號，難以滿足該條件，為此出現離散小波變換，導致小波系數的冗余度比較高。

1.2 離散小波變換

為了解決連續小波變換的不足，將a和b限制在一定的范圍，對它們進行離散處理，具體為：

1） [a]的離散化，具體為：對[a]進行冪級數化處理，即[a=am0，][a>0，]相應的小波函數為[a-j20ψa-j0（t-b），][j=0，1，2，…]。

2） [b]的均勻離散，這樣[ψa，b（t）]變為：

[a-j20ψa0-j（t-kaj0b0）=a-j20ψa0-jt-kb0] （4）

離散小波變換定義為：

[W（aj0，kb0）=ψaj0，kb0（t）f（t）dt，j=0，1，2，…，k] （5）

2 小波變換的圖像融合算法

2.1 圖像的小波分解

在小波變換中，Mallat算法是一種最常用的分解算法，圖像經過Mallat算法分解后，可以表示為：

[Cj+1（m，n）=r∈Z c∈ZHr-2mHc-2nCjDHj+1（m，n）=r∈Z c∈ZGr-2mHc-2nCjDVj+1（m，n）=r∈Z c∈ZHr-2mGc-2nCjDDj+1（m，n）=r∈Z c∈ZGr-2mGc-2nCj] （6）

式中：[Hr]和[Hc]表示高通濾波器；[Gr]和[Gc]表示低通濾波器；r和c表示圖像的行和別；[Cj+1]表示圖像的低頻部分，也可以采用LL表示；[DHj+1，][DVj+1，][DDj+1]分別表示圖像在[x，][y，xy]方向的邊緣細節，即高頻部分，它們可以分別采用LH，HL，HH表示。

小波變換的三層分解原理可以采用圖1表示，第一次分解，可以得到4個子帶，其中3個為高頻子帶，1個為低頻子帶，下次分解只對低頻子帶進行分解。

圖像重構的二維Mallat算法為：

2.2 小波變換的圖像融合步驟

設原始待融合的2幅圖像為A和B，融合的圖像為F，圖像融合的步驟具體如下：

綜上可知，基于小波變換的圖像融合流程如圖2所示。

2.3 圖像融合的規則設計

在小波變換的圖像融合過程中，融合規則設計扮演著重要的角色，因為小波系數對圖像融合結果越有利，那么為該小波系數提供的信息就越多。當前圖像融合規則包括兩種：像素融合規則；窗口融合規則。其中，像素融合規則十分簡單，但是融合結果不理想；窗口融合規則考慮了相鄰像素的相關性，可以得到豐富的細節信息，圖像視覺更佳，為此本文選擇窗口融合規則實現圖像融合。

設圖像A和B經過[N]層的小波變換分解后，它們的最低頻子帶系數為[LAN（x，y）]和[LBN（x，y），][HAN（x，y）]和[HBN（x，y）]分別表示它們的最高頻子帶系數，[（x，y）]為系數的坐標，[LFN（x，y）]和[HFi（x，y）]分別表示圖像融合的系數，那么對于最低頻子帶系數[LAN（x，y）]和[LBN（x，y），]其融合規則具體如下：

對于最高頻子帶系數[HAN（x，y）]和[HBN（x，y）]，可以得到：

3 實驗結果與分析

3.1 實驗平臺

為了分析小波變換的圖像融合算法的性能，選擇Matlab 2014作為仿真工具箱，編程實現圖像融合算法。實驗平臺為： AMD 4核3.0 GHz CPU，隨機存儲器（RAM）的大小為16 GB，采用Unix作為軟件運行系統。選擇待融合圖像如圖3，圖4所示。選擇文獻[12]的圖像融合算法在相同實驗平臺下進行對比測試，以驗證小波變換的優越性。

當前判斷圖像融合結果的標準有很多，如基于人視覺效果的主觀指標評價、客觀指標評價。但單一的主觀評價結果或客觀評價結果都難以對圖像融合結果進行全面、有效的評價，因此本文綜合考慮主觀和客觀兩個方面對圖像融合結果進行描述?？陀^評價指標為互信息、均方根誤差、相關系數，其中互信息用于描述原圖像和融合圖像之間信息的量，具體為：

式中：[PA（a）]表示圖像A的直方圖；[PB（b）]表示圖像B的直方圖。

均方根誤差主要反映融合圖像（F）和最理想圖像（R）之間的誤差，其定義如下：

式中[M]和[N]分別表示圖像的行和列。

相關系數主要用于刻畫融合后圖像和理想圖像之間的相關程度，具體定義為：

式中[I（x，y）]和[If（x，y）]分別表示融合后的圖像和理想圖像的灰度值。

3.2 結果與分析

小波變換對原始紅外圖像和原始Clock圖像進行分解，然后分別對低頻子帶系數和高頻子帶系數進行融合，得到的實驗結果如圖5，圖6所示。從圖5，圖6可知，利用小波變換得到的融合后圖像視覺效果好，可以清楚地看到圖像中的目標，而且相對于原始圖像，圖像邊緣細節信息得到增強，圖像對比度明顯改善。這是因為通過小波變換對圖像進行細分，對不同層次的低頻子帶系數和高頻子帶系數采用不同規則進行融合。而對比方法得到的融合圖像的對比度低，圖像模糊不清，圖像細節信息丟失十分嚴重，圖像清晰度難以滿足實際應用要求，給圖像后續處理帶來不利影響。

統計融合圖像和理想圖像的均方根誤差和相關系數，同時計算原圖像和融合圖像之間的互信息，結果見表1。從表1可知，小波變換的均方根誤差較小，說明圖像質量、互信息值較高，表示在融合過程中，圖像丟失的細節信息較少，相關系數也得到了一定的提高，表示融合圖像和理想圖像之間的偏差很?。欢鴮Ρ确椒ǖ木礁`差較大，相關系數和互信息值較小。對比結果表明，小波變換的圖像融合綜合性能要明顯優于對比方法。

4 結 語

為了降低圖像融合的錯誤，改善圖像質量，以便于對圖像進行后期處理，根據圖像融合的特點，本文提出基于小波變換的圖像融合算法，并對不同層次的小波系數采用不同的融合規則。結果表明，小波變換獲得了高質量的圖像融合結果，與理想圖像之間的錯誤相當小，可以保留原始圖像中的一些重要信息，圖像過渡十分自然，為圖像效果增強提供了一種重要工具。

注：本文通訊作者為田大為。

參考文獻

[1] ALPARONE L， BARONTI S， GARZELLI A. Landsat ETM+ and SAR image fusion based on generalized intensity modulation [J]. IEEE transactions on geosciences and remote sensing， 2004， 42（12）： 2832?2842.

[2] 周浦城，韓裕生，薛模根，等.基于非負矩陣分解和IHS顏色模型的偏振圖像融合方法[J].光子學報，2010，39（9）：1682?1686.

ZHOU Pucheng， HAN Yusheng， XUE Mogen， et al. The method of polarization image fusion based on nonnegative matrix decomposition and IHS color model [J]. Acta photonica sinica， 2010， 39（9）： 1682?1686.

[3] 王宏，敬忠良，李建勛.一種基于圖像塊分割的多聚焦圖像融合方法[J].上海交通大學學報，2003，37（11）：1743?1750.

WANG Hong， JING Zhongliang， LI Jianxun. Multi focus image fusion using image black segment [J]. Journal of Shanghai Jiao Tong University， 2003， 37（11）： 1743?1750.

[4] CHEN Shaohui， ZHANG Renhua， SU Hongbo， et al. SAR and multispectral image fusion using generalized IHS transform based on atrous wavelet and EMD decompositions [J]. IEEE journals and magazines， 2010， 10（3）： 737?745.

[5] 張華，黃輝，劉邦明.結合Contourlet變換和區域特征的圖像融合算法[J].計算機工程與應用，2013，49（22）：160?162.

ZHANG Hua， HUANG Hui， LIU Bangming. Image fusion algorithm based on Contourlet transform and region features [J]. Computer engineering and applications， 2013， 49（22）： 160?162.

[6] 劉濤，張登福，何宜寶.基于區域分割和非下采樣輪廓波變換的多聚焦圖像融合算法[J].計算機應用，2010，30（10）：2805?2807.

LIU Tao， ZHANG Dengfu， HE Yibao. Multi?focus image fusion algorithm based on region segmentation and nonsubsampled contourlet transform [J]. Journal of computer applications， 2010， 30（10）： 2805?2807.

[7] 牛佳.基于CVX和非負矩陣分解的圖像融合研究[J].計算機工程與設計，2008，29（20）：5311?5313.

NIU Jia. Study for image fusion based on CVX and non?negative matrix factorization [J]. Computer engineering and design， 2008， 29（20）： 5311?5313.

[8] 吳川，楊冬.改進的多光譜雙邊濾波圖像融合[J].中國圖象圖形學報，2013，18（9）：1170?1175.

WU Chuan， YANG Dong. Improved multispectral bilateral filter video fusion algorithm [J]. Journal of image and graphics， 2013， 18（9）： 1170?1175.

[9] 張強，郭寶龍.基于非采樣Contourlet變換的遙感圖像融合算法[J].光學學報，2008，28（1）：74?80.

ZHANG Qiang， GUO Baolong. Remote sensing image fusion based on the nonsubsampled Contourlet transform [J]. Acta optica sinica， 2008， 28（1）： 74?80.

[10] 陳煥平，何明一，李旭.基于SWT區域對比度像素提取的多聚焦圖像融合[J].中國圖象圖形學報，2011，16（5）：865?870.

CHEN Huanping， HE Mingyi， LI Xu. Multi?focus image fusion using pixel extraction based on SWT regional contrast [J]. Journal of image and graphics， 2011， 16（5）： 865?870.

[11] 閆莉萍，劉寶生，周東華.一種新的圖像融合及性能的評價方法[J].系統工程與電子技術，2007，29（4）：509?513.

YAN Liping， LIU Baosheng， ZHOU Donghua. Novel image fusion algorithm with novel performance evaluation method [J]. Systems engineering and electronics， 2007， 29（4）： 509?513.

[12] 孫偉，郭寶龍，陳龍.非降采樣Contourlet域方向區域多聚焦圖像融合算法[J].吉林大學學報（工學版），2009，39（5）：1384?1389.

SUN Wei， GUO Baolong， CHEN Long. Multifocus image fusion algorithm based on directional window statistics in nonsubsampled Contourlet domain [J]. Journal of Jilin University （engineering and technology edition）， 2009， 39（5）： 1384?1389.