一種基于ＩＨＳ和小波變換的彩色圖像融合算法

摘 要：針對晝夜彩色圖像的融合，提出了基于IHS變換和小波變換的晝夜彩色圖像融合新算法。該算法首先對晝夜彩色圖像作IHS變換得到三個分量:亮度I、色度H和飽和度S；然后利用小波變換融合晝夜彩色圖像的亮度分量，并用融合后的亮度分量替代夜晚圖像的亮度分量；再作IHS反變換得到新的夜間圖像；最后將得到的新的夜間圖像和原白天圖像在空域進行加權融合。實驗分析表明，新方法的性能優于簡單的空域加權融合，也優于單純的基于IHS和小波變換的融合，在保留晝夜彩色圖像信息的基礎上，增強了融合圖像的空間細節表現能力；并用客觀評價標準對算法進行了定量的分析。

關鍵詞：彩色圖像融合；小波變換；IHS變換

中圖法分類號：TP391 文獻標識碼：A 文章編號：1001-3695(2006)10-0174-03

Color Image Fusion Algorithm Based on IHS and Wavelet Transformation

TANG Guoliang1，PU Jiexin2，HUANG Xinhan2

(1. College of Electronic Information Engineering， Henan University of Science Technology，Luoyang Henan471039， China;2. Dept. of Control Science Engineering， Huazhong University of Science Technology， Wuhan Hubei 430074， China)

Abstract:A Color image fusion method on IHS transformation and Wavelet transformation is presented. The method can automatically merge images of a scene captured under different illumination and can be used for practical applications. The fused image can be used to enhance the context of nighttime traffic videos so that they are easier to understand. The context is automatically captured from a fixed camera and inserted from a daytime image (of the same scene). Our method preserves important local perceptual cues while avoiding traditional problems such as aliasing， ghosting and haloing.

Key words:Color Image Fusion;Wavelet Transformation;IHS Transformation

圖像融合是將不同傳感器或相同傳感器得到的多個圖像根據某個算法進行綜合處理，以得到一個滿足某種需求的新圖像［1］。在基于計算機視覺的道路交通夜間監控中，夜間圖像由于照明不足而看不到道路兩側的景物，故可以利用圖像融合技術將同一場景的白天圖像融合到夜晚圖像中，增強夜晚圖像的內容，達到既可看清道路上的交通狀況，又能看到道路兩旁的建筑、景物等情況的理想效果。

像素級圖像融合的方法較多，最簡單的是加權平均法，即將原圖像對應像素的灰度值進行加權平均，生成新的圖像，這種方法簡單但效果較差。Burt P等人［2］提出Laplacian 金字塔以后，基于Laplacian 金字塔、對比度金字塔、梯度金字塔等多分辨率融合方法不斷出現。基于小波變換的融合也是多分辨率融合。小波變換具有良好的時域和頻域局部性以及多分辨性，小波分析技術已經取代傳統的高斯—拉普拉斯金字塔技術，成為了一種主流技術。

小波變換將原始圖像分解成一系列具有不同方向、多個分辨率和多個頻帶的子圖像，能夠充分反映原始圖像的局部變化特征。生理學研究也表明，人類視覺系統對圖像的局部對比度非常敏感，因此，本文設計并實現了一種基于IHS和小波變換及基于區域標準差最大化的晝夜彩色圖像融合新算法，使白天圖像平滑地融合到夜間圖像中去，使融合處理后的圖像顯得自然無明顯痕跡的過渡，避免了圖像的失真、重影、光暈現象，達到了突出對比度和局域細節信息及內容增強的目的。

1 基于IHS變換與小波變換晝夜彩色圖像融合方法

1．1 IHS變換

圖像處理中經常應用的彩色坐標系統(或稱彩色空間)有兩種：①由紅(R)、綠(G)、藍(B)三原色組成的彩色空間，即RGB(Red Green Blue)空間；②IHS模型，即亮度(Intensity)、色調(Hue)、飽和度(Saturation)。RGB空間和IHS空間相互轉換的處理過程稱之為IHS變換。IHS空間中三分量I，H，S具有相對獨立性，可分別對它們進行控制，并能夠準確定量地描述顏色特征。因此，在晝夜彩色圖像融合中，常需要把RGB空間轉換為IHS空間，在IHS空間復合晝夜彩色圖像［3］。IHS變換算法模型很多，盡管它們在運算速度、復雜性上有所不同，但是最后得到的H分量和S分量是基本相似的。本文采用Smith［4］的三角形模型來計算IHS變換，以像素點的R，G，B 分量的平均值作為亮度分量值。

(1)正變換 I=(R + G + B )/ 3

①當B為最小時，3H=(G - B ) / ( I-B )，S = 1-B / I。

②當R為最小時，3H= (B- R ) / ( I-R ) ，S = 1-R / I。

③當G為最小時，3H=(R-G) / ( I-G) ，S = 1-G/ I。

(2)反變換

①當B為最小時，B=I(1-S)，G=3H ( I-B )+B，R=3I-B-G。

②當R為最小時，R=I(1-S) ，B=3H (I-R)+R，G=3I-B-R。

③當G 為最小時，G=I(1-S) ，R=3H(I-G)+G， B=3I-R-G。

1．2 小波變換

圖像經過小波分解，得到圖像在水平、垂直及對角方向的高頻信息和相應分辨率下的低頻分量［5，6］。由于小波基的正交性，圖像小波分解過程中不產生冗余數據。這樣，就可以方便地分析信號在不同頻帶上的頻域特性。根據二維Mallat小波快速算法，圖像第ｊ次小波分解后生成三個高頻分量Dij和一個低頻分量Cj。其中，上標ｉ=H，V和D分別為水平方向、垂直方向及對角方向的高頻分量;下標ｍ和ｎ分別對應于圖像的行和列;下標ｊ表示小波分解尺度。Mallat小波分解公式為

Cj=HmHnCj-1

DHj=GmHnCj-1

DVj=HmGnCj-1

DDj=GmGnCj-1(1)

與之相應的小波重構公式為

Cj-1=H*mH*nCj+H*mG*nDHj+G*mH*nDVj+G*mG*nDDj(2)

其中Ｈ*，Ｇ*分別為Ｈ，Ｇ的共軛轉置矩陣。

1．3 基于IHS變換與小波變換的融合方法

針對晝夜彩色圖像的特點，本文采用基于區域標準差最大化的小波變換融合方法來融合晝夜彩色圖像的亮度分量，將IHS變換與小波變換運用于晝夜彩色圖像的融合處理中［7］。

新算法(IHS_WT_WA Algorithm)(WA: Weighted Average)的具體步驟如下:

(1)對晝夜彩色圖像進行IHS變換，得到亮度、色度與飽和度三個分量，將晝夜彩色圖像的亮度分量作小波分解。

（2）利用基于區域標準差最大化的小波變換融合方法來融合晝夜彩色圖像的亮度分量。

圖像融合過程中，融合規則直接影響著融合的效果。不少圖像融合規則采用基于單一像素的簡單融合規則，這種規則簡單且運算量小。但是，圖像的局域特征是由某一區域的多個像素共同表征的，并不能由孤立地單一像素表征；而且一般情況下某一區域內的像素都具有較強的相關性，并非各自獨立。由于融合規則沒有考慮圖像的局域特征，所以，這種基于單一像素的簡單融合規則獲得的融合效果并不理想。

圖像局部區域的標準差反映了各像素灰度相對于該區域灰度均值的離散情況。標準差越大，則灰度級分布越分散，而灰度級的起伏反映了圖像的紋理、邊緣和對比度信息。生理學研究也表明，人類視覺系統對圖像的局部對比度變化十分敏感。因此，根據人類視覺系統理論，制定融合規則時可考慮圖像的局部區域的標準差信息，這樣既可突出對比度信息，又可突出圖像的局域特征和細節信息，能獲得良好的融合效果。所以這里采用基于圖像局部區域標準差最大的融合規則。

設晝夜彩色圖像的亮度分量（亮度子圖像）為A，B，融合后的亮度分量(亮度圖像)為F，小波分解的最大尺度為L。具體的融合規則為:

①先對源圖像A，B分別進行L尺度小波分解。

②融合圖像Ｆ的低頻部分分別取為各源圖像Ａ，Ｂ分解后的低頻部分的平均或加權平均，即

CL，F=αCL，A+βCL，B(3)

其中，α+β=1，α，β≥0，CL，A，CL，B分別表示參加融合的原圖像Ａ和Ｂ在小波分解尺度Ｌ上的低頻分量，CF，B表示融合圖像Ｆ在小波分解尺度Ｌ上的低頻分量。

③在各分解層上，小波分解的高頻系數的確定采用區域標準差最大準則，即選取以當前處理像素為中心的局域區域(一般取3×3，5×5等)的標準差最大的圖像Ａ或Ｂ的小波系數作為融合圖像Ｆ對應的小波系數，即Dij，F=Dij，A，STDA≥STDB

Dij，F=Dij，B，STDA

其中，分解尺度ｊ取1~L-1;STDA，STDB分別表示源圖像Ａ和Ｂ在分解尺度ｊ上的ｉ方向上的對應局部區域上的標準差。標準差ＳＴＤ定義為

STD=MiNj(xi， j-x)M×N(5)

此處，Ｍ，Ｎ分別為所取局部區域的行數與列數;xi， j表示當前局部區域內的一個像素灰度值;x是當前局部區域像素的灰度均值。

④確定融合圖像Ｆ的各小波系數后，進行逆小波變換重構出融合的亮度圖像Ｆ。

(3)將融合結果替代夜晚圖像的亮度分量。

（4）對替代后的夜晚圖像的亮度、色度與飽和度三個分量作IHS反變換就得到新的夜間圖像。

（5）將得到的新的夜間圖像和原白天圖像在空域進行加權融合。

該算法根據晝夜彩色圖像融合的特點，在基于IHS和小波變換融合的基礎上，添加了空域融合處理，使融合圖像的清晰度得以提高。IHS_WT_WA Algorithm示意圖如圖1所示。

2 實驗結果

圖2(a)和圖2(b)分別是取自同一場景的晝夜圖像，圖2(c)是將基于IHS變換和小波變換融合晝夜彩色圖像的亮度分量直接替代夜晚圖像的亮度分量后得到的，圖2(d)是將圖2(a)和圖2(b)直接在空域加權(0.65∶0.35)平均得到的，圖2(e)是將圖2(c)和圖2(b)直接在空域加權平均(0.65∶0.35)（采用本文算法）得到的，圖2(f)是將圖2(c)和圖2(b)直接在空域加權(0.55∶0.45)平均（采用本文算法）得到的。權(0.65∶0.35)是經過多次比較試驗得到的最優值，這里僅列出圖2(f)與圖2(e)作對比來說明權的選取對融合結果的影響。

3 性能比較

3．1 融合結果的評價標準

常用的有主觀和客觀兩類［8，9］：

（1）主觀評價標準主要是目視判別， 由人主觀來評判融合效果: 圖像是否更清晰，圖像的光譜是否畸變。

（2）客觀評價標準包括統計方法和熵方法，主要有:

①方差(Variance)。在統計理論中，方差σ2定義為

σ2=1n-1ni=1[xi-1nni=1xi]2(6)

方差越大，則灰度級分布越分散，從而包含的信息量越大。

②信息熵(Entropy)。對于灰度范圍{0，1，…，L-1}的圖像直方圖，p(i)為灰度值等于i的像素數與圖像總像素數之比，L為灰度級總數，其信息熵定義為

EN=-L-1i=0p(i)log 2 p(i) (7)

圖像信息熵反應了圖像攜帶的信息量的多少。圖像的熵值越大，說明攜帶的信息量越大。

③ Kullback。建議使用交叉熵來測定兩幅圖像的信息差異。交叉熵是這樣定義的:設融合的圖像為Ｆ，原圖像為Ａ，Ｂ，則兩原圖像和融合圖像的交叉熵分別是:

CEA，F=-L-1i=0PAilog (PAi/PFi)

CEB，F=-L-1i=0PBilog (PBi/PFi)(8)

其中CEX，F為圖像X（X=A，B）和F的交叉熵，Ｌ為圖像的灰度級總數，Pxi為圖像X中第ｉ灰度級的像素數Ni和總像素數N之比∶Pi=Ni/N。

綜合考慮得到平均交叉熵(Mean Cross Entropy)和均方根交叉熵(Root Mean Square Cross Entropy):

MCE=（CEB，F+CEB，F）2，RCE=CE2B，F+CE2B，F2(9)

交叉熵用來描寫兩幅圖像的差異，交叉熵越小則兩幅圖像的差異就越小，所以如果平均或均方根交叉熵越小，則表示融合圖像從原圖像中取得的信息越多，因此融合效果就會越好。

④ 扭曲程度(Distortion)。圖像光譜扭曲程度直接反映了多光譜圖像的光譜失真程度，其定義為

D=1nij｜V′i，j-Vi，j｜（10）

其中:n為圖像的大小，V′i，j，Vi，j分別為融合后和原始圖像上(i，j)點的灰度值。

⑤ 峰值信噪比PSNR(Peak Signal Noise Rate) 定義為

PSNR=2552MNMi=1Nj=1｜C(i，j)-B(i，j)｜2 （11）

峰值信噪比越大，說明融合效果和質量越好。

⑥ 均方根誤差RMSE(Root Mean Square Error)。融合后圖像C 和理想圖像B的均方根誤差定義為

RMSE=Mi=1Nj=1｜C(i，j)-B(i，j)｜2MN （12）

均方根誤差越小，說明融合效果越好。

⑦ 平均梯度(Average Gradient)G。反映圖像質量的改進及圖像中微小細節反差和紋理變換特征，反映圖像的清晰度。

G=1MNMi=1Nj=1△xf2(x，y)+△yf2(x，y)（13）

其中:△xf(x，y)，△yf(x，y)分別為f(x，y)沿x和y方向的差分;M×N為圖像的大小。

⑧ 圖像的相關系數(Correlation Coefficient)。圖像的相關系數反映了兩幅圖像的相關程度，可用來表示多光譜圖像的光譜信息的改變程度。兩幅圖像的相關系數定義為

C(f，g)=i，j[fi，j-ef]×(gi，j-eg)][i，j(fi，j-ef)2]×[i，j(gi，j-eg)2](14)

其中: fi，j和gi，j分別為融合前、后圖像(i，j)點的灰度值;ef與eg分別為兩幅圖像的均值。

3．2 性能分析

表1中，從信息熵、平均交叉熵、均方根交叉熵這些指標來看，圖2(e)優于圖2(c)和圖2(d)；從方差、峰值信噪比、均方根誤差、清晰度、相關系數這些指標來看，圖2(e)優于圖2(f)；從主觀來看，圖2(e)也是優于圖2(c)、圖2(d)和圖2(f)。這說明本文算法（IHS_WT_WA）的性能優于簡單的空域加權融合算法，也優于簡單的基于IHS和小波變換的融合算法；說明了對圖像融合效果的評價須將主觀和客觀相結合。

表1 融合圖像質量評價

4 結束語

本文介紹了一種基于IHS變換和小波變換的晝夜彩色圖像融合新方法，針對原晝夜彩色圖像亮度分量小波分解的不同頻率域，分別討論了高頻系數和低頻系數的選擇原則。高頻系數反映了圖像的細節，其選擇規則決定了融合圖像對原圖像細節的保留程度。本文在選擇高頻系數時，采用了基于區域標準差最大化的原則。低頻系數反映了圖像的輪廓，低頻系數的選擇決定了融合圖像的視覺效果，對融合圖像質量的好壞起到了非常重要的作用。本文在低頻系數的選擇上采用了加權平均法。實驗分析表明，新方法的性能優于簡單的空域加權融合算法，也優于單純的基于IHS和小波變換的融合算法，可將本研究用于改善道路交通夜間監控圖像的質量。若把夜間紅外圖像也融合進來，能進一步改善融合圖像的清晰度，待作進一步的繼續研究。

參考文獻：

［1］G Simone， A Farina， F C Morabito， et al.Image Fusion Techniques for Remote Sensing Applications［J］.Information Fusion，2002， 3(1): 315.

［2］Burt P， Adelson E. The Laplacian Pyramid as a Compact Image Code ［J］.IEEE Trans.on Communications，1983，COM31(4): 532-540.

［3］TU Teming， SU Shunchi， SHYU Hsuenchyun，et al.A New Look at IHSlike Image Fusion Methods［J］. Information Fusion， 2001， 2(3): 177186.

［4］Smith A R. Color Gamut Transform Pairs ［J］. Computer Graphics， 1978 ， 12(3):1219.

［5］A Garzelli. Possibilities and Limitations of the Use of Wavelets in Image Fusion ［C］.IEEE，2002.66-88.

［6］Gonzalo Pajares， Jesús Manuel de la Cruz .A Waveletbased Image Fusion Tutorial ［J］. Pattern Recognition，2004， 37(9): 18551872.

［7］ZHANG Yun， HONG Gang. An IHS and Wavelet Integrated Approach to Improve Pansharpening Visual Quality of Natural Colour IKONOS and QuickBird Images［J］.Information Fusion，2005，6(3):225-234.

［8］玉振明，高飛.基于金字塔方法的圖像融合原理及性能評價［J］.計算機應用研究，2004，21(10):128130.

［9］SHI Wenzhong， ZHU Changqing， et al.Waveletbased Image Fusion and Quality Assessment ［J］. International Journal of Applied Earth Observations and Geoinformation，2005，6:241-251.

作者簡介：

唐國良(1970-)，男，河南汝州人，碩士研究生，主要研究方向為圖像處理、信息融合；普杰信(1959-)，男，河南鹿邑人，教授，在職博士研究生，主要研究方向為人工智能與模式識別、圖像處理；黃心漢(1946-)，男，湖北咸寧人，教授，博導，主要研究方向為人工智能、信息融合。

注:本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文