圖像協同融合方法的初步研究

摘要：針對單傳感器圖像光譜屬性和空間屬性的局限性和單一融合算法融合能力有限的問題，提出了紅外圖像和可見光圖像的協同融合新方法。該方法首先獲得多個融合算法下的融合圖像，然后綜合評定各個融合圖像的整體性能，接著在各融合算法之間進行“競爭、合作、調整和反饋”機制下的多次動態圖像融合，從而得到一個性能穩定且融合效果最佳的融合圖像。初步實驗結果顯示，該方法能夠有效地獲取高質量的融合圖像。 

關鍵詞：圖像融合； 協同工作； 算法評價； 灰關聯分析

中圖分類號：TP391； N941.5文獻標志碼：A

文章編號：1001－3695(2008)01－0316－02

0引言

圖像融合指將來自不同傳感器的圖像進行合并，以得到一個更為完整的圖片或場景[1，2]，其主要目的是利用多幅圖像間的冗余信息提高圖像的可靠性和利用多幅圖像間的互補信息提高圖像的清晰度。圖像融合大致可分為像素級、特征級和決策級三個層次。像素級融合是特征級融合和決策級融合的基礎，是最根本、最重要的融合，因此該類融合算法的研究也最受研究人員重視。目前，已經有很多較為成熟的像素級融合算法，如色調—亮度—飽和度(hue intensity saturation， HIS)融合法[3，4]、主成分分析(principal component analysis， PCA)融合法[3]、高通濾波(high pass filter， HPF)融合法[4]、加權平均法、小波變換法[4，5]、Toet算法[6]和圖像金字塔法[7]（包括高斯金字塔、對比度金字塔、比率金字塔和拉普拉斯金字塔）等。此外，一些新的研究思路也相繼出現，如基于證據理論、神經網絡、專家系統的融合策略等。在具體應用中，這些算法普遍存在的一個問題就是融合性能不穩定，即對于不同的融合原圖像，得到的融合圖像質量可能不同。如果能夠通過一些融合算法間的協同工作，動態地選擇一個最佳融合圖像，而不是就哪一種具體方法簡單地套用公式，那么可能會獲得更好的效果。基于這種設想，本文以可見光圖像與紅外圖像為研究對象，提出了一種多個融合算法協同工作下的圖像融合方法。

1協同工作下的圖像融合新方法

為了改善融合效果，提高圖像中目標的清晰度，本文引入了協同融合的概念。協同融合指多種融合算法通過競爭與合作，參數調整及信息反饋等環節，來共同完成一個任務，即獲取融合效果最優的融合圖像。本文所提方法的基本思路是先由不同的融合算法得到紅外圖像和可見光圖像的多個融合圖像，利用各融合圖像的性能參數進行基于灰色關聯分析的融合圖像質量評價[8]，得到一個性能較優的圖像。在此基礎上，通過各個融合算法間的合作信息引導融合參數調整或融合原圖像調整，并將調整后的信息反饋給各融合算法，使之動態地進行多次融合，最終得到一個性能穩定且效果最優的融合圖像。設計框圖如圖1所示。

實現步驟如下：

a)選擇算法成員，即確定哪些融合算法為參與協同工作的成員。

b)確定評價融合圖像質量的性能指標，如交叉熵、偏差度、光譜扭曲度等。

c)由各成員算法得到多個融合圖像。

d)根據b)中確定的性能指標，對得到的各融合圖像進行融合效果比較，從中選擇一個最優融合圖像。該階段表現為協同工作下各算法成員之間的公平競爭。

e)為了保證第一次獲得的最優融合圖像性能穩定，并且給予其他算法成員第二次競爭機會，通過各成員算法間的合作調整融合參數（如低、高頻融合系數）或融合原圖像參數（如圖像對比度拉伸），把調整后的信息反饋給各融合算法，轉到c)，進行二次圖像融合。如果二次融合得到的各融合圖像中性能最優者仍是上一次勝出的成員算法融合的，那么確定該算法為最優算法，其相應的融合圖像質量最優，轉到e)輸出該圖像；反之，若二次融合得到的各個融合圖像中性能最優者不是上一次勝出的成員算法所融合的，那么轉到c)繼續進行競爭、合作、調整和反饋，直到相鄰兩次的最優圖像為同一成員算法所融合的為止。

f)輸出質量最優的融合圖像。

本方法的關鍵是信息反饋、協作融合，優點是所得融合圖像源于性能穩定的融合算法，且融合質量達到最優。

2仿真實驗

2．1算法成員的選擇

為了縮短協同工作中圖像融合的時間，對以下十余種常見融合算法進行了比較和選優，僅將性能較優的融合算法作為本文方法中的算法成員。實驗情況如圖2所示。其中：(a)為可見光融合原圖像；(b)為紅外融合原圖像；(c)~(n)分別為常見圖像融合算法所得的融合圖像。

由圖2可知，PCA和HIS方法獲得了較好的融合效果，它們保留了更多的顏色信息，融合圖像中目標（正在行走的人）的清晰度較好，故初步確定PCA方法和HIS方法為協同融合的算法成員。

HIS融合法的原理是將圖像從RGB顏色空間變換到HSI空間，用色調(H)代表光譜信息，亮度(I)代表空間信息；然后將紅外圖像進行對比度拉伸，使它和可見光圖像的亮度分量(I)有相同的均值和方差；最后用拉伸后的灰度值代替原來的灰度值，并與色調和飽和度(S)進行HSI逆變換得到融合圖像。

經過仔細分析，發現由于紅外圖像的亮度信息層次已經較為分明，若繼續將其進行對比度拉伸，使它和可見光圖像的亮度分量有相同的均值和方差，那么容易導致融合圖像中高亮度部分的信息壓縮，如圖2(m)左部行人與房頂間的亮度信息對比度降低。若直接進行亮度替換，則一方面可以保留該部分信息；另一方面簡化了算法，效果如圖2(o)所示。因此，最終確定PCA方法和簡化HIS方法作為協同融合的算法成員。

2．2協同工作下的圖像融合

協同工作下的圖像融合結果如圖3所示。其中：用于評價融合圖像質量的評價指標包括熵、交叉熵、均值、標準差、偏差度、光譜扭曲度和小波能量細節共七項[7，8]，圖像質量評價方法為筆者在文獻[8]中提出的基于鄧氏關聯度的圖像融合質量自動評價。從圖3可以看出，協同融合法所得融合圖像的質量明顯優于PCA和簡化HIS融合圖像，如行走中的人等目標更為突出，對比度更為理想。這為后期的目標檢測、目標跟蹤、目標分割等后繼處理打下了良好的基礎。

該組實驗的協同處理過程為：用簡化HIS和PCA算法產生融合圖像HIS_0和PCA_0，計算這兩幅圖像的各項評價指標，并進行質量評價比較，結果為HIS_0優于PCA_0。為了防止HIS_0性能不穩定，對該組融合原圖像進行參數調整。此處調整了紅外圖像的對比度，再由兩融合算法重新得到兩幅新的融合圖像HIS_1和PCA_1，再次計算這兩幅圖像的融合質量指標，并與前兩個圖像一塊進行性能綜合評價。結果發現HIS_1圖像質量優于HIS_0。那么此時需要再次調整融合原圖像，反饋給各融合算法，產生新的融合圖像，進入下一輪競爭，結果為在新產生的融合圖像HIS_2、PCA_2及前面的HIS_1、PCA_1、HIS_0、PCA_0中，質量最優圖像仍是HIS算法產生的HIS_1。因此，HIS算法對于該組融合原圖像性能穩定，且融合質量達到最優，即HIS_1為協同融合圖像。表1為各階段產生的融合圖像的質量以及協同融合圖像產生的過程。其中融合圖像質量取值為（0，1]，其值越大，圖像質量越好[8]。

3結束語

本文提出了一種基于協同工作的圖像融合方法。與普通融合相比，協同融合強調在融合過程中加入優勢信息的交互，并依此信息去調整融合參數，優點是所得融合圖像源于性能穩定的融合算法，且融合質量達到最優。初步實驗結果顯示該方法能夠有效獲取高質量的融合圖像。下一步工作包括多種融合算法間的選擇原則和更多融合算法下該方法的有效性驗證，以及融合參數的自動調整方法研究等。

參考文獻：

［1]ZHANG Yun. Understanding image fusion [J]. Photogrammetric Engineering and Remote Sensing， 2004，70(6):657－661.

［2]PETROVIC V. Multi level image fusion[C]//Proc of the Internatio￣nal Society for Optical Engineering.2003:87－96.

［3]AUDICANA G， SALETA M， LUIS J， et al. Fusion of multispectral and panchromatic images using improved HIS and PCA mergers based on wavelet decomposition [J]. IEEE Transactions on Geoscience and Remote Sensing， 2004，42(6):1291－1299.

［4]LI Bi cheng， WEI Jun. Remote sensing image fusion based on HIS transform， wavelet transform， and HPF[C]//Proc of the International Society for Optical Engineering. 2003:25－30.

［5］王紅梅，張科，李言俊.基于小波變換的圖像融合方法[J].紅外與激光工程，2005，34(3):328－332.

［6]TOET A， WALRAVEN J. New 1 color mapping for image fusion [J]. Opt Eng， 1996，35(3):650－658.

［7］劉貴喜.多傳感器圖像融合方法研究[D]. 西安: 西安電子科技大學， 2001.

［8]MA Miao， TIAN Hong peng， HAO Chong yang. A new method to quality evaluation for image fusion using GRA[J]. Optical Engineering， 2005，44(8):1－5.

“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文”