圖像融合研究綜述

摘 要:本文介紹了圖像融合的發展過程，以及國內外發展狀況。并對圖像融合的層次進行了分析，對各層做了詳細介紹并做了對比。詳細介紹了像素級圖像融合的算法，對算法進行了比較分析，然后對融合后圖像的評價做了介紹。最后對圖像融合研究做出了展望。

關鍵詞:圖像融合小波變換融合效果評價

中圖分類號:TP391文獻標識碼:A文章編號:1674-098X(2011)05(a)-0011-03

序言

當今，在計算機、電子信息等科學技術迅速發展的同時，也帶動了傳感器技術的飛速發展。多傳感器使系統獲得的信息量急劇增加并且呈現多樣性和復雜性，以往的信息處理方法已無法滿足這種新的情況，必須發展新的方法和技術來解決我們所面臨的新問題[1]。

信息融合正是為了滿足這種需求而發展起來的一種新技術。多傳感器信息融合是指對來自多個傳感器的信息進行多級別、多方面、多層次的處理與綜合，從而獲得更豐富、更精確、更可靠的有用信息。圖像融合技術是多傳感器信息融合的一個重要的分支，近二十年來，引起了世界范圍內的廣泛關注和研究[2]。

目前，圖像融合技術在自動目標識別、遙感、機器人、醫學圖像處理以及軍事應用等領域都表現出巨大的應用潛力。例如，紅外圖像與可見光圖像的融合可以幫助飛行員進行導航;CT與核磁共振MRI圖像的融合有利于醫生對疾病進行準確的診斷等。因此，對圖像融合技術展開深入的研究，對于國民經濟的發展和國防事業的建設均有重要的意義。

1 圖像融合研究現狀

1.1 圖像融合概述

圖像融合是指將2個或2個以上的傳感器在同一時間(或不同時間)獲取的關于某個具體場景的圖像或者圖像序列信息加以綜合，生成一個新的關于這一場景的解釋，這一解釋是從單一傳感器獲得的信息中無法得到的[3]。

目前，美國、德國、日本等國家都在開展圖像信息融合研究，在不同層次上開展了大量的模型和算法研究，相關的研究內容大量出現在美國三軍數據融合年會、IEEE圖像處理會議和相關的期刊中，并研制出了一些實用的處理系統和軟件。國內對圖像融合技術研究起步較晚，主要有一些研究機構和大學從事這一領域的研究和探討，例如中科院遙感所、中科院上海技術物理研究所等單位。從目前的發展水平來看，國內的研究與世界水平還存在一定差距，大都局限在理論研究的初始階段，還沒有商品化的成熟軟件或系統平臺推出。

1.2 圖像融合技術發展狀況

早期的圖像融合方法主要有平均、HIS變換、主分量分析、高通濾波等。這些方法在進行融合處理時都不對參加融合的圖像進行分解變換，融合處理只是在一個層次上進行，屬于較為簡單的圖像融合方法。到80年代中期，出現了基于金字塔分解的圖像融合方法，其中包括拉普拉斯金字塔、梯度金字塔、比率低通金字塔等。90年代以后，隨著小波理論的廣泛應用，小波變換技術為圖像融合提供了新的工具，使圖像融合技術的研究呈不斷上升趨勢，

應用的領域也遍及到遙感圖像處理、計算機視覺、自動目標檢測、醫學圖像處理等。隨著對多源圖像融合技術研究的深入，圖像融合技術必將會得到更為廣泛的應用和發展。

2 圖像融合層次

圖像融合是采用某種算法對兩幅或多幅不同的源圖像進行綜合處理，形成一幅新的圖像。根據融合處理所處的階段不同，圖像的融合處理通常可以在三個不同層次上進行:像素級(Pixel-level)、特征級(Feature-level)和決策級(Decision-level) [2]。圖1示意了在圖像處理的全過程中，圖像融合所處的位置與層次。

2.1 像素級圖像融合

像素級圖像融合是在嚴格配準的條件下，對各傳感器輸出的圖像信號，直接進行信息的綜合與分析。像素級圖像融合直接在原始數據層上進行融合，主要任務是對多傳感器目標和背景要素的測量結果進行融合處理，它的融合準確性最高，能夠提供其它層次上的融合處理所不具有的更豐富、更精確、更可靠的細節信息，有利于圖像的進一步分析處理。像素級圖像融合是目前在實際中應用最廣泛的圖像融合方式，也是特征級圖像融合和決策級圖像融合的基礎[3]。但是與其它兩個層次的融合相比，像素級融合需要處理的信息量大，處理時間長，對設備的要求也比較高。在進行像素級圖像融合之前，必須對參加融合的各圖像進行精確的配準，其配準精度一般應達到像素級，因此，像素級融合是圖像融合中最為復雜且實施難度最大的融合。

像素級融合能提供其它融合層次所不能提供的細微信息。但也有以下缺點:處理的數據量大、時間長、效率低，對圖像的要求高、數據源難獲取，抗干擾能力差。

2.2 特征級圖像融合

特征級圖像融合是對源圖像進行預處理和特征提取后獲得的特征信息(如邊緣、形狀等)進行綜合[3]。特征級融合是在中間層次上進行的信息融合，它既保留了足夠數量的重要信息，又可對信息進行壓縮，有利于實時處理。它使用參數模板、統計分析、模式相關等方法完成幾何關聯、特征提取和目標識別等功能，以利于系統判決。在特征級圖像融合過程中，由于提取的特征直接與決策分析有關，因而融合結果能最大限度給出決策分析所需要的特征信息。雖然在模式識別、計算機視覺等領域，己經對特征提取和基于特征的圖像分類、分割等問題進行了深入的研究，但這一問題至今仍是計算機視覺領域的一個難題，有待于從融合角度進一步研究和提高。

特征級融合將圖像所含信息的特征進行提取并壓縮，使圖像有利于實時處理，但是在壓縮提取的過程中不可避免地會出現信息的丟失，這就使得融合后圖像的細微部分信息不全。

2.3 決策級圖像融合

決策級圖像融合是根據一定的準則以及每個決策的可信度做出最優決策。決策級融合是高層次的信息融合，每個傳感器已完成了目標提取與分類之后，融合系統根據一定的準則以及每個決策的可信度做出決策融合處理。此種融合實時性好，并具有一定的容錯能力，但其預處理代價較高，圖像中原始信息的損失最多。決策級融合方法主要是基于認知模型的方法，需要大型數據庫和專家決策系統，進行分析、推理、識別和判決[4]。

決策級融合的數據量少，對通信及傳輸要求低。在融合過程中，能夠對數據的干擾通過適當的融合方法予以消除，并能夠全方位地反映目標及環境的信息，滿足不同應用的需要。

三個層次的圖像融合都有各自的優缺點，在實際應用中，要根據具體的需要和不同層次融合的特點進行選擇，以獲得最優的融合結果。在表1中對三種融合層次作了比較。

3 像素級圖像融合

在學習了圖像融合的方法后，我們得出結論:像素級圖像融合是最基本、最重要的圖像融合方法，同時，它也是獲取信息量最多，檢測性能最好，適用范圍最廣，實施難度最大的一種融合方法[5]。

像素級圖像融合的主要目的是使融合后的圖像包含更全面、更精確、更突出、更可靠的信息，使獲得的圖像更符合人或機器的視覺特性，更利于對其作進一步的分析、理解以及目標的識別或跟蹤。

3.1 像素級圖像融合的一般步驟

3.1.1 圖像的除噪

對來自同一場景的多幅帶有不同噪聲的或者來自不同傳感器的圖像，如果直接進行融合，必然使噪聲融入到融合圖像中，這是圖像數據融合結果不夠理想的主要原因[6]。所以，在進行圖像融合之前，必須要對每一幅圖像進行預處理。首先要分析和研究圖像的特點，然后針對各自的特點采用合適的方法進行圖像的噪聲去除(濾波)，即把每一幅被污染的圖像數據通過預處理恢復到一個比較好的結果。

3.1.2 圖像的邊緣提取

圖像的邊緣是圖像的特征之一，它是圖像配準和基于特征的圖像融合的前期工作。邊緣表示了信號的突變，能勾畫出區域的形狀，包含了圖像中大量的信息，邊緣檢測是圖像分析的重要內容。邊緣信息的提取是進行下一步圖像處理的基礎。

3.1.3 圖像的配準

如果描述同一場景的圖像來自不同的傳感器，由于傳感器之間存在著角度以及視景范圍的不同，圖像會產生一些差異，表現是圖像不完全對準，即這幅圖像的第一行\\列像素對應到另一幅圖像中并不是相同的行\\列。例如人的左眼和右眼看到的視景范圍是不同的，但大腦在處理兩只眼睛捕獲的圖像時有一個配準的過程。圖像配準是圖像融合的基本環節，只有經過配準后的圖像才能進行有效的融合，而且圖像配準的質量將直接影響融合的結果[7]。

3.1.4 圖像的融合

圖像經過預處理，配準等前期工作之后，就可以進行融合處理了。這一步是圖像融合的核心，如何針對不同的融合應用領域，設計合理有效的融合算法是圖像融合研究的重點。

3.2 像素級圖像融合的研究方法

現有的像素級圖像融合方法可以歸納成三個階段:傳統的簡單融合方法、基于塔式分解和重建的融合方法以及基于小波變換的圖像融合方法。小波變換可以將圖像分解成一個最低層逼近和不同尺度不同方向的細節，是目前圖像融合領域的主流方法。但在高維情況下，小波分析不能充分利用圖像本身的幾何特征，并不是最優和“最稀疏”的函數表示方法。

3.2.1 傳統的圖像融合方法

線性加權法，是一種最簡單的圖像融合方法，它直接對多幅原圖像的對應像素點進行加權疊加。如果為n幅圖像在對應位置的灰度值，那么融合后圖像為:

(1)

(2)

線性加權法概念簡單，計算量小，適合實時處理。其缺點是融合后的圖像包含很強的噪聲特別是當融合圖像的灰度差異很大時，就會出現明顯的拼接痕跡，視覺效果差。

HPF法(高通濾波法) 實現圖像融合的概念比較簡單。一幅多光譜圖像通常由不同的頻率成分組成。HPF法用高通濾波器算子提取出高分辨率圖像的細節信息，然后采用像素相加的方法，將提取出的細節信息疊加到低分辨率圖像上，實現低分辨率圖像和高分辨率圖像之間的數據融合。高通濾波法簡單、計算量小、沒有波段數的限制，改善分辨率的同時又保持了多光譜圖像的光譜信息。缺點是難以完全提取出包含不同尺寸地面物體的高分辨率圖像的細節信息，融合圖像仍然含有較大的噪聲[8]。

PCA(主分量分析)法，首先對圖像進行主分量變換，由相關矩陣求特征值和特征向量求得各主分量，通過這種融合，可以盡可能多地保留全色圖像的細節信息;然后對融合后的圖像進行反變換，得到包含豐富細節信息的融合圖像。

IHS變換法，是在遙感圖像融合中經常用到的一種方法，它將多光譜的TM圖像數據變換到IHS空間，得到3個獨立的分量。首先將SPOT圖像數據經過適當的伸縮，以保證它的均值和方差變換到和I分量一致，然后用伸縮后的數據替換I分量，得到I1，再分別對H和S進行反差擴展，得到H1和S1，最后將I1，H1和S1變換回RGB空間，得到融合圖像[9]。

3.2.2 多分辨融合算法

高斯金字塔、拉普拉斯金字塔、比率低通金字塔等被統稱為多分辨金字塔，多分辨金字塔是目前較為常用的圖像融合方法。在這類算法中，原圖像不斷地被濾波，形成一個塔狀結構。在塔的每一層都用一種算法對這一層的數據進行融合，從而得到一個合成的塔式結構[9]。然后對合成的塔式結構進行重構，得到合成的圖像，合成圖像包含了原圖像的所有重要信息。

3.2.3 小波變換法

小波變換是對圖像在不同頻率通道上進行處理，首先將源圖像進行小波分解，得到一系列子圖像，再在變換域上進行特征選擇，創建融合圖像，最后通過逆變換重建融合圖像[10，11]。與金字塔方法相似，小波分解過程中同樣會產生一個小波金字塔。但金字塔方法產生的數據有冗余，且不同級的數據之間相關，而小波變換方法則能克服這兩點缺陷，并能更加有效地描述圖像在時域和頻域上的局部特征。

4 評價方法

融合后的圖像應保留原圖像的重要細節，且不引入虛假信息，這就需要對融合的效果進行評判。圖像融合效果評價一般根據不同的融合目的選取評價方法，再根據評價方法選取評價指標。當前融合效果的評價還沒有一個全面、客觀和統一的標準。

圖像融合效果評價方法主要有:客觀評價法、主觀評價法。一般在評價融合圖像效果時，以視覺分析為主，定量分析為輔。

4.1 客觀評價

客觀評價主要有基于信息量的評價、基于統計特性的評價、基于梯度值的評價和基于小波能量的評價等。基于信息量的評價的主要指標有熵、交叉熵、聯合熵等[9]。基于統計特性的評價指標有均值、標準差、均方差、相關系數、高頻分量相關系數等。基于梯度值的評價有清晰度(平均梯度)、和空間頻率等。基于小波能量的評價有小波系數平均能量等[10]。

評價指標有提高空間分辨率、提高信息量、提高清晰度、融合圖像的光譜性質、降低圖像噪聲。一般為了去噪而采用基于信噪比的評價，為了提高空間分辨率而融合采用基于統計特性及光譜信息的評價方法，為了提高信息量而融合采用基于信息量的評價方法，為了提高清晰度而融合采用基于梯度及模糊積分和小波能量的評價方法等。

4.2 主觀評價

主觀評價法，也就是目測法，優點是直觀、快捷、方便，缺點是主觀性較強，對一些暫無較好客觀評價指標的現象可以進行采用主觀評價。主觀評價主要用于判斷融合圖像是否配準，整體亮度、色彩反差是否合適，是否有蒙霧或馬賽克現象，清晰度是否降低，邊緣是否清楚，紋理及色彩信息是否豐富等。

對融合圖像的效果進行評價的標準主要從以上兩方面出發，從上面的介紹中我們可以總結出，一個良好的融合算法必須滿足以下基本要求:

(l)融合算法不能丟棄源圖像中的顯著特征;(2)融合算法不能引入人為的虛假信息;(3)融合算法必須具有魯棒性;(4)融合算法能對源圖像中的噪聲和其他有害無用的信息進行最大程度的壓縮和抑制;(5)計算量要盡可能少。

5 總結與展望

圖像融合是一種具有實際意義的研究課題，學術界在圖像融合領域的研究已取得了一定的成績。但總的來說，圖像融合技術的研究還尚未成熟，有許多問題急需解決。

(1)圖像融合方法繁多，沒有統一的標準和成熟的理論導向，缺乏統一的圖像融合數學模型。因此需要建立一個成熟的、可靠度高的圖像融合的理論標準。

(2)圖像種類很多，根據每一類圖像的特點需要設計一個實時、可靠的融合算法體系，這也是目前研究的一個熱點和難點。

(3)圖像評價的標準和方法眾多，建立一個系統的客觀的圖像融合評價準則也已成為一個急需解決的問題。

參考文獻

[1]譚征，鮑復民.數字圖像融合[M].西安:西安交通大學出版社，2004:24～25.

[2] 閆敬文，卓琳，屈小波.圖像融合研究最新進展[J].廈門理工學院學報，2007，15(4):44～49.

[3]莊曉嬋.圖像融合算法研究[D].西安:西北工業大學，2007.

[4]程英蕾，趙榮椿，李衛華等.基于像素級的圖像融合方法研究[J].計算機應用研究，2004，21(2):169～172.

[5]Emmanuel J. Candes， Laurent demanet. The curvelete represention of wave propagators is optim ally sparse[J]. Communications on Pure and Applied Mathematics，2005，58(11):1472～1528.

[6]劉麗.多源遙感圖像像素級融合方法研究[D].長沙:湖南大學，2005.

[7]Gonzalo Pajares， Jesus Manuel dela Cruz. A wavelet based image fusion tutorial[J].Pattern Recongnition， 2004，37(9):1855～1872.

[8]郭利明.圖像處理及圖像融合[D].西安:西北工業大學，2006.

[9]Emmanuel J.Candes， Laurent demanet. The curvelet represention of wave propagators is optim ally sparse[J]. Communications on Pure and Applied Mathematics，2005，58(11):1472～1528.

[10] 夏明革，何友，歐陽文.像素級圖像融合方法與融合效果評價[J].遙感技術與應用，2002，17(4):224～229.

[11]李麗萍，等．小波變換在多分辨率圖像融合中的應用[J]．科技創新導報，2008，17:233．