多源圖像融合綜述

劉立坤

(中國人民解放軍 91550部隊94分隊，遼寧 大連 116023)

1 圖像融合的概念

圖像融合［1］(Image Fusion)是關于同一個場景的兩個或兩個以上圖像中感興趣的信息相結合的過程，通過這一過程得到一個更多信息量的圖像。圖像場景中感興趣的信息的選取取決于的應用程序。融合后系統工作頻段范圍與探測能力顯著提升，獲取信息的效率與整體系統可靠性明顯提高。融合圖像是無法從其中任何單一傳感器獲得。

圖像融合技術的應用相當廣泛［2］，涵蓋日常生活的許多方面，大到國家的航空航天、軍事國防等領域，小到醫療方面的醫學造影、小區的安全監控等應用。圖像融合技術在某些方面替代了人類視覺某些難以完成的工作。圖像融合就其應用所起作用主要包括:

(1)圖像增強［3］。通過融合來自不同傳感器的圖像，從而獲得更清晰的圖像。例如，在遙感領域應用中，常用兩種傳感器獲得同一區域地貌的高分辨率圖像和多光譜圖像，對這兩種圖像進行融合，可以獲得該區域地貌的細節和輪廓更清晰的圖像。如紅外與可見光融合技術，可用于火災預防與探測、敏感區域的治安監控等等。

(2)特征提取。融合多傳感器的圖像后，可以得到某些特征更加突出的圖像，從而方便這些特征的提取(比如線條，邊緣輪廓等特征)。

(3)圖像去噪。目前有學者提出一種基于多個小波基的圖像融合去噪方法。與傳統的圖像去噪濾波方法(均值濾波、中值濾波、維納濾波等方法)相比，該去噪方法保留了更多圖像的細節信息。

(4)目標識別與跟蹤。單一傳感器往往會受環境及傳感器成像范圍的限制，不能完全反應場景信息，要獲得更清楚的目標的細節以及運動軌跡圖像，往往通過圖像融合來達到。比如，有的研究人員研究的基于紅外與可見光的人臉識別等已經應用于機器人的智能識別系統。

(5)三圍重構。通過分析多源圖像多樣性與相關性特征，運用提升小波進行快速圖像融合，然后根據微表面圖像紋理相似性，抽取出高程數據，通過頂點數組方式快速重構三維立體場景［4］。

2 多源圖像融合的層次

圖像融合的層次可分為:像素級、特征級和決策級。

像素級融合是在基礎數據層面上進行的信息融合，是最低層次的圖像融合，像素級圖像融合的結果為圖像，所以該類融合結果可以給予觀察者對現場以更快捷、直觀和全面的認識，同時也更適合機器的進一步處理和分析。特征級融合是對邊緣、形狀、紋理和區域等特征信息進行綜合與處理，是中間層次的圖像融合，其特點是可對信息進行壓縮處理，方便實時化處理。決策級融合利用對初始目標的檢測和分類的輸出作為輸入的融合算法進行數據集成決策級融合是以一定的準則以及每個決策的可信度做出最優決策，是最高層次的圖像融合。其特點是融合實時性比較較，同時由于信息量較少，容錯能力比較強。像素級圖像融合可以保持盡可能多的源圖像數據，而特征級和決策級圖像融合可能會導致不準確、不完整的傳遞的信息。

3 圖像融合的主要研究內容

圖像融合研究的主要內容根據各層次融合在實際應用中的不同，產生了許多不同的圖像融合處理方法。

3.1 像素級圖像融合

像素級圖像融合是目前圖像融合領域研究最早，也是研究得最多的圖像融合。像素級圖像融合一般可分為圖像預處理、圖像變換、信息綜合和圖像反變換四個處理階段。在預處理階段，主要是對源圖像進行濾波去噪和圖像配準處理。變換階段最常使用的方法有PCA、IHS變換、多分辨率方法等。在綜合階段就是對變換后的圖像以一定規則進行綜合。反變換階段通過對綜合階段的那組系數進行逆變換操作，從而得到融合圖像。

3.2 特征級圖像融合

特征級圖像融合處理先是對圖像進行特征提取后再對這些特征信息進行綜合分析與處理的一種融合方法。它是融合層次的中間層次，所提取的特征信息一般都是一種像素信息的充分統計量或表示量，具體包括目標的邊緣、方向等信息。隨著科技的不斷發展，圖像信息壓縮算法得到不斷提高，特征級圖像融合在實時處理方面的優勢逐漸凸顯出來，目前的C4I系統的數據融合研究大都在這一層次上展開。特征級圖像融合一般可分為目標狀態數據融合和目標特性融合兩大類。目標狀態數據融合實現過程首先是校準圖像預處理完成的數據，再矢量估計主要參數的相關狀態，一般應用在多傳感器目標跟蹤領域。目標特性融合屬于特征層面的聯合識別，即在融合前對圖像特征進行分類組合等相關處理。

3.3 決策級圖像融合

決策級圖像融合是目前最高層次的融合，其結果為各種控制或決策提供依據。因此，決策級圖像融合必須結合具體的應用以及后續決策的需求，有目的有選擇的提取或測量有關圖像數據的各類特征信息，從而實現融合目標，其結果直接影響決策水平。決策級圖像融合的輸入信息為各種特征信息，輸出結果為決策描述，因此就具備數據量小、抗干擾能力強的特點。其主要優點有:(1)信息傳輸要求不高。這是尤其數據量少決定的。(2)容錯性能好。通過適當的融合方法可以消除對傳感器的數據干擾。(3)決策能力強。能全方位有效反應目標及目標所在環境的真實信息。(4)數據要求低。傳感器可以相同類型或不同類型，對傳感器的依賴和要求降低。

［1］敬忠良，肖剛，李振華.圖像融合——理論應用［M］.北京:高等教育出版社，2007.10.

［2］覃征，鮑復民，李愛國等.數字圖像融合［M］.西安:西安交通大學出版社，2004.7.

［3］張兆禮，孫圣和.基于一種自組織神經網絡的圖像數據融合算法研究.電子學報，2000，22(9):40～43.

［4］李祥，傅俊瓊.基于圖像融合的微表面快速三維重構算法研究.計算機應用研究，2009，26(10).