多源圖像融合關鍵技術及應用研究

摘 要：人類生存環(huán)境的日趨復雜，使得無論性能多么優(yōu)越的單一傳感器都無法獲得對目標精確全面的描述，多源圖像融合是指根據(jù)各波段傳感器獲得信息的互補性和冗余性，綜合多個傳感器的信息，獲取對同一目標或場景全面而詳盡的表述，從而得出更為準確、可靠的結(jié)論。本文首先分析了多源圖像融合主要研究內(nèi)容，進而探討了發(fā)展現(xiàn)狀和存在的問題，在此基礎上，筆者總結(jié)了圖像融合中常用的傳感器和應用方向，相信對從事相關研究的同行能有所裨益。

關鍵詞：多源圖像融合 傳感器 冗余

中圖分類號：TP212 文獻標識碼：A 文章編號：1674-098X(2011)10(b)-0000-00

1 引言

近30年來，由于計算機技術的發(fā)展和傳感器性能的提高，面向各種重要應用的多傳感器系統(tǒng)大量涌現(xiàn)，多源圖像融合技術受到人們越來越廣泛的關注。所謂多源圖像融合就是指根據(jù)各波段傳感器獲得信息的互補性和冗余性，綜合多個傳感器的信息，獲取對同一目標或場景全面而詳盡的表述，從而得出更為準確、可靠的結(jié)論。圖像融合的方式可以分為多傳感器不同時獲取的圖像的融合、多傳感器同時獲取的圖像的融合和單一傳感器不同時間、或者不同環(huán)境條件下獲取的圖像的融合三種。圖像融合能充分利用這些時間或空間上冗余或互補的圖像信息，依據(jù)一定的融合算法合成一幅滿足某種需要的新圖像，從而獲得對場景的進一步分析、理解以及目標的檢測、識別或跟蹤。

通過圖像融合可以強化圖像中的有用信息、增加圖像理解的可靠性、獲得更為精確的結(jié)果，使系統(tǒng)變得更加實用。同時，使系統(tǒng)具有良好的魯棒性，例如，可以增加置信度、減少模糊性、改善分類性等。圖像融合的層次可分為：像素級、特征級和決策級。

目前，將圖像融合技術應用于數(shù)字圖像處理的主要目的有以下幾種：

（1）增加圖像中有用信息的含量，改善圖像的清晰度，增強在單一傳感器圖像中無法看見/看清的特性；

（2）改善圖像的空間分辨率，增加光譜信息的含量，為改善檢測/分類/理解/識別性能獲取補充的圖像信息；

（3）通過不同時刻的圖像序列融合來檢測場景/目標的變化情況；

（4）通過融合多個二維圖像產(chǎn)生具有立體視覺的三維圖像，可用于三維重構(gòu)或立體投影，測量等。

（5）利用來自其它傳感器的圖像來代替/彌補某一傳感器圖像中的丟失/故障信息。

顯然，圖像融合技術不同于一般意義上的圖像增強，它是計算機視覺、圖像理解領域的一項新技術。

2 圖像融合關鍵技術研究

2.1 圖像融合的層次

圖像融合是采用某種算法對兩幅或多幅不同的源圖像進行綜合處理，最終形成一幅新的圖像。根據(jù)融合處理所處的階段不同，圖像的融合處理通常可以在三個不同層次上進行：像素級（Pixel-level）圖像融合、特征級（Feature-level）圖像融合以及決策級（Decision-level）圖像融合。融合的層次不同，所采用的算法、適用的范圍也不相同。

（1）像素級圖像融合

像素級圖像融合是在嚴格配準的條件下，對各圖像傳感器輸出的信號，直接進行信息的綜合與分析。像素級圖像融合是在基礎層面上進行的信息融合，其主要完成的任務是對多傳感器目標和背景要素的測量結(jié)果進行融合處理。像素級圖像融合是直接在原始數(shù)據(jù)層上的融合處理所不具有的更豐富、更精確、更可靠的細節(jié)信息，有利于圖像的進一步分析、處理和理解。像素級圖像融合是目前在實際中應用最廣泛的圖像融合方式，也是特征級圖像融合和決策級融合的基礎，但缺點是預處理的信息量最大，處理時間較長，對通信帶寬的要求高。在進行像素級圖像融合之前，必須對參加融合的各圖像進行精確的配準，其配準精度一般達到像素級，因此，像素級融合是圖像融合中最為復雜且實施難度最大的融合。

像素級融合通常用于：多源圖像融合、圖像分析和理解。

（2）特征級圖像融合

特征級圖像融合是對源圖像進行預處理和特征提取后獲得的特征信息（如邊緣、形狀、輪廓、區(qū)域等）進行綜合。特征級融合屬于中間層次的信息融合，它既保留了足夠數(shù)量的重要信息，又可對信息進行壓縮，有利于實時處理。它使用參數(shù)模板、統(tǒng)計分析、模式相關等方法完成幾何關聯(lián)、特征提取和目標識別等功能，以利于系統(tǒng)判決。一般從源圖像中提取的典型特征信息有：線型、邊緣、紋理、光滑、相似亮度區(qū)域、相似景深區(qū)域等。

（3）決策級圖像融合

決策級圖像融合是一種更高層次的信息融合，其結(jié)果將為各種控制或決策提供依據(jù)。這種方法是首先對各個源數(shù)據(jù)進行處理，分別得出判斷和識別的結(jié)果，融合中心將這些結(jié)果按照一定的準則和每個數(shù)據(jù)源決策的可信度進行協(xié)調(diào)，以取得最優(yōu)的決策結(jié)果。決策級融合方法主要是基于認知模型的方法，需要大型數(shù)據(jù)庫和專家決策系統(tǒng)，進行分析、推理、識別和判決。此中融合實時性好，并且有一定的容錯能力，但其預處理代價較高，圖像中的原始信息的損失最多。

2.2 圖像融合算法的發(fā)展

對圖像進行融合處理的目的主要有銳化圖像、改善幾何矯正、色彩矯正、改善分類特性、彌補某種圖像中丟失的數(shù)據(jù)、檢測或觀測大地環(huán)境的變化等等。

其采取的融合方法:主要有IHS(明度-色度-飽和：Intensity-Hue-Saturation)變換、平均、加權(quán)平均、差分及比率、PCA(主分量分析：Principal-Component-Analysis)、高通濾波等。這些方法在進行融合處理時都不對參加融合的圖像進行分解變換，融合處理只是在一個層次上進行的，因此均屬于早期的圖像融合方法。

到80年代中期，人們又提出了基于金字塔的圖像融合方法，其中包括拉普拉斯金字塔、梯度金字塔、比率低通金字塔等，并開始將圖像融合技術應用于一般圖像(可見光圖像、紅外圖像、多聚焦圖像、遙感圖像等)的處理。90年代，隨著小波理論的發(fā)展與廣泛應用，小波變換技術為圖像融合提供了新的工具，使圖像融合技術的研究呈不斷上升趨勢，應用的領域也遍及到遙感圖像處理、計算機視覺、自動目標檢測、城市規(guī)劃、交通管制、機器人導航、決策支持系統(tǒng)、大型經(jīng)濟信息、醫(yī)學圖像處理等。

3 圖像融合中常用的傳感器

圖像融合的主要數(shù)據(jù)主要來源于各種傳感器，目前常用的傳感器及其主要特征如表1所示，除了表中的主要圖像傳感器外，還有其他的圖像傳感器如紫外光成像儀、X射線成像儀、超聲波成像儀等等。各種圖像傳感器所獲取的圖像的特性不同，這些特性有時可能由相同的物理現(xiàn)象導致，也有可能來自不同的物理現(xiàn)象。例如，紅外圖像不依賴于外部的光線，利用場景內(nèi)物體本身各個部分熱輻射的差異獲取物體圖像的細節(jié)。所以紅外圖像一般較暗，信噪比低、無彩色信息、缺少層次感，且目標圖像與背景對比度低、邊緣模糊：可見光圖像對比度相對較高，目標包含一定的細節(jié)信息，但在黑暗背景下具有不易觀察的隱蔽性；毫米波雷達圖像具有較強的穿透能力，可穿透人體和衣物檢測到人身上隱藏的物品。

傳感器類型主要特點

TV可見光，可獲得豐富的對比度，顏色和形狀信息

微光夜視儀夜視，探測距離一般在800~1000m

紅外熱像儀晝夜兩用，探測距離一般在幾km～十幾km；波段：3～5um（中紅外波段），8～12um（長紅外波段）

激光成像雷達兼有測距，測速和成像三功能，成像距離3～5km；由于激光束很細（向小于10um），探測分辨能力強，能夠探測出架空電纜之類的細小物體

毫米波（MMW）雷達天候特性優(yōu)于可見光及紅外，抗干擾能力強，分辨率高

合成孔徑雷達（SAR）天線尺寸小，成像分辨能力高（地面分辨率寬度可達1～3m），由于微波對于土壤和水有一定的穿透能力，因此SAR可探測淺層地下和水下目標

多光譜/超光譜成像儀多個光譜段同時、精確測量目標；可用于地形測繪、檢測和分析等。

通過來自多個傳感器的圖像進行融合后，獲得的融合圖像包括了任何單一傳感器均無法提供的信息，通過對來自多個傳感器的圖像進行融合后獲得的圖像包含了任何單一傳感器無法提供的精確信息。美國的“POST-尾刺”便攜式地對空導彈采用紫外/紅外雙模導引頭，其紫外探測器主要用于探測白天飛機頭部鋁合金蒙皮反射陽光中的紫外線，它的光譜輻射兩度比晴空背景高出1-4個數(shù)量級，這樣很容易將目標從天空背景分辨出來；若采用圖像融合技術將微光夜視儀和紅外圖像進行融合，可以發(fā)揮微光成像和紅外成像的各自優(yōu)勢，使圖像更逼真、更清晰；同時可以擴展成紅外波段在近紅外、中紅外和遠紅外波段同時成像，更利于識別偽裝，因為在寬波段上，偽裝網(wǎng)之類的物體很難在近紅外和遠紅外波段同時模仿實物的光譜特征。

4 圖像融合的發(fā)展與應用

圖像融合技術最早在衛(wèi)星遙感技術上得到應用。隨著多光譜傳感器的廣泛應用，各種傳感器在一個地區(qū)獲得大量不同尺度、不同光譜、不同時相的圖像數(shù)據(jù)，通過圖像融合技術的信息互補機制，減少或抑制單一信息源對感知對象或環(huán)境解釋的多義性、不確定性和誤差，因此圖像信息融合對于航空、航天、地理普查和詳查有著至關重要的作用。

圖像融合技術己經(jīng)在航天、監(jiān)控、火力控制和精確制導等方面取得了應用。在美國，與美國國防高級研究項目處、海軍研究實驗室等單位長期合作的Lockheed Matrin電子和導彈公司一直致力于研究圖像融合和數(shù)據(jù)融和方面的工作。它的研究包括了從多光譜數(shù)據(jù)的搜集和建模，到傳感器設計、軟件和處理設計、顯示參數(shù)等各個方面。美國國防部在2005年研制出基于圖像與數(shù)據(jù)融和技術的覆蓋射頻、可見光、紅外波段公用孔徑的有源/無源一體化探測器系統(tǒng)。在21世紀的數(shù)字化戰(zhàn)場上，英國、美國、德國、荷蘭、捷克以及俄羅斯等國家都在發(fā)展自主式炮彈系統(tǒng)和先進的偵察車及偵察設備，偵察車上基本都是熱像儀、激光測距儀、電視攝像儀等多個傳感器進行融合處理，這些設備都不同程度的涉及到圖像融合技術。美國陸軍司令部計劃從2007年開始逐漸裝備“追蹤者”偵察車，以提高現(xiàn)役裝甲車輛的指揮、控制、情報、偵查、監(jiān)視的綜合能力。

參考文獻

[1] 袁洲力，郝建新，石軍南. 多源遙感影像的融合方法效果分析[J]. 中南林業(yè)調(diào)查規(guī)劃， 2010， (04) .

[2] 于洪偉，劉紅軍，袁曉宏，劉洋，白俊武. 一種邊緣特征增強的多源遙感影像融合方法研究[J]. 測繪與空間地理信息， 2010， (01) .