多傳感器圖像融合方法及應用綜述

徐雅薇，謝曉竹

(裝甲兵工程學院信息工程系，北京 100072)

多傳感器圖像融合的目的是綜合多個不同類型傳感器采集的圖像信息，針對某個場景，生成新的具有更多場景信息的高質量圖像［1］。融合圖像比單一傳感器采集的圖像更能反映真實場景。例如，CCD 攝像機可在白天提供高質量圖像，但在夜間、或霧天時所獲得的圖像質量差。而紅外圖像反映場景的熱對比度，不受天氣、光照條件影響。根據應用領域不同，常見的多傳感器圖像融合組合方式如表1 所示。

1 多傳感器圖像融合的結構

1.1 圖像融合分類

圖像融合可以根據工作域不同分為空間域、頻率域、變換域、光譜域;也可根據信息抽象程度，分為像素級、特征級、決策級圖像融合。后者與多傳感器信息融合中的分類方式一致，是目前普遍接受的分類形式。

表1 多傳感器圖像融合常見的組合方式

當前大多數的圖像融合方法都屬于像素級融合，這是最低層次的融合。融合時直接對圖像中的像素點進行逐個處理。因此像素級融合能保留更多的圖像信息，精確度更高。特征級圖像融合與像素級融合不同，特征級融合首先從不同傳感器圖像中分別提取特征信息，一般提取圖像的邊緣特征、紋理特征、亮度特征，再對特征進行處理。特征級圖像融合能在一定程度上避免像素級易受噪聲、配準錯誤影響的缺點，并且能壓縮圖像信息量，利于實時處理。決策級圖像融合指對圖像的特征信息進行分類、識別，再進行進一步融合的過程。這是更高層次的圖像融合，其要處理的數據量更小，利于信息傳輸且容錯性強。目前決策級融合仍然處于理論研究中。

1.2 融合系統結構

圖像融合流程大致可以分為:圖像預處理、融合方法、顯示及質量評價。預處理中包括去噪、時空配準。配準同樣是圖像融合研究領域的重要組成部分。目前大部分融合方法是假定圖像是預先配準好的，暫不考慮配準的影響，對融合方法進行獨立開發; 也有利用配準和融合過程中的相同操作，將二者結合為一個模塊，具有計算量小、精度高、可補償配準錯誤的特點［9］。圖像顯示方式可分為灰度圖像顯示、彩色圖像顯示。在一些研究中，將融合方法和顯示方法結合，因此本研究將彩色圖像融合也歸為融合方法進行介紹。圖像融合流程如1 圖所示。

圖1 圖像融合流程

2 多傳感器圖像融合方法

2.1 基于像素級的融合方法

加權組合是最簡單的像素級融合方法。若將融合權值都設為0.5，則為加權平均法。這種方法雖然能抑制噪聲，但喪失圖像對比度，融合效果不佳。PCA 不再使用隨機權值或簡單的均值融合，而是根據源圖像的全局方差確定是否需要更大的權值。此方法更像是從不同源圖像中選擇，不能說是真正意義上的圖像融合，這種方法對噪聲敏感［10］。獨立分量分析(independent component analysis，ICA)是一種從高階統計相關角度分析數據的技術。PCA 需要消除數據間的二階相關性，ICA 則要求分量相互獨立，因此ICA 提取特征的能力比PCA 要強［11-13］。

金字塔融合始于1983年，由Burt 和Adelson 提出的拉普拉斯金字塔是最早的多分辨率技術之一，在此基礎上又發展出比例低通金字塔、對比度金字塔、梯度金字塔、形態學金字塔，提高了融合性能，但金字塔分解的各層間存在相關性，會導致算法不穩定［14］。小波分解與金字塔分解相比，具有尺度相對獨立性、方向性良好的優點，因此逐漸取代了金字塔分解［15］。有代表性的小波技術如: 離散小波變換(DWT)、SIDWT、提升小波、雙樹復小波變換(DT-CWT)、超小波分析。超小波分析又稱為多尺度幾何分析，是從2000年以后快速發展起來的研究領域，包括: 脊波(Ridgelet)、曲線波(Curvelet)、輪廓波(Contourlet)、非下采樣輪廓波(NSCT)、剪切波等［16］。采用多分辨率融合時，融合規則也是直接影響融合質量的因素。基于像素的融合規則包括絕對值取大、線性加權;基于鄰域窗口及區域的融合規則將方差、能量、平均梯度、對比度等作為融合算子，與匹配度、閾值共同得出融合系數。選擇基于鄰域窗口和區域融合規則時，通常會提取圖像的特征信息。因此，一些文獻將采取這種融合規則的方法歸為特征級融合，但實際是一種像素級和特征級結合的融合方法。

彩色圖像融合利用人眼對顏色的感知能力，可以獲得更加豐富的圖像信息。彩色圖像融合大致可以分為假彩色法、顏色空間映射法，并且通過與其他類型的方法結合可以改善融合效果。假彩色融合是以灰度圖像融合為基礎，將灰度融合圖像彩色化的過程。此方法的融合結果會出現色彩不自然現象，不適合人眼觀察［17］。此外，還可以變換顏色空間，利用不同顏色空間的特點對圖像進行融合。常用的顏色空間包括RGB(紅-綠-藍); 基于亮度-色度-飽和度空間的IHS、HSV、LHS 以及YIQ(亮度-紅綠對比度-藍黃對比度)、YUV 等。RGB 顏色空間中各分量存在較大的相關性，因此將RGB 顏色空間轉換到IHS 顏色空間，即IHS 變換。IHS 與RGB 相比在視覺上更能直觀反映顏色。但IHS 變換的融合結果易產生彩色畸變現象、光譜信息失真且計算效率有待提高。與IHS 類似的還有Brovey 算法。文獻［5］中提出IHS 與小波變換結合的方法，與傳統IHS 變換相比能改善融合效果。文獻［18］中將兩幅圖像從RGB 顏色空間變換到YIQ 顏色空間，再結合Curvelet 變換進行融合。彩色空間映射法常見的2 種方法是TNO、MIT，分別由荷蘭TNO 和美國MIT 林肯實驗室開發［17］。TNO 方法易實現實時處理，色彩較自然。MIT 方法可實現實時處理，色彩自然，響應時間短。

2.2 基于特征級和決策級的融合方法

多傳感器特征級圖像融合是對不同源圖像各自的特征進行融合，得到新的特征矢量，最后以圖像的形式輸出。方法包括基于統計/推理的方法和基于知識的方法?；谪惾~斯理論融合法源于多傳感器信息融合的方法，最終通過計算最大后驗概率得出融合結果［19-20］。D -S 證據理論具有處理不確定信息的能力，可用于選擇融合權值。文獻［19］中，圖像經小波分解后對高頻分量采用基于D -S 證據理論，對區域方差、區域能量、區域信息熵3 個特征進行特征級融合，實驗證明此方法融合效果良好，能較大程度保留圖像信息。聚類法利用模糊數學中的概念解決分類問題，在特征級圖像融合中得到應用。馬爾可夫隨機場(MRF)的本質是通過圖像特征對圖像進行標記，解決圖像分類問題。文獻［7］中提出基于最大后驗概率和馬爾可夫隨機場的融合方法，在實驗中與聚類法特征級融合比較，融合結果證明MAP-MRF 的效果更好。

神經網絡法是將提取的特征作為輸入，對特征向量進行分類［21］。可用于圖像融合的神經網絡有BP 神經網絡、RBF神經網絡、PCNN 神經網絡。文獻［22］中，首先對源圖像進行NSCT 變換，再針對高頻信號的梯度特征用PCNN 進行融合，融合結果與基于傳統NSCT 法進行比較，證明PCNN 可改善傳統NSCT 法的準確度。文獻［23］中，在融合階段用交叉視覺皮質模型(PCNN 的簡化)對低頻信號的邊緣特征圖像進行融合，優點是無需訓練。模糊邏輯法是將模糊數學理論應用于圖像融合中。文獻［24］中，將圖像經過NSCT 變換后，用模糊邏輯分別對低頻和高頻信號特征融合，融合效果良好。

目前基于決策級圖像融合的研究仍然處于理論和算法的發展階段，未形成完整的理論體系，只能用現有的方法對決策級融合進行嘗試。因此，本研究只總結常用的像素級和特征級融合方法，如表2 所示。

2.3 融合方法的最新進展

ICA 是20 世紀90年代開始發展的信號處理技術，最初用于盲源信號分離。近幾年，國內外學者逐漸把獨立成分分析(ICA)應用于圖像融合領域。ICA 方法能有效約減特征維數，保持特征的高階相互獨立型［13］，在特征提取方面更具優勢，可提高圖像融合質量。2008年Mitianoudis 等人提出一種ICA 灰度圖像融合算法，并對融合規則進行改進，提出了自適應加權融合方法。2014年，駱媛、金偉其等人提出一種動態ICA 域融合方法［25］。

2006年，Donoho、Candes、Tao 等人提出的CS(Compressive Sensing)理論，該理論的核心思想在于對可壓縮信號離散化時，使用測量矩陣，獲得比稀疏表示更少的信號測量值，可高效表示可壓縮信號，并能有效地重建信息［4］。這一特點有望在圖像融合中減少內存需求，提高融合效率，滿足實時性的要求。2008年，Wan 等人將CS 理論用于圖像融合。將新理論應用于圖像融合領域使圖像融合方法仍有較大的發展空間。文獻［26］中，王瑞等人引入CS 理論，在達到一定融合質量同時降低計算量，通過實驗驗證了此方法的合理性。文獻［4］中，圖像經NSCT 分解后，對高頻子帶系數應用CS理論，實驗證明此方法能有效提高計算效率。

圖像融合質量受2 個因素制約:融合方法和配準質量。然而目前大部分融合方法都是假定圖像預先配準好，再進行獨立開發。實際上，將配準和融合結合起來是具有一定優勢的。2013年M.Ghantous 和M.Bayoumi 提出將配準和融合結合的方法:MIRF。此方法利用配準和融合過程相同的操作(文獻中為DT-CWT［9］)，進行算法優化，對可見光圖像和紅外圖像進行融合。通過與傳統方法比較，MIRF 具有提高融合效率、補償配準錯誤的優點。

3 圖像融合的質量評價標準

融合圖像的質量反映所采用融合方法的合理性，有利于融合方法的不斷完善，因此其評價問題一直是圖像融合領域研究的重點。質量評價可分為主觀評價和客觀評價。前者通過觀察者比較融合圖像和源圖像，人為判斷融合結果。此方法簡單，但無法比較、分析性能近似的融合方法。因此仍需要客觀評價加以輔助。客觀評價可以分為4 類:基于清晰度、基于光譜逼真度、基于信息量、基于紋理信息［27］。如表3 所示。

表2 像素級和特征級融合方法

表3 客觀評價指標

大多數的融合評價方法基于灰度圖像的統計特征，沒有充分利用彩色圖像的顏色信息。針對彩色圖像融合評價尚未形成完整的體系，尤其是客觀評價方法方面，仍有很大的發展空間。

4 結論

1)雖然可以對融合方法進行獨立開發，但實際應用中圖像配準的質量對圖像融合有極大影響。因此，提高融合方法對配準錯誤的容錯性是個必然趨勢。2013年M.Ghanto 和M.Bayoumi 將配準和融合結合的嘗試具有一定參考價值。此外，將其他信號處理或圖像處理技術應用于圖像融合中，有可能提高圖像融合質量，如ICA、CS 理論。這為圖像融合方法的發展提供新的思路。

2)在融合質量評價方面，每個客觀評價方法都存在局限性，仍然不能取代主觀評價的作用。這是因為人的視覺感知能力復雜，無法用簡單的公式代替?，F階段可采用主、客觀結合的方法對融合方法進行評價。尤其是針對彩色融合圖像的評價方面，進一步發展基于人眼視覺特性的仿生理論評價方法有望改善融合質量評價方法。

［1］王躍華，陶忠祥.一種基于NSCT 變換的紅外與可見光圖像融合算法［J］. 光學與光電技術，2012，10(4):81-84.

［2］駱媛，王嶺雪，金偉其，等.微光(可見光)/紅外彩色夜視技術處理算法及系統進展［J］.紅外技術，2010，32(6):337-344.

［3］葉仕通.結合圖像特征比的紅外與可見光圖像融合算法［J］.激光與紅外，2013，43(11):1234-1239.

［4］柳翠寅，羅洪禮，李曉峰.基于壓縮感知的紅外與可見光圖像融合［J］. 四川大學學報: 工程科學版，2014，46(5):88-95.

［5］錢國棟，鄒珍軍，許寧.遙感圖像多模型融合處理與分析［J］.北京測繪，2014 (5):19-25.

［6］王江濤，韓萍.醫學圖像融合的臨床應用與新進展［J］.醫學影像學雜志，2009，19(4):476-478.

［7］倪翠，關澤群，王斌，等.對馬爾可夫隨機場特征級圖像融合的改進［J］.計算機工程與應用，2011，47(32):211-214.

［8］張余寬，張弓.剪切波域梯度取大策略的SAR 與紅外圖像融合［J］.信息與電子工程，2012，10(5):589-593.

［9］Ghantous M，Bayoumi M.MIRF:a multimodal image registration and fusion module based on DT -CWT［J］.Journal of Signal Processing Systems，2013，71(1):41-55.

［10］Metwalli M R，Nasr A H，Allah O S F，et al.Image fusion based on principal component analysis and high-pass filter［C］//Computer Engineering ＆ Systems，2009. ICCES 2009.International Conference on.IEEE.2009-7.

［11］Mitianoudis N，Stathaki T.Pixel-based and region-based image fusion schemes using ICA bases［J］.Information Fusion，2007，8(2):131-142.

［12］Mitianoudis N，Stathaki T.Optimal contrast for color image fusion using ICA bases［C］//Information Fusion，2008 11th International Conference on.IEEE.2008:1-7.

［13］岳晉，宦若虹，上官晉太，等.一種新的ICA 域圖像融合算法［J］.光電工程，2008，35(5):129-134.

［14］劉貴喜.多傳感器圖像融合方法研究［D］.西安:西安電子科技大學，2001.

［15］黃偉. 像素級圖像融合研究［D］. 上海: 上海交通大學，2008.

［16］儲彬彬，龐璐璐，漆德寧，等.基于多尺度分析的圖像融合技術綜述［J］.航空電子技術，2009，40(3):29-33.

［17］金偉其，王嶺雪，趙源萌，等.彩色夜視成像處理算法的新進展［J］.紅外與激光工程，2008，37(1):147-150.

［18］張強，郭寶龍.一種基于Curvelet 變換多傳感器圖像融合算法［J］.光電子·激光，2006，17(9):1123-112.

［19］姚麗莎，趙海峰，羅斌，等.基于證據理論的小波域多特征醫學圖像融合［J］. 計算機應用，2012，32(6):1544-1547.

［20］周芳，王鵬波，韓立巖.多源知識融合處理算法［J］.北京航空航天大學學報，2013，39(1):109-114.

［21］周芳麗.多傳感器圖像融合算法研究［D］.長沙:湖南大學，2012.

［22］李美麗，李言俊，王紅梅，等.基于NSCT 和PCNN 紅外與可見光圖像融合方法［J］. 光電工程，2010，37(6):90-95.

［23］許占偉，張濤.基于NCT 的特征級圖像融合［J］.Computer Engineering，2011，37(16):209-211.

［24］鄭義軍，任仙臺.基于NSCT 與模糊邏輯的圖像融合方法［J］.計算機工程與應用，2011，47(11):171-218.

［25］駱媛，金偉其，王嶺雪，等.基于源圖像分析的動態ICA域灰度圖像融合方法［J］.北京理工大學學報，2014，34(4):407-411.

［26］王瑞，杜林峰，陳俊麗，等.結合隨機投影和稀疏表示的圖像融合方法［J］.上海交通大學學報:自然版，2014，48(10):1421-1427.

［27］蔡懷行，雷宏. SAR 與可見光圖像融合效果客觀評價［J］.科學技術與工程，2011，11(15):3456-3461.