多模態圖像融合算法綜述

劉卷舒　姜慧娜

摘 要：多模態圖像融合能最大限度地提取各模態的圖像信息，同時減少冗余信息。文章提出一種新的圖像融合算法的分類體系，在分析新體系的基礎上，闡述了各體系下的代表性算法，論述圖像融合的研究背景及研究進展，最后提出了未來趨勢的新目標。

關鍵詞：圖像融合；像素級；特征級；決策級；圖像融合算法

中圖分類號：TP391.41 文獻標志碼：A 文章編號：2095-2945（2017）36-0060-02

引言

不同模態傳感器關于同一場景所采集到的圖像數據經過相關技術處理相融合的過程稱為多模態圖像融合，本文站在新的角度，提出一種新的分類體系，同時闡述各體系下的代表性算法，論述圖像融合領域的發展現狀。

1 圖像融合的體系

根據融合的對象，圖像融合一般分為三個等級：像素級、特征級及決策級[1]。像素級的處理對象是像素，最簡單直接，特征級建立在抽取輸入源圖像特征的基礎上，決策級是對圖像信息更高要求的抽象處理，本文在此基礎上提出一種不同的的分類體系，即直接融合和間接融合。

1.1 直接圖像融合算法

直接圖像融合算法分基于像素點和基于特征向量的融合方法，基于像素點的融合主要針對初始圖像數據而進行[2]，是對各圖像像素點信息的綜合處理[3]。

1.2 間接圖像融合算法類

間接圖像融合算法是指對圖像進行變換、分解重構或經神經網絡處理后，通過邏輯推理來分析多幅圖像的信息。

2 直接圖像融合算法類

直接圖像融合算法分基于像素點和基于特征向量的圖像融合算法。

2.1 基于像素點的直接圖像融合算法

設待融合圖像X、Y，且X（i，j）、Y（i，j）為圖像X、圖像Y在位置（i，j）的灰度值，則融合后的圖像Z（i，j）=x X（i，j）+y Y（i，j），x、y是加權系數且x+y=1。算法簡單、融合速度快，但減弱了圖像的對比度[4]。

2.2 基于特征向量的直接圖像融合算法

圖像特征包括顏色、紋理、形狀、空間關系等，從多模態圖像提取特征信息[2]，并對其歸納和分析處理，可剔除虛假特征、構建新的復合特征。

2.2.1 特征的串行融合算法

樣本空間Ω上的隨意樣本ξ∈Ω，且在Ω上定義兩個特征空間A和B[5]，同時構建兩個特征向量α∈A和β∈B，則ξ的串行組合特征可以定義為γ=（α，β）。雖然該法可以有效提高識別率，但不同特征向量在串聯組合前要進行加權或歸一化處理[6]。

2.2.2 特征的并行融合算法

樣本空間Ω上的隨意樣本ξ∈Ω，且在Ω上定義兩個特征空間A和B，同時構建兩個特征向量α∈A和β∈B，則ξ的特征并行組合為γ=α+iβ，但該法的缺陷是維數可能不等，對此可以用零補足低維特征[7]。

并行融合方法的困難之處在于要求提取的特征維數必須相同，否則就要進行一些預處理[6]。

2.2.3 基于特征選擇的融合算法

特征選擇算法即將數據為維度，每一維度中選一個最利于分類的數據，這些選出的數據構成新的特征[8]。以基于模糊邏輯理論的圖像融合算法為例，首先源圖像的特征構成一組數據，假定改組數據中只有i個可靠，用設定好的規則融合這i個數據，融合的結果和析取算子如融合得到算子，某些特殊情況，例如組合爆炸，可以用遞增排列的方法[7]。

2.2.4 基于特征變換的融合算法

以基于D-S證據理論的圖像融合算法為例，其優點是可以最大程度地消除不確定的因素，融合進源圖像的互補圖像特征，盡量保留住源圖像的邊緣特征[7]。

2.2.5 基于特征決策的融合算法

以基于貝葉斯估計法為例，它以貝葉斯法則為基礎，是按照概率論來組合信息的新方法[9]，其步驟[10]為：提取待融合源圖像的特征，利用圖像特征計算出基本概率賦值函數，并應用貝葉斯公式進行融合。

3 間接圖像融合算法類

間接圖像融合算法類是指對圖像進行變換、分解重構或經神經網絡處理后，通過邏輯推理或邏輯來分析多幅圖像的信息，最終進行融合的算法類型。

3.1 基于變換的間接圖像融合算法

常用的變換方法主要有HIS變換和小波變換。

3.1.1 基于HIS變換的圖像融合算法

在HIS變換中，H表示圖像色度信息，I表示圖像亮度信息，S表示圖像飽和度信息[11]，融合步驟為：（1）預處理；（2）對源圖像的R、G、B三個通道進行HIS變換；（3）直方圖匹配源圖像與經過HIS變換后的亮度圖，生成與亮度直方圖分布特性類似的圖像；（4）用生成的圖像代替亮度圖，并同H、I、S分量圖進行HIS逆變換最后得到融合的圖像。

3.1.2 基于小波變換的圖像融合算法

基于小波變換的圖像融合方法，首先將源圖像經小波變換分解成為不同頻域特征，每幅圖像的相同頻域間融合，最后通過小波逆變換以獲得融合結果圖。目前在基于小波變換的圖像融合方法中，用的較多的多分辨技術是Mallat[12]法，該算法在實現過程中先按行、列再按列、行進行一維的小波變換。

3.2 基于分解和重構的間接圖像融合算法

現階段常用的基于分解和重構的圖像融合方法即多分辨率塔式圖像融合算法。

多分辨率塔式圖像融合算法中[13]，源圖像被持續過濾成塔形結構，該結構的不同層用不同的融合算法進行融合，得到一個經合成處理后的塔形結構，對其重構處理，得到合成的圖像。

3.2.1 基于高斯-拉普拉斯金字塔分解和重構的融合方法

源圖像和高斯核函數卷積并下采樣[3]，傳統的拉普拉斯金字塔融合要求源圖像的分辨率比值為偶數[3]，這一缺陷被B.Aiazzi等人改善，他們擴展了傳統的塔形結構，解決了分辨率為非偶數時的融合問題。endprint

3.2.2 基于梯度金字塔分解和重構的融合方法

為了得到梯度金字塔形結構，對高斯塔形結構里每層圖像和對應的梯度濾波器做卷積，該法可以同時反映源圖像的水平和豎直兩方向上的變化[3]。

3.2.3 基于比率低通金字塔分解和重構的融合方法

比率低通金字塔是求高斯金字塔中各級之間的比值[14]，比拉普拉斯金字塔結構更適宜人眼的視覺機理[4]。

3.2.4 基于遺傳算法的圖像融合

源圖像經過奇異值或小波分解，得到相應的奇異值或小波系數，這些系數用遺傳算法進行編碼，按照一定的順序構成一組染色體串[7]，每種可能實現的融合方法可以用每一代中的個體表示，按照遺傳算法理論，經過幾代基因的選擇、交叉及突變，用預先假定構建的評價函數，來評估某種融合方法是否有效，直到評價為收斂及終止，即找到了最優的融合方法[7]。

4 結束語

多模態圖像把兩幅待融合源圖像的互補信息按照某些準則進行科學地融合，以獲得對同一場景的全方位解釋或描述，可以更加精確全面的反映實際情況[15]。然而關于圖像融合至今沒有系統的理論框架，以至于各類融合算法的選擇、融合結果的評價機制等等都沒有科學的定論，此外成像技術飛速發展，由此帶來的如何提高融合算法的融合速度同時減少儲存空間也成為了目前研究中亟待解決的問題。

參考文獻：

[1]張素蘭.基于小波變換的多聚焦圖像融合研究[D].重慶大學，2009.

[2]古洪杰.基于圖像融合的小模數塑料齒輪齒形缺陷檢測技術研究[D].吉林大學，2009.

[3]方凱.數字圖像融合算法研究[D].西安電子科技大學，2006.

[4]莊曉嬋.圖像融合算法研究[D].西北工業大學，2007.

[5]王大偉，陳定榮，何亦征.面向目標識別的多特征圖像融合技術綜述[J].航空電子技術，2011，42（2）：6-12.

[6]石強，張斌，陳 ，等.異質影像融合研究現狀及趨勢[J].ActaAutomaticaSinica，2014，40（3）：385-396.

[7]王大偉.基于特征級圖像融合的目標識別技術研究[D].中國科學院研究生院（長春光學精密機械與物理研究所），2010.

[8]石強.基于混合智能系統的遙感影像融合分類[D].武漢大學，2014.

[9]胥妍.基于小波變換技術的圖像融合方法的研究與應用[D].山東師范大學，2008.

[10]江金娜.基于D-S證據理論的多傳感器決策級圖像融合的算法研究[D].哈爾濱理工大學，2015.

[11]譚航.像素級圖像融合及其相關技術研究[D].電子科技大學，2013.

[12]吳疆.醫學圖像融合算法研究[D].西北工業大學，2006.

[13]李娟.多聚焦圖像融合方法研究[D].湖南大學，2006.

[14]晁銳，張科，李言俊.像素級多分辨圖像融合技術概述[J].系統工程與電子技術，2004，26（1）：137-141.

[15]王麗.基于小波分析的多聚焦圖像融合算法研究[D].哈爾濱理工大學，2007.endprint