圖像融合技術發展綜述

史敏紅

摘? 要： 圖像融合是綜合兩幅或多幅圖像信息的過程。目前醫學圖像融合發展迅速，為人們生活提供了便利。文章介紹了圖像融合的層次，圖像融合的方法和圖像融合的規則，給出圖像融合的一些評價指標，并對其發展方向進行展望。

關鍵詞： 醫學圖像融合; 融合規則; 融合算法; 評價指標

中圖分類號：TP391? ? ? ? ? 文獻標志碼：A? ? ?文章編號：1006-8228（2019）09-27-03

Summary of the development of image fusion technology

Shi Minhong

（Information College of Shanxi Agricultural University， Taigu， Shanxi 030800， China）

Abstract： Image fusion is the process of synthesizing two or more images. At present， medical image fusion develops rapidly and provides convenience for people's life. This paper introduces the level of image fusion， the method of image fusion and the rules of image fusion， gives some evaluation indexes of image fusion， and prospects its development direction.

Key words： medical image fusion; fusion rules; fusion algorithm; evaluation index

0 引言

圖像融合是綜合兩幅或多幅圖像信息的過程。由于圖像的采集場景、融合目的和使用的算法不同，需要對融合進行相應分類。根據融合過程中算法的空間域范圍，圖像融合可以分為兩類：空間域和變換域。空間域圖像融合是一種圖像融合算法，可對圖像像素執行簡單快速的操作。通過源圖像的多尺度分解來進行變換域的融合，再通過分解獲得的系數來獲得融合系數，最后進行算法重構[1]。近年來，醫學影像如CT（Computed Tomography，計算機斷層掃描成像）和MRI（Magnetic Resonance Imaging，核磁成像）為醫生的診斷提供方便。CT對骨骼成像比較清晰，MRI對軟組織成像較好，將它們融合在一幅圖像中，形成信息互補，幫助醫生準確快速地識別病變[2]。

1 圖像融合發展現狀

1.1 融合層次

一般按照融合過程中信息處理的復雜程度，融合過程如下圖1所示，將融合分為三類，基于像素層面的融合，基于特征層面的融合和基于決策層面的融合。這三個層次由低到高，目前，融合主要集中在前兩個層次，高層次的融合研究較少。

⑴ 像素級圖像融合

基于像素層面的融合是指，直接對圖像的像素進行操作得到融合圖像的過程[3]。基于像素層面的圖像融合，主要優點是對原始的圖像中所包含的信息保留較多。但是，在像素級融合前，需要得到精確配準的源圖像，否則影響融合結果。因為像素級的處理方式是基于原始的圖像的像素點，因此它對源圖像的信息丟失最少，保留最好。這有利于對圖像進一步分析、處理和理解，使得人們更容易觀察圖像，便于計算機檢測處理。

⑵ 特征級融合

基于特征層面圖像融合是指，首先從源圖像中提取圖像的特征信息，即代表圖像輪廓、紋理的信息，然后再對提取到的特征信息進行處理的過程。目前特征級多采用人工神經網絡的算法，特征級多用于目標識別。與基于像素層面的圖像融合相比，基于特征層面的圖像融合的優點是處理速度快，計算量較小，但信息丟失較多。

⑶ 決策級圖像融合

基于決策層面的圖像融合是對圖像進行判斷與推理的過程。基于決策層面的融合過程首先模擬人的判斷與分析，對圖像進行初步判定，然后對判定的結果進行相關處理，最后進行圖像融合。主要方法有：貝葉斯推理，D-S證據推理，表決法，聚類分析，模糊推理，神經網絡等。基于決策層面的圖像融合優點是可用性和可測性較好，但成本較高。與前兩個層面圖像融合相比，基于決策層面的圖像融合信息丟失最多。薛洋[4]等將卷積神經網絡用于圖像的超分辨率重建，對亮度分量重建，再通過小波的方法進行融合，有效降低了圖像信息的損失，獲得了較好的效果。

1.2 融合方法

常用的基于變換域的圖像融合算法包括DCT變換，FFT變換和多尺度變換算法等。基于變換域的多尺度分解在圖像處理時能捕捉細節信息，因此目前眾多研究機構和高校將多尺度分解作為研究的重點。多尺度變換的圖像融合主要包括塔型變換，小波變換和曲波變換。

⑴ 金字塔變換

金字塔變換由Burt P.J.和Adelson E.H.等提出。金字塔變換的優點是能較為突出的表征圖像的特征信息;存在的不足是圖像信息丟失較多，分解過程不具備方向性。楊釩[5]等對圖像融合中的塔式分解進行研究，通過實驗，分析了塔式分解過程中分解方式和層數對融合結果的影響，實驗在信息熵、標準差和平均梯度上獲得了良好的效果。

⑵ 小波變換

小波變換可以將原始圖像分解為不同的頻域子圖像，并能反映原始圖像細節。隨著小波技術的進步，小波逐漸應用到圖像處理領域。小波變換不僅可以獲得低頻信息，還可以獲得高頻部分的水平、垂直和對角線三個方向信息。與傳統的基于塔分解的方法相比，小波變換的融合效果更好。

⑶ Curvelet變換

由于小波變換獲取的方向信息比較局限，無法有效捕獲圖像的輪廓紋理特征，因此E.J.Candes等人提出了Curvelets變換。M. Choi等人第一次在多光譜圖像和全景圖像的融合中使用了Curvelet變換。 張斌等人利用Curvelet變換對紅外/可見光圖像進行融合，得到多方向的細節信息，從而獲得更好的融合效果。

⑷ Contourlet變換

Contourlet變換可以顯示多個尺度任意方向上的信息，與Curvelet變換相比計算復雜度較小。周妍等人將Contourlet變換運用到圖像增強中，通過參數的自用調節最終得到增強的圖像獲得了良好的效果。通過直方圖的均衡化得到增強的圖像。

⑸ 非采樣Contourlet變換

非采樣Contourlet變換是由A.L.Cunha等提出的，克服了Contourlet變換沒有平移不變性的缺點。張強等人將非采樣Contourlet變換運用到遙感圖像的融合中，通過對每個波段進行雙插值運算得到低頻系數，對高頻子帶系數采用物理的注入模型進行調整，得到融合后的高頻系數，最終獲得的融合圖像空間分辨率明顯提高。圖像融合流程圖如圖2所示。

1.3 融合規則

融合規則對于融合結果至關重要。在進行多尺度變換后，分別得到了圖像的低頻和高頻系數。對分解得到的系數進行相關處理則需要運用相關的融合規則，融合規則直接決定了融合圖像的質量。根據對相關系數的處理方式，融合規則分為兩類：像素選擇和區域特征。

⑴ 像素的融合規則

像素值取大和加權平均法都是基于像素的融合規則。像素值取大，是對多尺度變換后的系數進行比較，把像素值大的作為融合系數，這種方法忽略了像素之間的聯系。加權平均法主要是根據人為經驗設定閾值，將多尺度變換得到的系數乘以相關的權值，再求和，這種方法得到的圖像對比度不高。

⑵ 區域的融合規則

基于區域的融合規則又稱為基于窗口的融合規則，這種方法充分考慮了一個區域內各個像素之間的聯系。基于窗口的融合規則，首先設置窗口的大小，然后計算區域的空間特性，如空間頻率，區域方差和區域能量等，將空間特性作為最終的融合系數。武曉焱等人[6]在遙感圖像的融合中，對于圖像的高頻系數采用了Hausdorff距離，充分考慮像素之間的相關性，最終獲得了較好的融合效果。

1.4 評價指標

⑴ 熵

圖像的熵是用來測量圖像中容納信息的多少的指標。信息熵定義為：

[⑴]

其中，pi為圖像第i級灰度值的概率密度，可以從圖像的灰度直方圖中計算得到，L為圖像的總灰度級。

⑵ 平均梯度

平均梯度主要體現了圖像的細小局部信息，用來評價衡量圖像的清晰度。設F是大小為M×N的圖像，F在位置（i，j）處的灰度值為F（i，j），平均梯度表達式如下：

[⑵]

[G]值越大，圖像越清晰。

⑶ 標準差

標準差體現了圖像在某一點的灰度對于總體的平均值的偏離分散情況。標準差可以用來表示圖像容納的信息量。標準差定義為：

[std=i=1Mj=1N（F（i，j）-μ）2MN]? ?⑶

其中，F（i，j）為圖像的均值;μ為圖像在此處的灰度值，圖像大小為M×N。

⑷ 空間頻率

空間頻率表示圖像的活躍度，反映了圖像的清晰程度，其值越大，融合結果越清晰。其公式為：

SF =[RF2+CF2]? ? ⑷

其中，RF為圖像的行頻率，CF為圖像的列頻率。

[RF=1M×Ni=1Mj=1N（I（i，j）-I（i，j-1））2]? ⑸

[CF=1M×Ni=1Mj=1N（I（i，j）-I（i-1，j））2]? ⑹

2 總結與展望

本文介紹了圖像融合的發展、圖像融合的層次和圖像融合的方法，以及融合規則，給出了圖像融合的評價指標，對圖像融合的研究提供一定的參考價值，對最新的融合方法的研究將是以后工作的重點。同時，對彩色圖像的融合是今后的研究方向。

參考文獻（References）：

[1] 鄭靜.基于Contourlet變換的圖像融合算法研究[D].山東科技大學，2011.

[2] 李德智，陳宏達，畢鋒等.多模態分子影像技術在腫瘤診斷中的進展[J].分析化學，2016.44（10）：1609-1618

[3] 黃卉， 檀結慶. 一種基于區域分割的圖像融合方法[J].合肥工業大學學報（自然科學版），2005.28（6）：577-580

[4] 薛洋，曾慶科，夏海英，王文濤.基于卷積神經網絡超分辨率重建的遙感圖像融合[J].廣西師范大學學報（自然科學版），2018.36（2）：33-41

[5] 楊釩，錢立志，劉曉.塔型分解多源圖像融合方法[J].計算機技術與發展，2018.12：1-4

[6] 武曉焱，柴晶，劉帆，陳澤華.基于最小Hausdorff距離和NSST的遙感圖像融合[J].光子學報，2018.47（2）：187-198