遙感圖像融合效果評估方法

周 芳，王鵬波，李春升

(北京航空航天大學電子信息工程學院，北京 100083)

0 引言

多傳感器信息融合是指對由多個傳感器獲取的信息進行多層次、多角度處理，得到具有和原信息相關或集成特性的綜合信息。傳感器的概念是廣義的，不僅包括物理意義上的各種感知平臺，而且還包括與觀測環境相匹配的各種信息獲取系統[1]。圖像融合是多傳感器信息融合的一個重要應用領域，圖像融合充分利用多傳感器圖像所具有的冗余特性和互補特性，有效提升傳感器獲取圖像的質量。

圖像融合的概念始于20世紀70年代末，1979年Daliy等人首先將雷達圖像和Landsat-MSS衛星圖像的復合圖像應用于地質解釋，其處理過程可視為最簡單的圖像融合[2]。1981年Laner和Told進行了Landsat-RBV和MISS圖像數據的融合處理[3]。20世紀80年代中期圖像融合技術已逐漸成為遙感圖像處理與分析中的熱點課題，遍及可見光、紅外、多光譜、合成孔徑雷達(SAR)圖像等。

隨著圖像融合技術的發展以及應用領域的擴大，針對圖像融合效果評估技術的研究日趨成為一個熱點問題，直接影響融合技術的發展。客觀、全面、準確、定量的評估可用來指導圖像融合處理過程，優化融合系統，優選融合算法，提升融合圖像質量。圖像融合效果評估是一個十分復雜的問題，在理論和實現上都有相當難度，目前尚未建立公認的、統一的、全面的、對比性強的評估準則和方法。

圖像融合評價體系是研究圖像融合技術的重要組成部分。深入探討圖像融合的評估準則和方法是十分必要和急需的，相對于圖像融合方法研究的多樣性，國內外文獻中很少涉及對融合算法或融合圖像進行評價的研究[4]。David指出，目前的數據融合技術缺乏嚴格的測試和評估方法，需要進行高標準的算法開發、測試和評估，建立標準的測試準則，進行完善的評估[5]。如何建立評價機制，對信息融合系統進行綜合分析和評價，衡量融合算法的性能，是一個亟待解決的問題[1]。可見，開展融合圖像質量評估的研究具有十分重要的現實意義。

1 遙感圖像融合處理模型

遙感圖像融合處理是指將2個或多個傳感器在同一時刻或不同時刻，以協同或非協同方式獲取的同一地面場景加以綜合、集成，生成一個信息更為豐富、置信度更高的遙感圖像。如果將各傳感器獲取的圖像視為理想場景，那么圖像融合處理就可看成是根據各傳感器獲取的圖像完成對理想場景的最優估計問題。

遙感圖像融合處理模型:假設存在理想場景R，光學傳感器和合成孔徑雷達(SAR)傳感器獲取的圖像均是理想場景R的局部反映，其反映的內容分別是βoR和βsR，于是多傳感器遙感圖像將滿足下述模型

式中:I表示傳感器獲取的圖像;β表示傳感器增益因子;W表示獲取遙感圖像中的噪聲。光學圖像中噪聲服從高斯分布，SAR傳感器服從伽瑪分布，下標O表示光學傳感器，下標S表示SAR傳感器，n表示光學傳感器的數量，m表示SAR傳感器的數量。

針對方程組式(1)，直接采用最小均方誤差估計方法，得到融合處理結果

式中:C為輸入圖像噪聲的協方差陣;H為傳感器增益因子矩陣。^R為理想場景R的最佳估計，即理想融合圖像。圖像融合效果評估就是客觀全方面地評價最佳估計效果。

2 融合圖像的主觀評價

圖像融合效果評估較為復雜，涉及到評估準則、指標體系和評估方法。評估方法目前分為兩大類，即主觀評估方法和客觀評估方法。主觀評估是采用目測方法，判讀人員通過目測直接對融合圖像質量進行評估。主觀評估的評價標準往往根據圖像類型和應用場合進行選擇和制定。表1給出了國際上規定的五級質量尺度和妨礙尺度作為主觀評價標準，也稱為主觀評價5分制[1]。

表1 主觀評價標準

主觀評價效果不但與融合圖像的品質有關，而且和判讀人員的心態、視覺特性以及判讀經驗等主觀因素有關，評價重復性差，帶有較強的片面性。主觀評價只能給出定性的評價結果，但仍是目前一種常用的評價方法。

3 融合圖像的客觀評價

3.1 基于單因素指標的圖像融合效果評估

獨立單因素評價指標[4]是針對單幅圖像定義的評價指標。通過分別計算原始圖像或融合圖像的單因素指標，分析2種圖像指標的差異，判斷圖像融合效果。單因素評價指標理論性強，物理意義明確，獨立性好，評價效果易于判斷。目前，常用的單因素評價指標有:

(1)基于圖像信息特征的評價指標有圖像信噪比[6]、峰值信噪比[6]、空間頻率[1]、邊緣信息保持度[4]、小波系數平均能量[7]等;

(2)基于圖像統計特征的評價指標有均值(灰度平均值)[4，8]、相關系數[9]、方差[6]、均方差[6]、均方根誤差[1]、歸一化最小方差[6]等;

(3)基于圖像信息量特征的評價指標有互信息[10-11]、信息熵[12]、聯合熵[6]、交叉熵[13]、差熵[1，14]等;

(4)基于圖像形狀特征的評價指標有圖像均值[9]、偏差度[9，15]、相對偏差度[9]、平均梯度[16]等。

獨立單因素評價指標是目前融合圖像客觀評價的常用方法，適用性好，實施方便，可觀性強。文獻[17]中，為了分析獨立單因素客觀評價方法的效果，針對常用單因素評價指標，應用同一地區的異質圖像，基于小波和像素平均融合算法進行圖像融合處理，對融合效果進行了大量仿真計算，給出了評價結果，有較好的參考意義。

3.2 基于圖像質量指標的融合效果評估

圖像質量指標是用來評價遙感圖像性能的指標，是目前通用的評價方法。通過分別計算原始圖像和融合圖像的質量指標，對比差異的變化，可以客觀地獲得圖像融合效果的評估結果。

反映遙感圖像質量指標的有:

(1)空間分辨率。空間分辨率定義為點目標沖激響應半功率點處的寬度，它是衡量遙感系統分辨兩個相鄰地物目標的能力，包括方位向分辨率和距離向分辨率。

(2)峰值旁瓣比。峰值旁瓣比定義為點目標沖激響應的最高旁瓣峰值PSm與主瓣峰值Pm的比值，即，峰值旁瓣比在物理意義上表征成像雷達系統對微弱目標的檢測能力。

(3)積分旁瓣比。積分旁瓣比定義為旁瓣能量與主瓣能量的比值。積分旁瓣比定量地描述了一個局部較暗區域被來自周圍明亮區域的能量泄漏所淹沒的程度，是局部圖像對比度的衡量指標。積分旁瓣比越小，則圖像質量越高。

(4)輻射分辨率。輻射分辨率是衡量SAR遙感圖像灰度級分辨率的一種度量，表示區分目標后向散射系數的能力，是通過對目標均勻場景的統計特性來確定的。設σ為均勻場景的均方差，μ為均勻場景的均值，定義圖像的等效視數為L=μ2/σ2。等效視數越高，則圖像輻射率越好，有利于SAR遙感圖像的判讀。

4 遙感圖像融合效果評估實驗

融合效果評估是遙感圖像融合技術的重要組成部分，在處理實際問題時往往需要針對具體的應用場合優選不同的評估方式和適當的評價指標。下面考察SAR圖像與光學圖像的融合效果評估。由于重點在于保持SAR圖像和光學圖像的特征，減小噪聲對圖像判讀的影響，此時如信息熵、標準差等評價指標將不適用。為了準確評價SAR圖像和光學圖像的融合效果，此處選用相關系數ρ和峰值噪聲比PSNR作為評估指標。

圖像的相關系數[19]反映了兩幅圖像的相關程度，通過對比融合前后圖像的相關系數，能夠評價融合處理對圖像紋理的保持特性。融合前后兩幅圖像的相關系數定義為

式中:F和A分別表示融合圖像和原圖像;f和a分別為融合圖像與源圖像的均值。

在實際評估時，首先分別計算融合圖像F與源圖像A、B的相關系數ρFA和ρFB，然后利用來衡量總的相關系數。相關系數越大，說明融合圖像從源圖像中獲得的信息越多，融合效果越好。

峰值信噪比[20]反映了融合圖像中的噪聲大小。通過對比不同融合處理算法所得到的融合圖像中的峰值信噪比，能夠比較各種算法對噪聲的抑制能力。目前圖像處理中通常采用的峰值信噪比定義為

式中:F和R分別表示融合處理后的圖像和參考圖像。

峰值信噪比的定義雖然簡單明了，但在實際中其應用卻存在很大的局限性，這主要是由于在計算中需要標準的參考圖像，而在實際應用中往往無法獲取參考圖像。一種近似的估算方法，首先計算融合圖像的局部方差

式中:μ(x，y)表示在(x，y)處的局部均值。

然后將圖像中局部方差最小的區域看作平坦區域，利用圖像局部方差的最大值和最小值之比作為圖像峰值信噪比的估計。

圖1為光學遙感圖像，圖2為同一地區的SAR圖像，圖3a)、b)、c)、d)是分別利用最大值準則、局部方差準則、顯著性水平測度準則和基于統計模型的融合處理準則的融合結果。表2給出了4種圖像融合準則下融合結果的定量化評估指標值。

圖1 光學圖像

圖2 SAR圖像

圖3 SAR圖像與光學圖像的融合結果

表2 評估結果

從表2可以看出，受斑點噪聲的影響，傳統的最大值準則、局部方差準則、顯著性水平測度準則都會造成局部特征的損失，影響融合處理效果。相比較而言，基于遙感圖像統計模型的融合處理算法在抑制圖像斑點噪聲方面優于其他3種準則，故其具有較高的峰值信噪比。4種圖像融合處理方法的相關系數較為接近，這表明四種圖像融合處理方法在圖像特征保持方面都具有相當的融合效果，有利于遙感圖像的特征提取。

5 存在的問題和發展趨勢

融合效果評估是優化圖像融合系統、提升融合圖像質量的關鍵技術之一，由于圖像融合效果評估的復雜性和難度，目前評估技術和方法尚不成熟，諸多技術問題尚待進一步突破，存在的主要問題是:

沒有建立一套公認的、全面系統的定量化評估準則及其相應的評估指標體系。評估方法大多是基于獨立單因素指標或圖像質量指標分析和評價圖像融合效果，這些方法注重單指標，缺乏全局性，評價側重點較為局限[17]，不能給出系統性的、全面的、令人信服的評價結論。

圖像融合效果評估結論缺乏可比性。在圖像融合效果評估中，要求評估結論平穩和具有可比性，目前無論采用獨立單因素指標或圖像質量指標進行評估，大多是針對圖像中的點目標特征。點目標的選取以及點目標樣本數的選取含有較多人為主觀因素，因而評估結論不夠客觀，同一幅圖像，不同判讀員可能得出不同的評估結果，缺乏可比性。

圖像融合效果評估有效性檢驗。對于圖像融合效果評估結論要求充分正確和可信，目前開展的圖像融合效果評估是一種開放式的評估方法，缺乏對圖像融合效果評估方法正確性和結論置信度的研究。

6 結束語

圖像融合效果評估是圖像融合技術的重要組成部分，通過評估可以優化圖像融合系統，優選融合算法，提升融合圖像質量，對遙感圖像融合技術的發展和應用領域的開拓都有重要意義。由于圖像融合效果評估的復雜性，目前尚未構建一種公認的、通用的和行之有效的定量評估準則和指標體系。

圖像融合效果評估體系的研究是圖像融合技術的重要組成部分，對促進遙感圖像融合技術的發展具有十分重要的意義。本文針對遙感圖像融合建立了融合模型，重點分析了圖像融合效果主、客觀評價方法的研究現狀，討論了目前圖像融合效果評估中存在的主要問題。從遙感圖像融合技術的發展，結合目前存在的問題，建立一套公認的、全面系統的、置信度高的遙感圖像融合效果評估準則和方法是遙感圖像融合領域亟待解決的問題和研究方向。

[1]韓崇昭，朱洪艷，段戰勝，等.多源信息融合[M].北京:清華大學出版社，2006.Han Chongzhao，Zhu Hongyan，Duan Zhansheng，et al.Multi-source information fusion[M].Beijing:Tsinghua University Press，2006.

[2]Daily R I，Farr T，Elachi C.Geologic interpretation from composited radar and Landsat imagery[J].Photogrammetric Engineering and Remote Sensing，1979，45(8):1109-1116.

[3]Laner D T，Todd W J.Land cover mapping with merged Landsat RBV and MSS stereoscopic images[C]//Proceedings of the ASP Fall Technical Conference.San Francisco:[s.n.]，1981:680-689.

[4]敬忠良，肖 剛，李振華.圖像融合——理論與應用[M].北京:高等教育出版社，2007.Jing Zhongliang，Xiao Gang，Li Zhenhua.Image fusion:theory and applications[M].Beijing:Higher Education Press，2007.

[5]David L H，James L.An introduction to multisensor data fusion[J].Proceedings of the IEEE，1997，85(1):6-23.

[6]陽方林，郭紅陽，楊風暴.像素級圖像融合效果的評價方法研究[J].測試技術學報，2002，16(4):271-279.Yang Fanglin，Guo Hongyang，Yang Fengbao.Study of evaluation methods on effect of pixel-level image fusion[J].Journal of Test and Measurement Technology，2002，16(4):276-279.

[7]Wald L，Ranchin T，Manglini M.Fusion of satellite image of different spatial resolutions，assessing the quality of resulting images[J].Photogrammetric Engineering and Remotes Sensing，1997，63(3):691-699.

[8]魏鐘銓.合成孔徑雷達衛星[M].北京:科學出版社，2001.Wei Zhongquan.Synthetic aperture radar satellite[M].Beijing:Science Press，2001.

[9]李弼程，魏 俊，彭天強.遙感影象融合效果的客觀分析與評價[J].計算機工程與科學，2004，26(1):42-46.Li Bicheng，Wei Jun，Peng Tianqiang.Objective analysis and evaluation of remote sensing image fusion effect[J].Computer Engineering and Science，2004，26(1):42-46.

[10]崔艷梅，倪國強，鐘堰利，等.利用統計特性進行圖像融合效果分析與評價[J].北京理工大學學報，2000，20(1):102-106.Cui Yanmei，Ni Guoqiang，Zhong Yanli，et al.Analysis and evaluation of the effect of image fusion using statistics parameters[J].Journal of Beijing Institute of Technology，2000，20(1):102-106.

[11]康 圣，王江安，宗思光，等.圖像融合的量化評價方法及實驗分析[J].光電子技術與信息，2006，19(2):59-63.Kang Sheng，Wang Jiangan，Zong Siguang，et al.Objective evaluation and experimental analysis of multisensor image fusion[J].2009，19(2):59-63.

[12]劉貴喜，趙曙光，陳文錦.紅外與可見光圖像融合的多分辨率方法[J].光電子·激光，2004，15(8):980-984.Liu Guixi，Zhao Shuguang，Chen Wenjing.Multi-resolution scheme appropriate to fusing infrared and visible lightimages[J].Journal of Optoelectronics Laser，2004，15(8):980-984.

[13]楊 烜，裴繼紅，楊萬海.基于模糊積分的融合圖像評價方法[J].計算機學報，2001，24(8):815-818.Yang Xuan，Pei Jihong，Yang Wanhai.Fusion evalution using sugeno's integral[J].Chinese Journal of Computers，2001，24(8):815-818.

[14]李樹濤，王耀南，張昌凡.多傳感器圖像融合的客觀評價與分析[J].儀器儀表學報，2002，23(6):651-654.Li Shutao，Wang Yaonan，Zhang Changfan.Objective evaluation and analysis of multisensor image fusion[J].Chinese Journal of Scientific Instrument，2002，23(6):651-654.

[15]劉振華，張 冰，于文震.SAR圖像與其他源圖像融合算法[J].現代雷達，2007，29(2):56-59.Liu Zhenhua，Zhang Bing，Yu Wenzhen.Image fusion algorithm of SAR image and other source images[J].Modern Radar，2007，29(2):56-59.

[16]Schistad Solberg A H.Multi-source classification of remote sensed data fusion of landsat TM and SAR images[J].IEEE Transactions on Geoscience and Remote Sensing，1994，32(4):768-778.

[17]朱衛剛，周蔭清，徐華平，等.遙感圖像融合效果客觀評價[J].火力與指揮控制，2010，35(2):1-5.Zhu Weigang，Zhou Yinqing，Xu Huaping，等.Survey of remote sensing image fusion assessment[J].Fire Control and Command Control，2010，35(2):1-5.

[18]黃永紅，毛士藝，周蔭清.星載SAR圖像質量評估[J].信息獲取與處理技術，1995(1):1-9.Hunag Yonghong，Mao Shiyi，Zhou Yinqing.Spaceborne SAR image quality assessment[J].Information Processing and Access technology，1995(1):1-9.

[19]夏明革，何 友，黃曉東.多傳感器圖像融合效果評價方法研究[J].電光與控制，2003，10(2):31-35.Xia Mingge，He You，Huang Xiaodong. Performance measure rules of multi-sensor image fusion[J].Electronics Optics and Control，2003，10(2):31-35.

[20]Liu J W，Yin Q，Guo P.A new strategy to improve image fusion effect[C]//Proceedings of 2006 International Conference on Machine Learning and Cybernetics.[S.l.]:IEEE Press，2006:3770-3775.