多源遙感影像融合質量性能評估研究

張應剛 ，余先川 ，張 林，張 靜

（1.機械科學研究總院集團有限公司，北京 100044；2.北京師范大學 信息科學與技術學院，北京 100875）

0 引言

近年來，隨著圖像處理技術的蓬勃發展，圖像融合技術也日趨成熟，對融合圖像融合性能質量評價越來越重要，尤其是對多源遙感影像融合質量的性能評估，是一項具有重要意義工作。如何對多源遙感融合影像進行科學合理的性能評價，是值得圖像處理研究者深入思考的問題，融合影像質量性能的優劣直接影響研究人員對融合算法改進以及研究新的融合算法有著非常重要的作用。所以，對多源遙感融合影像進行定性、定量的性能評價分析的指標選取直接影響評價結果，目前，提出對融合圖像評估指標很多，但對多源遙感融合影像性能評估相對較少，一些研究者如Zhang[1]、Klonus[2]、Helmy[3]。等研究者發現融合圖像性能評估存在著許多問題，比如融合圖像的目視結果與融合圖像評價結果相反或者不一致，這樣，對融合影像的融合算法優劣無法做出判斷。

本文將國內外常用的遙感影像融合質量評價的指標主要進行三方面性能分析：1）相似功能性能評價結果一致性；2）多源影像同一融合算法結果的魯棒性；3）定性定量評價結果的一致性。本文通過多個實驗結果分析，選出可靠性強、穩定性高的性能評價指標，以提升遙感影像融合質量性能評價工作的質量和效率，從而滿足現實應用的需要。

1 影像融合性能評價指標

多源遙感影像融合是通過一定的融合策略來獲得質量較好的融合影像結果，滿足實際應用的需要。質量高的融合影像不但能繼承多光譜影像光譜信息，而且還要具備高分辨率的影像細節信息。因此，影像融合性能評價指標主要是評價融合影像的光譜信息和空間信息。考慮到很多評價指標需要參考圖像，本文采用Thomas[4,5]。提出的參考圖像的構建方案：將待融合圖像通過線性插值分成兩組（一組是相對高分辨率的多光譜圖像和全色或SAR圖像，一組是相對低分辨率的多光譜圖像和全色或SAR圖像）；將這兩組待融合圖像分別融合得到兩組不同分辨率的融合圖像；對光譜信息進行評價時，將（相對）低分辨率的融合圖像和（相對）低分辨率的原始多光譜圖像進行比較；對空間信息進行評價時，將（相對）高分辨率的融合圖像和（相對）高分辨率全色或SAR圖像進行比較。

經過配準后高分辨率的遙感影像和相對低分辨率的原始影像分別設為Ah和Bil（其中i代表第i個波段），將Bil插值成Binterpin，將Ah進行壓縮采樣至Al，用相同的融合方法對（Ah，Binterpih）和（Al，Bil）分別進行融合，得到分辨率為h的融合圖像Fih和分辨率為l的融合圖像Fil。其中Fil（x，y）、Fil（x，y）表示Fih或Fil中坐標為（x，y）的點的像素值，Ah（x，y）或Al（x，y）表示Ah或Al中坐標為（x，y）的點的像素值，Bil（x，y）或（x，y）表示Bil或Binterpih中坐標為（x，y）的點的像素值。hM和hN分別是融合影像Fih的行數和列數，lM和lN分別是Fil的行數和列數，總灰度級為L，μ為影像亮度均值。

1.1 融合影像光譜信息評價

對于融合的遙感影像光譜信息性能評價主要指光譜信息保持度和光譜扭曲度。如：光譜角、交叉熵、光譜互信息、均方根誤差、光譜相關系數、偏差指數、ERGAS等是最常用的評價指標。下面對這些評價指標簡要分析。

1）相關系數（correlation coefficient，CC）：是指融合影像與原始的多光譜影像的相關程度，相關系統的取值范圍是-1到1，融合影像對原影像信息保持越好，則兩幅影像相關性大，相關系數就越接近于1；反之亦然。其計算公式如式(1)所示[6]：

2）偏差指數（relative bias，RB）：是指融合影像與參考影像的灰度差值的平均值，稱之為相對偏差，表示融合影像與參考影像光譜信息的匹配程度。其計算公式如式(2)所示[7]：

3）結構相似度（structure similarity index，SSIM）：是指融合影像與參考影像間的相似程度，其中含對比度分量、亮度分量和結構分量。結構相似度的取值范圍是0到1，SSIM的值越大，則兩幅影像越接近相同，反之亦然。其計算公式如式(3)所示[8]：

式中，參數α，β，γ＞0對三分量進行加權，通常取α=β=γ=1；方差σIF、σIR是分別影像的對比估計值；其估計結構分量是協方差σIFIR。L為影像總灰度級，C1，C2，C3是非常小正常量，C1=（K1L）2，C2=（K2L）2，C3=C2/2，K1=0.01，K2=0.03，目的是避免分母接近零是不穩定。

4）均方根誤差（root-mean-square error，RMSE）：亦稱標準誤差SE（Standard Error），一般而言，均方根誤差比標準差更具說服力。常用式(4)表示[9]：

5）交叉熵（cross entropy，CE）：又常稱為相對熵，是度量兩幅影像之間的差異程度，交叉熵CE值越小，說明兩幅影像間的差異就越小，反之亦然。其計算公式如式(5)所示[10]：

式中pBil(i)為多光譜圖像Bil的灰度分布，pFil(i)為融合圖像Fil的灰度分布，交叉熵越小說明兩幅圖像越相似，該指標可以用來評價融合結果圖像與原始多光譜圖像的差異。

6）光譜互信息（mutual information, MI）：表示融合圖像與參考圖像的互信息[11]。參考影像與融合影像的相似度越大則MI值越高。表達式為：

其中，Fil和Bil的邊緣分布用p（f），p（b）表示，聯合分布用p（f，b）表示。

7）光譜角（spectral angle mapper，SAM）：表示融合圖像與參考圖像之間的光譜扭曲程度。計算公式如式(7)所示。

如果沒有光譜扭曲則光譜角為0。

8）相對整體維數綜合誤差（relative dimensionless global error，ERGAS）：表示融合圖像與參考圖像之間的光譜扭曲程度[12]。計算公式如式(8)所示[13]：

其中，全色影像與多光譜影像空間分辨率之比為h/l，K表示波段數。ERGAS值為0是最理想。

綜上可知，融合影像的光譜信息質量保持最佳是：融合影像與多光譜影像的相關系數、光譜互信息、結構相似度的值最大，偏差指數、均方根誤差、交叉熵、光譜角和ERGAS最小。

1.2 對融合影像空間信息評價

對圖像空間信息評價的方面關注的主要有融合圖像的信息量、細節和紋理的豐富程度。選取了常用的七個指標：均方差、信息熵、平均梯度、空間頻率、空間互信息、空間相關系數和空間ERGAS。

1）均方差MSE（Mean Square Error）[14]：也稱標準差（standard deviation，STD），是影像信息豐富程度的一個衡量指標，值越大說明灰度級分布越分散，從而包含的信息量越大，信息越豐富。計算公式如下：

2）信息熵（information entropy，IE）：是衡量影像信息豐富程度的重要指標[12]。融合影像Fih，灰度分布為p={p0，p1，…，pi，…，pL-1}，其中，pi表示第i個像素的像素個數同總像素數的比。根據香農定理，這幅圖像的信息量可以用用式(10)來表示：

融合影像的信息越豐富，其信息熵的值越大，融合質量就越好，成正比列。

3）平均梯度（average gratitude，AG）[14]：是指影像空間細節信息表達，呈現影像的清晰程度，同時，還可反映影像紋理特征與微小細節反差。影像越清晰則AG值就越大。其計算公式為：

4）空間頻率（spatial frequency，SF）：是描述影像空間總體活躍程度的，含空間行頻率RF與空間列頻率CF[15]。影像融合效果越好則說明空間頻率越大。其公式為：

RF和CF的均方根為影像總體空間頻率，也即是：

5）空間互信息（spatial mutual information，sMI）：表示融合圖像與高分辨率圖像的互信息。公式如式(15)所示：

其中，Fih和Ah的邊緣分布用p（f），p（a）表示，聯合分布用p（f，a）表示。

6）空間相關系數（spatial correlation coefficient，sCC）[16]：是描述融合影像同高分辨率影像間的相關程度，公式如式(16)所示。

7）空間相對整體維數綜合誤差（spatial relative dimensionless global error，sERGAS）：表示融合圖像與高分辨率圖像之間的扭曲程度。公式如式(17)所示[17]：

綜上，遙感融合影像空間質量性能優劣與標準差、信息熵、空間互信息等評價指標相關。融合影像空間性能越好其標準差、信息熵、平均梯度、空間頻率值就越大；ERGAS的值越小，融合影像與高分辨率影像的空間互信息及相關系數就越大。

2 融合影像分析

2.1 實驗結果

本文的實驗數據是不同衛星傳感器且為不同地物的四組遙感影像數據。它們分別是：第一組為IKONOS的多波段的多光譜影像及高分辨的全色波段影像數據，影像數據是北京師范大學海淀校區，主要地物是操場（含真草坪、塑膠草坪）、教學樓、樹木等，如圖1(a)、圖1(b)所示，其中，多光譜影像由B2、B3、B4三個波段合成的假彩色影像，多光譜分辨率為4米，全色影像分辨率為1米。第二組的數據采用的是中巴地球資源衛星（CBERS）一號的影像、Landsat ETM+的影像數據。其實驗區是廣東珠海斗門區，試驗區中地物含有水體、農田、林地、城鎮用地和荒地五種，如圖2(a)、圖2(b)所示，其中，多光譜影像是由B1、B2、B3三個波段合成的假彩色影像。第三組是2008年為德國TerraSAR-X衛星遙感影像數據，實驗區域是珠三角地區，其影像數據是雷達影像空間分辨率為1m和多光譜分辨率為10m的SPOT5遙感影像，多光譜影像是由B1、B2、B3三個波段合成的假彩色影像，如圖3(a)、圖3(b)所示。第四組實驗數據來自2002年廣東省肇慶市的TM影像（由B5、B4、B3三個波段合成）以及ENVISAT-1衛星ASAR傳感器拍攝的分辨率為30m的ASAR影像。

采用的融合方法有Multiplicative e[18]、Gram-Schmidt（GS）[19]、Brovey[21]和Non-Subsampled Contourlet Transformation（NSCT）[20,21]。融合結果如圖1(c)～圖1(f)、圖2(c)～圖2(f)、圖3(c)～圖3(f)和圖4(c)～圖4(f)所示。

圖1 原始圖像及不同融合算法的融合結果圖像（第一組）

圖2 原始圖像及不同融合算法的融合結果圖像（第二組）

圖3 原始圖像及不同融合算法的融合結果圖像（第三組）

圖4 原始圖像及不同融合算法的融合結果圖像（第四組）

2.2 性能分析

遙感影像融合圖像性能分析主要采用定性和定量分析，對于目視解譯的定性評價也重要，是影像性能分析的前提基礎，如果融合影像的目視解譯效果太差，那么，后續的就沒必要做定量分析。從圖1～圖4可知，融合后的影像的分辨率和清晰度都有所提高，則說明其空間信息和光譜信息能較好的融合。但從圖5局部放大仍可看出差別。將圖5中融合結果與MS圖像對比可以看出不同融合圖像在光譜信息保持上的差異，其中NSCT對源圖像的色彩信息保持的最好，Multiplicative次之，再次是Gram-Schmidt，Brovey最差，融合算法Multiplicative和Gram-Schmidt采用替換分量的策略，因此融合后的影像造成較大的光譜扭曲，而Brovey則受配準精度的影像，出現斑塊現象，造成光譜失真。在圖5中還能分辨出空間細節上的差異，融合算法Gram-Schmidt則是最優，算法NSCT則比較清晰，算法Brovey則次之，而Multiplicative算法則最差。對每組融合影像采用不同性能評價指標進行定量的分析，其評價結果如表1～表4所示，評價結果取三個波段的均值。

圖5 圖1～圖4中6幅影像的局部放大圖

表1 對第一組實驗融合結果質量的定性、定量評價結果

表1（續）

表2 對第二組實驗融合結果質量的定性、定量評價結果

表3 對第三組實驗融合結果質量的定性、定量評價結果

根據上述表格數據，便于觀察結果，將評價數據繪制圖6、圖7所示的折線圖，并將各指標進行歸一化處理映射到對應的數值區域，與此同時還進行定性的目視光譜信息評價、空間信息評價，并將偏差指數、均方根誤差、交叉熵、光譜角、ERGAS、sERGAS的結果數值取反，使得指標的結果都是正向關系。如圖6、圖7所示進行性能分析。

表4 對第四組實驗融合結果質量的定性、定量評價結果

圖6 融合影像光譜信息質量評價

圖7 融合影像空間信息質量評價

對融合影像光譜信息定量評價指標的性能評估：

1）性能指標評價一致性：從圖6可知，四組實驗中評價結果具有一致性的指標有CC、SSIM、RMSE、SAM和ERGAS；其中，性能評價指標SSIM和CC的一致性很強，是由于SSIM和CC的計算公式結構較為相似；而RMSE與ERGAS一致性也很強，其原因是ERGAS的計算式(6)中包含RMSE計算式(4)，RMSE則是除以圖像均值反映的是相對變化，而RMSE則是絕對變化。RB、CE和MI與其他指標一致性最差。

2）指標的魯棒性：同一影像融合算法性能較好的評價指標，不同影像的評價結果具有魯棒性，如圖6可得到如下排序：CC＞SAM＞SSIM＞ERGAS＞RMSE＞RB＞CE＞MI。

3）定量與定性評價結果比較：定量的指標評價結果應與定性的目視評價結果一致。從圖6中可以看到4組實驗中，定性的目視光譜信息評價與定量的不同指標評價結果比較：

第一組：SAM、ERGAS＞CC＞SSIM＞RMSE＞RB＞CE、MI；

第二組：CC＞ERGAS＞SAM＞SSIM＞RMSE＞RB＞CE、MI；

第三組：CC＞SAM、ERGAS＞SSIM＞RMSE＞CE＞RB＞MI；

第四組：SAM、RMSE、SSIM＞CC、ERGAS＞RB＞CE＞MI。

可以看出：CC、SAM和ERGAS表現最好。

綜上所述，在對融合影像光譜信息定量評價的指標中，性能最好的指標是CC、SAM和ERGAS。

對融合影像空間信息定量評價指標的性能評估：

1）指標間評價結果的比較：從圖7中可以看出，四組實驗中評價結果具有一致性的指標有STD、AG、SF、sERGAS和IE；其中一致性最強的指標為STD、AG和SF，原因在于STD的式(9)、AG的式(11)和SF的式(12)結構比較相似。sMI和sCC與其他指標一致性最差。

2）指標的魯棒性：從圖7中統計出各指標的魯棒性，排序如下：STD ＞ sERGAS＞ AG、SF＞IE＞sCC＞sMI。

3）指標評價結果與定性評價結果的比較：從圖7中可以看出4組實驗中，目視的空間信息評價與不同空間信息評價結果比較：

第一組：AG、sERGAS＞SF、IE、STD＞sCC＞sMI；

第二組：AG、SF＞sERGAS、STD＞IE＞sCC＞sMI；

第三組：AG、sERGAS＞SF＞STD＞sCC＞IE＞sMI；

第四組：AG、SF＞sERGAS、STD＞IE＞sCC＞sMI。

可以看出：AG和sERGAS表現最好。

綜上所述，在對融合影像空間信息定量評價的指標中，性能最好的指標是AG和sERGAS。

根據光譜信息和空間信息評價比較，4種融合算法的評價結果：融合算法NSCT中融合結果的光譜質量最好，Multiplicative次之；而空間信息質量最好則是Gram-Schmidt融合結果，其次是NSCT；融合算法NSCT在光譜和空間信息保真度上是最優的，且與定性目視解譯結果基本一致。

3 結論

本文通過選取功能相似的評價指標對4種不同融合算法影像融合實驗結果進行定性和定量分析，其定性與定量評價是否一致、同一融合算法對同一指標、不同影像融合結果的魯棒性是否一致三個方面進行性能評價。

本文選Multiplicative、Gram-Schmidt、Brovey和NSCT四種常用融合算法對不同傳感器兼具不同地物特征的多源遙感影像進行融合實驗。其實驗結果表明，融合影像保持較好光譜信息評價指標有SAM、CC、ERGAS；融合影像空間信息保持較好的評價指標有AG或sERGAS。通過對融合影像結果進行定性、定量的性能評價比較，對融合算法的優化，融合影像評價工作質量，融合算法改進以及研究新的融合算法等都具有非常重要的現實意義。