王治中 張慶君
(1 中國空間技術研究院總體部,北京 100094)
(2 中國資源衛(wèi)星應用中心,北京 100094)
遙感數(shù)據(jù)融合是一種信息融合處理技術,可以克服單一遙感影像在幾何、光譜和空間分辨率等方面的局限性,提高遙感圖像的質量(quality,以下同),減少信息的不確定性,提高遙感影像的解譯能力[1]。融合技術廣泛用于土地利用調查、地質災害、土地分類等行業(yè),是遙感影像處理和分析領域中非常重要的研究內容[2-4]。為了提高遙感衛(wèi)星數(shù)據(jù)的應用潛力,研究人員提出了許多遙感影像融合方法,并對Quickbird、CBERS-02B、Landsat、SPOT等遙感衛(wèi)星數(shù)據(jù)進行了大量的融合效果分析研究[5-8]。
“資源一號”02C衛(wèi)星于2011年12月21日成功發(fā)射,是根據(jù)我國國土資源主體業(yè)務需求定制的第一顆業(yè)務遙感衛(wèi)星,主要應用于我國的國土資源調查、農業(yè)估產、環(huán)境保護、綜合減災救災等領域。全色/多光譜相機(panchromatic and multispectral sensor,PMS)是“資源一號”02C衛(wèi)星的主要載荷之一,包括一個全色波段(panchoromatic,PAN)和綠、紅、近紅外三個多光譜波段(multispectral,MUX),主要參數(shù)如表1所示。

表1 “資源一號”02C衛(wèi)星PMS相機主要參數(shù)Tab.1 The main parameters of ZY-1-02C satellite PMS sensor
自發(fā)射成功以來,“資源一號”02C衛(wèi)星PMS數(shù)據(jù)已經在諸多行業(yè)廣泛應用,為了更好地挖掘其數(shù)據(jù)的應用潛力,有必要根據(jù)其數(shù)據(jù)特點研究分析合適的融合方法。本文以“資源一號”02C衛(wèi)星PMS數(shù)據(jù)中的高分辨率全色影像和低分辨率多光譜影像作為數(shù)據(jù)源,比較研究了Brovey比值[9]、高通調制濾波(high pass modulation,HPM)[10]、色彩變換(intensity,hue and saturation,IHS)[11]、梯度金字塔[12]等四種常用遙感影像融合方法,從主觀評價和定量分析兩個方面對四種方法的融合效果進行綜合評價。結果表明,IHS變換法可以很好地保持PMS數(shù)據(jù)多光譜影像的光譜信息,梯度金字塔可以顯著增加融合后影像的空間細節(jié)信息。
遙感影像融合方法可以分為空間域、分量替換、多尺度分析三類。空間域方法對影像的像素進行空間域處理,特點是融合波段的個數(shù)無限制,常用的有比值融合法和高通濾波法。分量替換方法利用某種變換方法對多光譜影像進行坐標空間變換,得到影像的空間細節(jié)部分和光譜信息部分,用高分辨率全色影像代替空間分量,逆變換后得到融合圖像,常用的方法有 IHS色彩變換法和主成分分析法(principal component analysis,PCA)。多尺度分析方法利用多分辨率工具分解影像,得到不同空間頻帶上空間細節(jié)信息系數(shù)和近似圖像數(shù)據(jù),根據(jù)規(guī)則對系數(shù)和圖像數(shù)據(jù)進行融合處理,重構后得到融合圖像,常用的多分辨率分析方法有金字塔方法和小波方法。
Brovey比值法將全色影像與比值直接相乘,全色影像的空間信息可以全部融合到新圖像中,分辨率較高。其算法簡單,運算速度快,是最為常用的一種比值融合方法,算法步驟如下[9]:
1)對各個波段的低分辨率多光譜影像進行插值,得到與高分辨率影像大小和分辨率一致的多光譜影像XSj。
2)將多個波段的低分辨率多光譜影像XSj直接累計相加求出估計的低分辨率全色影像PANXS,

式中 j為多光譜影像的波段。
3)將高分辨率全色影像PANHR與低分辨率全色影像PANXS相比得到比值,各個波段的低分辨率多光譜影像XSj再乘以比值,得到各個波段的融合影像XPj,

該方法特點是全色影像的空間信息可以全部融合到新圖像中,但是光譜信息是在假設按照一定線性比例分配到新圖像中,會造成光譜信息的丟失和失真。此外,對于非全色波段之外的紅外波段數(shù)據(jù)無法融合。當全色影像的分辨率較高,且地物較為凌亂時,會引入全色影像的過多細節(jié)信息,導致融合影像出現(xiàn)大量噪點,并且光譜信息丟失。因此,聶倩等通過在Brovey公式中引入多光譜的比例參數(shù),加大了光譜信息在融合過程中的作用,減少光譜信息的丟失且降低了噪聲[9]。
HPM法也稱為加權高通濾波法,是另一種常用的空間域融合方法,算法步驟如下[10]:
1)對各個波段的低分辨率多光譜影像進行插值,得到與高分辨率影像大小和分辨率一致的多光譜影像XSj;
2)高分辨率全色影像PANHR與各個波段的低分辨率多光譜影像XSj相乘;
3)用低通濾波后得到的全色影像進行歸一化處理,公式為

式中 hlow為低通濾波器,對全色影像進行卷積處理。
該方法將高分辨率全色影像與低分辨率多光譜影像相乘,并用低通濾波后得到的影像進行歸一化處理。低通濾波器的尺寸由高分辨率全色影像與低分辨率多光譜影像的分辨率之比決定。特點是光譜扭曲較小,但是低頻濾波會丟失全色影像的紋理信息,也會引入高頻噪聲。
IHS方法屬于分量替換類融合方法,利用IHS顏色空間變換對影像進行融合處理。由于IHS顏色空間可以較好地描述人的顏色感知能力,因此IHS融合方法得到了廣泛的應用,算法步驟如下[11]:
1)對低分辨率多光譜影像XSj進行IHS變換,得到色度(H)、強度(I)、飽和度(S)三個分量。變換式包括球體變換、圓柱體變換、三角形變換、單六角錐變換等。本文使用最為常用的圓柱體變換,公式為:

式中 V1和V2為計算色度H和飽和度S的中間變量。
2)用全色影像PANHR作為新的I分量,與H分量和S分量進行IHS逆變換,得到融合圖像。
為了提高高分辨率全色影像與低分辨率多光譜影像的I分量的相關性,要以I分量為標準,對其進行匹配變換,使之與I分量有相同的灰度均值和標準偏差。常用的匹配變換的方法有:直方圖匹配、Wallis濾波器匹配。該方法的特點是一次操作即可完成三個多光譜影像波段的變換,但最多也只能處理三個波段。由于假設被替換的I分量完全是高頻紋理細節(jié)信息,不含任何光譜信息,因此會造成光譜信息丟失。
梯度金字塔法屬于多尺度分析融合方法,它基于人類視覺系統(tǒng)的空間頻率函數(shù)(對比敏感度)提取影像的梯度變化信息,比其它拉普拉斯金字塔和對比度金子塔方法,更為常用。算法步驟如下[12]:
2)對高斯金字塔中每層圖像Gk(除最高層外)進行水平[1,-1]、垂直[-1,1]和兩個對角線共四個梯度信息的提取,公式為:

式中 GPkq為第k層第q方向梯度塔形圖像;dq為第q方向的梯度算子;是低通濾波器。
4)重構拉普拉斯金字塔,公式為:

該方法從多個尺度上分別提取圖像的水平、垂直、45°對角線和 135°對角線等四個梯度信息,有效保留了全色影像的細節(jié)信息。但是該方法使用了多次卷積運算,計算量和復雜度均大于其它三種方法。為了提高融合效果,需要選擇合適的金字塔系數(shù)和融合規(guī)則。劉貴喜使用梯度金字塔分解待融合的兩幅影像,分別計算每層每個方向上影像的局部區(qū)域能量值,通過計算該區(qū)域的兩幅影像的匹配度選擇較大的區(qū)域能量值作為像素值,提高了融合結果的光譜信息[12]。
融合影像質量評價方法可以分為主觀定性評價和客觀定量評價兩種[13]。主觀定性評價具有簡單直觀的特點,但評價速度慢,易受人為因素和觀測條件的干擾。客觀定量評價能夠對大量圖像進行快速評價,但評價指標不夠全面,需要根據(jù)需求從多個方面進行多指標評價。目前,普遍采用兩者結合的辦法對融合影像質量進行綜合評價。
定性評價是由判讀人員通過人眼直接對圖像質量進行評估。當融合圖像與原圖之間差異比較明顯時,這種方法可以快速地得出準確的評判結果。而當差異較小時,該方法則往往不能給出一個準確的判定。定性評價主要從空間細節(jié)信息、影像清晰度、色彩等三個方面進行。通過對圖像上的田地邊界、道路、居民地輪廓、建筑物邊緣等地物的比較,可直觀地得到圖像在空間細節(jié)信息、清晰度等方面的差異。通過對比不同地物顏色之間的差異,得出圖像在色彩保持度方面的差異。
定量評價是基于數(shù)學統(tǒng)計方法,度量融合過程中輸入圖像信息正確轉化到輸出圖像的能力。研究人員從人眼視覺系統(tǒng)出發(fā),提出了包含多個評價指標的客觀定量評價體系,覆蓋圖像的亮度信息、光譜信息、圖像信息量、圖像清晰度等四個方面[14-15]。
2.2.1 亮度信息
亮度信息主要針對M×N大小的融合影像F(m,n)的像素統(tǒng)計信息進行評價,常用指標包括均值和標準差。

影像標準差σ用來評價影像反差的大小,反映了影像的像素灰度離散情況。如果標準差大,則影像灰度分布分散,可以反映出更多的圖像信息。如式(8)所示:

2.2.2 光譜信息
光譜信息通過比較 M×N大小的融合影像F(m,n)和插值后原多光譜影像B(m,n)之間的像素統(tǒng)計關系,評價融合影像的光譜信息保持能力,常用指標包括偏差、偏差指數(shù)、相關系數(shù)。
偏差δ是指兩幅圖像之間的平均誤差,也稱為光譜扭曲程度,公式為:

偏差指數(shù)ε,也稱為相對偏差,描述了兩幅圖像之間灰度值的相對差異,反映了兩者在光譜信息上的匹配程度,計算公式為:

相關系數(shù)Ccorr反映兩幅圖像之間的相似程度,

式中f為圖像F(m,n)的均值;b為圖像B(m,n)的均值。
2.2.3 圖像信息量
圖像信息量是基于信息論理論,從像素概率的角度評價M×N大小的融合影像F(m,n)的質量,常用指標包括信息熵和互信息。
信息熵ρ是指圖像包含信息量多少,可以反映紋理信息豐富程度,公式為:

式中 P(l)為像素灰度的概率;l表示圖像像素灰度的取值范圍,即灰度級數(shù)。
互信息Imu,又稱為相關熵,衡量融合圖像從源圖像中獲取信息的多少,計算公式為:

式中 pAB為像素灰度的聯(lián)合概率;pA為影像A的像素灰度概率;lA是影像 A的像素灰度級數(shù);pB影像B的像素灰度概率;lB是影像B的像素灰度級數(shù)。
2.2.4 圖像清晰度
圖像清晰度利用像素之間的差分獲取圖像中梯度變化情況,評價融合影像的清晰程度,常用指標包括平均梯度和空間頻率。
平均梯度Grad反映圖像中微小細節(jié)反差和紋理變換特征,值越大圖像越清晰,公式為:

空間頻率SF反映了影像的空間總體活躍程度,空間頻率越大,融合效果越好,計算公式為:

使用“資源一號”02C衛(wèi)星北京地區(qū)的PMS數(shù)據(jù)作為試驗數(shù)據(jù),分別用上文提到的Brovey比值法、HPM濾波法、IHS變換法和多梯度金字塔法對全色影像和多光譜影像進行融合處理,對融合結果從主觀定性和客觀定量兩個方面進行評價。
試驗所用的PMS數(shù)據(jù)于2014年1月14日在北京地區(qū)成像,包含了建筑物、道路和農田等地物信息,大小為900×900像素。經過配準后,誤差在0.5個像素之內,多光譜數(shù)據(jù)將近紅外波段作為紅色波段(R),紅波段作為綠色波段(G),綠波段作為藍色波段(B),進行真彩色合成顯示。全色(PAN)數(shù)據(jù)如圖1(a)所示,多光譜(MUX)數(shù)據(jù)如圖1(b)所示。4種融合方法的融合影像見圖1(c)~圖1(f)。

圖1 融合前后圖像Fig.1 Original image and fusion images
從整體視覺上看,四種融合方法都得到了高分辨率的多光譜影像。從圖1影像中分別選取田地和建筑物的局部放大圖,如圖2~3所示。從紋理細節(jié)上看,四張融合影像都較原始多光譜影像紋理內容更加豐富。Brovey比值、IHS變換和梯度金字塔三種方法的清晰度和空間細節(jié)表現(xiàn)能力較好,原始多光譜影像上無法準確識別的田地、道路、建筑物邊緣等線狀地物融合后變得明顯。HPM濾波法由于采用了高斯濾波器提取低分辨率全色影像,降低了全色影像中的地物邊緣輪廓,使得融合圖像的清晰度效果不如其它三種方法。
從光譜特征上看,IHS變換、Brovey比值和HPM濾波三種方法的光譜信息保持的較好,與原多光譜影像中的地物顏色基本一致。梯度金字塔方法的融合影像色彩變化明顯,而且整體灰暗,不利于地物信息提取,這是因為融合過程中利用拉普拉斯濾波器從全色影像中提取的空間細節(jié)信息較強地影響了多光譜影像的光譜信息,丟失了光譜信息。

圖2 融合前后田地放大圖Fig.2 Enlarged image of land from original image and fusion image

圖3 融合前后道路和建筑物放大圖Fig.3 Enlarged Image of road and building from original image and building image
從亮度信息、清晰度、光譜信息和信息量等四個方面對四種融合方法進行定量評價,統(tǒng)計結果見表2。
(1)亮度信息
把表2中圖像的亮度信息(多光譜圖像為三個波段亮度信息的均值)用折線圖表示,見圖4。梯度金字塔法的均值和標準差最大,這是因為在融合過程中拉普拉斯濾波器從水平、垂直、正向對角線、反向對角線等4個方向上提取了全色影像的梯度信息,增強了融合影像的灰度值。IHS變換法雖然均值比原多光譜影像略微降低,但是標準差超過了原多光譜影像,使得融合后影像的反差有所增加。HPM濾波法采用低頻濾波器,使得融合影像丟失了全色影像空間細節(jié)信息,造成HPM方法的均值和標準差最低。因此,亮度信息指標最好的為梯度金字塔法,其次為IHS變換法,再次為Brovey比值法,最后為HPM濾波法。

表2 融合影像定量評價統(tǒng)計Tab.2 The quantitative evaluation statistics of fusion images

圖4 亮度信息Fig.4 Brightness
(2)光譜信息
把表2中圖像的光譜信息(多光譜圖像為三個波段光譜信息的均值)用折線圖表示,如圖5所示。為了加大各值的差異,縱軸坐標用10的對數(shù)表示。IHS變換法的偏差和偏差指數(shù)均最小,說明該方法對原多光譜影像的光譜扭曲程度最小。梯度金字塔的偏差和偏差指數(shù)最大,說明光譜信息保持能力最差,這與定性評價的結果基本一致。在相關系數(shù)方面,四種方法相差不大,HPM濾波法的相關系數(shù)是最高的,說明該方法的融合影像保持了與原多光譜影像最高的線性相似程度。其它三種方法的相關系數(shù)均在0.88左右,與 HPM濾波法的結果相差不大,也較好地保持了與原多光譜影像的線性相似程度。因此,光譜保持能力最好的為IHS變換法,其次為Brovey比值法,再次為HPM濾波法,最后為梯度金字塔。

圖5 光譜信息Fig.5 Spectrum information
(3)信息量
把表2中圖像的信息量(多光譜圖像為3個波段信息量的均值)用折線圖表示,如圖6所示。四種融合方法融合影像的信息熵均高于原多光譜影像,其中梯度金字塔法的信息熵最大。從互信息角度看,HPM濾波法從原多光譜影像中獲取的信息最多,從全色影像中獲取的空間信息最少,這與該方法相關系數(shù)指標最高的結果一致。IHS變換法則相反,與原多光譜影像的相關系數(shù)最低。因此,梯度金字塔方法的信息量指標最好,Brovey比值法次之,再次為IHS變換法,HPM濾波法最差。

圖6 信息量Fig.6 Information
(4)清晰度
把表2中圖像的清晰度(多光譜圖像為三個波段清晰度的均值)用折線圖表示,如圖7所示。四種融合方法的平均梯度和空間頻率都超過了原始的多光譜影像,說明均增加了空間細節(jié)的紋理信息。其中,梯度金字塔法的平均梯度值和空間頻率值最大,說明該方法融合后的影像可以更好地突出空間細節(jié)紋理信息。HPM濾波法在清晰度方面最差,甚至低于全色影像,說明該方法的融合影像沒有提高清晰度,這與定性評價的結果是一致的。因此,梯度金字塔法的清晰度最好,IHS變換法次之,再次為Brovey比值法,最后為HPM濾波法。

圖7 清晰度Fig.7 Clearness
本文以“資源一號”02C衛(wèi)星PMS數(shù)據(jù)為例,使用IHS變換、HPM濾波、Brovey比值、梯度金字塔等四種常用的遙感影像融合方法進行了數(shù)據(jù)融合試驗,從定性評價和定量評價兩個方面對四種方法的融合結果進行了分析比較。定性分析結果表明,梯度金字塔、IHS變換和Brovey比值三種方法的空間細節(jié)信息明顯,IHS變換、Brovey比值和HPM濾波三種方法較好地保持了光譜信息。定量分析結果表明,梯度金子塔法在亮度信息、信息量和清晰度方面優(yōu)于其它三種方法,但是丟失了原多光譜圖像的光譜信息,光譜保持能力較差。IHS變換法在光譜保持方面表現(xiàn)最好,與原多光譜影像相比,光譜扭曲度較小,但是亮度信息和清晰度表現(xiàn)能力一般。Brovey比值法在所有定量評價方面表現(xiàn)居中。HPM濾波法由于采用高斯濾波器提取低頻信息,丟失了較多的全色影像空間細節(jié)信息,在亮度信息、信息量和清晰度方面表現(xiàn)最差。因此,定性評價和定量評價的結果基本一致。
由此可見,四種方法中,IHS變換融合方法在保持光譜信息方面具有突出的特點,梯度金字塔融合方法則在亮度信息、信息量和清晰度等空間信息增強方面具有突出的特點。為了進一步挖掘“資源一號”02C衛(wèi)星PMS數(shù)據(jù)的應用潛力,作者下一步將嘗試將IHS變換和梯度金字塔兩種方法進行結合,研究新的融合算法,以獲得在增強空間信息和保持光譜信息方面效果更好的融合影像。
References)
[1] 賈永紅. 多源遙感影像數(shù)據(jù)融合技術[M]. 北京: 測繪出版社, 2005: 4-5. JIA Yonghong. Data Fusion Technology of Multiple Remote Sensing Image[M]. Beijing: Surveying Press, 2005: 4-5. (in Chinese)
[2] 薛振山, 楊曉梅, 蘇奮振, 等. CBERS-02與SPOT-5融合數(shù)據(jù)及海岸帶土地利用調查中應用能力綜合評價[J]. 遙感技術與應用, 2009, 24(1): 97-102. XUE Zhenshan, YANG Xiaomei, SU Fenzhen, et al. Application Research of Fused Image of CBERS-02 and Spot-5 Data in Land Use Monitoring of Coastal Zone[J]. Remote Sensing Technology and Application, 2009, 24(1): 97-102.(in Chinese)
[3] 薛東劍, 張東輝, 何政偉, 等. 多源遙感影像融合技術在地質災害調查中的應用[J]. 遙感技術與應用, 2011, 26(5): 664-669. XUE Dongjian, ZHANG Donghui, HE Zhengwei, et al. Application of Multi-source Remote Sensing Image Fusion in Geohazard Investigation[J]. Remote Sensing Technology and Application, 2011, 26(5):664-669.(in Chinese)
[4] 趙德剛, 占玉林, 劉成林, 等. 面向土地覆蓋分類的MODIS影像融合研究[J]. 遙感技術與應用, 2009, 24(6): 827-831. ZHAO Degang, ZHAN Yulin, LIU Chenglin, et al. MODIS Image Fusion for Land Cover Classification[J]. Remote Sensing Technology and Application, 2009, 24(6): 827-831.(in Chinese)
[5] 張寧玉, 吳泉源. Brovey融合與小波融合對QuickBird圖像的信息量影像[J]. 遙感技術與應用, 2006, 21(1): 67-70. ZHANG Ningyu, WU Quanyuan. Information Influence on QuickBird Images by Brovey Fusion and Wavelet Fusion[J]. Remote Sensing Technology and Application, 2006, 21(1): 67-70.
[6] 王奇, 李杏朝, 李俊杰, 等. CBERS-02B星HR與CCD影像融合研究[J]. 遙感技術與應用, 2008, 23(4): 467-470. WANG Qi, LI Xingchao, LI Junjie, et al. Evaluation on Fusion of CBERS-02B CCD and HR Images[J]. Remote Sensing Technology and Application, 2008, 23(4): 467-470.(in Chinese)
[7] 于君明, 周藝, 王世新, 等. ETM+影像融合的評價分析[J]. 遙感技術與應用, 2009, 22(6): 733-738. YU Junming, ZHOU Yi, WANG Shixin, et al. Evaluation and Analysis on Image Fusion of ETM+[J]. Remote Sensing Technology and Application, 2009, 22(6): 733-738.(in Chinese)
[8] 林麗娟, 徐涵秋, 陳靜潔, 等. 異源、同源傳感器影像融合的比較研究[J]. 遙感技術與應用, 2010,25(5): 619-626. LIN Lijuan, XU Hanqiu, CHEN Jingjie, et al. Study on the Comparison of Image Fusion for the Same-source and Different-source Sensor[J]. Remote Sensing Technology and Application, 2010, 25(5): 619-626.(in Chinese)
[9] 聶倩, 閆利, 蔡元波. 一種Brovey變換圖像融合法的改進算法[J]. 測繪信息與工程, 2008, 33(3): 38-39. NIE Qian, YAN Li, CAI Yuanbo. Improved Brovey Transform Image Fusion Method[J]. Journal of Geomatics, 2008, 33(3): 38-39.
[10] LIU J G. Smoothing Filter-based Intensity Modulation: a Spectral Preserve Image Fusion Technique for Improving Spatial Details[J]. International Journal of Remote Sensing, 2000, 21(18): 3461-3472.
[11] WELCH R, EHLERS M. Merging Multiresolution SPOT HRV and Landsat TM Data[J]. Photogrammetric Engineering and Remote Sensing, 1987, 53(3): 301-303.
[12] 劉貴喜, 趙曙光, 楊萬海. 基于梯度塔形分解的多傳感器圖像融合[J]. 光電子激光, 2001, 12(3): 293-296. LIU Guixi, ZHAO Shuguang, YANG Wanhai. Multi-sensor Image Fusion Scheme Based on Gradient Pyramid Decomposition[J]. Journal of Optoelectronics Laser, 2001, 12(3): 293-296.(in Chinese)
[13] 王海暉, 彭嘉雄, 吳巍. 評價多傳感器圖像融合效果方法的比較[J]. 紅外與激光工程, 2004, 33(2): 189-193. WANG Haihui, PENG Jiaxiong, WU Wei. Comparison of the Methods of Evaluating the Performance of Multi-sensor Image Fusion[J]. Infrared and Laser Engineering, 2004, 33(2): 189-193.(in Chinese)
[14] 黎新亮, 趙書河, 柯長青, 等. 遙感圖像融合定量評價方法及實驗研究[J]. 遙感技術與應用, 2007, 22(3): 460-465. LI Xinliang, ZHAO Shuhe, KE Changqing, et al. The Study of Methods of Quantitative Evaluation on Remote Sensing Image Fusion and Actualization[J]. Remote Sensing Technology and Application, 2007, 22(3): 460-465.(in Chinese)
[15] 李超, 朱滿, 趙家平. 多源遙感影像融合效果的定量評價研究[J]. 測繪與空間地理信息, 2010, 33(3): 143-146. LI Chao, ZHU Man, ZHAO Jiaping. Research of Quantitative Methods for Evaluation of Multi-source Remote Sensing Image Fusion[J]. Geomatics & Spatial Information Technology, 2010, 33(3): 143-146.(in Chinese)