資源三號衛(wèi)星全色與多光譜影像融合方法

黃先德，周　群，王　興

(重慶郵電大學通信學院，重慶400065)

Fusion of Resources Satellite-3 Remote Sensing Panchromatic and

Multispectral Images

HUANG Xiande，ZHOU Qun，WANG Xing

?

資源三號衛(wèi)星全色與多光譜影像融合方法

黃先德，周群，王興

(重慶郵電大學通信學院，重慶400065)

Fusion of Resources Satellite-3 Remote Sensing Panchromatic and

Multispectral Images

HUANG Xiande，ZHOU Qun，WANG Xing

摘要：在處理新型高分辨率遙感衛(wèi)星影像時，傳統(tǒng)的像素級融合方法會引起綠色植被區(qū)域較大的光譜扭曲。本文提出一種適合資源三號衛(wèi)星影像的融合新方法，可以很好地解決此問題。首先對全色圖像進行低通濾波并下采樣得到退化后的圖像HP，利用回歸方法建立多光譜影像與圖像HP的方程求解回歸系數(shù)，考慮到綠色植被顏色失真嚴重，采用NDVI進行分類，分別求取綠地和非綠地的回歸系數(shù)進行分類融合。試驗結果證明，該方法在提高多光譜影像分辨率的同時，盡可能多地保持了光譜信息，特別是綠色植被區(qū)域，融合效果要好于其他方法。

關鍵詞：遙感影像融合；資源三號；線性回歸；分類；評價

一、引言

遙感是一種快速、準確、遠距離獲取大面積地物的現(xiàn)代信息技術，是智慧城市建設和地理國情普查的重要手段，是政府及相關單位準確掌握城市發(fā)展過程中各種相關信息變化的重要工具。很多國家都積極開展遙感衛(wèi)星的研制及發(fā)射工作，目前已發(fā)射的遙感衛(wèi)星有：美國的GeoEye系列衛(wèi)星和World View系列衛(wèi)星，法國的SPOT系列衛(wèi)星和Pleiades系列衛(wèi)星，德國的RapidEye衛(wèi)星，日本的ALOS系列衛(wèi)星，印度的Cartosat系列衛(wèi)星，中國的資源一號、二號、三號衛(wèi)星以及遙感1號—遙感16號系列衛(wèi)星等。大多數(shù)的地球遙感衛(wèi)星并不能直接呈現(xiàn)出高分辨率多光譜影像，而是只能同時搭載低分辨率多光譜(multispectral, MS)影像和高分辨率全色(panchromatic, PAN)影像。

資源三號(ZY-3)測繪衛(wèi)星是我國首顆民用高分辨率光學傳輸型立體測圖衛(wèi)星[1]，兼具遙感測量和地貌資源調查功能。資源三號衛(wèi)星可以同時搭載2.1 m分辨率的全色傳感器和5.8 m分辨率的多光譜傳感器，可以提供非常豐富的三維幾何信息，將實時遙感影像各種數(shù)據(jù)傳回地球。作為目前國內最新發(fā)射的遙感影像衛(wèi)星，相比國內其他遙感衛(wèi)星，資源三號遙感衛(wèi)星在影像的分辨率和圖像的精度方面都有著明顯的優(yōu)勢。相比于國外其他衛(wèi)星，雖然在分辨率方面還有一定的差距，綜合市場價格等因素，仍然具有重要的研究價值。表1為資源三號衛(wèi)星傳感器所搭載的波段參數(shù)。遙感影像融合需要將低空間分辨率的多光譜影像與高空間分辨率的全色影像進行融合，獲得同時具有豐富的光譜信息和高空間分辨率的融合影像。

表1　資源三號衛(wèi)星傳感器影像類別和波段參數(shù)

圖像融合按照研究對象可以分為3類，從低層次到高層次依次是像素級融合(pixel-level)、特征級融合(feature-level)和決策級融合(decision-level)。像素級融合保留了較多的原始圖像信息，目前研究的重點主要集中在像素級融合，其常用方法包括IHS變換法、PCA變換法、Brovey變換法。這些方法對SPOT的全色影像與低分辨率的 Landsat TM的多光譜影像融合具有非常好的效果，不僅清晰度高，而且色彩還原度也非常好。但是對于之后發(fā)射的超高型遙感影像衛(wèi)星，如IKONOS、QuickBird的全色影像與多光譜影像的融合，顏色失真非常明顯。通過對傳統(tǒng)融合方法的分析, Zhang得出了新型高分辨力遙感圖像失真的原因，由于全色影像的波段在新型傳感器中發(fā)生了變化，已從可見光波段擴展到近紅外波段，全色影像的光譜范圍要大于多光譜影像的光譜范圍[2]。

IKONOS、QuickBird 等影像在 IHS 變換融合法下進行融合時會產(chǎn)生失真，主要原因是影像的全色波段與構建的強度分量 I 之間的差異過大，直接用這樣的全色波段來替換強度分量 I易造成顏色失真。Tu等在構建 IKONOS 的低分辨率全色影像時通過加入近紅外波段，使得高分辨率全色影像與低分辨率全色影像的相關系數(shù)得到了提高，提出了廣義快速的 IHS 變換融合法(GIHS)[3]。傳統(tǒng)IHS 變換法只能進行三波段融合，而GIHS 變換融合法對此進行了改進，從三波段擴展到多波段融合，融合效果有一定的提升，但是光譜失真效果依然存在。在像素級影像融合統(tǒng)一框架確定的條件下[4]，仍然存在著對 LRP的不準確估計的問題，想要準確地獲取空間細節(jié)信息就變得非常不現(xiàn)實。因此解決影像失真的最好辦法是找到合適的LRP的構建方式。

二、衛(wèi)星的光譜響應特性

1. 遙感衛(wèi)星的光譜范圍

遙感影像衛(wèi)星中全色影像和多光譜影像的光譜覆蓋具有一定的重疊性。光譜覆蓋范圍的變化導致了光譜失真， 表2展示出了不同遙感衛(wèi)星全色影像和多光譜應的光譜覆蓋。從表中可以看出，不同的遙感衛(wèi)星，全色影像覆蓋的多光譜影像波段各不一樣，Landsat7(ETM+)的全色波段只覆蓋了紅、綠、近紅外波段，并沒有覆蓋藍色波段。IKONOS衛(wèi)星和QuickBird衛(wèi)星的光譜范圍在所有衛(wèi)星中最廣，而且覆蓋了所有波段。SPOT 5等光譜覆蓋都有一定的局限性，并沒有全部覆蓋。ZY-3雖然光譜范圍只延伸到了0.80 μm，但是也覆蓋了所有波段。由于衛(wèi)星拍攝地球受太陽光的影響，綠色植被往往比地形的反射率要高，導致拍攝的影像存在綠色植被顏色偏差的可能。

表2　全色傳感器的光譜范圍

2. 遙感衛(wèi)星的光譜響應

遙感影像衛(wèi)星大多數(shù)都可以拍攝高分辨率全色影像和低分辨率多光譜影像。最理想的是全色影像的波段覆蓋范圍剛好與多光譜影像的覆蓋范圍完美重疊，而且多光譜影像各個波段恰好分開不重疊(如圖1所示，以IKONOS為例)，達到全色波段的輻射能量完全等于多光譜影像各個波段輻射能力的和。傳感器記錄的輻射能量是入瞳處的輻射能量與傳感器的光譜響應共同作用的結果[5]。可實際情況如圖1(b)所示，全色影像的覆蓋范圍要大于多光譜影像的覆蓋范圍，而且多光譜影像的各個覆蓋范圍也沒有分離，而是相互重疊的。

Lk=∫L(λ)Rk(λ)dλ

(1)

式中，λ為波長；Lk為k波段記錄的輻射亮度值(inband radiance)；L(λ)為入瞳處的輻射能量(atapeture spectral radiance)；Rk(λ) 為波長λ處的光譜響應。資源三號衛(wèi)星的全色波段覆蓋了4個多光譜影像的波段，因此可以定義4個權值來估計全色波段的輻射值，即

Pan=wRR+wGG+wBB+wNIRNIR+other

(2)

式中，全色、紅、綠、藍、近紅外波段的輻射值分別對應關系式中的Pan、R、G、B、NIR；wR、wG、wB、wNIR為各相應波段的加權系數(shù)；other 項主要是考慮到IKONOS衛(wèi)星的全色影像的波段覆蓋要比多光譜影像的波段覆蓋要廣，因此加上這一項。對上面公式加以總結歸納可得

圖1　IKONOS衛(wèi)星的傳感器光譜響應

(3)

式中，Pan表示為全色影像；MSi表示為多光譜影像，準確地說是被全色波段光譜范圍覆蓋下的多光譜波段；wi為對應波段的加權系數(shù)；other 項則主要是因為一些衛(wèi)星的全色影像波段的覆蓋范圍要大于多光譜影像的覆蓋范圍 (如 IKONOS)，所以需要加上此項[6]。

三、融合方法

1. 像素級遙感影像融合統(tǒng)一框架

Dou 將數(shù)學推導和物理假設分離，提出了像素級遙感影像融合統(tǒng)一理論模型[4]

HRM(i,j)=LRM(i,j)+W(i,j)δ(i,j)

(4)

δ(i,j)=HRP(i,j)-LRP(i,j)

(5)

式中，HRM(i, j)為融合的高分辨率多光譜影像記錄；(i, j)為圖像在這一點具體的記錄值；LRM(i, j)為重采樣后的低分辨力多光譜影像；W (i, j)為空間細節(jié)注入方式；δ(i,j)為提取出來的細節(jié)信息。空間細節(jié)信息通過式(5)來獲得，其中，HRP表示高分辨力的全色圖像；LRP表示低分辨力的全色圖像。從以上兩個公式可看出，影像融合的關鍵在于兩個方面：① 提取空間細節(jié)信息δ；② 注入的空間細節(jié)系數(shù)W。空間細節(jié)信息主要由高分辨率全色影像和低分辨率全色影像的差值決定，高分辨率全色影像已知，那么研究重點就是如何合理地構造低分辨率全色影像LRP。LRP的構建方法既可以從高分辨率全色影像降低分辨率獲取，也可以由多光譜影像線性合成。為了增加多光譜影像與全色影像的相關性，本文研究的重點是如何利用多光譜影像去構造低分辨率全色影像LRP。

利用圖像之間的相關性擬合構造LRP。目前W還沒有形成統(tǒng)一的定論，在式(4)中，W與δ相互獨立，因此取用GIHS變換的系數(shù){1,1,1,1}[7]，方便與GIHS方法進行比較。

2.LRP的構造形式

根據(jù)上文介紹，低分辨率全色影像可以由多光譜影像經(jīng)過線性組合得到。低分辨率全色影像和高分辨率全色影像相差的是細節(jié)信息，利用其線性關系，可以得出

(6)

式中，MSi為參與擬合LRP的多光譜影像波段，或者說被全色波段光譜范圍所覆蓋的多光譜影像波段；wi為相應波段的加權系數(shù)。對于資源三號影像衛(wèi)星，i為1，2，3，4波段。本文研究的重點是加權系數(shù)wi，許多學者對此也都提出了自己的見解和看法。通過對多光譜傳感器的光譜響應值與IKONOS 全色進行線性回歸，Dou得到了適用于輻射值的加權系數(shù)w=[119 708 371180 105 230111 355 215113 615 748][8]；依據(jù)多光譜傳感器與全色光譜響應曲線覆蓋的面積，Boggione 等得到 Landsat ETM+各多光譜波段輻射值的加權系數(shù)w=[0. 250.230.52][9]。而光譜響應函數(shù)(spectral response function， SRF)是完全理想狀態(tài)下測量出來的數(shù)值，在衛(wèi)星影像的圖像攝取過程中，會受到很多方面的影響，如大氣環(huán)境狀態(tài)、衛(wèi)星拍攝影像的角度、成像造成的誤差、影像包括波段的范圍等，實際環(huán)境與需要的理想環(huán)境存在很大差距，不能直接對影像進行處理。因此根據(jù) SRF 得到的加權系數(shù)并不能對所有的影像處理都達到較好的效果，尤其是那些經(jīng)過光反射和氣候條件比較差的時候拍攝的影像。資源三號衛(wèi)星在成像過程中，需要考慮到對此有影響的傳感器調制傳遞函數(shù)(modulation transfer functions，MTF)，應該首先對Pan影像進行5×5的高斯低通濾波，并將其下采樣退化到與MS影像相同的分辨力[10]，然后根據(jù)式(6)對多光譜影像進行線性回歸，利用最優(yōu)化理論得到參與融合波段的回歸系數(shù)。

3. 基于分類思想的LRP重構

通過上文分析，低分辨率全色影像LRP可以由多光譜影像線性組成。由于衛(wèi)星影像在拍攝地面過程中，綠地的反射率要高于其他地貌，如果用統(tǒng)一的回歸方法對全體進行處理，很難達到理想的效果。因此可以采取分類回歸的方法來分別求取回歸系數(shù)，對不同的地面采取不同的方法求得各自的回歸系數(shù)。選用歸一化植被指數(shù)(normalized difference vegetation index，NDVI)來進行圖像分類，即

NDVI=(p(nir)-p(red))/(p(nir)+p(red))

(7)

式中，NDVI的范圍為-1≤NDVI≤1，如果NDVI<0，表明影像中地面覆蓋主要為云、水、雪等；如果NDVI=0，表明影像中地面為巖石或裸地等，或者說NIR和R近似值為1；如果NDVI>0，表明影像中地面主要覆蓋的為綠色植被，數(shù)值越大，表明覆蓋度越大。總體流程如圖2所示，其中，括號內的數(shù)值表示影像分辨率的大小，m、n表示多光譜影像的分辨率；t表示全色影像與多光譜影像的分辨率之比；PAN表示原始全色影像；MS表示原始多光譜影像；HP表示進行低通濾波并下采樣得到退化后的圖像。算法流程步驟如下：

1) 對全色圖像進行高斯低通濾波處理，并下采樣得到與多光譜影像相同分辨率的圖像HP。

2) 對多光譜影像進行分類回歸，采用NDVI方法分為兩類綠地和非綠地，當NDVI>0時采用綠地的回歸系數(shù)wi1，當NDVI≤0時，采用非綠地的回歸系數(shù)wi2。

3) 對不同地貌的全色影像和多光譜影像進行線性回歸，一共得到2組構建LRP的回歸系數(shù)wi1和wi2。具體回歸方法為將多光譜影像作為回歸方程中的LRM，圖像HP作為回歸方程中的LRP，構造線性回歸方程，求解回歸系數(shù)。

4) 對HRP和LRP進行直方圖匹配，采取分類回歸方法，不方便直接匹配，選取經(jīng)典的GIHS方法用強度分量I=(R+G+B+NIR)/4進行匹配。

5) 按照上述方法,根據(jù)式(6)求得低分辨率全色影像LRP。

6) 將第5)步得到的LRP用式(4)和式(5)進行融合，得到融合圖像HRM。

圖2　本文方法的流程

四、融合質量評價

常用的評價方法主要包括兩種：主觀評價和客觀評價。

良好的評價應該是客觀評價方法得到的結果與主觀評價方法得到的結果相一致或將主、客觀方法相結合進行評定。試驗中用到的客觀評價標準有相對平均光譜誤差(RASE)、相對全局維數(shù)綜合誤差(ERGAS)，以及相關系數(shù)(CC)和空間相關系數(shù)(sCC)。

1) 相對平均光譜誤差(RASE)。其中，M為原始多光譜影像的N個光譜波段的平均輻射值。RMSE為均方誤差。

(8)

(9)

2) 相對全局維數(shù)綜合誤差(ERGAS)。

(10)

式中，h表示參與融合影像的高空間全色影像的分辨率；l表示參與融合影像的低分辨率光譜圖像的分辨率；N表示參與融合圖像的波段數(shù)； Mi為每個光譜波段的平均輻射值。

3) 相關系數(shù)(CC)。R和F分別代表融合后的影像和原始多光譜影像。定義如下

Corr(R.F)=

(11)

4) 空間相關系數(shù)(sCC)[11]。先對融合影像與全色影像進行高通濾波，選用的是拉普拉斯濾波器，接著計算濾波后的全色影像與融合影像所有波段的相關系數(shù)。

五、試驗結果及評價

本文使用國內資源三號衛(wèi)星影像提供的重慶地區(qū)數(shù)據(jù)，圖像的獲取時間為2013年4月13日，全色影像和多光譜影像的分辨率分別為2.1m和5.8m，全色圖像大小為13 000像素×24 000像素，為了方便進行處理，從中選取512像素×512像素的區(qū)域，在多光譜影像中選取同樣區(qū)域進行融合。圖像區(qū)域內包含了建筑、道路、綠地、植被等，如圖3和圖4所示。為了驗證該方法的有效性，另外選取了幾種常用方法對試驗圖像進行了融合：①基于FIHS變換的融合方法；②基于GIHS變換的融合方法；③基于Brovey變換的融合方法。圖3和圖4為原始高分辨率全色影像和低分辨多光譜影像，圖5—圖7依次為FIHS方法、GIHS方法、Brovey變換方法處理的結果，圖8為本文采取分類擬合方法得到的結果。試驗通過主觀評價和客觀評價對試驗結果進行分析，基于分類構造LRP的回歸系數(shù)見表3。

表3　資源三號衛(wèi)星分類結果計算機的LRP的加權系數(shù)

從視覺效果上可以看出，4 種融合方法獲得的影像空間分辨率有明顯的提高，更加清晰、更容易判讀。FIHS和GIHS兩種方法在空間信息增強方面效果都非常好，同樣也造成了光譜失真嚴重，特別是綠色植被覆蓋區(qū)域，顏色整體偏淡，而一些藍色建筑顏色偏深，也就是說在保持光譜信息能力方面存在一定的缺陷。Brovey方法在顏色保持方面好于GIHS方法，兩者綠色植被區(qū)域均有提升，但Brovey方法在藍色建筑呈現(xiàn)方面顏色偏暗，失真嚴重，在清晰度方面遜色于GIHS方法。本文方法從目視效果來看綠色植被的還原度最高，整體顏色保持度較好，沒有明顯的失真現(xiàn)象，裸地和一些建筑方面也有提升，但是在藍色建筑方面與其他方法一樣，顏色偏暗。從清晰度來看同樣達到了良好的效果，具體比較要從客觀的評價指標來評判。

圖3　原始全色圖像

圖4　原始多光譜圖像

圖5　FIHS方法圖

在試驗中，選取近些年來使用較多的RASE、ERGAS、CC、sCC這4個參數(shù)來進行對比分析。主要考察空間信息的增強能力及光譜信息的保持能力。各個參數(shù)的統(tǒng)計值見表4。

圖6　GIHS方法

圖7　Brovey方法

圖8　本文方法

分析得出，在光譜保持性方面，由于GIHS方法加入了近紅外波段，使之與多光譜影像相關性增強，光譜保持效果明顯優(yōu)于FIHS。 Brovey方法和本文方法光譜性較好，綠色植被還原度較高，特別是本文方法，由于單獨對綠色植被進行了回歸，找出了合適的回歸系數(shù)，因此失真非常小。但是兩者也都存在著同樣的缺陷，藍色建筑方面顏色都出現(xiàn)了不同的加深。在清晰度方面略有下降，也驗證了我們目視得到的結果，GIHS在稍微降低清晰度的同時大大提高了光譜保真度。對于Brovey方法，從數(shù)據(jù)上看顏色保持方面優(yōu)于GIHS方法，但是清晰度下降太快。本文方法由于采用分類融合法，在光譜保真度方面優(yōu)于其他方法，清晰度遠遠高于Brovey方法，接近GIHS方法。

表4　圖像融合評價參數(shù)統(tǒng)計

六、結束語

本文提出了一種適合資源三號衛(wèi)星影像的融合新方法，將影像分為綠地和非綠地，采取分類回歸的方法擬合低分辨率全色圖像，可以很好地保持綠色植被的光譜特性。與其他幾種方法相比，在保證清晰度的同時，光譜信息失真明顯減少。光譜保持性和清晰度為判別圖像的兩個標準，而這兩個指標又相互對立成一種病態(tài)關系。以后的研究方向將主要集中在如何合理地構造出低分辨全色影像，對線性回歸模型的優(yōu)化、利用多種數(shù)學工具解決優(yōu)化方程將成為研究的熱點。

參考文獻：

[1]LI D R. China’s First Civilian Three-line-array Stereo Mapping Satellite: ZY-3[J]. Acta Geodaetica et Cartographica Sinica， 2012， 41(3): 317-322.

[2]ZHANG Y. Understanding Image Fusion[J]. Photogrammetric Engineering and Remote Sensing, 2004, 70(6): 657-661.

[3]TU T M， HUANG P S， HUNG C L， et al. A Fast Intensity-Hue-Saturation Fusion Technique with Spectral Adjustment for IKONOS Imagery[J]. IEEE Geoscience and Remote Sensing Letters， 2004， 1(4): 309-312.

[4]DOU W，CHEN Y H，LI X B，et al. A General Framework for Component Substitution Image Fusion：An Implementation Using the Fast Image Fusion Method [J]. Computers and Geosciences，2007，33(2)：219-228.

[5]?VAB A, O?TIR K. High-Resolution Image Fusion[J]. Photogrammetric Engineering & Remote Sensing, 2006, 72(5): 565-572.

[6]CHU H， CHEN H G，ZHU W L. A New Remote Sensing Image Fusion Algorithm in the Decimated Wavelet Domain [J]. Opto-Electronic Engineering， 2009， 36(2): 91-95.

[7]王忠武，趙忠明，劉順喜. IKONOS 圖像的線性回歸波段擬合融合方法 [J]. 遙感學報，2009，14(1)：43-54.

[8]竇聞，陳云浩. 計入波段間相關性的高通調制圖像融合方法 [J]. 紅外與毫米波學報，2010，29(2)：140-144.

[9]BOGGIONE G A, PIRES E G, SANTOS P A, et al. Simulation of a Panchromatic Band by Spectral Combination of Multispectral ETM+ Bands[C] ∥Proc. ISRSE.Waikoloa,Hawaii,USA:[s.n.], 2003：321-324.

[10]DOU W， CHEN Y H， HE H M. Theoretical Framework of Optical Remotely Sensed Image Fusion [J]. Acta Geodaetica et Cartographica Sinica， 2009， 38(2): 131-137.

[11]徐涵秋. 基于 SFIM 算法的融合影像分類研究 [J]. 武漢大學學報：信息科學版，2004，29(10)：920-923.

[12]AIAZZI B， BARONTI S， LOTTI F, et al.A Comparison between Global and Context-Adaptive Pansharpening of Multispectral Images [J]. IEEE Geoscience and Remote Sensing Letters， 2009， 6(2): 302-306.

引文格式： 黃先德，周群，王興. 資源三號衛(wèi)星全色與多光譜影像融合方法[J].測繪通報，2015(1)：109-114.DOI:10.13474/j.cnki.11-2246.2015.0023

作者簡介：黃先德(1989—)，男，碩士生，主要研究方向為遙感與影像融合與分類。E-mail： hxdlwp-0 01@163.com

收稿日期：2014-07-15

中圖分類號：P236

文獻標識碼：B

文章編號：0494-0911(2015)01-0109-06