一種國產高分衛星遙感影像變分融合方法

尹 峰， 孟祥超， 梁 鵬

(1.湖北省國土資源研究院，武漢 430071； 2. 武漢大學資源與環境科學學院，武漢 430079)

0 引言

近年來，國產高分衛星得到了快速發展，然而，相比于QuickBird和IKONOS等國外衛星影像，部分國產高分衛星(如高分一號(GF-1)、高分二號(GF-2)和吉林一號等)各波段影像相對較模糊。因此，有針對性地發展國產高分衛星遙感影像全色/多光譜波段的融合方法，以提高影像數據的整體質量十分必要。

全色/多光譜影像融合方法起源于20世紀80年代[1-2]。1986年SPOT-1衛星同時提供全色和多光譜影像以來，融合方法得到了近30 a的快速發展。一般而言，融合方法可歸為3類[3-4]： 成分替換類融合方法、多分辨率分析融合方法和基于模型的融合方法。其中，成分替換類方法是最簡單的也是最流行的融合方法，該類方法已被廣泛應用到了ENVI和ERDAS等專業遙感軟件中。該類方法首先基于光譜變換得到亮度分量，然后通過全色影像替換亮度分量的方式對多光譜影像進行空間信息增強，經典方法有主成分分析融合方法[5]、Gram-Schimidt(GS)融合方法[6]、Intensity-Hue-Saturation (IHS) 融合方法[5]等。多分辨率分析融合方法基于小波變換或拉普拉斯金字塔等工具提取全色影像的高空間結構信息，并采用一定的注入模型將提取的空間結構信息注入到多光譜影像中得到高空間分辨率融合影像[7]，如多孔小波融合方法[8]、拉普拉斯金字塔融合方法[9]和Contourlet 小波融合方法[10]等。針對成分替換類融合方法和多分辨率分析融合方法，Tu 等[11]進一步將其擴展到同一個融合框架，很大程度上促進了全色/多光譜融合方法的發展。

盡管已提出了大量成分替換類融合方法和多分辨率分析融合方法，然而這些方法都是根據某種假設進行簡單正向求解得到融合影像，缺少強有力的數學理論基礎和嚴密的邏輯關系，因此基于模型的影像融合方法[12-15]的開發得到了廣泛關注。該類方法將融合影像的求解過程看成病態逆問題，基于影像觀測模型建立能量函數，通過優化求解得到融合影像。其中，基于變分的融合方法[16-17]最具代表性，其建立的能量函數總體可分為3項： 光譜保真項、空間增強項和先驗項，三者之中光譜保真項和空間增強項最為關鍵。然而現有方法中這2項對影像數據特點考慮不足，主要表現為光譜保真項僅簡單考慮融合影像各波段與多光譜觀測影像對應波段之間一對一的空間降質關系，對影像波段間光譜關系考慮不足； 空間增強項則未顧及國產衛星全色影像存在的模糊降質問題。

因此，針對上述問題，本文提出一種基于變分的國產高分衛星全色/多光譜融合方法。該方法充分考慮國產高分衛星影像特點，基于光譜梯度的三維光譜高保真項和顧及全色影像模糊降質的改進空間增強項，對國產高分衛星遙感影像在有效提升多光譜影像空間分辨率的同時，最大程度地保持其光譜信息。

1 理論與方法

充分考慮融合影像與全色、多光譜影像之間的關系，以及國產高分衛星影像特點，提出一種基于變分的全色/多光譜高保真融合方法。假設融合影像為X=[X1,X2，...，XB]T，其中B為波段數，原始多光譜影像為Y=[Y1,Y2，...，YB]T，全色影像為Z，則融合模型表示為

E(X)=fspectral(Y,X)+fspatial(Z,X)+fprior(X) ,

(1)

式中：fspectral(Y,X)為光譜保真項，建立融合影像X與多光譜影像Y之間的關系；fspatial(Z,X)為空間增強項，建立融合影像X與全色影像Z之間的關系；fprior(X)為先驗項。

1.1 改進的三維光譜高保真項

傳統光譜保真項基于多光譜影像模型[1, 15, 18]，建立融合影像各波段與多光譜影像相應波段之間一對一的空間降質關系，表示為

(2)

式中：A表示模糊降采樣過程；b表示波段序號。然而，該保真項對多光譜影像波段與波段之間的光譜關系考慮不足，故提出基于光譜梯度的三維光譜高保真項，即

(3)

1.2 改進的空間增強項

傳統空間增強項假設理想高空間分辨率融合影像和全色影像具有相似的空間結構信息，然而，通過比較國產衛星(如GF-1，GF-2和吉林一號等)全色影像與國外衛星(QuickBird和IKONOS等)全色影像發現，國產高分衛星全色影像相對較模糊。基于梯度結構信息，提出顧及全色影像模糊降質的改進空間增強項，合理建立理想高空間分辨率融合影像與全色影像之間的關系，即

fspatial(Z,Xb)=‖Z-,

(4)

fspatial(Z,Xb)=‖Z-f(,

(5)

式中f(·)表示矩匹配函數[19]。

1.3 融合模型與優化求解

基于改進的三維光譜高保真項和顧及全色影像模糊降質的空間增強項，并結合經典拉普拉斯先驗建立融合目標函數，即

(6)

式中λ1和λ2為正則化參數。

針對目標函數，通過梯度下降法求解得到融合影像。

對式(6)求導，即

(7)

式中：ΔH和ΔV分別為水平方向和垂直方向上的拉普拉斯運算； (·)std為標準差運算。

通過連續的迭代逼近運算得到融合影像，迭代公式為

(8)

式中：n為迭代次數；tb,n為第b波段的迭代步長，通過對目標函數進行二階泰勒級數展開得到。迭代終止條件為

(9)

式中d為預設迭代終止閾值，本文設置為10-7。

2 實驗與分析

選用GF-1和GF-2國產衛星影像進行融合實驗。其中，GF-1影像數據獲取地點為捷克某地，獲取時間為2013年4月28日，全色影像空間分辨率為2 m，多光譜影像空間分辨率為8 m。GF-2影像數據獲取地點為伊朗某地，獲取時間為2014年9月4日，全色影像空間分辨率為0.81 m，多光譜影像空間分辨率為3.24 m。為了進行全面驗證，所選用實驗數據包含了植被、水體、建筑物和農田等多種地表覆蓋類型，并基于模擬實驗和真實實驗，從定性和定量2方面分別對融合方法進行評價分析，其中定量評價采用全色/多光譜融合中4個最常用的評價指標，包括相關系數 (correlation coefficient，CC)[15]、峰值信噪比(peak signal-to-noise ratio，PSNR)[20]、相對全局誤差 (relative dimensionless global error in synthesis，ERGAS)[21]和光譜角(spectral angle mapper，SAM)[15]。此外，提出方法與典型的GS融合方法、局部自適應成份替換融合方法(partial replacement adaptive component substitution，PRACS)[22]和ATWT-M3融合方法[8]進行比較分析。為了進一步驗證改進的三維光譜高保真項在融合影像光譜保持上的優勢，實驗結果與基于傳統光譜保真項的融合結果也進行了對比。本文提出方法中模型參數根據大量實驗測試以人工經驗設定，除特別說明外，參數設置為：λ1=10，λ2=0.001，空間增強項模糊核大小根據全色與多光譜空間分辨率比率設定為(2r+1)×(2r+1)，其中空間分辨率比率r=4，方差為0.5。

2.1 模擬實驗

根據Wald等[23]提出的獲取參考影像的方法，首先，按全色和多光譜影像空間分辨率比率對原始影像數據進行空間降質； 然后，原始多光譜影像作為參考影像對融合結果進行評價。模擬實驗采用GF-1和GF-2衛星影像數據，實驗結果分別如圖1和圖2所示。從定性評價方面，GF-1實驗結果中GS方法具有較好的空間結構信息，但存在較大的光譜畸變； PRACS和ATWT-M3的融合結果光譜保持較好，但空間結構信息較模糊。相比于其他方法，本文方法在2種光譜保真項模式下均能取得較好的融合效果，在色彩上更加接近參考影像，同時空間結構更加清晰。與GF-1融合結果相比，GF-2模擬實驗結果視覺上GS方法融合效果在光譜上有所改善； 其他方法展現出與GF-1類似的實驗結果。進一步開展定量評價研究，定量評價結果如表1和表2所示。

(a) 多光譜影像 (b) 全色影像 (c) GS方法 (d) PRACS方法

(e) ATWT-M3方法 (f) 基于傳統光譜保真項融合方法 (g) 本文方法 (h) 參考影像

圖1GF-1模擬實驗結果

Fig.1FusionresultsoftheGF-1simulatedexperiment

(a) 多光譜影像 (b) 全色影像 (c) GS方法 (d) PRACS方法

(e) ATWT-M3方法 (f) 基于傳統光譜保真項融合方法 (g) 本文方法 (h) 參考影像

圖2 GF-2模擬實驗結果Fig.2 Fusion results of the GF-2 simulated experiment表1 GF-1模擬實驗定量評價Tab.1 Quantitative evaluation of the fusion results in the GF-1 simulated experiment

表2 GF-2模擬實驗定量評價Tab.2 Quantitative evaluation of the fusion results in the GF-2 simulated experiment

從表1和表2可以發現，相比于其他方法，本文方法定量評價結果最好，其中最優定量評價結果以加粗表示，次之以斜體表示。相比于傳統光譜保真項，本文方法基于三維光譜保真項在光譜保持上也更有優勢。其中，在CC，PSNR，ERGAS和SAM這4個定量評價指標中，SAM優勢較為明顯，這是因為改進的三維光譜保真項可更好地保持波段間光譜關系，具有更佳的光譜保持能力。

2.2 真實實驗

基于原始GF-1和GF-2影像數據進行真實實驗。由于在該實驗中沒有參考影像，根據Wald準則[23]，將融合影像重采樣到與原始多光譜影像相同的空間分辨率進行定量評價。實驗結果分別如圖3和圖4所示，表3和表4分別為定量評價結果。通過與模擬實驗結果對比發現，真實實驗在定性和定量上總體展示了類似的結果。但是，GF-2真實實驗中，GS融合結果在目視上具有較好的空間結構信息，這是因為在該實驗數據中，多光譜影像白色建筑物在重采樣過程中存在較為明顯的膨脹現象，導致多光譜影像與全色影像存在一定的地物不匹配現象，GS方法通過全部成分替換的方式更有利于空間信息的增強，而這也造成了其融合影像的光譜信息存在一定的損失，可從表3和表4定量評價指標上明顯看出。在進行實驗對比的各種方法中，本文提出的改進高保真融合方法在光譜保持和空間信息增強方面總體表現最好，相比于傳統光譜保真項，在所有定量評價指標上均有所提升，其中以SAM提升最為明顯，分別提升了19%和40%，具有明顯的優勢。

(a) 多光譜影像 (b) 全色影像 (c) GS方法 (d) PRACS方法

(e) ATWT-M3方法 (f) 基于傳統光譜保真項融合方法 (g)本文方法

圖3GF-1真實實驗結果

Fig.3FusionresultsoftheGF-1realexperiment

(a) 多光譜影像 (b) 全色影像 (c) GS方法 (d) PRACS方法

(e) ATWT-M3方法 (f) 基于傳統光譜保真項融合方法 (g) 本文方法

圖4 GF-2真實實驗結果Fig.4 Fusion results of the GF-2 real experiment表3 GF-1真實實驗定量評價Tab.3 Quantitative evaluation of the fusion results in the GF-1 real experiment

表4 GF-2真實實驗定量評價Tab.4 Quantitative evaluation of the fusion results in the GF-2 real experiment

3 結論

本文針對現有全色/多光譜融合方法對國產高分衛星遙感影像數據特點考慮不足的缺點，提出了一種針對國產高分衛星全色/多光譜遙感影像的高保真變分融合方法。

1)在模型構建中，充分考慮融合影像波段間關系保持，發展了基于光譜梯度的三維光譜高保真模型，并考慮國產衛星全色影像模糊降質的問題，進一步發展了顧及全色降質的空間增強模型。

2)實驗結果表明，本文方法相比于對照實驗的其他方法，具有良好的光譜信息保持和空間信息增強能力，針對國產衛星影像可得到最優的融合結果。

3)不足之處在于現有方法求解效率相對較低，后期研究將引入并行計算等加速策略，進一步提升模型求解效率。

參考文獻(References)：

[1] Shen H F,Meng X C,Zhang L P.An integrated framework for the spatio-temporal-spectral fusion of remote sensing images[J].IEEE Transactions on Geoscience and Remote Sensing,2016,54(12):7135-7148.

[2] 張良培,沈煥鋒.遙感數據融合的進展與前瞻[J].遙感學報,2016,20(5):1050-1061.

Zhang L P,Shen H F.Progress and future of remote sensing data fusion[J].Journal of Remote Sensing,2016,20(5):1050-1061.

[3] Aiazzi B,Alparone L,Baronti S,et al.Twenty-five years of pansharpening:A critical review and new developments[M]//Chen C H.Signal and Image Processing for Remote Sensing.2nd edition.Boca Raton,FL: CRC Press,2012:533-548.

[4] Vivone G,Alparone L,Chanussot J,et al.A critical comparison among pansharpening algorithms[J].IEEE Transactions on Geoscience and Remote Sensing,2014,53(5):2565-2586.

[5] Chavez Jr P S,Sides S C,Anderson J A.Comparison of three different methods to merge multiresolution and multispectral data: Landsat TM and SPOT panchromatic[J].Photogrammetric Engineering and Remote Sensing,1991,57(3):295-303.

[6] Laben C A,Brower B V.Process for enhancing the spatial resolution of multispectral imagery using pan-sharpening:United States,6011875[P].2000-01-04.

[7] Meng X C,Li J,Shen H F,et al.Pansharpening with a guided filter based on three-layer decomposition[J].Sensors,2016,16(7):1068.

[8] Ranchin T,Wald L.Fusion of high spatial and spectral resolution images:The ARSIS concept and its implementation[J].Photogrammetric Engineering and Remote Sensing,2000,66(1):49-61.

[9] Alparone L,Aiazzi B.MTF-tailored multiscale fusion of high-resolution MS and Pan imagery[J].Photogrammetric Engineering and Remote Sensing,2006,72(5):591-596.

[10] 李文靜,溫文鵬,王清和.基于Contourlet變換的遙感圖像融合方法研究[J].國土資源遙感,2015,27(2):44-50.doi:10.6046/gtzyyg.2015.02.07.

Li W J,Wen W P,Wang Q H.A study of remote sensing image fusion method based on Contourlet transform[J].Remote Sensing for Land and Resources,2015,27(2):44-50.doi:10.6046/gtzyyg.2015.02.07.

[11] Tu T M,Su S C,Shyu H C,et al.A new look at IHS-like image fusion methods[J].Information Fusion,2001,2(3):177-186.

[12] Meng X C,Shen H F,Li H F,et al.Improving the spatial resolution of hyperspectral image using panchromatic and multispectral images:An integrated method[C]//Proceedings of the 7th Workshop on Hyperspectral Image and Signal Processing:Evolution in Remote Sensing (WHISPERS).Tokyo,Japan:IEEE,2015:1-4.

[13] 孟祥超,沈煥鋒,張洪艷,等.基于梯度一致性約束的多光譜/全色影像最大后驗融合方法[J].光譜學與光譜分析,2014,34(5):1332-1337.

Meng X C,Shen H F,Zhang H Y,et al.Maximum a posteriori fusion method based on gradient consistency constraint for multispectral/panchromatic remote sensing images[J].Spectroscopy and Spectral Analysis,2014,34(5):1332-1337.

[14] Meng X C,Shen H F,Zhang L P,et al.A unified framework for spatio-temporal-spectral fusion of remote sensing images[C]//Proceedings of IEEE International Geoscience and Remote Sensing Symposium (IGARSS).Milan,Italy:IEEE,2015:2584-2587.

[15] Zhang L P,Shen H F,Gong W,et al.Adjustable model-based fusion method for multispectral and panchromatic images[J].IEEE Transactions on Systems,Man,and Cybernetics,Part B (Cybernetics),2012,42(6):1693-1704.

[16] Ballester C,Caselles V,Igual L,et al.A variational model for P+XS image fusion[J].International Journal of Computer Vision,2006,69(1):43-58.

[17] Palsson F,Sveinsson J R,Ulfarsson M O.A new pansharpening algorithm based on total variation[J].IEEE Geoscience and Remote Sensing Letters,2014,11(1):318-322.

[18] Shen H F,Zhang L P,Huang B,et al.A MAP approach for joint motion estimation,segmentation, and super resolution[J].IEEE Transactions on Image Processing,2007,16(2):479-490.

[19] Li H F,Zhang L P,Shen H F,et al.A variational gradient-based fusion method for visible and SWIR imagery[J].Photogrammetric Engineering and Remote Sensing,2012,78(9):947-958.

[20] Wang Z,Bovik A C.Mean squared error:Love it or leave it? A new look at signal fidelity measures[J].IEEE Signal Processing Magazine,2009,26(1):98-117.

[21] Wald L.Quality of high resolution synthesised images: Is there a simple criterion?[C]//Proceedings of the 3rd Conference “Fusion of Earth Data:Merging Point Measurements,Raster Maps and Remotely Sensed Images”. Sophia Antipolis,France:SEE/URISCA,2000:99-103.

[22] Choi J,Yu K,Kim Y.A new adaptive component-substitution-based satellite image fusion by using partial replacement[J].IEEE Transactions on Geoscience and Remote Sensing,2011,49(1):295-309.

[23] Wald L,Ranchin T,Mangolini M.Fusion of satellite images of different spatial resolutions:Assessing the quality of resulting images[J].Photogrammetric Engineering And Remote Sensing,1997,63(6):691-699.