資源一號02D衛星高光譜與多光譜融合數據濱海濕地分類應用

孫偉偉 任凱 肖晨超 孟祥超 楊剛

(1 寧波大學 地理與空間信息技術系, 浙江寧波 315211)(2 自然資源部國土衛星遙感應用中心, 北京 100048)(3 寧波大學 信息科學與工程學院, 浙江寧波 315211)

濱海濕地即陸地生態系統和海洋生態系統的交錯過渡區域，具有重要的生態和經濟價值。衛星遙感的大面積同步觀測和可重復觀測等技術優勢為實現濱海濕地的動態監測和科學管理提供重要支撐。近年來，國產衛星事業發展迅速，特別是高光譜衛星的出現為濕地的精細監測提供了可能。2019年9月，我國成功發射第2顆高光譜遙感衛星資源一號02D衛星(又稱為5米光學業務衛星)，是我國首顆民用高光譜業務衛星，其空間分辨率為30 m，光譜范圍從400～2500 nm，可見光與近紅外(VNIR)范圍內的光譜分辨率為10 nm，短波紅外(SWIR)范圍內光譜分辨率為20 nm，可獲取166個連續光譜波段，幅寬可達60 km[1]。然而，由于傳感器在設計過程中不能同時兼顧高空間分辨率與高光譜分辨率，使得資源一號02D衛星數據在地物精細識別與監測等應用中無法直接發揮其更大的應用價值。影像融合作為當前提升高光譜數據(HS)空間分辨率最主要的技術手段近年來不斷發展，同時，多光譜數據(MS)具有比全色影像(PAN)更多的光譜波段，與HS具有更大的光譜相關性，因此，一種可以有效融合HS數據與MS數據的方法是非常重要的[2-5]。當前針對HS與MS進行融合的方法眾多，根據其原理大致可分為以下4類：基于成分替換的方法、基于多分辨率分析的方法、基于機器學習的方法與基于深度學習的方法[2]。基于成分替換的方法主要通過使用高空間分辨率的影像替換低空間分辨率影像的強度分量進行逆變換獲取融合影像，代表性的方法包括自適應的Gram Schmidt 算法(GSA)、亮度-色度-飽和度(IHS)等[6]。基于多分辨率分析的方法通過濾波器、小波變換等方法提取高空間分辨率影像中的空間結構信息，并將其注入到低空間分辨率影像中實現圖像融合，代表性的方法包括抽取小波變換(DWT),調制傳遞函數-拉普拉斯金字塔(MTF-GLP)[2]。基于機器學習的方法首先建立影像融合模型，通過迭代最佳化求解得到融合后的影像，代表性的方法包括耦合非負矩陣分解(CNMF)、基于Sylvester公式的快速融合方法(FUSE)[2]。基于深度學習的方法通過建立復雜的網絡訓練MS影像、HS影像與高空間分辨率的HS間的關系，并將關系映射于需要融合的MS和HS數據得到融合后的影像，比較典型的方法有3-D卷積神經網絡(3-D CNN)、拉普拉斯全卷積神經網絡(PFCN)[6]。

因此，本文針對當前方法在空間保真性、光譜保真性和計算效率中所存在的權衡提出了一種成分替換與神經網絡相結合(CSNN)的高光譜與多光譜融合方法，實現資源一號02D衛星影像與多光譜影像的高質量融合，提升濱海濕地的分類應用效果。

1 結合成分替換和神經網絡的融合方法

本文提出了一種新穎的高光譜影像融合方法，首先對HS數據進行插值并根據數據間的波段相關性進行波段分組，使HS波段對應于相應的MS波段；其次通過權重矩陣提取HS波段組的強度分量，并將提取出的強度分量作為引導圖像對MS波段進行降分辨率；之后訓練降分辨率的MS波段與強度分量間的映射關系，將訓練得到的關系映射于原始MS波段得到高空間分辨率的強度分量；最后使用高空間分辨率的強度分量減去低空間分辨率的強度分量，使用權重矩陣將得到的差分影像注入到原始HS波段中實現本組的影像融合，并依次完成其它組數據的融合之后進行波段合成(如圖1所示)。

注：LRHS為低分辨率的高光譜影像，HRMS為高空間分辨率的多光譜影像，HRHS為融合后的高空間分辨率的高光譜影像，Wk為權重矩陣，Gk為轉換權重矩陣。

1.1 波段分組

在影像融合的過程中，數據間的相關性對最終的融合質量具有一定的影響。當前大多多光譜傳感器所獲取影像的波譜范圍為400～900 nm，資源一號02D衛星高光譜傳感器則可獲取400～2500 nm范圍內的影像，影像中非重合波段的融合一直是數據處理中的一個難點。為了解決這一難點，在保證非重合波段較小失真的基礎上提升總體融合質量，試驗中計算了資源一號02D衛星HS每個波段與MS每個波段間的相關系數，尋求每個HS波段對應的具有最大相關性的MS波段對數據進行分組融合。具體計算公式為

(1)

1.2 強度分量預測

基于成分替換的方法首先將HS數據中的強度分量進行提取，采用直方圖匹配后的高空間分辨率影像對所提取的強度分量進行替換實現影像融合。由于高空間分辨率影像與原始HS數據強度分量間存在較大的差異，替換強度分量后的HS數據光譜特性被改變，存在嚴重的光譜失真。因此，一個適當的強度分量對于影像融合是非常重要的。本文采用基于成分替換的方法與神經網絡算法相結合獲得了高空間分辨率的強度分量，通過使用高空間分辨率的強度分量替換HS數據的強度分量進行逆變換實現影像融合，具體步驟如下。

(1)提取HS數據波段組中低空間分辨率的強度分量，具體公式為

(2)

(3)

(2)對MS的波段進行降分辨率，本次研究采用導向濾波器，具體公式為

(4)

(5)

式中：Mlt表示Ml的第t個像素，ε為正則化參數。

(6)

(7)

式中：wj表示隱含層第j個神經元到輸出層的權重矩陣，b2表示誤差矩陣。以上w和b通過不斷迭代更新得到的，具體公式為

wj=wj+α·(Ap-Ar)·Ap·(1-Ap)·aj

(8)

b2=b2+β·(Ap-Ar)·Ap·(1-Ap)

(9)

wji=wji+α·(Ap-Ar)·wj·aj·

(10)

b1=b1+β·(Ap-Ar)·wj·aj·(1-aj)

(11)

式中：α和β為學習參數，并且α=0.6和β=0.7，Ar為目標數據。通過以上算法可獲取數據間的非線性映射關系，通過將訓練得到的非線性關系映射于MS波段得到高空間分辨率的強度分量，具體公式為

(12)

1.3 成分替換

根據成分替換方法的原理，通過將訓練得出的高空間分辨率的強度分量替換原始HS波段數據的強度分量并進行逆變換得到融合的HS波段數據，具體公式為

k=1,…,θ

(13)

(14)

2 資源一號02D衛星的融合與濕地分類試驗

2.1 數據集

本次試驗共采用了兩組模擬數據集和一組真實數據集對CSNN進行了驗證，表1展示了試驗所采用數據的具體信息。本文采用不同的光譜響應函數和降采樣系數進行數據模擬，驗證本方法對于不同數據集的魯棒性。其中，模擬數據集-1捕獲了2019年12月2日河北省廊坊市的部分區域。通過移除水汽吸收嚴重的波段，最終采用了155個高光譜波段，并且采用斯波特-4(SPOT-4)衛星的光譜響應函數，降采樣系數為4得到模擬MS數據；模擬數據集-2于2020年5月19日采集，覆蓋太湖流域的部分區域，移除11個水汽吸收嚴重的波段，最終共采用155個波段進行試驗，采用地球之眼-1(GeoEye-1)衛星的光譜響應函數，降采樣系數為5對HS進行光譜重采樣獲取了模擬MS數據。真實數據集所采用的高光譜數據同樣來源于資源一號02D衛星傳感器，該影像位于杭州灣南岸區域，移除22個水汽吸收嚴重的波段，最終144個波段被使用進行融合試驗，并且所采用的高光譜數據像素為1300×1600。此外，多光譜數據來源于歐洲哨兵-2A衛星(Sentinel-2A)傳感器，其中4個空間分辨率為10 m的波段被使用，像素為3900×4800。為了探索不同融合方法的具體應用性能，我們對真實數據集融合后的圖像進行了分類分析。通過使用Google Earth軟件和實地采樣，獲得了真實數據中主要濕地地物類型的感興趣區域。訓練樣本和測試樣本從所選的感興趣區域中隨機選取。為了保證分類精度，訓練樣本數與測試樣本數的選用比例為3∶7，利用性能穩定的支持向量機(SVM)分類器對圖像進行分類。

表1 試驗數據集Table 1 Experimental datasets

2.2 試驗結果

本文一方面從可視化的角度對影像融合結果進行了定性評價，另一方面采用了支持向量機(SAM)、綜合全局誤差(ERGAS)、峰值信噪比(PSNR)和通用圖像質量指數(Q2n)對融合影像進行了定量評價[7-8]。此外，選用了CNMF、FUSE、GSA、MTF-GLP、混合色映射(HCM)5種主流的融合方法與CSNN進行了對比，從更加客觀的角度對CSNN進行了評估[8-10]。

圖2與圖3展示了模擬數據的融合結果。

注：紅光波段為636 nm,綠光波段為550 nm,藍光波段為473 nm。

注：紅光波段為636 nm,綠光波段為550 nm,藍光波段為473 nm。

由圖2、圖3可知CNMF與FUSE取得了較好的融合效果，在光譜保真性與空間分辨率增強方面都取得了很好的性能；GSA取得了較好的空間銳化效果，但存在全局性的光譜失真；MTF-GLP對于影像的空間分辨率增強效果有限，但是具有較好的光譜保真性，HCM取得了最差的可視化結果。CSNN對于地物的空間分辨率具有最好的增強效果，并且具有很好的光譜保真性。為了更客觀的對各種方法進行評估，表2展示了對融合圖像的定量評估結果。其中CSNN在各項指標中都取得了最好的結果，其次為CNMF與FUSE，GSA與MTF-GLP取得了一般的定量評估結果，HCM在所有方法中結果最差。

圖4展示了真實數據的融合結果，所有方法都取得了較好的空間分辨率增強效果，但是融合影像間存在一定的光譜差異，例如FUSE和GSA在海洋區域存在嚴重的光譜失真，CNMF在灘涂區域與LRHS具有一些光譜差異，HCM在植被區的光譜保真性較差。其中，MTF-GLP和CSNN具有最佳的光譜保真性。此外，對融合影像的光譜曲線與真實地物參考光譜曲線進行了對比，如圖5所示，我們的方法在植被，湖泊和海洋中保持了最好的光譜保真性。為了進一步對各種方法的應用性能進行評估，對真實數據集的融合影像進行了分類，并通過總體分類精度(OA)指標和Kappa系數(KC)對分類結果進行了評估。圖6展示了原始影像與融合圖像的分類結果，可看出混分區域主要存在于河漫灘和海洋的部分區域，水田和植被的部分區域，坑塘和養殖池的部分區域。通過表3的精度評估結果可看出，所有融合影像的分類精度都高于原始影像，說明通過影像融合可有效地提升數據分類精度。此外，各種融合方法對分類精度的提升效果不一，其中CNMF、FUSE和GSA取得了較好的效果，MTF-GLP和HCM次之，CSNN取得了最好的結果。

表2 模擬數據集定量評估結果Table 2 Quantitative evaluation results of the simulated datasets

注：紅光波段為636 nm,綠光波段為550 nm,藍光波段為473 nm。

圖5 典型地物的光譜曲線對比Fig.5 Comparison of spectral curves of main ground objects

圖6 真實數據集影像融合結果分類圖Fig.6 Classification map of different image fusion results for real data

本次試驗所有方法都運行于Intel Core i5處理器和8G RAM上，采用MATLAB 2018a對算法進行操作。表4列出了各種方法在不同數據集上的運行時間，可以看出CNMF和FUSE取得了最低的計算效率，GSA和MTF-GLP次之，HCM獲得了最高的計算效率，但其融合質量存在巨大的缺陷。除HCM之外，本文的方法取得了最佳的計算效率。

表3 不同方法的分類精度對比Table 3 Classification accuracies from different methods

表4 不同方法的運行時間對比Table 4 Comparison in computational time of different methods

3 結束語

本文針對資源一號02D衛星更好地應用于濱海濕地分類，提出了一種高光譜與多光譜數據融合方法，該方法創新性地將成分替換方法與神經網絡算法相結合，一方面改進了融合數據的融合質量，另一方面提升了算法的計算效率。采用了模擬數據和真實數據對方法進行了驗證，并且將其應用于濱海濕地分類，取得了很好的結果。但是由于成分替換框架本身的缺陷，一些光譜失真仍然存在，當前多分辨率分析方法的框架可有效地降低融合影像的光譜失真，如何將多分辨率分析框架與神經網絡算法相結合是未來的一個重要的研究方向。