一種用于預測航空遙感影像光譜信息的深度學習方法

郝明達，普運偉，2，周家厚，楊洋，陳如俊

(1.昆明理工大學 國土資源工程學院，昆明 650093；2.昆明理工大學 計算中心，昆明 650500)

0 引言

航空(含無人機)高光譜遙感已成為對地觀測的重要途經[1]，更高的空間分辨率和光譜分辨率提高了對地物屬性信息的探測能力。然而，航空高光譜遙感數據在采集過程主要受到硬件的限制，如果可以通過模型的方法建立起特征區域中航空RGB影像和高光譜遙感影像之間的映射關系，從而預測其他區域的高光譜遙感影像，將有助于降低對地觀測應用的成本。一種可行的辦法是對模型結構進行改進，以提高模型的精度和效率，進而推動高光譜遙感影像更大的應用可能性。

2017年前，人們主要基于線性變換的方法建立影像之間的映射關系，從而生成高光譜遙感影像，隨著深度學習方法的加入提高了生成星載高光譜遙感影像的精度[2]。之后，Arad 等[3-4]推出的NTIRE 2018、2020 競賽促進了深度學習模型的更迭；施展[5]基于深度學習提出了高光譜圖像的空譜超分辨率重建算法；Zhao 等[6]提出的四級層次回歸模型通過采用密集殘差塊(residual dense block)[7]去除了生成高光譜自然圖像過程中產生的偽影；Li等[8]加入注意力機制到模型中，實現了先進的影像重建質量。這些方法的發展對多光譜影像生成高光譜遙感影像起到了借鑒作用，如He等[9]通過光譜響應函數引導神經網絡生成了高光譜遙感影像；Deng等[10]開發了M2H-Net模型用于機載多光譜遙感影像生成高光譜遙感影像，從而預測多光譜遙感影像的光譜信息。

上述研究對建立航空RGB影像和高光譜遙感影像之間的映射關系給出一種可行的研究思路，本文通過結合密集卷積神經網絡架構和自適應注意力塊提出一種新型密集注意力卷積神經網絡模型。在保證影像生成質量的條件下，顯著降低了現有深度學習網絡架構模型參數量，帶來了更多的效率提升。通過在真實的多模態(航空RGB影像和高光譜遙感影像是由不同傳感器獲取的)AeroRIT 場景[11]影像和同源的(航空RGB影像是由高光譜遙感影像根據光譜響應函數模擬生成)雄安航空感影像中進行定量對比實驗和分析，驗證了所提方法的可行性和良好性能。

1 方法原理和網絡架構

1.1 RGB影像光譜增強

RGB影像X與高光譜影像Y像素之間存在某種線性關系[12]，這種線性關系可以用式(1)表示。

Ym×c=Xm×n·Sn×c+Bm×c

(1)

式中：m表示單波段中的像素數；c表示高光譜影像中的波段；n表示RGB影像中的波段數；S表示RGB影像和高光譜影像之間的轉換矩陣；B表示偏差。神經網絡的發展為尋找優化X與Y之間的最佳映射關系提供了助力。

1.2 密集注意力塊構建原理

Wang 等[13]說明了將注意力機制與殘差卷積塊相連接，可以使上一層次的注意力圖來引導下一層次注意力圖的生成從而增強上下文信息。相較于殘差連接中對特征的求和，密集殘差連接則是通過組合多個特征，可以獲得更好的性能，所以，本文選擇在文獻[6]所使用的密集塊中插入注意塊，構建密集注意力卷積神經網絡模型，增強了特征提取和映射能力。一方面，每層注意力圖都有N-1層輸入，注意力塊對不同層的注意力圖進行綜合，生成第N層的注意力圖，提高了不同注意力圖之間的知識共享。另一方面，注意力圖在多個注意力塊下進行更迭，對后續層的注意力圖進行指導，提高了生成注意力圖的質量。因此高光譜影像重建質量得以提升，密集注意力神經網絡模型的架構思想如圖1所示。

圖1 在密集卷積神經網絡架構中添加注意力塊

其中，所使用的密集卷積神經網絡架構是通過在相鄰的層之間使用更短的連接組合多個特征，緩解了梯度消失問題，加強了特征傳播、鼓勵了特征重用，因此，可以訓練更深的模型結構，使之更加有效。后續層引入了前面所有層的特征圖，如式(2)所示。

XN=FN([X0，X1，…，XN-1])

(2)

式中：[x0，x1，…，xN-1]是指從0，…，N-1層生成的特征圖。通過密集連接函數F(·)將多個輸入組合為一個張量。

在特征提取和映射階段，使用Mou 等[14]提出的雙分支融合模塊(dual-branch fusion module，DFM)作為本文使用的注意力模塊。因采用輕量級注意力塊，使得模型參數量減少，同時又可以充分利用影像中的空間相關性和光譜相關性。為了進一步提高特征映射中通道的相關性，可引入文獻[8]提出的自適應通道注意力模塊進行通道加權，從而構建出本文所使用的融合DFM與自適應通道注意力的注意力模塊，如圖2所示。

圖2 修改后的DFM融合注意力模塊

(3)

具體來說，首先通過元素加法合并來自兩個分支的特征圖，然后通過使用一個全局池化產生全局特征向量v，用于指導局部操作和非局部操作之間的精確自適應選擇。之后，通過兩個全連接層生成兩個權值向量wNL，wL，用于在兩個結果中進行自適應通道選擇。

1.3 主模型構建

本文提出的DACNN model(dense attention convolutional neural network model)由單個密集注意力塊(dense attention block，DA Block)加輸入卷積塊(3×3卷積核)和映射卷積塊(3×3卷積核)構建。單個DA塊中包含5個帶有P個Relu卷積塊和5個修改后的DFM塊進行密集殘差連接。

用于本文航空RGB影像光譜增強所用的主模型如圖3所示，圖4為主模型使用的密集注意力塊。

圖3 本文所使用的密集注意力卷積神經網絡主模型

圖4 密集注意力塊

2 研究區域和數據預處理

2.1 研究區域

AeroRIT 場景數據是由Rangnekar 等在羅切斯特理工學院校園上空通過塞斯納飛機攜帶兩種類型的攝像系統采集的，其中包含RGB影像、輻射率影像、反射率影像和分類標簽影像。由于航空RGB影像和高光譜數據是由不同設備采集地，因此本節將其定義為多模態影像。RGB和高光譜影像均已經過正射校正和光譜定標。其中，AeroRIT場景的光譜范圍是400～900 nm之間，按照每10 nm進行取樣，共提供了51個可用波段，高光譜數據的單位為Wm-2sr-1um-1。同時使用ENVI 通過經驗線模型(ELM)對定標后的輻射影像進行了表面反射率計算，并對高光譜影像進行了像素級標注。

2.2 數據預處理

在AeroRIT 場景左、中、右3個部分中取出部分數據作為訓練集、驗證集、測試集，以32的重疊度切分為64像素×64像素的圖像塊。其中訓練集共有3 127張、驗證集共有177張、測試集共有626張，保證各數據集之間無像素重疊泄露。對RGB影像除以214、輻射率影像限制在[0，214]除以214、反射率影像限制在[0，100]除以100歸一化到[0，1]之間。

3 結果與分析

3.1 實驗設置和精度評價指標

在訓練過程中，設置模型的批量大小為20，優化算法為Adam，學習率初始化為0.000 1，使用多項式冪為1.5的學習率衰減策略，訓練100次后停止。選取L1作為損失函數，如式(4)所示。

L1=E[‖X-Y‖1]

(4)

算法在Pytorch框架上實現，在Tesla P100 GPU進行訓練驗證，在Tesla K80 GPU和GeForce GTX 960上進行測試。

實驗中選取平均峰值信噪比(MPSNR)、平均結構相似性(MSSIM)、均方根誤差(RMSE)、光譜角(SAM) 4個評估指標來定量評估模型的質量。

3.2 生成高光譜影像精度對比

為了驗證提出新型網絡架構生成高光譜影像的精度，采用本文所提DACNN模型和DenseUnet模型、HRnet模型和AWAN模型對測試數據進行實驗，各種模型所生成輻射率校準和反射率校準的高光譜影像精度對比如表1和表2所示。

由表1和表2可知，本文所提的DACNN模型所生成的輻射率影像的MPSNR指標值為29.132 7，比AWAN模型高0.03，比HRnet模型高1.24，比DenseUnet模型高2.50。生成反射率影像的MSSIM指標值為0.964，比AWAN模型高0.001，比HRnet模型高0.005，比DenseUnet模型高0.025。所生成反射率影像的RMSE指標值為0.029，比AWAN模型低0.001 3，比HRnet模型低0.003，比DenseUnet模型低0.004，均具有最好的性能。同時，因為采用了輕量級的注意力機制，相比較其他模型上百兆的權重參數，新型網絡架構僅需要23 MB的權重參數就可以實現與AWAN 200 MB權重參數相媲美的效果。

表1 生成輻射率校準高光譜影像精度

表2 生成反射率校準高光譜影像精度

3.3 生成高光譜影像質量對比

為了驗證提出新型網絡架構生成高光譜影像的精度，采用本文所提DACNN模型、DenseUnet模型、HRnet 模型和AWAN模型對測試數據進行實驗，所生成的高光譜影像如圖5所示。在實驗過程中，HRnet 模型和DenseUnet 模型均使用密集卷積神經網絡架構，AWAN模型則使用空間注意力、通道注意力和非局部注意力模塊。對AWAN模型去除了光譜響應函數損失替換為L1進行訓練。所有模型在相同的訓練次數和訓練批次下進行訓練。

注：所選取的感興趣區域(棒球場、道路、草地)由圖(A)航空RGB影像和圖(B)灰度圖所示。其中，原始影像和DenseUnet、HRnet、AWAN、DACNN算法生成的輻射率影像由子圖(a)～(e)所示，生成的反射率影像由子圖(f)～(j)所示，生成的輻射率影像一階導數圖由子圖(k)～(o)所示，生成的反射率影像一階導數圖由子圖(p)～(t)所示。子圖(a)～(t)的影像均采用高光譜影像的(40，2，10)波段合成。

通過查看對比圖5中這些影像的數據，可以發現本文模型生成得到的影像在顏色、紋理和形狀細節方面與原始影像相似，同時注意力機制的加入，深度學習網絡對影像中的部分地物具有更加突出的關注，建立了遠程像素之間的關系。通過與原始一階高光譜影像的對比可以發現，重建后的高光譜影像減少了原始圖像中的噪聲。

3.4 典型地物光譜曲線對比

為了進一步驗證DACNN模型生成高光譜影像精度，在影像中選取棒球場、路、草地，將各種算法生成高光譜曲線與原始對象進行對比，結果如圖6、圖7所示。

在高光譜遙感影像光譜曲線中，有關地物屬性的信息表現在光譜曲線的波峰和波谷，為了區分重建后高光譜影像與原始高光譜影像同一地物下光譜曲線的細微變化，本文通過光譜微分技術對光譜特征的差異性進行了增強處理，通過計算地物的一階導數，可以在梯度上觀察反射光譜曲線的細微變化。由圖6、圖7可以觀察到相對于道路，模型對棒球場和草地的擬合難度高，且相對于輻射率影像，模型在反射率影像中的擬合難度高，雖然多個模型均可以獲得與原始高光譜影像相似的光譜曲線，但在圖7中可以更好觀察到本文模型在波峰和波谷更接近原始高光譜影像。

注：從原始影像和DenseUnet、HRnet、AWAN、DACNN算法生成影像所選取的棒球場、道路、草地3個感興趣區域中提取的光譜曲線的對比圖如子圖(a)～(c)所示，進行一階導數光譜增強后生成的對比圖如子圖(d)～(f)所示。

注：從原始影像和DenseUnet、HRnet、AWAN、DACNN算法生成影像所選取的棒球場、道路、草地3個感興趣區域中提取的光譜曲線的對比圖如子圖(a)～(c)所示，進行一階導數光譜增強后生成的對比圖如子圖(d)～(f)所示。

3.5 在不同傳感器生成高光譜影像精度對比

為了驗證模型在不同傳感器、不同區域上的泛化性能，選擇了雄安新區航空高光譜遙感影像數據集進行了進一步分析，其中高光譜數據集是由中國科學院上海技術物理研究所研制的高分專項航空系統全譜段多模態成像高光譜儀采集的，光譜范圍在400～1 000 nm之間，同樣每10波段進行采樣，共使用了51個波段。其中RGB影像的生成是通過光譜響應函數對高光譜數據進行光譜重采樣生成，本文使用的是高分一號(GF1-WFV)的光譜響應函數，此處也可選擇其他光譜響應函數生成RGB影像。可見，航空RGB影像是由高光譜遙感影像模擬生成，因此本節將其定義為同源影像。模型在不同傳感器上所生成的高光譜影像精度對比結果如表3所示。

表3 模型在不同傳感器上生成高光譜影像精度對比

從表3可知，本文提出的輕量級模型生成的高光譜遙感影像在SAM指標上的值是0.982 1，相比于AWAN上低0.03，相比于HRnet模型低0.38，相比于DenseUnet模型低0.85。

此外，生成的雄安航空高光譜遙感與原始高光譜遙感影像的空間和光譜對比圖如圖8所示。由圖8可知，本文模型生成的高光譜影像在空間和光譜上均與原始高光譜影像相似，并且可觀察到生成的高光譜影像中噪聲信息顯著減少，實驗結果表明本文模型具有較好的泛化性能。

注：子圖(b)、子圖(c)均采用高光譜影像的波段合成(40，2，10)。

3.6 實驗小結

本文通過在真實的多模態AeroRIT 場景影像和同源的雄安航空遙感影像中進行實驗，由表1至表3的定量結果可以觀察到不同模型方法在同源影像上的精度遠高于在真實多模態影像下的精度，這說明了在真實的多模態遙感影像場景下，建立不同影像之間的映射關系更加困難，更值得去關注模型在真實場景下的應用性能。由圖5、圖8的生成高光譜影像質量圖可以觀察到，通過模型生成的影像的噪聲水平顯著低于原始高光譜遙感影像。由圖6至圖8的典型地物光譜曲線對比可知，通過本文模型的方法獲取到的高光譜影像與原始高光譜影像更加相似，且參數量顯著下降，這有助于提高算法的性能。

綜上，航空RGB影像結合深度學習可以學習到與原高光譜影像相似的光譜曲線，但是針對生成高光譜遙感影像中光譜曲線的光譜變異性研究仍然需要定量化計算。相比較航空RGB影像寬的光譜間隔，學習到的光譜曲線帶有更多可區分性的特征，因此針對航空RGB影像、生成高光譜遙感影像和原始高光譜遙感影像進行進一步的精細分類有助于比較模型的性能。另一方面，在大面積航空影像上，仍然需要選擇和采集某個地區或者多個地區的時序高光譜影像生成特征影像庫，并與算法結合分析對其他區域生成高光譜影像的影響。另外要研發更高效、質量更高符合遙感定量化研究的生成算法，以及在神經網絡對參數的優化作用，以更好地驅動光譜特征對航空影像空間紋理特征的輔助作用。

4 結束語

本文提出密集注意力卷積神經網絡模型，通過密集注意力卷積架構和注意力機制結合，用于從航空RGB影像預測高光譜影像中的地物屬性信息。實驗結果表明，所提模型可以生成與原高光譜影像相似的光譜特征和空間特征，同時在保證生成影像質量的條件下，顯著減少了模型的參數量，為航空RGB影像生成高光譜遙感影像提供更高的效率，表明本文模型具有良好的性能和適用性，并且模型架構方法具有一定的通用性。雖然對于真實的多模態影像生成高光譜遙感影像會有地物屬性信息的丟失，但是相對于RGB影像來說，通過模型方法預測生成光譜信息將給航空RGB影像帶來了更多的應用潛力。需要說明的是，本文選取的是部分波段進行實驗，因此仍具有一定局限性，對于上百個通道的高光譜影像進行分析時，有必要進一步優化模型結構，減少內存占用，提高運算效率。顯然，大模型可能具有更強的泛化性和魯棒性，但必然會增加運行成本，在諸如航空(無人機)等限制計算資源的設備上進行實時分析時，高效便捷的模型顯得尤為重要。在后續的研究中，我們將以提高RGB影像重建后的高光譜遙感影像的地物分辨能力為目標，展開更深入細致的研究，以提高所提模型和方法的工程適用性。