基于分流的高光譜遙感圖像超分辨重建

徐英豪，呂玉超，劉斯凡，朱習軍

青島科技大學 信息科學技術學院，山東 青島266061

高光譜傳感器通過許多相鄰狹窄的光譜通道收集電磁光譜中的能量。可以在每個像素中捕捉到詳細的反射率或亮度分布[1]。每種物理材料都有自己的反射特征或發光特征。因此，高光譜遙感具有優越的分辨能力，特別是對于視覺上類似的材料。然而，高光譜遙感圖像在空間分辨率和光譜分辨率之間存在權衡[2]。由于光譜切片[3]很窄，只有非常有限的一部分輻射能到達傳感器，導致滿足光譜分辨率同時空間分辨率得不到滿足，細小地物的識別和判讀得不到保證，無法滿足成圖精度。為了解決獲取超清高光譜圖像的困難，高光譜（HIS）超分辨率（SR）重建走進了人們的視野。高光譜超分辨率重建是一種很有前景的圖像處理技術，旨在從其低分辨率（LR）圖像中獲取高分辨率（HR）圖像，以克服其固有的分辨率限制。Dong 等[4]提出了映射低分辨率和高分辨率圖像的端到端深度學習方法，該網絡結構簡單，易于實現，但存在卷積層數少而導致的重建性能差的問題；在此基礎上，席志紅等[5]提出了多路徑模式的局部殘差學習與多權重遞歸學習相結合的模式來增加網絡深度的同時加快收斂速度；但速度仍有提升空間，劉超等[6]提出了超分辨率卷積神經網絡加速算法通過縮小濾波器尺寸結合深度可分離卷積的方式實現重建的高速運行。盡管深度學習在SR 中取得了突破，但當在大尺度上進行超分辨率重建時，其中一個還沒有解決的問題是如何恢復出更詳細的紋理細節[7]。Ledig等[8]利用生成對抗網絡（GAN）進行圖像SR 來解決上述問題；彭晏飛等[9]對SRGAN 算法進行了改進，以支持向量機中的hinge 損失作為目標函數，harbonnier 損失代替L2 損失函數使網絡穩定性得到提升同時解決了普通區域產生斑點偽影的問題；蔣明峰等[10]提出了基于自注意力機制SRGAN 框架，自注意力機制產生的權重參數可以更準確地對全局圖像結構施加復雜的幾何約束，而且生成器和判別器在空間區域之間建立更準確的關系依賴。但上述文獻仍然未考慮到圖像空間信息分布不均勻，SR 重建時占據相同計算量導致資源浪費問題。研究者開始使用不同的處理策略來處理不同的圖像區域。RAISR[11]將圖像patch 劃分為簇，并為每個簇構造相應的濾波器，還使用了一種有效的哈希方法來降低聚類算法的復雜性；Kong 等[12]設計了一種利用數據特性加速超分辨率網絡實現特定區域的劃分重建。與現有方法不同的是子圖像分流和細節增強策略可以提供一種新的方法來處理高光譜遙感圖像超分辨率重建問題，即采用子圖像預先分流后提取高低頻信息分別進行重建的方式，這樣避免了高光譜遙感圖像空間信息分布不均勻占據相同計算量所帶來的資源浪費問題，并進一步對細節信息實施增強細化超分辨率重建。然而，目前文獻中很少有文章提出一個統一的框架來同時解決計算過載和細節增強的問題。因此，迫切需要一種統一的、靈活的分辨率增強框架，同時解決過量計算和細節細化的問題。

因此本研究提出的多層級分流和細節增強的高光譜遙感圖像超分辨率重建框架，為高光譜遙感圖像重建提供了一種可靠的解決方案。高光譜遙感圖像作為子圖分流網絡的輸入，分流網絡將得到的結果提取高低頻信息后分別輸入不同復雜程度的CARN[13]算法進行深度學習模型訓練，建立高光譜遙感圖像分支重建模型，實現高光譜遙感圖像空間超分辨率重建。與典型的基于CNN的方法相比，提出框架更加有效，且需要較少的參數，但在高光譜遙感圖像重建方面具有更好的性能。

本文的主要貢獻可以總結如下：

（1）提出了一種新的用于高光譜遙感圖像的多層級分流和細節增強的超分辨率重建框架。與典型的基于CNN 超分辨率重建模型相比，本模型能夠高效地編碼空間光譜信息。

（2）為了充分考慮高光譜遙感圖像空間信息分布，在圖像預處理階段利用子圖像分流網絡進行分流，有效地利用局部空間特征。

（3）通過改進帶細節增強的多尺度Retinex 算法提取高光譜遙感圖像空間高低頻信息，有效地利用高光譜遙感圖像的細節紋理特征，達到細化細節的效果。

（4）在青科大一號衛星和Pavia University 數據集上大量實驗表明，該方法可以在高光譜遙感圖像超分辨率重建問題上優于其他基于CNN的方法。

1 分流超分辨率重建框架

基于分流的高光譜遙感圖像超分辨重建框架圖如圖1所示。該框架主要由子圖分流模塊、高低頻信息提取模塊、區域圖像超分辨率重建模塊三部分組成。

圖1 高光譜遙感圖像超分辨率重建框架圖Fig.1 Super resolution reconstruction frame of hyperspectral remote sensing image

首先對輸入圖像進行空間分解[14]，使用基于DenseNet模型的輕量級子圖分流網絡對子圖像信息復雜程度進行分流處理；再通過改進帶細節增強多尺度Retinex[15]算法把圖像的高低頻信息進行分離；最后匯入小型、中型和大型三種不同復雜程度的網絡分別對高低頻信息進行超分辨率重建；對完成超分辨率重建的圖像高低頻信息進行線性加權融合，把子圖拼接成完整圖像，重構清晰圖像。

1.1 子圖分流網絡

遙感圖像中各區域空間信息復雜程度不同，例如光滑區域（湖泊、田地）和復雜區域（工廠、住宅），這表明可以使用更小的網絡來處理光滑的圖像區域，使用深度網絡去處理復雜區域[16]。根據這個觀察，可以將大尺度遙感圖像分解為子圖像，對分解后包含不同形態信息的區域采用不同的網絡進行超分辨率重建。對于大尺度遙感圖像來說子圖像分解尤其重要，因為有更多的地區重建起來相對簡單。根據統計，Pavia University數據集約36%的LR子圖像（32×32）屬于平滑區域，而青科大一號衛星采集的高密市高光譜數據集這一比例上升到56%。也就是說對大尺度遙感圖像進行子圖像分解并分流進行重建不僅可以降低計算量在實際應用中節省內存空間還為后續提取高低頻信息做好準備。

子圖分流網絡的目標是根據子圖像是否容易重建進行分類，分為容易重建和困難重建兩類，網絡利用圖像之間詳細的紋理信息進行分類。受到DenseNet模型的啟發設計基于DenseNet 模型的輕量級子圖分流網絡，如圖2 所示。輕量級子圖分流網絡設計為4 個卷積層、3個LRelu層、1個平均池化層和1個全連接層，并以前饋方式將每一層連接到每一層，卷積層負責特征提取，池化和全連接層輸出概率向量。子圖分流網絡具體參數如表1所示。具體來說，把大尺度圖像X分解成子圖xi；這個分類模型能接受對每一個子圖xi都生成概率向量P(xi)。然后通過選取概率值最大的指標來確定子圖屬于哪一類。實驗表明，該結構簡單且能夠取得良好的分類效果。

表1 子圖分流網絡參數設置Table 1 Subgraph shunting network parameter setting

圖2 子圖分流網絡Fig.2 Subgraph shunting network

使用基礎DenseNet 網絡訓練時，網絡收斂到一個極端點而導致的圖像都被分類到復雜紋理的分支。在輸出向量時，例如分流結果向量為[0.90，0.10]優于[0.54，0.46]，因為后者看起來像是隨機選擇，這樣子圖分類網絡將失去它的功能。為了避免這種情況，確保兩個分支有平等的機會被選擇。因此，設計了基于DenseNet模型的輕量級子圖分流網絡來執行子圖的分流任務。子圖分流網絡，可以將紋理信息較少大致為均勻的統一體的圖片分流到容易重建；將紋理復雜，非隨機排列較多的圖片分流到困難重建，提高了分流的有效性。

1.2 高低頻信息分離

Retinex算法是利用人類視覺系統提出的一種圖像增強算法。使用傳統的多尺度Retinex算法提取高頻和低頻圖像信息，得到的結果中高頻信息的局部細節會很差。因此，對Retinex多尺度算法進行了改進，提出帶細節增強的多尺度Retinex算法以分離高光譜遙感圖像的高頻和低頻信息。假設低頻信息為空間平滑圖像、原始圖像S(x,y)，高頻信息為R(x,y)，低頻信息為L(x,y)，r(x,y)為輸出圖像，*為卷積符號，Fi(x,y)為中心環繞函數，K為高斯中心環繞函數的個數，K值通常取3，Wi為尺度的權重因子且W1=W2=W3=1/3,h(x,y)為恢復系數通過恢復系數實現高頻信息細節部分的增強；由此得到改進帶細節增強多尺度Retinex 算法，其表達式為：

低頻信息提取的表達式為：

Retinex算法改進前后提取高頻信息結果圖如圖3，圖3 中imgae1 和imgae2 分別為容易重建和困難重建數據集中部分提取出的高頻信息結果，對比改進前后效果圖發現，改進后高頻信息中的地物與背景的邊緣部位細節更加清晰，圖像邊緣的灰度值變化更快，使區域圖像超分辨率重建模塊對細節特征信息的提取更加敏感，局部特征提取更加完善。

圖3 高頻信息對比圖Fig.3 High frequency information comparison diagram

從原始遙感數據中提取圖像的高頻信息和低頻信息，部分結果如圖4所示。從圖4可以看到，高頻信息中包含遙感圖像的主特征和細節信息，低頻信息包含遙感圖像中包含大量平滑信息。因此，在執行超分辨率重建任務時應對高低頻信息使用不同處理策略。

圖4 高低頻信息分離效果圖Fig.4 Effect drawing of high and low frequency information separation

1.3 區域圖像重建模型

采用不同的網絡來處理不同復雜程度的子圖像，即采用分而治之的思想實現超分辨率重建。CARN 使用本地和全局級聯機制來整合來自多層的特性，這具有反映不同層次輸入的效果，以便接收更多的信息。本文不涉及CARN算法的任何優化問題，在CARN的基礎上研究了一種區域化圖像重建的方法。如表2 所示（-O：原始的網絡），本文使用了三個網絡結構相同但信道數不同的CARN模型。首層分別含有32、50、64個通道的網絡被用于從簡單和困難中分離出子圖像高低頻信息的訓練，即困難重建的低頻信息和容易重建的低頻信息，容易重建的高頻信息，困難重建的高頻信息。通過子圖分流網絡過濾困難重建的低頻信息和容易重建的低頻信息，發現空間復雜程度相差不大所以歸為一類。由表2可以看出，CARN（32）和CARN-O（64）在“困難重建的低頻信息和容易重建的低頻信息”子圖像上幾乎沒有差別，而在“容易重建的高頻信息”子圖像上CARN（50）可以達到與CARN-O（64）大致相同的性能。這表明可以使用輕量網絡來處理簡單的子圖像，以節省計算成本。所以提出區域圖像重建方法，它可以區別處理不同的區域圖像實現重建并到達不錯的效果。

表2 CARN三個SR分支獲得MPSNR值Table 2 MPSNR value is obtained from three SR branches of CARN

設計區域圖像重建模型，它由3個獨立的分支組成Simple、Medium和Complex。每個分支是基于級聯殘差網絡CARN 超分辨率網絡。采用這種CARN 網絡作為基礎網絡，并將其設置為最復雜的分支，其他分支則通過降低網絡復雜度得到。使用每個卷積層的信道（卷積）數量來控制網絡復雜度，通過減少卷積層數來完成網絡復雜度的降低。找到能完成所有訓練任務的最小層數和卷積數作為最大分支，然后依同樣的方式去完成中型網絡和小型網絡的訓練模型。對已完成超分辨率重建任務的圖像高低頻信息進行線性加權融合，把子圖拼接成完整圖像，重構清晰圖像。線行線性加權融合公式如下，R(x,y)為高頻信息，L(x,y)為低頻信息，S為高低頻信息線性加權融合后的完整圖像，l為加權系數，取值均為0.5。

為了充分證明框架編碼空間光譜信息的能力，在2、4和8倍上采樣因子中均進行了測試，由表3數據顯示，提出的方法獲得了比原始網絡更好的性能和更低的計算成本，實現高效編碼空間光譜信息，FLOPs 降低到70%至52%。運算量的減少并沒有導致圖像質量的下降，這表明性能的提高不是以運算負擔為代價的。這證明了，將輸入的子圖像分流到更合適分支的重要性。

表3 各上采樣因子實驗的MPSNR值Table 3 MPSNR value of each up sampling factor experiment

2 實驗分析

該框架在ubuntul10.4 系統上進行了訓練，使用NVIDIA GTX1080Ti GPU 設備，圖像內存為28 GB。該網絡由開源Pytorch深度學習框架實現，采用Adam修正法對網絡參數進行優化[17]，初始學習率設置為0.001。嘗試設置學習速率為0.1、0.01、0.001和0.000 1。實驗結果表明，當初始學習率為0.001 時，與其他學習率相比，得到的結果最好。

2.1 數據集

本節將提出的方法應用于兩個高光譜圖像數據集青科大一號衛星數據集和Pavia University[18]數據集。青科大一號衛星數據為2019 年7 月中國山東省濰坊市的高光譜遙感影像。其中光譜范圍為400～1 000 nm，并等分為256（任選32）個波段，空間分辨率為10 m。將平均大小為5 000×5 000 像素的圖像裁剪成尺寸為128×128 像素。Pavia University 數據為2003 年意大利的帕維亞城的一部分高光譜數據，涵蓋了從430～860 nm 的103 個光譜波段，空間分辨率為1.3 m 并標注由9 類樣本。對于每個數據集，選擇一個128×128像素的子區域來評估提出的多層級分流和細節增強的高光譜遙感圖像超分辨率重建框架性能，另一個128×128子區域用來驗證，剩余的用于訓練。制作訓練集時，設置高光譜遙感圖像為基礎HR圖像，通過模擬遙感圖像的模糊方式，增加Disk模糊，經雙三次插值得到LR圖像。其中Disk模糊分為不同的模糊核，來使LR 圖像具有不同的模糊程度[19]。

2.2 評估標準

為了綜合評價所提方法的性能，使用了經典評價指標和遙感圖像分類應用相結合的方式進行驗證[20]。經典評價指標為：信號重構誤差（signal to reconstruction error，SRE）、平均峰值信噪比（meanpeak signal-to noise ratio，MPSNR）、平均結構相似度指數（mean structural similarity index，MSSIM）、平均均方根誤差（mean root mean square error，MRMSE）[21]。SRE是根據重構圖像與場景實況圖像之間的信號誤差反映圖像質量的全局指標，MPSNR和MRMSE可以通過均方誤差估計生成圖像與地面真像之間的相似性。MSSIM強調與地面真實圖像的結構一致性。SRE、MPSNR和MSSIM的理想值為1。對于MRMSE，最優值均為0。遙感圖像分類應用的評價指標主要有總體精度（overall accuracy，OA）、生產精度（producer accuracy，PA）、平均精度（average accuracy，AA）以及Kappa 系數[22]。OA 是整個分類器性能的反映，PA 是每個類別所對應的準確率，AA 是所有類別生產精度的平均，Kappa系數是分類結果與真值地物之間的一致性。

2.3 實驗結果分析

本節在青科大一號衛星和Pavia University 兩個基準數據集上進行了一系列的實驗，評估本文提出框架的性能，選擇了三種具有公共代碼的最先進的深度學習方法作為基線在4 倍上采樣因子進行比較：FSRCNN、LapSRN[25]和CARN。實驗結果如表4所示，對應的可視化結果如圖5 和圖6 所示，青科大一號衛星數據集以1波段顯示，Pavia University 數據集以49 波段顯示。其中在圖像的右下角的紅色矩形區域表示圖像被放大了三倍。

圖5 青科大一號衛星數據集實驗結果Fig.5 Experimental results of QUST-1 satellite dataset

圖6 Pavia University數據集實驗結果Fig.6 Experimental results of Pavia University dataset

表4 超分辨率重建實驗結果Table 4 Experimental results of super-resolution reconstruction

在高光譜遙感數據實際應用中，需要光譜數據的同時還需要用到其對應的空間形態信息。高光譜遙感數據的劣勢是光譜信息豐富但空間形態信息匱乏，所以在很多地物分類、識別的過程中無法做到精準的判讀，判斷空間形態信息需要有高的空間分辨率，而高光譜遙感數據本身無法滿足需求。雖然Ahn 等[13]也研究使用了級聯殘差方法為實現空間分辨率的提高做出了貢獻，但存在處理信息分布不均數據時同等對待而不能對不同地物空間形態信息做出對癥重建的缺點。實驗結果表明，提出方法能夠在不損害光譜信息和有效利用計算負載的前提下，保留地物的真實空間形態信息對癥重建，實現空間分辨率進一步提高的同時地物識別精度也得到提高。

由表4 中青科大一號衛星數據實驗結果表明提出的多層級分流和細節增強的高光譜遙感圖像超分辨率重建模型在SRE、MPSNR、MSSIM和MRMSE指標的值最優，分別為38.20、31.85、0.65、6.95，與FSRCNN 模型對比SRE、MPSNR 和MSSIM 分別提高了1.84、2.98、0.07，MRMSE 降低了1.75。提出方法在處理像青科大一號衛星數據集這種以平原、田地和小城鎮等自然場景為主相對簡單的不規則自然圖案數據時，子圖分流結構將大部分子圖劃分到容易重建一類，通過帶細節增強的多尺度Retinex的結構將細微的紋理信息和光譜信息很好地保存下來，并傳遞到區域圖像重建模塊的簡單分支進行重建，局部圖像信息更加平滑，使用較少的運算量實現更好的效果。

從表4中Pavia University數據的結果可以看出，提出的方法與其他方法相比仍然具有較好的重建結果。與FSRCNN相比，SRE提高了1.84，MPSNR提高了3.64，MSSIM 提高了0.06，MRMSE 降低了1.79。在處理像Pavia University 數據集這種包含不同頻段城市場景組成的規則人工圖案數據時，子圖分流結構將大部分子圖劃分到困重建一類，通過帶細節增強的多尺度Retinex的結構和區域圖像重建模塊的復雜分支對不同頻段的邊緣、紋理細節特征更加全面地提取并使之參與到重建計算中，避免圖像出現鋸齒狀邊界，描繪出的形狀更加真實。當然在處理類似城郊結合的中等復雜數據時提出方法也可以做出靈活處理在計算量和性能上達到最優。

為了進一步說明提出框架的優越性，在圖5 和圖6中給出了可視化結果，在圖7 中給出了實驗光譜曲線。在圖5 青科大一號衛星數據集實驗結果的FSRCNN 效果圖中發現FSRCNN 未能提取和恢復地面真像圖像中小建筑物之間的縫隙。雖然在LapSRN 和CARN 的重建結果中可以觀察到，但這條縫隙不明顯，不容易被檢測。相比之下，提出框架利用增強的細節紋理特征將保留細節，使其更加清晰。在圖6Pavia University 數據集實驗結果中，地面真像中有一個“一”字形建筑物輪廓，這個輪廓在其他方法的結果中很難區分出來。相比之下，這個“一”字輪廓仍然可以在提出的結果中觀察到。這表明提出的框架可以利用利用高光譜遙感圖像的細節紋理特征，并受益于區域圖像重建模塊重建精細紋理，說明該網絡可以更好地保存光譜信息，更好地保持細節特征。

圖7 展示了青科大一號衛星和Pavia University 數據集各波段的MPSNR 性能，本文提出的方法MPSNR在各波段都持續高于其他方法。由以上結果表明本文算法在考慮局部空間細節時，可以更好地學習和強化空間特征，提高結構特征的連貫性。因此，可以得出結論，本文提出的算法在CMOS 和ROSIS 傳感器采集的這兩個數據集上都能夠獲得較好的表現。

圖7 各波段的MPSNR性能展示Fig.7 MPSNR performance display of each band

為驗證提出模型的有效性，采用SVM 分類算法在原始Pavia University 數據集和經提出框架重建后的Pavia University 數據集上進行分類對比實驗。分類結果的評價指標如表5。圖8直觀地展示了分類圖。從圖表中可以看出，在使用相同分類算法的情況下，重建數據的分類性能均超過原始數據的性能，從而證明提出的超分辨率重建模型對圖像質量的提升在分類應用有良好的效果。

表5 原始圖像和超分圖像分類對比結果Table 5 Classification and comparison results of original image and super divided image %

文章進行了消融實驗來驗證提出框架中各組成部分的重要性。消融實驗中不同模塊的設置包括：不加子圖分流網絡分支，不加高低頻信息提取分支，不加改進高低頻信息提取分支，這三種比較方法除了被消融的模塊，其他均與提出模型具有相同的設置。在青科大一號衛星和Pavia University數據集進行實驗，結果如圖9所示，從圖中可以看出使用改進細節增強算法比不改進算法的超分辨率重建結果在MPSNR值上提升了約1.2%，從而證明了細節增強的有效性。所提出框架的超分辨率重建指標超過了其他消融實驗模型的指標，證明了所提出框架中每個組件的重要性。

圖9 青科大一號衛星和Pavia University數據集上消融實驗結果Fig.9 Ablation experiment on QUST-1 satellite and Pavia University

3 結束語

為了提高高光譜遙感圖像的空間分辨率，提出的多層級分流和細節增強的高光譜遙感圖像超分辨率重建框架。針對高光譜遙感圖像的空間信息分布不均勻導致重建時占據相同計算量的問題，本文設計子圖分流網絡進行分流，實現計算負載的有效利用；針對高光譜遙感圖像細節部分重建后不夠精細問題，設計高低頻信息提取模塊對紋理細節部分重點提取以充分保留紋理細節信息和消除不必要的噪聲，使重建工作更加細化具體。在兩個數據集上的實驗結果表明，與其他高光譜遙感圖像超分辨率重建方法相比該框架能夠恢復更精細的細節且具有較高的效率。在未來的研究中，如何在一定的約束條件下進行更精確的圖像高低頻信息加權融合是本文研究的重點。