融合空譜-梯度特征的深度高光譜圖像去噪

李忠偉，張 浩，王雷全，任廣波，崔行帥

（中國石油大學（華東）海洋與空間信息學院，山東 青島 266580）

1 引 言

高光譜傳感器（也稱為成像光譜儀）能夠在幾個連續的窄波段收集地物的電磁光譜信息，生成具有上百個光譜波段的高光譜圖像（Hyperspectral Image，HSI）。與其他類型的遙感圖像相比，高分辨率遙感圖像包含了地物豐富的紋理、形狀、結構和鄰域關系等信息［1］，目前成功應用于地物分類［2］，解混［3］，目標檢測［4］和變化檢測［5］等。然而，由于傳感器響應的不穩定性和大氣等環境因素干擾，高光譜數據采集時會產生噪聲［6］，不僅降低了圖像質量，也限制了后續圖像光譜信息解析的準確度［7］。因此，研究高效且穩定的HSI恢復方法，對后續數據分析和處理進程具有重要意義［8-9］。

傳統的高光譜圖像去噪策略主要是基于二維圖像逐個譜段降低噪聲水平，如NLM方法［10］、非局部轉化方法［11］、小波變換方法［12］等，這些方法簡單地將HSI作為灰度圖像的疊加。然而，HSI相鄰譜段高度相關，相隔很遠的波段之間的特征差異很大，故逐帶方法會丟失譜域中的相似性和差異性，去噪結果往往會引入偽影或譜失真。為了獲得更好的去噪性能，必須考慮空間和頻譜相關性。譜帶之間的相關性通常被建模為低秩先驗［13-14］，而空間域中的相關性通常被建模為紋理構造先驗，例如全變差正則化［15］，字典和稀疏表示［16］等，但是由于數學形式復雜，參數需要手工設置和調整，并且大量的數據先驗會使計算復雜度較高［17］。

隨著深度學習的快速發展，基于深度神經網絡的HSI去噪算法備受關注［18］。由于卷積神經網絡具有很強的特征擬合能力，基于離散余弦神經網絡的方法較基于模型的灰度圖像方法，去噪效果更佳。張少磊等使用耦合狄利克雷自編碼器提取光譜特征和對應的空間信息重建HSI，將卷積神經網絡作為正則化豐度矩陣的先驗，避免了傳統模型復雜的參數調整［19］。劉偉等使用三維卷積神經網絡，通過保留相鄰譜帶的相關性和在空間域提取更多的像素特征來獲得更好的去噪性能［20］。Zhang等提出引入簡單梯度信息的SSGM網絡模型，用于多種HSI噪聲的去除［21］。Maffei提出一種單譜段去噪方法，多次下采樣降低參數量進行去噪［22］。Yuan等提出了端到端的HSID神經網絡模型，結合殘差策略直接從噪聲圖像中估計清晰圖像［23］。基于深度學習的HSI去噪算法依賴于GPU的并行計算能力和神經網絡的深度結構先驗建模能力，均取得了不錯的去噪性能。然而，大多數去噪算法是單獨譜段去噪，HSI譜段之間的強光譜相關性利用不足。其次，神經網絡特征提取過程中較小的樣本感受野嚴重降低了全局空間相關性，空間信息損失過多。另外，隨著深度模型網絡深度的增加，深層網絡特征損失嚴重，反而降低深度回歸任務的準確度。事實上，因為HSI數據的高維性，設計高效的特征提取網絡來充分利用空譜相關性是一項重要挑戰。

本文提出了一種融合空譜-梯度特征的深度神經網絡恢復HSI，它包括空譜特征網絡和梯度特征網絡兩部分。其中，空譜網絡由級聯的多尺度注意力殘差塊組成，用于提取基礎噪聲的分布特征。梯度網絡由級聯的普通卷積層組成，用于噪聲紋理結構的精細識別。考慮到網絡深度和廣度的平衡，加深網絡的同時引入密集跳躍連接和可分離卷積策略進行優化，匹配HSI高維譜信息進行精準噪聲擬合的同時，大幅減少中間層高特征維度映射過程中引起的過量參數，以提升網絡訓練性能。最終，設計有效的方法融合兩個網絡特征提取結果生成精準噪聲圖像，并用于恢復干凈圖像。

綜上，本文提出了一種端到端的空譜-梯度特征神經網絡去噪方法。該方法以多譜段高光譜數據為輸入，級聯多尺度特征提取模塊提取到的空間和光譜信息為初始特征，以充分利用HSI中豐富的頻譜信息和每個頻帶的不同空間信息，經過所提出的網絡直接恢復HSI。設計多尺度殘差注意力模塊（Multi-scale Attention Residual Block，MARB）提取圖像噪聲特征，并使用密集連接和可分離卷積策略平衡網絡的深度和廣度，以強化網絡特征提取性能。引入空譜梯度信息，利用空間梯度提取稀疏噪聲在水平和垂直方向上的獨特結構方向性，利用譜梯度獲取譜段間附加互補信息以更好地降低噪聲。設計獨立的深度網絡獲取深層梯度特征，最終進行空譜特征和梯度特征的有效融合。實驗表明，所提出的模型不但對HSI有很好的去噪效果，對圖像內部結構的恢復上效果顯著，能夠很大程度上改善頻譜失真現象。

2 原 理

2.1 HSI退化模型

HSI是一組三維數據結構h×w×c，其中h×w表示空間像素數目，c表示光譜譜段數目。HSI退化模型可以表示為：

其中：X表示真值圖像，V=[v1，v2，...，vc]表示加性噪聲，Y表示噪聲觀察圖像。特別地，對于加性高斯白噪聲，v n=ξ(0，σ2)，n∈[0，c]，σ表示標準正態分布的標準差。由于退化模型移項表示為X=Y-V，故HSI去噪實際上就是去除已知觀察噪聲圖像Y的加性噪聲V，從而恢復無噪圖像X。

2.2 融合空譜-梯度特征的HSI去噪模型

本文提出的HSI去噪網絡如圖1所示。該網絡輸入尺寸為h×w×c的HSI噪聲數據，通過端到端的學習，直接恢復相同尺寸的去噪結果。為了充分提取隨機分布噪聲的特征信息，整個網絡分為并行的兩個階段。

在第一階段，訓練了一個深度密集可分離卷積網絡，用來提取深層空譜噪聲特征信息。對輸入的通道數為K的噪聲數據，使用空間多尺度特征提取模塊（SM）提取多尺度空間特征信息，使用通道多尺度特征提取模塊（CM）提取多尺度光譜特征信息，特征提取模塊如圖2所示。然后，級聯特征提取結果，通過MARB進一步提取HSI噪聲信息，該模塊如圖3所示。所提出的網絡引入多個MARB，級聯不同MARB輸出結果的同時控制維度，這種優勢在于噪聲特征重復利用以保證豐富的信息流，進而生成精簡模型以有效減少參數數量。考慮到噪聲分布特性，結合不同尺度的特征和特征注意模塊來捕捉各種噪聲成分是一種有效的方法。跳躍連接通常用在殘差鏈接塊中，因為它們可以在多個尺度上聚集特征并加速訓練過程。因此，密集連接MARB能夠更好地捕捉具有不同尺度的噪聲結構信息。

圖1 融合空譜-梯度特征的神經網絡架構Fig.1 Spatial spectral gradient neural network model

在第二階段，訓練了一個梯度特征網絡，從不同的輸入噪聲數據中，分別提取K譜段的空間梯度信息和光譜梯度信息。SM模塊用于提取多尺度空間梯度特征信息，CM模塊用于提取多尺度光譜梯度特征信息，然后連接特征提取結果并輸入到一個十五層的深度卷積網絡模型中，這樣可以更好地表現噪聲在空間方向和光譜方向的梯度分布特性。整個梯度網絡中間層使用深度可分離卷積層，可以在維持特征提取層高通道數的同時大幅減少梯度網絡訓練參數。梯度網絡特征提取結果與空譜網絡特征提取結果加權融合，并使用單個卷積層擬合噪聲特征分布。梯度網絡實際上對空譜特征提取網絡噪聲的擬合起補充作用，并且梯度信息可以提升網絡訓練速度。最終，噪聲擬合結果V與輸入噪聲圖像Y相減獲得去噪結果X。

圖3 多尺度注意力殘差模塊Fig.3 Multi-scale attention residual block model

2.3 多尺度特征提取模塊

本文對空譜網絡和梯度網絡使用相同的多尺度特征提取模塊，如圖2所示。考慮噪聲空間分布的不均勻性，SM模塊共設計6種大小不同的卷積核提取空間方向不同大小感受野的空間特征信息。首先使用大小為3×3，5×5，7×7的普通卷積（Conv）提取小范圍空間信息。對于更大范圍的空間信息提取，考慮到卷積核尺寸增大引發的過量參數會阻礙訓練過程，故分別用膨脹率d=4，5，6，大小為3×3的膨脹卷積（Dilated Conv），分別適應9×9，11×11，13×13的空間范圍。采用批量標準化函數（Batch Normalization，BN）作為歸一化層，緩解多尺度特征提取級聯結果過高維度引發的顯存壓力。BN實際上就是求單個批次訓練數據的均值和方差以進行數據標準化，它可以很好地避免淺層網絡梯度過小問題以增加網絡的學習速率。歸一化結果導入非線性激活層，引入該層是為了從卷積輸出數據中提取激活特征圖像。非線性激活層由多種激活函數實現，如tanh，sigmoid或整流線性單元（ReLU）等，從學習速度角度出發，本文使用Re-LU激活函數。SM模塊特征提取基本結構可以總結為Conv→級聯→BN→ReLU，其輸出可以表示為：其中：FSM指的是SM模塊的輸出，F n×n表示對輸入特征進行卷積核大小為n×n的普通卷積運算，F d=kn×n表示對輸入特征進行卷積核大小為n×n、膨脹率為k的膨脹卷積運算，C(·)表示特征級聯運算，BN(·)表示批量標準化函數運算，σ(·)表示ReLU激活函數運算。

區別于自然圖像，HSI具有高通道數的特點，CM模塊可以在控制空間方向特征不損失的情況下，單獨提取多尺度通道特征以擬合噪聲光譜分布情況。該模塊使用大小為5×1×1，7×1×1，9×1×1的三維卷積（3D Conv）分別提取多尺度通道特征信息并級聯，大小為1×1×1的三維卷積對結果進行降維，最后使用大小為3×3的普通卷積控制輸出通道數目。CM模塊特征提取基本結構可以總結為3D Conv→級 聯→3D Conv→ReLU→Conv→BN→ReLU，其輸出可以表示為：

其中：FCM指的是CM模塊的輸出，F n×1×1表示卷積核大小為n×1×1三維卷積運算。隨著網絡深度的增加，多尺度特征級聯結果能更好地逼近噪聲分布。

2.4 MARB

多尺度特征有效地結合了不同尺度上的特征，被廣泛用于獲取更好的物體及其周圍環境的信息。注意力機制能夠增強回歸任務提取信息的能力，這有利于提高網絡準確性。受這些思想的啟發，MARB用注意力模塊指導多尺度特征提取結果以有效學習噪聲信息。如圖3所示，對于輸入特征Fin，MARB使用大小為3×3，組數為120的可分離卷積和大小為3×3，組數為120，膨脹率為2的膨脹卷積分別提取初始特征。然后，各特征提取結果交叉進行這兩種類型的卷積運算，生成4個不同卷積組合順序的特征圖。這種交叉特征提取方式既能保證輸入信息可以通過所有參數層傳播，使得MARB可以通過不同尺度的特征來學習噪聲初級特征，同時又提取到卷積層不同組合順序的噪聲結構特征。另外，由于噪聲密度分布模式在不同通道上變化很大，因此BCP先驗［24］可能是獲得通道特征的不同加權信息的有效方法。經發現，與同等對待不同通道的方法相比，具有BCP的通道式注意方案可以幫助網絡更好地保持原噪聲圖像中的像素亮度。因此，通道注意力可以捕捉噪聲區域并幫助提取重要通道特征。同時，由于噪聲的分布幾乎是不均勻的，在不同的空間位置可能會有所不同，故空間注意力對噪聲區域的識別也很重要。本文融合4個組合的特征提取結果，并使用大小為1×1的普通卷積控制通道數目，再使用大小為3×3，組數為120的可分離卷積提取噪聲擬合結果，然后依次通過通道注意力（Channel Attention，CA）和空間注意力（Spatial Attention，SA）模塊獲得深層特征注意力結果。最終與該模塊輸入特征Fin進行跳躍殘差連接獲得MARB輸出特征FMARB，可以表述為：

其中：G表示Conv/Dilated Conv→BN→ReLU組合運算分別表示3×3的普通卷積組合運算和膨脹率為2的3×3膨脹卷積組合運算，sa(·)，ca(·)分別表示空間注意力和通道注意力運算。圖4（a）展示了BCP通道注意力提取方案，圖4（b）展示了BCP空間注意力提取方案。MARB能夠強化噪聲特征信息的組合和重構。

圖4 BCP注意力模塊Fig.4 BCP attention blocks

2.5 密集連接和可分離卷積策略

深度學習中，增加網絡的深度和廣度，本質上都是在增加可學習參數的個數，從而增加網絡的擬合能力。最佳網絡設計便是追求深度和廣度的平衡。目前，大多處理HSI的神經網絡模型多是單一地增加深度或者廣度，兩者結合的模型十分少見，主要是因為梯度消失和梯度爆炸導致網絡深度比較大的時候難以訓練。另外，網絡各層參數數量與當前層輸出通道數目正相關，特別對于高通道數量的HSI，極大地增加了計算復雜度，故很難實現相關網絡深度和廣度的高效平衡。

本文使用10個密集連接的MARB以提升網絡深度，每個MARB輸入特征通過級聯前面所有MARB的輸出特征獲得。為了減少成倍數增加的特征通道數，每個MARB結束后均加入一個大小為1×1的普通卷積層控制輸出通道數目。這種密集連接方式能很大程度地提升MARB噪聲特征的提取性能，有助于反向傳播梯度來更新參數，同時跳躍級聯重復利用噪聲特征以保證網絡豐富的信息流，并大幅降低參數量。

盡管如此，更深更復雜的網絡還是會造成數據計算量更高，顯存負荷過載嚴重。考慮到HSI豐富的光譜信息，本文使用可分離卷積，在維持網絡高廣度的條件下能夠減小網絡參數量。換句話說，相同的參數條件下，利用可分離卷積策略能夠獲得更深更廣的網絡模型。在普通卷積運算中，對于一個卷積核，它與所有輸入特征進行卷積運算，最終求和產生單通道輸出特征，N個卷積核則產生N個通道的輸出特征。可分離卷積實際上就是對輸入特征通道進行分組，每組對應一個卷積核，該卷積核與且只與該組內所有輸入特征進行卷積運算核求和，故N個卷積核仍能產生N個通道的輸出特征，而參數計算量卻減少到原來的1/N。特別地，本文使用的深度可分離卷積運算組數被設置為輸入特征通道數目，最大限度降低參數量的同時保證網絡的高效無損信息流。

2.6 HSI梯度信息

雖然深度學習方法在HSI去噪領域取得了卓越性能，但是大多數去噪網絡無法準確提取噪聲，很難恢復圖像邊緣和內部紋理結構。考慮到噪聲分布的無規律性，圖像高紋理區域的像素信息可以表述為噪聲梯度信息。空間梯度信息由于其獨特的結構方向性，在一定程度上可以有效突出稀疏噪聲。由于高光譜數據包含數百個波段的豐富光譜信息，每個譜段的噪聲水平和類型通常不同，光譜梯度差異提供了額外的補充信息。故充分利用空間梯度和光譜梯度信息，對恢復HSI具有重要意義。

本文使用Sobel濾波器［25］計算空間梯度信息，該濾波器由一個水平過濾器SH和一個垂直過濾器SV組成，表示如下：

通過計算SH，SV和輸入圖像X間的卷積，可以獲得水平梯度GH和垂直梯度GV。這個過程可以寫成：其中，“*”表示卷積運算。本文對水平梯度和豎直梯度進行先平方和再開根號的運算，獲得最終空間梯度信息GS，表示為：

本文利用相鄰通道像素值作差獲取圖像光譜梯度信息GC，表示為:

其中m，n，k表示三維圖像X的像素坐標。本文級聯融合空間梯度和光譜梯度信息，并訓練獨立的梯度網絡，最終輸出梯度特征提取結果FG_OUT，表示為：

其中：F n{·}表示第n個Conv→BN→ReLU組合運算，卷積層使用組數為120的3×3深度可分離卷積；?表示相鄰兩個網絡層組合F n，F n-1之間的特征映射變換。

梯度網絡輸出結果FG_OUT與空譜特征網絡輸出結果FM_OUT加權融合生成FOUT，表示如下：

其中θ表示權重常量。然后對FOUT使用一個3×3的普通卷積整合特征，獲得噪聲評估特征V，并與網絡輸入Y進行長期跳躍相減運算，以通過整個網絡直接傳播無損信息恢復K通道HSI去噪結果X。

2.7 損失函數

均方誤差（Mean Square Error，MSE）廣泛用于評估去噪圖像及其對應的真值圖像區別的損失函數。對給定的輸入噪聲圖像Y，其對應的真值圖像X'，經過所提出的網絡輸出去噪圖像X。因此像素級均方誤差損失可定義如下：

其中H，W，C分別表示HSI的高度、寬度和通道數目。然而，MSE通常會導致高頻紋理的模糊和過度平滑，故單獨使用它對去除噪聲和恢復圖像內容具有很大的局限性。為了解決上述問題，本文將圖像結構相似性（Structural Similarity，SSIM）引入損失函數計算，即結合MSE損失和SSIM損失作為網絡總損失函數，以平衡圖像去噪性能和保持圖像內部結構。SSIM是衡量兩幅圖像X與X'結構相似程度的重要指標［26］，即：

其中：μX，σX分別表示X的均值和標準差，X與X'之間的協方差表示為σXσX'，C1，C2是平衡方程的常量。SSIM的取值是0～1，在圖像恢復過程中，較大的數值則表明結果圖像更類似真值圖像，因此SSIM損失可以定義為：

總混合損失L經LMSE和LSSIM加權求和，結果表示為：

其中λ是能夠平衡MSE損失和SSIM損失之間權重的超參數。通過適當的設置，混合損失可以在保持全局結構的同時保證每個像素的相似性，這有助于去噪模型恢復圖像。根據經驗，本文設置λ=0.2。

3 實 驗

本文提出的模型在下述服務器上運行：操作系統Ubuntu18.04.3，CPU處理器Intel（R）Core（TM）i7-9700K CPU@3.60 GHz，GPU顯 卡NVIDIA RTX 2070 Super GPU，基于深度學習框架Pytorch1.3。

3.1 實驗數據及預處理

本文使用HSI公開數據集對所提算法模型的有效性進行訓練和評估。訓練時，本文選擇HYDICE機載傳感器獲取的Washington DC Mall的一部分作為訓練數據。該傳感器共包括0.4～2.4μm紅外光譜中的210個光譜帶，其中去除存在嚴重大氣干擾的0.9～1.4μm的譜段，共剩有191個譜段。該高光譜數據集尺寸為1 208×307×191，在該數據集上加入合成噪聲，并切割200×200×191的數據用于測試模型，剩余部分用于訓練網絡。

由于HSI像素值表示反射率，故用于訓練網絡的數據首先需要進行歸一化處理，即每個譜段的像素值縮放到［0，1］之間。另外，考慮到對比實驗需要控制參數變量，本文將網絡輸入通道數設定為K=24。本文設置訓練數據集切片尺寸為20×20，切割步長等于20，并且對數據切片進行包括旋轉、翻折、放縮等在內的數據增強操作，最終共生成真值圖像切片198 648個。通過向真值圖像切片添加不同方差水平的高斯白噪聲來合成噪聲切片，噪聲標準差（σ）設置為25，50和100，保證網絡能夠學習不同的噪聲配置，避免訓練過程中出現數據冗余問題。由于數據集做過歸一化處理，故高斯噪聲分布實際使用的標準差σ'=σ/255.0。所提出的模型使用Adam優化器訓練，整個訓練過程共迭代100次，學習率初始化為0.001，并且每迭代30次學習率衰減0.5，每個批次送入128個噪聲-真值切片組。為了提高模型收斂速度，本文使用Kaiming分布［27］初始化卷積層和激活層參數，BN層初始化權重值約束為［-0.025，0.025］，初始偏移量值設置為0。

為了評估所提出方法的有效性，測試實驗分為合成噪聲實驗和真實噪聲實驗兩部分。本文使用從Washington DC Mall數據集剪裁的200×200×191的部分進行合成噪聲實驗，對該測試數據分別添加一定標準差的高斯白噪聲，分別評估同樣噪聲水平下訓練好的模型的去噪效果。

這里選擇Indian Pines數據集和Cave數據集進行真實噪聲實驗。由于傳感器本身局限和大氣等環境干擾的影響，兩個數據本身具有一定水平的噪聲。參考已有的HSI去噪方法，選擇訓練完成的σ=50的去噪模型進行去噪效果測試。Indian Pines數據集由機載可見紅外成像光譜儀（AVIRIS）獲得，由145×145個像素和220個光譜帶組成。在去除吸水帶（第104～108、第150～163和第220譜段）后，剩余的200個譜帶被保留用于實驗，圖像分辨率為145×145×200。Cave數據集由Cooled CCD相機獲得，譜段為400～700 nm，圖像分辨率為512×512×31，兩個數據集均進行歸一化處理。

3.2 性能評價標準

本文使用平均峰值信噪比（Mean Peak Signal to Noise Ratio，MPSNR）、平均結構相似性指數（MSSIM）來評估所提出模型的去噪效果，這兩個度量指標常用作評價HSI回歸任務的擬合性能。兩幅圖像X和X'之間的峰值信噪比

（PSNR）為：

其中：MAX2X為X最大像素值，MSE XX'為X與X'之間的均方誤差。各譜段的PSNR和SSIM的平均值分別表示為MPSNR和MSSIM。

本文可視化比較不同算法的去噪結果，選擇少數譜段數據生成偽彩色圖像以保證高的視覺質量。為了分析去噪圖像的后續處理性能，使用機器學習SVM算法分別對去噪前后的HSI進行分類驗證。

3.3 實驗結果比較與分析

用本文所提方法與幾個當前主流的HSI去噪方法進行比較，包括HSSNR方法［12］，ITSReg方 法［16］，BM 4D方 法［15］，LRMR方 法［14］，HSIDCNN方法［21］，就指標值和視覺效果進行評估。

3.3.1 合成噪聲實驗結果與分析

給定σ={25，50，100}，合成噪聲實驗結果如表1所示，最佳指標值以粗體顯示。可以明顯看出，除了在噪聲水平σ=100條件下MPSNR偏低，所提出的算法基本在所有噪聲水平中表現出最高MPSNR和MSSIM。特別在σ=50的噪聲水平下，所提出方法獲得的MPSNR相比于HSID方法提升0.458 dB，MSSIM提升0.014 2 dB。盡管算法對高強度噪聲沒有獲得最好的MPSNR，但是仍能取得最好的MSSIM，也證實所提出模型對圖像內部結構具有很強的恢復能力。

表1 合成噪聲實驗去噪結果對比Tab.1 Comparison of denoising results of different methods in synthetic noise experiment

圖5 展示了噪聲水平σ=50條件下不同算法的去噪效果。本文選擇57，27和17三個譜段的噪聲圖像、真值圖像和去噪結果分別組成各自的偽彩色圖像，對方框內部細節放大顯示。其中，圖5（a）表示添加噪聲水平σ=50的合成噪聲圖像，圖5（b）表示真值圖像，圖5（c）～5（g）分別表示其他對比算法的去噪結果，圖5（h）表示所提出方法的去噪結果。可以看出，HSSNR獲得的去噪圖像存在明顯的殘留噪聲，ITSReg和BM 4D的去噪效果不理想，且獲得的圖像表現得較為模糊。LRTA，HSID及所提出的算法均取得了不錯的去噪效果，但是觀察放大區域，LRTA在圖像紋理細節的保持上效果不佳，受周圍地物影響偽影效果明顯。另外，觀察到底部白色邊緣，HSID受邊緣高亮區域影響仍具有偽影現象，而本文所提出的方法對紋理細節特征具有更佳的抓取能力，圖像恢復效果最好。這是因為本文方法利用了從輸入噪聲級圖中給出的更多先驗信息，跳躍鏈接保證信息層級重復利用，使得網絡在去噪性能和內部結構恢復之間保持良好的平衡。

由于高光譜數據譜段多，為了更好地評估單譜段去噪效果，本文選擇可視化展示所提出算法和HSID算法在噪聲水平σ=50下，全譜段去噪結果的PSNR和SSIM。如圖6所示（彩圖見期刊電子版），藍線和黃線分別代表本文算法結果和HSID算法結果，可以看出，兩個算法單譜段PSNR峰值和低值表現相似，這與高光譜傳感器不同譜段的成像特點高度相關。不確定度分析全譜段數據可以看出，本文算法結果均值優于HSID算法結果。雖然本文算法全譜段的PSNR標準差為0.773，高于HSID方法的0.596，但是全譜段的SSIM標準差為0.017，低于HSID方法的0.034，這也進一步說明本文算法對紋理結構的恢復效果穩定，特別是在高頻區域和低頻區域，本文算法單譜段的去噪指標更高且更穩定。另外，SSIM曲線的穩定也表明本文對圖像紋理結構的恢復效果更佳，并且在大多數譜段具有更高的去噪峰值。

3.3.2 真實噪聲實驗結果與分析

Indian Pines數據集本身具有明顯的噪點和條紋，故直接對原圖像進行去噪實驗。使用第2譜段數據可視化顯示所提出的算法對比其他算法的去噪結果，如圖7所示，方框區域在右上角放大顯示。對比發現，HSSNR算法和ITSReg算法的去噪圖像很模糊，圖像嚴重失真。BM 4D算法可以減少一些噪聲，但一些密集的噪聲和條紋仍然保留在恢復的結果中。LRTR算法雖然接近原圖像，但仍具有偽影現象，一些詳細的信息同時被平滑和丟失。HSID算法和本文算法的去噪效果最為顯著，但是，HSID算法結果保持著高亮度，這也造成細節結構不明顯，相比本文算法表現最好，有效地消除了噪點和條紋，同時保留了HSI內部結構信息。

圖6 σ=50條件下不同譜段的去噪結果Fig.6 Denoising results of different wavebands inσ=50

圖7 Indian Pines數據集不同算法的去噪結果Fig.7 Denoising results of different algorithms of Indian Pines data set

圖8 Cave數據集的去噪結果Fig.8 Denoising results of Cave data set

為了進一步評估所提出算法恢復圖像內部結構的能力，這里選擇4幅Cave噪聲圖像，分別使用HSID算法和所提出算法進行去噪以獲取去噪結果，如圖8所示。可以看出，在兩種顏色過渡區域，HSID算法容易丟失邊緣細節，產生一定程度的模糊。另外，與周圍背景區域區別度較小的顏色，HSID算法很難還原，甚至直接恢復成背景顏色。本文算法有效地去除了噪聲，同時保留了局部細節和結構信息，沒有明顯的過度平滑，能更好地恢復過渡顏色。

為了驗證去噪圖像的后續處理性能，本文選擇Indian Pines數據集，并使用SVM分類器分別將所提出算法去噪前后的圖像進行分類。分類效果使用總體精度（Overall Accuracy，OA）和Kappa系數兩個指標進行評測，如表2所示。OA表示被正確分類的類別像元數與總的類別個數的比值，Kappa系數代表著分類與完全隨機的分類產生錯誤減少的比例，兩個值越大代表分類準確度越高。該數據集的分類結果如圖9所示。對比圖9（a）和圖9（b）可以看出，原圖像的分類結果存在大量誤分類像素點，特別是在同類別內部更加明顯。藍色類識別效果極差，分類指標OA和Kappa分別只有80.74%和0.780 2。對于本文算法去噪圖像的分類結果，OA和Kappa得到顯著提升，藍色區域得到正常識別，這是因為Indian Pines數據集不同地物類別呈塊狀分布，塊內噪點就會造成該類內部的誤分類，而藍色類作為作物混生區，同物異譜現象造成嚴重的偽影。本文算法能夠更好地提取類別塊內部結構，塊內噪點去除明顯，故分類性能明顯提升，OA和Kappa達到90.89%和0.888 4，分別提升10.15%和0.108 2。故本文提出的去噪算法在有效恢復HSI質量的同時，對后續圖像應用處理上也具有很強的潛力。

圖9 Indian Pines數據集的分類結果Fig.9 Classification results of Indian Pines data set

表2 Indian Pines數據集分類結果評價Tab.2 Evaluation of classification results of Indian Pines data set

3.4 實驗超參數設置評價與分析

3.4.1 梯度信息融合

為了確定網絡中梯度信息的最佳融合位置和融合方式，本文對比分析了4種融合策略，包括：A 0單一空譜網絡；A 1對空譜多尺度特征提取結果和梯度多尺度特征提取結果先直接級聯，再經過密集連接的MARB；A 2對密集連接MARB結果和梯度多尺度特征提取結果直接級聯；A 3則使用本文獨立的梯度特征網絡，然后使用θ加權融合空譜特征和梯度特征，如式（16）所示；另外，為了獲得最佳權重參數θ，這里又設計了3組不同權重的實驗A 3-1，A 3-2和A 3-3，對應的θ值分別為0.1，0.2和0.3。實驗在噪聲水平σ=25的條件下進行3次并取平均值，結果如表3所示，最佳結果加粗顯示。對比發現，A 0結果取得最低實驗指標值；A 1，A 2和A 3-2三組均取得不錯的實驗效果，A 3-2實驗獲得的最大MPSNR值為33.439 dB和最大MSSIM值為0.983 2 dB，這與噪聲中梯度信息的影響能力有關。圖10繪制了這三組實驗訓練模型過程中損失函數的變化曲線，可以看出，A 3-2實驗組網絡收斂最快且穩定，這也證明了本文所使用的梯度特征和空譜特征融合方式的高效性。

表3 梯度融合實驗結果Tab.3 Experimental results of gradient fusion

3.4.2 參數量分析

圖10 損失函數變化曲線Fig.10 Change curve of loss function

表4 密集連接參數量分析Tab.4 Parameter analysis of dense connection（MB）

本文使用密集連接和可分離卷積策略降低網絡參數。表4給出了使用可分離卷積策略時，不同MARB在使用密集連接策略前后的參數量。從10個MARB塊中選擇第1，3，8，9，10個MARB用于統計參數量，可以看出，本文密集連接方法可以很好地避免MARB參數的膨脹增長。從最后一個MARB可以看出，失去密集連接后參數量膨脹嚴重，使用密集連接的參數量比直接連接減少98%左右。為了證明可分離卷積策略的有效性，本文分別統計所提出模型使用普通卷積和使用可分離卷積的參數情況，并與梯度去噪網絡SSGN［21］進行比較，結果如表5所示。由于本文算法的網絡深度及廣度均比較大，使用可分離卷積前后網絡訓練參數量變化顯著，網絡參數量基本達到20倍的差值。相比于SSGN方法，盡管復雜的網絡產生更多的梯度求導運算過程，但是參數量和模型大小減小到1/3。可分離卷積最大限度壓縮網絡模型大小到2.06 MB，這在復雜網絡模型的保存上具有優勢。因此，密集連接和可分離卷積策略實現了所提出模型在高效特征提取性能下網絡廣度和深度的平衡。

表5 可分離卷積參數量分析Tab.5 Parameter analysis of separable convolution （MB）

4 結 論

本文提出了一種基于深度學習的HSI去噪方法，通過深度空譜-梯度網絡學習噪聲圖像和真值圖像之間的非線性端到端映射，以更好地利用空間信息、光譜信息和梯度信息恢復圖像。其中，多尺度特征提取模塊用于捕獲多尺度特征，MARB更好地集中噪聲空譜特征，密集連接和可分離卷積策略優化模型規模，多尺度梯度信息進一步豐富噪聲特征。合成數據實驗和真實數據實驗表明，該方法在評價指標、視覺效果上均優于多數主流方法。特別地，本文算法對圖像紋理結構恢復效果顯著，在σ=50噪聲水平下獲得29.426 d B的PSNR、0.967 8 d B的SSIM以及90.389%的SVM分類精度。在未來的工作中，我們將研究更有效的網絡學習結構來消除HSI中的混合噪聲，如條帶噪聲、脈沖噪聲和死線等。