融合多尺度特征卷積神經網絡的多光譜圖像壓縮方法

張麗麗，陳子坤，潘天鵬，屈樂樂

（沈陽航空航天大學 電子信息工程學院，遼寧 沈陽 110136）

1 引言

多光譜圖像在空間和光譜維度上具有高分辨率的特點，在軍事、農業檢測和測繪等多個領域有著廣泛的應用［1-4］。但由于多光譜圖像數據具有維度高，數據量大的特點，存在著存儲和傳輸的問題［5-7］。普通圖像每個像素的數據大小為8 bit，而多光譜圖像每個像素的數據大小為16 bit，所以在圖像大小相同的情況下，多光譜圖像有著比普通圖像更高的數據量。所以對多光譜圖像在高比特率下進行高效的壓縮和重建方法的研究是很有必要的。

應用于多光譜圖像壓縮的傳統圖像壓縮方法一般有JPEG2000［8］和3D-SPIHT［9］等，這些方法既能實現碼率可變的圖像壓縮又可以實現高壓縮比的有損壓縮［10］，支持區域感興趣編碼，能夠選擇性地對特定區域進行壓縮和解壓縮。但是以上算法都存在著復雜度高，重建圖像質量不高的問題。因此，傳統圖像壓縮方法已經不能滿足高效多光譜圖像壓縮的要求。

近年來，深度學習有損圖像壓縮方法得到了迅速發展。相對于傳統圖像壓縮算法，深度學習算法對圖像的特征提取、表達能力以及對高維數據的處理能力等方面有著很大的優勢。同時深度學習方法可以進行端到端的學習和優化［11］，從原始圖像到壓縮編碼的整個過程都可以通過神經網絡進行端到端訓練。這樣可以更好地統一優化壓縮和解壓縮過程，提高整體性能。

卷積神經網絡（Convolutional Neural Networks,CNN）［12］因其優異的局部感知能力、多層次特征提取能力在深度學習圖像壓縮當中得到了大量的應用。傳統基于CNN 的圖像壓縮模型結構為：編碼器，解碼器，量化器以及熵編解碼器。其中編碼器，解碼器由CNN 構成。為進一步獲得更優的壓縮效果，Ballé 等人提出了超先驗的概念［13］，指出應該為潛在表示下的每個像素點分別估計各自的分布、均值和方差，在熵編碼階段中依據該信息，可以有效地消除原潛在表示中存在的邊信息，得到消除空間冗余后的潛在表示，可以得到更優的熵編碼。此外，其在編解碼網絡中加入廣義除法歸一化（Normalization of (Inverse)Generalized Division,GDN/IGDN）提高網絡的潛在特征提取能力。Minnen 等人在Ballé 等人的模型基礎上做了改進［14］。在保留核心自編碼器網絡和超先驗網絡的結構下，添加了基于自回歸的上下文模型。編碼器網絡學習圖像量化后的潛在表示，上下文模型通過自回歸預測熵模型的概率分布，而超先驗網絡學習圖像的隱藏特征的表示信息，用于修正和調整上下文模型的預測結果。

對于多光譜圖像，以上提出的模型其結構并不能高效地提取到多光譜圖像的光譜間特征。為了能提取到空間特征和譜間特征，Kong 等人在2020 年提出了一種基于加權特征通道殘差網絡的端到端多光譜圖像壓縮框架［15］，通過殘差塊統一去除多光譜圖像中的冗余信息，但其并沒有單獨針對光譜間和空間信息進行處理，之后kong等人提出了一種空間光譜間雙路特征提取網絡［16］，將空間和光譜特征分別提取并融合，并對空間特征的提取采用組卷積的方式避免與光譜間特征發生混淆。在2020 年，Roy 等人提出了一種混合頻譜CNN［17］，它由3DCNN 和2DCNN 組成，先使用3DCNN 來提取聯合光譜空間特征，再使用2DCNN 來學習更抽象的空間表示。在2021 年Cao 等人提出了一種張量CNN 光譜空間特征完全分離的提取方法［18］，在空間光譜間的雙特征提取之上，利用塔克分解和神經網絡相結合的兩個張量層對多路特征進行分解。分解后的特征張量沿著通道維度連接，分別保存頻譜和空間特征。在2022 年kong 等人提出了一種多向CNN 空間光譜間特征提取算法［19］，將特征提取網絡劃分為三個并行模塊。光譜模塊用于獲得沿光譜方向的光譜特征，其中兩個空間模塊提取沿兩個不同空間方向的空間特征，然后將所有特征融合在一起后進行壓縮。以上方法有效地解決空間與光譜間的特征提取問題，但是仍沒有解決多光譜圖像元素間的長距離關系問題。在2022 年Kong 等人提出一種多尺度空間譜注意力網絡［20］，提取出了多尺度的光譜特征，解決了光譜相關性的非平穩性和空間特征的尺度多樣性的問題。但是其網絡中使用不同尺度的3D 卷積塊共同提取光譜與空間特征，兩類特征的相關性會相互影響，這樣會降低對光譜間特征和空間特征的提取效率，同時也會使模型的參數量過大。

對于多光譜圖像壓縮以上方法并不能達到高效率同時提取輸入圖像的空間特征和光譜間特征。一方面，其忽略了特征之間的長距離相關性以及獨立性的問題。另一方面，針對空間特征使用普通2D 卷積操作只針對平方塊內的元素進行操作，這樣的操作會導致一部分空間信息的損失，即局部空間信息的損失。所以現有方法不能同時實現高效的空間和光譜間特征提取。針對此問題，本文提出了一種融合多尺度特征卷積神經網絡的多光譜圖像壓縮方法。通過在編解碼器引入多尺度空間光譜間特征提取模塊和空間光譜間非對稱卷積塊，解決特征之間存在長距離相關性以及局部特征信息會被忽略的問題。多尺度空間光譜間特征提取模塊使用不同的卷積方式和多尺度的卷積模式來獲取元素之間的長距離相關性。該模塊在空間特征上采用多個尺度的組卷積模式，以避免與光譜間特征發生混淆。在光譜間特征提取上，使用3D 卷積來提取縱向的光譜信息。同時，在特征提取階段，采用多個空間殘差塊和光譜間殘差塊，以同時高效提取空間特征和光譜間特征。空間光譜間非對稱卷積塊通過對輸入特征進行不同方向的一維卷積來提取局部特征，并進行整合。該網絡能夠同時高效地提取多光譜圖像的空間特征和光譜間特征并對其進行壓縮。

2 融合多尺度特征卷積神經網絡

2.1 網絡結構

多光譜圖像輸入X進入帶有多尺度空間譜間特征提取模塊和空譜非對稱卷積模塊的前向特征提取網絡Ga，以提取多光譜圖像中的空間特征信息和光譜間特征信息，其過程如下所示：

其中：Y代表經過網絡Ga后所得到的特征信息，Wconv，WGDN，WMSSA，WSSC，分別代表卷積操作，廣義除法歸一化操作以及多尺度空間譜間特征提取操作和空間光譜間非對稱卷積操作。多尺度空間譜間特征提取模塊被部署在編碼器的瓶頸位置，可以在多光譜圖像輸入的開始階段有效地提取到多尺度的光譜以及空間信息。空間光譜間非對稱卷積模塊在提取局部空間特征的同時還可以輔助光譜特征的提取。在獲得空間和光譜間特征信息Y后，鑒于熵模型與潛在表示上的先驗相對應，潛在表示可以將邊信息視為熵模型參數的先驗。為了進一步獲取邊信息Z，將輸入Y輸入到超優先級分析編碼器Ha中進行編碼處理，其具體過程可以表示為：

其中：Z是獲取到的邊信息，Wconv，WRELU，分別代表卷積和LeakyReLU操作，最后Z被量化編碼成為比特流，在熵解碼端進行處理得到量化后的通過Hs獲得所需要的熵參數，其具體過程如下所示：

2.2.1 光譜間特征提取

光譜間特征存在于多光譜圖像的縱向上，針對光譜間的特征，采用3D 卷積的方法，3D 卷積操作可以對輸入數據進行一維的縱向卷積操作從而提取到豐富的光譜特征。為了更好地提取特征，使用了n個譜間殘差塊，其基本過程如圖4（a）所示，對輸入依次進行3D 卷積，激活，3D 卷積操作后與輸入相加后進行激活，其具體過程如下：

其中：X為模塊的輸入代表第n個譜間殘差塊的輸出。Rspe(X)代表譜間殘差塊的處理過程，WRELU，Wconv3D分別代表激活操作以及3D 卷積操作。在本文中譜間殘差塊的數量為3。采用兩條并行的譜間特征提取路線，以上為其中一條路線的示例，兩條并行支路使用不同尺度的卷積核大小提取出不同尺度的譜間特征，卷積核的大小分別為5×1×1 和7×1×1，卷積核的選擇在3.4 節介紹，多尺度特征提取完畢后，使用concat操作將兩部分輸入整合到一起，使用1×1 卷積進行降維操作，用Sigmoid函數對降維后的數據進行歸一化處理最后與整合降維后數據做乘積操作得到融合后的光譜特征，過程如下：

其中：X代表輸入圖像代表經過多個譜間殘差塊的輸出，分別代表經過兩個并行的光譜間特征提取支路的輸出結果。M，N分別代表兩個支路所使用的卷積核的大小，concat操作將兩個尺度的特征信息合并起來。Wconv1×1代表卷積核大小為1 的卷積操作，將輸入數據的維度轉化為所需要的維度。

2.2.2 空間特征提取

針對空間特征的提取方法與光譜特征提取基本一致，為了不與光譜間特征發生混淆，卷積方式采用的是組卷積的方法如圖3 所示，輸入通道與輸出通道均為C/N（圖中N取2），在本文中N為192。此操作不僅可以單獨提取到空間特征，也減少了參數量。對于空間特征也采取同譜間特征相同的引入殘差塊的處理，其過程同譜間殘差塊相同，且引入數量為3，不同的是卷積操作采用的是組卷積，其過程如圖4（b）所示。

在空間多尺度方面，引入兩條并行路線，卷積核大小分別為5×5 和7×7，其過程如下：

2.2.3 空間光譜間特征融合

在提取到多尺度的空間譜間的特征后對兩者進行融合操作，其過程如下所示：

其中：X，，分別代表多光譜圖像輸入所提取的多尺度的空間信息以及譜間信息。Xout為模塊的輸出。

在得到空間特征與光譜間特征后，進行與譜間和空間多尺度特征融合相同的操作，用來得到融合后的空間光譜間聯合特征，最后與整個模塊的輸入進行加和操作得到輸出的特征信息。

針對普通CNN 圖像壓縮網絡忽略了局部空間信息與光譜信息的問題。提出一種非對稱的卷積操作，針對空間方向上的水平和垂直方向以及光譜間的縱向進行一維的卷積操作，提取局部的空間和光譜間特征，將局部關鍵特征以及光譜間特征集合到方核卷積中，實現全局信息、局部信息和光譜信息的結合。此操作不僅可以得到豐富的局部特征信息，還可以得到光譜之間的特征信息。局部卷積操作如圖5所示。

在提取局部空間和光譜間特征的同時，采用一般的2D 卷積提取全局的特征與局部特征相結合獲得全面的空間譜間特征。將平方卷積核分解為三個較小的一維卷積核來可以有效地減少模型參數的數量。

模塊的結構如圖6 所示，基本模塊由一個ReLU激活函數和四個卷積層構成，激活函數可以強化輸入特征的非線性變換，四個卷積層分別為卷積塊為3×3，1×3，3×1 大小的2D 卷積塊來提取全局和局部的空間特征，和一個卷積核大小為3×1×1 的3D 卷積塊來提取局部的光譜間特征。C1，C2，C3，C4分別代 表3×3，1×3，3×1 大小的2D 卷積操作以及3×1×1 的3D 卷積操作，C1在殘差學習的過程中受到C2，C3，C4的影響達到細化提取的局部關鍵特征，增強圖像壓縮網絡對局部細節的表達能力。使用xi表示第i 個卷積層輸出的特征，則SSC 可以表示為：

其中：xi-1為經過SSC 輸出的特征張量，O代表SSC 模塊的輸出。同時SSC 的在編碼器和解碼器中的輸入輸出通道均為N。

2.4 熵模型

網絡使用了超先驗來從潛在表示中捕獲副信息，以生成更準確的熵模型。網絡采用了高斯尺度混合（GSM）先驗概率模型［20］，GSM能夠在壓縮性能和模型復雜性之間達到更好的平衡，并且時間消耗較少。具體而言，為了確保足夠的靈活性以匹配變分后驗，通過對預測的GSM和標準均勻噪聲進行卷積來計算Y的參數先驗概率模型：

在這里ψ(i)表示第i個完全因子化模型，該模型對應于。因此，總比特包含壓縮的和，其可以定義為：

3 實驗分析

3.1 數據集

為了證明所提出的壓縮框架在具有不同波段數量和分辨率的數據集上的有效性，在實驗中使用了兩個比特深度為16 bit的數據集。

第一個數據集來Landsat-8衛星。由于第8個波段（15 m）的空間分辨率與其他波段（30 m）不同，因此選擇前7個波段。原始圖像覆蓋了中國的不同地區和季節，并被裁剪成128×128大小的10 800張圖像進行訓練。為了測試，從多個地區選擇了16張512×512大小的圖像。

第二個數據集是來自Sentinel-2衛星的8波段數據集，其空間分辨率為20 m。同樣，選擇8 200張尺寸為128×128的圖像進行訓練，選擇16張尺寸為512×512的圖像進行測試。在訓練集和測試集之間沒有相同的圖像。所有的測試圖像都具有代表性，包含不同比例的各種場景。

3.2 訓練條件

本文提到的模型都是由Adam優化器在帶有Pytorch的NVIDIA GeForce RTX 3090 GPU上訓練。

由于網絡中的主要參數和與因子化熵模型相關的輔助參數使用了兩個優化器，對于主優化器，學習率被初始化為1×10-4，當在15的迭代內沒有看到改善時，學習率以0.1的衰減率降低。

在訓練期間，輔助學習率固定為1×10-3。批量大小設置為16。每個模型被訓練了大約300次迭代，直到收斂。

訓練網絡所采用的損失函數為率失真損失函數［11］其中失真損失采用最小均方誤差（Mean Square Error，MSE）損失，碼率損失采用公式（19）中所使用的碼率損失。

3.3 評價指標

實驗中既進行了客觀評價，也進行了主觀評價。使用上文提到的兩個數據集，根據廣泛使用的峰值信噪比(Peak Signal to Noise Ratio,PSNR)指標，客觀地評估了提出的網絡架構。具體來說，由于原始圖像的比特深度是16 bit，因此PSNR可以通過式（22）得到：

其中：DMSE(X，)為原始圖像與重建圖像間的最小均方誤差。此外，為了測量光譜的恢復質量，引入了一種光譜指標，即光譜角度（Spectral Angle,SA），也稱為光譜角度映射（Spectral Angle Mapping,SAM），它測量原始圖像和解壓縮圖像中對應像素的兩個光譜矢量之間的角度。對于波段數為c，寬和高為w和h的原始圖像X和相應的重建圖像SA的表達式如式（23）：

為了方便衡量，由MSA表示的一對圖像所有像素的平均SA，即：

在比特率相同的條件下，較大的PSNR值能夠表示出更好的壓縮性能。相反，較小的MSA值，解壓縮的頻譜向量越接近原始頻譜向量，表明壓縮的性能更好。

3.4 多尺度特征提取模塊性能測試

多尺度空間光譜間特征提取模塊用來提取不同尺度的光譜信息和空間信息進行融合，此操作可以獲得特征之間的長距離關系。在此模塊中空間和光譜間各選擇兩個大小的卷積核，分別提取兩個尺度的特征信息。

為了選取適合大小的卷積核，對于空間特征提取所使用的卷積核在卷積核大小為5×5，7×7，9×9中進行組合，光譜間特征提取所使用的在卷積核大小為5×1×1，7×1×1，9×1×1中進行組合的條件下進行SSC模塊的測試實驗，所有實驗均在比特率在0.5 bit左右的條件下，并且對Landsat-8數據集進行實驗。為了統一標準本文中所使用的比特率是比特/像素/波段。表1和表2分別顯示了在不同卷積核大小下模塊的性能。

表1 不同卷積核組合下的MSSA模塊PSNR指標Tab.1 PSNR metrics for MSSA modules with different convolutional kernel sizes （dB）

表2 不同卷積核大小下的MSSA模塊的MSA指標Tab.2 MSA metrics for MSSA modules with different convolutional kernel sizes （×10-3 rad）

經過實驗可以得到在空間光譜間卷積核大小分別在5×5，7×7，5×1×1，7×1×1時此模塊會取得最好的效果。將使用此卷積核大小的MSSA模塊應用到壓縮模型中并且在Landsat-8數據集上測試率失真表現，與深度學習壓縮算法Scale-only，Mean&Scale，Joint以及傳統算法JPEG2000和3D-SPIHT進行比較，其結果如圖7所示。從圖像可以看出加入MSSA的壓縮網絡結果優于其他算法，并且在低比特率下效果更好。

3.5 空間譜間非對稱卷積塊模塊性能測試

對于空間譜間非對稱卷積模塊，其類似于網絡中的基礎模塊，可以在網絡中被多個引入［20］，實驗主要目的為測試在Landsat-8數據集下，SSC模塊數量為2，3或4，碼率為0.5 bit左右時，SSC模塊的性能表現，其結果如表3所示。

表3 不同數量SSC模塊下的SSC模塊的PSNR指標和MSA指標Tab.3 PSNR metrics and MSA metrics for SSC modules with different numbers of SSC modules

當引入模塊數量為3時網絡達到最佳性能。將3個SSC模塊應用到壓縮模型中并且在Landsat-8數據集上測試率失真表現，其結果如圖8所示。從圖像可以看出加入SSC的壓縮網絡結果優于其他算法，并且隨著比特率的增大其效果越明顯。

3.6 融合多尺度特征卷積神經網絡性能測試

上述實驗已經驗證了MSSA模塊以及SSC模塊的在多光譜圖像壓縮方面有效性，在本節中將對其進行綜合測試，即對本文提出圖像壓縮網絡結構在Landsat-8的7波段數據集和Sentinel-2的8波段數據集上進行性能測試。圖9和圖10分別顯示了7波段和8波段數據集實驗結果。圖9比較了Landsat-8衛星數據集上各種模型解壓縮的重建圖像的PSNR以及MSA。數據顯示，提出模型的表現優于其他算法，并隨著比特率的增大其效果越明顯。

圖1 多尺度空間譜間特征提取網絡結構Fig.1 Multi-scale spatial inter-spectral feature extraction network structure

圖2 MSSA 模塊結構Fig.2 MSSA module structure

圖3 組卷積示意圖Fig.3 Group convolution schematic

圖4 空間和譜間殘差塊Fig.4 Spacial and spectral residual blocks

圖5 SSC 三種卷積模式示意圖Fig.5 Schematic diagram of the three convolution modes of SSC

圖6 SSC模塊結構Fig.6 SSC Module Structure

圖7 MSSA模塊測試結果Fig.7 MSSA module test results

圖8 SSC模塊測試結果Fig.8 SSC module test results

圖9 7波段數據的PSNR指標和MSA指標Fig.9 PSNR metrics and MSA metrics for 7-band data

圖10 8波段數據的PSNR指標和MSA指標Fig.10 PSNR metrics and MSA metrics for 8-band data

圖10比較了Sentialt-2衛星數據集上各種模型解壓縮的重建圖像的PSNR以及MSA。JPEG2000和3D-SPIHT的數據將在表5中給出。數據顯示，提出模型同樣表現出最佳性能。提出模型比現有的基于超優先級的模型更優越，尤其是在高比特率下更為明顯，這表明更詳細的空間和光譜特征可以被所提出的網絡有效地捕獲。

表4和表5中分別給出了7波段和8波段測試集的PSNR，MSA結果。由于不同方法很難獲得相同的比特率，表中給出了6種方法在5種代表性比特率下的結果。此外，通過不同算法以相似的比特率解壓縮的重建圖像分別如圖11和12所示。每個測試圖像的一個復雜區域被突出顯示，以便進行更清晰的比較，所有圖像所基于的比特率在0.4 bit左右。通過提出模型進行解壓縮的重建圖像包含更多清晰的邊緣和紋理，在兩個數據集上都提供了最佳的視覺質量。

表4 7波段測試集下的PSNR，MSA指標Tab.4 PSNR，MSA metrics under 7-band test set

表5 8波段測試集下的PSNR，MSA指標Tab.5 PSNR，MSA metrics under 8-band test set

圖11 Landsat-8數據集重建圖像示意圖Fig.11 Schematic of reconstructed image from Landsat-8 dataset

圖12 Sentinel-2數據集重建圖像示意圖Fig.12 Schematic of reconstructed image from Sentinel-2 dataset

3.7 復雜度分析

對模型復雜性進行比較，表6展示了在Landsat-8數據集下不同算法的編碼和解碼時間的比較。

表6 各算法編解碼時間及計算量Tab.6 Codec time and computation for each algorithm

表中深度學習多光譜圖像壓縮算法具有可以在GPU平臺下進行并行計算的特點，因此均在GPU平臺下測試其編解碼時間。

從表中可以看出，由于串行解碼的要求和較高的算法復雜性，Joint算法的編碼和解碼時間較長，計算量較大。相比之下，提出模型、Scale-only和Mean&Scale算法由于并行編解碼的特點，具有較低的編解碼時間。表格還提供了不同模型的浮點運算次數（Floating-Point Operations per Second,FLOPs）。

需要注意的是，模型的并行度也會影響執行時間，因此一些FLOPs較低的模型可能會消耗更長的編碼時間，例如Joint模型。而本文提出模型具有適度的FLOPs，并且在GPU上具有適中的執行時間。該模型在適度的編解碼時間和計算量的基礎上顯著提高了圖像壓縮能力。

4 結論

在本篇論文中，提出了一種融合多尺度特征卷積神經網絡用來壓縮多光譜圖像。為了提取到多光譜圖像中的空間特征和光譜間特征，提出了多尺度空間譜間特征提取模塊以及空間光譜非對稱卷積網絡模塊。實驗表明所提出網絡與傳統多光譜圖像壓縮方法相比，PSNR指標高于傳統算法1～2 dB，MSA指標高于傳統算法（2～8）×10-3rad，能夠更好地提取多光譜圖像特征信息，使解壓縮圖像擁有更清晰的紋理和邊緣，提供了優異的壓縮性能。并且在模型復雜度以及壓縮、解壓縮的時間上能夠達到更好的均衡效果。