多特征融合下的高光譜圖像混合卷積分類

熊 余，單德明，姚 玉，張 宇

多特征融合下的高光譜圖像混合卷積分類

熊 余1,2,3，單德明1,2,3，姚 玉1,2,3，張 宇1,2,3

（1. 重慶郵電大學 通信與信息工程學院，重慶 400065；2. 重慶高校市級光通信與網絡重點實驗室，重慶 400065；3. 泛在感知與互聯重慶市重點實驗室，重慶 400065）

針對現有高光譜遙感圖像卷積神經網絡分類算法空譜特征利用率不足的問題，提出一種多特征融合下基于混合卷積膠囊網絡的高光譜圖像分類策略。首先，聯合使用主成分分析和非負矩陣分解對高光譜數據集進行降維；然后，將降維所得主成分通過超像素分割和余弦聚類生成一個多維特征集；最后，將疊加后的特征集通過二維、三維多尺度混合卷積網絡進行空譜特征提取，并使用膠囊網絡對其進行分類。通過在不同高光譜數據集下的實驗結果表明，在相同20維光譜維度下，所提策略相比于傳統分類策略在總體精度、平均精度以及Kappa系數上均有明顯提升。

圖像分類；高光譜圖像；降維；超像素；混合卷積膠囊網絡

0 引言

高光譜遙感是指在電磁波譜的紫外、可見光、近紅外和中紅外區域，利用成像光譜儀獲取窄而連續的光譜圖像數據[1]。由于包含豐富的光譜信息使得高光譜圖像（hyperspectral image，HSI）能夠捕捉復雜的地物分布，因此HSI被廣泛應用于深林植被保護、水質檢測和地質勘測等[2]。然而，由于大氣分子影響使圖像存在椒鹽噪聲，以及光譜高維性所帶來的冗余，給遙感圖像實現準確的分類帶來了極大挑戰。

現有的遙感圖像分類技術大致可分為基于像元的分類方法和基于聯合空間特征和光譜信息分類的方法[3]。前者主要是通過同類地物光譜之間的相似性特征進行分類，一般采用支持向量機（support vector machine，SVM）、邏輯回歸和反向傳播神經網絡等[4]。它們基于光譜特征的相似性進行特征提取、選擇和分類，由于易受噪聲和光譜冗余影響，分類精度普遍較低。而后者主要基于相似區域將空間信息和光譜信息進行結合從而提高分類精度，如利用形態學擴展、超像素分割和二維卷積網絡（two dimensional convolutional neural network, 2DCNN）等[5]。它們主要依賴于對高光譜圖像中的空間特征信息提取，并與光譜特征相結合從而提高分類精度。其中卷積網絡以其自動挖掘特征的優勢，擺脫了人工提取特征的困難，獲得了研究者的廣泛關注。如文獻[6]提出了聯合使用最大池和平均池的組合型二維網絡以避免忽略相鄰像素特征之間的相關性，有效地提高了網絡的分類性能。但為了獲得更好的特征提取，該方法需要堆疊深層的卷積層，增加了網絡的復雜性與不可解釋性。因此，文獻[7]結合哈希特征來改善網絡，通過使用哈希函數和二進制哈希碼來改進語義特征的提取，以增強網絡的可解釋性。但未考慮光譜波段之間的相關性，且由于光譜信息的高維性，將導致計算量增大。為此，文獻[8]提出使用三維卷積神經網絡（three dimensional convolutional neural network, 3DCNN）作為分類器，以實現對空間和光譜特征的同時提取，在采用較少參數的同時顯著提升了分類精度。但受限于固定大小的卷積核，未能對地物邊界像元的特征進行較好提取，帶來空間信息利用不足的問題。而文獻[9]結合10層卷積層和1層全連接層構造了混合分類網絡，通過聯合使用一維、二維和三維的小卷積核來多尺度地提取光譜和空間特征，顯著提升了分類結果。文獻[10]設計了一種結合二維、三維卷積核的混合卷積網絡，旨在提高對主成分分析（principal component analysis，PCA）降維后高光譜圖像空譜特征的提取能力，同時降低了模型的復雜度，取得了較好的分類精度。但該模型需對不同數據集進行不同程度的降維，泛化能力不足，且空間和光譜特征融合僅限于三維卷積核，沒有充分利用光譜信息和空間特征以及未考慮小樣本對該模型分類的影響。

基于上述問題，本文提出了一種多特征融合下基于混合卷積膠囊網絡（hybrid convolutional capsule network with multi-feature fusion，MFF-HCCN）的高光譜分類策略。首先，使用主成分分析和非負矩陣分解（non-negative matrix factorization，NMF）對HSI數據集進行降維；然后，使用簡單非迭代聚類（Simple Non-Iterative Clustering，SNIC）算法和余弦聚類算法進行圖像分割和聚類融合；最后，將融合后的數據集通過改進的混合卷積膠囊網絡（hybrid convolutional capsule network，HCCN）進行分類。

1 MFF數據預處理

高光譜圖像的光譜特征具有高維性和冗余性，導致計算量大、分類困難，在分類前一般采用PCA與NMF對高光譜數據集進行特征提取[11]。PCA依賴于采用最大化方差去相關性，以保留數據集信息的主要成分，但降維數據可正可負，造成PCA的基在原始數據方面不具有直觀的物理意義[12]。雖然NMF分解結果為非負，具有可解釋性和明確的物理意義，但進行高光譜圖像的光譜解混時，易受噪聲影響陷入局部最優[13]。為此，綜合考慮二者的性能后，提出了一種PCA和NMF聯合的多特征融合（multi-feature fusion，MFF）算法。

1.1 數據降維

式中：(W×H)×B為高光譜數據；(W×H)×r和×B分別對應加權矩陣和加權系數矩陣；為降維的特征數目。

雖然NMF能夠較好地保留HSI的特征，但原始信息缺失較大，需要使用PCA對HSI進行降維。因此，使用PCA對HSI進行降維，分別得到前5主成分×H×5＝{PC1, PC2, …, PC5}和前16主成分×H×16＝{PC1, PC2, …, PC16}。圖1為以Pavia University數據集為例的PCA降維的各個成分之間的方差比例，數據的前5主成分和前16主成分信息分別保留在98%和99%以上。

1.2 超像素SNIC分割與聚類

超像素是由一系列位置相鄰且顏色、亮度、紋理等特征相似的像素點組成的小區域，它能夠提取圖像局部特征，獲取圖像的冗余信息[14]。而為獲取高光譜圖像各類地物分布情況，使用文獻[15]所提的SNIC分割算法對NMF所降維的三維圖像進行分割。該算法是傳統簡單線性迭代聚類算法（simple linear iterative clustering, SLIC）的改進算法，它以單次迭代和強制性連接取代了SLIC的K-means聚類分割，能夠更快、更有效地對物體邊界分割。SNIC將圖像由RGB顏色空間轉化為顏色分明的CIELAB顏色空間，在迭代過程中以初始中心像元的4鄰域或8鄰域像元作為一個超像素，其距離計算公式如公式(2)所示。

圖1 Pavia University數據集PCA降維成分方差比例分布圖

式中：＝(,)T表示像元的空間位置；＝()T表示像元在CIELAB空間的顏色通道；和分別為第個像元與第個像元之間的空間距離和顏色距離的歸一化因子。同時，也稱為緊密度參數，值越高，超像素越緊湊，但邊界貼合度越差，反之亦然。

使用NMF分解后的三維成分進行超像素分割而非PCA降維后的前3主成分，是因為NMF將數據集×H×B分解為三維的矩陣，能夠較好地保留個別地物的分布情況。從圖2的Pavia University降維圖可以看出，使用NMF降維后的圖2(a)比使用PCA降維的圖2(b)地物邊界保留更加完整、清晰。然后，為保證分割圖保留較為完整信息，將分割后的圖像與高光譜數據集×H×5按像元空間位置進行合并，得到一個具有五維光譜通道的立方體圖，如圖2(c)所示。

式中：i＝{0, 1, …, p－1}為每個超像素所包含的像元個數；k＝{1,2,…, K}為第k個超像素。因此，得到一個節點向量，同時也得到了一個均值化后的HSI圖像數據。

U＝1－U，U∈[0,2] (5)

以像元間光譜波段的夾角余弦距離度量像元的相似性，取代傳統的歐式距離度量，并做K-means聚類得到的聚類結果作為圖像的初始分類標簽ini＝{1,2, …,ini}。其中，L表示類標簽，ini表示初始聚類得到標簽數量。

1.3 多特征融合

式中：為給定的待歸一化的數據集；為的元素；￠為歸一化后的結果。

2 分類網絡

高光譜數據集經過以上預處理后，可以得到一個具有空譜融合特征的20維數據集。為了進一步提高對空間和光譜特征的利用率，首先使用4種不同尺度的三維卷積核對數據集進行空譜特征提取，然后使用3種不同尺度的二維卷積核進一步提取局部空間特征，最后通過具有方向特性的膠囊網絡進行分類。

2.1 HCCN網絡

式中：為ReLU激活函數；b,j為第層第個特征圖的偏置；d－1為第(－1)層特征圖的數量和用于生成第層第個特征圖卷積核,j的深度，2＋1、2＋1和2＋1分別為卷積核,j的寬度、高度和光譜通道數。

首先，為了加強對不同空間尺度特征提取，在三維卷積層中使用3×2×3、2×3×3、2×1×3和1×2×7四種不同大小的三維卷積核，可以得到一系列具有空譜特征的立方體特征圖。然后，將所得的特征立方體圖根據其光譜通道數變換為二維特征圖，分別使用3種不同尺度的3×3、2×2和1×1二維卷積核進行濾波處理，如公式(9)所示。并將每個濾波器輸出的二維特征圖平鋪為一維向量并進行疊加如公式(10)所示。

將疊加后的0輸入到膠囊網絡中進行特征提取，獲得一組具有大小和方向的向量[16]。膠囊卷積是傳統神經網絡的一種改進形式，它具有平移不變性以及可以自動選擇圖像的位置、大小和方向等特征并做特征的聚類以強化相似性，輸出一種更具有表達力的特征向量。因此，使用膠囊網絡接收多尺度卷積層輸出的特征可以有效提高對不同特征的提取和判別能力，以提升模型的分類性能。圖3展示了膠囊網絡內部神經元的加權組合過程。

圖3 膠囊網絡神經元解析圖

對于所獲得的每一個膠囊屬于一個類，使用膠囊向量的模值長度表示對應像元的類概率。因此使用公式(14)邊緣損失作為整個網絡的損失函數：

式中：＋＝0.9，－＝0.1，＝0.25，如果像元屬于第類，T＝1。參數＋表示輸出的向量||||的長度大于＋時，則可以確定該像元屬于第類；參數－表示||||小于－時，則像元不屬于第類。為控制權值大小的參數，以達到當像元誤判時停止初始化學習。

所提HCCN分類如圖4以Pavia University數據集為例所示，其各層參數如表1所示。

表1中卷積核的前3個數為核的大小，第四個數為核的數量。輸出大小表示每層輸出特征圖的大小。如第一層卷積層的卷積核的參數為(3,2,3,16)，分別表示卷積核大小為3×2×3和核的數量為16。輸出為(9,10,18)，表示輸出的特征圖大小為9×10×18。

2.2 MFF-HCCN算法步驟

MFF-HCCN算法主要分為以下幾步：

步驟1：使用PCA對HSI數據集進行降維，獲取前5主成分×H×5和前16主成分×H×16并使用NMF獲取HSI的前3成分×H×3。

步驟4：對×H×20使用公式(7)進行歸一化處理，并輸入到改進的混合卷積膠囊網絡HCCN中進行分類處理。

MFF-HCCN算法的結構圖如圖5所示。

圖4 HCCN分類示意圖

表1 Pavia University數據集卷積分類各層的參數

圖5 MFF-HCCN算法結構圖

3 仿真分析與討論

3.1 實驗數據

實驗以3種公開的遙感數據集Indian Pines、Pavia University和WHU-Hi-Longkou來檢驗算法分類效果。

1）Indian Pines數據集[7]。該數據集是通過AVIRIS傳感器于1992年6月獲取的來自美國印第安納州北部農業區的具有220個波段的高光譜遙感圖像，光譜波段范圍為0.4～2.5mm。該圖像大小為145×145像素，空間分辨率約為20m。該數據去除了水吸收和低信噪比波段后為200個波段數據，總共劃分為16類真實地物，如表2所示。

2）Pavia University數據集[7]。該數據集是通過ROSIS傳感器于2001年獲取的Pavia大學的場景圖，具有115個光譜波段，光譜波段范圍在0.43～0.86mm，所獲圖像大小為610×340像素，空間分辨率大約為1.3m，真實標記地物劃分為9類。實驗選取103個波段用于分類，如表3所示。

3）WHU-Hi-Longkou數據集[17]。該數據集是通過搭載Headwall Nano-Hyperspec成像傳感器的無人機于2018年7月獲取的中國湖北省龍口鎮農業場景圖，具有270個光譜波段，光譜波段范圍在400～1000nm，所獲圖像大小為550×400像素，空間分辨率約為0.463m，真實標記地物劃分為9類，如表4所示。

表2 Indian Pines數據集的地物類別和樣本數

表3 Pavia University數據集的地物類別和樣本數

3.2 參數設置

在對高光譜圖像進行分類時，使用SNIC將Indian Pines數據集分割為200個超像素。考慮到沒有標記地物的影響，初始聚類數目為18類。當對Pavia University數據集進行分類時，SNIC將其分割為800個超像素，初始聚類數目為11類。同樣，在對WHU-Hi-Longkou數據集進行分割時，將其分割為500個超像素，初始聚類數目為11類。SNIC的緊密度參數設置為10。模型batch size設置為128，初始學習率為0.001，衰減速率為1×10－6。網絡訓練迭代次數為300次，網絡輸入大小為11×11×20。

表4 WHU-Hi-Longkou數據集的地物類別和樣本數

為了驗證所提策略在分類方面的高效性，與以下策略進行對比：SVM、PCA-SVM、MFF-SVM、3DCNN[8]、PCA-3DCNN、MFF-3DCNN、PCA- HybridSN[10]。其中，帶有PCA的分類策略表示使用相同20維的PCA降維數據集，用于對比所提MFF算法的有效性。PCA-HybridSN和所提策略MFF-HCCN使用相同大小的batch和網絡輸入。SVM使用徑向基函數，懲罰系數為100。實驗分類結果的評估準則使用總體精度（overall accuracy，OA）、平均精度（average accuracy，AA）和Kappa系數進行評估。

3.3 仿真結果分析

在Indain Pines分類實驗中，隨機選取數據集的10%和90%分別作為訓練樣本和測試樣本，仿真結果如表5所示。首先對比SVM和PCA-SVM以及3DCNN和PCA-3DCNN分類情況，易見未降維的分類策略所獲得的分類精度優于使用PCA降維的分類策略。這是由于Indain Pines數據集具有低的空間分辨率和高的光譜分辨率，“同譜異物，異物同譜”現象較為嚴重，所以此時大多分類策略主要利用數據集光譜維波段的差異性來對地物像元進行精準分類。而PCA線性降維破壞了光譜波段間的非線性相關關系，降低了像元間的光譜差異性，導致分類精度下降。與此同時，通過對比還可以發現使用3DCNN分類策略優于SVM分類策略，這是因為3DCNN在進行卷積操作時能夠有效地提取局部空間特征，從而進一步提高分類精度。接著使用MFF-SVM和MFF-3DCNN分類策略與前面所述的分類策略進行對比，可以發現相比于PCA降維和未降維的分類策略，后兩種分類策略的OA、AA和Kappa都獲得了顯著的提升。因為所提的MFF算法使用SNIC算法將相似且相鄰的地物像元劃分到多個小區域，并對每個超像素進行均值化從而提高了同類地物像元的相似性和異物地物像元的差異性。而且MFF算法又對均值化的圖像融合多種光譜特征進一步提高了地物像元的差異性，減少了SNIC誤分割帶來的影響。最后將所提MFF-HCCN分類策略與最新的PCA-HybridSN分類策略相比，可見所提策略在OA、AA和Kappa精度上分別提升了2.472%、1.924%和2.814%，表明了所提策略能夠有效地利用空譜特征。這是因為相比于PCA-HybridSN分類策略，所提的MFF-HCCN分類策略在二維卷積層使用了3種不同尺度的二維卷積核。通過對三維卷積層輸出的特征圖多尺度的局部特征提取，從而提高了對空譜特征的利用率。與此同時，所提分類策略又使用膠囊網絡作為輸出層，通過對二維卷積層輸出的特征轉換為具有大小和方向的膠囊向量作為輸出，可以提高對地物像元的判別能力。當然，在訓練時間方面，所提策略相對于3DCNN和HybridSN網絡使用較多的卷積層和膠囊網絡，復雜度較高，所以在相同20維光譜特征下，所提分類策略訓練時間較長。圖6為Indian Pines數據集的偽彩色圖和其真實地物標記圖。圖7展示了不同分類策略在10%訓練樣本下的分類結果，可以發現所提方法分類效果最佳，而且使用MFF算法的分類策略相比其他策略圖像更為平滑。

表5 各算法在Indian Pines 數據集10%訓練樣本下的分類結果比較

圖6 Indian Pines偽彩色圖及其標記圖

圖7 各算法在Indian Pines 數據集10%訓練樣本下分類圖像

在Pavia University分類實驗中，選取數據集的2%和98%分別作為訓練集和測試集，仿真結果如表6所示。易知在Pavia University數據集下，所使用分類策略的精度相比于Indian Pines數據集時都表現出更好的分類效果，這是因為Indian Pines數據集存在數據不平衡問題，而Pavia University則有著較高的空間分辨率和較少的地物類別。首先對比SVM、PCA-SVM、3DCNN和PCA-3DCNN四種分類策略，可以發現PCA-3DCNN分類精度最高，PCA-SVM分類精度最低。這是由于3DCNN能夠同時提取空間和光譜特征，提高了地物像元類別的判斷能力。然而光譜的高維性也使得了3DCNN的空間特征和光譜信息不能較好地結合，適當地降維提高網絡對空譜特征的提取，因此PCA-3DCNN獲得了更好的分類效果。然后將MFF-SVM和MFF-3DCNN策略分別與SVM和PCA-3DCNN策略對比，發現使用MFF算法的分類策略在分類精度方面都得到顯著提升，證明了基于SNIC分割的MFF算法可以有效地融合空譜特征。最后將所提MFF-HCCN策略與PCA-HybridSN策略對比，發現前者可以取得更好的分類精度，其OA、AA和Kappa系數相比于PCA-HybridSN策略分別提高了1.312%、1.317%和1.743%。表明所提MFF-HCCN能夠更好地對高分辨率、高光譜圖像進行地物分類，其主要原因是該策略通過聚類融合、卷積提取和膠囊判別有效地挖掘了地物的空譜特征。圖8和圖9展示了使用不同分類策略在2%訓練樣本下的分類結果圖，可以發現所提方法圖像更為平滑，誤分類較為集中，這是由于使用超像素分割和均值化的結果。

表6 各算法在Pavia University 數據集2%訓練樣本下分類結果比較

圖8 Pavia University偽彩色圖及其標記圖

圖9 各算法在Pavia University 數據集2%訓練樣本下分類圖像

在WHU-Hi-Longkou分類試驗中，隨機選取數據集的0.5%和99.5%作為訓練集和測試集，仿真結果如表7所示。由表7可知，所提分類策略的總體分類精度分別優于PCA-3DCNN和PCA-HybridSN分類。同時，通過對比也可以發現，WHU-Hi-Longkou數據集是一種高空間分辨率和高光譜分辨率的影像，相比傳統基于像元的SVM分類策略，基于卷積神經網絡的分類策略在分類時由于融合了空間信息，因此分類精度普遍較高。對比MFF-SVM和SVM分類策略，可以發現，MFF預處理方法使用SNIC分割方法在一定程度上融合了一定程度的空間信息，使得同類像元相似性增大，異類像元差異性加大，更易于SVM分類器判別。圖10為WHU-Hi-Longkou數據集的偽彩色圖和地物標記圖。圖11為0.5%訓練樣本下各個分類策略的分類結果圖。

為了衡量所提策略在不同訓練樣本下的魯棒性，這里使用總體分類精度OA作為判斷標準，如圖12所示。其中橫坐標表示不同訓練樣本的數目比例，縱坐標表示對應的OA精度，可以發現無論是Indian Pines數據集或是Pavia University數據集或是WHU-Hi-LongKou數據集，各個分類策略的OA曲線圖均隨訓練樣本的增加呈平穩上升的趨勢，顯然更多的訓練集能有助于分類精度的提升。所提MFF-HCCN分類策略在不同數據集的不同樣本情況下，保持了穩定的效果，分類精度始終優于其他策略。值得注意的是，所提策略在極少訓練樣本下仍能夠取得較好的分類精度，如在Indian Pines數據集下僅使用2%的訓練樣本仍能夠獲得90.503%的總體分類精度，分別比SVM、PCA-SVM、MFF-SVM、3DCNN、PCA-3DCNN、MFF-3DCNN和PCA-HybridSN高24.052%、32.534%、16.088%、28.452%、22.205%、12.715%和13.48%。與此同時，當采用Pavia University數據集的0.2%樣本作為訓練樣本時，所提策略的總體精度為88.217%，相比于其他分類策略分別提高了10.041%、15.588%、2.82%、15.923%、1.886%、4.229%、6.143%。而對于WHU-Hi-LongKou數據集，僅使用數據集的0.1%作為訓練樣本，總體分類精度可達97.296%，明顯優于其他分類策略。可見，所提策略在小樣本場景下依然適用，這是因為使用了SNIC分割算法、多尺度二維卷積核和膠囊網絡能有效提升對圖像局部空間特征的提取能力，從而能實現小樣本情況下高光譜圖像分類精度的提高。

表7 各算法在WHU-Hi-Longkou 數據集0.5%訓練樣本下分類結果比較

圖10 WHU-Hi-Longkou偽彩色圖及其標記圖

圖11 各算法在WHU-Hi-Longkou 數據集0.5%訓練樣本下分類圖像

圖12 不同訓練樣本下的總體分類精度OA曲線圖

4 結論

針對現有高光譜圖像分類方法中空間和光譜利用率不足的問題，提出了一種多特征融合下基于混合卷積膠囊網絡的高光譜圖像分類策略。首先針對傳統PCA降維未能利用空間特征，設計了基于超像素的PCA和NMF聯合降維的MFF算法，以有效地將空間特征融入到降維的數據集中。同時通過將多種特征相融合來降低誤分割帶來的誤差，以及避免超像素內像元均值化導致像元光譜維過于簡單產生卷積網絡過擬合的現象。然后，設計一種多核的混合卷積分類網絡，通過使用多尺度二維核對三維卷積輸出的特征圖進行特征提取，進一步提高了對空譜特征的利用。最后，使用膠囊對卷積網絡輸出的局部特征進行膠囊變換，輸出具有大小和方向的膠囊，以提高不同類別像元的判別精度。實驗在傳統的Indian Pines和Pavia University公共數據集下對比所提分類策略與傳統分類策略分類情況，結果表明，該策略在總體精度、平均精度和Kapp系數方面均表現最佳，而且當使用較少訓練樣本時所提策略依然能夠取得較高的分類精度，證明了所提策略利用空譜特征提高分類精度的有效性。與此同時，為了體現所提分類策略的應用價值，在近年精準農業方面的WHU-Hi-LongKou數據集上進行仿真，實驗證明該分類策略具有良好的分類性能和泛化能力。

[1] 藍金輝, 鄒金霖, 郝彥爽, 等. 高光譜遙感圖像混合像元分解研究進展[J]. 遙感學報, 2018, 22(1): 13-27.

LAN J, ZOU J, HAO Y, et al. Research progress on unmixing of hyperspectral remote sensing imagery[J]., 2018, 22(1): 13-27.

[2] 徐金環, 沈煜, 劉鵬飛, 等. 聯合核稀疏多元邏輯回歸和TV-L1錯誤剔除的高光譜圖像分類算法[J]. 電子學報, 2018, 46(1): 175-184.

XU J, SHEN Y, LIU P, et al. Hyperspectral image classification combining kernel sparse multinomial logistic regression and TV-L1 error rejection[J]., 2018, 46(1): 175-184.

[3] 劉啟超, 肖亮, 劉芳, 等. SSC DenseNet: 一種空-譜卷積稠密網絡的高光譜圖像分類算法[J]. 電子學報, 2020, 48(4): 751-762.

LIU Q, XIAO L, LIU F, et al. SSC DenseNet: a spectral-spatial convolutional dense network for hyperspectral image classification[J]., 2020, 48(4): 751-762.

[4] LI S, SONG W, FANG L, et al. Deep learning for hyperspectral image classification: an overview[J]., 2019, 57(9): 6690-6709.

[5] Nanjun H, Paoletti M E, Mario H J, et al. Feature extraction with multiscale covariance maps for hyperspectral image classification[J]., 2018, 57(2): 755-769.

[6] GAO H, LIN S, LI C, et al. Application of hyperspectral image classification based on overlap pooling[J]., 2019, 49(3): 1335-1354.

[7] YU C, ZHAO M, SONG M, et al. Hyperspectral image classification method based on CNN architecture embedding with hashing semantic feature[J]., 2019, 12(6): 1866-1881.

[8] YING L, Haokui Z, QIANG S. Spectral-spatial classification of hyperspectral imagery with 3D convolutional neural network[J]., 2017, 9(1): 67-88.

[9] HE M, LI B, CHEN H, et al. Multi-scale 3D deep convolutional neural network for hyperspectral image classification[C]//, 2017: 3904-3908.

[10] Roy S K, Krishna G, Dubey S R, et al. Hybrid SN: exploring 3D-2D CNN feature hierarchy for hyperspectral image classification[J]., 2020, 17(2): 277-281.

[11] WEI W, ZHANG J, LEI Z, et al. Deep cube-pair network for hyperspectral imagery classification[J]., 2018, 10(5): 783-801.

[12] Baisantry M, SAO A K. Band selection using segmented PCA and component loadings for hyperspectral image classification[C]/, 2019: 3812-3815.

[13] ZHANG W, FU K, SUN X, et al. Joint optimisation convex-negative matrix factorisation for multi-modal image collection summarisation based on images and tags[J]., 2018, 13(2): 125-130.

[14] Achanta R, Shaji A, Smith K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]., 2012, 34(11): 2274-2282.

[15] Achanta R, Süsstrunk S. Superpixels and polygons using simple non-iterative clustering[C]//, 2017: 4895-4904.

[16] Sabour S, Frosst N, Hinton G E. Dynamic routing between capsules[C]//2017, 2017: 3856-3866.

[17] ZHONG Y, WANG X, XU Y, et al. Mini-UAV-Borne hyperspectral remote sensing: from observation and processing to applications[J]., 2018, 6(4):46-62.

Hyperspectral Image Hybrid Convolution Classification under Multi-Feature Fusion

XIONG Yu1,2,3，SHAN Deming1,2,3，YAO Yu1,2,3，ZHANG Yu1,2,3

(1.,,400065,; 2.,400065,;3.,400065,)

To address the problem of insufficient utilization of spatial-spectrum features in existing convolutional neural network classification algorithms for hyperspectral remote sensing images, we propose a hyperspectral image classification strategy based on a hybrid convolution capsule network under multi-feature fusion. First, a combination of principal component analysis and non-negative matrix decomposition is used to reduce the dimensionality of a hyperspectral dataset. Second, the principal components obtained through dimensionality reduction are used to generate a multidimensional feature set through super-pixel segmentation and cosine clustering. Finally, the superimposed feature set is used to extract spatial-spectrum features through a two-dimensional and three-dimensional multi-scale hybrid convolutional network, and a capsule network is used to classify them. We performed experiments on different hyperspectral datasets, and the results revealed that under the same 20-dimensional spectral setting, the proposed strategy significantly improves the overall accuracy, average accuracy, and Kappa coefficient compared to traditional classification strategies.

image classification, hyperspectral image, dimensionality reduction, superpixel, hybrid convolution capsules network

TP391.41

A

1001-8891(2022)01-0009-12

2020-11-02；

2021-01-25.

熊余（1982-），男，研究員，博士，主要研究方向為教育大數據，光網絡。E-mail：xiongyu@cqupt.edu.cn。

國家自然科學基金資助項目（61401052）；國家留學基金委資助項目（201608500030）；重慶市教委科學技術研究資助項目（KJ1400418, KJ1500445）；重慶郵電大學博士啟動基金資助項目（A2015-09）。