基于高光譜跨場景遷移學習的集成對齊子空間自適應算法

摘 要：針對跨場景分類問題，結合集成學習和域自適應思想，提出一種對齊子空間自適應集成學習（aligned subspace adaptive ensemble learning， ASAEL）算法。首先，對原始數據進行多次隨機抽樣以解決樣本不平衡問題。然后，將源域和目標域進行幾何配準和統計配準，以構建一個公共的子空間。最后，對目標場景中的數據進行分類，在保留有效信息的前提下，通過計算多次分類結果，得出最終的分類標簽。所提ASAEL算法可以解決遷移過程中產生投影的不確定性和隨機性。在兩個數據集上的實驗結果表明：與傳統的機器學習和域自適應方法相比，所提算法的準確性顯著提高。

關鍵詞： 跨場景分類; 域自適應; 集成學習; 高光譜; 遷移學習

中圖分類號： TP 751

文獻標志碼： ADOI：10.12305/j.issn.1001 506X.2025.02.04

An aligned subspace adaptive ensemble algorithm based on

hyperspectral cross scene transfer learning

SONG Yijia1， WANG Haiyan2， FENG Wei^1，*， QUAN Yinghui1

（1. School of Electronic Engineering， Xidian University， Xi’an 710071， China;

2. Shaanxi Academy of Forest， Xi’an 710016， China）

Abstract：To solve the cross scene classification problem， an aligned subspace adaptive ensemble learning algorithm combining ensemble learning and domain adaptive is proposed. Firstly， multiple random sampling is performed on the original data to solve the sample imbalance problem. Then， the source and target domains are geometrically and statistically aligned to construct a common subspace. Finally， the target scene data are classified， and the final classification labels are derived by calculating the classification results of multiple times while preserving the valid information. The proposed aligned subspace adaptive ensemble learning algorithm can solve the uncertainty and randomness of projection during the transfer process. Experimental results carried out on two datasets show that the proposed algorithm has a significant improvement in accuracy compared to traditional machine learning and domain adaptive methods.

Keywords：cross scene classification; domain adaptive; ensemble learning; hyperspectral; transfer learning

0 引 言

由于高光譜圖像（hyperspectral image， HSI）具有數據維度高^［1］、標記樣本少的特點^［2］，HSI的跨場景分類一直是個難題^［3］。在實際應用中，有大量作為目標域（target domain， TD）的數據需要處理^［4］，但無法獲得對應的訓練集。此時，將有標記的另一組數據作為源域（source domain， SD）訓練模型，然后直接將模型遷移到TD^［5］，是一種非常有效的處理手段。域自適應（domain adaptive， DA）是轉導式遷移學習的一種，它可以減少特征級的頻譜偏移并學習域不變的模型，目前此算法已被廣泛應用于跨場景分類問題^［6］。

在大部分算法中，總是假定訓練集與測試集具有相同的分布^［7］。然而，在實際情況中，訓練與測試環境往往大不相同，這可能會導致訓練獲得的模型過度擬合^［8］。因此，為了解決SD和TD之間的不一致性，本文提出了基于DA的遷移學習（transfer learning， TL）算法。通過這種算法，將在SD訓練的目標函數轉移到TD，以提高模型預測的準確性^［9］。

此前，已有一些研究提出了相關解決思路，Pan等^［10］提出一種轉移成分分析（transfer component analysis， TCA）算法，TCA可將兩個域的信息映射到同一個高維再生核希爾伯特空間中。此外，聯合分布適應（joint distribution adaptation， JDA）算法^［11］可同時利用邊際分布和條件分布的相關信息。假設SD和TD之間差異很大，就很難找到一個可以同時實現兩種數據投影的空間。同時，投影空間具有隨機性，如果沒有選擇合適的基礎作為空間向量，很可能出現錯誤分布。因此，Tzeng等^［12］提出了深域混淆（deep domain confusion， DDC）算法。深度適應網絡（deep adaptation network， DAN）^［13］是在DDC之后的進一步探索。DAN增加了一層自適應和域混淆損失函數，讓網絡學會如何分類。這種方法減少了SD和TD之間的分布差異。DAN最突出的方面體現在兩點：多層和多核。對于無監督DA中的分類，Sun等^［7］提出相關性對齊（correlation alignment， CORAL）算法，該算法通過線性變換對SD分布和TD分布的二階統計量進行了優化。為了更好地利用類內特征，Wang等^［14］提出了分層遷移學習（stratified transfer learning， STL）算法。STL利用類內遷移計算每個類的最大平均差異（maximum mean discrepancy， MMD）^［15］距離，以達到更好的轉換效果。

針對高光譜跨場景分類問題，近期也有許多學者提出了有效的算法。Zhang等^［16］基于卷積神經網絡，提出一種拓撲結構與語義信息遷移網絡（topological structure and semantic information transfer network， TSTnet），并設計深度語義特征動態構圖的方式，實現更準確的特征嵌入和圖的構建。為解決樣本非獨立同分布的問題，出現一種新的面向多層次特征和決策邊界（toward multi level features and decision boundaries， ToMF B）^［17］的無監督域自適應內容對齊框架（unsupervised domain adaptation with content alignment， UDACA），使用兩階段對齊方案來彌合域間間隙并生成判別決策邊界。另一種基于分布對齊的UDACA^［18］考慮到不同領域之間的分布差距，引入對抗性框架實現了不變特征的增強表示，以及減少內容差異條件下的特征對齊。

在集成學習（ensemble learning， EL）研究領域中，從多個分類器組合中得出的判斷，比任何一個分類器單獨得出的判斷結果都要好^［19］。提升算法和引導聚集（bootstrap aggregating， Bagging）算法^［20］是目前主流的EL方法。單個分類器之間的差異是分類器組合中一個非常重要的特征^［21］。目前，EL已被成功應用于高光譜分類領域^［22］。

當SD和TD的數據特點相差很大時，很難建立一個包含兩個域共享特征的共同子空間^［6］。之前，大多數基于特征的DA方法并沒有明確最小化域之間的分布距離^［23］。

本文采用EL的思想處理SD輸入并整合每個結果，提出EL對齊子空間自適應集成學習（aligned subspace adaptive ensemble learning， ASAEL）算法。本文在DA算法中使用判別合作對齊（discriminative cooperative alignment， DCA）算法^［6］的思想，該算法應用約束條件對兩個子空間進行配準，在保持全局幾何特性的同時，控制投影數據幾何結構的相似性。然后，計算域間MMD和類間MMD，并施加數據重構計算以保留判別信息。同時，EL可以匯集不同維度空間的優勢，提高本文算法精度和穩定度。

本文所提算法可解決現存算法無法建立穩定公共子空間的問題。本文算法使用EL思想，使用策略結合子空間分類之后的結果，針對高光譜多維投影在低維度空間會產生分辨信息損失的現象，采用約束條件來保存全局信息。保留更加充分的數據信息，便于分類識別。比如與最近鄰（k nearest neighbor， KNN）算法結合使用，達到很好的效果。所提方法可以優化高光譜跨場景分類的效果，提高數據利用率。通過對原始數據進行多倍隨機重復采樣，可優化高光譜跨場景分類的效果，并提高數據利用率。

1 算法原理

1.1 判別合作對齊算法

DCA算法首先對兩個域的投影進行學習，其目標函數如下所示：

minWs，WtWTsXs－WTtXt2F+λ1Ws－Wt2F（1）

式中：λ1為控制子空間對齊的正則化參數;Xs和Xt分別是源數據集和目標數據集;Ws，Wt∈d×k為源空間和目標空間，d為SD和TD的維度，k為子空間的維度。經過式（1）后，對Ws，Wt進行了優化。

為保證低維子空間中對齊樣本的判別信息不丟失，將在式（1）中引入的數據重構得到：

minWs，Wt，Ps，PtXs－PsWTsXs2F+Xt－PtWTtXt2F+λ1Ws－Wt2F

s.t. PTsPs=I，PTtPt=I（2）

式中：Ps，Pt∈R^d×k是兩個正交重構矩陣。在式（2）中，即使SD和TD的頻譜偏移巨大，重建也可以很好地完成。

MMD是TL中常用的一種損失函數，尤其是在DA中使用最為廣泛的損失函數。此外，MMD主要用于測量兩個不同但相關的隨機變量分布之間的距離。其定義方程為

MMD［F，p，q］：=supf∈F（Ep［f（x）］－Eq［f（y）］）（3）

式中：f為映射關系;F為映射空間;sup是求上界;Ep、Eq是求期望;p是源分布，表示來自原始數據的概率分布;q是目標分布，表示希望匹配的目標數據分布。

在DCA算法中，數據對齊的判別標準為域間MMD和類間MMD，分別如下所示：

D（Xs，Xt）=1ns∑nsi=1WTsxi－1nt∑ntj=1WTtxj2F（4）

式中：ns表示SD數據的樣本數量;nt表示TD數據的樣本數量。

S（Xs，Xt）=∑cl=11nls∑nlsi=1WTsxi－1nlt∑nltj=1WTtxj2F（5）

式中：nls和nlt分別表示SD和TD中的樣本數。

分布位移優化項可由下式得到：

minW tr（WTXMXTW）（6）

在這個方程中，W是子空間矩陣，X是數據矩陣，M為線性變換^［3］。上述方程引出DCA的目標函數可表示如下：

minWs，Wt，Ps，PtXs－PsWTsXs2F+Xt－PtWTtXt2F+

λ1Ws－Wt2F+λ2minW tr（WTXMXTW）

s.t. PTsPs=I，PTtPt=I（7）

式中：λ2是正則化參數，用于調整分布對齊的權重。經過多次迭代計算Ws，Wt后，使用對齊的源樣本對KNN分類器進行訓練，然后對TD進行分類^［6，10］。

1.2 Bagging算法

使用Bagging算法可經過多次采樣后得到一個包含N個序列的數據集。首先，隨機抽取樣本并將其放入揀選序列中。然后，將被抽中樣本放回原始樣本集中，以便下次采樣中仍可選擇樣本。這樣，經過m次隨機抽樣操作后，就可以得到一個包含m個樣本的抽樣序列。因此，一些樣本出現多次，而有些樣本則不出現。

訓練數據集由{（yn，xn）}組成，n=1，2，…，N，其中x是輸入，y是標簽。使用此數據集生成分類器φ（x，L），該分類器可以預測y的結果。假設序列{Lk}由N個獨立集合組成，其分布與L相同。與單個集合相比，由該序列訓練的分類器具有更好的準確性。當沒有復合數據集而只有一個學習集L時，可以通過重復提取樣本φ（x，L^（B））來生成{L^（B）}，并形成投票φB。對于類別數量差異較大的樣本，Bagging算法具有非常出色的性能。

1.3 ASAEL算法

本文提出的ASAEL算法可以應用于具有不平衡特點的訓練數據。數據不平衡會導致分類邊界偏向較弱的類別，使樣本更有可能獲得強標簽。在數據級別使用重采樣方法來平衡標記樣本數量，一般來說有兩種常見的方法：一種是構建弱類樣本以增加弱類樣本的數量（過采樣），另一種是減少強類樣本的數量（欠采樣）^［24］。本文提出的算法選擇隨機重采樣^［25］對樣本進行處理，分別對樣本多的類別進行下采樣，對數據量少的類別進行過采樣，在采樣后獲得可進行遷移的訓練數據。

初始數據通過隨機放回采樣過程進行多次處理，以獲得每個類別相同數量的m個樣本，并確保從每個采樣過程中獲得的樣本總數保持不變。在每次采樣結束時，將獲得用于訓練的數據集。假設學習集L={S1，S2，…，Sn}包含n個類別。使用自適應抽樣算法，處理不平衡數據集的合成樣本，在減少多樣本類別樣本數量的同時，增加小樣本類別的樣本數量。

每個數據集都有相應的分類，對多個分類器的結果進行統計，出現次數最多的數值就是最終答案。該算法的流程圖如圖1所示。

由于每個生成的子空間投影都具有一定的隨機性，這種特性可能會導致訓練生成的分類器出現一定的偏差。此外，在降維步驟中會去除一些波段信息，可能會丟失少量信息。本文提出的算法可以解決源樣本不平衡的問題，具有更好的魯棒性。

2 實驗驗證

2.1 測試數據以及評價方法

本實驗使用休斯頓（Houston）和HyRANK兩個高光譜數據集。使用總體準確率（overall accuracy， OA）、特定類準確率（class specific accuracy， CA）和Kappa等參數評估每種算法的性能。

（1） 休斯頓數據集包含2013年^［26］和2018年^［27］休斯頓地區的高光譜信息。2013年信息包含144個波段的15個特征物種，分辨率為2.5 m;2018年信息包含20個特征物種，分布在48個波段，分辨率為1 m。本實驗選取7個類別進行分類檢驗，其中休斯頓2013年為SD，休斯頓2018年為TD。所用數據的數量和類別見表1。偽彩色圖像和真值圖如圖2所示。

（2） HyRANK^［28］數據集由Hyperion傳感器獲取。使用Dioni作為SD，使用Loukia作為TD，選擇12個常見類別和176個光譜波段進行測試。所用數據的數量和類別見表2。偽彩色圖像和真值圖如圖3所示。

2.2 實驗參數設置

實驗中使用了以下參數：正則化參數λ1;DCA算法中的λ2;子空間的維數k、Bagging算法中的迭代次數iter以及每次從樣本中采樣的次數n。

λ1，λ2的取值范圍為

{1e－4，1e－3，1e－2，1e－1，1e，5e，1e+1，1e+2，5e+2}

在圖4中，休斯頓數據的兩個參數取值分別在1e+2和1e+1時結果最好，HyRANK數據分別在1e+2和1e+2時結果最好。

通過多次實驗可知，隨著迭代器數量的增加，分類精度也會提高。通過考慮時間成本，將iter設置為50。使用每類數量相同的訓練樣本，可以減少樣品不平衡的影響。k適合選擇為20。根據隨機重采樣算法對SD進行均衡，休斯頓數據集的m為198，HyRANK數據集的m為188。

使用支持向量機^［29］（support vector machines， SVM）、KNN^［30］、TCA、CORAL和DCA作為比較算法。TCA中的dimension參數設置為20，lambda設置為10，gamma設置為0.5，并使用線性核函數。為保證結果的精確度，所有算法均在同一設備上完成數據統計以及計時。

2.3 結果展示及分析

表3和表4分別羅列出上述方法在兩個目標場景上的各個類別分類性能，以粗體表示每個類別中最好的分類精度，并計算了平均精度和標準差。在兩種場景下，ASAEL算法的OA和KC均優于其他算法，在休斯頓2018場景下運行時間少于TCA。本文采用分布圖展示出兩個目標場景下各種算法的分類結果，休斯頓數據下的結果如圖5所示，HyRANK數據下的結果如圖6所示。

ASAEL使用KNN作為標簽初始化和最終預測的分類器。在對比直接使用KNN分類得到的結果時可以看出，ASAEL不會受到SD樣本不平衡問題的影響，樣本量小的類別分類仍然準確。SVM和KNN兩種傳統的分類方法在目前的實際應用中仍普遍存在，但在跨場景分類問題中表現并不出色。在HyRANK實驗中，SVM甚至將所有數據分類為同一類。

此外，ASAEL減少了與TCA、CORAL等其他算法相比，光譜偏移和空間偏移帶來的分類錯誤。集成學習原理使ASAEL不僅在重復實驗的結果中表現穩定，而且與DCA算法相比，還可以成功識別子空間類別分布邊緣的一些點。DCA在兩個實驗中都有一個無法識別的類別，如休斯頓的第4類，HyRANK的第2、第4和第5類。從DCA改進而來的ASAEL仍然無法擺脫這個問題，是未來仍需改進的方向。

3 結 論

本文提出ASAEL算法，用于跨場景情況下的HSI分類問題。首先，對SD進行重采樣，得到相同數量的各類樣本數據，可以減少樣本不平衡的干擾。對SD和TD的子空間投影使用DA算法進行重構。重建約束應用于源域和目標域，同時保留原始信息。最后，利用投票分類器的思想，對由SD分類的多次隨機抽樣得到的TD分類信息進行統計，得到不同投影子空間攜帶的特征信息。在休斯頓和HyRANK兩個數據集上的測試結果可以驗證ASAEL算法的性能優于以前的算法。

參考文獻

［1］何同弟， 李見為. 基于自適應稀疏表示的高光譜遙感圖像分類［J］. 系統工程與電子技術， 2013， 35（9）： 1994-1998.

HE T D， LI J W. Hyperspectral remote sensing image classification based on adaptive sparse representation［J］. Systems Engineering and Electronics， 2013， 35（9）： 1994-1998.

［2］馮偉， 龍以君， 全英匯， 等. 基于SMOTE和深度遷移卷積神經網絡的多類不平衡遙感圖像分類算法研究［J］. 系統工程與電子技術， 2023， 45（12）： 3715-3725.

FENG W， LONG Y J， QUAN Y H， et al. Multi class imba lance remote sensing image classification based on SMOTE and deep transfer convolutional neural network［J］. Systems Engineering and Electronics， 2023， 45（12）： 3715-3725.

［3］MENG Z H， YE M C， YAO F T， et al. Cross scene hyperspectral image classification based on cycle consistent adversarial networks［C］∥Proc.of the IEEE International Geoscience and Remote Sensing Symposium， 2022： 1912-1915.

［4］于純妍， 徐銘陽， 宋梅萍， 等. 對抗與蒸餾耦合的高光譜遙感域自適應分類方法［J］. 遙感學報， 2024， 28（1）： 231-246.

YU C Y， XU M Y， SONG M P， et al. Unsupervised domain adaptive classification for hyperspectral remote sensing by adversary coupled with distillation［J］. National Remote Sensing Bulletin， 2024， 28（1）： 231-246.

［5］CHEN J B， YE M C， LU H J， et al. Cross scene relationship mining with learning graph net for hyperspectral image classification［C］∥Proc.of the 2nd International Conference on Artificial Intelligence and Computer Engineering， 2021： 519-524.

［6］ZHANG Y X， LI W， TAO R， et al. Cross scene hyperspectral image classification with discriminative cooperative alignment［J］. IEEE Trans.on Geoscience and Remote Sensing， 2021， 59（11）： 9646-9660.

［7］SUN B， SAENKO K. Deep CORAL： correlation alignment for deep domain adaptation［EB/OL］. ［2023-11-22］. https：∥arXiv， 2016： 1607.01719.

［8］FENG W， QUAN Y H， DAUPHIN G， et al. Semi supervised rotation forest based on ensemble margin theory for the classification of hyperspectral image with limited training data［J］. Information Sciences， 2021， 575： 611-638.

［9］PAN S J， YANG Q. A survey on transfer learning［J］. IEEE Trans.on Knowledge and Data Engineering， 2009， 22（10）： 1345-1359.

［10］PAN S J， TSANG I W， KWOK J T， et al. Domain adaptation via transfer component analysis［J］. IEEE Trans.on Neural Networks， 2011， 22（2）： 199-210.

［11］LONG M S， WANG J， DING G G， et al. Transfer feature learning with joint distribution adaptation［C］∥Proc.of the IEEE International Conference on Computer Vision， 2013： 2200-2207.

［12］TZENG E， HOFFMAN J， ZHANG N， et al. Deep domain confusion： maximizing for domain invariance［EB/OL］. ［2023-12-01］. https：∥arXiv， 2014： 1412.3474.

［13］LONG M S， CAO Y， WANG J M， et al. Learning transferable features with deep adaptation networks［EB/OL］. ［2023-12-01］. https：∥arXiv， 2015： 1502.02791.

［14］WANG J D， CHEN Y Q， HU L S， et al. Stratified transfer learning for cross domain activity recognition［C］∥Proc.of the IEEE International Conference on Pervasive Computing and Communications， 2018.

［15］SCHLKOPF B， PLATT J， HOFMANN T. A kernel method for the two sample problem［C］∥Proc.of the Advances in Neural Information Processing Systems， 2007： 513-520.

［16］ZHANG Y X， LI W， ZHANG M M， et al. Topological structure and semantic information transfer network for cross scene hyperspectral image classification［J］. IEEE Trans.on Neural Networks and Learning Systems， 2023， 34（6）： 2817-2830.

［17］ZHAO C H， QIN B A， FENG S， et al. An unsupervised domain adaptation method towards multi level features and decision boundaries for cross scene hyperspectral image classification［J］. IEEE Trans.on Geoscience and Remote Sensing， 2022： 5546216.

［18］YU C Y， LIU C Y， SONG M P， et al. Unsupervised domain adaptation with content wise alignment for hyperspectral ima gery classification［J］. IEEE Geoscience and Remote Sensing Letters， 2022， 19： 5511705.

［19］呂勤哲， 全英匯， 沙明輝， 等. 基于集成深度學習的有源干擾智能分類［J］. 系統工程與電子技術， 2022， 44（12）： 3595-3602.

LYU Q Z， QUAN Y H， SHA M H， et al. Ensemble deep learning based intelligent classification of active jamming［J］. Systems Engineering and Electronics， 2022， 44（12）： 3595-3602.

［20］BREIMAN L. Bagging predictors［M］. New York： Machine Learning， 1996.

［21］DONG S X， FENG W， QUAN Y H， et al. Deep ensemble CNN method based on sample expansion for hyperspectral image classification［J］. IEEE Trans.on Geoscience and Remote Sensing， 2022， 60： 5531815.

［22］FENG W， HUANG W J， BAO W X. Imbalanced hyperspectral image classification with an adaptive ensemble method based on SMOTE and rotation forest with differentiated sampling rates［J］. IEEE Geoscience and Remote Sensing Letters， 2019， 16（12）： 1879-1883.

［23］陳華杰， 呂丹妮， 周梟， 等. 遙感圖像小樣本艦船識別跨域遷移學習算法［J］. 遙感學報， 2024， 28（3）： 793-804.

CHEN H J， LYU D N， ZHOU X， et al. Cross domain transfer learning algorithm for few shot ship recognition in remote sensing images［J］. National Remote Sensing Bulletin， 2024， 28（3）： 793-804.

［24］FENG W， DAUPHIN G， HUANG W J， et al. Dynamic synthetic minority over sampling technique based rotation forest for the classification of imbalanced hyperspectral data［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2019， 12（7）： 2159-2169.

［25］FRANCISCO C， ANTONIO J R， MARA J， et al. Addressing imbalance in multilabel classification： measures and random resampling algorithms［J］. Neurocomputing， 2015， 163： 3-16.

［26］DEBES C， MERENTITIS A， HEREMANS R， et al. Hyperspectral and LiDAR data fusion： outcome of the 2013 GRSS data fusion contest［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2014， 7（6）： 2405-2418.

［27］LE SAUX B， YOKOYA N， HANSCH R， et al. 2018 IEEE GRSS data fusion contest： multimodal land use classification［J］. IEEE Geoscience and Remote Sensing Magazine， 2018， 6（1）： 52-54.

［28］KARANTZALOS K， KARAKIZI C， KANDYLAKIS Z， et al. HyRANK hyperspectral satellite dataset I （version V001）［data set］［J］. Journal of Photogrammetry and Remote Sensing， 2018. DOI：10.5281/zenodo.1222202.

［29］JOHAN A K S. Support vector machines： a nonlinear modelling and control perspective［J］. European Journal of Control， 2001， 7（2）： 311-327.

［30］COVER T， HART P. Nearest neighbor pattern classification［J］. IEEE Trans.on Information Theory， 1967， 13（1）： 21-27.

作者簡介

宋怡佳（1997—），女，碩士研究生，主要研究方向為遷移學習、遙感大數據、跨場景分類、嵌入式人工智能。

王海燕（1973—），女，高級工程師，本科，主要研究方向為經濟林培育與利用、林業綜合監測、林業碳匯監測。

馮 偉（1985—），女，副教授，博士，主要研究方向為遙感大數據多階協同信息挖掘、多源數據深度集成感知與智能干擾識別、機器學習機理與方法、天地空一體化遙感智能應用。

全英匯（1981—），男，教授，博士，主要研究方向為智能感知、敏捷雷達。