土地利用/覆被深度學習遙感分類研究綜述

馮權瀧 牛博文 朱德海 陳泊安 張 超 楊建宇

(1.中國農業大學土地科學與技術學院， 北京 100193； 2.自然資源部農用地質量與監控重點實驗室， 北京 100193)

0 引言

土地利用/覆被(Land use and land cover, LULC)專題圖，是表達自然土地類型以及人類開發利用土地狀況的專題要素地圖，在資源調查、環境監測、生態保護、城市規劃、農業生產等領域具有十分重要的作用。由于遙感具有大范圍同步觀測等優勢，已經成為土地利用/覆被制圖的主要數據來源，如何基于遙感影像實現土地利用/覆被的自動分類成為研究熱點問題[1-8]。

在深度學習技術[9]興起以前，土地利用/覆被遙感分類多依賴于人工設計特征與機器學習分類器[10-11]。其中人工設計特征包括歸一化植被指數等光譜指數、紋理特征、纓帽變換特征等[12-13]，而機器學習分類器多以決策樹、隨機森林和支持向量機為主[14-17]。人工設計特征對專家知識的要求很高，同時其魯棒性和泛化能力存在一定缺陷，導致更換研究區和數據后，已有的遙感分類模型往往不能取得較好的分類結果。

相比于經典機器學習算法，深度學習不需要人工設計特征的環節，而是能夠根據損失函數自動提取與目標任務最相關的特征，具有魯棒性強、模型易于遷移等優勢，成為了遙感領域的一個研究熱點，并已經應用在城市土地利用分類、濱海濕地土地覆被分類、作物精細分類、道路及建筑等專題要素制圖等領域[18-22]。鑒于深度學習的相關研究成果日益增多，本文擬從樣本數據集、模型結構、算法策略方面對深度學習在土地利用/覆被遙感分類中的研究進展進行綜述，為相關研究人員提供參考。

首先介紹人工智能與深度學習的相關知識，包括卷積神經網絡、循環神經網絡等常用網絡模型；然后從樣本角度出發，對現有的土地利用/覆被遙感分類樣本集進行綜述；其次從深度學習模型的角度出發，綜述土地利用/覆被遙感分類中用到的各種深度神經網絡模型；再次從模型泛化能力的角度出發，對稀疏樣本下深度學習模型的學習策略進行綜述；最后對未來研究方向進行展望。深度學習樣本-模型-算法總體框架如圖1所示。

圖1 深度學習樣本-模型-算法框架圖Fig.1 Flow chart of sample-model-strategy for deep learning

1 人工智能與深度學習技術概述

1.1 人工智能

人工智能是研究用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門技術科學[23]。隨著大數據技術以及高性能計算的發展和成熟，以深度學習為代表的人工智能已經在語音識別、目標檢測、機器翻譯等領域取得了超過傳統算法的性能，并逐漸受到遙感與地學領域專家的關注和重視。具體而言，人工智能包括許多研究分支，其中機器學習是實現人工智能的一種重要方法，而深度學習作為機器學習的一個分支，通過構建深度神經網絡實現對人類大腦認知過程的模擬[9]。

1.2 深度學習

深度學習可以看作經典人工神經網絡的“深度”版本，通過增加隱含層數量，從而提高特征學習和表達能力。實際上，深度學習是深度神經網絡的同義詞，常用的深度學習模型包括卷積神經網絡、循環神經網絡、生成對抗網絡，以及用于語義分割的全卷積神經網絡等。

1.2.1卷積神經網絡

卷積神經網絡(Convolutional neural network, CNN)主要用于計算機視覺(Computer vison, CV)領域[24-27]，通過卷積、池化等操作，對圖像的高層語義特征進行提取。

一個典型的卷積神經網絡為VGG[25]，主要包含卷積層、池化層、全連接層和分類層。其中，卷積層主要利用卷積算子實現特征向量的計算，并通過多層卷積堆疊，實現多層級的圖像特征提取；池化層包括均值池化、最大值池化等，主要為了減小特征圖的尺寸；全連接層中所有神經元以全連接的形式進行連接；分類層主要采用softmax分類器。

以自然圖像分類為例，相比于經典的機器學習模型，卷積神經網絡的優勢是將圖像特征提取與分類任務集成到一個模型中，通過端到端訓練，可以使模型自動學習到最具代表性的圖像特征，進而提高分類精度。

1.2.2循環神經網絡

循環神經網絡(Recurrent neural network, RNN)的輸入一般為序列數據(如文本、視頻等)，其隱含層之間是存在連接的，t時刻隱含層的輸入不僅來自輸入層，同時來自t-1時刻隱含層的輸出。

循環神經網絡的輸入是一個序列數據Xt，t時刻隱含層的輸出是ht，A表示循環神經網絡當前的狀態[31]。常用的循環神經網絡包括長短時記憶網絡(Long short term memory, LSTM)[28]、門控循環單元(Gated recurrent unit, GRU)[29]、Transformer[30]等。由于循環神經網絡在處理序列數據方面具有天然的優勢[31]，已經被應用在多時相遙感影像分析、高光譜圖像分類中，用于建模多時相數據之間以及高光譜不同波段之間的相互依賴關系。

1.2.3生成對抗網絡

生成對抗網絡(Generative adversarial network, GAN)[32]包括：生成器(Generator, G)和判別器(Discriminator, D)。其中生成器G主要用來學習真實圖像的分布，從而使生成的圖像更加接近于真實圖像；而判別器D主要對生成的圖像進行真假判斷。生成對抗網絡的訓練過程是一個min-max的優化問題。

隨著網絡的迭代訓練，生成器G與判別器D不斷進行對抗，并最終達到一種動態平衡：生成器G生成的圖像十分接近真實情況，判別器D無法判斷出圖像真假，對于給定圖像預測為真的概率為50%。在遙感領域，生成對抗網絡主要用于模擬樣本的生成和模型的對抗訓練。

1.2.4全卷積神經網絡

全卷積神經網絡(Fully convolutional network, FCN)是將卷積神經網絡CNN中的全連接層替換為卷積層所形成的，被用于圖像語義分割任務中，并在醫學圖像分割等領域[33-36]得到應用。相比于基于中心像素所在圖像塊的分類方式，全卷積神經網絡可以減少冗余計算、提高大范圍土地利用/覆被制圖的效率，受到了廣泛關注[37-38]。經典的全卷積神經網絡包括FCN[39]、UNet[40-42]、DeepLab[43-46]等模型。

2 土地利用/覆被遙感分類樣本研究進展

從樣本角度來綜述土地利用/覆被遙感分類中樣本數據集的研究進展。隨著深度學習的快速發展，卷積神經網絡[47-49]、循環神經網絡[50-51]、全卷積神經網絡[52-53]等模型均被應用到土地利用/覆被遙感分類中。然而如何驗證不同模型之間的可比性，從而進一步評價模型優劣，成為關鍵問題。因此，開源樣本數據集的構建具有十分重要的意義。

近年來，各國學者、機構發布了一系列土地利用/覆被遙感分類樣本數據集，涵蓋了不同尺度、傳感器類型、時間/空間/光譜分辨率等，為相關研究提供了基準數據支持。本文將其分為兩個類型：圖像塊級樣本和像素級樣本。其中圖像塊級樣本多來自于遙感場景識別數據集，用一個N×N大小圖像塊(image-patch)表示一種土地利用/覆被類型。而像素級樣本多來自于遙感語義分割數據集，對不同土地利用/覆被的邊界進行像素級別的標注。

2.1 圖像塊級土地利用/覆被遙感分類樣本集

基于圖像塊的土地利用/覆被樣本集與遙感場景識別數據集類似，其標注過程表現為對一個N×N的圖像塊賦以特定的土地利用/覆被類別(圖2)。該樣本集對應的深度學習模型多為基于CNN或RNN的圖像分類模型，優勢是標注過程簡單，劣勢是并不能獲取特定地物的邊界信息。

圖2 圖像塊級土地利用/覆被樣本示例[54]Fig.2 LULC sample based on image-patch[54]

表1列舉了廣泛使用且具有影響力的圖像塊級樣本數據集，并給出了相關元數據。

如表1所示，圖像塊級樣本集多以航空影像(如UC Merced[54]、SAT-4/SAT-6[58])和高分辨率的Google Earth衛星影像(如WHU-RS19[55]、AID[60]等)為主，空間分辨率多在0.3～2 m之間，然而其光譜分辨率較低，多為RGB或RGB-NIR影像。考慮到深度學習模型訓練對于海量標簽樣本的需求，數據集整體呈現出樣本數量不斷增加的趨勢，從幾千發展到幾十萬不等。此外，少部分數據集以Sentinel-2等多光譜衛星影像作為數據源，其光譜分辨率有所提升，然而其空間分辨率相對較低。

表1 圖像塊級土地利用/覆被遙感分類樣本集Tab.1 Commonly used LULC sample dataset based on image-patch

上述樣本集在土地利用/覆被類別數量的設定上存在兩種分化。一方面，部分數據集只關心少數概要性的地物類別，如SAT-4數據集僅包含裸地、森林、草地和其它共4類土地覆被類型；另一方面，部分數據集則更關注土地利用/覆被的精細分類，如UC Merced、WHU-RS19、AID等包含幾十種具有特定語義的土地利用/覆被類別。

2.2 像素級土地利用/覆被遙感分類樣本集

基于像素的土地利用/覆被樣本集與遙感語義分割數據集類似，其標注過程表現為對某一特定地物涵蓋的所有像素進行標注(圖3)。該樣本集對應的深度學習模型多為語義分割模型，優勢是可以獲取地物的準確邊界，劣勢是標注工作量較大。

圖3 像素級土地利用/覆被樣本集示例[62]Fig.3 LULC sample based on pixel[62]

由于逐像素的土地利用/覆被制圖能夠提供更為精細的地物分布情況，對氣候、生態、水文等多領域的研究有著重要意義[63]，其樣本數據集的發布也日益增加。

常用的像素級樣本集如表2所示。可以看出，大部分樣本集擁有更多的波段數，但在樣本數量、類別等方面都存在局限性。同時，受到光譜分辨率的制約，這類數據集的空間分辨率較低。同時大部分數據集僅為指定研究區內的單幅影像與標注，只有一些最近發布的數據集(如DeepGlobe、GID)其樣本數量和空間分辨率較高，但僅為一般的RGB或RGB-NIR影像，光譜分辨率較低。

表2 像素級土地利用/覆被遙感分類樣本集Tab.2 Commonly used LULC sample dataset based on pixel

像素級樣本集一般具有更為精細的土地利用/覆被類別設定，如GIC發布的Indian pines數據集供包含玉米、小麥等共16種土地覆被類別，GID數據集則包含了工廠、居民區、灌叢等共15種土地利用/覆被類別。

總體而言，相比于圖像塊級樣本集，像素級樣本集仍缺乏標注質量高的大規模數據集，且現有的大部分數據集僅針對特定區域，普適性有待提升。

2.3 土地利用/覆被遙感分類樣本集影響力分析

以Google Scholar中的論文引用次數作為影響力指標，對常用土地利用/覆被遙感分類樣本集進行影響力分析(圖4)。如圖4所示，基于像素尺度的樣本集影響力較大，以GIC發布的Indian pines[65-66]和University of Pavia[65]數據集為代表，且由該團隊發布的Salinas[65]和KSC[65]數據集也具有較高的影響力。在圖像塊尺度的樣本集中，經典數據集UC Merced[54]具有最高影響力，國內學者提出的AID[60]和RSSCN7[56]數據集發布時間相對較晚，但由于其在樣本數量、質量、尺寸等方面的優勢，其近兩年影響力逐漸提升。

圖4 常用土地利用/覆被遙感分類樣本集影響力統計結果Fig.4 Impact statistics of commonly used LULC sample dataset

同時，圖4表明國內外學者更多關注基于多/高光譜影像的逐像素分類。一方面由于更多光譜信息的引入，可以有效提高地物的類間可分性，提升分類精度；另一方面，逐像素分類結果能夠對土地利用/覆被情況進行更精細的刻畫，也利于后續變化檢測等任務。同時，圖像塊級分類受限于大范圍制圖時的“棋盤效應”，其在遙感場景分類中更受關注。

3 基于深度學習的土地利用/覆被遙感分類模型研究進展

從模型角度，綜述土地利用/覆被遙感分類中常用的深度學習模型，包括卷積神經網絡(CNN)、循環神經網絡(RNN)、全卷積神經網絡(FCN)等。

3.1 基于卷積神經網絡的土地利用/覆被分類

卷積神經網絡因其強大的圖像特征提取能力，在土地利用/覆被分類中被廣泛應用。在前期研究中，研究人員多傾向于直接使用計算機視覺領域內的經典模型(AlexNet、VGG、ResNet等)或者自行搭建一個簡單網絡，通過訓練基于圖像塊的分類模型，然后在整個研究區的影像上以滑窗(sliding window)方式得到逐像素或逐圖像塊的預測結果。其中REZAEE等[69]采用在ImageNet上預訓練的AlexNet網絡進行了濕地土地覆被制圖的研究，并將其與隨機森林等經典機器學習模型進行比較，結果表明卷積神經網絡可以有效改善濕地土地覆被分類精度。類似的研究如文獻[70-76]。

然而上述研究僅僅是借用CV經典模型，并沒有考慮到遙感多譜段成像的特點。針對這一問題，研究人員轉向了雙路(或雙分支)卷積神經網絡的研究，用于同時學習遙感影像的空間特征和光譜特征。在一個典型的雙路神經網絡中，包含兩個分支或子網絡，即空間特征提取子網絡和光譜特征提取子網絡。其中HUANG等[77]設計了一個雙路卷積神經網絡模型用于城市土地利用制圖，該模型的第1個分支是在ImageNet上預訓練的AlexNet網絡，用于提取空間特征，第2個分支是由幾個卷積層級聯形成的小卷積網絡(small DCNN)，用于提取光譜特征，最后采用特征堆疊的方法進行空間-光譜特征的融合，并基于WorldView高分辨率影像實現了香港和深圳的城市土地利用制圖，取得了91.25%的分類精度。類似的研究如文獻[78-80]。

筆者針對城市土地利用遙感分類問題，對雙路卷積神經網絡進行改進，構建了多尺度殘差模塊以增強空間特征的代表性和可分性，從而有效提高了分類精度。同時針對濱海濕地土地覆被分類問題[81]，通過引入多源光學、雷達遙感影像，提出了一個多路卷積神經網絡模型(圖5)，該模型通過多尺度可變形卷積模塊提高其對于地物尺寸和形狀變異的魯棒性，并設計了一個深度特征自適應融合模型，用于融合多傳感器、多時相的光學和雷達數據，在黃河三角洲取得了93.78%的分類精度，并驗證了多傳感器數據的融合可以有效增加濱海濕地土地覆被類型之間的可分性。此外，筆者還針對農業塑料覆被[82]、城中村[83]等土地利用/覆被中的專題要素進行了提取。

圖5 多路卷積神經網絡模型[81]Fig.5 Multi-branch convolutional neural network model[81]

3.2 基于循環神經網絡的土地利用/覆被分類

循環神經網絡的優勢在于對序列信號進行建模，雖然不能像CNN那樣對遙感影像的空間特征進行提取，但RNN對光譜特征和時序特征的學習能力要強于CNN，同樣被廣泛應用于土地利用/覆被的遙感分類研究中[84-92]。

在光譜特征提取方面，RNN被用于多光譜和高光譜影像的分類中，用于建模不同波段之間的相互依賴關系。MOU等[85]針對高光譜影像的土地利用/覆被分類問題，較早使用LSTM、GRU等循環神經網絡構建了分類模型。其中模型的輸入為單個像素對應的光譜曲線，模型的輸出則為對應的土地利用/覆被類別，并在3個航空高光譜數據集上驗證了RNN模型的分類效果。后續研究則集中在如何繼續優化RNN模型結構，從而提高光譜特征提取能力。文獻[86]研究具有典型性，通過構建級聯RNN模型進行高光譜分類，該模型由2個RNN級聯而成，其中第1個RNN用于去除高光譜影像中的冗余波段，第2個RNN則利用剩余波段進行影像分類。通過上述級聯的方式，可以進一步提高模型的分類精度。相關研究還包括文獻[87]。

在時序特征提取方面，RNN被用于多時相遙感影像的分類研究中，通過學習多時相影像之間的時序依賴關系，從而提高不同地物的類間可分性以改善土地利用/覆被分類精度。其中，RUΒWURM等[88]基于多時相Sentinel-2號影像，分別采用LSTM和GRU構建了土地覆被分類模型，并在17種地物分類中取得了90%的精度，驗證了RNN在時序特征提取中的有效性。類似研究有文獻[89-91]，均采用RNN對耕地中的農作物進行了精細分類。

3.3 基于卷積-循環神經網絡的土地利用/覆被分類

考慮到CNN的優勢在于遙感影像的空間特征提取，而RNN的優勢在于光譜特征和時序特征提取，因此將CNN和RNN進行耦合可以實現空間、時序、光譜特征之間的有效融合，并進一步提高土地利用/覆被分類的精度。其中，MEI等[93]基于高光譜影像，分別構建了空間注意力卷積神經網絡和光譜注意力循環神經網絡模型，分別對高光譜的空間特征和光譜特征進行提取，并通過特征融合進一步提高分類精度。MOU等[94]構建了一個CNN-RNN耦合模型實現了光譜-空間-時序特征的有效提取，其中CNN用于提取遙感影像的光譜-空間特征，而RNN用于提取多時相影像的時序特征，通過級聯CNN和RNN模型，實現了土地利用/覆被的變化檢測。類似的研究還包括文獻[95-98]。

筆者針對小尺度的土地利用/覆被精細分類問題，構建了一種基于循環注意力網絡的CNN-RNN耦合模型[99]，并應用在多時相無人機可見光影像的分類中(圖6)。具體而言，考慮到無人機影像具有豐富幾何結構信息的特點，首先構建多尺度可變形卷積神經網絡，對無人機影像進行空間特征提取，以提高模型對于地塊形狀和尺度變異的魯棒性；同時構建融合注意力機制的循環神經網絡，實現多時相無人機影像空間特征和時序特征的自適應融合；該模型取得了92.80%的分類精度，并驗證了循環注意力融合模型在學習多時相特征依賴關系方面的有效性。

圖6 循環注意力網絡模型[99]Fig.6 Attention-based recurrent convolutional neural network[99]

3.4 基于全卷積神經網絡的土地利用/覆被分類

相比于CNN、RNN等模型以基于圖像塊的方式進行土地利用/覆被分類，全卷積神經網絡可以實現像素級的地物分類，在大范圍土地利用/覆被制圖時其計算效率高的優勢較為明顯。其中FCN是計算機視覺領域最早提出的全卷積神經網絡模型，被廣泛應用于土地利用/覆被分類領域。其中張宏鳴等[100]利用FCN-8s模型對灌區無人機影像進行了渠系提取，楊亞男等[101]基于FCN-8s模型對無人機影像中的梯田進行了提取，都取得了較好分類結果。同時，研究人員在FCN的基礎上進行了模型改進，如孫鈺等[102]針對無人機影像農業塑料覆被分類任務對FCN模型進行了改進，SHRESTHA等[103]提出了一種增強的FCN模型用于提高建筑物的分類精度。相關研究還包括文獻[104-105]。

同時，UNet以模型結構簡潔、魯棒性高等優勢，受到了遙感領域研究人員的關注，其模型也被不斷改進，并廣泛應用于土地利用/覆被分類中。DIAKOGIANNIS等[106]提出了一種UNet的改進模型，將殘差連接、空洞卷積、金字塔池化以及多任務學習方法進行組合，同時改進Dice損失以解決樣本不平衡問題，提高了土地利用/覆被的分類精度。YE等[107]將空間-光譜注意力機制應用于UNet模型，以提升不同卷積層之間的特征表達一致性，實現了建筑物的高精度提取。類似的研究還包括文獻[106-113]。

DeepLab系列模型也在土地利用/覆被分類中得到了廣泛應用。其中LIN等[114]利用通道注意力模塊對DeepLab模型進行改進，以提升模型對光譜特征的敏感性，并將其應用于道路提取。吳永靜等[115]采用ResNet-50作為特征提取網絡對DeepLab進行改進，并基于高分辨率遙感影像實現了光伏用地的高精度分類。相關研究還包括文獻[72,115-119]。

4 樣本稀疏條件下土地利用/覆被遙感分類算法研究進展

相比于計算機視覺領域，土地利用/覆被遙感分類中的樣本標注對專家知識的要求更高，必要時還需要進行野外考察，從而造成了訓練樣本的稀疏性。如果僅使用有限的標簽樣本，將容易造成分類模型的過擬合，降低模型的時空泛化能力，因此如何綜合利用有限的標簽樣本和海量無標簽樣本進行模型訓練，就成為了一個關鍵技術問題。下面主要闡述樣本稀疏條件下的土地利用/覆被遙感分類算法的研究進展，所涉及的算法包括主動學習、半監督學習、弱監督學習、自監督學習、遷移學習等。

4.1 基于主動學習的土地利用/覆被遙感分類

主動學習最早見于機器學習領域，是目前解決標簽樣本稀疏的常用學習策略之一。其核心思想為：首先使用少量標簽樣本訓練分類模型，再利用該模型從無標簽樣本集中選擇最具代表性或最易錯分的樣本，由專家對其進行標注，再加入到標簽樣本集中，并迭代訓練模型，從而使模型具有更高的精度和泛化能力[120-122]。

主動學習的核心問題在于如何選取無標簽樣本。其選擇策略種類較多，主要劃分為3類：基于無標簽樣本的不確定性，如委員會查詢[123]；基于無標簽樣本對模型的影響程度，如Fisher信息比[124]；基于無標簽樣本的分布情況，如流形學習[125]、KL散度[126]等。

主動學習備受遙感領域研究人員的關注[127-135]，并被應用到土地利用/覆被遙感分類中。HAUT等[131]設計了一種主動學習策略，用于貝葉斯卷積神經網絡的訓練，通過構建多維貝葉斯卷積神經網絡以適應多種高光譜影像，在Indian Pines、Salinas等公開數據集上實現了較好的分類結果。楊承文等[132]將深度貝葉斯網絡與主動學習策略相結合，先基于有限的標簽樣本對模型進行預訓練，再篩選出不確定性高的樣本對模型進行進一步訓練，從而增強了模型在樣本稀疏條件下的泛化性。相關研究還包括文獻[130,133-134]。

上述方法均采用預先設計好的策略或準則對無標簽樣本進行選取，然而這些策略或準則的泛化性仍難以得到保證。為了解決這些問題，部分學者將度量學習與主動學習相結合，通過優化損失函數的設計以提高無標簽樣本選擇的合理性。其中ZHANG等[135]提出了一種結合主動學習的多度量學習方法，通過多個度量指標的分配，以學習并優化損失函數，在Houston和Indian Pines數據上驗證了該方法的有效性。

4.2 基于半監督學習的土地利用/覆被遙感分類

與主動學習類似，半監督學習旨在利用少量標簽樣本和大量無標簽樣本對模型進行訓練。不同的是，半監督學習更強調訓練過程的自動化，而不是主動學習中大量的人工干預[136-137]。半監督學習主要包括兩大類：基于偽標簽的方法和基于一致性正則化的方法。前者主要利用為無標簽樣本賦予偽標簽的思想，利用當前模型給予無標簽樣本最有可能被預測的類別作為其偽標簽，之后將偽標簽加入標簽數據集對模型進行繼續訓練[138]；后者主要依賴對干擾不變性的假設，即對同一樣本進行數據增強，而增強后的樣本之間，其預測標簽應當保持一致[139]。

由于土地利用/覆被分類往往難以獲得海量、高質量的標簽樣本，因此半監督學習受到了廣大研究人員的關注。其中，在基于偽標簽的半監督學習方面，CENGGORO等[140]采用了一種變分半監督學習框架，同時利用標簽樣本和無標簽樣本對深度學習模型進行優化，以解決土地利用/覆被分類中的樣本不平衡問題。相關研究還包括文獻[141]。

筆者在偽標簽法方面開展了半監督深度學習的相關研究。針對半干旱區的土地覆被分類問題，提出了一種多門控機制的半監督深度學習框架[142]，通過概率門、不確定性門和抗噪性門的聯合使用，以篩選并生成高質量的偽標簽樣本(圖7)，并通過消融實驗證實了不同門控機制的有效性。同時，針對城市防塵綠網的遙感分類問題，構建了一種two-step的半監督深度學習算法[143]，首先篩選高概率的無標簽樣本，然后將其與標簽樣本進行特征相似度計算，若top-k的標簽樣本具有相同的類別，則將該類別賦給當前無標簽樣本。

圖7 多門控機制的半監督深度學習框架[142]Fig.7 Multi-gate semi-supervised learning method[142]

除了上述偽標簽樣本方法外，一致性正則化方法也得到了研究。其中ZHANG等[144]提出了一種基于半監督學習的語義分割網絡(S4Net)，在對標簽樣本進行特征提取的同時，對無標簽樣本施加隨機變換或擾動，并利用組合的損失函數訓練模型，在DeepGlobe數據集上取得了具有競爭力的結果。文獻[145]進行了類似研究。

4.3 基于弱監督學習的土地利用/覆被遙感分類

本文所指的弱監督學習主要針對不確切監督(Inexact supervision)問題[146]，即基于粗粒度的上游標簽實現細粒度的下游任務。在土地利用/覆被遙感分類中，常見的弱監督學習表述如下：如何在只有圖像塊級別或低分辨率的土地利用/覆被標注的情況下，去實現像素級別或高分辨率的土地利用/覆被遙感分類任務。

弱監督學習可以一定程度上實現粗粒度標注樣本的復用，對于樣本稀疏引起的模型過擬合具有一定的緩解作用，在近期受到了遙感研究人員的關注[147-151]。其中，SCHMITT等[147]探索了如何使用低分辨率的土地覆被樣本去生成高分辨率的土地覆被分類圖，首先采用MODIS的500 m分辨率的全球土地覆被數據集作為低分辨率樣本集，然后利用DeepLab v3+和UNet語義分割模型在高分辨率Sentinel影像數據集SEN12MS上進行訓練，并在DFC2020數據集的驗證集上進行精度評估。雖然作者指出上述方法的精度并不能令人滿意，但是其技術路線可以給人以啟發，因為低分辨率的土地利用/覆被樣本比較容易獲得，相似的研究還包括文獻[148]。相比于SCHMITT等[147]直接使用低分辨率的樣本對模型進行訓練，WANG等[149]則利用圖像塊級的標簽樣本和類激活圖(Class activation maps, CAMs)的方法獲取像素級的偽標簽，并將偽標簽加入標簽樣本集，對UNet語義分割模型進行重新訓練，證明了上述弱監督方法在土地覆被分類中的有效性。針對跨領域的土地利用/覆被分類問題，LI等[150]提出了一個基于弱監督約束的語義分割模型，通過弱監督遷移不變性約束、弱監督偽標簽約束以及弱監督旋轉一致性約束，改善了模型的分類效果。

4.4 基于自監督學習的土地利用/覆被遙感分類

自監督學習屬于無監督學習的一種[152]，可在沒有明確人工監督信息的情況下(如標簽)，從數據本身出發構建學習算法[153]。主要通過設計輔助任務(如灰度圖像上色[154]、拼圖游戲[155]、圖像修復[156]等)來對模型進行預訓練，從而更好完成下游任務(如目標檢測、語義分割等)。近年來，隨著各種輔助任務的提出，自監督策略的訓練效果越來越接近全監督學習，引起了越來越多國內外研究者的關注。

目前將自監督學習應用到土地利用/覆被遙感分類中的研究較少，國內外相關研究均處于起步階段。其中AYUSH等[157]提出了地理感知自監督對比學習策略，該方法通過時序正樣本對在空間上對齊的方式，并結合影像拍攝地點的知識，在Map of the World數據集上較MoCo-v2模型提升了8%的精度。REN等[158]提出一種基于相互信息的自監督模型，并首次將自監督學習應用于PolSAR土地覆被分類任務中，通過輔助任務的設計，提高了土地覆被制圖的性能。文獻[159-160]進行了類似研究。

4.5 基于遷移學習的土地利用/覆被遙感分類

遷移學習主要解決不同域(源域和目標域)之間的模型對齊問題[161]。考慮到遙感影像具有天然的多域性，即在時間、空間、光譜等維度上存在天然差異，因此如何將源域學習到的知識遷移至目標域，并利用有限的目標域樣本提升遙感分類模型的性能，就依賴于遷移學習的深入研究。

遷移學習主要包括基于模型參數的遷移、基于域適應的遷移、基于對抗學習的遷移等。其中基于模型參數的遷移屬于早期被廣泛應用的方法，深度學習網絡的微調法(fine tune)即屬于此類方法。其中WURM等[162]利用在QuickBird上訓練好的模型遷移至具有不同光譜波段的Sentinel-2和TerrasSAR-X中，并對貧民窟這一獨特的土地利用類型進行分類，結果表明基于模型參數的遷移對異源傳感器(QuickBird與SAR)之間的學習效果較差，而對于同源傳感器(QuickBird與Sentinel-2)之間的分類結果具有提升作用。

在基于域適應的遷移方面，QIN等[163]提出了一種基于張量對齊的域適應(Domain adaptation, DA)方法。首先將源域和目標域的遙感影像分割成超像素，然后通過對齊矩陣實現源域和目標域之間的子空間對齊，并通過投影矩陣完成特征重映射，從而提高了目標域內土地利用/覆被分類的精度。文獻[164-165]進行了類似研究。

在基于對抗學習的遷移方面，XU等[166]采用對抗學習策略提出了一種可轉移注意力的對齊方法，以增加細粒度特征，并在語義分割模型中使用域適應方法，以緩解類間不平衡問題。文獻[167-168]進行了類似研究。

5 研究展望

5.1 大規模遙感樣本數據集構建

深度學習本質上屬于數據驅動模型，其在土地利用/覆被遙感分類中的性能很大程度上取決于樣本數據的規模、標注質量、地物類別的多樣性與完備性等。雖然研究人員相繼發布了一些土地利用/覆被分類遙感樣本數據集，然而大部分樣本僅采樣自某一地區和某一時相，這將導致訓練出的深度學習分類模型的時空泛化能力較差，如果直接將上述分類模型用于其他地區或時相，分類精度往往難以得到保證。

為了解決土地利用/覆被遙感分類中深度學習模型的時空泛化問題，一個最直接有效的辦法是構建大規模遙感樣本數據集，并進行公開發布，從而有助于廣大研究人員利用其進行深度學習模型構建與訓練。實際上，在計算機視覺領域，正是由于ImageNet等大規模開源樣本數據集的發布，才有效促進了深度學習在自然圖像分類、目標檢測等領域的發展和落地應用。

在未來研究中，可以優先考慮以下兩種類型的遙感樣本數據集：圖像塊級樣本數據集；像素級樣本數據集。其中圖像塊級樣本數據集的構建方法與UC Merced、AID等場景識別數據集類似，用一個遙感圖像塊來表示某一種特定的土地利用/覆被類型，樣本標注的過程較為簡單，標注人員直接對該遙感圖像塊的類別進行賦值即可。然而這種樣本并不能提供精確的地物邊界信息，導致大區域制圖結果出現明顯的邊緣鋸齒效應；此外一個遙感圖像塊中往往同時存在多種地物類型，這種場景復雜性也將增加分類難度。相比于圖像塊級樣本數據集，像素級樣本數據集可以提供每一種土地利用/覆被類型的邊界信息，然而標注工作量較高，較為費時費力。同時，在構建上述兩類樣本數據集時，還需要考慮遙感影像的多源性，盡可能覆蓋多尺度、多傳感器、多時相、多區域的遙感影像，進而提高樣本數據集的完備性和可用性。

5.2 深度學習模型結構優化

在當前土地利用/覆被遙感分類研究中，研究人員或直接采用計算機視覺領域較為成熟的深度學習模型、或在經典模型上進行結構改進，在各自數據集上取得了較好的分類精度。雖然也有相關研究人員針對遙感影像的特點進行模型結構優化，但其適用范圍往往需要進一步驗證。

在未來的研究中，一方面可以繼續借鑒計算機視覺領域的最新研究成果，但更重要的是需要分析遙感影像自身特點，有針對性地對深度學習的網絡結構進行改進。相比于計算機視覺領域關注的自然圖像，遙感影像具有天然的多源、多傳感器、多譜段、多尺度、多時相等特征。在設計分類網絡時，多光譜影像、高光譜影像、雷達影像的特征提取網絡是否需要單獨設計，不同波段之間的特征是否需要融合，厘米級的無人機影像、亞米級的高分辨率衛星影像以及中低分辨率衛星影像，其特征提取網絡有何不同，多時相影像、多傳感器影像之間如何進行特征融合，從而進一步提高分類的精度和可靠性，同時，相比于自然圖像，遙感影像更多揭示的是宏觀地學現象，因此在設計深度學習模型結構時，如何考慮增加地學的先驗知識，從而提高模型結構的合理性，也是一個需要思考的問題。

此外，還可以研究深度神經網絡結構的自動尋優方法，即網絡結構也是從樣本數據集中學習得到的。需要注意的是，網絡結構的自動尋優需要海量的訓練樣本，如果樣本集的規模較小，其學習到的網絡結構僅是局部最優解，其時空泛化能力仍存在缺陷。

5.3 稀疏樣本下深度學習模型泛化性能提升

通過構建大規模遙感樣本數據集，可以一定程度上解決深度學習模型的時空泛化能力問題。然而大規模樣本集的構建費時費力，同時在實際的土地利用/覆被遙感分類中，可用的樣本數量總是較少的，因此稀疏樣本是遙感領域研究者需要面對的一個重要議題。稀疏樣本可以從時間和空間兩方面去理解，即已有的樣本數據集往往是基于某一特定時間、特定空間的影像進行標注的，那么在這一時空范圍以外的遙感影像，如果不進行大規模重新標注，那么其樣本必然是稀疏的。此外，對歷史影像而言，如果沒有對應時間段的野外采樣記錄，其樣本類別只能通過遙感影像目視解譯的方法進行判讀，其不確定性較高。

為了解決稀疏樣本問題，在未來的研究中，可以重點考慮無監督學習、半監督學習和遷移學習等算法。其中無監督學習對標簽樣本的依賴度最低，其通過海量無標簽樣本的訓練，從而將原始影像數據轉換到一個類間可分性高的特征空間。而自監督學習屬于無監督學習中的一個熱門方向，其相關思想也可以被遙感領域研究人員所借鑒。這是因為遙感影像作為天然的無標簽樣本庫，可為無監督學習提供海量無標簽訓練樣本。同時，半監督學習由于同時考慮了有限的標簽樣本和海量的無標簽樣本，也可以緩解因稀疏樣本造成的遙感分類模型的過擬合問題。遷移學習則重點考慮不同光譜、空間、時間分辨率遙感影像之間的樣本復用問題，可以采用域適應的方法實現遙感分類模型的時空譜遷移，提高模型泛化能力。

綜上，隨著深度學習技術的不斷發展，土地利用/覆被樣本集的種類和數量將持續上升，為模型訓練和精度對比提供數據支撐；深度學習模型的結構也將得到進一步優化，并更能適應遙感影像的特點；各種學習策略的不斷改進，將會提高模型在樣本稀疏條件下的時空泛化能力。上述樣本-模型-算法的改進將持續推動深度學習在土地利用/覆被制圖中的廣泛應用。