遷移學習支持下的土地利用/土地覆被分類

李海雷，胡小娟，郭 杭，吳文瑾

(1. 南昌大學信息工程學院，江西 南昌 330031； 2. 南昌大學科學技術學院，江西 南昌 330031；3. 中國科學院遙感與數字地球研究所，北京 100089)

土地利用/土地覆被變化是全球變化研究中的熱點話題。通過土地利用/土地覆被分類，不僅可以了解各種土地利用/土地覆被類型的基本屬性，還可以認識土地利用/土地覆被的區域結構和分布特點，為進一步研究地域差異奠定基礎[1]。地表的最早描述采用土地利用分類系統和植被分類系統實現，隨著科技的不斷發展，遙感技術[2]成為獲取地表地物屬性的主要方法。

遙感影像分類[3]是遙感技術的重要分支，分類結果的質量直接影響遙感數據的后期應用，因此，遙感影像分類引起學者的廣泛研究。Parea等[4]提出了一種在內核空間中的低密度區域選擇未標記樣本對多光譜和高光譜圖像進行分類的算法。Pasolli等[5]提出將對多光譜和高光譜遙感圖像進行的分類轉化為對顯著樣本進行鑒別，同時建立相應的特征區間，從而選擇潛在有用樣本的問題。根據Demir[6]的研究，遷移學習過程中的不確定性和多樣性被用來篩選樣本以實現遙感圖像的分類。此外，遷移學習方法被用來實現不同空間分辨率的遙感圖像分類[7]。文獻[8]運用了非線性特征對跨領域的樣本集進行特征提取并通過試驗證明了其對遙感圖像的適用性。以上方法實現了在特定場景或分類數目較少情況下的遙感圖像分類。本文提出了利用基于遷移學習的深度殘差神經網絡實現合成孔徑雷達(SAR)圖像分類算法。首先使用ImageNet(光學圖像)訓練深度殘差神經網絡，然后將訓練好的模型遷移到遙感影像數據中進行微調，從而在SAR圖像樣本較少的情況下完成土地利用/土地覆被中闊葉林、居民區、河流、湖泊等共13類地物的快速準確的分類。

1 數據源與分類方法

1.1 數據源與系統設計

本文使用歐空局Sentinel-1衛星[9]搭載的C波段合成孔徑雷達提供的SAR數據作為原始數據，從中選取闊葉林、居民區、河流、湖泊等13類具有標志性的地物構成數據集。每類地物均采用100張224×224 的圖片作為初始數據集，利用旋轉、變換等數據增強技術，得到包含13 000張圖片的Sentinel-1數據集。將該數據集輸入改進的深度殘差網絡模型中進行微調，實現SAR圖像的高精度分類。本文的分類系統框圖如圖1所示。

圖1 基于Sentinel-1的分類系統框架

圖1中，左側為圖像采集模塊，中間為特征提取及自適應網絡[10]，右側為系統的輸出。從Sentinel-1衛星獲取原始SAR圖像并提取目標地物；將樣本圖像輸入到特征提取器中進行特征提取，在自適應網絡中進行分類和識別；網絡中的第一層小圈代表輸入層，中間層小圈代表改進網絡的隱藏層(卷積、池化等)，最后層小圈代表分類器，最終將樣本分成對應的13類地物目標。

1.2 深度殘差神經網絡

深度殘差神經網絡(ResNet)[11]是由He等在2015年提出的，通過引入大量的殘差模塊，克服了模型訓練過程中的梯度彌散問題，使得神經網絡在成百上千層時仍能夠很好地訓練，增強了模型的特征學習能力，提高了模型的分類性能。殘差模塊如圖2所示。

圖2 殘差模塊示意圖

從圖2可知，輸入x可以跨層輸入到下一層與F(x)融合，作為下一個殘差模塊的輸入。該過程可總結為

y=F(x,{Wi})+WS·x

(1)

式中，x、y分別代表該單元的輸入和輸出；Wi代表神經網絡第i層的權值；F是關于x和{Wi}的函數，表示殘差單元需要學習到的映射。當殘差連接的輸入與輸出維度相同時，WS變為1；維度不同時，通過方陣WS變換到相同的維度。如果殘差y-x等于0，則y=x為恒等映射，沒有引入額外的參數和計算復雜度，神經網絡的負擔不會增加；如果不等于0但是無限接近0，則神經網絡需要學習的是輸入輸出的差別部分，通過這種方法簡化學習目標。訓練過程中，深層的誤差可以通過捷徑傳播到淺層，減弱了因層數過深造成的梯度彌散現象。本文選用Resnet-50深度殘差網絡作為圖像的特征提取器來學習SAR圖像的抽象特征。

1.3 遷移學習

深度殘差網絡模型的訓練是建立在大數據的基礎上，因此，在監督學習[12]方式下利用深度學習方法實現SAR圖像自動分類，需要足夠多有標簽的SAR圖像。然而，目前SAR圖像的訓練樣本數量遠達不到訓練深度網絡模型的要求。

遷移學習的基本思想是：將源數據集圖像和目標數據集圖像映射到一個高維子空間中，在此子空間中，縮減源數據集圖像和目標數據集圖像的分布差異，實現源數據和目標數據的近似分布[13]。為此，本文選用基于中層表達的遷移學習方法，利用ImageNet中的大量光學圖像對Resnet-50進行預訓練，保留訓練好的模型參數；然后利用SAR圖像對改進的預訓練的Resnet-50進行微調，從而實現SAR圖像自動分類。

1.4 模型的改進

本文對Resnet-50模型進行簡化改進，以0.6的壓縮比對Resnet-50中每層的卷積模板數量進行壓縮，以減少特征提取器部分的模型參數，使得簡化的Resnet-50模型更適合13類SAR地物的快速分類；同時為提高模型的泛化能力，本文在簡化后的Resnet-50 模型后加上一個3層的自適應網絡，且采用LReLU作為自適應網絡中的激活函數。

Resnet-50中的非線性映射函數為線性整流單元(rectified linear unit，ReLU)[14]，表達式為式(2)，示意圖為圖3(a)。當輸入值x≤0時，ReLU的輸出為0，該單元處于未激活狀態，相應權值也不再更新，造成神經元的浪費。Leaky-線性整流單元(leaky-rectified linear hidden unit，LReLU)[15]的表達式為式(3)，示意圖為圖3(b)。當輸入值x<0時，輸出值為較小的負值，神經元仍處于激活狀態，避免了原先神經元出現壞死的現象。LReLU的應用使得自適應網絡中的神經元數目可以較少或允許Dropout以較大的比例存在，而不影響模型的分類性能。

(2)

(3)

圖3

Resenet-50簡化及添加自適應網絡后的模型結構如圖4所示。其中自適應網絡A1層的神經元個數為1000；A2層的神經元個數為256，Dropout=0.8；A3層的神經元個數為13。A1、A2每層神經元的激活函數均采用LReLU實現特征的非線性映射。

2 試驗結果與分析

本文使用ENVI 5.3.1進行圖像預處理制作Sentinel-1數據集。硬件為GPU LEAD TEK Quadro k620，內存16 GB，系統為Windows 7 64 bit。軟件為Anaconda3.5+Python3.5，模型框架為Tensorflow。訓練過程中的超參數見表1。Sentinel-1數據集共有13 000張圖片，按照4∶1的比例隨機分配訓練集(訓練：驗證=9∶1)和測試集。

表1 模型訓練超參數

本文使用交叉熵代價函數來監督改進網絡的訓練，交叉熵主要用來度量真實樣本分布與預測得到的樣本分布的差異大小。訓練過程中的模型損失和模型準確率變化曲線如圖5所示。圖5(a)為模型訓練損失曲線，橫坐標為訓練的epochs(訓練集中的所有樣本遍歷一次稱為epoch)，縱坐標為模型損失。由圖5(a)可知，大約經過20個epochs后，訓練集和驗證集上的模型損失均穩定在0值附近。圖5(b)為訓練過程中模型的分類準確率變化曲線，橫坐標為epochs，縱坐標為模型分類準確率。由圖5(b)可知，大約經過20個epochs之后，訓練集和測試集的分類準確率分別穩定在100%和97%左右，驗證集的準確率最高可達99.23%。由此可知，本文提出的遷移模型具有較好的SAR圖像分類性能。

圖4 基于中層表達的遷移學習

圖5 模型損失和模型分類準確率變化曲線

本文利用混淆矩陣來展示模型的單類別分類準確率。列代表實際類的實例，行代表預測類的實例，對角線元素值表示對應地物的分類準確率，其他位置為對應的錯分率。混淆矩陣見表2，其中，bro為闊葉林，com為居民區，mix為針闊混交林，con為針葉林，des為沙漠，dry為旱田，gra為草地，ind為工業區，inl為內陸湖，pad為水田，riv為河流，snow為終年積雪區，wet為濕地。

表2 混淆矩陣

從表2可知，河流的分類效果最好，準確率可達99.23%；針闊混交林的分類準確率最差，為91%；整體平均分類準確率為95.15%。可見本文提出的基于遷移學習的改進版深度殘差神經網絡在Sentinel-1數據集上獲得了較好的分類效果。

此外，本文將Resnet-50原始模型與本文提出的遷移學習模型進行比較，比較結果見表3。其中Resnet-50(Imagenet)是僅使用ImageNet數據集訓練獲得，Resnet-50(SAR)是僅使用Sentinel-1數據集訓練獲得，Resnet-50(遷移)是使用Imagenet訓練，遷移到Sentinel-1數據集對模型進行微調獲得； Proposed(ReLU)和Proposed(LReLU)是改進的網絡模型，自適應網絡中的激活函數分別采用ReLU和LReLU。表中模型的分類準確率均在本文的測試集上獲得。FLOPs為模型的浮點運算量。

表3 模型性能的比較

由表可知，分類準確率最差為Resnet-50 (SAR)，綜合圖5和表2可知，僅使用Sentinel-1數據集訓練模型出現了嚴重的過擬合現象。本文提出的利用ImageNet預訓練模型，然后遷移到Sentinel-1數據集上微調的方法要優于僅使用ImageNet或Sentinel-1訓練的模型。此外，本文通過對模型進行簡化和改進，減少了模型的運算量，縮短了模型的訓練時間，而且模型分類性能相對原始模型也有所提高。自適應網絡中利用ReLU或LReLU對模型的效率影響不明顯，模型的分類準確率稍有提高。

3 結 語

本文使用歐空局發射的Sentinel-1衛星提供的源數據制作了包含13類地物的Sentinel-1數據集，為了解決SAR數據不足、無法訓練深度網絡模型的問題，提出了基于中層表達的遷移學習模型。利用改進的深度殘差神經網絡作為特征提取器，在特征提取器后添加自適應網絡并使用Sentinel-1數據集對模型進行微調，實現了13類地物的準確分類。試驗結果表明，本文提出的方法適合遙感圖像的分類，分類準確率為95.15%。通過本文試驗可見，遷移學習理論應用于空間數據信息提取具有非常大的潛力，可以實現土地利用/土地覆被的自動分類，為研究土地利用/土地覆被分類提供了新思路。