基于遷移學習和ResNet50的遙感圖像土地覆蓋分類

彭程 王靖偉 高濤 申婕 王靜 諸葛迎雪 孫靜雯

摘要：遙感和人工智能的飛速發展為基于圖像的土地覆蓋自動分類提供了實現途徑，本文通過修改深度殘差網絡（ResNet50）的輸出層，并利用遷移學習將網絡在ImageNet數據庫上的預訓練參數模型作為土地覆蓋分類網絡的初始參數模型，通過在遙感圖像數據庫上繼續訓練實現對工業區、森林、停車場等7種土地覆蓋類型的分類。分類準確率在RSSCN7和NWPU-RESISC45數據庫分別達到92.32%和99.29%。結果表明，基于遷移學習的ResNet50深度學習算法能夠實現遙感圖像的快速、有效、精確的土地覆蓋分類識別。

關鍵詞：遷移學習；ResNet50網絡；土地覆蓋分類識別；遙感圖像

中圖分類號：TP79??? 文獻標識碼：A??? doi：10.12128/j.issn.1672-6979.2023.10.010

引文格式：彭程，王靖偉，高濤，等.基于遷移學習和ResNet50的遙感圖像土地覆蓋分類［J］.山東國土資源，2023，39（10）：62-66. PENG Cheng， WANG Jingwei， GAO Tao， et al. Land Cover Classification of Remote Sensing Images Based on Transfer Learning and ResNet50［J］.Shandong Land and Resources，2023，39（10）：62-66.

0 引言

土地覆蓋分類識別對國土資源調查、城市規劃及智慧自然資源監管［1］等領域有著重要的作用，對自然資源部門制定或更新土地利用決策和提高社會經濟效益有著重要的意義。

遙感圖像土地覆蓋分類起初是靠簡單的人工目視解譯［2］，但人工目視解譯主觀性強、精度低、效率低，無法滿足遙感圖像快速分類識別。計算機時代的到來，人工神經網絡［3］、支持向量機［4］、決策樹［5］和粒子群優化算法［6］等機器學習算法應運而生并在土地覆蓋分類等圖像處理任務取得了不錯的效果。但這些需找到描述圖像的特征和分類器，隨著遙感圖像向海量數據和高分辨率方向發展，尋找適合海量遙感圖像的特征描述和分類器成為傳統機器學習算法的難點;而深度學習算法為遙感圖像分類識別提供了新的途徑。深度學習算法通過多層網絡逐層自主學習輸入信息“由淺及深”的特征表示，不需要設定特征達到分類學習的目的，卷積神經網絡（CNN）［7］作為深度學習代表性的算法被廣泛應用到土地覆蓋分類［8］、變化檢測［9］、區域分割［10］等各個領域。

卷積神經網絡雖能夠解決機器學習在應對海量數據特征和分類器選擇的瓶頸，但卷積神經網絡對計算機硬件的要求較高，且訓練時長較長。而通過遷移學習［11］將大數據集上的預訓練模型遷移到具體網絡上繼續訓練，能夠在一定程度上加快網絡模型收斂速度，節省時間和計算資源。例如，張典范等［12］通過構建一種基于ResNet50和遷移學習的網絡模型實現了8種輪轂的高準確率分類。王艷玲等［13］通過遷移學習將ImageNet圖像數據集上訓練成熟的AlexNet參數模型微調訓練實現對番茄葉片病害識別。KIM T H等［14］則是將VGG-face Dataset數據集上訓練的面部識別模型遷移學習到CNN模型，通過模型訓練進行參數微調實現面部表情識別任務。

該文使用RSSCN7和NWPU-RESISC45數據庫中工業區、森林、停車場等7種土地覆蓋類型的遙感圖像，借助ResNet50網絡強大的特征表示能力，通過遷移學習將ImageNet數據庫上訓練成熟的ResNet50參數網絡模型作為土地覆蓋分類網絡的初始參數值進行ResNet50網絡的迭代訓練與泛化，得到兩數據庫土地覆蓋分類結果。

1 土地覆蓋分類網絡結構的設計

1.1 土地覆蓋分類遷移學習任務

土地覆蓋分類遷移學習任務是將ResNet50網絡在ImageNet數據庫上分類任務（源域［15］）學習的模型參數轉移應用到土地覆蓋分類任務中（目標域），土地覆蓋分類網絡將其作為模型初始參數在土地覆蓋數據庫上繼續迭代訓練，從而實現對土地覆蓋分類的識別。

設源域在ImageNet數據庫上的訓練樣本Xi，i=1，2，……N，N為樣本總數，源域的特征空間為Xs，樣本的邊緣概率分布為Ps，Xi服從于邊緣概率分布Ps，Xsi∈｛Xs|1，2，……m｝，m為Xs的維數。Yi為樣本Xi的標簽。那么，源域可定義為

Ds=｛Xsi，Ysi｝Ni=1（1）

土地覆蓋數據庫的目標域為

Dt=｛Xti，Yti｝Tt=1（2）

T為土地覆蓋數據的訓練樣本數。土地覆蓋分類遷移學習任務就是利用源域Ds中學習的知識優化目標域Dt中模型表達能力，使得模型能夠預測正確的土地覆蓋類型標簽Yti。

1.2 基于遷移學習的ResNet50基本網絡結構的搭建

2015年問世的殘差網絡（ResNet）［16］通過引入殘差單元克服了網絡層數升高而模型效果變差的瓶頸，圖1是ResNet50網絡中一個bottleneck殘差單元模塊輸入輸出關系，bottleneck殘差單元模塊輸出由多個級聯卷積層輸入與級聯卷積操作輸出共同組成，級聯卷積層輸入被稱為identity mapping（恒等映射），級聯卷積操作輸出成稱為residual mapping（殘差映射）。

圖1中x，H（x）分別為bottleneck殘差單元的輸入和輸出；F（x）為通過殘差單元輸入經過級聯卷積后的輸出，殘差單元的輸出為

H（x）=F（x）+x（3）

當網絡模型學習能力達到最優時，若繼續加深網絡進行訓練，F（x）會被迫訓練成0，只剩下恒等映射H（x）=x，這樣網絡就會一直處于最佳狀態。

圖2所示為基于遷移學習和ResNet50的土地覆蓋分類網絡結構圖，ResNet50分為5個stage和1個全連接層fc，其中stage2-stage5中是由不同參數及數量的bottleneck殘差單元組成，bottleneck殘差單元由3層級連卷積層組成，圖中［ ］為stage中bottleneck各卷積層參數。

2 土地覆蓋分類網絡的訓練及評價

2.1 數據來源

遙感圖像主要來源于以下兩數據庫：

NWPU-RESISC45數據庫［17］：2017年由西北工業大學發布，其遙感圖像選自谷歌地球，覆蓋了全球100多個地區，每張圖像的空間分辨率約為0.2～30m。NWPU-RESISC45數據庫涵蓋了45類別土地覆蓋類型共計31500張256像素×256像素的遙感圖像。選取草地、森林、矩形農田、停車場、密集住宅區、工業區和湖泊等7類用于實驗；

RSSCN7數據庫［18］：2015年由武漢大學發布，包含草地、森林、農田、停車場、住宅區、工業區、和河湖7類別土地覆蓋類型共計2800張400像素×400像素的遙感圖像，每種類型圖片數等同，圖像采樣比例、季節及天氣都有所差異。

2.2 實驗條件

實驗中電腦處理器為12th Gen Intel（R） Core（TM） i5-12600KF CPU，顯卡為NVIDIA GeForce RTX3060，操作系統為Windows10，在pytorch框架下搭建深度學習網絡結構，采用CUDA11.3并行計算框架。為驗證網絡結構在土地覆蓋類型分類任務上的有效性，引入AlexNet［19］、Vgg16［20］卷積神經網絡進行對比，兩數據庫分別按訓練集∶測試集∶驗證集7∶2∶1的比例各類別等比劃分在各神經網絡上迭代訓練，實驗中各網絡學習率統一設置為0.001。

2.3 土地覆蓋分類網絡訓練及結果評價

2.3.1 土地覆蓋分類網絡模型的訓練

與其他CNN經典網絡訓練方法相同，訓練時通過遷移學習將ImageNet數據庫訓練的參數作為土地覆蓋分類網絡的初始參數值。訓練集和驗證集輸入土地覆蓋分類網絡，經過逐層學習前向傳播（foward propagation， FP）得到輸出標簽值，將輸出標簽值與圖像真實標簽值進行對比，通過損失函數計算此次訓練的誤差值，由反向傳播（backward propagation，BP）逐層計算誤差梯度，更新網絡中各層參數值。網絡學習過程中損失函數采用交叉熵函數（Cross Entropy），參數更新方法采用隨機梯度下降法（Stochastic Gradient Descent，SGD），網絡學習的速率（參數更新程度）由學習率控制。參數更新的公式如下：

θ=θ﹣η·▽θJ（x（i），y（i））（4）

式中：θ、η分別為網絡參數和學習率，J為網絡表示函數，x（i）、y（i）為訓練樣本。

通過前向傳播計算學習誤差，后向傳播更新網絡參數，待訓訓練集、驗證集連續多輪損失趨于穩定不再繼續下降后，土地覆蓋分類網絡模型訓練完成。

2.3.2 土地覆蓋分類網絡結果評價

實驗中引入準確率作為網絡結構評價標準，準確率（Accuracy）定義如下：

Accuracy=TpTp+Tn（5）

式中：Tp、Tn分別為土地覆蓋類型圖片被預測正確和錯誤的數量，兩數據庫在AlexNet、Vgg16及本文網絡在兩數據庫的結果如表1所示。

表1 各網絡的土地覆蓋分類識別準確率? 單位：%數據庫AlexNetVGG16該文網絡RSSCN790.1889.6492.32NWPU-RESISC4597.5599.1899.29

從表1看出，基于遷移學習和ResNet50的網絡結構在土地覆蓋分類任務上表現較好，無論是圖像間差異性較大的RSSCN7數據庫還是NWPU-RESISC45數據庫，網絡分類的準確率都比AlexNet、Vgg16網絡的分類效果好，尤其是在差異性較大的RSSCN7數據庫，網絡的識別準確率超過90%，優于其他兩種算法至少2.14%。

圖3展示了基于遷移學習的ResNet50網絡在兩數據庫7種土地覆蓋類型的混淆矩陣，可以看出，NWPU-RESISC45各類別樣本識別準確數量較為平均。而RSSCN7數據庫中工業區和住宅區兩種土地覆蓋類型正確識別的樣本數較低，其中工業區主要被誤判為停車場，住宅區主要被誤判為工業區，兩類別的誤判偏差也直接影響了整個數據的平均識別準確率。

2.4 遷移學習對土地覆蓋分類網絡結果的影響

遷移學習通過將源域的預訓練模型遷移到ResNet50網絡上微調訓練土地覆蓋類型識別任務，通過參數初始化一定程度上加快網絡模型收斂速度，節省時間和計算資源，提高了識別的準確率。

圖4給出了ResNet50網絡在兩數據庫下進行遷移學習和普通模型（未進行遷移學習的模型）的損失曲線，實驗中固定訓練epoch為80。從圖中可以看出，不論是訓練集還是驗證集，通過遷移學習，訓練集和驗證集損失loss能夠很快收斂，且網絡學習已趨于穩定。而普通模型隨著訓練輪數的增加，訓練集和驗證集的損失率在不斷減少，網絡仍在不斷學習，仍需繼續迭代訓練。

表2總結了兩數據庫下使用遷移學習和未使用遷移學習的ResNet50網絡的分類準確率。使用遷移學習后，不論是在圖像間差異性較大的RSSCN7數據庫，還是差異性較小的NWPU-RESISC45數據庫，ResNet50分類的準確率顯著提升，分別提升了11.25%和4.7%。

3 結論

通過構建基于遷移學習的深度殘差網絡（ResNet50），實現對工業區、森林、停車場等7種土地覆蓋類型的分類，比較AlexNet和VGG16兩種網絡在RSSCN7數據庫和NWPU-RESISC45數據庫的分類準確率。結果表明，基于遷移學習的ResNet50深度學習算法能夠實現遙感圖像的快速、有效、精確的土地覆蓋分類識別。下一步將以日照市國土資源現狀為基礎，參照《國土空間調查、規劃、用途管制用地用海分類指南》形成多級土地覆蓋類型的標準樣本庫并進行驗證。同時研究基于深度學習的遙感影像分割技術，實現人工智能支持下的遙感影像自動提取與分類。

參考文獻：

［1］ 王莉，尋知鋒，鄭美麗，等.空天地網一體化智慧監測體系在耕地保護執法監管平臺中的應用［J］.山東國土資源，2022，38（9）：63-68.

［2］ 李鎮，張巖，楊松，等.QuickBird影像目視解譯法提取切溝形態參數的精度分析［J］.農業工程學報，2014，30（20）：179-186.

［3］ 伍振軍，劉吉平，劉廣潤.基于遙感和遺傳BP算法的流域土地覆蓋/利用分類方法［J］.湖北地礦，2002（2）：31.

［4］ 李楠，朱秀芳，潘耀忠，等.人工蜂群算法優化的SVM遙感影像分類［J］.遙感學報，2018，22（4）：559-569.

［5］ 李爽，丁圣彥，錢樂祥.決策樹分類法及其在土地覆蓋分類中的應用［J］.遙感技術與應用，2002（1）：6-11.

［6］ 于國強，宋君陶，于軍令，等.面向遙感影像分類的時延權重及群體分類PSO改進方法［J］.山東國土資源，2022，38（8）：28-33.

［7］ 李國清，柏永青，楊軒，等.基于深度學習的高分辨率遙感影像土地覆蓋自動分類方法［J］.地球信息科學學報，2021，23（9）：1690-1704.

［8］ 李海雷，胡小娟，郭杭，等.遷移學習支持下的土地利用/土地覆被分類［J］.測繪通報，2018（9）：50-54.

［9］ 齊建偉，王偉峰，張樂，等.基于改進DeepLabV3+算法的遙感影像建筑物變化檢測［J］.測繪通報，2023（4）：145-149.

［10］ 李國庭，王德強，趙德良，等.基于多源異構數據的糧食作物種植面積提取［J］.山東國土資源，2022，38（8）：51-55.

［11］ PAN S J，TSANG I W，KWORK J T，et al.Domain Adaptation via Transfer Component Analysis［J］.IEEE Transactions on Neural Networks，2011，22（2）：199-210.

［12］ 張典范，楊鎮豪，程淑紅.基于ResNet50與遷移學習的輪轂識別［J］.計量學報，2022，43（11）：1412-1417.

［13］ 王艷玲，張宏立，劉慶飛，等.基于遷移學習的番茄葉片病害圖像分類［J］.中國農業大學學報，2019，24（6）：7.

［14］ KIM T H，YU C，LEE S W.Facial expression recognition using feature additive pooling and progressive fine-tuning of CNN［J］．Electronics Letters，2018，54（23）：1326-1328．

［15］ PAN S J，YANG Qiang.A Survey on Transfer Learning［J］．IEEE Transactions on Knowledge and Data Engineering，2010，22（10）：1345-1359.

［16］ HE K M，ZHANG X Y，REN S Q，et al.Deep Residual Learning for Image Recognition［C］.2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR），IEEE.Las Vegas，USA，2016．

［17］ CHENG G，HAN J W，LU X Q.Remote Sensing Image Scene Classification：Benchmark and State of the Art［J］.Proceedings of the IEEE，2017，105（10）：1865-1883.

［18］ ZOU Q，NI L H，ZHANG T，et al.Deep Learning Based Feature Selection for Remote Sensing Scene Classification［J］.IEEE Geoscience and Remote Sensing Letters，2015，12（11）：2321-2325.

［19］ ALEX.K，ILYA S，GEOFFREY H.ImageNet classification with deep convolutional neural networks［J］.Communications of the ACM，2017，60（6）：84-90.

［20］ KAREN S，ANDREW Z.Very Deep Convolutional Networks for Large-Scale Image Recognition［J］.CoRR，2014，abs/1409-1556.

Land Cover Classification of Remote Sensing Images

Based on Transfer Learning and ResNet50

PENG Cheng1， WANG Jingwei1，GAO Tao1， SHEN Jie1， WANG Jing1，? ZHUGE Yingxue2，SUN Jingwen3

（1. Rizhao Bureau of Natural Resources and Planning ，Shandong Rizhao，276800， China; 2.Office of the Cyberspace Affairs Commission of Rizhao Municipal Committee of the Communist Party of China， Shandong Rizhao，276800， China; 3. NanJing Research Institute of Surveying， Mapping & Geotechnical Investigation， Co.Ltd， Jiangsu Nanjing 210019， China）

Abstract： Rapid development of remote sensing technology and artificial intelligence has provided an implementation approach for image-based automatic land cover classification. In this paper， through modifing the output layer of the deep residual network （ResNet50）， by using transfer learning and the pre trained parameter model of the network on the ImageNet database as the initial parameter model of the land cover classification network， by further fine-tuning training on the remote sensing image database， the industrial zone， forest classification of 7 types of land cover， including parking lots have been realized. The classification accuracy in the RSSCN7 and NWPU - RESISC45 databases can reach 92.32% and 99.29%， respectively. The experimental results show that the ResNet50 deep learning algorithm based on transfer learning can achieve fast， effective， and accurate land cover classification and recognition of remote sensing images

Key words： Transfer learning ; ResNet50; land cover classification; remote sensing images