基于FCN和面向對象的高分辨率遙感影像土地覆蓋分類

馬海榮，馮天晶，戢 銳

（1.湖北省農業科學院農業經濟技術研究所，武漢 430064；2.中國地質大學（武漢）地理與信息工程學院，武漢 430074；3.文華學院，武漢 430074）

深度學習方法因其不需要人工參與就可以通過對大量訓練樣本自主學習來提取圖像中的地物特征而被廣泛應用于圖像處理與分析領域。全卷積神經網絡（FCN）［1］是首個可以實現對圖像進行逐像素分類預測的深度學習網絡，被廣泛應用于目標分割［2］、目標檢測［3-5］、目標分類［6，7］等圖像處理領域。例如：Lee［8］等首次將FCN 應用于高光譜圖像分類；Ronneberger 等［9］基于FCN 模型提出U-Net 模型，將上下文的特征進行融合，實現密集像素分類；邰建豪［10］提出基于深度學習框架的FCN 分類方法，并選取ZY-3、Worldview2 和Google Earth 三組高分辨率遙感影像進行分類實；Ksenia 等［11］與Schuegraf 等［12］提出多通道融合的FCN4s 模型，并將該方法應用于基于DSM 與高分遙感影像的建筑物提取。

基于FCN 進行遙感影像語義分割的學習時首先對遙感影像進行下采樣獲取特征圖，然后基于上采樣獲取與輸入圖像同樣大小的預測結果圖。上、下采樣的圖像處理過程會造成部分信息的丟失，特別是地物邊緣細節信息的丟失，最終嚴重影響分類或分割結果。本研究提出一種將FCN 網絡與面向對象技術優勢互補的高分遙感影像土地覆蓋分類方法。該方法將面向對象分割獲取的地理單元可以有效保持地物邊緣細節信息，以及FCN 深度學習模型不需要人工參與就可以通過對大量訓練樣本自主學習完成對遙感影像語義分割的優勢相結合，提高高分遙感影像土地覆蓋分類的精度。

1 深度學習模型與分類方法

1.1 全卷積神經網絡

卷積神經網絡（CNN）是目前最成熟、應用最廣泛的深度學習框架，但基于CNN 進行圖像分類，只能輸入固定大小的圖像，且CNN 只能實現對整幅圖像所屬類別的判斷，無法完成對圖像逐像素的密集預測。隨著計算機視覺領域的發展，這種對圖像整體一對一的預測已經無法滿足應用需求，更多的應用需要對輸入圖像的每個像素都進行類別預測，即圖像密集分類。基于CNN 提出的FCN 解決了圖像密集預測的需求。FCN 利用全卷積層代替了CNN中的全連接層，可以處理任意大小的圖像，基于反卷積技術對深度訓練獲取的特征圖進行上采樣處理，獲取和待分類圖像大小一致的分類結果圖。FCN 深度學習模型主要由輸入層、卷積層、池化層、全卷積層和輸出層組成（圖1）。

圖1 FCN 遙感影像地物提取模型

FCN 區別于CNN 的3 個優點為：全卷積化、上采樣和跳躍連接結構。全卷積化將CNN 模型中輸出的一維特征向量轉換為二維特征矩陣，解決CNN 中空間特征丟失問題，且將全連接層換成卷積層后，FCN 可以處理任意大小圖像。上采樣優化了CNN 中池化操作造成特征分辨率降低的問題，保證最終預測結果圖像和輸入圖像的大小一致性。跳躍連接結構將FCN 在不同層級的獲取特征圖融合，保留了更多的邊緣細節特征，進一步提高了分割結果的精度。

FCN 也存在以下缺陷：①網絡整體規模過大，需要將待處理圖像分割成較小的單元處理；②由于上、下采樣的機制，導致FCN 分割結果不夠精細，容易丟失地物的邊緣細節信息。為提高FCN 對圖像的分割精度，就需要對FCN 模型進行優化改進或對FCN 獲取的初始分類結果進行優化。

經典FCN8s 模型是為了處理多媒體圖像而提出，多媒體圖像中目標個體較少且容易分離。與多媒體圖像不同，遙感影像空間分辨率高，地物對象復雜并且有混合像元的存在，導致直接將經典FCN 模型應用于遙感影像分類或目標提取效果不佳。本研究構建了一個FCN4s模型（圖2）進行影像分類，FCN4s在一定程度上可以保留更詳細的地物細節。

圖2 FCN4s模型

1.2 基于FCN與面向對象的高分遙感影像分類方法

本研究探索如何充分挖掘高分辨率遙感影像蘊含的地物特征以及構建相對簡單有效的深度學習模型，并利用基于最優尺度下面向對象的分割結果優化FCN 的初始分類結果，提高土地覆蓋分類結果中不同地物的邊界準確性和減少孔洞噪聲的影響。方法的具體技術流程如圖3 所示，基于面向對象分割結果優化FCN 初始分類結果的高分遙感影像土地覆蓋分類的具體研究步驟如下：

圖3 基于FCN 與面向對象的高分遙感影像土地覆蓋分類技術流程

1）收集研究區高分遙感影像數據、現存土地利用分類數據及其他輔助數據，并對所收集的數據進行預處理；基于現存土地利用數據進行遙感影像人機交互目視解譯，獲取與影像獲取時間一致的土地覆蓋類型的標簽數據。

2）基于文獻［13］的方法，對研究區的高分遙感影像進行最優尺度的面向對象分割，獲取能夠充分保存不同地物邊緣細節信息的分割對象數據，作為優化FCN 初始分類結果的輔助數據。

3）對研究區的高分遙感影像與相應的土地覆蓋類型標簽數據進行裁剪，分別制作用于深度學習模型訓練和分類的訓練樣本集和測試樣本集。

4）利用訓練樣本數據進行FCN4s分類模型的訓練建模，并基于訓練好的FCN4s 模型對測試樣本數據進行分類，獲取測試區土地覆蓋類型的初始分類結果。

5）利用最優尺度的面向對象分割結果，對基于FCN 獲取的土地覆蓋類型初始分類結果進行優化處理，得到最終的土地覆蓋分類結果。

2 研究區概況與試驗數據

研究區位于湖北省武漢市江夏區西南部，整個研究區地勢平坦，總面積105.5 km2，地形以平原為主。本研究所用的高分遙感影像為2018年6月獲取的高景1 號衛星影像，該影像包含1 個0.5 m 分辨率的全色波段和4 個2 m 分辨率的多光譜波段。根據研究區的高分辨率遙感影像數據和現存的土地利用數據，基于人機交互目視解譯和實地調查的結果，獲取與高分遙感影像獲取時間一致的土地覆蓋類型分布。圖4 為研究區遙感影像與土地覆蓋類型分布，研究區耕地占比最大，面積46.71 km2，其次為河流水體，面積22.81 km2。建筑多沿道路或河流聚集性分布，面積2.77 km2。道路和灌排渠道整個研究區分布均勻，面積分別為2.03 km2與1.91 km2，但由于樹陰遮蔽以及影像分辨率影響，道路和灌排渠道存在斷裂與不連續現象。農業大棚在研究區廣泛分布，面積為3.78 km2，林草地和其他地類分布無一定規律，面積分別為11.09 km2和14.40 km2。

將圖4 中紅色范圍線內區域作為試驗測試區（測試區面積11.09 km2，因深度學習網絡可以處理的圖像大小有限，需要對影像進行一定尺寸的裁剪，裁剪時剔除不夠設定尺寸的邊緣，裁剪后測試區面積10.58 km2），將研究區除去測試區以外區域的影像數據用來構造訓練樣本集。測試區耕地、河流水體、建筑、道路、灌排溝渠、大棚、林草地和其他地類的匯總面積分別為5.21、1.18、0.31、0.16、0.28、0.80、1.25 和1.39 km2。

圖4 研究區遙感影像與土地覆蓋類型分布

3 最優尺度面向對象的分割

FCN 的預測結果是對多個下采樣后的特征圖進行上采樣直接產生，上、下采樣導致特征圖太過稀疏，造成基于FCN 的直接分割結果不夠精細，缺乏細節信息。面向對象影像分析法可以綜合考察各像素與其鄰域像素的光譜、空間特性，以具有光譜、空間同質性的多個像元（即對象）作為基本處理單元進行影像分析，可以較好地保持地物的邊緣特征信息。因此，基于面向對象的分割結果進行FCN 初始分割結果的優化，可以有效保持地物的細節信息。

面向對象分割結果的質量直接影響分類結果，而分割尺度的選擇對分割結果影響最大，最優尺度下的面向對象分割結果應該與目標地物大小基本一致、輪廓相當，多邊形相對完整，地物邊界清晰，同類地物對象同質性好，不同地物類別對象間的異質性差異大。最優分割尺度選擇方法也由最開始的經驗選擇法，發展到目前基于模型計算和評判指標選擇的理論選擇法。對測試區影像基于文獻［13］提出的基于場景復雜度的最優尺度面向影像分割方法進行面向對象分割，分割結果見圖5。從圖5 可知，獲取的對象具有較好的完整性，基本可以保持原始地物的光譜、紋理、幾何和拓撲關系等特征。4 個放大的圓分別展示對不同類型地物（林地、裸地、房屋、道路、水體、耕地等）的分割結果，分割所得對象基本可以保持原始地物良好的幾何形態和邊緣信息。

圖5 測試區遙感影像與面向對象分割結果

基于最優尺度面向對象分割結果優化FCN 初始分類結果的方法如下：將在最優分割尺度下獲取的面向對象分割結果與基于FCN 獲取的初始分類結果進行疊加，統計落在每個面向對象獲取的分割單元內基于FCN 獲取的分類結果中不同地物類別的面積，面積最大的那個地物類別判定為該對象單元的最終分類結果。該優化操作可以將基于FCN獲取的基于像素的語義分割結果轉化為基于對象的分類結果。

4 基于FCN 與面向對象的高分遙感土地覆蓋分類

4.1 試驗環境

本研究基于Caffe 深度學習框架構建了全卷積神經網絡語義分割模型。試驗環境的軟硬件設備具體配置及型號分別見表1 和表2。

表1 硬件配置及型號

表2 軟件版本及型號

4.2 分類數據集制作

為滿足基于深度學習模型對高分遙感影像土地覆蓋類型進行精細分類的需求，根據研究區土地利用狀況制作深度學習數據集。由于深度學習模型網絡層數比淺層機器學習模型多且復雜，對圖像樣本數據的處理能力有限，因此無法對任務區的整張影像進行完整的一次性處理。試驗數據準備時基于ArcGIS 軟件標注了與遙感影像對應的土地覆蓋類型標簽圖像，并對預處理后遙感影像以及標簽圖像分別進行128 像素×128 像素的裁剪，構建了深度學習訓練和測試樣本數據集。分割后訓練區包含23 013幅圖像，測試區包含2 565 幅圖像。

4.3 網絡訓練

對于所有隨機初始化的層以學習率λ=0.01 開始網絡訓練，對于使用預先訓練的模型初始化的層采用λ=0.001，每20 000 次迭代將它們減少10 倍。總迭代次數被設置為60 000，批處理大小為5。質量衰減η和動量因子分別設置為η=0.005 和m=0.9。所有參數都是在驗證數據集上的訓練過程中獲得的。在訓練過程中，在將樣本輸入網絡前，對樣本進行隨機變換。

4.4 分類結果與精度評價

本研究選擇整體分類精度（OA）、生產者精度（PA）、使用者精度（UA）和Kappa系數4個評價指標定量評價深度學習模型對測試區數據的分類精度。

基于FCN 網絡模型對測試區影像數據進行土地覆蓋分類的初始分類結果見圖6。初始分類結果是基于像素的分割結果，其易存在椒鹽現象和丟失地物邊界細節信息，影響分類的效果和精度。由圖6 可知，基于FCN4s 的初始分類結果中存在較多孔洞噪聲，即不同類別的分類結果圖斑參雜被錯誤地分類成其他類別的小面積圖斑，對土地覆蓋分類制圖的目視效果一般。

圖6 基于FCN4s的土地覆蓋類型初始分類結果

初始分類結果的OA 為84.81%，Kappa 系數為0.781 7。圖7 為針對不同類型的地物基于FCN4s 網絡模型分類結果的PA 與UA 值。FCN4s 對不同地物的分類性能不同，分類性能較好的地物類型有耕地、水體、林草地，這3 種地類所的PA 和UA 均較高；對于道路和灌排渠道的分類性能最差，PA 僅為50%。

本研究利用面向對象分割結果優化FCN4s的初始分類結果，對測試區基于FCN4s 獲取的初始分類結果進行優化，優化后的分類結果見圖8。由圖8 可知，優化后的分類結果在目視效果上明顯優于基于FCN4s 的初始分類結果，少了很多孔洞噪聲，不同地類圖斑相對純凈。優化后分類結果的OA為87.11%，Kappa 系數為0.813 4，與基于FCN4s 的初始分類結果相比OA 提高2.3 個百分點。

圖9 為優化分類結果的PA 與UA 值，分別對比圖6 和圖8 及圖7 和圖9 可知，優化后土地覆蓋類型的分類性能整體有所提高。大部分地物類型的PA和UA 均有所提高，例如大棚、渠道、水體和耕地；部分地物類型的PA 有所提高，UA 稍有下降，例如建筑和道路；對于林草地這一地物類型，優化前后分類結果的精度稍有降低，但變化很小；對于其他地物類型，PA 和UA 均有所降低，是因為其他地物類別中包括多種地物類型，分類不確定性較大。

圖7 基于FCN4s的土地覆蓋類型分類精度

圖8 基于面向對象優化FCN4s后土地覆蓋類型的分類結果

圖9 基于面向對象優化FCN4s后土地覆蓋類型的最終分類精度

5 小結

提出一種基于面向對象分割結果優化經典FCN模型初始分類結果的高分遙感影像分類方法。其優勢在于利用最優尺度的面向對象分割結果優化基于FCN 獲取的高分遙感影像初始分類結果，可以有效彌補基于FCN模型進行高分遙感影像語義分割時上、下采樣造成的地物邊緣細節信息丟失的問題，優化高分遙感影像分類結果的視覺效果和提高分類精度。