基于編碼-解碼神經網絡遙感圖像語義分割應用研究

李紫薇 于曉鵬 丁婷婷

摘?要：圖像分割的實現經歷了從傳統方法到神經網絡方法的演變。本文從圖像分割的發展過程入手，介紹了圖像分割與語義分割的區別，對最近幾年傳統圖像分割方法在遙感圖像分割領域的應用進行梳理分析，總結了傳統遙感圖像分割方法的不足。基于此，歸納了幾種經典編碼-解碼神經網絡架構在遙感圖像語義分割領域的應用，對其改進方式進行了綜合性分析，并對其未來的發展趨勢進行展望。

關鍵詞： 圖像分割;圖像語義分割;遙感圖像;編碼-解碼神經網絡

文章編號： 2095-2163（2021）01-0106-04 中圖分類號：TP301.6 文獻標志碼：A

【Abstract】The realization of image segmentation has experienced the evolution from traditional methods to neural network methods. This article starts with the development process of image segmentation， introduces the difference between image segmentation and semantic segmentation， analyzes the application of traditional image segmentation methods in the field of remote sensing image segmentation in recent years， and discusses the shortcomings of traditional remote sensing image segmentation methods. Based on this， the application of several classical encoding-decoding neural network architectures is summarized in the field of remote sensing image semantic segmentation， the improvement methods of these methods are comprehensively analyzed， and their future development trend is prospected.

【Key words】image segmentation; image semantic segmentation; remote sensing image; encoding-decoding neural network

0 引?言

圖像作為人類感知世界的視覺基礎，是人類獲取、表達和傳遞信息的重要手段。隨著科技的進步，圖像分割技術和圖像語義分割技術也隨之發展起來。圖像語義分割技術作為圖像分類、目標檢測以及對圖像上下文信息理解的基礎，在計算機視覺領域發揮著舉足輕重的作用。而在其經歷了漫長的發展進程后，目前已經成為深度學習方向的重點研究課題。進一步的研究還指出，遙感圖像由于其分辨率低、波段多、圖像范圍廣、數據量大等特點，現在已然成為圖像語義分割領域的重點研究對象。

1 概述

1.1 圖像分割

在圖像分割早期，考慮到計算機的有限運行能力，只能采用普通的圖像分割方法。這種普通方法最初也僅可用于灰度圖像處理，后期則逐漸拓展至彩色圖像的分割。具體是通過提取圖片信息中的低級特征來分割圖像，但是分割出的結果并沒有語義級別的標注，因而不能將分割結果中的類別進行細分。普通的圖像分割是一種適用于非監督學習的分割技術。

1.2 圖像語義分割

隨著機器學習的發展以及計算機性能的提升，圖像語義分割技術已經逐漸成為時下的研究熱點。與普通圖像分割不同，圖像語義分割是從像素級別來對圖像進行理解的，屬于同一類別的像素均歸為一類。圖像語義分割是適用于監督學習的分割技術。目前，越來越多的應用需要與語義分割技術相結合，包括自動駕駛、人機交互、醫學影像等領域。圖像語義分割也是AI領域中的一個重要分支，是計算機視覺技術中關于圖像理解的重要一環，同時也是目標檢測、圖像分類等領域的關鍵性技術。

2 傳統遙感圖像分割

2.1 傳統遙感圖像分割方法

近年來，遙感圖像分割已經引起了學界的更多關注。2016年，丁海勇等人[1]提出了一種基于動態區域分裂合并算法的遙感圖像分割方法。這種方法將傳統的四叉樹分裂算法轉換為循環方式利用堆棧數據結構進行運算，再與相鄰同質區域歸并算法相結合，實現了多特征信息高精度的提取。但該方法仍存在著計算量較大，分割效果過分依賴參數等不足。2017年，李勇發等人[2]提出了一種基于FCM聚類及其改進的遙感圖像分割算法。考慮到傳統的FCM算法對球狀數據具有很強的依賴性，因此在改進的算法中使用了交叉熵距離測度來代替歐式距離測度。改進的FCM算法大大提高了遙感圖像聚類的效率和分類的精度。2019年，楊麗艷等人[3]提出了一種簡單線性迭代聚類（SLIC）與快速FCM聚類相結合的算法。這種方法先使用SLIC算法對圖像進行預分割，繼而使用FFCM對獲取的超像素進行合并，結果表明該方法能夠改善超像素的過度分割問題。2019年，姜文斌等人[4]提出了一種基于最優權重法的K-means模型，先使用二維高斯函數對圖像進行濾波平滑處理，再依據早熟收斂度和自適應值進行調整，找到最優權重作為初始聚類中心，然后將樣本分配到每個聚類中心不斷進行迭代，直至最終算法收斂。該算法解決了傳統K-means算法不易獲得最優質心以及容易趨于局部最優的問題。

2.2 傳統方法存在的問題

目前，隨著對傳統遙感圖像分割方法研究的不斷深入，傳統方法因其自身的局限性以及外界因素的影響也同時暴露出許多問題。傳統遙感圖像分割方法是根據遙感圖像的顏色、空間結構和紋理信息等特征進行處理分析的，因此傳統方法只能提取到遙感圖像的一些低級特征，無法達到語義級別的分割。傳統方法對遙感圖像中細節信息的提取也缺乏精準度，無法實現更加精確的分割。同時，由于遙感圖像的成像容易受到許多自然因素的影響，為圖像分割帶來了更大的挑戰。還需指出的是，在神經網絡逐漸發展起來后，已有眾多學者開始將遙感圖像分割與神經網絡相結合，試圖尋求到遙感圖像分割更加有效的方法。

3 基于編碼-解碼神經網絡的遙感圖像語義分割

3.1 基于編碼-解碼神經網絡的經典方法

神經網絡經歷了漫長的發展過程，逐漸衍生出多種類型的神經網絡。其中的卷積神經網絡以其自身的特點在圖像處理領域發揮著舉足輕重的作用，但是真正對圖像分割起到指引作用的是2017年Long等人[5]提出的全卷積神經網絡（FCN）。該網絡模型對傳統卷積神經網絡做了一定的改進，是一種編碼-解碼結構網絡。傳統的卷積神經網絡只能接收固定大小的輸入圖像，而針對這一局限性，用全卷積網絡替代傳統卷積神經網絡的最后一層全連接層。此外，還提出了跳躍鏈接結構來進行上采樣學習，實現了將圖像分類網絡轉移到圖像分割網絡中。FCN的架構如圖1所示。

2015年，Ronneberger等人[6]針對池化操作引發的特征圖分辨率低的問題，提出了一種編碼-解碼結構的網絡模型U-Net。和FCN相比，U-Net是一個完全對稱的卷積神經網絡模型，由一個收縮路徑和一個對應的擴張路徑構成。其中，收縮路徑相當于編碼部分，是對圖片細節信息進行提取;擴張路徑相當于解碼部分，用于恢復和原圖一樣的大小。U-Net的網絡架構如圖2所示。

2017年，Badrinarayanan等人[7]針對全卷積神經網絡使用反卷積和少量跳躍連接而產生的分割效果粗糙的問題，提出了一種編碼-解碼結構的網絡模型SegNet。該網絡在解碼器使用時并沒有如FCN一樣復制編碼器特征，而是使用編碼器的最大合并步驟中計算的池化索引來執行非線性上采樣，這就使得網絡占用的內存大大減小了。SegNet的網絡結構如圖3所示。

總而言之，前述基于卷積神經網絡進行圖像語義分割的經典方法都是一種編碼-解碼結構的網絡，這種網絡以其整齊明晰的網絡結構在眾多卷積神經網絡中表現出明顯的優勢。

3.2 基于編碼-解碼神經網絡遙感圖像語義分割方法

隨著編碼-解碼結構網絡的發展，更多的研究者已嘗試將其應用在遙感圖像語義分割領域。2018年，鄭二功等人[8]將全卷積神經網絡應用在玉米倒伏地域提取中，為玉米倒伏災害評估提供了有益參考。2019年，楊建宇等人[9]將SegNet用于高分辨率遙感影像中農村建筑物的信息提取，與傳統分類算法和淺層學習算法相比總體精度顯著提高。同年，蘇健民等人[10]提出了一種基于U-Net改進的深度卷積神經網絡，采用集成學習策略提高分割精度。陳一鳴等人[11]采用改進的U-Net網絡并結合隨機梯度下降與Momentum組合的優化方法提升了遙感圖像新增建筑物的分割精度。許玥等人[12]采用改進的U-Net網絡結構與全連接條件隨機場的圖像分割算法對遙感圖像進行分割，與傳統U-Net相比有著更好的魯棒性，分割精度也得到了進一步的提升。

2020年，張浩然等人[13]提出了一種改進的U-Net網絡結合CRFs對高分辨率遙感影像建筑物進行提取，在地物邊緣分割完整度和精度上實現了改進。同年，張哲晗等人[14]提出了一種改進的對稱編碼-解碼網絡結構SegProNet，利用池化索引與卷積融合語義信息及圖像特征，構建Bottleneck層進一步提取細節信息，實現了農村地區遙感圖像語義分割。

3.3 總結分析

近年來，眾多學者將綜上的數種典型的編碼-解碼結構的神經網絡應用到遙感圖像分割領域，期待在研究的分割速度、準確度等方面得到明顯提升。目前，提高編碼-解碼結構神經網絡在遙感圖像分割領域的效率與精度可以通過采用集成策略、改進傳統網絡的迭代方法與優化方法、增加后處理方法以及增加卷積層深度對遙感圖像的細節信息進一步提取等方式。

4 結束語

本文以圖像分割的發展過程作為契入點，將不同的圖像分割方法在遙感圖像分割領域的應用進行了介紹和分析。目前利用深度學習技術對遙感圖像進行分割已經成為研究的熱點，編碼-解碼結構神經網絡在遙感圖像分割領域發揮的作用也更加明顯，但與此同時卻也面臨著諸多挑戰，未來可以考慮設計更加適用于小數據集的架構，還可以將工作拓展至對超大尺寸遙感圖像的分割實現等。因此，編碼-解碼結構神經網絡在遙感圖像分割領域仍亟待加大研發力度。

參考文獻

[1]丁海勇，王雨軒，毛宇瓊，等. 基于動態閾值區域分裂合并算法的高分辨率遙感圖像分割研究[J]. 測繪通報，2016（8）： 145-146.

[2]李勇發，左小清，楊芳，等.基于FCM聚類及其改進的遙感圖像分割算法[J]. 浙江農業科學，2017，58（3）：518-520.

[3]楊麗艷，趙玉娥，黃亮. 結合SLIC和模糊聚類的遙感圖像分割方法[J]. 軟件，2019，40（12）：66-69.

[4]姜文斌，劉麗萍，孫學宏.基于自適應權重法的K-means模型對遙感圖像分割[J]. 計算機應用與軟件，2019，36（5）：231-234，261.

[5]LONG J，SHELHAMER E，DARRELL T. Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（4）：640-651.

[6]RONNEBERGER O，FISCHER P，BROX T. U- Net：Convolutional networks for biomedical image segmentation[J]. Medical Image Computing and Computer-Assisted Intervention（MICCAI），2015，9351：234-241.

[7]BADRINARAYANAN V，KENDALL A，CIPOLLA R. SegNet：A deep convolutional encoder- decoder architecture for scene segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（12）：2481-2495.

[8]鄭二功，田迎芳，陳濤.基于深度學習的無人機影像玉米倒伏區域提取[J].河南農業科學，2018，47（8）：155-160.

[9]楊建宇，周振旭，杜貞容，等. 基于SegNet語義模型的高分辨率遙感影像農村建設用地提取[J].農業工程學報，2019，35（5）：251-258.

[10]蘇健民，楊嵐心，景維鵬.基于U-Net的高分辨率遙感圖像語義分割方法[J].計算機工程與應用，2019，55（7）：207-213.

[11]陳一鳴，彭艷兵，高劍飛.基于深度學習的遙感圖像新增建筑物語義分割[J].計算機與數字工程，2019，47（12）：3182-3186.

[12]許玥，馮夢如，皮家甜，等.基于深度學習模型的遙感圖像分割方法[J].計算機應用，2019，39（10）：2905-2914.

[13]張浩然，趙江洪，張曉光.利用U-net網絡的高分遙感影像建筑提取方法[J].遙感信息，2020，35（3）：143-150.

[14]張哲晗，方薇，杜麗麗，等.基于編碼-解碼卷積神經網絡的遙感圖像語義分割[J].光學學報，2020，40（3）：0310001（1-10）.