基于語義分割網絡的高分遙感影像城市建成區提取方法研究與對比分析

劉釗，趙桐，廖斐凡，李帥，李海洋

(清華大學土木工程系交通工程與地球空間信息研究所，北京 100084)

0 引言

近年來，中國的城市化進程突飛猛進，而現實城市發展進程的指標之一就是城市建成區。根據國家質量技術監督局和國家建設部共同發布的《城市規劃基本術語標準》，建成區定義為： 城市行政區內實際已成片開發建設、市政公用設施和公共設施基本具備的區域[1]。城市建成區是反映城市綜合經濟實力和城市化水平的重要指標。獲取歷年以來城市建成區數據，對于城市的建設和管理企業的決策等具有重要的意義。

城市建成區的提取是近年來遙感應用領域研究的熱點內容。傳統的研究方法主要包括都市化指數(urban index, UI)[2]、歸一化建筑指數(normalized difference built-up index, NDBI)[3]、歸一化植被指數(normalized difference vegetation index, NDVI)[4]等方法。這些指數不僅可以單獨運用，也可相互結合綜合運用[5]，能夠得到更好的效果。傳統方法由于是通過地物的光譜特征提取關鍵信息，經常出現同譜異物或者同物異譜的現象，從而使該類方法很不穩定，在識別地物時容易存在較大誤差。

機器學習方法中，隨機森林法[6]、支持向量機法[7]以及無監督的聚類方法[8]同樣可以完成建成區的識別。Gong等[9]應用哨兵2號影像采用隨機森林算法，在Google Earth Engine平臺上達到了72.6%的高精度。機器學習的算法優點在于算法簡單，運行速度快。但算法簡單帶來的缺陷就是層次太淺，無法處理復雜的分類問題，以及面對大數據量的問題時，預測的精度會受到限制。所以，傳統機器學習算法并不是當今熱點問題的最優解。

深度學習算法很好地解決了傳統機器學習算法中層次淺的問題，成為了當今的研究熱點。卷積神經網絡[10]則是深度學習中應用最廣泛的分支，目前已被大量用在城市建成區的識別之中。現代意義上的卷積神經網絡起源于2012年的AlexNet[11]網絡，該網絡相比于以往的神經網絡擁有更深的層次和新的激活函數ReLU，從而加快了訓練速度。卷積神經網絡在圖像分類上取得了高精度后，隨即被應用到其他問題，例如圖像語義分割以及圖像實例分割。其中圖像語義分割類似于圖像分類，不同點在于語義分割是針對每一個像素的分割問題。

近幾年的研究和應用中涌現出了很多優秀的語義分割網絡，每年圖像分割競賽的語義分割網絡精度也在逐年提升。很多國內外學者應用語義分割網絡進行遙感影像建成區的識別，并取得了理想的結果。楊建宇等[12]運用SegNet[13]語義分割網絡在WorldView影像上進行霸州地區農村用地的提取，并得到了很高的分類精度； 蘇健民等[14]將U-Net[15]語義分割網絡應用在CCF衛星影像數據集上，取得了90%的測試準確率； Chen等[16]基于空洞卷積[17]的理論提出了Deeplab v3模型結構，將準確率進一步提升； 王俊強等[18]也利用Deeplab v3網絡對道路和建筑物進行提取，得到了較高的分割精度。

在一個典型的語義分割網絡之中，每一個卷積層之間的連接關系會影響到最終訓練的精度。殘差網絡(residual neural network，ResNet)[19]通過跳接的方式使網絡的訓練精度更高，解決了傳統的AlexNet和VGGNet網絡最大的缺陷。本文以ResNet50以及ResNet101殘差網絡作為解碼器的基礎，對Deeplab v3,金字塔場景解析網絡(pyramid scene parsing network,PSPNet)[20]和ShelfNet[21]3個以ResNet網絡為骨架的語義分割網絡的內部網絡結構進行對比分析，并通過同一高分遙感影像城市建成區數據進行對比實驗，比較得出提取城市建成區時最適用的語義分割網絡。

1 ResNet網絡原理分析

ResNet由He等提出[19]。該網絡在ILSVRC比賽中取得冠軍，分割效果非常理想。與早期的AlexNet和VGGNet[22]相比，能夠在保持更低參數量的同時得到更好的效果，并且解決了VGGNet及其他更早的卷積神經網絡中的諸多缺陷。AlexNet網絡和VGGNet網絡僅僅是由上而下的編碼結構，此類結構的層數通常會存在最大值，而超過最大值的網絡很容易出現過擬合的問題，從而導致精度的降低。ResNet最大的創新點在于網絡內部的殘差單元，其基本結構如圖1所示。殘差單元保證了ResNet網絡可以達到很深的層次。圖中的x為殘差學習模塊的輸入層，F(x)為殘差學習網絡的映射。

圖1 ResNet基本結構

傳統的AlexNet和VGGNet網絡最大的缺陷在于，當網絡變得越來越深的時候，訓練誤差曲線會趨于平緩，準確率不再上升，VGGNet達到19層后甚至會導致分類性能的下降。ResNet很好地解決了這類問題： 它不再用堆疊的卷積層直接擬合期望的特征映射，而是將原本的映射和輸入本身做差，擬合殘差映射。假設卷積層的映射為H(x)，那么殘差映射F(x)=H(x)-x。ResNet網絡將輸入的信息繞道直接傳到輸出端，這樣做的優勢在于淺層的信息成功進入了深層的卷積層，使得整個卷積網絡中融合了大量淺層信息，避免了梯度消失問題。ResNet網絡常用層數有34層、50層、101層以及152層。

由于ResNet網絡的優異表現，現如今很多語義分割網絡都基于ResNet網絡搭建，包括Deeplab v3網絡、PSPNet網絡以及ShelfNet網絡等。它們都將ResNet作為基本骨架，再加上自身的創新點，從而形成了各自網絡的優點。

2 語義分割網絡原理及對比分析

2.1 Deeplab v3網絡原理

Deeplab v3語義分割網絡中設計了不同采樣率的空洞卷積并將其進行融合。架構中的空洞空間金字塔池化(atrous spatial pyramid pooling，ASPP)模塊可以提取不同尺度上特征圖的卷積特征，從而使準確率得到進一步的改善。Deeplab v3語義分割網絡的原理示意圖如圖2所示。

圖2 Deeplab v3語義分割網絡結構[17]Fig.2 Deeplab v3 semantic segmentation network structure[17]

Deeplab v3網絡主要解決了2個傳統語義分割網絡的缺陷： 一是不能很好地顧及不同尺度物體的信息，很容易出現漏識別小物體或誤識別大物體的情形； 二是當網絡本身層次太深，卷積核本身又不大的情況下，很容易出現漏識別，以及識別結果分辨率過低的情況。

在連續下采樣的過程中，圖片越小，細節信息丟失越多，這對于語義分割是不利的。故在ResNet殘差網絡得到輸出后，Deeplab v3網絡在卷積的最后一層直接通過某一采樣率的空洞卷積保持輸出步幅(圖2中采樣率=2)。這樣既保證了圖片質量，也沒有增加參數。ASPP模塊的設計則更為高級。ASPP金字塔池化模塊通過3個不同采樣率的3*3空洞卷積和一個1*1卷積保證不同尺度物體的信息。同時，在采樣率接近特征圖的大小時，3*3的濾波器不能很好發揮捕捉全圖的作用，故Deeplab v3網絡在最后加入全局平均池化，輸出256個通道，經過卷積以后再和其他特征圖融合起來。該方法很好地提升了分類效果。

然而，Deeplab v3網絡同樣存在缺陷，即在編碼過程結束后直接解碼到原尺寸，這可能會導致輸出結果放大的效果不好，信息太少。其次，Deeplab v3網絡存在正則化調參的過程，該進程也是網絡中非常耗時的一個步驟。除此之外，過多的通道數也有可能導致訓練速度慢，網絡效率偏低等問題。

2.2 PSPNet網絡原理

PSPNet是針對相對復雜的場景解析問題而提出的網絡，解決的是計算機視覺的基本問題。傳統的卷積神經網絡沒有很好地運用場景中上下文的信息，并且一些不明顯的類別不易被察覺，于是網絡引入金字塔結構來解決這一問題。PSPNet的網絡結構示意圖如圖3所示。

圖3 PSPNet語義分割網絡結構[20]Fig.3 PSPNet semantic segmentation network structure[20]

PSPNet的網絡結構與Deeplab v3網絡相似，都是以ResNet殘差網絡為主體骨架，在ResNet網絡結束后加入各自的設計。網絡首先通過預訓練的殘差網絡提取出feature map特征圖，特征圖的大小是輸入的1/8，隨后特征圖經過金字塔池化模塊得到帶有整體上下文信息的小圖。小圖經過上采樣后恢復到特征圖的尺寸，并且與池化以前的特征圖相結合，經過最后一個卷積層后得到最終輸出結果。

該金字塔池化模塊融合了4種不同金字塔尺度的特征信息，這樣做有利于幫助網絡結合全局的上下文信息。以最上層為例，最上層為最粗糙的1*1全局池化，生成單個像素多通道輸出，后面幾層為不同尺度的池化(文中為2,3,6)。如果金字塔中設定了N個級別，在池化以后都要使用1*1卷積將通道數降為原先的1/N。卷積后各層次通過雙線性插值實現上采樣，并和原先的特征圖融合在一起。

PSPNet網絡同樣存在缺陷。與Deeplab v3網絡相同，過多的通道數和大量的卷積、池化運算耗費了大量的時間，影響到了網絡的運行效率。PSPNet網絡和Deeplab v3網絡類似，都將卷積神經網絡進行了擴張的操作。相比于傳統的卷積神經網絡，擴張后的網絡雖然參數沒有增加太多，但是空間尺寸大得多，因此導致了運行速度的降低。但是相比于Deeplab v3網絡，PSPNet網絡缺少了正則化的過程。

2.3 ShelfNet網絡原理

ShelfNet網絡是一個同樣以ResNet網絡為骨架的編碼-解碼網絡。它和普通的編碼-解碼網絡結構的不同點在于，該網絡中有很多種編碼-解碼的路徑，并且在每一個空間級別上都存在跳躍連接。這種多路徑的算法大大提高了網絡的精度。ShelfNet網絡的原理圖如圖4所示。圖中A-D代表了ResNet網絡中不同的層次； 列1-4代表了不同的分支。為了盡可能地減少通道數量從而提升訓練速度，網絡在第一列的運算中使用了1*1卷積層后接以batch normalization正則歸一以及ReLU激活函數，并且將通道的數量減少為ResNet網絡中的1/4。

圖4 ShelfNet語義分割網絡結構[21]Fig.4 ShelfNet semantic segmentation network structure[21]

除此之外，分支1和3為編碼分支； 分支2和4為解碼分支。編碼器分支中采用跨距為2的卷積； 在解碼器中采用跨距為2的轉置卷積。從圖中可見，該網絡最大的特點就是豐富了路徑的選擇。從輸入到輸出可以有很多種選擇的途徑，而不再拘泥于傳統編碼-解碼網絡中的單一途徑。圖4中2～4列的殘差塊均為共享權值。共享權值的優點在于結合了跳躍連接優點的同時，比標準殘差單元減少了很多參數。它能更有效地提取特征，并且可以加快模型的運行速度。ShelfNet網絡實現了在不同的層次上進行跳轉的功能，捕捉了更多的淺層和深層特征，也使得運行速度和分割精度有了顯著提升。

3 實驗及結果分析

3.1 實驗設置及實驗流程設計

本文在同一個Nvidia GeForce GTX 1080ti GPU顯卡上，使用Deeplab v3-50，Deeplab v3-101，PSPNet50，PSPNet101，ShelfNet50和ShelfNet101共6個網絡進行了對比實驗。實驗的深度學習模型基于PyTorch搭建，使用ResNet網絡作為基礎框架。采用公開的Coco-2014數據集和ImageNet數據集對網絡進行預訓練，實驗開始時統一將輸入圖片的大小設置為256像素×256像素。循環設置為80，因為數據集訓練到50個循環附近就會收斂。初始學習率設為0.001，學習率會隨著訓練的深入而下降。

實驗第一步是圖像裁剪。網絡需要有固定尺寸的輸入，故需要將原始圖片切割成相應尺寸，在本實驗中為長寬為256像素×256像素的圖像瓦片。除原始的影像外，還需生成與之一一對應的真實值(ground truth)標簽。

第二步是網絡訓練。遙感影像每一個像素點的像素值會作為輸入傳入網絡。經過卷積神經網絡的運算得到輸出，并且和相應的真實值標簽進行比較，由損失函數算出損失值。

第三步是返回調參。根據第二步得到的損失函數值的反饋，整個網絡框架會返回到卷積的部分調參，對網絡整體進行完善。

第四步是結果預測。訓練結束以后會得到已完成調參的實驗模型。根據模型和測試集進行網絡預測，得到最后的預測結果。

3.2 實驗數據來源

本實驗采用中國深圳市的正射遙感圖像作為實驗的數據源。選擇深圳作為數據集的原因在于該地區城市面積大，易于劃分訓練集區域，并且在Google影像地圖中存有不同時相的數據，便于進行深度學習的研究。數據為深圳市2018年和2019年Google影像18級高分辨率影像，手工劃分出訓練集建成區矢量文件作為與影像相對應的標簽圖。首先通過裁剪得到了9 577張256像素×256像素大小的影像，其中的80%作為訓練集，其余作為驗證集。驗證集的瓦片影像不會參與訓練，但是可以起到驗證網絡精度的作用。數據集中的部分影像樣本如圖5所示。

圖5-1 部分訓練數據集Fig.5-1 Partial training data set

圖5-2 部分訓練數據集Fig.5-2 Partial training data set

3.3 實驗結果與分析

實驗中，每個網絡均進行80個循環，其中每次循環顯示一次結果； 每5次保存一個模型，故最后可以得到16個訓練不同階段的模型。實驗每一次結果顯示均輸出6個不同參數，分別為： 訓練集平均損失、驗證集平均損失、驗證集平均準確率、驗證集平均重疊度(intersection over union, IOU)(mIOU)、背景IOU和前景IOU。為了防止偶然偏大或偏小的結果帶來的影響，本實驗再選取2個評價指標： 使用前20循環平均前景IOU表示網絡前期收斂速度； 使用51-80循環平均前景IOU來表示網絡穩定后的平均IOU水準。本實驗共6個網絡參與訓練，分別為Deeplab v3-50,Deeplab v3-101,PSPNet50,PSPNet101,ShelfNet50,ShelfNet101，其中數字表示ResNet的層數。為了比較網絡在前期的收斂速度，實驗列出第20個循環的6個參數，以及前20個循環平均前景IOU，結果如表1所示； 為了比較網絡在收斂后的準確度，實驗列出最終的6個參數，以及51-80循環平均前景IOU和訓練時長，結果如表2所示。隨機森林分類器和支持向量機分類器是遙感影像分類中較經典的機器學習分類器，但由于二者結構與語義分割網絡有明顯的不同，不能像語義分割模型一樣通過模型分類器直接預測得到等尺寸的預測結果圖片。所以，在訓練這2個分類器前需要對影像數據和標簽數據分別進行預處理編碼成特征向量形式以適應分類器結構。本實驗同樣針對隨機森林分類器和支持向量機分類器進行數據集的預測，但由于二者結構的局限性及特殊性，無法對隨機森林分類器和支持向量機分類器進行前期精度的比較以及訓練時長的統計。本文只進行最終驗證集平均準確率及驗證集mIOU的橫向比較，比較結果如表2所示。

表1 網絡前期訓練精度比較Tab.1 Network early stage training accuracy comparison (%)

表2 網絡最終訓練精度比較Tab.2 Network final training accuracy comparison

從表1中可以比較得出網絡初期的收斂效率。PSPNet50網絡在驗證集損失值和背景IOU上表現更好； 而ShelfNet50網絡在其余的5項指標中均為最優。IOU算法為輸出結果與真值的交集除以并集，故前景IOU最可以反映網絡的精度。從表1的數值中可以得出，ShelfNet50網絡的前期收斂速率是非常理想的，而Deeplab v3網絡均沒有達到很好的效果，這與網絡本身的結構有較大的關系； 其次，所有以ResNet50為骨架的網絡在訓練前期均比以ResNet101為骨架的網絡有更好的表現，這是因為ResNet101中的參數數量要遠多于ResNet50，故參數少的網絡前期收斂更快。

相比于表1，表2則可以體現網絡的性能優劣。隨機森林分類器和支持向量機分類器雖然在平均準確率方面與語義分割網絡相近，但是在mIOU上卻相差甚遠。在實驗訓練時長方面，ShelfNet網絡占據了絕對的優勢，并且ShelfNet網絡的運行速率不會隨著ResNet網絡層級的加深出現過大的變動。相比之下，Deeplab v3網絡和PSPNet的4個網絡在訓練上花費了過多時間。這說明了在講究網絡的運行速率時，ShelfNet網絡是絕對的最優選。

在準確率指標中，PSPNet101網絡擁有最高的精度，其次是ShelfNet50網絡和ShelfNet101網絡，而Deeplab v3網絡在最終的準確率一項同樣表現不佳。在驗證集前景IOU一項中，PSPNet101網絡能夠達到78.01%的精度，比ShelfNet50網絡高出1個百分點，這說明PSPNet101網絡在分割建成區的領域可達到非常優異的效果。值得注意的是，ShelfNet101網絡的各項指標低于ShelfNet50網絡，說明網絡可能在訓練時出現了過擬合。

綜上，PSPNet101網絡的分割精度最優，但是考慮到PSPNet101網絡的訓練時長過長，綜合各種指標可以得出： ShelfNet50網絡是在識別建成區中綜合效率最高的選擇。

由實驗結果回推至理論本身，ShelfNet網絡正是擁有了共享權值以及可以在不同空間層次上進行跳轉連接的功能，使其比標準殘差單元減少了很多參數。實驗證明，這些改變可以顯著加快模型的運行速度。除此之外，ShelfNet網絡最大的特點就是豐富了路徑的選擇。正是這一個特點使得網絡能夠學習到各種淺層和深層的信息，從而保證了網絡優秀的性能。

相比之下，PSPNet和Deeplab v3網絡在卷積運算時空間尺寸大得多，因此導致了運行速度的降低。而相比于PSPNet網絡，Deeplab v3網絡在編碼過程結束后直接解碼到原尺寸，從而減少了信息的讀取。實驗結果表明，Deeplab v3網絡的指標確實稍遜于其他2種網絡。這可能是因為網絡本身的缺陷，同樣可能是因為Deeplab v3網絡不適用于上下文聯系較強的識別任務，而專長于另一些種類的識別任務。

本文使用ShelfNet50網絡識別2019年深圳市18級遙感影像，結果如圖6所示。

圖6-1 ShelfNet50網絡測試集分割結果Fig.6-1 ShelfNet50 network test set segmentation results

圖6-2 ShelfNet50網絡測試集分割結果Fig.6-2 ShelfNet50 network test set segmentation results

從圖6中可見，其中紅色為建成區，除去邊界上的細微識別誤差，ShelfNet50網絡可以很好地識別深圳市2019年遙感影像中各種不同類別的建成區。預測結果同樣表明，ShelfNet50網絡有較好的上下文推理能力。城市小區的綠化和鄉村大片的植被地物特征完全相同，而ShelfNet50網絡能夠從周圍的地物特征推斷該地區的具體類別，這也體現出了空洞卷積的重要性。實驗表明，ShelfNet50網絡可以適用于遙感影像城市建成區的識別，并且擁有很好的識別效果。

然而，ShelfNet50網絡在識別時同樣存在誤差，如圖7所示。

圖7 ShelfNet50網絡測試集分割誤差Fig.7 ShelfNet50 network test set segmentation error

圖7中反映出3個ShelfNet50網絡的問題。首先，當原始影像有云時，網絡不能判斷云下的地物，這也是所有語義分割網絡共同的缺陷； 其次，對于城區內一些大型非建筑物(公園綠地、大型立交橋)，ShelfNet50網絡還是欠缺識別此類地物的能力，而這也與空洞卷積核的大小有關； 最后，小部分建筑物存在漏識別的現象，這也說明了訓練集中缺少該類標簽，此類問題可以通過擴充數據集的方法解決。

4 結論

本文基于多種深度學習語義分割方法，針對高分遙感影像城市建成區提取問題做了深入的比較研究。本文首先從網絡的基本原理出發，深入分析并比較了Deeplab v3網絡、PSPNet網絡以及ShelfNet網絡這3種均以ResNet殘差網絡為骨架的語義分割網絡的結構差別，并通過網絡結構分析了每一個網絡存在的優缺點。其次，本文通過控制變量法，使用同一套實驗裝置以及同一個數據集對6種語義分割網絡進行了測試及結果分析。本文通過實驗得出的結果返回原理分析部分，驗證之前分析的合理性。最后，實驗針對綜合表現最佳的ShelfNet50網絡進行結果預測，印證語義分割網絡在高分遙感影像城市建成區分割中的可行性。綜合以上，本文得到以下結論：

1)實驗的初始收斂階段，ResNet50殘差網絡的表現普遍好于ResNet101網絡，其中ShelfNet50網絡的收斂效果最為優異。

2)在網絡最終分割效果的評定中，PSPNet的各項指標均處于6個語義分割網絡的第1名； 驗證集前景IOU比ShelfNet50網絡高出1個百分點。

3)運行時長方面，ShelfNet網絡遠遠短于另外2類網絡，且ShelfNet網絡基本不受網絡層數的影響。綜合網絡精度以及運行速度2方面因素綜合考慮，ShelfNet50網絡是解決高分遙感影像城市建成區識別的最優網絡。

4)ShelfNet50網絡在最終的預測過程中表現優異，具有良好的識別效果，說明ShelfNet50網絡可以完美解決城市建成區的識別問題。