一種輕量級的DeepLabv3+遙感影像建筑物提取方法

王華俊， 葛小三

(河南理工大學測繪與國土信息工程學院，焦作 454003)

0 引言

遙感技術的發展使遙感影像空間分辨率提高，地物細節信息更豐富、幾何結構和紋理特征等更明顯[1],這導致了噪聲相應增加。如何從高空間分辨率遙感影像上準確提取建筑物成為研究的熱點。

隨著深度學習的發展，建筑物提取成為遙感數據智能化應用處理的研究重點。眾多學者提出了各種基于深度學習的建筑物提取方法，包括基于U-Net網絡的方法[2]、結合模糊度和形態學指數的深度學習建筑物提取方法[3]，基于特征增強和ELU神經網絡的建筑物提取方法[4]、結合深度殘差網絡結構和金字塔式層級連接的建筑物提取方法[5]、基于編解碼結構的卷積神經網絡的方法[6]、基于R-MCN模型的方法[7]等等。但這些方法普遍存在網絡參數量大、訓練時間長、算法速度難以得到提升的問題。

近年來不斷涌現出大量深度學習模型，主要集中在以下幾方面： ①數據處理速度提升與訓練參數量減少的模型，如LeNet[8]，AlexNet[9]，VGGNet[10]和ResNet[11]等； ②能減少模型訓練參數量的輕量級網絡SqueezeNet[12]，MnasNet[13]和MobileNet[14]等； ③能提高準確率與能進行多尺度特征提取的DeepLab系列模型等。在語義分割中，DeepLab系列是常用模型之一，主要用于逐像素分類。Chen等[15]提出DeepLabv1，結合深度卷積神經網絡(deep convolution neural network, DCNN)和概率圖模型，提出空洞卷積(atrous convolution)，算法速度和準確率較高； Chen等[16]提出DeepLabv2，使用空洞空間金字塔池化(atrous spatial pyramid pooling, ASPP)擴大感受野、降低計算量； Chen等[17]提出DeepLabv3+，引入編碼-解碼(Encoder-Decoder)形式進行多尺度信息融合，使物體邊界分割效果更好； 王俊強等[18]提出DeepLabv3+語義分割與全連接條件隨機場相結合的提取方法，能從高分辨率遙感影像中獲得典型要素邊界信息； 劉文祥等[19]在網絡中引入雙注意力機制模塊(dual attention mechanism module, DAMM)，提出將DAMM結構與ASPP層串聯和并聯2種不同連接方式的網絡模型，能有效改善DeepLabv3+的不足。但是利用DeepLabv3+提取遙感影像建筑物仍存在邊界信息較粗糙、擬合速度慢、小尺度目標分割模糊和大尺度目標分割有孔洞等問題。

本文針對DeepLabv3+提取建筑物存在邊界信息粗糙和訓練量大等問題，提出一種輕量級DeepLabv3+模型的遙感影像建筑物提取方法，使用MobileNetv2[20]替換DeepLabv3+的主干網絡，并將ASPP模塊中空洞卷積的空洞率組合改為4，8，12，16，以期提高DeepLabv3+的訓練速度和目標分割精確度，使模型能達到更好的建筑物提取效果。

1 方法與原理

本文提出一種輕量級DeepLabv3+模型的遙感建筑物提取方法： 使用輕量級網絡MobileNetv2替換原模型的主干網絡Xception； 在此基礎上，將ASPP中空洞卷積的空洞率進行優化組合，提出一種新的ASPP模塊結構，通過調整模型中的學習率和卷積核等參數，使模型達到更優的建筑物提取效果。

1.1 DeepLabv3+模型

DeepLabv3+引入Encoder-Decoder結構，主要分為編碼(Encoder)部分和解碼(Decoder)部分。在此結構中，引入可任意控制Encoder提取特征的分辨率，主干網絡將原始Xception[21]進行改進，并將深度可分離卷積應用到ASPP和Decoder模塊中。

1)Encoder部分。在主干DCNN里使用串行空洞卷積，在圖像經過主干DCNN后，得到的結果分別傳入Decoder和并行的空洞卷積用不同空洞率(rate)的空洞卷積進行特征提取，提取后合并，用1×1卷積壓縮特征，進入Decoder部分，并使用雙線性插值方法進行4倍上采樣。

2)Decoder部分。一部分是DCNN經過4倍上采樣輸出的特征，另一部分是DCNN輸出以后，經過并行空洞卷積后的結果。為防止Encoder得到的高級特征被弱化，用1×1卷積對低級特征降維，2個特征融合后，用3×3卷積進一步融合特征，使用雙線性插值方法進行4倍上采樣，得到與原始圖像相同大小的分割預測結果。

DeepLabv3+在語義分割任務中將Xception模型進行改進，與改進之前的Xception相比，DeepLabv3+的輸入流保持不變，但中間流更多； 所有的最大池化被深度可分離卷積(depthwise separable convolution)替代； 在每個3×3深度卷積之后，增加批標準化(batch norm, BN)和整流線性單元(rectified linear units, ReLU)。Xception結構如圖1所示。

圖1 DeepLabv3+中的Xception網絡結構

1.2 改進的DeepLabv3+網絡

為有效提取遙感影像建筑物在不同尺度下的語義信息，本文使用Encoder-Decoder結構，并將深度可分離卷積應用在ASPP和Decoder模塊中減少運算量，提高Encoder-Decoder網絡對遙感影像建筑物提取的運行速率和健壯性。為增大感受野而不損失信息，使用空洞卷積增加每個卷積的輸出信息量，并通過空洞卷積平衡精度和耗時。為減少訓練參數量和訓練時間，將DeepLabv3+的主干網絡Xception替換為輕量級網絡MobileNetv2； 為增強網絡對不同大小目標的分割能力，將ASPP模塊的空洞卷積中的6，12，18組合的空洞率改為4，8，12，16的組合。經過主干網絡后的處理結果傳到Decoder層，Decoder層的主要結構不發生改變。在上述工作完成后，對整個Encoder層進行優化，從而使替換后的網絡能準確從遙感影像中提取出更高精度的建筑物。改進DeepLabv3+模型結構如圖2所示(其中包含與原模型對比)。

圖2 本文方法網絡結構

1.2.1 深度可分離卷積

本文主干網絡核心內容為深度可分離卷積。在含有大量噪聲和信息的遙感影像處理中，深度可分離卷積與常規卷積操作相比，有參數量少、訓練時間短等優點，在精度保持不變的情況下，能更好地在遙感影像中快速提取建筑物的特征信息。

卷積核大小代表感受野大小，卷積核越大感受野越大，若卷積核過大，會使計算量增加，對含有大量信息的遙感影像進行處理時，隨著網絡深度的增加，計算能力和訓練速度會逐漸降低，所以在本文網絡中，使用1×1卷積和3×3卷積進行卷積操作。標準卷積是將過濾和輸入合并為一組新的輸出，而深度可分離卷積是由深度卷積和逐點卷積2部分相結合，一個用于過濾，另一個用于合并，以此用來提取特征。深度卷積是一個卷積核對應一個輸入通道，獨立對每個輸入通道做空間卷積； 逐點卷積用于結合深度卷積的輸出，即每個通道單獨做卷積，通道數不變，然后將第一步的卷積結果用1×1卷積跨通道進行組合。卷積操作如圖3所示。

(a) 標準卷積b) 深度可分離卷積

在本文深度可分離卷積中，首先采用深度卷積對不同輸入通道分別進行卷積，然后采用逐點卷積將上面的輸出進行結合，整體效果和一個標準卷積相同，但是會大大減少計算量和模型參數量，更適合提取建筑物特征。

1.2.2 主干網絡

DeepLabv3+的主干網絡Xception對種類多的提取任務有較好效果，但其網絡復雜度高、參數量大，而遙感影像復雜、信息量大，隨著訓練的進行，參數量會逐漸加大，故Xception不適合提取遙感影像建筑物信息，因此使用輕量級網絡MobileNetv2將DeepLabv3+的主干網絡Xception替換，其網絡體積小、參數量少，可以更快速、精準地從大量遙感影像信息中提取建筑物。

MobileNetv2網絡(圖4和表1)有更小的體積、更少的計算量、更高的準確率、更快的速度和多種應用場景等優點，在遙感影像建筑物提取中具有極大優勢。MobileNetv2引入線性瓶頸結構(linear bottlenecks)和反向殘差結構(inverted residuals)，構成線性瓶頸倒殘差結構，使遙感影像建筑物提取的參數量和計算量減少、訓練速度和提取精度更高。在此結構中，反向殘差結構將輸入的低維通過1×1卷積進行升維，使用輕量級深度卷積進行過濾并提取特征圖，并利用1×1卷積進行降維。為避免降維后ReLU損失建筑物提取精度和破壞建筑物特征，在深度卷積處理后使用線性瓶頸結構替換ReLU進行降維，并使用限制最大輸出值為6的ReLU6替換普通ReLU。MobileNetv2中添加擴張倍數控制網絡大小，雖然使網絡結構更深，但計算量更少，能節省訓練時間和資源，對遙感影像中建筑物提取有很大優勢。

圖4 MobileNetv2網絡結構

表1 MobileNetv2網絡結構及參數

1.2.3 空洞空間金字塔池化

ASPP是由空洞卷積與空間金字塔池化(spatial pyramid pooling, SPP)[22]融合形成，能有效提取遙感影像中多尺度語義特征，從而在遙感影像建筑物提取中被廣泛使用。

DeepLabv3+中ASPP模塊空洞卷積的空洞率組合為6，12，18，隨著主干網絡對特征提取的進行，特征圖分辨率會逐漸減小，6，12，18的組合不能更有效地提取多分辨率特征圖特征，沒有設置較小的空洞率，導致分割小目標的能力欠缺，從而使網絡對不同大小分割目標的分割能力較弱。為更有效地提取多分辨率特征圖特征，提高不同大小分割目標的分割能力，本文將空洞卷積的空洞率組合改為4，8，12，16，使較大的分割目標能被較大空洞率的卷積核分割，相反，較小的目標可以被較小空洞率的卷積核分割，較小的空洞率可使特征提取更有效。經過主干網絡MobileNetv2得到的特征圖輸入到本文ASPP模塊中，經過1×1卷積操作、不同空洞率3×3卷積操作和最后的池化操作后，不同大小的分割目標依次被卷積提取出特征圖，將輸出的6張特征圖進行融合，得到由本文ASPP產生的特征圖。本文改進的ASPP結構如圖5所示。

圖5 本文的ASPP結構

2 實驗與分析

2.1 實驗數據

實驗所用訓練數據集為武漢大學季順平團隊制作的WHU建筑數據集[23]和Volodymyr制作的Massachusetts建筑數據集[24]。

WHU數據集主要包含航空圖像、覆蓋1 000 m2衛星圖像、柵格標簽和矢量地圖，航空數據集由22萬多個獨立建筑物組成，這些建筑物由空間分辨率為0.075 m、覆蓋范圍為450 m2的新西蘭克賴斯特徹奇航空圖像中提取，此地區包含多種地物種類，各種不同顏色、大小和用途的建筑類型。數據集將大部分航空圖像(包含187 000棟建筑物)降至0.3 m空間分辨率，并將其無縫裁剪為512像素×512像素的8 188個無重疊圖塊，同時將數據集分為訓練集、驗證集和測試集，其中用于訓練的圖像有4 736張、用于驗證的圖像有1 036張、用于測試的圖像有2 416張。

Massachusetts建筑物數據集由波士頓地區的151張航拍圖像組成，每幅圖像為1 500像素×1 500像素、空間分辨率為1 m、單張覆蓋面積為2.25 km2，整個數據集覆蓋約340 km2。數據集預先劃分為含有137張圖像的訓練集、10張圖像的驗證集和4張圖像的測試集。為使Massachusetts數據集與WHU數據集中的圖像大小保持相同，將Massachusetts數據集的每張圖像分別裁剪為9張512像素×512像素大小的圖像，裁剪后的圖像數量為1 359張，并將其進行旋轉，旋轉后的圖像數量為2 718張。

WHU與Massachusetts數據集實例圖像如圖6所示。WHU數據集影像的空間分辨率高于Massachusetts數據集影像的空間分辨率，并且Massachusetts數據集中的建筑物密度高，建筑物大小相對更小，更能體現出深度學習網絡提取小型建筑物的能力。

(a) WHU數據集示例1(b) WHU數據集示例2(c) Massachusetts數據集示例1(d) Massachusetts數據集示例2

2.2 實驗設置

實驗所用機器主要軟硬件配置見表2。

實驗主要設置： 定義輸入圖片的高和寬及需要分割的種類數量，讀取輸入的圖像和標簽，進行歸一化和大小調整，使用遷移學習思想獲取主干特征提取網絡的權重，并將數據集圖像隨機打亂，送入網絡進行訓練。初始學習率設置為0.000 3； 每次送入網絡訓練的圖像批次為4，迭代次數為100次，每迭代2次保存一次訓練細節； 使用交叉熵作為損失函數； 主干網絡使用MobileNetv2網絡； 優化器選擇Adam優化器，該優化器能動態調整每個參數的學習率； 激活函數使用ReLU激活函數； 膨脹系數α設為1。評價指標為交并比(intersection over union, IoU)和F1分數，交叉熵損失函數、IoU和F1分數的公式分別為：

，

(1)

，

(2)

，

(3)

式中：yi為樣本i的標簽，建筑物為1，背景為0；pi為樣本i預測為建筑物的概率；N為樣本數量；TP為正確提取建筑物的樣本數量；FP為把背景像素錯誤提取為建筑物像素的樣本數量；FN為把建筑物像素錯誤提取為背景像素的樣本數量。

2.3 結果與分析

DeepLabv3+中ASPP模塊空洞卷積的空洞率為6,12,18，本文ASPP模塊的空洞率組合為4，8，12，16。在本文模型基礎上，依次使用6，12，18和4，8，12，16的空洞率組合進行實驗，驗證ASPP模塊的改進在網絡模型中的效果。在使用原空洞率組合的情況下，測試結果的IoU值為80.54%，使用改進的ASPP空洞率組合的情況下，測試結果的IoU值為82.37%，比原組合提高1.83百分點，所以使用4，8，12，16的空洞率組合對遙感影像建筑物有更優的提取效果。

表3為不同模型分別在2個數據集中的評價指標值，其評價指標主要為IoU與F1分數。較其他經典模型相比，本文方法在2個數據集中實驗結果的交并比均較高，遙感影像建筑物提取精度得到進一步提高。相比于DeepLabv3+模型，本文方法在WHU數據集中的IoU提升2.71百分點、F1分數提高2.14百分點，在Massachusetts數據集中的IoU提升2.04百分點、F1分數提高2.32百分點，U-Net與SegNet的評價指標值較低?？傮w上，本文提出的方法與其他模型相比均有所提升，對建筑物提取具有較高的有效性。由于本文模型使用的是輕量級網絡，與DeepLabv3+模型的主干網絡Xception相比，本文方法的主干網絡參數量少，所以訓練時間更短，能有效提升模型訓練速度。

表3 建筑物提取評價結果

建筑物提取結果如表4所示，在預測結果中隨機選取圖像作為本次實驗結果的對比分析。在WHU數據集中U-Net和SegNet的提取結果相似，整體效果不佳，對小型建筑物的提取有時會失效或提取面積極小，在Massachusetts數據集中也可看出其對小型建筑物有提取效果不佳、提取面積極小的情況，并出現多處建筑漏提現象。較其他經典模型相比，DeepLabv3+模型的提取效果較好，對大型建筑物邊界的提取精度更高，與本文方法相比，對小型建筑物的提取效果不佳、提取面積小、數量少。由于本文對ASPP中的空洞卷積設置較小的空洞率，因此本文方法對小型建筑物的提取面積有所增大，比DeepLabv3+模型提取的建筑物數量更多，改善了DeepLabv3+漏提和少提現象，邊界信息進一步提高，優于DeepLabv3+模型提取效果； 對建筑物錯誤提取率較低，提取出的建筑物完整度較高，總體上提取效果較好。但是對小型建筑物的提取精度仍然有待提高，小型建筑物的邊界信息提取不夠完善，對具有復雜邊界的建筑物提取時，其邊界細節信息提取不夠精細，對大型建筑物提取時偶爾會出現一些孔洞或提取模糊現象。

表4 WHU和Massachusetts數據集建筑物提取結果

3 結論和展望

針對DeepLabv3+網絡參數量大的問題，本文對DeepLabv3+中的主干網絡進行替換，利用MobileNetv2網絡輕便的特點，減少網絡參數量、優化網絡結構，實驗結果也證明了本文方法的有效性，訓練速度和精度得到有效提升； 對網絡中ASPP模塊進行調整，將原ASPP模塊中6，12，18的空洞率調整為4，8，12，16的組合，經過對ASPP模塊的實驗結果可得出，本文改進空洞率的ASPP模塊對建筑物的提取效果優于原空洞率組合的提取效果。本文方法總體上對遙感影像建筑物的提取精度較高、參數量少、訓練成本更低，能更有效提取遙感影像建筑物。由實驗結果可看出，本文網絡對建筑物提取仍然存在不足，在后續研究中，繼續對ASPP中的空洞率組合和主干網絡參數進行調整實驗，使其對小型建筑物能夠達到更好的提取效果； 根據邊界損失等思想進一步思考，提出能夠提高邊界提取精度的新方法； 考慮在本文模型基礎上加入其他結構和機制，以此加強網絡的健壯性和提取效果、能更有效地改善提取模糊和孔洞現象。