基于不同骨架的語義分割網(wǎng)絡(luò)的建筑物提取

收稿日期：2023-07-14

DOI：10.19850/j.cnki.2096-4706.2024.03.033

摘" 要：采用高分辨率遙感影像進行建筑物提取，會出現(xiàn)提取的建筑物邊緣線條缺失和錯提問題，采用骨架代替編碼器卷積層，可以在一定程度上解決這些問題。文章采用三種不同的骨架對DeeplabV3+和UNet深度學(xué)習(xí)網(wǎng)絡(luò)進行改進。用WHU和Inria數(shù)據(jù)集進行驗證，結(jié)果表明：引入三種骨架后的改進網(wǎng)絡(luò)相對于無權(quán)重DeeplabV3+，在WHU數(shù)據(jù)集上精度分別提高了0.49%、1.52%和0.87%；UNet網(wǎng)絡(luò)精度分別提高了1.15%、3.24%和3.13%。在Inria數(shù)據(jù)上可以得到同樣的結(jié)論，在一定程度上解決了邊線缺失和漏提問題。

關(guān)鍵詞：高分辨率遙感影像；建筑物提?。籑obilenetV2；InceptionV3；深度學(xué)習(xí)

中圖分類號：TP18；TP751" 文獻標(biāo)識碼：A" 文章編號：2096-4706（2024）03-0154-06

Building Extraction Based on Semantic Segmentation Networks with Different Skeletons

WANG Zheng， LIU Chao

（School of Spatial Information and Surveying and Mapping Engineering， Anhui University of Science and Technology，

Huainan" 232001， China）

Abstract： Using high-resolution remote sensing images for building extraction may result in missing and incorrect extraction of building edge lines. Replacing encoder convolutional layers with skeletons can solve these problems to some extent. This paper uses three different skeletons to improve DeeplabV3+ and UNet Deep Learning networks. Using the WHU and Inria datasets for verification， the results show that the improved network with the introduction of three skeletons improves accuracy by 0.49%， 1.52%， and 0.87% compared to DeeplabV3+ on the WHU dataset， respectively. The accuracy of UNet network improves by 1.15%， 3.24%， and 3.13%， respectively. The same conclusion can be drawn on the Inria data， which solves the problems of missing and miss extraction of edge lines to some extent.

Keywords： high-resolution remote sensing image; building extraction; MobilenetV2; InceptionV3; Deep Learning

0" 引" 言

建筑物信息是城市數(shù)字化、建筑物變化檢測、違法建筑檢測、城市監(jiān)測防范的重要內(nèi)容。隨著遙感技術(shù)的快速崛起，遙感影像空間分辨率的提高，地物信息更加明顯，幾何形狀輪廓、紋理信息分辨度進一步提高[1，2]，使對建筑物進行更加有效的提取成為可能。

與傳統(tǒng)人工目視方法相比，機器學(xué)習(xí)的方法在效率上得到了提升。傳統(tǒng)的機器學(xué)習(xí)方法主要分為以下三類：一是基于不同尺度的多重分類法和陰影輔助法[3]；二是基于邊界特點變化來確定邊緣的邊緣點檢測算法[4]；三是基于建筑物形態(tài)進行提取[5，6]的方法，即通過像素與目標(biāo)對象的雙向映射，從而構(gòu)建形態(tài)學(xué)圖像進行下一步建筑物的提取。相較于傳統(tǒng)機器學(xué)習(xí)，基于深度學(xué)習(xí)的方法可以自主地學(xué)習(xí)所需特征的信息，同時，隨著計算機視覺技術(shù)的發(fā)展，語義分割在計算機視覺方面的表現(xiàn)越來越佳，在圖像信息提取中得到了很好的應(yīng)用[7]，使得更多更深層次的網(wǎng)絡(luò)如FCN [8]、SegNet [9]、UNet [10]、VGG [11]等在建筑物信息識別與提取方面得到應(yīng)用。

針對在遙感影像建筑物信息提取中出現(xiàn)的建筑物邊緣線條缺失和錯提問題，Mnih等[12]將深度學(xué)習(xí)與建筑物處理技術(shù)條件隨機場相結(jié)合，不僅有效提高了提取精度，而且對建筑物的邊緣信息缺失問題有了一定程度的改善。劉文濤等[13]通過對FCN網(wǎng)絡(luò)進行微調(diào)，建筑物屋頂提取精度達到92.39%。劉浩等[14]通過對UNet網(wǎng)絡(luò)增添激活函數(shù)層，使建筑物提取精度達到94.72%。但由于該結(jié)構(gòu)比較基礎(chǔ)，只是一種簡單的端到端結(jié)構(gòu)，對于建筑物復(fù)雜的情況難以提取，存在漏檢、誤提現(xiàn)象。朱淑鑫等[15]提出在ResNet中加入注意力機制來提高對建筑物特征像素值的正確分類，使網(wǎng)絡(luò)擬合優(yōu)化效果更佳。

本文將對高分辨率影像進行信息提取，針對提取建筑物的邊緣線條缺失和漏提現(xiàn)象，分別用UNet和DeeplabV3+兩種網(wǎng)絡(luò)進行組合提取建筑物，引入三種不同骨架的深度學(xué)習(xí)特征模塊MobilenetV2、InceptionV3和Resnet50來改進UNet和DeeplabV3+這兩種典型網(wǎng)絡(luò)，并進行實驗比較分析，以期為相關(guān)建筑物提取研究提供參考。

1" 研究方法

1.1" 基本網(wǎng)絡(luò)

本文首先對DeeplabV3+和UNet網(wǎng)絡(luò)模型的編碼器進行骨架替代，然后分別用改進后的網(wǎng)絡(luò)模型進行建筑物提取。對于實驗的原理以DeeplabV3+網(wǎng)絡(luò)為例進行簡單介紹，其網(wǎng)絡(luò)結(jié)構(gòu)及使用的InceptionV3骨干網(wǎng)絡(luò)如圖1所示。

1.2" 三種骨架結(jié)構(gòu)

MobilenetV2是一種輕量級網(wǎng)絡(luò)，其通過倒殘差網(wǎng)絡(luò)來調(diào)解網(wǎng)絡(luò)的大小，與之前的殘差網(wǎng)絡(luò)先用1×1卷積降維然后再升維不同，在MobilenetV2中是先升維再降維?？偟膩碚f，殘差網(wǎng)絡(luò)是先卷積，再上采樣。MobilenetV2采用線性瓶頸結(jié)構(gòu)和反向殘差結(jié)構(gòu)，以此來快速訓(xùn)練達到收斂，且計算的參數(shù)量減少。在此結(jié)構(gòu)中，采用低維1×1卷積進行升維，并利用1×1卷積進行降維。同時為了降低損失在提取建筑物信息過程中的特征權(quán)重，在深度卷積過程中利用ReLU6進行降維。如圖2是簡單的模型結(jié)構(gòu)圖。

圖2" MobilenetV2網(wǎng)絡(luò)示意圖

在Inception網(wǎng)絡(luò)模型架構(gòu)中，常用3×3和5×5卷積網(wǎng)絡(luò)進行提取特征，本文引入1×1卷積來細化特征提取，用來限制輸入信道的數(shù)量，除此，可以進一步通過信道數(shù)的減少來減低訓(xùn)練成本。選取InceptionV3網(wǎng)絡(luò)架構(gòu)進行骨架替換，三個子模塊分別如圖3（a）（b）（c）所示。

Resnet50骨架模型是一種殘差結(jié)構(gòu)，可以加速卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程，主要原理是在網(wǎng)絡(luò)上下結(jié)構(gòu)中加入直接連接結(jié)構(gòu)。之前的網(wǎng)絡(luò)結(jié)構(gòu)是進行每一層的卷積權(quán)重處理，而加入殘差結(jié)構(gòu)可以將前面的信息直接傳入后面的連接層中，殘差結(jié)構(gòu)如圖4所示。

圖4" 殘差結(jié)構(gòu)

1.3" 骨架改進后的網(wǎng)絡(luò)介紹

本文以DeeplabV3+模型與InceptionV3骨架為例來介紹網(wǎng)絡(luò)整合過程，DeeplabV3+主要采用編碼與解碼結(jié)構(gòu)，編碼器首先采用一種Inception模塊分別分3個步驟進行特征信息提取，之后進行空洞卷積操作。

空洞卷積模塊由不同空洞卷積與池化結(jié)構(gòu)組成，從多維度對建筑物進行特征提取，能夠有效地改善提取效果?？斩淳矸e由不同空洞率6、12、18與1×1卷積組合而成，可以從不同尺度進行提取，如從1×1卷積可以較好地提取較小建筑尺寸，不同空洞可以擴大感受野，然后將各個尺寸提取的特征進行連接處理，再通過4倍上采樣處理，進行解碼器實驗，將解碼器、編碼器二者結(jié)果結(jié)合在一起，進行融合處理后與之前在InceptionV3骨架下經(jīng)過1×1卷積處理的信息進行特征融合，最后經(jīng)過3×3卷積與全連接層處理得到所需的建筑物特征信息。

1.4" 評價指標(biāo)

一般使用交并比、F1得分率、精確度OA來進行結(jié)果評價。計算式為：

（1）

（2）

（3）

式中：mIoU表示平均交并比，n表示類別，n+1表示加上了背景類，P表示總體精確，TP表示正確判斷為建筑物實際也為建筑物像素；FP是把背景像素識別為建筑物像素；FN表示為錯把建筑物像素判斷為背景像素；FP代表的是預(yù)測為建筑物而實際為背景的像素。

2" 實驗結(jié)果與分析

2.1" 實驗數(shù)據(jù)

WHU數(shù)據(jù)集：該數(shù)據(jù)集擁有22萬多個獨立建筑物組成，這些建筑物從空間分辨率為0.075 m、覆蓋范圍為450 m2的新西蘭克賴斯特徹奇航空圖像中提取，此地區(qū)地物種類豐富。數(shù)據(jù)集將大部分航空圖像降至0.3 m空間分辨率，并將其按照一定重疊方式裁剪成為512像素× 512像素大小的8 188個無重疊圖塊，其中用于訓(xùn)練的圖像有6 110張、驗證的圖像有1 036張、測試的圖像有1 036張。

Inria數(shù)據(jù)集：該數(shù)據(jù)集圖像涵蓋了不同的城市住區(qū)，其中包括美國的奧斯汀等5個不同風(fēng)格的地區(qū)。本文通過裁剪將5 000×5 000的原始圖像轉(zhuǎn)化為512×512大小的圖片，選取8 610張圖片進行訓(xùn)練，2 109張用于測試。

2.2" 實驗條件設(shè)置

本文所用的實驗框架為PyTorch；GPU內(nèi)存：12 GB；顯卡：NVIDIA GeForce GTX 2060；主機內(nèi)存：64 GB；操作系統(tǒng)：Windows 10，64位；所用的語言是Python 3.7。超參數(shù)設(shè)置如下：設(shè)定一個批次大小8，迭代次數(shù)為100輪次，使用SGD優(yōu)化器來降低損失，momentum設(shè)置為0.9，權(quán)重開始設(shè)置為0，損失函數(shù)設(shè)置為dice系數(shù)與二分類交叉熵損失函數(shù)相結(jié)合，激活函數(shù)為ReLU，學(xué)習(xí)率開始為0.001，在訓(xùn)練過程中通過不斷調(diào)整學(xué)習(xí)率來抑制過程中的大幅度震蕩，以優(yōu)化模型訓(xùn)練。

2.3" 實驗結(jié)果與分析

2.3.1" WHU航空影像上訓(xùn)練模型

利用WHU航空數(shù)據(jù)集進行不同骨架訓(xùn)練，對比MobilenetV2、InceptionV3、Resnet50三種網(wǎng)絡(luò)結(jié)構(gòu)，再對UNet與DeeplabV3+進行模型訓(xùn)練。圖5和圖6是DeeplabV3+與UNet對比實驗結(jié)果圖（M代表MobilenetV2，I代表InceptionV3，R代表Resnet50）。表1是不同骨架模型精度在WHU測試數(shù)據(jù)的分析。

從圖5、圖6結(jié)果圖可以看出，總體上各個網(wǎng)絡(luò)架構(gòu)大多可以識別出建筑物所在位置；不同骨架對于同一網(wǎng)絡(luò)的提取效果不同。從DeeplabV3+網(wǎng)絡(luò)提取的效果圖來看，三種骨架與DeeplabV3+網(wǎng)絡(luò)結(jié)合的效果圖比單個無權(quán)重DeeplabV3+網(wǎng)絡(luò)的提取效果好，其中InceptionV3骨架網(wǎng)絡(luò)提取的精度最高，提取的完整度最高，其次是Resnet50骨架網(wǎng)絡(luò)，最后是MobilenetV2骨架網(wǎng)絡(luò)。從圖5第一行紅色矩形框中的結(jié)果看，MobilenetV2骨架網(wǎng)絡(luò)提取存在斷續(xù)的現(xiàn)象，Resnet50骨架網(wǎng)絡(luò)提取結(jié)果存在多提取、誤提取現(xiàn)象。對于一些中小型建筑物來說，InceptionV3與DeeplabV3+結(jié)合可以較好地從影像中提取建筑物的信息，從圖5第二行紅色框中可以明顯看出，從精細化指標(biāo)來看，InceptionV3骨架的精度最高，達到96.38%，相對于其他兩種骨架最高，交并比中InceptionV3架構(gòu)最高達到90.81%，F(xiàn)1達到92.85%。

從UNet網(wǎng)絡(luò)提取的效果來看，通過與標(biāo)簽建筑物信息對比可以看出提取的建筑物的面積較完整，規(guī)則化的程度更高。其中InceptionV3骨架網(wǎng)絡(luò)與UNet網(wǎng)絡(luò)結(jié)合的效果最好。對于漏提的建筑物，InceptionV3可以在一定程度上減少錯提與誤提，從圖6第二行的提取效果來看，InceptionV3對于錯提建筑物改善并不太明顯，但較其他兩種骨架網(wǎng)絡(luò)較好。對比在DeeplabV3+模型下的提取結(jié)果，InceptionV3+UNet提取的邊界、范圍、完整性都比InceptionV3與DeeplabV3+網(wǎng)絡(luò)提取的效果要佳，精度提升了1.18%，mIoU提升1.05%，F(xiàn)1提高了2.64%，對于Resnet50骨架而言，網(wǎng)絡(luò)架構(gòu)最深，效果也是較好，原因可能是隨著深度的增加會有一定的取舍。

表1" 不同骨架模型精度在WHU測試數(shù)據(jù)分析表

Network P mIoU F1

MobilenetV2+DeeplabV3+ 0.953 5 0.892 5 0.911 6

InceptionV3+DeeplabV3+ 0.963 8 0.908 1 0.928 5

Resnet50+DeeplabV3+ 0.957 3 0.891 6 0.924 3

DeeplabV3+ 0.948 6 0.842 4 0.908 6

MobilenetV2+UNet 0.964 7 0.898 4 0.938 5

Inceptionv+UNet 0.975 6 0.918 6 0.955 4

Resnet50+UNet 0.974 5 0.914 8 0.951 0

UNet 0.953 2 0.848 6 0.913 6

2.3.2" 在Inria航空影像上驗證結(jié)果

相對于WHU數(shù)據(jù)集，Inria數(shù)據(jù)集影像的建筑物環(huán)境較復(fù)雜，主要存在的提取難題是建筑物受陰影的遮擋，一些不規(guī)則建筑物難以識別，還有一些密集型建筑物很難精準識別。

從DeeplabV3+提取的效果看，InceptionV3與DeeplabV3+提取的效果最佳，Resnet50骨架網(wǎng)絡(luò)效果也相當(dāng)，MobilenetV2骨架網(wǎng)絡(luò)最差。從標(biāo)注的紅色畫框可以看出中，MobilenetV2與Resnet50骨架存在漏提與提取邊界不完整的現(xiàn)象，InceptionV3+DeeplabV3+效果不錯。由圖7看出，InceptionV3與DeeplabV3+結(jié)合效果受陰影遮擋效果最小，可以提取出每個建筑物的大小，而其他兩個建筑物的提取都受樹木遮擋的影響致使少提或者漏提。從表2可以了解到，InceptionV3與DeeplabV3+的精度與交并比最高分別為95.69%和84.16%，且InceptionV3與DeeplabV3+的F1指標(biāo)最高，而MobilenetV2、Resnet50骨架分別與DeeplabV3+組合在提取中效果不好，可能是錯把建筑物識別為背景。

從UNet網(wǎng)絡(luò)提取效果來看，建筑物提取信息較完整，建筑物的規(guī)則化程度更高。InceptionV3骨架網(wǎng)絡(luò)與UNet網(wǎng)絡(luò)結(jié)合的效果在一定程度上最好，錯提建筑物信息較少，Resnet50骨架網(wǎng)絡(luò)次之，MobilenetV2骨架網(wǎng)絡(luò)最差。從UNet提取的效果圖8看，都存在把畫框上方的與房屋相似的物體錯識別為建筑物的問題。

3" 結(jié)" 論

本文使用不同骨架的語義分割模型進行建筑物的提取，并用三種不同的普通卷積模塊MobilenetV2、InceptionV3和Resnet50分別在WHU和Inria航空數(shù)據(jù)集上與無權(quán)重DeeplabV3+、UNet網(wǎng)絡(luò)架構(gòu)組合進行建筑物提取，通過對比分析可知，不同骨架對同一模型的提取效果是不同的，從三種骨架的效果圖以及對應(yīng)的提取精度指標(biāo)可以看出，在WHU與Inria數(shù)據(jù)、DeeplabV3+模型上，InceptionV3骨干的提取效果最好，其中精度最高，達到96.38%，平均交并比中最高達到90.81%，F(xiàn)1達到92.85%；在UNet網(wǎng)絡(luò)可以得到相同的結(jié)論。

參考文獻：

[1] 范榮雙，陳洋，徐啟恒，等.基于深度學(xué)習(xí)的高分辨率遙感影像建筑物提取方法 [J].測繪學(xué)報，2019，48（1）：34-41.

[2] 張慶云，趙冬.高空間分辨率遙感影像建筑物提取方法綜述 [J].測繪與空間地理信息，2015，38（4）：74-78.

[3] LIN J W，WANG K，ZHANG Z P，et al. A method of building information extraction based on mathematical morphology and multiscale [C]//Proceedings Volume 9808，International Conference on Intelligent Earth Observing and Applications.SPIE.，2015：98082S[2023-06-16].https：//doi.org/10.1117/12.2207657.

[4] HAO L C，ZHANG Y，CAO Z M，et al. A building edge extraction method based on dual-scale classification with decision fusion for satellite image [C]//Proceedings Volume 10764，Earth Observing Systems XXIII.SPIE，2018：107641Z[2023-06-16].https：//doi.org/10.1117/12.2320398.

[5] 林祥國，張繼賢.面向?qū)ο蟮男螒B(tài)學(xué)建筑物指數(shù)及其高分辨率遙感影像建筑物提取應(yīng)用 [J].測繪學(xué)報，2017，46（6）：724-733.

[6] 呂道雙，林娜，張小青.面向?qū)ο蟮亩喑叨榷嗵卣鞲叻诌b感影像建筑物提取 [J].北京測繪，2019，33（2）：191-195.

[7] JIN Y W，XU W B，ZHANG C，et al. Boundary-Aware Refined Network for Automatic Building Extraction in Very High-Resolution Urban Aerial Images [J/OL].Remote Sensing，2021，13（4）：692[2023-06-20].https：//doi.org/10.3390/rs13040692.

[8] LONG J，SHELHAMER E，DARRELL T. Fully convolutional networks for semantic segmentation [C]//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Boston：IEEE，2015：3431-3440.

[9] 張哲晗，方薇，杜麗麗，等.基于編碼-解碼卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像語義分割 [J].光學(xué)學(xué)報，2020，40（3）：46-55.

[10] 任欣磊，王陽萍，楊景玉，等.基于改進U-net的遙感影像建筑物提取 [J].激光與光電子學(xué)進展，2019，56（22）：195-202.

[11] 司龍偉.基于深度學(xué)習(xí)的高空間分辨率遙感影像建筑物自動提取方法研究 [D].焦作：河南理工大學(xué)，2020.

[12] MNIH V，KAVUKCUOGLU K，SILVER D，et al. Playing Atari with Deep Reinforcement Learning [J/OL].arXiv：1312.5602 [cs.LG].[2023-06-20].https：//arxiv.org/abs/1312.5602.

[13] 劉文濤，李世華，覃馭楚.基于全卷積神經(jīng)網(wǎng)絡(luò)的建筑物屋頂自動提取 [J].地球信息科學(xué)學(xué)報，2018，20（11）：1562-1570.

[14] 劉浩，駱劍承，黃波，等.基于特征壓縮激活Unet網(wǎng)絡(luò)的建筑物提取 [J].地球信息科學(xué)學(xué)報，2019，21（11）：1779-1789.

[15] 朱淑鑫，周子俊，顧興健，等.基于RCF網(wǎng)絡(luò)的遙感圖像場景分類研究 [J].激光與光電子學(xué)進展，2021，58（14）：76-86.

作者簡介：王正（1998—），男，漢族，安徽滁州人，碩士研究生在讀，研究方向：攝影測量與遙感技術(shù)；通訊作者：劉超（1985.02—），男，漢族，陜西蒲城人，副教授，美國東密歇根大學(xué)訪問學(xué)者，博士/博士后，研究方向：GNSS+多傳感器的災(zāi)害監(jiān)測理論與方法、GNSS精密定位技術(shù)、城市潛在違法建筑的遙感檢測技術(shù)、礦山測量與系統(tǒng)平臺研發(fā)等。