基于多尺度擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)的城中村遙感識(shí)別

馮權(quán)瀧 陳泊安 牛博文 任 燕,3 王 瑩 劉建濤

(1.中國農(nóng)業(yè)大學(xué)土地科學(xué)與技術(shù)學(xué)院， 北京 100083； 2.資源與環(huán)境信息系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室， 北京 100101；3.四川農(nóng)業(yè)大學(xué)資源學(xué)院， 成都 625014； 4.中國科學(xué)院城市環(huán)境研究所， 廈門 361021；5.山東建筑大學(xué)測繪地理信息學(xué)院， 濟(jì)南 250101)

0 引言

隨著中國經(jīng)濟(jì)高速發(fā)展和城市化快速推動(dòng)，原本位于城鄉(xiāng)結(jié)合區(qū)域的中小型村莊不斷被城市吸納成為城市的組成部分[1]，并形成了具有中國城市化進(jìn)程中特有的非正式聚居地形式——城中村[2-3]，其與國外的非正規(guī)城市聚落具有相似的性質(zhì)[4-7]。

作為我國城鎮(zhèn)化變遷過程中的特殊區(qū)域，城中村是城市擴(kuò)張中最有可能與城市融合的區(qū)域，也是加快城鎮(zhèn)化建設(shè)步伐的關(guān)鍵區(qū)域[8]。開展城中村的識(shí)別和監(jiān)測對(duì)城鄉(xiāng)統(tǒng)籌規(guī)劃以及精細(xì)化治理等具有重要意義。

在以往的城中村識(shí)別研究中，研究人員一般從社會(huì)學(xué)、經(jīng)濟(jì)學(xué)等角度出發(fā)，通過實(shí)地調(diào)研來獲取城中村相關(guān)信息[9]。但城中村往往存在結(jié)構(gòu)混亂、布局多樣等特點(diǎn)，部分區(qū)域難以進(jìn)入，增加了數(shù)據(jù)獲取的難度。尤其當(dāng)涉及大范圍城中村研究時(shí)，地面調(diào)查方式較為費(fèi)時(shí)費(fèi)力，數(shù)據(jù)采集效率較低。

相比于實(shí)地調(diào)查，遙感具有宏觀、動(dòng)態(tài)、快速等特點(diǎn)，被廣泛應(yīng)用于場景分類[10-15]以及農(nóng)業(yè)溫室地膜提取[16]、作物分類識(shí)別[17-18]等農(nóng)業(yè)應(yīng)用領(lǐng)域。在利用遙感技術(shù)識(shí)別和監(jiān)測城中村方面，國內(nèi)外學(xué)者進(jìn)行了一些研究[9,19-23]。盡管深度學(xué)習(xí)被應(yīng)用到城中村遙感識(shí)別領(lǐng)域，然而當(dāng)前模型多以借鑒計(jì)算機(jī)視覺領(lǐng)域模型為主，沒有針對(duì)城中村進(jìn)行模型設(shè)計(jì)和優(yōu)化。同時(shí)城中村所處環(huán)境景觀格局復(fù)雜，城中村自身又存在形狀、尺度的變異性，都增加了其識(shí)別的難度。為了解決上述問題，本文提出一種基于多尺度擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)(Multi-scale dilated convolutional neural network, MD-CNN)的城中村識(shí)別模型。該模型由一系列多尺度擴(kuò)張卷積模塊和一個(gè)非局部特征提取模塊組成，前者利用一系列具有不同擴(kuò)張率的擴(kuò)張卷積塊提取多尺度特征，并以此描述城中村的尺度變化；后者基于非局部特征提取模塊來獲取高分辨率遙感圖像上的遠(yuǎn)距離依賴關(guān)系，以學(xué)習(xí)全局特征和語義信息，并進(jìn)一步增強(qiáng)類間可分性。

1 材料與方法

1.1 研究區(qū)

本文選取北京市作為研究區(qū)。北京市(圖1)經(jīng)緯度范圍為115°25′～117°39′E，39°26′～41°N，位于華北平原北部，毗鄰渤海，與天津市、河北省相接。全市包含16個(gè)區(qū)，總面積超過1.6×104km2。至2019年底，常駐人口超過2 100萬人。

20世紀(jì)90年代開始，北京經(jīng)濟(jì)發(fā)展迅速，城市不斷向外擴(kuò)張，逐漸吸納周圍耕地、草地、村莊等區(qū)域，使得眾多村莊、城鄉(xiāng)結(jié)合部區(qū)域向城中村型居住地開始轉(zhuǎn)化。

本文研究區(qū)為北京市二環(huán)到六環(huán)之間的區(qū)域，因?yàn)槎h(huán)內(nèi)分布大量四合院，其形狀紋理特征與城中村十分相似。通過目視解譯可知，北京市的城中村主要出現(xiàn)在海淀區(qū)、石景山區(qū)以及近郊的昌平區(qū)、順義區(qū)、通州區(qū)、大興區(qū)等區(qū)域，分布方式以小聚集和零星散布為主。幾乎所有城中村均存在建筑密集、建筑材料多樣、布局無規(guī)律等特征。

1.2 數(shù)據(jù)集

1.2.1數(shù)據(jù)源

本文基于Google Earth平臺(tái)獲取研究區(qū)的17級(jí)遙感圖像，空間分辨率約為2.15 m，圖像獲取時(shí)間為2019年，包含紅、綠、藍(lán)3個(gè)波段。圖像尺寸為59 136像素×58 624像素，實(shí)際地面尺寸約127.1 km×126.4 km，區(qū)域內(nèi)圖像含云量較少，滿足研究所需條件。

1.2.2樣本采集與劃分

通過人工目視解譯，在研究區(qū)隨機(jī)對(duì)典型城中村區(qū)域與其他非城中村區(qū)域進(jìn)行樣本采集，共采集1 924幅圖像樣本，其中城中村樣本800幅，非城中村樣本1 124幅。按照4∶1劃分訓(xùn)練集和測試集，其中訓(xùn)練集用于模型訓(xùn)練，測試集用于模型精度驗(yàn)證。訓(xùn)練集與測試集無區(qū)域重疊。圖2為樣本集中城中村區(qū)域和非城中村區(qū)域樣本的典型示例。

綜合考慮遙感圖像分辨率與城中村在圖像上的空間特征后，本文的訓(xùn)練樣本與測試樣本尺寸均設(shè)置為224像素×224像素，在Google Earth 17級(jí)遙感數(shù)據(jù)下該樣本能夠覆蓋約0.23 km2的地表范圍，與研究區(qū)內(nèi)大多數(shù)城中村具有較好的一致性，能夠較好地表達(dá)城中村復(fù)雜的內(nèi)部要素與外部形態(tài)。同時(shí)，224像素×224像素為計(jì)算機(jī)視覺領(lǐng)域中常用的圖像樣本大小，便于與其他常見的分類模型進(jìn)行精度對(duì)比。

2 城中村遙感識(shí)別模型

2.1 模型架構(gòu)

圖3給出了本文所設(shè)計(jì)的城中村識(shí)別模型MD-CNN的結(jié)構(gòu)圖。可以看出，MD-CNN的輸入是224像素×224像素的遙感圖像塊，模型輸出是該圖像塊對(duì)應(yīng)的類別，共包括城中村和其他兩個(gè)類別。具體而言，MD-CNN主要包括以下3部分：

(1)多尺度擴(kuò)張卷積模塊(Dialated block)：用于提高模型對(duì)于城中村尺度變異的適應(yīng)性和魯棒性。

(2)非局部特征提取模塊：用于進(jìn)一步提取城中村的全局特征和上下文信息，從而提高不同地物之間的可分性。

(3)最終的分類模塊：包括一個(gè)全局池化層(Global average pooling, GAP)、一個(gè)全連接層(Fully connected, FC)和一個(gè)Softmax分類器。

此外，在多尺度擴(kuò)張卷積模塊之間利用多個(gè)不同卷積核數(shù)量的3×3卷積層(Conv)進(jìn)行連接。

城中村遙感識(shí)別網(wǎng)絡(luò)的具體參數(shù)配置如表1所示，具體給出了分類網(wǎng)絡(luò)每一個(gè)模塊對(duì)應(yīng)的輸入尺寸、輸出尺寸、卷積核尺寸、濾波器數(shù)量、步長等。同時(shí)，該網(wǎng)絡(luò)用步長為2的卷積層代替了最大池化層，從而在對(duì)特征圖進(jìn)行尺寸壓縮的基礎(chǔ)上進(jìn)一步提高其特征提取能力。最終Softmax分類器的輸出維度為2維，分別對(duì)應(yīng)城中村和非城中村共兩個(gè)類別。

表1 MD-CNN 參數(shù)配置Tab.1 MD-CNN configuration

2.2 多尺度擴(kuò)張卷積模塊

城中村識(shí)別需要代表性和可分性強(qiáng)的特征，才能有效提高分類效果。提出了一個(gè)多尺度擴(kuò)張卷積模塊，用于提高模型對(duì)于城中村尺度變化的適應(yīng)性。具體而言，該模塊由不同擴(kuò)張率的卷積經(jīng)過多尺度連接而形成，從而有利于學(xué)習(xí)到多層級(jí)、多尺度的特征。該模塊的具體結(jié)構(gòu)如圖4所示。圖中r表示擴(kuò)張率，W、H、C分別表示寬、高、通道數(shù)。

從圖4可以看出，該模塊包含了多個(gè)并行的分支，不同分支的卷積具有不同的擴(kuò)張率。采用相加(Sum)的方法用于多分支特征的聚合，從而保證了輸入和輸出特征維數(shù)的一致性。這種設(shè)計(jì)可以對(duì)多尺度特征進(jìn)行提取，從而提高地物可分性。

不同擴(kuò)張率對(duì)應(yīng)的感受野大小遵循公式

k′=k+(k-1)(r-1)

(1)

SRF=(2r+1-1)(2r+1-1)

(2)

式中k、k′分別為原始的卷積核尺寸和擴(kuò)張之后的卷積核尺寸，SRF為擴(kuò)張后的感受野大小。

從圖5可以看出，當(dāng)擴(kuò)張率是2時(shí)，卷積核尺寸從3變?yōu)?，感受野大小從3變?yōu)?。同時(shí)，從圖5也可以看出，標(biāo)準(zhǔn)卷積可以視為擴(kuò)張卷積在擴(kuò)張率r為1時(shí)的特例。

2.3 非局部特征提取模塊

本文使用擴(kuò)張卷積的目的之一是擴(kuò)大卷積神經(jīng)網(wǎng)絡(luò)的感受野，從而提高其捕捉長距離依賴關(guān)系的能力。然而，擴(kuò)張卷積本質(zhì)上屬于局部操作，即它的輸出只與局部的感受野有關(guān)。然而在遙感圖像中，局部操作并不能很好地提供圖像的全局特征和上下文關(guān)系信息。為了解決這個(gè)問題，探索了非局部特征提取模塊在遙感圖像全局特征提取和建模中的應(yīng)用，從而提高空間特征的代表性。該模塊的結(jié)構(gòu)如圖6所示。

上述非局部特征提取模塊借鑒于最新的非局部神經(jīng)網(wǎng)絡(luò)的研究[24]，其性能已經(jīng)在自然圖像分類、目標(biāo)檢測、語義分割等領(lǐng)域得到了充分驗(yàn)證。具體而言，該非局部特征提取模塊包含兩部分，一是上下文建模模塊(context modeling)，二是特征變換模塊(transform)，其中LayerNorm(LN)層用于簡化優(yōu)化過程，使用更少的模型參數(shù)獲得相似的模型性能。上下文建模模塊主要用于捕捉圖像中的長距離依賴關(guān)系，從而提供場景的上下文聚合信息；特征變換模塊主要用于對(duì)提取的全局特征進(jìn)行逐通道的注意力加權(quán)處理，從而進(jìn)一步突出信息量較大的特征，并對(duì)噪聲進(jìn)行抑制。上述非局部特征提取模塊的具體計(jì)算公式為

(3)

其中

(4)

式中zi為最終提取的全局特征，Np為圖像的總像素?cái)?shù)，x為模塊的輸入。其中x的下角i代表當(dāng)前輸入的索引，j為枚舉所有可能輸入的索引，m用于對(duì)全局點(diǎn)計(jì)算求和，以計(jì)算全局注意力，其范圍為1～Np。αj為上下文建模模塊中對(duì)應(yīng)的全局注意力權(quán)重，LN為模塊中LayerNorm層。Wk表示上下文建模模塊中的1×1卷積變換矩陣，Wv1、Wv2表示特征變換模塊中LN前、后的1×1卷積變換矩陣。

2.4 模型訓(xùn)練與精度評(píng)估

本文設(shè)計(jì)的城中村遙感識(shí)別模型屬于深度學(xué)習(xí)模型，其訓(xùn)練需要海量樣本數(shù)據(jù)的支撐。在本研究中，訓(xùn)練樣本的數(shù)量有限，因此容易造成分類模型的過擬合。為了緩解模型的過擬合問題，本文采用數(shù)據(jù)增強(qiáng)的方法進(jìn)行訓(xùn)練數(shù)據(jù)的擴(kuò)充。具體而言，對(duì)訓(xùn)練樣本分別進(jìn)行水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)并旋轉(zhuǎn)90°、180°、270°。經(jīng)過上述數(shù)據(jù)增強(qiáng)操作，訓(xùn)練樣本的數(shù)量將擴(kuò)充至原始數(shù)量的6倍。

在分類網(wǎng)絡(luò)開始訓(xùn)練之前，所有的參數(shù)需進(jìn)行初始化。在本文中，選用文獻(xiàn)[25]的方法進(jìn)行參數(shù)初始化，其優(yōu)勢是能夠保證網(wǎng)絡(luò)訓(xùn)練過程的穩(wěn)定性，并能夠提高網(wǎng)絡(luò)的收斂速度。

盡管進(jìn)行了數(shù)據(jù)增強(qiáng)，但是訓(xùn)練樣本的數(shù)量仍然偏少，因此分類模型仍存在過擬合的風(fēng)險(xiǎn)。為了進(jìn)一步避免過擬合，本文在所有標(biāo)準(zhǔn)卷積層后面使用了批歸一化[26](Batch normalization, BN)，同時(shí)對(duì)卷積參數(shù)使用L2正則化，并在最后的Softmax分類層之前增加dropout層，進(jìn)一步提高網(wǎng)絡(luò)的魯棒性，其中dropout的概率設(shè)置為0.5。

在優(yōu)化器的選擇上，選取了Adam算法[27]，其初始學(xué)習(xí)率設(shè)置為10-5。相比于隨機(jī)梯度下降法(Stochastic gradient descent, SGD)，Adam算法的優(yōu)點(diǎn)是在于模型優(yōu)化的過程中可以自適應(yīng)調(diào)節(jié)學(xué)習(xí)率，不需要編寫額外的學(xué)習(xí)率下降函數(shù)。同時(shí)，使用了early-stopping策略[28]進(jìn)行最優(yōu)模型的選取，將訓(xùn)練集的20%劃分為驗(yàn)證集，使用驗(yàn)證集損失作為選取最優(yōu)模型的度量。在獲取當(dāng)前的最優(yōu)模型之后，再進(jìn)行N輪模型迭代，如果驗(yàn)證集損失不下降，則結(jié)束訓(xùn)練。在本文中，N設(shè)置為40。

損失函數(shù)選為交叉熵(Cross-entropy, CE)損失[29]，計(jì)算方式為

(5)

式中yi——真實(shí)的標(biāo)簽數(shù)據(jù)

本文編程框架為TensorFlow，操作系統(tǒng)為Ubuntu 16.04，CPU為Intel CORE i7-7800，GPU為NVIDIA GTX TitanX。

在完成模型訓(xùn)練之后，使用測試集對(duì)模型進(jìn)行精度驗(yàn)證。具體而言，利用測試集進(jìn)行混淆矩陣的計(jì)算，同時(shí)，總體分類精度(Overall accuracy, OA)和Kappa系數(shù)都可以從混淆矩陣中計(jì)算得到。其中OA表示分類正確的樣本數(shù)占總樣本數(shù)的比例，Kappa系數(shù)代表了預(yù)測結(jié)果與真實(shí)結(jié)果之間的相似程度。

2.5 對(duì)比模型

為了進(jìn)一步驗(yàn)證模型性能，同時(shí)選取VGG[30]、ResNet[25]、DenseNet[31]進(jìn)行對(duì)比實(shí)驗(yàn)，其中訓(xùn)練集和測試集的選取與本文模型保持一致。

具體而言，VGG是在AlexNet的基礎(chǔ)上，采用連續(xù)多個(gè)3×3的卷積替換原始AlexNet中更大的卷積，并利用多個(gè)最大池化層(Max pooling)連接卷積層對(duì)數(shù)據(jù)進(jìn)行下采樣，在給定感受野的情況下提升網(wǎng)絡(luò)深度，從而一定程度上提升了網(wǎng)絡(luò)性能。本文使用的對(duì)比模型為VGG19，其網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)如圖7所示[30]。

ResNet設(shè)計(jì)了基于跳層連接的殘差塊(圖8[25])，能夠?qū)⑸顚泳W(wǎng)絡(luò)通過恒等映射轉(zhuǎn)化為淺層網(wǎng)絡(luò)，一定程度上解決了深層網(wǎng)絡(luò)所遇到的梯度消失、網(wǎng)絡(luò)性能退化的問題。在本文中，使用ResNet-50作為對(duì)比模型。

DenseNet在ResNet的基礎(chǔ)上，對(duì)網(wǎng)絡(luò)當(dāng)前層與所有后續(xù)層之間進(jìn)行稠密連接，能夠?qū)崿F(xiàn)更深層網(wǎng)絡(luò)的訓(xùn)練。通過稠密連接中的特征融合層(concat)，DenseNet還能實(shí)現(xiàn)特征維度上的特征再利用。圖9為5層稠密連接塊的DenseNet示例[31]，本文使用DenseNet-201作為對(duì)比模型。

3 結(jié)果與分析

3.1 城中村遙感識(shí)別結(jié)果

利用訓(xùn)練好的城中村遙感識(shí)別模型對(duì)北京二環(huán)到六環(huán)區(qū)域進(jìn)行滑窗識(shí)別，具體結(jié)果如圖10所示。可以看出，北京市二環(huán)到四環(huán)之間城中村主要以小區(qū)域零散分布為主，而四環(huán)到六環(huán)之間主要以大面積聚集和連片分布為主。究其原因，隨著北京快速城市化，靠近市中心的村莊在城市化進(jìn)程中逐漸被吸納或自我形態(tài)發(fā)生改變，部分區(qū)域甚至按照規(guī)劃融入到城市景觀中，從而導(dǎo)致了區(qū)域內(nèi)城中村呈零散分布的態(tài)勢；而在城市近郊及更外圍區(qū)域內(nèi)，由于城市化進(jìn)程較為緩慢，大部分仍保持原有村莊布局與分布形態(tài)，呈連片分布態(tài)勢。

為進(jìn)一步評(píng)估本文的城中村遙感識(shí)別結(jié)果，圖11給出了8個(gè)典型區(qū)域的識(shí)別結(jié)果與對(duì)應(yīng)的遙感圖像，可以看出，識(shí)別結(jié)果與城中村吻合程度較高。同時(shí)，由于城中村周圍景觀格局復(fù)雜多變、建筑形式多樣，具有較高的空間異質(zhì)性，因此存在目視解譯都極易發(fā)生混淆的區(qū)域。如圖12所示，子區(qū)域Ⅰ和子區(qū)域Ⅱ在建筑密集程度、建筑材質(zhì)及建筑群規(guī)模上均極為相似，利用騰訊地圖獲取各區(qū)域街景，發(fā)現(xiàn)子區(qū)域Ⅱ街景表現(xiàn)出街道整潔、建筑無違規(guī)搭建等特點(diǎn)，為聯(lián)排別墅，而子區(qū)域I街景體現(xiàn)出街道狹窄、建筑雜亂的特點(diǎn)。而本文模型可以對(duì)上述區(qū)域進(jìn)行正確識(shí)別，進(jìn)一步驗(yàn)證了本文模型的性能。

此外在研究區(qū)內(nèi)還存在其他與城中村相似的區(qū)域(圖13)，也將影響城中村識(shí)別的精度，如建筑工地、工廠、別墅區(qū)等。

3.2 城中村遙感識(shí)別精度分析

在3.1節(jié)中，通過目視解譯可以定性評(píng)價(jià)城中村識(shí)別模型的效果。為進(jìn)一步定量評(píng)價(jià)本文模型的性能，基于測試集進(jìn)行混淆矩陣計(jì)算，結(jié)果如表2所示。本文模型總體精度為94.27%，Kappa系數(shù)為0.883 9，取得了較好的識(shí)別效果。同時(shí)，由于本文將城中村識(shí)別視為遙感場景分類問題，在成圖過程中基于224像素×224像素的圖像窗口對(duì)整幅圖像進(jìn)行預(yù)測，導(dǎo)致所提取的城中村邊界較為粗糙，出現(xiàn)鋸齒現(xiàn)象。在未來研究中，擬采用U-Net等全卷積神經(jīng)網(wǎng)絡(luò)等模型，以獲取更加精確的城中村邊界范圍。

表2 混淆矩陣Tab.2 Confusion matrix

3.3 與其他深度學(xué)習(xí)模型對(duì)比

為了更進(jìn)一步地驗(yàn)證本文提出模型的有效性，與計(jì)算機(jī)視覺領(lǐng)域常用模型(VGG、ResNet、DenseNet)進(jìn)行實(shí)驗(yàn)對(duì)比，并采用相同的訓(xùn)練集和測試集。

精度對(duì)比結(jié)果如表3所示，與其他深度學(xué)習(xí)模型相比，本文提出的MD-CNN模型精度最高。具體而言，VGG整體精度最低，為84.64%，主要由于其網(wǎng)絡(luò)結(jié)構(gòu)較為簡單，僅為多層卷積堆疊，模型訓(xùn)練容易陷入過擬合問題中，對(duì)于復(fù)雜場景的特征提取和表達(dá)能力有限。相比VGG，ResNet引入了跳層連接，有效緩解了梯度消失，通過加深網(wǎng)絡(luò)層數(shù)以提高特征表達(dá)的有效性，總體精度可達(dá)87.76%。DenseNet則包含了更多的跳層連接，從而能夠更好地聚合特征，效果最好，總體精度達(dá)到91.15%。相比于上述模型，本文提出的MD-CNN通過多尺度擴(kuò)張卷積可以更好地適應(yīng)城中村形狀、尺度上的變異性，并能夠提取圖像的全局語義特征，從而取得了更高的分類精度。

表3 模型精度比較Tab.3 Comparation of model precision

4 結(jié)論

(1)針對(duì)我國復(fù)雜城市景觀格局下城中村的形狀、尺度等特點(diǎn)，基于多尺度擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)提出了一種新的城中村遙感識(shí)別模型，在城中村遙感識(shí)別方面具有較好的效果。

(2)以北京市為研究區(qū)開展實(shí)驗(yàn)并與其他典型卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比，結(jié)果表明，引入擴(kuò)張卷積與非局部特征提取模塊能夠提高模型對(duì)于易出現(xiàn)形狀、尺度變異的城中村識(shí)別精度，且所提出的模型識(shí)別效果最佳，總體精度可達(dá)94.27%，Kappa系數(shù)為0.883 9。

(3)本研究可以提供精確的城中村空間分布信息，為城鄉(xiāng)統(tǒng)一規(guī)劃、城市化進(jìn)程監(jiān)測等提供數(shù)據(jù)支撐。