基于深度學習的高分辨率遙感影像建筑物提取方法

范榮雙，陳 洋，徐啟恒，王競雪

1. 遼寧工程技術大學測繪與地理科學學院，遼寧 阜新 123000； 2. 中國測繪科學研究院，北京 100830； 3. 東莞市測繪院，廣東 東莞 523129

隨著Quick Bird、ZY-3等高分辨率遙感衛星的出現，高分辨率遙感影像已成為重要的地理空間信息主要的來源之一[1]。遙感影像空間分辨率的顯著提高，遙感影像表現出更豐富的地物細節信息，幾何結構和紋理特征等也更加明顯。同時類內混合像元及大量陰影的存在，使得傳統基于像素的遙感影像分類技術不能滿足建筑物信息提取需要[2-3]。建筑物是城市基礎地理信息的重要組成部分，因此，研究高精度和高效建筑物提取方法非常有必要。

建筑物提取是遙感信息處理與分析重要研究內容，近幾年來，許多學者提出許多建筑物提取方法[4]。如文獻[5]將支持向量機(support vector machine,SVM)應用高分辨遙感影像建筑物信息，文獻[6]提出形態學建筑物指數(morphology building index,MBI)。上述建筑物提取方法，都是基于像素特征的建筑物提取方法，導致提取建筑物邊界模糊和不完整、提取精度較低等問題。深度學習是模擬人腦的學習過程，通過對輸入影像數據低層特征中自動提取高層次特征。文獻[7]提出基于大型深層卷積神經網絡(convolutional neural networks,CNNs)的自然圖像分類算法，在Image Net數據集上取得了很高的分類精度。針對上述建筑物提取精度問題，有些學者將卷積神經網絡算法應用于建筑物提取。文獻[8—9]將卷積神經網絡算法應用于建筑物提取，精度有著明顯提高，但是需要大量樣本和存在提取結果邊界不完整等問題。

針對上述高分辨率遙感影像建筑物信息提取現存的問題，本文提出基于深度學習的高分辨率遙感影像建筑物提取方法。采用主成分變換(principal component analysis,PCA)非監督預訓練初始化網絡結構，通過非下采樣輪廓波變換(non-subsampled contour let transform,NSCT)來獲取影像紋理特征，并將紋理特征輸入網絡中參與建筑物提取。在主成分分析小化重構誤差原則下，獲取待分類影像的特征，從而學習得到含有訓練樣本統計特性的濾波器；為防止陷入過于擬合，神經網絡的激活函數采用線性修正函數；為減少在下采樣過程中影像特征的缺失，提出自適應池化模型，最后將建筑物特征輸入softmax分類器進行提取。

1 方法與原理

1.1 主成分變換非監督預訓練原理

(1)

采用主成分變換方法最小化重構誤差求解特征向量[11]

(2)

式中，IH為H×H單位矩陣；V為協方差矩陣XXΤ的前H個特征向量；V可以表示輸入影像塊的主要特征。主成分變換初始化卷積神經網絡的濾波器組Wh可以表示為

Wh=mg1g2(Vh)h=1,2,…,H

(3)

式中，mg1g2(Vh)表示將向量V映射到矩陣Wh；Vh表示影像的第h主要特征。

因為采用主成分變換不需要人工干預獲取局部影像的主要特征。因此，可認為主成分變換訓練濾波器是一種簡單的自動編碼器。

1.2 影像紋理特征的提取

因為高分辨影像地物復雜，僅僅單靠影像的光譜特征進行建筑物提取，提取結果不理想，所以需要利用高分辨影像潛在的特征來提高地物類別之間的可分離性。在高分辨影像分類過程往往結合紋理特征來獲取理想分類結果。影像光譜特征是通過像素點本身周圍像素組成區域進行描述，本文針對光譜特征提取方法，是取L×L大小窗口，對每個像素，構建出L×L維光譜特征向量。文獻[12]將NSCT用于影像紋理特征的提取，得到的效果比傳統紋理提取方法更好，說明NSCT能較好地提取影像紋理特征。本文采用NSCT來提取影像紋理特征，其中NSCT變換主要包括兩個過程，一個是非下采樣金字塔(NSP)分解，另一個是非下采樣方向濾波器組分解((NBDFB)。

(4)

1.3 卷積神經網絡

卷積神經網絡(CNN)來源于神經學家Hubei和Wiesel對貓視覺皮層細胞的研究[14]。與淺層機器學習算法相比較，它具有適用性強、分類并行處理能力、權值共享等優點，使得全局優化訓練參數大大減少，目前已經成為了深度學習領域的研究熱點之一[15]。根據研究需要，本文將卷積神經網絡結構構建為：輸入層、2個卷積層、2個池化層、全連接層和輸出層組成，其網絡結構如圖1所示。

圖1 卷積神經網絡結構圖Fig.1 Convolution neural network structure

輸入影像在卷積層和濾波層進行卷積運算，卷積層和濾波層一般是需要激活函數來連接[16]。本文采用Gi表示卷積神經網絡第i層的特征圖，其卷積過程可以描述為

Gi=f(Gi-1?Wi+bi)

(5)

式中，Wi表示第i層卷積核的權值特征向量；運算符號“?”代表第i層影像與第i-1層影像或者特征圖進行卷積操作；bi是偏移向量；最終通過線性的激活函數f(·)獲取第i層的特征圖Gi。

激活函數主要分兩種，一種是線性激活函數，另一種是非線性激活函數。常用的非線性激活函數有3種，分別是雙曲線函數、Sigmoid和Softplus[17]。常用的線性激活函數主要有ReLU和PReLU。因為ReLU函數與生物神經元受刺激后的激活狀態比較接近，在一定程度上該函數具有稀疏性，計算簡單等優點，被許多國內外學者作為卷積神經網絡的激活函數[18-19]。因此本文采用f(x)=max(x)作為卷積神經網絡的激活函數。

在卷積層之后對應池化層，卷積層和池化層通過激活函數鏈接[20-21]。常見池化層模型主要有兩種：一是最大池化模型，如式(6)所示[22]；二是平均池化模型，如式(7)所示[23]。

設由卷積層得到特征圖矩陣為Gij，池化區域大小為c×c，b1是偏移量，池化步長為c，則最大池化模型[24]可以表達為

(6)

平均池化模型[25]可以表達為

(7)

由于高分辨率影像地物復雜，導致傳統池化模型不能很好地提取影像特征。在池化層取兩種不同池化區域，如圖2所示，空白處表示像元值為0，陰影處由不同像元值組成，A表示最大值區域。如圖2(a)所示整個特征圖的特征主要集中在A處，如果采用平均池化模型進行池化，對整個特征圖的特征會產生弱化。如圖2(b)所示，特征圖的特征主要分布在A、B、C,在A、B、C三者關系未知情況下，采用最大化池化模型進行池化，對整個特征圖的特征會產生一定弱化，最終影響建筑物提取精度。

圖2 不同池化區域Fig.2 Different pooled areas

為了減少因池化過程中影像特征丟失，本文在最大池化模型和平均模型的基礎上，根據插值原理，提出自適應池化模型(adaptive pooling model)。該模型在復雜的池化區域能自適應通過池化因子u來調節池化過程，其表達式為

(8)

u表示池化因子，其作用是根據不同池化區域來動態優化傳統池化模型，其表達式為

(9)

式中，a是池化區域元素除了最大元素之外所有元素的平均值；bmax為池化區域最大元素。u取值范圍(0,1)，該模型兼顧最大池化模型和平均模型特點，能根據不同池化區域特點自適應優化模型，盡可能挖掘特征圖的特征，從而提高卷積神經網絡在高分辨率影像建筑物提取精度。

為了驗證本文提出自適應池化模型能減少在池化過程特征丟失，將大小為200×200像素影像輸入簡單網絡中,其網絡結構為2層。其中圖3(a)為原始影像；圖3(b)為自適應池化模型獲得特征圖；圖3(c)為最大化池化模型獲得特征圖；圖3(d)為平均池化模型獲得特征圖。

圖3 原始影像和各種池化模型池化結果的特征Fig.3 The original image and difference of pooling model pooling the characteristics mapping

從圖2可以看出，自適應池化模型獲取特征圖的特征明顯，而最大化池化模型和平均池化模型都會弱化影像特征，其中平均池化結果模型獲得的特征圖存在嚴重特征丟失。

基于深度學習的高分辨率遙感影像建筑物提取方法主要步驟為:①采用主成分變換初始化卷積神經網絡濾波器權值，并通過非下采樣輪廓波變換計算原始影像紋理特征；②對影像光譜-紋理特征進行卷積計算得到影像特征圖；③對影像特征圖采用自適應池化模型進行下采樣；④將特征圖合并成為一個列特征向量，并輸入全連接層，通過標簽數據反向傳播算法更新網絡濾波器權值；⑤最后將特征列向量輸入softmax完成建筑物提取。本文分類方法流程如圖2所示。

2 試驗與分析

本文試驗采用Linux下的Tensor Flow機器學習框架，采用python語言編程實現，硬件環境為CPU Intel(R)Xeon(R)E5-2630，GPU Nvidia Tesla M40 12 GB內存。為驗證本文提出方法有效性，設置兩組試驗，第1組試驗數據選取天津市主城區的資源三號多光譜影像，其大小為2000×2000像素，如圖5(a)所示；第2組試驗數據選取成都市主城區的高分二號多光譜影像，其大小為1710×2000像素，如圖5(b)所示。在綜合考慮兩個試驗區域建筑物種類和分布，在5景資源三號多光譜影像和4景高分二影像中選取685個有標簽建筑物數據，部分建筑物標簽數據如圖5(c)所示，標簽數據主要作用是對預訓練卷積神經網絡進行微調。在網絡訓練方面，本文試驗采用半監督訓練方法。鑒于樣本量不大，為獲取全局最優訓練結果，本文采用批量梯度下降法訓練算法，本研究初始學習率為0.000 6，最低學習率不超過0.000 001。

圖4 本文建筑物提取方法流程Fig.4 Proposed building extraction framework

圖5 原始影像與建筑物標簽數據Fig.5 Original image and building tag data

2.1 試驗1

為驗證本文方法的有效性，并與SVM、MBI、文獻[8]和文獻[9]的提取結果進行比較。本試驗采用網絡結構模型如圖1所示，共有6層，分別是2個卷積層、2個采樣層、1個全連接層和1個輸出層。第1層的卷積濾波器設置為1800個，第2層卷積濾波器設置為1000個，其濾波器大小均設置5×5；將采樣間隔設置為1，并采用自適應池化模型進行下采樣。卷積神經網絡激活函數采用f(x)=max(x)。本次試驗NSCT變換尺度為4，每一個方向數分別為5、5、5、4。最后將獲取建筑物特征輸入softmax分類中，其提取結果如圖6(b)所示。文獻[8]建筑物的提取結果如圖6(c)所示，文獻[9]建筑物的提取結果如圖6(d)所示，SVM方法的提取結果如圖6(e)所示，MBI方法的提取結果如圖6(f)所示。

從圖6(b)可以得出，本文建筑物提取方法獲取結果，建筑物邊界清晰和邊界完整，面積較小建筑物也能很好識別。從圖6(c)、5(d)可以得出文獻[8—9]方法建筑物提取結果，建筑物邊界較為模糊。從圖6(e)、6(f)可以看出，SVM和MBI方法建筑物提取結果，建筑物邊界模糊和不完整，并且存在“椒鹽”現象，特別是SVM方法的提取結果，存在嚴重的道路誤提。通過目視評價方法，本文建筑物提取方法的結果優于SVM、MBI、文獻[8]的方法和文獻[9]的方法。

為了定量評價本文建筑物提取方法，采用人工目視解譯方式勾取的建筑物區域作為參考，其勾繪準則：建筑物邊界模糊區域勾繪精度在4個像素之內，建筑物邊界清晰區域勾繪精度在1像素之內，其參考數據如圖6(a)所示。利用混淆矩陣計算遙感影像建筑物提取結果的總體精度(OA)和Kappa系數，并統計提取所需時間T，其評價指標如表1所示。

圖6 不同方法建筑物提取結果Fig.6 Different methods of building extraction results

表1 不同建筑物提取方法的評價參數

由表1可知，本文建筑物提取方法與其他4種方法相比較，本文方法的精度是最高的，其建筑物提取精度為93.86%，與文獻[8]算法相比較總體精度高出8.59%；與文獻[9]算法相比較總體精度高出9.35%；與MBI算法相比較總體精度高出13.74%；與SVM算法相比較總體精度高出18.45%。本文建筑物提取方法Kappa系數在90%以上。在提取效率，MBI耗時最短，本文提取方法與文獻[8]、文獻[9]算法耗時相當。通過定量評價，驗證本文將深度學習算法應用于遙感影像建筑物提取中，能有效提高建筑物提取精度。

通過上述目視評價和定量評價方式，本文建筑物提取方法結果較好，主要是由于卷積神經網絡模型能有復雜的多層非線性變換而具有更強的表達與建模能力，對高分辨率影像中復雜建筑物特征有很好表達，并且將建筑物紋理特征參與提取，從而能獲取較好提取結果。

2.2 試驗2

為驗證本文提出自適應池化卷積神經網絡模型有效性，與傳統不同池化模型卷積神經網絡算法提取結果進行比較。本次試驗采用網絡結構模型如圖1所示，并且提取紋理參數設置與試驗1相同。Adaptive pooling+CNN算法提取結果如圖7(b)所示；Max pooling+CNN算法提取結果如圖7(c)所示；Average pooling+CNN算法提取結果如圖7(d)所示。

圖7 不同池化模型卷積神經網絡算法的提取結果Fig.7 Extraction building results using different pooling models

從圖7(b)可以看出，Adaptive pooling+CNN算法提取結果，建筑物提取邊界清晰。從圖7(c)、7(d)可以看出，Max pooling+CNN算法和Average pooling+CNN算法提取結果，建筑物邊界較為模糊。通過目視評價方法，本文提出Adaptive pooling+CNN方法提取結果優于傳統池化模型卷積神經網絡算法。

為定量評價Adaptive pooling+CNN算法的有效性，通過人工勾繪參考數據，勾繪準則與試驗一相同，其勾繪結果如圖7(a)所示。分別統計3種方法總體精度(OA)、Kappa系數和提取所需時間T，其評價指標如表2所示。

由表2可以看出，本文提出的Adaptive pooling+CNN算法與其他兩種算法相比較，本文方法的精度最高，總體精度為95.27%，較Max pooling+CNN方法、Average pooling+CNN方法分別高出了9.1%和9.6%。本文提出Adaptive pooling+CNN方法的Kappa系數在90%以上。在提取效率方面而言，3種方法時間復雜度相差不大，均在40 s以下。通過定量和目視評價方法，驗證了本文算法能有效提高建筑物提取精度。

表2 不同池化CNN方法的評價參數

3 結 論

針對建筑物在高分辨率影像難提取的問題，本文提出基于深度學習高分辨率遙感影像建筑物提取方法。在網絡結構構建方面，提出自適應池化模型卷積神經網絡框架。在網絡框架訓練方面，采用主成分分析非監督初始化濾波器，在較少標簽數據的情況下，完成卷積神經網絡初始化。本文提取方法與其他典型4種方法相比較，本文方法的提取精度最高。

通過本文研究可以發現，卷積神經網絡在高分辨遙感影像地物信息智能識別領域有著較大潛力。本文提取方法還存在不足的地方，如激活函數不能全部將神經元激活、網絡結構單一。下一步工作是尋求最佳激活函數，期待進一步提高建筑物提取精度。