基于注意力增強全卷積神經網絡的高分衛星影像建筑物提取

郭文，張蕎

(1.自然資源部第三航測遙感院，成都 610100；2.西南石油大學地球科學與技術學院，成都 610500)

0 引言

基于高分辨率遙感影像的建筑物提取對地圖制作、城市鄉村規劃、違建監測、數字城市建立、人口估計等應用具有重要意義，隨著越來越多的高分辨遙感衛星投入使用，在提高地物光譜特征，突出地物結構、紋理和細節等信息的同時，也因為衛星觀測角度問題造成地物遮擋，尺度的增大帶來了嚴重的異物同譜現象，以及影像噪聲增加等問題，限制了遙感影像建筑物自動提取精度。

傳統方法主要是基于影像的光譜和空間特征信息，通過圖像分割和特征提取技術，如尺度不變特征變換(scale-invariant feature transform，SIFT)、方向梯度直方圖(histogram of oriented gradient，HOG)、面向對象[1-2]等，獲得遙感影像中的特征或分割對象，再選取支持向量機(support vector machine，SVM)、決策樹、隨機森林、條件隨機場等分類器進行類別劃分[3-4]。然而，基于光譜和空間特征信息的分類方法在處理背景復雜、地物繁多的影像時都顯得不足，其中最大缺陷是泛化能力較差，即訓練后的模型或規則難以適用不同地區、不同數據源的遙感影像。

2006年Hinton等[5]提出了深度學習的理論，深度學習是一種通過構建神經網絡來模擬學習和人腦思維方式的自主特征學習方法，通過非線性表達來獲取數據中的高級抽象特征，并構建數學模型以提高分類精度和檢測準確率。近年來各種深度學習網絡，如卷積神經網絡(convolutional neural network，CNN)[6]、遞歸神經網絡(recurrent neural network，RNN)[7]完成了各種高性能的計算機視覺任務，如圖像分類[8]、自然語言處理[9]、語音識別[10]等。

由于CNN在圖像分類方面取得了較好的效果，許多學者基于CNN發展了遙感影像語義分割算法。2015年，從CNN發展而來的全卷積神經網絡(fully convolutional networks，FCN)[11]語義分割方法，采用全卷積層代替傳統CNN中的全連接層，可以直接獲得像素級別的分類結果，是第一個真正的端到端的像素分類模型[12-13]，目前已經有多種語義分割網絡，如Segnet[14]，U-net[15]，PSPNet[16]和DeepLab[17]等，這些語義分割網絡的提出為遙感影像建筑物自動提取提供了可能性。但是將FCN應用到遙感影像建筑物提取時，需要通過逐像素標記類別構建樣本數據集，這也阻礙了FCN在遙感影像分類中的深入應用。

目前，國際上已經有少量開源的遙感影像建筑物樣本數據集，如ISPRS的Vaihingen和Potsdam數據集(http://www2.isprs.org/commissions/comm3/wg4/semantic-labeling.html)、Massachusetts數據集[18]、Inria數據集[19]、WHU數據集[20]等，以上數據集主要是以航空影像為主，僅WHU數據集包含一部分衛星影像，但在一些重大項目中，如第三次全國國土調查、地理國情監測、全球地理信息資源建設等，仍需要構建大量的樣本以滿足重大項目建筑物自動提取的需求。

針對建筑物自動提取的難題，本文提出基于高分衛星遙感影像和地理國情監測矢量數據快速構建大規模的建筑物樣本數據集，并采用一種注意力增強的全卷積神經網絡，實現從衛星遙感影像中自動提取建筑物。

1 研究方法

1.1 基于注意力增強的特征金字塔建筑物提取網絡

針對遙感影像的多尺度問題，傳統的方式是通過多尺度輸入圖像的方式來構建多尺度特征，特征金字塔網絡(feature pyrimad network，FPN)[21]借鑒了這一思想，但是在網絡內部構建特征金字塔，實現多尺度特征融合，將包含更多語義信息的高層網絡特征與包含更多幾何細節信息的淺層網絡特征串聯融合。本文針對高分衛星遙感影像的建筑物自動提取，采用一種基于FPN的語義分割網絡FPN-SENet，提升遙感影像建筑物分類精度，FPN-SENet主體網絡框架如圖1所示，而在特征圖提取部分，采用了SE (squeeze-and-excitation)模塊[22]，如圖2所示。

圖1 FPN-SENet網絡框架Fig.1 Structure diagram of FPN-SENet

圖2 SE模塊單元Fig.2 Squeeze-and-excitation block

一個SE模塊單元中，Ftr為傳統的卷積結構，X和U分別為輸入(H′×W′×C′)和輸出(H×W×C)，U=[u1,u2,…,uc]，公式為：

(1)

式中：xs為第c個通道的輸入特征圖；uc為第c個通道的輸出特征圖；vc為第c個卷積核的參數；C′為輸入通道數量。

增加SE模塊后，首先對卷積層輸出的特征圖U，采用全局平均池化(global average pooling，GPA)進行壓縮操作Fsq，公式為：

(2)

然后對壓縮后的z，使用2個全連接層進行激勵操作Fex，第一個全連接把C個通道壓縮成了C/r個通道來降低計算量，其中r是壓縮的比例，后面跟了ReLU函數，第二個全連接再恢復回C個通道，后面跟接Sigmoid函數，公式為：

s=Fex(z,W)=σ(g(z,W)=σ(W2δ(W1z))，

(3)

式中：δ為ReLU函數；σ為Sigmoid函數；W1為C/r×C的降維矩陣；W2為C×C/r的升維矩陣。

通過壓縮和激勵操作，學習到各個通道間的關系，得到不同通道的權重，然后將SE模塊計算出的各通道權重值分別與原特征圖對應通道的二維矩陣相乘，得出的結果輸出，公式為：

(4)

SE模塊為網絡模型提供了一種通道域注意力機制，讓模型更加關注信息量較大的特征圖，而抑制那些不重要特征圖。

1.2 交叉熵與dice系數結合的損失函數

交叉熵損失函數是遙感影像分類任務中最常用的一種損失函數(L_bce)，可從預測值(pr)與真值(gt)之間的交叉熵計算得到，公式為：

L_bce=-gt·ln(pr)，

(5)

本文引入dice系數，將交叉熵與dice系數之和作為新的損失函數，對FPN-SENet網絡模型進行訓練，定義為：

L_bce_dice=L_bce+L_dice，

(6)

L_dice=1-F，

(7)

(8)

式中：precision為準確率；recall為召回率；β為準確率和召回率之間的平衡系數，本文β取值為1，表示準確率和召回率同等重要。

1.3 基于窗函數平滑預測的分類后處理方法

由于受計算機硬件設備的限制，采用FCN對遙感影像進行訓練和預測時，需將遙感影像和樣本圖像裁剪成較小尺寸的圖像進行處理，但是在分塊進行遙感影像預測分類時，2塊之間的邊界附近可能存在明顯拼接縫的現象，常見的方法是通過重疊切割減少分塊拼接痕跡[23]，提升分類效果，而本文引入一種二次樣條窗函數，進行平滑拼接預測分類，該窗函數由一維二次樣條窗函數擴展而來，公式為:

(9)

w1(n)=2t(n)2,1≤n≤0.25M,0.75M≤n≤M，

(10)

w2(n)=1-2(t(n)-1)2,0.25M

(11)

(12)

該窗函數的一維剖面和二維形狀如圖3所示，將該窗函數的權重系數與模型預測分類的二維圖斑矩陣相乘，可以突出分塊圖斑中心區域，而抑制分塊圖斑邊緣區域，并以圖像塊邊長的1/2作為滑動步長，在整幅待預測影像上進行滑動預測，獲得平滑預測的分類圖斑。

(a)系數圖 (b)剖面圖

2 基于多源衛星影像和矢量成果數據的建筑物樣本集制作

深度學習模型訓練需要大量的樣本庫，本文制作了大規模的逐像素標注樣本數據集：首先，收集整理地理國情監測成果數據中的地表覆蓋矢量數據和對應的高分辨率衛星遙感影像，該地表覆蓋數據是基于高分辨率遙感影像進行人工目視解譯，并結合一定的指標和規則制作完成，其主要內容和采集指標參考《地理國情普查內容與指標》[24]；然后，選取地表覆蓋矢量數據中房屋建筑較多的地區作為樣本制作區域，同時去除衛星影像中有云覆蓋的區域，裁剪出房屋矢量數據和對應區域的衛星影像，再將房屋矢量數據轉化為柵格格式，形成與衛星影像逐像素對應的標簽數據，完成建筑物的樣本標注；最終，選取了200景衛星遙感影像完成多源衛星遙感建筑物樣本數據制作，其中高分二號影像約占1/2，北京二號和高景一號影像各占1/4。

本文將制作的建筑物樣本數據集簡稱為SCRS Buildings Dataset，樣本影像的覆蓋范圍約1萬km2，總像素約10億個，其中，建筑物占比為8%。初始的樣本數據尺寸大小并不一致，在模型訓練之前，可以根據神經網絡模型的輸入尺寸將初始樣本裁剪成固定大小的小樣本，若按照512像素×512像素裁剪，可以制作約50 000個小樣本。由于樣本制作采用了融合后的衛星遙感影像，每個樣本影像包含4個波段，樣本影像的空間分辨率為0.5～0.8 m，樣本示例如圖4所示，分別是3種衛星的真彩色影像、假彩色影像、標簽數據。由于樣本標簽從地理國情監測成果數據而來，許多建筑物標簽有圖斑綜合現象，即房屋建筑區內面積小于1 600 m2的綠化林地、綠化草地、硬化平地等綜合成建筑物類別，如圖5所示。

(a)北京二號真彩色影像 (b)高分二號真彩色影像 (c)高景一號真彩色影像

(a)真彩色影像 (b)假彩色影像 (c)標簽數據

3 試驗與分析

試驗基于TensorFlow和Keras深度學習開源框架，采用python語言編程實現，試驗操作系統為Ubuntu 16.04，GPU顯卡選用NVIDIA GTX1080TI。模型訓練時，將訓練樣本分為訓練集和驗證集，驗證集占總樣本的1/3，Batch_size設置為6，樣本圖像輸入尺寸為512像素×512像素，利用Adam算法進行網絡優化，學習率設置為0.000 1。

精度評估采用基于誤差矩陣為核心的分類精度評價方法[25]，評價指標包括總體精度(OA)和Kappa系數、F1分值和IoU(交并比)[26]，公式為：

(13)

(14)

(15)

式中：TP為屬于類別C被正確分到類別C的樣本；FN為不屬于類別C的樣本被錯誤分類到類別C；FP為不屬于類別C的樣本被正確分類到了類別C的其他類。F1和IoU取值為0～1之間，值越大，分類精度越好。

3.1 與WHU衛星數據集比較

為了分析SCRS數據集的性能，采用FPN-SENet分別在WHU數據集和SCRS數據集上進行訓練、測試：①WHU 衛星數據II(Satellite dataset Ⅱ (East Asia))，包含2幅訓練數據和1幅測試數據，將訓練數據裁切成512像素×512像素大小，2/3為訓練集，1/3為驗證集，利用訓練后的模型對測試數據進行分類和精度評估；②SCRS數據集，將訓練數據裁切成512像素×512像素大小的圖像，2/3為訓練集，1/3為驗證集，利用訓練后的模型對測試數據進行分類和精度評估。其中，SCRS的測試數據，分別在不同區域選取高分二號2景、北京二號2景、高景一號2景影像，從每一景中裁剪出高寬為5 000像素×5 500像素建筑物豐富的影像，拼接成一幅高寬為5 000像素×33 000像素的測試數據，如圖6所示。

(a)真彩色影像

表1給出了FPN-SENet分別在WHU數據集和SCRS數據集上的測試精度，表明SCRS建筑物提取的精度接近目前國際上精度最高的開源衛星影像建筑物數據集(WHU數據集)，但是WHU數據集的影像只有3個波段，而SCRS數據集的影像有4個波段，可以選擇用真彩色影像或假彩色影像，從表 1可以看出，假彩色影像的F1值和IoU比真彩色影像高2.9和4.0百分點。

表1 SCRS數據集與WHU數據集的比較Tab.1 Comparison of the SCRS dataset with the WHU dataset

3.2 常用FCN模型比較

目前遙感影像的像素級分類幾乎都是基于FCN，于是本文以SCRS數據集中的真彩色影像為輸入，對目前較為流行的幾種FCN模型進行評估，表 2給出了FCN-8s，Segnet，U-net，PSPNet和本文方法(FPN-SENet)的分類精度，測試數據仍選擇圖5的影像。從測試結果來看，FPN-SENet取得了最優的結果，相對于表現次之的U-net，本文方法的F1值和IoU高出2.4和3.1百分點，比PSPNet的結果高出5.7和7.4百分點。從文獻中得知，傳統方法的準確率難以超過50%[20]，而表2中語義分割模型的F1-score均超過了70%，說明深度學習方法在衛星影像建筑物提取中具有很好的應用前景。

表2 不同網絡模型的比較Tab.2 Comparison of the FPN- SENET with other networks

3.3 不同損失函數的比較

為了提升FPN-SENet在SCRS數據集上提取建筑物的性能，本文嘗試用多種損失函數對SCRS數據集進行訓練和測試，表3顯示了不同損失函數模型在測試數據的精度，影像輸入波段為假彩色3波段，L_bce模型的建筑物提取準確率最高，達到了84.7%，L_dice模型的召回率最高，達到了83.3%，而L_bce-dice能夠在準確率和召回率之間取得平衡，保證提取精度最優，F1分值和IoU分別達到了81.7%和69.1%。

表3 不同損失函數的比較Tab.3 Comparison of results from models trained with different loss functions

3.4 基于窗函數平滑拼接的效果

本文在整幅測試影像進行分類時，采用了平滑預測的后處理方式，圖7顯示了基于窗函數平滑拼接的效果，可以看出，采用分塊直接拼接時，圖像塊之間存在明顯的拼接痕跡，分塊邊緣處的地物不連續；而基于窗函數平滑拼接的結果中，地物在塊與塊之間過渡更自然，圖斑連續性更好，邊界更整齊。采用精度最優的模型，對測試影像的自動提取效果如圖8所示，可以看出本文方法能夠很好地從高分辨率衛星影像中提取建筑物。

(a)測試影像 (b)分塊直接拼接 (c)基于窗函數平滑拼接

(a)測試數據整體效果

4 結論

本文基于國產高分衛星影像和地理國情監測成果數據，制作衛星影像建筑物數據集，該方法能夠快速制作大規模的像素級標注數據集，且采用一種基于注意力增強的特征金字塔建筑物提取網絡對數據集進行測試，主要結論如下：

1)本文制作的衛星影像數據集的建筑物提取精度接近國際先進的開源衛星影像建筑物數據集，且數據集影像為4波段。

2)本文提出的網絡模型，在建筑物提取上的精度優于其他常用的FCN網絡。

3)通過改進損失函數、基于窗函數平滑拼接的技術手段，能夠進一步提高建筑物提取精度和效果。本文結合國家重大項目需要提出的衛星影像建筑物自動提取方法，能夠為深度學習方法在遙感解譯領域的深入應用提供借鑒意義。未來將繼續研究深度學習方法針對不同數據源、不同時相衛星影像的適用性，并制作更多地物類型、更大規模的遙感影像樣本數據，推廣深度學習方法在遙感自動解譯領域的應用。