用于遙感圖像語義分割的多重預測網絡

倪家輝，周激流

（1.四川大學電子信息學院，成都 610065；2.四川大學計算機學院，成都 610065）

0 引言

遙感圖像的語義分割是遙感圖像處理中最基本和最具挑戰的任務之一，特別是在一些具有超高分辨率的遙感圖像中，通過對遙感圖像進行精確的分割，能夠有效地實現道路建筑的提取、土地覆蓋的分類以及地貌變換的監測等。相對于自然圖像的分割任務，遙感圖像可以具有多光譜的信息用于提取不同類別的語義特征，但同時，由于遙感圖像的地貌類別較為復雜、像素級的精確標注難度較大以及不同數據集的差異，遙感圖像的語義分割任務難度較大。而近年來，由于卷積神經網絡在圖像特征提取與物體表征的強大能力，越來越多基于深度學習的模型被應用于遙感圖像的語義分割，其中，全卷積網絡（fully convolutional network）在圖像分割任務中取得了巨大的進步。與此同時，常見的卷積神經網絡受限于卷積核的局部感受野以及短程的上下文語義信息，圖像分割仍是一個十分具有挑戰性的任務，特別是對于具有更加復雜地貌類別的遙感圖像來說，難度進一步加大。為解決圖像長短距離的依賴關系并進一步提取更顯著的語義特征，目前提出了穹狀空間金字塔池化模塊（ASPP），金字塔池化模塊（PPM）動態地獲取不同大小池化區域的特征表示；另一方面，為了獲取密集的像素級的上下文語義特征，研究者提出了自注意機制去增強不同像素之間的關系。但是，大多數方法是對較深特征圖的單一層次的預測輸出，并且常常忽略了相同類別和不同類別之間關系。鑒于此，本文提出了基于多層次特征預測的模型來進一步提高遙感圖像語義分割的效果。

本文的模型先利用特征提取網絡獲得不同深度的特征圖，對于同一層次的特征來說，先利用卷積注意力機制模塊（CBAM）獲取全局的依賴關系，將通道數轉化為輸出類別的通道數，生成預監督的類別親和特征圖，用于加強類別內和類別間的語義特征關系，最后輸出語義分割的結果。本文所提出的模型考慮了不同深度特征的差異性，實現了多層次預測結果的輸出，能夠有效地實現語義分割任務。本研究在兩個不同遙感圖像語義分割數據集上驗證了該方法的有效性，并對比了常見的遙感語義分割模型，證明了該方法的先進性，在相關的評價指標上有一定的提升。

1 方法

如圖1所示，本文所提出的多層次預測網絡以ResNet101為基本骨干網絡提取不同深度的語義特征，然后將相鄰的特征圖利用注意力整合模塊進行特征重構，得到相應層次的特征圖。這些特征圖隨后被輸入到對應的親和圖增強模塊中，輸出語義信息增強的特征圖和對應的具有類別數的親和特征圖。語義增強的特征隨后會經過一個1×1 的卷積層轉化為具有類別數的特征圖。最后，將多個層次的輸出特征圖相加并上采樣到輸入圖像的分辨率大小，最終得到相應的分割圖。

圖1 網絡結構

為了聚合不同深度的語義特征，本文利用注意力機制去整合ResNet 網絡提取的相鄰特征圖。使用了卷積核注意力機制模塊（CBAM），本文將相鄰特征圖分別輸入到空間注意力模塊和通道注意力模塊，將提取到的有用的特征相加，再經過一個卷積層得到自適應的注意力重構特征。如圖2（a）所示。

對于親和特征增強模塊，我們先利用兩個卷積層將重構后的特征轉為具有類別數的特征，再經過Softmax激活函數得到類別親和圖特征A，并用此類別親和圖特征點乘輸入的原始特征，用于加強該層的類內的語義關系，并用一個大小相同的全1矩陣減去類別親和特征，得到類間親和特征圖1-A，用于加強類間的語義信息特征，最后，將類內特征圖、類間特征圖以及類別親和特征圖拼接在一起， 得到輸出的親和增強特征圖，如圖2（b）所示。本文將多個層次輸出的結果相加得到最終的分割結果，并與標簽計算損失，進行網絡的優化。除此之外，我們將多層的親和圖相加得到全局親和圖，將此全局親和圖與語義分割的標簽計算交叉熵損失，進行初步的約束，以此實現不同層次的輸出關注不同類別區域的特征。

圖2 模塊結構示意圖

最終該模型的損失函數可以大致分為兩類：一個是多分類的交叉熵損失，另一個是基于親和圖的輔助損失，這個輔助損失不僅能使網絡關注不同類別區域，還能提升網絡的性能，使網絡更加易于收斂。最后，該模型的總損失函數可以表示如下：

其中，表示總的多分類的交叉熵損失，表示親和圖輔助損失，為超參數，用于權衡不同的損失，實驗中按經驗設置為0.5。

2 實驗

為了驗證該模型的有效性，本文選擇經典的語義分割網絡FCN為基準網絡，并對比了幾個常見的語義分割方法，在ISPRS 2D 語義分割數據集Vaihingen和Potsdam進行實驗。對于結果的定量指標，本文計算了每一類前景的分數、平均的分數、平均的交并比（mean IoU）以及總的分類準確率（overall accuracy）。

2.1 數據集

實驗中，本文選用了ISPRS 比賽的兩個遙感圖像語義分割數據集。其中，Vaihingen 數據集包含33 張超高分辨率的遙感圖像，每張圖像有三個光譜帶（紅、綠， 近紅外）以及一個歸一化的數字曲面模型（DSM）。該數據集的空間分辨率為9 cm，圖像的平均大小為2494×2064 像素，并且每張圖像都有較為精確的像素級手工標注，包含6個土地覆蓋類（5個前景類以及1個背景類別）。在具體實驗中選擇了其中的16張圖像用于訓練，另外的17 張用于測試。而Potsdam 2D 語義標注數據集包含了38 張高分辨率的遙感圖像，其空間分辨率為5 cm，包含了四個光譜帶（紅、綠、藍，近紅外）以及歸一化的DSM 圖像。同樣地，依據之前的工作，本文將其中24 張圖像用于訓練，剩下的14 張用于測試。在實驗中，未使用DSM圖像。

2.2 實驗設置

實驗中選用在ImageNet 上預訓練好的ResNet101 網絡為模型的特征提取骨干網絡，并且骨干網絡是可訓練的，其學習率與其他網絡層相同。對于不同數據集，初始的學習率都設置為0.01，使用了Poly 學習率調整策略。對于優化器，使用SGD進行網絡梯度的反向傳播，優化器的權重設為5e-04，動量設為0.9。同時，網絡訓練時使用了幾種數據增強的方法，包括隨機裁剪、隨機旋轉、隨機翻轉和隨機放縮。該模型是基于Pytorch框架實現的，并且在GTX 1080 Ti顯卡上進行了200 k迭代訓練。

2.3 實驗結果

為了得出綜合性的評價，實驗將該模型與現有的五種分割方法進行了比較，包括FCN、UNet、 Deep Labv3+、 PSPNet以 及DANet。Vaihingen 數據集上的定量評估指標如表1 所示。整體可以看到，該方法在平均指標、平均交并比和總的分割準確率上都優于其他方法。相較于基線方法，該方法在各個指標上都有較大的性能提升，在平均分數、平均交并比和總的分割準確率上都有約2%的提升，這也證明了本文所提出的相應模塊能有效地獲取類內和類間的語義信息。同時，為了進一步展示該方法的優越性，本文展示了該方法與基線網絡在Vaihingen 測試集上的幾個分割結果例子，如圖3 和表1 所示。從圖中可以看到，該模型能夠更加平滑地分割建筑物，表明我們的模型能夠學習長短距離的上下文語義信息；而且，該模型對小物體的車輛分割效果也十分的明顯，不會像基線網絡那樣無法區別不同的車輛，表明該模型對不同尺度的物體都有較好的魯棒性。除此之外，本文在Potsdam數據集上也進行了實驗，其定量和定性的結果分別如表2 和圖4 所示，這進一步證明了該模型的有效性。

表1 不同方法在Vaihingen數據測試集上的分割指標比較

表2 不同方法在Potsdam數據測試集上的分割指標比較

圖3 該方法與基線網絡在Vaihingen測試集上的分割結果實例（白色：不透水表面；藍色：建筑物；青色：低矮的植被；綠色：樹木；黃色：汽車）

圖4 該方法與基線網絡在Potsdam測試集上的分割結果實例（白色：不透水表面；藍色：建筑物；青色：低矮的植被；綠色：樹木；黃色：汽車；紅色：雜物/背景）

3 結語

本文提出了一個用于遙感圖像語義分割的多重預測分割網絡，每個分支能夠自適應地關注不同尺度的類別特征，在每一分支都包含一個特征聚合模塊和親和特征增強模塊，最后，將多個層次的綜合預測結果用于分割，與標簽圖像計算交叉熵損失。在兩個遙感圖像分割數據集上進行實驗，該模型在定量和定性結果上性能都有明顯的提升，該模型能夠學習長短距離的上下文信息，對不同大小的物體都能進行有效的分割。