基于深度學習的遙感圖像地物分割方法

沈言善，王阿川

(東北林業(yè)大學 信息與計算機工程學院，黑龍江 哈爾濱 150000)

1 引 言

如何將遙感圖像中的地物信息快速準確地進行分割是當前的研究熱點之一[1]。傳統(tǒng)的分割方法與地物的一系列特征有關，針對不同地物的特征，采用的方法也不同。針對森林植被分類，李亮等[2]提出了一種綜合光譜、紋理、結構特征的高分辨率遙感影像變化檢測方法。針對道路分類有最近鄰[3]、隸屬度函數(shù)[4]等方法。上述傳統(tǒng)方法只能針對某種地物特性采用相對應的方法，分割的地物種類單一。而高分辨率遙感圖像通常包含道路、建筑、水源、植物等具有豐富細節(jié)信息的地物目標。針對遙感圖像中多種信息特征，傳統(tǒng)的分割方法很難同時有效地進行多目標分割。近年來，計算機視覺技術發(fā)展迅速，語義分割作為研究熱點之一，在衛(wèi)星遙感圖像和醫(yī)學影像等領域都有著廣泛的應用前景。Long 等[5]第一個提出了用于語義分割的全卷積神經(jīng)網(wǎng)絡(FCN)，開啟了全卷積網(wǎng)絡用于圖像語義分割的新篇章。其他優(yōu)秀的語義分割網(wǎng)絡結構還包括U-net[6]、SegNet[7]、MobileNetV2[8]、PSPNet[9]等。但是在遙感圖像中，受目標類別分布不均衡等因素的影響，常用的語義分割方法針對高分辨率遙感圖像的多類別分割問題并不能達到有效目的。

為了解決以上問題，本文借鑒了U-net模型結構，設計并提出了一種改進的全卷積神經(jīng)網(wǎng)絡模型用于高分辨率遙感圖像的地物分類任務。通過使用擴張卷積作為卷積層之間的級聯(lián)方式在不增加網(wǎng)絡參數(shù)的情況下增大感受野，降低訓練與預測時的計算量，提高了模型運行的效率。針對樣本類別不均衡帶來的模型偏好問題，采用加權交叉熵作為模型的損失函數(shù)提高了模型的泛化能力。實驗結果表明，本文模型總體的分割效果優(yōu)于U-Net和SegNet模型，證明了該模型在遙感圖像地物分類中的有效性。

2 相關理論及網(wǎng)絡設計

全卷積神經(jīng)網(wǎng)絡(FCN)的提出是在2016年，相比較于CNN和VGG等卷積全連接的網(wǎng)絡結構，F(xiàn)CN將卷積層替代全連接層來處理語義分割問題。全卷積神經(jīng)網(wǎng)絡主要有3個特點：一是采用全卷積的方式對輸入圖像進行特征提取和下采樣；二是使用雙線性插值的方法進行特征圖的上采樣；三是使用跳躍連接進行對應層的特征融合。早期基于深度學習的圖像分割以FCN為核心，旨在重點解決如何更好地從卷積下采樣中恢復丟掉的信息損失。U-Net是一個結構對稱的U型全卷積神經(jīng)網(wǎng)絡，它和FCN都是基于Encoder-Decoder[10]結構。Encoder負責特征提取，由卷積操作和下采樣操作組成，在這里采用的卷積結構統(tǒng)一為 3×3 的卷積核，padding 為 0，striding 為 1。Decoder負責樣本還原，由反卷積操作和上采樣操作組成。反卷積的卷積核也為3×3，上采樣采用雙線性插值法。Skip Connection將U-Net中的底層特征中的位置信息和深層特征中的語義信息相融合，實現(xiàn)端到端的像素級分類。

2.1 數(shù)據(jù)集及其預處理

本文采用的數(shù)據(jù)集為2015年南方某地區(qū)的高分辨率衛(wèi)星遙感影像，共包含5幅大尺寸的原始圖像和5幅標簽圖。該數(shù)據(jù)集的標簽圖共標記了5種類別的地物目標。為了更好地觀察標注情況，我們將人工標記圖片可視化如下：紫色表示其他、藍色表示植被、綠色表示道路、黃色表示建筑、紅色表示水體。圖1(a)和(b)分別是公開數(shù)據(jù)集樣本和可視化的標記圖。表1是本文所用數(shù)據(jù)集的樣本分布統(tǒng)計情況。將數(shù)據(jù)集用4∶1的比例分開，分別用作實驗的訓練集和測試集。由于原始數(shù)據(jù)集中遙感圖像尺寸從4 000×4 000到8 000×8 000不等，直接作為網(wǎng)絡的輸入圖像會導致內(nèi)存溢出而無法訓練，因此使用OpenCV對其做了相應的數(shù)據(jù)增強處理。具體地，將用于模型訓練的每幅標簽圖的4個地物類別分別截取成僅包含植被、道路、建筑、水體的4幅子圖。把訓練集中每幅原始圖像和標簽子圖隨機切割成256×256大小的圖像塊，然后對圖像塊做了旋轉操作、色彩調(diào)整[11]、以及增加噪聲操作(Gaussian noise，salt-and-pepper noise)。通過上述處理，新的訓練集包含10萬幅256×256大小的子圖像。

(a) 原始圖像(a) Original image

表1 數(shù)據(jù)集樣本分布統(tǒng)計Tab.1 Dataset sample distribution statistics

2.2 改進卷積方式

針對遙感圖像的語義分割是一種端到端的像素級分類任務，圖像分割的精確度一定程度上取決于上下文的信息。傳統(tǒng)的卷積計算通過增大卷積核的尺寸來獲得更多的感受野，但這樣會使網(wǎng)絡的參數(shù)增多，消耗更多的硬件資源。擴張卷積[12](Dilated Convolution)是一種不同于傳統(tǒng)卷積的卷積方式，能夠對輸入圖像采用具有更大感受野的濾波器提取特征，并且不會增加網(wǎng)絡的參數(shù)。如圖2所示，紅點表示兩種相同尺寸不同卷積方式的卷積核，藍色的區(qū)域表示感受野大小。圖2(a)中擴張率為1，感受野大小為3，與傳統(tǒng)卷積計算的感受野一樣；圖2(b)中擴張率為2，感受野大小為7。若采用傳統(tǒng)卷積，則需尺寸為7×7的卷積核才能獲得同樣的感受野。對比圖2(a)和(b)可知，相較于傳統(tǒng)卷積，擴張卷積在不增加卷積核尺寸的同時能獲得更大的感受野。圖3(a)為2個標準3×3卷積層級聯(lián)所組成的卷積序列。圖3(b)為將兩層級聯(lián)的卷積層設置擴張率為1和2的擴張卷積序列。對比圖3(a)和(b)可以看出，在使用擴張率為1和2的擴張卷積級聯(lián)形成卷積序列中，高層神經(jīng)元在輸入層能具備更大感受野。通過圖3(a)的方法將模型中的卷積模塊變?yōu)閿U張卷積模塊，能夠在增大高層神經(jīng)元在輸入層上感受野的同時保證了神經(jīng)元的語義信息連續(xù)性。

圖2 擴張卷積示意圖Fig.2 Schematic diagram of dilated convolution

(a) 標準卷積級聯(lián)(a) Standard convolution cascade

2.3 激活函數(shù)的選取

激活函數(shù)是神經(jīng)網(wǎng)絡結構中的重要部分，其中經(jīng)典U-Net 網(wǎng)絡中采用RELU[13]函數(shù)作為激活函數(shù)，其定義如式(1)所示：

f(x)=max (0,x)，

(1)

其函數(shù)變化曲線如圖4所示。RELU實際上是一個分段函數(shù)，當輸入為正值時輸出不變，但在輸入為負值時，RELU是硬飽和的，在反向傳播的中梯度始終為0，權重參數(shù)無法更新，會導致神經(jīng)元死亡。為解決輸入為負值時神經(jīng)元失活問題，將RELU函數(shù)的前半部分從0變?yōu)橐粋€指數(shù)函數(shù)，得到了指數(shù)線性單元[14](ELU)。其定義如式(2)所示：

圖4 RELU和ELU的函數(shù)圖Fig.4 Function diagram of RELU and ELU

(2)

對于ELU的導數(shù)來說，如果輸入為負值，輸出不為常數(shù)0，就可以避開死亡RELU問題，同時還保持了一定的稀疏性，可以有效緩解梯度消失問題。

2.4 損失函數(shù)的設計

損失函數(shù)是遙感圖像語義分割任務中重要的組成部分，常用的分類損失均可用作語義分割的損失函數(shù)。其中經(jīng)典U-Net網(wǎng)絡模型使用的二分類交叉熵作為損失函數(shù)，其定義如式(3)所示：

Loss=-[yij·lgpij+(1-yij)·
lg (1-pij)]，

(3)

pij是像素i被模型預測為j類的概率，yij是樣本實際標簽，如果像素點i屬于j類，取值為1，否則取值為0。

本文數(shù)據(jù)集目標地物類別有4類(不包括“其他”類)，在表1中樣本數(shù)量較少的道路和水體分別占6.5%和6.6%，而建筑和植被則占到了24.8%和32.6%。使用具有類別不均衡問題的數(shù)據(jù)作為訓練集，網(wǎng)絡在訓練過程中擬合過的各地物類別的像素數(shù)量不同，影響了其對不同類別像素分割的準確率。在圖片分類問題中，往往通過數(shù)據(jù)增強的方式使不同類別圖片在數(shù)量上實現(xiàn)均衡。但遙感圖像地物分類不同于圖片分類任務，一幅遙感圖像中的標簽信息并非單個類別值，而是一幅二維平面上的類別分布圖。在實驗中發(fā)現(xiàn)，僅是通過數(shù)據(jù)增強的方法增加小類別圖片的數(shù)量對模型的分割精度沒有相應提高，因此對遙感圖像的類別不均衡問題應該考慮通過在損失函數(shù)中添加權重項進行類別均衡。通過為小類別像素賦予更大的權重值，為大類別賦予較小的權重值，可縮小在模型訓練中不同地物類別像素計算損失函數(shù)平均值的差距。

本網(wǎng)絡采用根據(jù)樣本不同地物類別比例作為權重項的加權交叉熵作為模型的損失函數(shù)，其定義如式(4)所示：

Loss=-[wijyijlgpij+(1-yij)lg (1-pij)]，

(4)

pij是像素i被模型預測為j類的概率。yij是樣本實際標簽，如果像素點i屬于j類，取值為1，否則取值為0。wij是權重系數(shù)，n為樣本總像素數(shù)，nij為像素點i屬于j類的像素數(shù)。

2.5 基于改進U-net的遙感圖像語義分割模型

本文所改進的DL-Unet網(wǎng)絡模型結構如圖5所示。該網(wǎng)絡包含9個卷積級聯(lián)結構，每一個卷積級聯(lián)設置為圖3所示的擴張率為1和2擴張卷積序列，在卷積運算后加入BN層[15]。在網(wǎng)絡的編碼器部分，每個卷積層的卷積核尺寸為3×3,過濾器(Filter)深度為64。每兩個卷積級聯(lián)之間有一個窗口大小為2×2、步長為2的最大池化層(Maxpooling)。網(wǎng)絡的解碼器結構與編碼器結構完全對稱，卷積層的卷積核大小和過濾器深度與編碼器部分相同。每兩個卷積級聯(lián)之間有一個窗口大小為2×2、步長為2的上采樣層(Upsampling)。編碼器和解碼器部分相對應的卷積層采用跳躍連接的方式融合特征信息。

圖5 DL-Unet模型網(wǎng)絡結構Fig.5 DL-Unet model network structure

3 實驗與分析

3.1 性能評價

遙感圖像地物分類是一種圖像分割問題，其本質上是一種圖像像素分類。對分類后的遙感圖像，可以使用像素準確率(Pixel Accuracy，PA)、平均像素準確率(Mean Pixel Accuracy，MPA)與平均交并比(Mean Intersection over Union，MIoU)等[16]常見的分類評價指標來評估模型好壞。評價每個像素的預測輸出結果，即該像素分類結果取真正例(TP)、假正例(FP)、真反例(TN)、假反例(FN)4種結果中的一種，然后根據(jù)這4個指標計算,為了便于解釋，假設k+1表示類別數(shù)量(其中包含一個空類或背景)，pij表示假正例的像素數(shù)量，pji表示假負例的像素數(shù)量，pii表示真正例的像素數(shù)量。PA表示預測正確的像素占總像素的比例，定義如式(5)所示：

(5)

k+1表示類別數(shù)量(其中包含一個空類或背景)。

MPA表示分別計算每個類別分類正確的像素數(shù)占所有預測為該類別像素比例的平均值，定義如式(6)所示：

(6)

k+1表示類別數(shù)量(其中包含一個空類或背景)。

MIoU的定義為：將標簽圖像和預測圖像看成是兩個集合，計算兩個集合的交集和并集的比值，將所有類別計算得出的比值取平均。定義如式(7)所示：

(7)

k+1表示類別數(shù)量(其中包含一個空類或背景)。

3.2 模型訓練及測試

實際為每一類地物目標訓練了一個二分類模型，共得到植被、道路、建筑、水體的分割模型。在上述的實驗環(huán)境下對圖5所示的網(wǎng)絡模型進行訓練。實驗將數(shù)據(jù)集按5∶1比例進行劃分，即75 000張圖像作為訓練集，25 000張圖像作為驗證集。模型訓練采用批處理方式，每一個batch輸入16張圖片，完成一個epoch需要6 250個batch，設定模型完成30次epoch。模型基于keras 框架使用GPU 進行訓練，優(yōu)化器設置為Adam(Adaptive moment estimation)，評價指標為準確率(Accuracy)，使用加權的交叉熵損失函數(shù)。在模型訓練的過程中設定監(jiān)視對象為val_acc，當val_acc 最大時自動保存最優(yōu)權值，保存在最優(yōu)權重下的模型。訓練過程中的學習率設置為0.001。如圖6所示 ，隨著迭代次數(shù)的增加，訓練集和驗證集的準確率與損失變化趨于平緩，表明模型達到了最優(yōu)。

圖6 訓練過程Fig.6 Training process

將訓練好的各類模型分別對測試圖像進行植被、道路、建筑和水體的預測，共得到4幅預測好的子圖。由于測試圖像尺寸較大，需要將其分割為256×256 大小的多張圖片進行預測，然后根據(jù)其位置再進行拼接成一幅完整的預測圖。在合并4幅分割好的各類別子圖時，使用相對多數(shù)投票的策略，即判定該像素的類別為4幅子圖中出現(xiàn)次數(shù)最多的類別。如果某一像素點類別判定出現(xiàn)次數(shù)相同的情況時，則按照植被>道路>建筑>水體的優(yōu)先級來確定該像素點的類別。遙感圖像地物分割的流程如圖7所示。

圖7 遙感圖像地物分割流程圖 Fig.7 Remote sensing image feature segmentation flowchart

將預測出的結果寫入灰度圖中，像素值介于0～4 之間，為了便于觀察，將每個像素值可視化為不同的顏色，如表2所示。

表2 數(shù)據(jù)可視化轉換表Tab.2 Data visualization conversion table

3.3 實驗結果分析

在上述實驗條件下分別使用了經(jīng)典的語義分割網(wǎng)絡FCN-8s、DeconvNet、SegNet、U-Net和本文提出的方法進行訓練和預測，各方法分割完成并可視化的結果如圖8所示。

圖8 測試圖片分割結果Fig.8 Test image segmentation results

不同分割模型的各個地物類別的像素準確率(PA)如表3所示，各個模型在測試集上的平均像素準確率(MPA)和均交并比(MIoU)如表4所示。

從預測圖和表3可以看出，本文的分割方法相較于多分類U-Net網(wǎng)絡對于植被的像素準確率提高了3.30%，道路的像素準確率提高了5.40%，建筑的像素準確率提高了5.22%，水體的像素準確率提高了6.42%。從表4可以看出，本文的分割方法相較于U-Net網(wǎng)絡在測試集上的平均像素準確率和均交并比分別提高了5.94%和9.45%。

表3 各個地物類別的像素準確率Tab.3 Pixel accuracy of each feature category

表4 不同模型的測試結果Tab.4 Test results of different models

在使用上述的數(shù)據(jù)集外，我們新增加了2020 CCF BDCI 遙感影像地塊分割比賽的部分數(shù)據(jù)集來進行實驗。該數(shù)據(jù)集包含20 000張分辨率為2 m/pixel、尺寸大小為256×256的原始圖和20 000張包含建筑、耕地、林地、水體、道路、草地、其他、未標注區(qū)域這8個類別語義標簽的標簽圖。為了更好地符合本文網(wǎng)絡的輸入，將耕地、草地、林地歸為植被類別，將未標注區(qū)域歸為其他類。

按3.2節(jié)所提的實驗條件分別使用了經(jīng)典的語義分割網(wǎng)絡FCN-8s、DeconvNet、SegNet、U-Net和本文提出的方法進行訓練和預測，各個模型在測試集上的平均像素準確率(MPA)和均交并比(MIoU)如表5所示。

表5 在CCF BDCI數(shù)據(jù)集上的不同模型的測試結果Tab.5 Test results of different models on CCF BDCI database

從表4和表5可以看出本文方法在兩個不同的遙感圖像數(shù)據(jù)集上的平均像素準確率和均交并比優(yōu)于U-Net和其他3種語義分割網(wǎng)絡。

4 結 論

本文提出了一種基于U-Net網(wǎng)絡改進的全卷積神經(jīng)網(wǎng)絡分割方法，對遙感圖像實現(xiàn)了像素級別的分類。在保留了U-Net優(yōu)點的同時，采用擴張卷積級聯(lián)方式能考慮更多圖像上下文信息并且不會增加網(wǎng)絡的計算量。同時為了克服樣本不均衡帶來的模型選擇偏好問題，本文采用了根據(jù)數(shù)據(jù)集地物類別比例來設置權重項的加權交叉熵作為模型的損失函數(shù)。對每一個地物類別都分別訓練了一個二分類模型，然后采取相對多數(shù)投票策略并設置地物類別優(yōu)先級的方法有效提升了預測圖在各個地物類別的像素準確率(PA)。該模型的預測結果在平均像素準確率(MPA)和均交并比(MIoU)上相較于經(jīng)典U-Net和SegNet有一定提升。實驗結果表明，本文所提出的方法能夠較精確地分割地物目標，達到比較好的效果。

但因硬件設備計算能力有限，模型的batchsize參數(shù)并不能設置得比較大，這影響了邊緣分割的精細度。后續(xù)的研究將探索如何在進一步減少模型的參數(shù)情況下增加模型邊緣分割的精度。