利用Deeplab v3提取高分辨率遙感影像道路

韓玲，楊朝輝，李良志，劉志恒，黃勃學

(1.長安大學 地質工程與測繪學院，西安 710054；2.陜西省土地整治重點實驗室，西安 710054)

0 引言

道路信息是許多應用的必要組成部分，如車輛導航[1]、城市規劃[2]、智能交通[3]、地理信息系統更新[4]、土地利用檢測[5]等。高分辨率遙感影像具有分辨率高、地物信息豐富、易獲取的特點[6-7]，因此，研究如何有效地從高分辨率影像中提取道路信息具有很大的應用價值。遙感影像道路提取是根據遙感影像自身的信息，通過某種算法提取道路獨有的各類特征并將其分割為2個互不相交的子空間，進而將符合道路特征的像素劃分到道路子空間，其余像素則為非道路。但是由于高分辨率遙感影像的光譜特征非常豐富，“同物異譜”和“異物同譜”現象非常明顯[8]，因此傳統的基于像元的方法如光譜分析、閾值分析、邊緣檢測等簡單易實現但易產生噪聲，導致誤判，使得提取準確度較低。傳統的面向對象方法如最近鄰[9]、支持向量機[10]、隸屬度函數[11]、知識模型[12]等直接對對象的信息進行建模，將圖像進行初始分割或者聚類成塊狀的小區域，通過將同質區域合并得到道路對象，需要遍歷圖像，容易導致過度提取。

近年來計算機技術飛速發展，語義分割算法也得到了很大的改進，卷積神經網絡(convolutional neural network，CNN)[13]被廣泛應用，張慶輝等[14]利用卷積神經網絡進行道路目標檢測，但是由于CNN使用了較大的接受域，提取的道路邊緣粗糙[15]。Jonathan等[16]提出了全卷積網絡(fully convolutional networks，FCN)，使得卷積神經網絡無需全連接層即可進行密集的像素預測，可接受任意尺寸的輸入。鐘傳琦[17]利用改進的全卷積神經網絡進行了道路提取實驗，發現提取的道路缺乏空間一致性。Ronneberger等[18]提出了U-Net，通過將特征在通道維度進行拼接，形成更厚的特征，從而能夠適應很小的訓練。但是，實驗發現U-Net在分割時收斂速度較慢，而且道路邊緣分割效果不理想。Chen等[19]提出了Deeplab v1模型，并首次提出了空洞卷積，通過增加卷積核的大小來達到相同的感受野，還采用了條件隨機場(conditional random fields，CRF)對分割邊界進行平滑，消除邊緣噪聲。Deeplab v2在Deeplab v1的基礎上增加了空洞空間金字塔池化(atrous spatial pyramid pooling，ASPP)，采用不同的空洞率以獲得多尺度特征。Deeplab v3網絡[20]在Deeplab v2的基礎上，將主干網絡替換為殘差神經網絡(residual neural network，ResNet)，并改進了ASPP模塊，去掉了CRF后處理步驟，相比Deeplab v1和Deeplab v2速度更快，分割更準確，是一種更通用的框架。

Deeplab v3網絡起初是為ImageNet數據集中的多分類任務設置而成的，網絡結構內包含較多數目的特征圖，因此多應用于遙感影像的多分類任務中，如袁立等[21]利用改進的Deeplab v3方法實現了遙感影像分類，并取得了較好的分類效果。因此，針對道路提取的二分類任務，本文借鑒了Deeplab v3模型在多分類任務中的應用效果，考慮采用Deeplab v3模型進行道路提取實驗，并驗證其可行性，提高道路提取的精度。

1 Deeplab v3道路提取模型

Deeplab v3網絡借鑒遷移學習的思想，先將ResNet網絡在ImageNet數據集中進行學習，再將學習得到的模型參數預加載進ResNet網絡中，通過在最后一個ResNet塊中使用空洞卷積來擴大感受野，最后在ResNet塊中使用空洞空間金字塔池化來提取道路的多尺度特征。

1.1 ResNet架構提取道路特征

ResNet是一個非常流行的深度卷積神經網絡架構，其主要貢獻是提供了簡化深度學習模型訓練的框架。本文實驗所用的Deeplab v3道路提取模型采用的是ResNet-50預訓練模型，網絡結構如圖1所示，從左向右共50層，包括1個卷積層、1個最大池化層、4個卷積組、1個平均池化層、1個全連接層和1個Softmax分類器層。第一個卷積層被最大池化輸出為56×56×64的特征圖，接下來是4個卷積組(分別為圖2中的卷積組1、卷積組2、卷積組3、卷積組4)，從前至后每個卷積組內包含的卷積層個數分別為3、4、6、3。每個卷積組內卷積層的卷積核個數不相同：卷積組1內的卷積核數量分別是64、64、256；卷積組2內的卷積核數量分別是128、128、512；卷積組3內的卷積核數量分別是256、256、1 024；卷積組4內的卷積核數量分別是512、512、2 048；卷積組4層被平均池化，全連接層布置在平均池化層之后，最后再將結果輸入到Softmax分類器得到概率。

圖1 ResNet-50網絡結構圖

圖2 ResNet-50卷積組結構示意圖

1.2 空洞卷積實現密集預測

全卷積網絡雖然能夠實現像素級的圖像分割，但是分割得到的結果往往不夠精細。主要是因為使用了較大的感受野導致分割結果粗糙，特征圖較少(圖3(a)、圖3(b))。感受野是輸出特征圖某個節點的響應對應的輸入圖像的區域。圖3中左邊的大括號代表感受野的大小，右邊的圓圈代表特征圖。從圖中可以發現，當特征圖大小相同時，步長變大，會導致感受野變大；相反，步長變小，感受野變小。但是若需要保持相同的感受野，步長變大，會導致特征圖變小，分割粗糙。感受野大小、特征圖大小、步長、卷積核大小之間的關系可以用式(1)表示。

rn=(rn+1-1)×sn+kn

(1)

式中：rn表示感受野大小；rn+1表示特征圖大小；sn表示步長；kn表示卷積核大小。從式(1)也可以解釋上述規律。因此，為了解決特征圖和感受野之間的矛盾，Deeplab v3采用了空洞卷積，如圖3(c)和圖3 (d)分別是采用了擴張率為2和3的空洞卷積，可以發現擴張率為1的空洞卷積就是標準卷積，空洞卷積將連續的連接關系根據擴張率的大小變成了跳躍連接，能夠在保證不降低空間維度的同時增大感受野，使得分割更加精細。

圖3 空洞卷積示意圖

1.3 ASPP捕獲多尺度道路特征

由圖3 (b)、圖3 (c)、圖3 (d)以及式(1)歸納總結，得到感受野大小、特征圖大小、步長、卷積核大小以及擴張率之間的關系，如式(2)所示。

(2)

式中：rn表示感受野大小；rn+1表示特征圖大小；sn表示步長；kn表示卷積核大小；rate表示擴張率。從圖3可以發現，不同的擴張率可以獲得不同尺度的特征圖。因此，為了捕獲多尺度信息，Deeplab v3采用了空洞空間金字塔模塊，在特征頂部映射圖中采用不同擴張率的空洞卷積(擴張率分別為6、12、18)。但是，隨著擴張率的增加，濾波器的有效權重會逐漸變小，當擴張率接近特征圖大小時，并不能捕獲全文信息，而是退化為簡單的1×1濾波器。為了解決這個問題，Deeplab v3在ASPP模塊的最后應用全局平均，將結果經過1×1卷積再雙線性采樣到所需的空間維度。最終Deeplab v3改進的ASPP模塊包括以下2部分內容。

1)空洞空間金字塔模型。由一個1×1卷積和3個3×3的擴張率分別為6、12、18的空洞卷積以及批歸一化(batch normalization，BN)層構成，并且濾波器數量為256。

2)圖像級特征。即對特征圖進行全局平均池化，經過卷積再融合得到圖像級特征。圖4中，改進的ASPP模塊中的紫色邊框代表對特征圖進行全局平均池化。

Deeplab v3網絡結構如圖4所示。可以發現，Deeplab v3就是在ResNet網絡的卷積組4上使用了改進的空洞空間金字塔池化模塊，從左向右，步長逐漸增大。在卷積組3和ASPP中采用空洞卷積，保證在獲得多尺度特征的同時增大感受野，使得分割更加精細。

圖4 Deeplab v3網絡結構圖

2 實驗對比

2.1 實驗數據與流程

本文實驗所用的數據集源于“中國計算機學會(China Computer Federation，CCF)衛星影像的AI分類與識別競賽”。該數據集為2015年中國南方某地區的高分辨率遙感圖像，包括基于該遙感圖像目視解譯出來的地表覆蓋樣本數據(圖像形式)。圖像的空間分辨率為亞米級，光譜為可見光頻段(R、G、B)，已去除坐標信息。

數據集中的5張遙感影像由于大小不一，為了能夠得到較好的訓練效果，需要對原始影像進行裁剪。采取隨機裁剪的方法裁剪成256像素×256像素的圖像塊，然后從中隨機選取所需的訓練樣本和驗證樣本。

本文實驗基于Tensorflow平臺實現。首先，在原始影像上制作道路標簽圖；然后，對原始影像和標簽圖進行預處理，利用FCN模型和Deeplab v3模型進行訓練；最后，利用訓練結果對原始影像進行預測，得到對應的道路預測圖。實驗流程如圖5所示。

圖5 道路提取流程圖

2.2 實驗結果與分析

為了測試Deeplab v3方法的可行性和準確性，本文做了5組實驗，利用Deeplab v3方法進行道路提取，并與FCN方法的道路提取結果進行對比。圖6分別顯示了原始影像、道路標簽圖以及2種方法提取的道路結果，其中綠色區域為誤報像素，藍色區域為漏報像素。從圖6可以看出，這2種語義分割方法對道路的整體提取效果還是比較好的，提取的道路比較準確，也相對完整，因此語義分割算法對于道路的提取研究總體來說是成功的。但是這2種語義分割算法由于其神經網絡的不同，提取性能也是不同的。可以發現：FCN對主干道路提取性能較好，但是對于細小的分支道路出現了嚴重的漏提現象；Deeplab v3則對主干道路和細小分支都有很好的提取效果，主要因為Deeplab v3采用了空洞卷積和APSS模塊來提取多尺度特征。在背景相對簡單的組3、組4影像中，FCN的提取效果相對較好。此外，由于Deeplab v3的網絡結構相對復雜，Deeplab v3訓練樣本需要花費更多的時間。

圖6 實驗結果對比

統計道路標簽圖、FCN預測圖、Deeplab v3預測圖中的道路像素百分比，可以得到圖7的柱狀圖。可以發現，組1、組2、組3影像的Deeplab v3預測圖的道路像素百分比更接近道路標簽圖中的道路百分比，組4、組5影像的FCN預測圖的道路像素百分比更接近道路標簽圖的像素百分，進一步說明了上述的結論。通過對實驗結果的分析，現將2種方法的優缺點、適用范圍進行總結，如表1所示。

為了評估道路提取的定量性能，將道路標簽圖與對應的預測圖進行差值運算，并進行上色，得到圖8的差值運算圖，其中白色區域代表差異元素，黑色區域代表相同元素。可以發現，圖8(a)、圖8(b)、圖8(e)的FCN差值圖中的白色像素明顯多于Deeplab v3差值圖，說明FCN預測的錯誤率大于Deeplab v3，但是圖8(c)、圖8(d)的FCN差值圖中白色元素相對較少，說明FCN在背景簡單的圖像上提取效果較好，Deeplab v3在背景復雜的圖像上提取效果較好，與上文所得結論一致。

圖7 道路像素統計對比圖

表1 FCN和Deeplab v3方法對比總結

圖8 2種方法的預測圖與標簽圖差值結果對比

統計差值圖中的像素，計算3個評價指標[22]：完整性(COM)、正確性(COR)、質量(Q)。COM衡量了道路提取的完整性，測量了道路匹配區域所占的比例；COR衡量了道路提取的正確性，測量了道路提取面積所占的比例；Q衡量了整個提取工作的質量，測量的是道路提取面積占原始圖像道路面積的比例。詳細統計結果如表2所示。由表2可以看出，對于組1、組2、組5影像，Deeplab v3方法的各項指標都高于FCN方法，主要是因為組1、組2、組5影像相較于組3、組4影像，背景復雜，特征繁多，但Deeplab v3網絡在訓練時結合了道路的多尺度特征，可以精確地提取道路。相反，在背景簡單的組3、組4影像中，FCN方法的整體質量略高于Deeplab v3的結果。但是，針對正確性和完整性單個指標來說，還是Deeplab v3方法更優。

表2 FCN和Deeplab v3方法的精度評價對比

3 結束語

本文通過查閱近幾年遙感影像道路提取方法的文獻，側重對語義分割算法提取高分辨率遙感影像道路信息進行分析研究。主要選取了Deeplab v3語義分割算法進行道路提取實驗，并與FCN方法進行對比。實驗證明：Deeplab v3方法可以有效地提取高分辨率遙感影像中的道路信息，FCN網絡結構簡單易實現，主要適用于背景簡單、特征明顯的主干道路和鄉村道路；Deeplab v3采用深度卷積網絡，網絡結構復雜，但是可以提取多尺度特征，對背景復雜、干擾性較強的道路區域也有較好的提取效果。雖然Deeplab v3方法的訓練成本高，需要較好的訓練條件，但是該方法整體質量高達93%以上，整體效果優于FCN，具有較高的應用價值。

通過本文的實驗結論，回顧以前學者們的研究，結合當今科學技術的發展，將未來可能的研究趨勢總結為以下2點內容。

1)多模型多特征相結合。FCN模型簡單，訓練收斂速度快，可以節省大量時間；Deeplab v3深度卷積網絡，對分辨率高、特征復雜的道路區域提取精度高。因此，未來可以考慮采用多模型多特征相結合的策略改進道路提取模型。

2)多語義結合。隨著圖像的分辨率越來越高，道路圖像的背景變得復雜。因此，結合多個語義特征對道路區域進行分析，會對道路提取的效果有較大提升。