基于注意力門殘差網絡的遙感影像道路提取

李文書，李紳皓，趙 朋

（浙江理工大學 信息學院，杭州 310018）

0 引言

隨著衛星遙感技術迅猛發展，遙感影像的獲取也日益便捷。遙感技術直接或間接運用于軍事偵察、地球資源監測、城市道路規劃、農業災害預警、應急救災等多個領域。遙感圖像具有分辨率高、覆蓋廣、獲取便捷的優勢，已經成為目前更新地理信息數據的主要來源。道路是地理信息系統的重要組成部分，在政治、經濟、地理、軍事等領域發揮著重大作用。在數字地圖時代，研究地圖更新技術以保證地圖內容的即時性、準確性和可靠性有著十分重要的意義。而遙感圖像中道路信息易受建筑物陰影、車輛、植被等非道路信息干擾，導致人工提取遙感圖像中的道路費時費力。每天產生海量衛星遙感數據，完全依靠人力進行道路提取顯然是不可行的。因此，亟需研究一種能自動便捷地從遙感影像中獲取道路的方法。

當前的道路提取方法主要包括模板匹配、知識驅動、面向對象和深度學習等4類。Pudaruth開發了一種多形狀、多角度的模板匹配算法，從4個方向提取道路，最終將4幅獨立的圖像融合成一幅圖像，從而得到路網。Cao等人設計了一種基于均值漂移的道路中心匹配算法，可以較好地提取道路中心線。Treash等人利用邊緣檢測器提取道路邊緣，認為平行的邊緣極有可能為道路，而后采用邊緣鏈接算法提取道路。Guo等人使用美國地理調查局（USGS）的地理數據來消除與道路不相關的雜波，繼而使用均值-偏移聚類方法，對衛星圖像的道路進行分割。Zhu等人先用灰度形態學特征監測路網輪廓，然后利用線段匹配法監測基本路網，最后基于形態學方法對檢測的基本路網進行處理。金靜等人對遙感影像進行雙邊濾波，平滑細節信息并保留道路邊緣信息，然后使用模糊C均值算法分割圖像以得到獨立的地物對象，最終提取出遙感影像中的道路。Mnih等人首次將深度學習應用于遙感影像道路提取任務，并通過實驗證明了深度學習對解決衛星圖像道路提取任務的可行性。張永宏等人提出基于全卷積神經網絡的多源高分辨率遙感道路提取算法，將遙感圖像的Canny特征信息、RGB、Gray和標簽圖放入全卷積神經網絡（FCN）進行訓練，在遙感影像道路提取這一任務上取得了不錯的效果。Chen等人提出SegNet語義分割網絡，SegNet網絡首次采用編解碼器架構，在解碼器上采樣時可以更好地保留圖像的輪廓細節，在遙感影像道路分割上取得了較好效果?？傊０迤ヅ浞椒ㄒ资軒缀巫儞Q影響，參數也很敏感，對于復雜圖像提取過后仍需要大量的人工處理，僅適用于場景簡單的遙感圖像。知識驅動的方法對所提知識和道路的匹配性有較高要求，不適合大范圍推廣。面向對象的道路提取方法雖然涌現出很多成果，但在其分割準確性上卻面臨嚴峻挑戰。研究可知，深度學習通過在數據中學習模型，近年來已展現出在道路分割領域中的獨特優勢。

綜合前述分析，研究提出了一種基于注意力門殘差網絡的遙感影像道路提取網絡模型RAU-Net（Residual Attention U-Net）。研究把殘差塊傳遞原始特征引入編碼器，在保證網絡深度的同時，也確保了梯度的有效傳遞。使用多尺度空洞卷積特征提?。∕ultiscale dilated convolution extraction，MDCE）模塊，多尺度地挖掘圖像中的特征信息。最后，用注意力門將淺層網絡信息和反卷積信息融合實現解碼，將淺層信息有選擇地融入深層網絡，抑制淺層噪聲特征，進一步提高了道路分割的精確性。

1 網絡結構

U-Net網絡模型分為編碼器、解碼器、鏈接器三部分。其中，編碼器通過卷積神經網絡提取特征，通過鏈接器傳遞給解碼器，解碼器通過卷積特征和淺層跳躍連接特征融合并上采樣進行語義分割。對于道路提取任務，道路的狹長特性導致這樣的方法仍無法解決道路細節丟失問題，同時跳躍連接會給提取結果帶來與道路無關的噪點。本文網絡模型主體框架受U-Net模型啟發，但對U-Net的構成做了大量調整，將U-Net編碼器改為ResNet34編碼器，加入了MDCE模塊和融合注意力門的跳躍連接解碼器，在此基礎上進一步提出了RAU-Net。RAU-Net的組成如圖1所示，這是一種端到端的網絡結構，輸入高分辨率衛星圖像，最終輸出道路提取的結果。

圖1 RAU-Net Fig.1 RAU-Net

1.1 ResNet34編碼器

RAU-Net編碼器部分不再采用U-Net卷積編碼器，而是用ResNet34作為編碼器。理論上，網絡模型越深，能提取的語義信息越多。為了盡可能提取出更多的道路細節，就需要加深U-Net的編碼器部分網絡。但一味地加深網絡不僅會使模型參數過多、難以訓練，還會造成梯度不穩定、出現梯度消失或者梯度爆炸問題。針對這種情況，He等人首次提出了殘差網絡。殘差網絡是由一系列殘差塊組成。一個殘差塊的設計如圖2所示。

圖2 殘差塊示意圖Fig.2 Residual block diagram

單獨一個殘差塊可以表示為：

其中，（·）表示直接映射；（·）是激活函數；x為原始輸入；x為殘差塊輸出，也是下一個殘差塊的輸入。本文使用ResNet34網絡作為模型的編碼器結構，替換掉原來U-Net的普通卷積編碼器。

1.2 MDCE模塊

為了適應道路提取任務的特殊性，使網絡能學習到不同尺度的道路特征信息，文中在模型連接層引入多尺度卷積提取模塊MDCE（Multiscale dilated convolution extraction）。多尺度卷積提取模塊的設計結構如圖3所示。由圖3可知，MDCE采用4個擴張率不同的空洞卷積模塊，空洞卷積膨脹率分別設置為1、2、4、8。不同的膨脹率，可以保證充分提取多尺度的特征信息。最終4種膨脹率空洞卷積提取的結果并聯入3*3的融合卷積層，提升了網絡捕捉多尺度語義信息的能力。

圖3 多尺度卷積提取模塊Fig.3 Multiscale dilated convolution extraction model

1.3 融合注意力門的跳躍連接解碼器

隨著編碼器編碼、語義信息增多，特征圖尺寸會不斷減少，但是本文的提取任務卻需要得到一張與原分辨率相同的圖像。由圖1可知，本文的網絡輸入圖像是1024*1024*3，經過編碼器和MDCE模塊后，數據維度變為32*32*512。為了達到提取效果，研究提出了一種結合注意力門的解碼器結構，能夠將編碼器淺層的語義信息，與MDCE反卷積后的結果相融合，同時將特征圖加以擴張，從而將圖像轉換為1024*1024*1維度。

由于道路提取任務的特殊性，研究的目標結果是細長的道路，而在經過編碼器編碼后和道路相關的一些語義信息已經缺失，后續無法復原，導致最終解碼后的提取圖片道路出現斷裂情況。而淺層特征圖中并非所有的信息對提取都有幫助，淺層特征圖中非道路信息的噪聲數據過多，如果類似U-Net直接做跳躍鏈接，提取到的道路圖像會出現很多非道路信息。本次研究在跳躍連接之前，加入了注意力門（Attention Gate）。注意力門會抑制淺層特征圖中的無關特征響應，在增加極少的額外計算量的同時，帶來模型準確性的顯著提高。注意力門結構如圖4所示。

圖4 注意力門Fig.4 Attention gate

由圖4可知，是來自淺層網絡的特征圖，x是網絡上一層上采樣后的特征圖，其運算結果與進行融合。

2 實驗數據與損失函數

為了驗證提出模型的有效性和泛化能力，實驗采用了馬薩諸塞州道路公開數據集（Massachusetts Roads Dataset）和CVPR DeepGlobe 2018數據集。在深度學習中，訓練樣本數量不足很容易導致過擬合，并不能真實反映網絡的有效提取能力，現對數據集進行增強。

實驗最初道路數據集共有1172組衛星影像，每組影像含有一張衛星影像和一張道路標簽，每個像素對應的真實地理空間大小為1 m。單張圖像尺寸為1500像素*1500像素。實驗中，分析發現此數據集的一些影像標注并不準確，經過篩選后剔除了標注不準確的圖像。選出標注準確的圖像后，共有826組。顯而易見，本數據集中的826組影像并不足以進行訓練，為了增加數據集中的數據量，還要對數據集進行擴充。本文采用鏡像翻轉、旋轉翻轉等方法，變換后共得到3200組影像。最終，將數據集中的2900組影像用于訓練，300組影像用于測試，300組影像用于驗證。數據擴充示例如圖5所示。

圖5 數據擴充示例Fig.5 Data expansion examples

CVPR DeepGlobe 2018道路提取挑戰賽數據集共6226組衛星影像，單張圖像尺寸為1024像素*1024像素，每個像素對應的真實地理空間大小為0.5 m。同時提供了驗證集和測試集，共計2344張衛星圖像，這些圖像并未提供道路標簽。為驗證本算法的有效性，將包含道路標簽的6226組衛星影像重新劃分出測試集和驗證集。至此，數據集中有5000組影像用于訓練，613組影像用于測試，613組影像用于驗證。

系數是一種集合相似度度量函數，用于計算2個樣本的相似度，取值范圍是0～1。數值越大，說明2個集合相交元素越多，彼此之間越相似。損失由Milletari等人引入圖像分割領域，在樣本不均衡時表現優于傳統的交叉熵損失。系數表示和損失的數學定義分別如下：

3 實驗與分析

3.1 實驗環境

為驗證提出RAU-Net網絡在道路提取任務中的有效性，基于Tensorflow2.3.0平臺，采用Ubuntu 18.04LTS 64位操作系統，搭載Intel E5-2620 CPU，NVIDIA GTX2080Ti GPU，顯存11 G。相關參數見表1。

表1 參數設置表Tab.1 Parameters setting table

3.2 評價指標

衛星影像道路任務是語義分割任務的一種，本實驗采用語義分割通用的評估方法，即準確率（）、召回率（）以及。其中，準確率和召回率分別反映正確提取道路占預測樣本比例和道路提取完整度，為準確率和召回率的調和均值。對應數值可由如下公式計算得出：

3.3 實驗結果分析

基于本文所增強的實驗數據集，分別訓練UNet、MultiResUNet、RAU-Net，并通過準確率、召回率、進行定量分析。分析結果見表2和表3。由表2得知，在同等實驗條件和數據集的情況下，RAU-Net在各項指標上均有一定提升，在道路提取研究上也有著優異表現。

表2 不同模型在Massachusetts Roads Datase的結果Tab.2 Results of different models at Massachusetts Roads Dataset

表3 不同模型在CVPR DeepGlobe 2018 Roads Dataset的結果Tab.3 Results of different models at CVPR DeepGlobe 2018 Roads Dataset

圖6展示了各模型在Massachusetts Roads Dataset和CVPR DeepGlobe 2018的道路提取結果。圖6中，前3張為Massachusetts Roads Dataset中的圖片，后2張為CVPR DeepGlobe 2018中的圖片。由圖6可以看出，雖然遙感影像地表復雜，受建筑物、河流、車輛影響，但是RAU-Net都較好地提取出了主干道路。U-Net由于直接將淺層網絡提取信息融合到后層網絡，導致生成結果中有很多不連通的噪點。雖然MultiResUNet采用res-path取代了U-Net中的跳躍鏈接，但其預測結果卻仍然存在錯位和缺失的問題。RAU-Net通過添加MDCE模塊充分利用不同維度信息，并且加入了融合注意力的跳躍連接解碼器，消除提取結果中道路易出現斷裂問題，同時抑制了結果中易出現的噪聲問題，提高了模型精度。

圖6 可視化結果Fig.6 Viewable results

4 結束語

將遙感影像分割為道路和非道路，屬圖像解譯問題，隨著深度學習的流行，圖像解譯任務也取得了長足進步。本文提出了一種RAU-Net網絡進行語義分割的方法，在3項關鍵的分割效果量化指標，即準確率（），召回率（）以及上均優于經典提取算法，取得先進結果。RAU-Net受到Unet網絡架構和殘差網絡、注意力機制、空洞卷積等多種網絡結構啟發，在衛星圖像道路提取任務中具有重要的理論和實用意義。后續研究中，嘗試將單純的道路提取任務拓展為更多地物，多種地物同時提取，相輔相成，以進一步提升該方法準確性。