融合殘差和卷積注意力機制的U-Net網絡高分影像道路提取

張亞寧 張春亢 王朝 游晨宇

融合殘差和卷積注意力機制的U-Net網絡高分影像道路提取

張亞寧 張春亢 王朝 游晨宇

（貴州大學礦業學院，貴陽 550025）

針對在高分辨率遙感影像中因道路特征模糊或“同譜異物”現象影響，出現局部道路提取缺失和提取錯誤的問題，提出一種融合殘差和卷積注意力機制的U-Net網絡高分影像道路提取方法。首先，以U-Net網絡為基礎，加入改進的殘差模塊緩解網絡訓練過程中易出現的網絡性能退化問題；然后，嵌入卷積注意力機制模塊加強對道路細節特征的深度表征能力；最后通過幾何變換對數據集進行合理擴充，增強網絡泛化能力。在公開數據集馬塞諸塞州數據集（Massachusetts Roads Dataset）和DeepGlobe道路數據集上對模型進行測試，實驗結果表明：文章提出的方法在兩個數據集上整體精度分別達到97.02%和98.26%，相比其他模型具有更好的提取效果，對道路特征的深度表征性更強，抗干擾性較好，有效改善了道路提取中出現的錯提、漏提現象，顯著提高了道路提取的精度和完整性。

道路提取 殘差模塊 卷積注意力機制 高分辨率遙感影像

0 引言

道路作為重要的基礎地理信息要素，其分布錯綜復雜，建設范圍較廣，及時更新道路分布信息是地理信息數據庫建設的重要基礎，因此從高分辨率遙感影像中實現對道路的精準提取成為近些年國內外學者的研究熱點。

以道路提取層次的推進為分類依據，一般將道路提取方法分為三類[1]：1）基于像元的道路提取方法。該類方法主要利用道路的波譜特征對道路信息進行提取。如羅慶洲等將道路的光譜特征與幾何特征相結合實現了對道路的提取[2]；羅巍等利用角度紋理特征結合最小方差方向對城市主干道路進行提取[3]；Sghaier等通過基于小束變換的紋理分析和多尺度推理有效提取出道路[4]。該類方法對道路分布稀疏、背景單一、圖像清晰的高分辨率遙感影像適用性較強，但在道路特征不明顯的復雜場景下或受其他地物干擾情況下提取精度較低。2）基于對象的道路提取方法。該類方法主要將遙感圖像中的道路視為整體，對其進行小面積分割，然后以小面積為單位再進行道路提取。如陳杰等提出結合尺度空間思想利用分水嶺算法和形態學的方法對道路信息進行提取[5]；Guo等將形狀特征與構造的隨機森林標記學習分類器得到的后驗概率相結合，利用張量投票法得到道路中心線[6]；林鵬等提出利用復合向量機結合形態學進行城鎮道路自動提取[7]；汪閩等提出結合馬爾科夫隨機場模型結合支持向量機進行道路網提取[8]。該類方法適合于背景地物多樣且特征明顯的類型單一化道路的遙感圖像，而對特征信息相似的各類地物易發生混分或粘連現象。3）基于深度學習的道路提取方法。該類方法具有較強的學習能力能夠高效地表達地物特征，有效辨別出道路區域和非道路區域。如Zhou等提出以LinkNet網絡[9]為主干結合擴張卷積層的方法對道路信息進行提取[10]；Lin等提出改進的深度殘差卷積神經網絡模型（RDRCNN），其結合剩余連接單元（RCU）和擴展感知單元（DPU）來獲取道路信息[11]；馬天浩等提出以多尺度特征融合膨脹卷積神經網絡的方法獲得道路信息[12]。該類方法適合于背景地物類型多樣，特征相似且道路分布復雜的遙感影像，但其提取結果仍會出現道路斷裂和毛刺現象，精確度有待于進一步提升。

為了進一步提升高分辨率遙感影像道路提取和分割的精度，近年來，眾多學者從深度學習角度出發，不斷探究和改進模型結構，其中U-Net網絡[13]結構融合了深層特征的語義信息和底層的位置信息，可以在淺層特征和深層特征之間自由選擇，對語義分割具有較強的優勢，在圖像分割領域被廣泛應用。如Ren等提出一種融合膠囊表征和注意力機制的雙注意膠囊U-Net（DA-CapsUNet）對道路區域進行提取[14]；孔嘉嫄等將U-Net網絡結構加深至七層，加入多維度監督機制（MD-MECA）達到優化目的，并利用激活失活模塊（DropBlock）和批歸一化（Batch Normalization）層，有效地解決了道路提取中出現的過擬合問題[15]。但以上方法在道路邊緣地物特征模糊處仍會發生提取缺失的現象。

本文針對道路提取過程中因道路特征模糊或“同譜異物”現象影響，易出現的局部道路提取缺失和提取錯誤等問題，提出一種融合殘差和卷積注意力機制的U-Net網絡高分影像道路提取方法。該方法以U-Net網絡模型為基礎框架，加入改進的殘差模塊即將原本殘差模塊中的Relu激活函數[16]改為Mish激活函數[17]緩減梯度消失，防止隨著網絡層數增加易產生的性能退化問題，并嵌入卷積注意力機制加強對道路細節特征的深度表征能力，抑制非道路信息。改進后的模型可以更深層次地提取到道路細節特征，無論對淺層紋理特征還是多尺度特征都有更精確化地表達，最后將本文算法與FCN[18]、PSPNet[19]、Deeplabv3+[20]、CE-Net[21]和U-Net網絡算法進行比較，有效地改善了提取中易出現的錯提、漏提現象。

1 網絡結構

1.1 U-Net網絡結構

U-Net網絡是一款專為生物醫學圖像分割而開發的卷積神經網絡，采用經典的編碼器-解碼器結構和跳躍連接方式，如圖1所示。U-Net網絡由一個獲取全局信息的收縮編碼路徑和一個與其對稱的用于精確定位的擴展解碼路徑組成，可以將淺層的定位信息和高層的像素分類判定信息相融合，從而得到更佳的定位效果。收縮路徑采用典型的卷積神經網絡，每個特征尺度采用3×3卷積運算，然后用2×2的最大池化做降采樣（步長為2），每次降采樣的特征通道數都會增加一倍。擴展路徑采用2×2的反卷積，每次反卷積的特征通道數減少一半，與同尺度的降采樣部分的特征圖直接拼接，然后再經過兩個3×3的卷積層，最后通過1×1卷積運算完成操作，將特征圖映射到實際需要的分類數目的通道數，進而達到最佳的分割結果。

圖1 U-Net網絡結構

1.2 改進的殘差模塊

在深度學習訓練過程中隨著網絡深度的增加，訓練難度逐漸變大，易出現網絡性能退化問題。U-Net網絡在壓縮降維和擴展路徑過程中，通過多次復雜的連續卷積和池化運算，像素間關系的計算難度增大，網絡承載信息量能力不足導致網絡抖動，精度容易達到飽和，產生網絡性能退化問題，訓練精度也會隨之迅速下降。He等針對網絡模型層數加深時，堆疊層引起的網絡性能退化問題，提出了殘差結構模塊[22]，如圖2所示，圖2中表示輸入值，()表示殘差值，()+表示學習到的特征值，該結構通過“便捷連接”有效預防梯度消失或梯度爆炸現象的產生，可加快網絡的收斂速度。通常為了使網絡模型能夠學習到更深層次圖像特征，網絡層數在逐漸加深過程中會產生冗余層，通過殘差學習結構使殘差值()=0讓該層網絡恒等映射到上一層的輸入，可規避網絡性能退化問題，并且不會增加模型的參數復雜度，避免模型在學習過程中訓練誤差變大，特征信息提取能力下降這一問題。

激活函數的主要作用是完成對傳輸數據的非線性變換，提高線性模型的表達能力，解決模型分類能力不足的問題。在殘差結構模塊中，當負梯度流經過ReLU激活函數時，輸出值為0，產生梯度消失，降低模型對數據正確擬合能力或訓練能力。為了解決梯度消失問題，本文根據YOLO v4算法[23]主干的結構組成，將殘差網絡中的ReLU函數替換成Mish函數，兩種激活函數的比較如圖3所示，圖3中表示輸入值，表示對應的輸出值。Mish函數具有連續可導性，是一種光滑的自正則非單調激活函數，其非單調性有助于保持小的負值，從而穩定網絡梯度流，緩減梯度消失問題，穩定結構；無窮連續性和光滑性使其具有較好的泛化能力和有效優化能力。

圖2 殘差結構

圖3 激活函數比較

圖4 改進的殘差結構

改進后的殘差模塊如圖4所示，由3×3卷積層、數據批歸一化層（BN）以及Mish激活函數組成。

1.3 卷積注意力機制

注意力機制核心作用是有效捕捉圖像中重點區域細節特征，強化關鍵特征信息量的語義表達，忽略無關特征。在U-Net網絡圖像處理傳輸過程中，嵌入卷積注意力機制（CBAM）[24]模塊可自適應地細化跳躍連接階段的特征映射，增強對編碼區特征信息傳輸過程中淺層道路細節紋理特征的提取能力，有利于模型對道路特征信息的深度表征，而對其他特征信息進行抑制，使解碼區對道路特征信息的提取具有更強的針對性，在傳遞到解碼區的過程中，可以更好地完成對道路邊緣處細小道路的分割細化能力。CBAM模塊的特征學習過程如圖5所示，主要通過通道注意力機制和空間注意力機制兩個子模塊協同作用，幫助信息在網絡中流動，完成整個學習過程。

圖5 卷積注意力機制

式中 表示Sigmoid激活函數；；；r表示衰減率；和分別對應經過多層感知機的權重。

式中 AvgPool表示平均池化；Maxpool表示最大池化；表示濾波器大小為的卷積運算。

1.4 融合后整體網絡結構

本文實驗的網絡結構如圖8所示，在U-Net網絡編碼區和解碼區每兩個相鄰的3×3卷積層中間加入改進的殘差模塊，可避免卷積層連續堆疊的復雜計算造成像素區域信息丟失，同時增加網絡深度，使其可以學習到更多深層次的特征信息，有效防止訓練過程中隨著網絡層數深度的增加，精度達到飽和，引起的網絡性能退化的問題。為使道路邊緣細節特征提取盡量完整，在跳躍連接階段嵌入卷積注意力機制模塊可以將編碼區的淺層道路紋理特征進一步準確分割，實現道路特征信息的深度表征能力，有效抑制非道路信息的表達。

圖8 融合后整體網絡結構

2 實驗與評價指標

2.1 實驗數據集及預處理

本文采用的實驗數據集為公開數據集馬薩諸塞州道路數據集（Massachusetts Roads Dataset）和DeepGlobe衛星數據集[25]。Massachusetts Roads數據集中包含了波士頓地區的城市、鄉村、城鄉結合部等地區航空遙感影像數據。數據集中的遙感影像空間分辨率為1 m，每張影像尺寸大小為1 500像素×1 500像素，總覆蓋面積超過2 600 km2，共包含1 171張紅綠藍（RGB）三通道影像數據及對應的標簽數據，其中1 108張影像及其對應的標簽數據用于訓練，49張影像及其對應的標簽數據用于測試，14張影像及其對應的標簽數據用于驗證。

DeepGlobe衛星數據集共包含6 226張訓練樣本及其對應的標簽數據，影像的地面分辨率為0.5 m，每張影像尺寸大小為1 024像素×1 024像素，將其按照8:1:1進行隨機劃分，其中訓練集由4 980張影像及其對應的標簽數據組成，測試集和驗證集分別由623張影像及其對應標簽數據組成。

考慮到實驗硬件條件的現實情況，本文將數據集中所有影像縮放為512像素×512像素大小。為了防止模型發生過擬合，提高網絡泛化能力，使訓練數據盡可能的接近測試數據，從而提高測試精度，本文用幾何變換方法實現對訓練的數據集進行擴充處理。圖9為部分擴充數據。

圖9 擴充訓練數據

同時為了探究影像擴充前后的數據集對本文提出的實驗方法的影響，分別將擴充前后的兩個數據集加入到實驗模型中訓練，實驗結果如圖10所示。

圖10 擴充實驗對比

實驗結果表明，通過幾何變換進行數據集擴充后道路提取效果提升明顯。影像A整體區域中，在部分建筑物密集區，當數據集未擴充時存在將建筑物誤分為道路的現象，數據集擴充后該現象明顯減少；影像B整體區域中，當道路特征不明顯時，數據集未擴充時出現道路斷裂情況，而數據集擴充后該現象得到有效緩減。結合以上實驗現象說明本實驗擴充數據集后網絡模型的泛化能力增強，道路提取結果有顯著提升。

2.2 實驗環境及參數設置

本次實驗為Ubuntu20.04系統平臺，采用Python程序語言，基于Pytorch1.9.0深度學習框架，運行環境為CPU Intel Core i9-990 0k，顯卡型號為NVIDIA RTX 208 0T i 11Gb。本文在該計算機硬件條件允許下，經過多次反復的測試實驗后，得到最佳的參數設置如下：模型基本學習率（base_lr）設置為0.001，迭代輪數（epoch）設置為30，訓練集和驗證集的批大小（batch size）均設置為4。

2.3 評價指標

為了評估本文提出的道路提取方法的有效性及準確性，實驗從整體精度OA（Overall Accuracy）、準確率Precision、召回率Recall、1值[26]等4個指標對道路提取結果進行評定。定義見下式

3 實驗結果對比與分析

3.1 各模型在Massachusetts Roads數據集的實驗結果與分析

為了證明本文方法的有效性和優越性，在Massachusetts Roads數據集上，分別訓練經典語義分割模型FCN、PSPNet、Deeplabv3+、CE-Net、U-Net與本文提出的模型，通過整體精度、準確率、召回率、1值等四項指標對各模型的道路提取能力進行比較。表1為各項評定指標的定量比較，從表1可知：1）本文提出的融合殘差和卷積注意力機制的U-Net模型在整體精度、準確率、召回率、1值分別達到了97.02%、76.47%、70.71%、73.48%，相較于U-Net網絡對應的各項指標值分別提高了3.11%、3.74%、4.04%、3.91%，提升較大；2）本文方法與FCN、PSPNet、Deeplabv3+、CE-Net網絡模型比較，在各項評定指標值上也有提升；3）通過消融實驗，對比U-Net+改進殘差和U-Net+CBAM網絡，本文方法在各項對應指標值上也稍有提升。綜上可知，本文方法具有一定的道路提取優勢。

表1 各模型在Massachusetts Roads數據集上的精度對比

Tab.1 Accuracy comparison of each model on the Massachusetts Roads dataset

為證明本文方法的普遍適用性，分別選取了四種不同場景的道路提取結果圖進行比較，如表2所示。區域a為植被道路混合區域，區域b為立交橋背景區域，區域c為大面積植被覆蓋區，區域d為復雜的大型城市道路網。在區域a中，該區域紅色框標和黃色框標路段受周圍植被遮擋，黃色區域為邊緣細小道路特征尤為模糊，本文提取方法對此區域道路特征模糊路段較原U-Net模型提取相對完整。在區域b中，在所標出的兩道路交叉口處，由于交叉口本身較小，在原U-Net模型提取過程中易出現缺失，但本文方法不僅在交叉口細節處提取完整使連通性較好，且在主干道路相鄰近處不存在道路粘連現象。在區域c中，紅色框標處道路受大面積植被全覆蓋，造成提取困難，黃色框標部分道路特征也不明顯，本文方法在該兩處提取結果較原U-Net模型較佳，且在綠色框標處提取到該路段的部分缺失道路。在區域d中，道路分布錯綜復雜，不相關地物較多，紅色框標區域易出現“同譜異物”現象，受光譜特征影響可能出現道路提取錯誤或缺失，且該處相鄰路段距離較近，黃色框標區域不僅道路長度較短，且特征模糊，提取難度較大，本文方法有效改善這一現象，提取效果較原U-Net模型提升明顯。綜上可知，與FCN、PSPNet、Deeplabv3+、CE-Net、U-Net模型的提取相比，本文所提出的方法道路細化分割能力強，對道路細節處提取相對完整，整體提取效果較好。

通過以上的定量分析和不同場景的道路提取結果進行對比分析可知：本文所提出的融合殘差和卷積注意機制的U-Net網絡模型較FCN、PSPNet、Deeplabv3+、CE-Net、U-Net模型的可視化提取結果上完整性和準確度更高，可以獲取更多的道路細節特征信息，改善原網絡模型道路細節處提取錯誤和缺失問題，抑制其他無關地物信息的干擾，使整體道路提取效果更優，具有一定優勢性。

表2 各模型在Massachusetts Roads數據集上部分提取結果

Tab.2 Partial extraction results of each on the Masschusetts Roads dataset

（待續）

3.2 各模型在GeepGlobe數據集的實驗結果與分析

為了進一步驗證本文所提出的融合殘差和卷積注意力機制的U-Net網絡道路提取方法的優越，在DeepGlobe衛星數據集上再一次進行實驗，分別訓練FCN、PSPNet、Deeplabv3+、CE-Net、U-Net以及本文所提出來的模型，表3為各模型的評定指標值的定量比較。從表3可知：1）本文所搭建的網絡模型在整體精度、準確率、召回率、1值分別達到了98.26%、83.33%、79.32%、81.28%，較原U-Net模型對應的各項評價指標值分別提高了2.06、2.79、1.90和2.33個百分點，指標值提升較大；2）本文方法與FCN、PSPNet、Deeplabv3+、CE-Net網絡模型比較，在各項評定指標值上也有提升；3）通過消融實驗對比U-Net+改進殘差和U-Net+CBAM模型，其對應的各項指標值也稍有提升。綜上可知：本文所提出的道路提取方法可進一步準確提取出道路特征。

表3 各模型在DeepGlobe數據集上的精度對比

Tab.3 Accuracy comparison of each model on the DeepGlobe dataset

該數據集道路分布相對稀疏，郊區道路居多，場景豐富多樣，提取結果的可視化如表4所示。區域a中道路區域受植被遮擋嚴重，原U-Net模型出現局部提取缺失，本文方法對遮擋部分完整提取出來；區域b中道路特征模糊且提取時容易受周圍建筑物干擾，原U-Net模型提取在道路特征模糊區域出現局部提取缺失和錯提現象，本文方法相對來說提取效果更加，無明顯錯提；區域c中道路的光譜特征與周圍地物相似，道路特征模糊，原U-Net模型受光譜特征影響，提取結果不夠完整，本文方法提取結果的可視化基本完整；區域d為復雜的山區道路，其分布錯綜崎嶇，原U-Net模型提取時在地物特征不明顯的崎嶇路段和邊緣細小道路處未提取到該路段，說明其對多尺度特征的地物提取效果較差，但本文方法對該路段基本提取完整。通過以上四個區域的提取結果可知，本文道路提取方法受植被遮擋和“同譜異物”現象影響較小，且具有較好的獲取多尺度信息的能力，但對于個別局部特征不明顯或道路特征模糊區域仍會出現漏提現象。

表4 各模型在DeepGlobe數據集上部分提取結果

Tab.4 Partial extraction results of each model on the DeepGlobe dataset

（待續）

（續表4）

結合表1和表3中本文方法在兩種不同數據集上對應的評定指標值可得：本文方法在DeepGlobe數據集上訓練得到的整體精度、準確率、召回率、1值比在Massachusetts Roads數據集上對應的各項指標值分別提高1.24、6.89、8.61和7.80個百分點。從整體提取效果的完整性上看，本文方法在GeepGlobe數據集上提取結果更加接近對應的真值影像，整體提取效果更佳。由此可知：本文所提出的融合殘差和卷積注意力機制的U-Net道路提取方法在數據集道路結構分布相對稀疏、不相關地物干擾較小的區域所提取到的道路更加完整準確。

4 結束語

本文以U-Net網絡為基礎，在編碼區和解碼區的每兩個相鄰卷積層中間加入改進的殘差網絡模塊，既可加深網絡深度獲得更多的道路特征，也可以規避網絡性能退化，防止梯度消失；在跳躍連接階段嵌入卷積注意力機制模塊，提高模型對道路信息的表征能力，抑制非道路信息傳輸。在Massachusetts Roads數據集和DeepGlobe衛星數據集上，通過對不同場景的提取結果對比發現：本文所用方法無論是對道路本身特征不明顯，或受植被遮擋，或光譜特征影響，還是不相關地物干擾較多的道路網，其提取結果都較原U-Net模型的道路提取結果提升效果明顯，有效改善了道路信息提取缺失或錯誤的問題，準確性和完整度較好，但對于背景信息復雜的大型城市道路網提取效果仍不夠理想，出現細節丟失和噪聲點等問題，成為后續實驗改進的重點。

[1] 張永宏, 何靜, 闞希, 等. 遙感圖像道路提取方法綜述[J]. 計算機工程與應用, 2018, 54(13): 1-10, 51. ZHANG Yonghong, HE Jing, KAN Xi, et al. Summary of Road Extraction Methods for Remote Sensing Images[J]. Computer Engineering and Applications, 2018, 54(13): 1-10, 51. (in Chinese)

[2] 羅慶洲, 尹球, 匡定波. 光譜與形狀特征相結合的道路提取方法研究[J]. 遙感技術與應用, 2007, 22(3): 339-344. LUO Qingzhou, YIN Qiu, KUANG Dingbo. Research on Extracting Road Based on Its Spectral Feature and Shape Feature[J]. Remote Sensing Technology and Application, 2007, 22(3): 339-344. (in Chinese)

[3] 羅巍, 王東亮. 利用角度紋理特征提取高分辨率遙感影像中城市主干道路[J]. 中國圖象圖形學報, 2017, 22(11): 1584-1591. LUO Wei, WANG Dongliang. Method Using the Angle Texture Feature to Extract Urban Trunk Road Information from High-resolution Remote Sensing Images[J]. Journal of Image and Graphics, 2017, 22(11): 1584-1591. (in Chinese)

[4] SGHAIER M O, LEPAGE R. Road Extraction from Very High Resolution Remote Sensing Optical Images Based on Texture Analysis and Beamlet Transform[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015, 9(5): 1946-1958.

[5] 陳杰, 邵權斌, 梅小明, 等. 結合尺度空間的面向對象高分辨率影像城市道路提取[J]. 測繪工程, 2016, 25(12): 5-11. CHEN Jie, SHAO Quanbin, MEI Xiaoming, et al. Object-based Urban Road Extraction from High Resolution Imagery with Space-scale Theory[J]. Engineering of Surveying and Mapping, 2016, 25(12): 5-11. (in Chinese)

[6] GUO Q, WANG Z. A Self-supervised Learning Framework for Road Centerline Extraction from High-resolution Remote Sensing Images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 13(9): 4451-4461.

[7] 林鵬, 阮仁宗, 王玉強, 等. 一種基于面向對象的城鎮道路自動提取方法研究[J]. 地理與地理信息科學, 2016, 32(1): 49-54. LIN Peng, RUAN Renzong, WANG Yuqiang, et al. Research on Extraction of Road Based on Object Oriented in an Urban Context[J]. Geography and Geo-Information Science, 2016, 32(1): 49-54. (in Chinese)

[8] 汪閩, 駱劍承, 周成虎, 等. 結合高斯馬爾可夫隨機場紋理模型與支撐向量機在高分辨率遙感圖像上提取道路網[J]. 遙感學報, 2005, 29(3): 271-276. WANG Ming, LUO Jiancheng, ZHOU Chenghu, et al. Extraction of Road Network from High Resolution Remote Sensed Imagery with the Combination of Gaussian Markov Random Field Texture Model and Support Vector Machine[J]. Journal of Remote Sensing, 2005, 29(3): 271-276. (in Chinese)

[9] CHAURASIA A, CULURCIELLO E. LinkNet: Exploitingencoder Representations for Efficient Semantic Segmentation[C]//2017 IEEE Visual Communications and ImageProcessing, December 10-13, 2017, St. Petersburg, FL, USA. IEEE, 2017: 1-4.

[10] ZHOU L, ZHANG C, WU M. D-LinkNet: LinkNet with Pretrained Encoder and Dilated Convolution for High Resolution Satellite Imagery Road Extraction[C]//IEEE Conference on Computer Vision and Pattern Recognition Workshops, June 18-22, 2018, Salt Lake City, UT, USA. IEEE, 2018: 182-186.

[11] GAO L, SONG W, DAI J, et al. Road Extraction from High-resolution Remote Sensing Imagery using Refined Deep Residual Convolutional Neural Network[J]. Remote sensing, 2019, 11(5): 552-568.

[12] 馬天浩, 譚海, 李天琪, 等. 多尺度特征融合的膨脹卷積殘差網絡高分一號影像道路提取[J]. 激光與光電子學進展, 2021, 58(2): 341-348. MA Tianhao, TAN Hai, LI Tianqi, et al. Road Extraction from GF-1 Remote Sensing Images Based on Dilated Convolution Residual Network with Multi-Scale Feature Fusion[J]. Laser & Optoelectronics Progress, 2021, 58(2): 341-348. (in Chinese)

[13] RONNEBERGER O, FISCHER P, BROX T. U-net: Convolutional Networks for Biomedical Image Segmentation[C]//International Conference on Medical Image Computing and Computer-assisted Intervention, October 5-9, 2015, Munich, Germany. Springer, Cham, 2015: 234-241.

[14] REN Y, YU Y, GUAN H. DA-CapsUNet: A Dual-attention Capsule U-Net for Road Extraction from Remote Sensing Imagery[J]. Remote Sensing, 2020, 12(18): 2866-2883.

[15] 孔嘉嫄, 張和生. 改進U-Net網絡及在遙感影像道路提取中的應用[J]. 中國空間科學技術, 2022, 42(3): 105-113. KONG Jiayuan, ZHANG Hesheng. Improved U-Net Network and its Application of Road Extraction in Remote Sensing Image[J]. Chinese Space Science and Technology, 2022, 42(3): 105-113. (in Chinese)

[16] YAROTSKY D. Error Bounds for Approximations with Deep ReLU Networks[J]. Neural Networks, 2017, 94(7): 103-114.

[17] SODMANN P, VOLLMER M. ECG Segmentation using a Neural Network as the Basis for Detection of Cardiac Pathologies[C]//2,020 Computing in Cardiology, September 13-16, 2020, Rimini, Italy. IEEE, 2020: 1-4.

[18] LONG J, SHELHAMER E, DARRELL T. Fully Convolutional Networks for Semantic Segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 39(4): 640-651.

[19] ZHAO H, SHI J, QI X, et al. Pyramid Scene Parsing Network[C]//IEEE Conference on Computer Vision and Pattern Recognition, July 21-26, 2017, Honolulu, HI, USA. IEEE, 2017: 2881-2890.

[20] CHEN L C, ZHU Y, PAPANDREOU G, et al. Encoder - decoder with Atrous Separable Convolution for Semantic Image Segmentation[C]//European Conference on Computer Vision, September 8-14, 2018, Munich, Germany. L Leal-Taixé, Roth S, 2018:801 -818.

[21] GU Z W, CHENG J, FU H Z, et al. CE-Net: Context Encoder Network for 2D Medical Image Segmentation[J]. IEEE Transactions on Medical Imaging, 2019, 38(10): 2281-2292.

[22] HE K, ZHANG X, REN S, et al. Deep Residual Learning for Image Recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition, June 27-30, 2016, Las Vegas, USA. Piscataway, IEEE, 2016: 770-778.

[23] BOCHKOVSKIY A, WANG C Y, LIAO H Y. Yolov4: Optimal Speed and Accuracy of Object Detection[EB/OL]. [2021-10-11]. http://arxiv.org/pdf/2,004.10,934.

[24] WOO S, PARK J, LEE J Y, et al. Cbam: Convolutional Block Attention Module[C]//European Conference on Computer Vision, September 8-14, 2018, Munich, Germany. L Leal-Taixé, Roth S, 2018: 3-19.

[25] DEMIR I, KOPESLI K, LINDENBAUM D, et al. Deepglobe 2018: A Challenge to Parse the Earth Through Satellite Images[C]//IEEE Conference on Computer Vision and Pattern Recognition Workshops, June 18-22, 2018, Salt Lake City, UT, USA. IEEE, 2018: 172-181.

[26] HEIPKE C, MAYER H, WIEDEMANN C, et al. Evaluation of Automatic Road Extraction[J]. International archives of photogrammetry & Remote sensing, 1997, 32(3): 47-56.

Road Extraction Method of High-Resolution Image Based on U-Net Network Combining Residual and Convolution Attention Mechanism

ZHANG Yaning ZHANG Chunkang WANG Chao YOU Chenyu

（College of Mining, Guizhou University, Guiyang 550025, China）

Aiming at the problems of missing local road extraction and wrong extraction due to the blurring of road features or the phenomenon of "same-spectrum foreign objects" in high-resolution remote sensing images, this paper proposes an improved method for road extraction from high-resolution remote sensing images, which is based on U-Net combining residual and convolutional attention mechanism. Firstly, based on the U-Net network, an improved residual module is added to alleviate the problem of network performance degradation that is easy to occur during network training. Secondly, the convolutional attention mechanism module is embedded to enhance the deep representation of road details. Finally, the data set is reasonably expanded through geometric transformation to enhance network generalization ability. The model is tested on the public datasets Massachusetts roads and DeepGlobe road datasets, and the experimental results show that the overall accuracy of the method proposed in this paper reaches 97.02% and 98.26% respectively on the two datasets. Compared with other models, it has a better extraction effect, and has a stronger deep representation of road features and better anti-interference performance, which can effectively improve the problems of wrong and missing extraction phenomenon in road extraction, and significantly improve the accuracy and integrity of road extraction.

road extraction; residual module; convolutional attention mechanism; high-resolution remote sensing images

P237

A

1009-8518(2023)03-0119-14

10.3969/j.issn.1009-8518.2023.03.013

張亞寧，女，1994年生，2018年獲咸陽師范學院測繪工程專業工學學士學位，現于貴州大學測繪科學與技術專業攻讀碩士學位。主要研究方向為高分遙感信息提取。E-mail：59547207@qq.com。

2022-09-26

國家自然科學基金（41701464）；中國科學院戰略性先導科技專項子課題（XDA2806020101）；貴州大學培育項目（貴大培育[2019] 26號）

張亞寧, 張春亢, 王朝, 等. 融合殘差和卷積注意力機制的U-Net網絡高分影像道路提取[J]. 航天返回與遙感, 2023, 44(3): 119-132.

ZHANG Yaning, ZHANG Chunkang,WANG Chao, et al. Road Extraction Method of High-Resolution Image Based on U-Net Network Combining Residual and Convolution Attention Mechanism[J]. Spacecraft Recovery & Remote Sensing, 2023, 44(3): 119-132. (in Chinese)

（編輯：龐冰）