SENet優化的Deeplabv3+滑坡識別

陳釗， 魯仕康， 覃章健， 張琴

(1.國家電網公司西南分部， 成都 610094； 2.成都理工大學機電工程學院， 成都 610059； 3. 成都理工大學核技術與自動化工程學院， 成都 610059)

中國地質災害的出現極為頻繁且災害損失也十分巨大[1]，其中滑坡作為常見的地質災害，具有出現頻次高、破壞力大等特點[2]。滑坡給公路、房屋、山區鐵路線及接觸網等基礎設施造成了不可估量的破壞，對社會經濟的快速發展和人們生命財產健康安全造成了嚴重威脅[3]。川藏鐵路作為中國建設的第二條進藏鐵路，是西藏自治區對外交通運輸要道[4]。由于該鐵線路處于青藏高原及其邊緣，橫跨海拔落差較大的一二級階梯。復雜的地形特征，使得川藏鐵路成為世界上地質構造最復雜、難度最大、危險性最高的鐵路工程[5]。隨著中國電網工程建設的大力推進，西南地區輸電線路、變電站、換流站設備日益增多。由于西南地區地質災害多發頻發，崩塌、滑坡、泥石流、塌陷等引起的輸電網事故時有發生[6]，對輸電線路的承載能力和安全性造成影響，對電網安全產生了嚴重威脅[7]。鐵路沿線電網的安全運行是整個鐵路順利運行的基礎保障[8]，為保證鐵路干線及接觸網穩定正常工作，需要對大范圍山區進行滑坡識別檢測來判斷是否有影響鐵路干線及接觸網的風險。傳統的山區滑坡檢測包括人工出野外實地勘探和利用遙感影像的特征進行目視解譯[1]，雖然目視解譯的準確率較高，但此方法對人力資源耗費極大且識別效率不高，不具備專業知識的人員更難以完成此工作，不能滿足對大面積山區實時監測的條件。面臨這一新形勢，通過新技術手段快速、動態獲取待建、在建和已建線路工程地質災害頻發區信息，準確識別和預警地質災害，實時監控災情發展，為災害的防控提供強有力的支持，成為電網工程亟待解決的重大問題。

近年來，遙感影像技術發展迅速，遙感影像資源也逐漸豐富并被廣泛地應用于各行各業，遙感技術一方面不會受到地形的限制，另一方面高分辨率的遙感影像能夠更準確地反映出山區滑坡信息[9]。學者利用遙感影像結合深度學習自動識別山體滑坡、地質災害的應用也越來越多[10]。在圖像分類和圖像識別上結合卷積神經網絡(convolution neural network，CNN)的大范圍使用能夠達到更好的效果并取得突破性的研究成果。Ye等[11]提出了一種基于約束深度學習的超光譜遙感數據的滑坡檢測；Silvia等[12]提出一種基于Mask R-CNN的改進滑坡檢測方法；Qi等[13]使用ResU-Net對滑坡進行映射都取得較好的效果。但上述方法在檢測邊緣細節和準確性上稍差，超光譜遙感數據計算量大，對算法性能要求較高。語義分割作為圖像分類識別的方法能夠對預測圖像上的每個像素點，并對一類物體進行標簽標注。深度學習方法結合遙感影像在滑坡語義分割中能夠有效地利用遙感影像的紋理特征，取得較好的滑坡分割效果[14]。隨著Deeplabv3+[15]語義分割網絡變得流行起來，被認為是語義分割的新高峰，多用于小物體和多物體的語義分割，用來體現Deeplabv3+在邊緣細節分割的良好效果。但在滑坡語義分割領域使用Deeplabv3+的案例不多，識別效果較為一般，且較少用于對山區輸電網滑坡的識別。由于Deeplabv3+網絡在語義分割領域具有通用性，針對現階段Deeplabv3+網絡在山區輸電網滑坡識別上有一定的研究意義，現采用SENet(squeeze-and-excitation networks)[16]優化的Deeplabv3+滑坡語義分割模型，通過四川西部遙感影像提取的數據集驗證其效果，提高人為排查滑坡隱患的效率，降低山區鐵路干線受到滑坡等地質災害的風險，為該區域接觸網維護與預警提供一定的參考依據。

1 分割網絡流程與網絡結構設計

1.1 滑坡分割網絡流程

采用SENet注意力機制[17]的滑坡語義分割網絡是對Deeplabv3+網絡的進一步優化，是利用SE(squeeze-and-excitation)注意力機制[18]能夠對特征通道信息合理利用的優勢[19]。整個過程包括數據處理、訓練網絡、測試網絡3個部分，數據處理包括數據圖像采集，數據增強方法進行數據擴充，使用Labelme軟件對滑坡區域進行樣本標注，生成png標簽文件即得到滑坡數據集，然后用滑坡數據集來訓練優化的滑坡語義分割網絡，得到訓練好的網絡模型，最后用驗證集對訓練好的網絡進行效果評估。整體流程如圖1所示。

圖1 滑坡分割網絡流程圖Fig.1 Flow chart of landslide segmentation network

1.2 Deeplabv3+網絡結構

Deeplabv3+算法是由Deeplabv1-v3不斷改進衍變而來，Deeplabv1提出了利用空洞卷積和全連接CRF操作提升了模型的分割能力，由于其對多尺度對象分割能力的不足，為解決該缺陷，在Deeplabv2[20]上借用空間金字塔池化(spatial pyramid pooling，SSP)的結構思想并改進為ASSP[21]，該結構主要采用了不同采樣率的空洞卷積，能夠對特征圖并行采樣縮短網絡計算時間。Deeplabv3將ASPP改為擴張率分別為{6，12，18}的3×3卷積和一個全局平均池化并去掉了全連接CRF[22]，Deeplabv3+結合了上述幾種算法的優點，加入了編碼器-解碼器結構，提高了對邊界信息的關注效果且提升了整體的分割效果。Deeplabv3+模型結構如圖2所示。

1.2.1 編碼器部分

其主要包含兩個要點。

(1)在主干網絡里使用空洞卷積用于特征多維度信息提取。

(2)將圖片經過主干網絡特征提取后劃分為高層特征信息和低層特征信息，其中低層特征信息直接傳到Decoder中，高層特征信息經過后面不同擴張率的空洞卷積和最大池化后再壓縮特征通道，最后經過插值上采樣得到和低層特征尺寸相同的維度輸入到Decoder中。

整個過程由于ASPP在特征提取上體現出對不同尺度目標的優勢，經Encoder處理后可以明顯提升對多尺度目標分割的效果。

1.2.2 解碼器部分

經主干DCNN特征提取后的低層特征包含大量空間細節，首先將低層特征信息使用1×1卷積進行通道降維，盡可能地恢復目標邊界，然后與經過插值上采樣的高層特征融合，再經過3×3卷積和插值上采樣得到與原圖大小一樣的預測圖即完成語義分割。

1.3 SENet注意力模塊

SENet模型結構由三部分構成，分別為Squeeze、Excitation和Reweight。核心思想是網絡根據損失loss可以自主學習特征通道的重要性，依據特征通道的重要性提升較有效的特征信息權重，降低不太有效的特征信息權重，使訓練的模型達到更好的效果[23]，如圖3所示。

Ftr為輸入殘差數據；Fsq為Squeeze操作；Fex為Excitation操作；Fscale為Reweight操作圖3 SENet模型結構Fig.3 SENet model structure

(1)Squeeze操作。對C×W×H大小的特征圖利用平均池化壓縮為一個大小為1×1×C的特征圖。映射關系如式(1)所示。

(1)

式(1)中：C、W、H分別為特征圖維度尺寸；uc為特征通道；Fsq為Squeeze操作定義；i、j為像素位置變量。

(2)Excitation操作。經過兩個全連接層通過參數W表示不同特征通道的權重及通道相關性(使用Sigmoid函數)。映射關系如式(2)所示。

s=Fex(z,W)=σ[g(z,W)]

=σ[W2δ(W1,z)]

(2)

式(2)中：Fex為Excitation操作定義；z為Squeeze操作輸出；W1和W2為通道權重；δ( )為激活函數；σ( )為歸一化函數。

(3)Reweight操作。通過乘法將Excitation操作的權重加權到原輸入特征上，得到輸出并作為下一級的輸入。映射關系如式(3)所示。

xc=Fscale(uc,s)=scuc

(3)

式(3)中：Fscale為Reweight操作定義；sc為Excitation操作的輸出矩陣通道。

1.4 Deeplabv3+的優化

將SE作為一個子模塊嵌入Deeplabv3+的骨干網絡ResNet[24]中，如圖4所示。每層的輸出維度信息列在方框旁。首先平均池化層對應Squeeze操作，用來對特征維度進行壓縮，然后由兩個全連接層加ReLu激活函數完成對通道依賴性的構建，中間完成了降低特征通道維度后經ReLu激活再回到原來的通道維度。然后經過Sigmoid函數獲得通道的特征權重，最后和原特征通道經Scale層加權后輸出。

圖4 嵌入SENet的卷積模型Fig.4 Convolution model embedded in SENet

2 實驗數據及結果分析

2.1 研究區域及數據來源

川藏鐵路四川段全長約650 km，經成都市、雅安市、甘孜州入藏，整體地勢西高東低，鐵路沿線山區面積大，地質結構復雜，川內降雨量大[25]，同時受到汶川地震的影響，脆弱的生態環境使得鐵路沿線分布有較為密集的歷史滑坡點[26]。據不完全統計，川藏鐵路成雅段地質災害發生頻率最高，鐵路沿線東部的中低山地帶為發生滑坡的高風險區，在青衣江暴雨區的影響下，滑坡災害活動頻繁。

遙感影像在地理學、生態學等領域被大范圍的應用和研究說明遙感技術已經成熟，利用川藏鐵路四川段沿線山區滑坡區域的遙感影像進行解譯，通過對時間特征、空間特征、光譜特征等進行分析，經人工篩查提取出滑坡圖像1 083張， 并使用Labelme對其進行滑坡區域標注，如圖5所示。所有背景統一為黑色，標注為紅色，將制作好的1 083張圖片分為訓練集和測試集(按9∶1的比例)輸入到網絡中進行訓練。

圖5 研究區域與數據標注Fig.5 Research area and data annotation

2.2 試驗平臺

使用遷移學習[27]的方法利用網上公開的VOC2012數據集來初始訓練SENet優化的ResNet網絡模型，根據數據集的泛化能力對網絡參數進行調整。在樣本數據擴充方面，輸入網絡之前采用翻轉、旋轉、裁剪、平移、噪聲等方法進行數據增強。采用Google Colab作為試驗平臺，GPU為Tesla K80，CUDA版本為11.0.228，深度學習框架為torch1.6.0。

2.3 參數設置

試驗遙感影像輸入大小為512×512，神經網絡初始學率設為0.007，epochs設為50輪。使用交叉熵損失函數來進行模型評價，二分類圖像的標簽和預測值對應一個batch的loss如式(4)所示。

(4)

2.4 滑坡區域分割效果定性分析

采用SENet優化的Deeplabv3+滑坡分割算法和傳統的Deeplabv3+分割算法在自己建立的滑坡數據集上進行了實驗驗證，結果如圖6所示。圖6中第1列為采集到的滑坡圖像，第2列為SENet優化的Deeplabv3+算法語義分割預測圖，未經優化的Deeplabv3+算法在不同主干網絡結構包括Resnet、Xception、Mobilenet的語義分割預測結果分別如第3列、第4列、第5列所示。

由圖6可以看出，相較于傳統的Deeplabv3+語義分割網絡，采樣SENet優化的網絡在滑坡邊緣的細節處理上以及滑坡區域位置的識別準確率上要好于傳統網絡，體現了Deeplabv3+和SENet在邊緣細節處理上的優勢。從第3處滑坡圖像可以看出，在多位置滑坡的處理上，SENet優化的網絡在多處滑坡識別和滑坡區域邊界準確性上要稍好于傳統網絡；從第4處滑坡圖像可以看出，在大范圍滑坡的分割處理上， SENet優化的網絡相較于傳統網絡能更好的識別滑坡區域且邊緣細節較為準確，傳統網絡會有多識別和漏識別現象；對于第5處未發生滑坡的圖像，SENet優化的網絡能減少出現誤識別的現象；研究圖像都未出現漏識別的現象。總體來說，SENet優化的網絡對滑坡區域語義分割能力的效果提升較為明顯，整體識別更為精準。有利于實現滑坡遙感圖像的自動識別，達到實時智能快速篩查的效果。能夠有效地對野外實地調查、目視解譯效率低、外出風險高等問題提供一個合理的解決方案。

2.5 滑坡區域分割效果定量分析

在精度評價方面，基于混淆矩陣作為計算模型評價指標的基礎，對于像素二分類的混淆矩陣如表1所示。

表1 二分類混淆矩陣Table 1 Two-class confusion matrix

交并比(inetersection over union，IoU)是語義分割效果評價的一個標準，表示預測的滑坡區域與標簽區域的重合度，采用的評價指標包括像素準確率(pixel accuracy，PA)和平均交并比(mean inetersection over union，MIoU)。PA表示識別的準確率，PA越大表示滑坡區域識別效果越好；MIoU表示所有類IoU的平均值，MIoU越大表示識別的重合度越高。PA、IoU和MIoU的定義如下。

(5)

(6)

(7)

基于上述評價標準，在建立的滑坡數據集上用采用SE注意力機制優化的Deeplabv3+算法和采樣傳統的主干網的Deeplabv3+算法進行實驗對比，結果如表2所示。可以看出，SENet優化的算法PA達95.5%，MIoU達到84.7%，對比其他傳統網絡分割效果最好。也印證了定性分析的滑坡分割效果圖，進一步表明SENet優化的Deeplabv3+網絡對滑坡區域分割效果的提升。主要原因是SENet通過構造特征通道的相關性使得網絡提升了對有用特征的權重，增大了對滑坡區域的感受野，所以使算法對特征信息的學習更加全面。由此可見SENet優化的Deeplabv3+算法能夠為減少人工篩查滑坡區域提供有效的軟件系統支持。

表2 不同網絡結構下滑坡分割效果比較Table 2 Comparison of the segmentation effects of different network structures

2.6 本文算法在不同地區的應用

如圖7所示，除在上述測試地區之外，本文算法也應用在實際地區場景，以川渝輸電網黃萬線和張州線輸電網沿線為測試區，沿線遙感影像數據從高分二號衛星獲得，將上述影像數據融合壓縮處理。

圖7 測試區遙感影像Fig.7 Remote sensing image of test area

將上述整個遙感影像圖按一定比例重疊劃分為多個小分辨率影像圖輸入到算法網絡進行滑坡區域分割測試，選取部分測試結果與人工目視解譯結果對比，如圖8所示。人工目視解譯由專業研究人員標注。從測試結果可以看出，SENet優化的算法在識別完整性上不如人工目視解譯，但真實滑坡區域能夠準確地識別，因此，本文算法能夠對大面積山區中的滑坡區域實現快速圈定。

圖8 本文算法識別結果與人工目視解譯滑坡結果對比Fig.8 The comparison between the recognition results of the algorithm in this paper and the results of artificial visual interpretation

3 結論

利用川藏鐵路四川段沿線滑坡災害遙感影像數據，將深度學習語義分割應用到滑坡圖像識別。采用SENet優化的Deeplabv3+滑坡語義分割算法，設計并實現將SENet結構與ASPP層連接構建網絡模型，利用遷移學習對SENet優化的網絡初始化，使用滑坡災害遙感影像數據對網絡模型進行驗證，在不同主干網絡上得到效果不同的滑坡分割結果。經對實驗結果定性和定量分析后可以看出采用SENet優化的Deeplabv3+滑坡語義分割網絡使滑坡語義分割的效果得到較為明顯的提高，能夠更好地對滑坡區域進行精確的定位和劃分，有效地解決了傳統滑坡識別方法效率低、風險高等一系列難題。SENet優化的Deeplabv3+網絡具有普遍適用性和易用性，普通人員也能夠通過該網絡對大面積山區進行滑坡區的判別，大大降低了傳統識別方法所耗費的人力物力。由于遙感影像數據量大，川藏鐵路四川段沿線地質災害頻發和生態環境惡劣，結合語義分割能夠實現智能快速篩查滑坡區域，為鐵路沿線災害預警、災后維護提供一定的理論依據。

根據實驗過程可知，數據集較小對模型的泛化能力無法充分體現，采用SENet語義分割網絡在訓練過程中擬合速度較慢，在接下來的研究中將考慮擴充數據集分類并在保證性能的條件下優化輕量化網絡使其能夠對分割效果進一步提升。同時將人工智能技術與地質災害防控進行融合研究將成為接下來的研究方向。