基于圖像的輸電線路語義分割技術研究

李健　趙建輝　時洪剛

【摘? 要】研究輸電線路的語義分割是一個有重要意義同時也兼具挑戰性的工作，更好的輸電線路的語義分割方法能為后續的輸電線路的覆冰檢測、侵入檢測、繪制檢測電線上的電器組件、災難監測、巡線無人機導航避障等任務打下墓礎，提供技術保障。本文的主要工作是設計了一種準確率更高的輸電線路語義分割方法，為實際工程的后續應用提供技術保障。

【關鍵詞】輸電線路;語義分割技術

1基于圖像的輸電線路語義分割技術研究現狀

輸電線路語義分割研究屬于線檢測的技術領域，線檢測技術可根據有無使用深度學習技術大致分為兩大類。一類是墓于較為傳統的數字圖像處理技術的線檢測方法，該類方法大致分為邊緣檢測和獲得線方程兩個步驟，且大多以檢測直線為主。這是目前在電線檢測應用中較為主流，研究成果較多的方法。另一類則是基于卷積神經網絡的輸電線路檢測方法。由于近幾年以卷積神經網絡為代表的深度學習技術在圖像分類、檢測和分割等領域的應用中取得了較大的性能優勢，部分學者也將神經網絡用于輸電線路的語義分割中。所以在本文中也著重調研了基于卷積神經網絡的語義分割方法，作為本文主要方法的重要支撐和基礎。目前基于卷積神經網絡的語義分割方法比較新興，研究成果比較少，而通過語義分割的神經網絡用于輸電線路的檢測的方法更少，但是卻有著很大的發展前景。

2基于卷積神經網絡的語義分割方法

2.1網絡結構

網絡結構是神經網絡設計中最為重要的部分之一。在語義分割的領域中，因為要得到輸入圖中每個像紊點的類別信息，所以分類卷積神經網絡的最后幾層全連接層需要改為卷積層，形成全卷積網絡。并且，最后輸出的預測圖的尺寸應該與輸入圖的大小保持一致。但是之前所述的分類網絡在提取特征的過程中，用到了一些降采樣手段，比如池化層和卷積層中的步進參數，會導致最后輸出圖尺寸下降，所以在之后要采用上采樣模塊，逐步擴大到輸入圖像大小。這些處理得到的最直接的網絡就是全連接網絡FCN。在FCN之后語義分割神經網絡的總體結構分為兩大類，第一大類是編碼器一解碼器結構，以U-Net和SegNet為代表;第二大類是利用空洞卷積層的結構，以DeepLab系列為代表。下面分別進行介紹。編碼器一解碼器結構的網絡是由一個逐漸減小特征圖尺寸和獲得更高層語義信息的編碼器和一個逐漸增大特征圖尺寸和恢復底層空間信息的解碼器組成。其實FCN也可以理解為一種簡單的編碼器一解碼器結構的網絡，與U-Net的區別在于后者的解碼器設計得更為復雜，并且有了更多的skip結構來連接淺層、局部的特征信息和高層、全局的特征信息，這么做的優點在于能提高分割邊緣的精度。以DeepLabv1、DeepLabv2、DeepLabv3這一系列為代表采用空洞卷積層的網絡結構是另一種常見的語義分割網絡結構。采用空洞卷積層的網絡結構可以通過設置不同的空洞率來控制不同的感受野，從而融合底層特征和高層特征。空洞卷積層還可以取代池化層。

（2）skip結構

skip結構的作用是結合淺層的、局部的特征和深層的、較為全局的特征信息，這在語義分割網絡中的編碼器和解碼器之間的通信過程中經常被使用，因為語義分割需要判斷每個像素點的類別，這既取決于像素點自身的像素值，又取決于像素點周圍的特征信息。

2.2上采樣模塊

語義分割網絡結構中都會有上采樣模塊，主要的作用是擴大特征圖的尺寸。上采樣的具體方法可以分為最近鄰插值、線性插值、雙線性插值、三線性插值等，其中最近鄰插值和雙線性插值是最為常用的兩種方法。例如，其中最近鄰插值是一種最基本、最簡單的圖像縮放算法，效果也是最不好的，放大后的圖像有很嚴重的馬賽克，縮小后的圖像有很嚴重的失真。效果不好的根源就是其簡單的近似方法引入了嚴重的圖像失真。

2.3空洞卷積

語義分割網絡一般都是全卷積網絡，即沒有全連接層，所以卷積層是網絡的重要組成部分。而在DeepLab系列的語義分割方法中都使用了空洞卷積層，使用空洞卷積層的作用是抵消刪減掉池化層帶來的影響，因為池化層的刪減，導致了信息匯聚程度的不足夠，即無法從局部信息中匯聚到全局信息，而空洞卷積層的一個作用就是能夠自由地控制感受野。空洞卷積層還有一個好處是能夠保持特征圖的尺寸，相比之下，經過帶有下采樣的池化層處理后常常導致特征圖的尺寸減半。此外，空洞卷積層的另一個優點是能夠在訓練和測試的時候采用不同的輸出步幅而不會改變參數量和計算量，也不用重新訓練。

2.4通道可分離卷積

除了空洞卷積，通道可分離卷積是另一種卷積的變形方式。通道可分離卷積在DeepLabv3+中被應用到了語義分割網絡中，通道可分離卷積的作用是減少了參數量，降低了計算復雜度。通道可分離卷積是由一個depthwise卷積和一個pointwise卷積組成的。其中depthwise卷積是分層卷積。普通卷積每一個卷積核的尺寸是三維立體的，需要與輸入特征圖的每一層都進行乘法，最后加在一起作為輸出特征圖的某一層的某一個像素點的特征值，但是分層卷積的卷積核是平面的，每一個卷積只需要與對應的一層特征圖進行卷積操作，輸出的特征圖的通道數與輸入的特征圖的通道數一致。為了使各層通道之間可以交流信息，且自由改變輸出特征圖的通道數，還需要在后面接一個pointwise卷積，pointwise卷積其實是一個1*1的卷積。

2.5條件隨機場的結構化預測

不同深度和寬度的卷積神經網絡為輸電線路語義分割任務提供了強大的統計模型。基于深度特征學習和推斷，通過分類器對像素逐個進行分類，實現對輸電線路航拍圖像中關鍵部件類別、位置和形狀的解析。FCN基于輸電線路航拍圖像訓練樣本的統計得到絕緣子、桿塔、線路金具、導/地線預測和分類結果。若單獨利用深度模型得到航拍圖像中關鍵部件精確的分割結果，需要深度網絡提取到足夠好的特征。為了滿足上述要求，需要很強分辨率的輸電線路航拍圖像，但要以足夠的計算資源和計算時間為前提，一般的深度網絡都會將分辨率大的圖像進行壓縮，以節約時間資源和時間成本。在輸電線路航拍圖像語義分割任務中，目標的邊緣像素及部分困難樣本對深度網絡是最難以預測的。概率圖模型在語義分割和邊緣提取的結構化預測任務中已經有了廣泛的應用。與深度網絡統計模型不同的是，條件隨機場（CRF）作為一種概率圖模型，是一種判別式無向圖模型。條件隨機場對輸電線路中的絕緣子、導線等目標的邊緣像素多個變量信息的條件分布進行建模，以像素間的依賴關系為先驗對目標的邊緣像素進行判別，以增強航拍圖像中對關鍵部件邊界的定位。另外，深度模型與條件隨機場結合，可以從一定程度上避免深度模型由于樣本噪音、參數過多產生過擬合現象。本文的重點是將深度網絡模型與概率圖模型的結構化預測能力相結合，通過將深度網絡與CRF兩個模塊進行級聯，實現輸電線路關鍵部件的準確分割。CRF在圖像處理任務上經常被用來平滑分割圖中的噪聲，通過耦合相近的節點，對目標的邊緣鄰近像素分配相同的像素標簽，提升分割效果。在輸電線路航拍圖像的語義分割目標任務中，與平滑目標分割結果不同的是，使用全連接的CRF模型恢復輸電線路圖像關鍵部件的局部結構。

3結束語

目前線檢測方法都是基于傳統的數字圖像處理技術，而本文的目的在于結合時下效果更好的基于深度學習技術的語義分割卷積神經網絡和較為傳統的數字圖像處理技術檢測得到的圖像紋理等特征信息，在電線的語義分割領域中找到一種更優解。

參考文獻：

[1]江錦東.基于卷積神經網絡的室內RGB-D圖像語義分割方法[D].華南理工大學，2018.