基于新型編解碼網絡的復雜背景航拍圖像輸電線識別*

李運堂，詹葉君，王鵬峰，黃永勇，李孝祿，陳 源

(1.中國計量大學機電工程學院，浙江 杭州 310018；2.中國計量大學現代科技學院，浙江 杭州 310017)

輸電線長期暴露于自然環(huán)境，表面容易粘附異物、內部容易受損甚至出現斷股、斷線，致使電力傳輸異常。 因此，對輸電線路進行定期巡檢并及時發(fā)現問題，對于確保電力傳輸安全具有重要意義[1]。人工輸電線路巡檢需要徒步到達指定地點進行檢測，易受地理環(huán)境影響，效率低、成本高、誤檢率大。無人機具有機動性強、靈活性好等優(yōu)點，可以到達山區(qū)、叢林等苛刻環(huán)境。 因此，無人機輸電線路巡檢近年來得到廣泛關注[2-3]。

在復雜多樣的背景中完整、快速、準確地識別出輸電線是無人機跟蹤輸電線飛行、實現自動巡檢的前提。 目前，輸電線識別主要有常規(guī)圖像處理和基于深度學習的圖像智能識別兩種方法。 在常規(guī)圖像處理方面，趙樂等[4]利用水平方向Ratio 算子檢測圖像邊緣，采用Hough 變換提取輸電線，具有較好的抗噪性，輸電線識別精度高，但對圖像中輸電線方向要求嚴格，并且容易將水平方向的線性噪聲識別為輸電線。 趙浩程等[5]通過直方圖均衡化提高圖像中輸電線和背景的對比度，采用Radon 變換快速完整地識別和提取輸電線，但背景復雜時，噪聲影響大，穩(wěn)定性較差。 張從新等[6]利用多組態(tài)形態(tài)學算法濾除二值圖中的背景噪聲，增強輸電線邊緣信息，采用Canny 算子檢測圖像邊緣，通過直線提取算法快速、準確地提取和識別輸電線，但需人工調節(jié)背景不同時邊緣檢測閾值，泛化能力有待提高。 Abid Hasan 和Ko[7]采用中值模糊過濾出邊緣特征，利用腐蝕和膨脹形態(tài)學操作與Canny 算子結合識別輸電線邊緣，可去除平滑操作無法處理的噪聲，保留輸電線像素信息。 Tian 等[8]通過雙邊濾波器消除圖像背景噪聲，同時保留輸電線邊緣信息，利用輸電線之間平行的先驗條件，通過Hough 變換識別輸電線，檢測速度快，但需手動調整參數以獲得最佳識別效果。

利用常規(guī)圖像處理檢測輸電線易受背景噪聲干擾，識別精度低，易出現漏檢或錯檢。 近年來，許多學者采用深度學習方法進行輸電線識別和提取。 其中，語義分割作為深度學習的核心應用領域之一，圖像中每個像素均劃分出對應的類別，實現像素級分類，突破了常規(guī)圖像處理識別精度的瓶頸[9-10]。 在語義分割領域，Long 等[11]提出的全卷積網絡(FCN)考慮多尺度特征融合，基于端到端的思想用卷積層代替全連接層處理圖像分割。 Ronneberger等[12]提出具有U 型結構的UNet 網絡，采用下采樣編碼、上采樣解碼和跳躍連接結構，下采樣逐層提取特征信息，上采樣逐層恢復特征信息，跳躍連接結構對不同尺度的特征層進行融合，該方法對圖像中的小目標分割效果較好。 Badrinarayanan 等[13]提出的SegNet 網絡具有典型的編解碼結構，編碼器由VGG16 的前13 個卷積層組成，實現端到端像素級圖像分割。 Chen 等[14]提出的Deeplab 網絡引入了空洞卷積的金字塔池化，跨像素提取特征，擴大了感受野，使每個卷積輸出均包含較大范圍信息，能夠提取圖像多尺度特征。 針對輸電線的語義分割，Yetgin 和Gerek[15]利用離散余弦變換提取出輸電線特征，采用隨機森林和支持向量機分類器判斷圖像中是否存在輸電線，但不能實現輸電線的定位和提取。 劉嘉瑋等[16]針對已有語義分割模型輸電線識別準確率低和輸電線圖像數據樣本過少等問題，改進了UNet 網絡，在下采樣中將池化層添加到第5 層從而覆蓋輸入圖像的全部感受野，在背景圖像中，添加與輸電線類似的線段，形成仿真數據集，采用改進的UNet 網絡在所搭建的仿真數據集上訓練，能夠精確提取輸電線像素信息，識別準確率高，但仿真數據集與真實輸電線圖像差別較大、特征單一，容易導致網絡過擬合。 趙振兵等[17]采用FCN 網絡訓練數據集，在上采樣階段添加多尺度膨脹卷積，擴大了感受野，有效提高了像素分類精度，但FCN 網絡模型參數多，識別速度慢。 Zhang 等[18]采用VGG16 作為主干特征提取網絡搭建輸電線檢測模型，利用非極大值抑制細化輸電線邊緣，提高輸電線分割精度，但模型參數較多，網絡訓練速度較慢。

本文提出基于新型編解碼網絡復雜背景航拍圖像輸電線識別方法，能夠快速、準確地識別出圖像中的輸電線。 編碼器選用MobileNetV3 模型作為主干特征提取網絡并引入注意力機制，更新了H-swish和Hard-sigmoid 激活函數，采用深度可分離卷積塊代替普通卷積，在編碼器第13 特征層引出快捷鏈路進行最大池化，壓縮特征信息后與第16 特征層在通道上進行堆疊。 解碼器添加金字塔池化模塊(PSP)增強輸電線特征復用性。 在編碼器和解碼器之間加入多尺度特征融合的跳躍連接結構，最終融合后的特征層通過1×1 卷積調整通道數對圖像中的輸電線像素點進行分類。 實驗表明，相對于現有的語義分割網絡，新型編解碼網絡具有更高的分割精度和更快的識別速度。

1 編解碼網絡構建

1.1 編解碼網絡結構

輸電線大多架設在野外，航拍圖像背景復雜多變，輸電線貫穿整幅圖像并且像素點數占比很小，檢測難度大。 為實現無人機自動跟蹤輸電線飛行，要求輸電線識別精度高、速度快。 為滿足上述需求，本文構建了一種新型編解碼網絡，如圖1 所示。 該網絡包括降維和特征提取的編碼器，升維和特征恢復的解碼器兩部分，編解碼器之間的跳躍連接結構使編碼器與解碼器相對應的特征層進行通道上的疊加融合。 編解碼網絡淺層特征層主要用于邊緣分割，深層特征層主要用于像素分類，多層次特征融合結構有助于增加特征信息的表達能力，便于輸電線分割。

圖1 新型編解碼網絡結構

①編碼器

常見的主干特征提取網絡模型參數多，內存要求高，選取輕量級MobileNetV3 模型作為編碼器的主干特征提取網絡減少了模型參數[19]，運算效率高，識別速度快。 由于網絡深度增加容易出現網絡退化，難以訓練等問題，借鑒殘差網絡思想，改進MobileNetV3 結構，在第13 特征層引出快捷鏈路進行最大池化壓縮特征信息，并與第16 特征層在通道上進行堆疊，充分利用淺層特征信息。

MobileNetV3 由1 個卷積塊和15 個Bneck 組成的卷積結構模塊構成。 如圖2 所示，Bneck 模塊包括多個深度可分離卷積(Dwise)、批量歸一化(BN)、H-swish、 Hard-sigmoid 激 活 函 數、 注 意 力 機 制(SE)[20]等，從而提高網絡模型表達能力并實現網絡輕量化。

圖2 Bneck 模塊

SE 對特征層進行一次平均池化(AvgPool)，再進行兩次全連接(FC)得到與平均池化前特征層通道數相同，尺寸為1×1 的權重層，其每一層參數即為平均池化前特征層各個通道上的權重系數。 通過訓練得到特征層各個通道的權重系數，從而提高輸電線特征信息的利用率。

Bneck 模塊前兩層非線性激活函數采用H-swish函數

式中:Relu6 = min[6，max(0，x)]，x為輸入值。H-swish激活函數能夠引入更多的非線性因素，提高模型表達能力。

在SE 的第二個全連接層更新Hard-sigmoid 激活函數

由于沒有指數項，計算量小，模型訓練速度快。

②解碼器

為聚合特征層不同區(qū)域的上下文信息，提高輸電線特征復用性，獲取輸電線圖像全局信息，在解碼網絡中引入PSPNET 網絡[21]的金字塔池化模塊(PSP)，如圖3 所示。

圖3 PSP 模塊

PSP 模塊將輸入特征層按照1×1，2×2，3×3 和6×6多尺度網格劃分成4 個子特征層，對子特征層每個網格內部進行平均池化。 為保證全局特征權重，池化后的四個子特征層經過1×1 卷積調整通道數為輸入特征層通道數的1/4；再通過上采樣(Upsample)恢復至池化前尺寸；最后，通過快捷鏈路將輸入特征層與上采樣后的4 個子特征層做通道上堆疊，得到融合4 種不同金字塔尺度的特征層。PSP 模塊融合了不同感受野平均池化特征，能夠更有效地聚合全局場景中輸電線語義信息，提高語義分割精度，使輸電線分割更精細。

解碼器中，PSP 模塊融合不同尺度特征信息，卷積塊(DBL)調整通道數并加強特征信息提取，通過上采樣恢復像素后與MobileNetV3 第11 特征層跳躍連接進行通道上堆疊；再經過一層PSP 模塊提取特征信息，DBL 模塊調整通道數并提取特征信息，上采樣恢復像素后與MobileNetV3 第7 特征層跳躍連接進行堆疊；堆疊后的結果經過三次深度可分離卷積提取特征信息并調整通道數，上采樣恢復像素后與MobileNetV3 第4 特征層跳躍連接進行堆疊；再經過三次深度可分離卷積和上采樣后與Mobile-NetV3 第2 特征層跳躍連接在通道上進行堆疊，通過三次深度可分離卷積和上采樣恢復像素到與輸入圖像具有相同尺寸的416×416，最后經過1×1 卷積將通道數調整為類別數，將輸出特征圖整合為416×416×2，實現輸電線像素和背景像素的分類。

編解碼網絡淺層下采樣倍數小，有利于提取細長輸電線簡單的邊緣特征信息；深層下采樣倍數大，輸電線特征信息經過大幅壓縮，空間損失大，但有利于輸電線和背景的像素分類。 通過跳躍連接結構，將淺層和深層多尺度的特征信息融合，圖像分割精度得到顯著提升。

1.2 多尺度特征層可視化

為便于理解構建的新型編解碼網絡內部運行過程，對不同深度特征層進行可視化操作[22]，如圖4所示。

圖4 不同深度特征信息

可以看出，編碼器網絡淺層下采樣倍數小，有利于提取輸電線和背景詳細紋理特征，網絡深度增加，特征信息被壓縮，更加關注全局語義信息。 在解碼器中，通過跳躍連接結構融合多尺度特征信息，結合淺層細節(jié)特征和深層語義特征，輸電線特征信息更加豐富，每一次級聯后，可視化結果更精細，網絡更加注重學習輸電線特征而忽略背景特征，提升識別效果。

2 輸電線數據集搭建

2.1 數據集的收集

由于沒有公開的輸電線圖像數據集，如圖5 所示，采用無人機拍攝了4 000 張輸電線數據樣本。為增強數據樣本之間的無關性，防止單一特征過擬合，調整無人機飛行姿態(tài)，獲取視角、背景和光照強度不同時的輸電線圖像。

圖5 無人機拍攝輸電線圖像

2.2 數據集標注

采用Labelme 標注輸電線數據樣本標簽值，如圖6 所示，輸出包含輸電線像素信息的Json 文件。

圖6 Labelme 標注界面

2.3 數據擴增

數據集大小直接影響網絡訓練效果，由于采集的樣本數量有限，為提高編解碼網絡訓練魯棒性，增強網絡泛化能力，通過Mosaic 數據增強方法擴充圖像數據集。 如圖7 所示，在數據集中任意抽取四張圖片進行隨機縮放、翻轉、裁剪和色域變換等操作，再拼接成一張圖片作為訓練數據，批量歸一化時一次可同時訓練四張圖片。 數據擴增容易出現模糊、分辨率過低等不適合網絡訓練的圖像，經人工篩選去除，最后得到數據集共5 000 張輸電線圖像，按照9 ∶1 劃分為訓練集和測試集。 訓練前將所有數據集尺寸統(tǒng)一調整為416×416×3。

圖7 Mosaic 數據增強

3 實驗分析

3.1 實驗環(huán)境

深度學習框架為Pytorch-GPU V1.7.0，處理器為Inter Core i7-9700k 3.60 GHz 八核，顯卡為Nvidia GeForce GTX 1660，顯存6 GB，內存32 GB，Nvidia 運算平臺為CUDA10.1，GPU 加速庫為CUDNN7.6.4，圖像處理庫為Opencv4.4.0，編程語言Python3.7。

3.2 模型評價指標

采用主流評價指標驗證輸電線語義分割性能。

①像素準確率(PA):預測正確的輸電線像素點數與該幅圖像所有像素點數之比。

式中:像素分割類別k=1，Pii表示網絡模型預測的像素點類別為輸電線，實際像素點標簽值類別也為輸電線，Pij表示網絡模型預測的像素點類別為輸電線，實際像素點標簽值類別為背景。

②類別平均像素準確率(MPA):所有目標類別PA 的均值。

③平均交并比(MIOU):每個分類預測結果和標簽值交集與并集的比值，求和后再求均值，為語義分割的標準度量，反映輸電線語義分割的準確度。

式中:pji表示網絡模型預測的像素點類別為背景，實際像素點標簽值類別為輸電線。

3.3 訓練過程

對編解碼網絡使用GPU 訓練，采用Adam 優(yōu)化器，批大小(Batch＿size)為8，初始學習率為0.000 1，訓練世代為500 代，每隔一代調整學習率衰減速度，學習率衰減系數為0.000 5。

損失函數由兩部分構成，分別為交叉熵損失L和Dice＿Loss。 交叉熵損失反映真實概率與預測概率的差異，其值越小，網絡模型預測效果越好。

式中:X為網絡預測結果，Y為標簽值結果。

Dice 系數為集合相似度的度量函數，其值越大表示預測結果與真實結果重合度越大，取值范圍為[0，1]。

采用遷移學習策略[23]，利用開源VOC 數據集在編解碼網絡上通過預訓練得到預訓練權值參數，并將其遷移至編解碼網絡模型訓練輸電線數據集，共訓練500 個世代，編解碼網絡損失值變化如圖8所示。 可見，隨著訓練代數增加，網絡訓練趨于穩(wěn)定，損失值收斂于0.1 附近。

圖8 損失值-訓練世代曲線

3.4 實驗結果對比

為了檢驗所構建的新型編解碼網絡有效性，對比新型編解碼網絡與主流語義分割模型UNet[12]網絡、PSPNet[24]網絡以及文獻[16]和文獻[18]所述網絡的輸電線識別效果，五個網絡實驗環(huán)境和數據集相同，實驗結果如圖9 所示。 可以看出，PSPNet網絡輸電線識別效果較差，將輸電線附近的背景像素誤判為輸電線，并出現輸電線斷線情況。 UNet 網絡模型對于簡單背景，可以識別出輸電線的方向和具體位置，識別效果較好，但在樹葉繁茂背景下容易出現輸電線丟失和斷裂，并且將樹干誤判為輸電線。文獻[16]改進的UNet 網絡輸電線識別效果較好，但復雜背景圖像邊緣處未識別出輸電線。 文獻[18]所用網絡利用非極大值抑制細化輸電線邊緣容易導致輸電線斷裂或缺失。 新型編解碼網絡在背景復雜，輸電線方向不同時，均能準確識別出完整、干凈的輸電線。

圖9 五種網絡輸電線識別結果

表1 對比了五種網絡的實驗結果。 可以看出，新型編解碼網絡的各項評價指標均優(yōu)于UNet 網絡、PSPNet 網絡、文獻[16]和文獻[18]所述網絡。 文獻[16]改進的UNet 網絡相對于改進前的UNet 網絡分割精度有所提高，但模型深度增加導致運算量增大，識別速度降低。 文獻[18]采用VGG16 作為主干特征提取網絡，模型參數量大，特征提取能力弱于MobileNetV3，分割精度不高，識別速度低于其他網絡。 新型編解碼網絡的分割準確率MPA 和MIOU 分別達到了94.37%和86.95%，分割速度達到了31 frame/s，均高于其他四種網絡，表明新型編解碼網絡輸電線分割精度高、識別速度快。

表1 五種網絡實驗結果對比

為進一步驗證新型編解碼網絡的有效性，進行消融對比實驗，如表2 所示。 方法1:編碼器中Bneck 模塊采用Relu6 激活函數，未引入注意力機制，采用普通卷積代替深度可分離卷積；方法2:編碼器第13 特征層未引出快捷鏈路進行最大池化層與第16 特征層堆疊，直接進行正向傳播；方法3:解碼器只進行卷積和上采樣操作，未引入PSP 模塊；方法4:去除編解碼網絡之間的跳躍連接結構；方法5:減少編碼器主干特征提取網絡深度，去除第11 特征層后的Bneck 模塊，對淺層特征進行解碼器操作還原至原圖大小；方法6:新型編解碼網絡。

表2 消融對比實驗結果

可以看出，方法1 的FPS 明顯低于其他方法，表明引入H-swish 激活函數和深度可分離卷積有利于網絡輕量化和提高識別速度，由于未引入注意力機制獲取輸電線特征層各通道信息，方法1 識別精度低。 方法2 識別精度較高但低于方法6，表明在第13 特征層引出的快捷鏈路能夠利用淺層特征信息，使深層特征更加豐富，有助于提高識別精度。 方法3 識別結果表明，解碼器中PSP 模塊有效聚合了全局語義信息，有助于提高分割精度。 方法4 識別精度較低，表明編解碼器中添加跳躍連接有效融合了淺層和深層多尺度特征信息，大幅提高了輸電線像素分類準確度。 方法5 識別精度最低，但FPS 最高，表明隨著編解碼網絡深度增加，編碼器特征提取效果得到增強，輸電線語義信息分類和定位更準確，但模型參數增加降低了識別速度。

4 結論

針對輸電線在航拍圖像中像素點數占比小、背景復雜、檢測難度大，現有方法檢測速度慢、精度低等問題，設計了基于新型編解碼網絡的輸電線識別方法。 編碼器采用MobileNetV3 輕量級模型作為主干特征提取網絡，并在MobileNetV3 的淺層引出快捷鏈路與深層堆疊，解碼器中添加PSP 模塊和深度可分離卷積，在編解碼器之間加入多尺度特征融合的跳躍連接結構。 實驗結果表明，新型編解碼網絡MPA、MIOU 和FPS 分別達到了94.37%、86.95%和31 frame/s，分割精度和識別速度均優(yōu)于UNet 網絡和PSPNet 網格。 消融對比實驗表明，采用深度可分離卷積能夠減少網絡參數，降低運算成本并提高計算效率，有助于提高網絡輕量化和運算速度。 引入H-swish 和Hard-sigmoid 激活函數增加了非線性因素，提高了網絡模型的表達能力。 添加注意力機制、引出的快捷鏈路、PSP 模塊、跳躍連接結構和網絡深度的增加對提高分割精度具有顯著作用。

新型編解碼網絡能快速準確地識別出復雜背景下的輸電線，為無人機跟蹤輸電線巡檢提供了新的方法。 后續(xù)工作將進一步采集和擴充輸電線樣本，優(yōu)化網絡實現復雜背景中多根、交叉或方向改變的輸電線識別，推動語義分割用于輸電線識別技術的發(fā)展。