基于深度學習的輸電線路關鍵部件視覺檢測方法的研究進展

趙振兵，崔雅萍

(華北電力大學 電氣與電子工程學院，河北 保定 071003)

0　引言

輸電線路作為電力工業的重要基礎設施，是電網的重要組成部分，其安全穩定運行關系到電力系統的可靠性和國民經濟的持續發展。輸電線路關鍵部件主要包括絕緣子、金具及桿塔等，若部件出現問題會危及整個電網運行的穩定性，因此，對關鍵部件缺陷的智能檢測變得尤為重要。利用直升機、無人機巡線，可以減少運檢人員登桿檢查操作的工作量，快速且準確地判斷缺陷情況并提供幫助[1]，已成為輸電線路常態化的巡檢方式，利用搭載的照相或攝像設備獲取輸電線路航拍多傳感器的圖像數量日益增多[2]。由于人員配置數量問題，目前，輸電線路智能巡檢技術實施的主要矛盾已轉化為日益增長的輸電線路航拍圖像缺陷檢測需求與人工檢測精度、效率不匹配、不平衡之間的矛盾。“十三五”期間國家電網公司將新增110 kV及以上線路40.1萬km(較“十二五”末增長45%)[3]，且外部環境更加復雜，面對輸電專業基層一線運檢人員數量無法同步增長的情況下，影響電網安全的風險因素將長期存在。傳統運檢模式難以適應電網發展及體制變革要求，探求一種可提高其缺陷檢測的準確性，并使直升機、無人機巡線系統更為高效和智能的輸電線路航拍圖像的處理方法是破解智能運檢發展難題的必由之路。

國務院于2017年7月20號印發的《新一代人工智能發展規劃》中指出：“人工智能發展進入新階段，成為國際競爭的新焦點，是經濟發展的新引擎，帶來社會建設的新機遇”。十九大報告也提出“推動互聯網、大數據、人工智能和實體經濟深度融合”。國家電網公司積極響應，支持傳統產業優化升級，不斷推進人工智能與電網巡檢工作的融合開展。深度學習[4]是人工智能的一項關鍵技術且在近幾年公共數據集的目標檢測任務中都有出色的表現。基于直升機、無人機和深度學習的航拍輸電線路關鍵部件的視覺檢測方法研究是非常有必要的。

因此，面向智能電網和能源互聯網建設需求，將深度學習技術引入到輸電線路航拍圖像處理中，并充分挖掘大數據中輸電線路關鍵部件的先驗專業知識，具有重要的實用價值，從技術層面上保障了電網的安全穩定運行，提高了輸電線路巡檢的效率。

1　研究現狀

1.1　深度模型檢測方法研究現狀

目前常用、效果較好的目標視覺檢測方法，均依賴深度模型對目標進行檢測[5]。在基于PASCAL VOC[6]、ImageNet[7]等世界公共數據集的挑戰賽中，表現突出、效果優異的目標檢測算法也都紛紛采用深度模型的方法來完成。

在PASCAL VOC挑戰賽上將檢測準確率從35.1%提升到53.7%的R-CNN(Regions with CNN Features)架構[8]，就是將選擇性搜索[9]與卷積神經網絡CNN (Convolutional Neural Network)[10]進行結合。首先，在圖像中生成多個候選目標區域，進而將這些區域設置為固定尺寸送入CNN中進行特征的提取和分類，最終實現目標檢測的目的。文獻[10]提出了基于AlexNet的圖像分類與識別方法，它是對LeNet[11]的一種擴展方法，并且已取得了ImageNet競賽的冠軍。AlexNet能夠學習更大、更復雜的目標層次的神經網絡。AlexNet網絡提出后，許多工作開始關注改進卷積神經網絡的結構，相比于理論研究工作，深度學習模型的結構優化涌現出了更多更有代表性的工作。如在最初的若干個卷積層的模型基礎上采用更小尺寸的卷積核與卷積步長[12]，采用多尺度的訓練與測試數據[13]。在淺層卷積神經網絡的基礎上，文獻[14]通過可視化神經網絡的中層特征，分析分類器參數對結果的影響，提出了ZF-net，該模型提取到的特征含有的語義信息更豐富，并在ImageNet上的分類精度超越了AlexNet。牛津大學提出的視覺幾何組VGG (Visual Geometry Group)模型是對深度卷積神經網絡DCNN (Deep Convolutional Neural Network)的一次系統嘗試，在2014年ILSVRC競賽中取得了優異成績。與傳統的5～7層的淺層網絡相比，其網絡層數加深，模型復雜度增加，計算量加大，VGG模型將淺層網絡中一個卷積核尺寸為7的卷積層拆分為3個卷積核尺寸為3的卷積層，使得模型的參數減少，增加了特征的區分度，提高了模型的判別準確性。文獻[15]進一步縮小卷積核尺寸，在對卷積層感受野不產生任何影響的情況下改善了決策函數的非線性。如圖1所示為近年來目標檢測深度基礎模型發展過程圖，2013年發表在國際計算機視覺與模式識別會議CVPR (IEEE Conference on Computer Vision and Pattern Recognition)的R-CNN取得了準確率為58%的成績之后，在此基礎上進行的很多后續工作如Fast R-CNN[16]、Faster R-CNN[17]、SSD(Single Shot multibox Detector)[18]、YOLO(You Only Look Once)[19]、R-FCN(Region-based Fully Convolutional Networks)[20]等近幾年在公共數據集的目標檢測任務中都有突出的表現。

圖1　目標檢測深度基礎模型發展過程圖

1.2　輸電線路關鍵部件檢測方法研究現狀

輸電線路部件的傳統圖像檢測研究從2000年開始陸續展開，最初是基于經典圖像處理算法的思路，主要集中在針對目標的形狀特征(如邊緣、輪廓)檢測方法上取得了一定的進展。如對于防振錘，可利用圖像邊緣信息采用改進的基于存在概率圖的圓/橢圓檢測方法和分層決策機制[21]；可提取邊緣圖像中某些圖形基元并施加結構約束[22]；也可利用隨機Hough變換檢測防振錘的圓形部分[23]，實現對防振錘的檢測。文獻[24]采用小波與中值濾波相結合對桿塔圖像進行降噪處理，再通過特征提取及匹配的方法對輸電線路桿塔類型及狀態進行識別；文獻[25]提出了基于顯著圖的圖像拼接方法，通過顯著性檢測算法得到桿塔圖像中的感興趣區域，減少圖像匹配過程特征點提取的數量，提高了桿塔的拼接精度；文獻[26]使用結合直方圖均衡化、形態學處理和RGB的彩色模型，通過防震錘正常與銹蝕情況的對比來判斷防震錘是否存在銹蝕缺陷；文獻[27]利用灰度平均梯度與拉普拉斯算子建立形變模型，通過輪廓特征對分割后的間隔棒進行檢測，但由于背景復雜，難以把間隔棒的邊緣清晰地分割出來，同時二值圖像使得信息丟失過多，導致漏檢漏判。

近年來，利用深度學習方法檢測線路部件的主要進展有：將類Haar特征與級聯AdaBoost算法應用于輸電線路防振錘的識別，可解決單一防振錘的識別問題[28]。文獻[29]提出基于過完備字典稀疏表示來進行巡檢圖像缺陷檢測的方法，把巡檢圖像是否有缺陷的問題轉化為巡檢圖像能否能用過完備字典稀疏表示的問題。文獻[30]于2017年提出了利用層次模型“與或圖”對目標進行分解表達，建立部件之問的約束關系，構建多向的判別路徑的方法。文獻[31]研究了深度學習在電力部件識別中的應用，以及采用優化算法對參數進行調優，針對電力小部件識別問題分析了不同算法的效果和性能，驗證了利用RCNN等深度學習算法對電力小部件識別的準確性和效率。

在輸電線路的巡檢中結合深度學習的方法，不僅可以大幅度減少運檢人員數量，提高工作效率，而且還可以實現對電網更加準確有效的狀態評估。但是，由于電力系統的特殊性以及航拍圖像復雜的特點，直接將深度模型應用在輸電線路關鍵部件的檢測中仍存在較大的問題。挖掘適合輸電線路關鍵部件的特征表達，構建專業的關鍵部件知識圖譜對實現輸電線路關鍵部件自動檢測具有重要的指導意義。

2　發展方向

基于航拍圖像的輸電線路部件檢測方法，目前很多是在實驗室環境下進行的，具有很大的局限性。來源于輸電線路的航拍圖像具有如下特點：①輸電線路中絕緣子、桿塔、金具等關鍵部件之間相連或相互遮擋；②來自視頻中的圖像或紅外圖像分辨率相對較低；③圖像背景十分復雜，經常包含森林、山川、田地、房屋、河流、道路等不同自然景物，且隨著四季的更迭背景外觀會隨時改變。輸電線路航拍圖像如圖2所示：圖(a)展示了航拍輸電線路關鍵部件之間相互遮擋的實例；圖(b)展示了紅外圖像分辨率較低，主要部件特征不明顯的實例；圖(c)展示了航拍輸電線路關鍵部件圖像背景復雜的實例。

圖2　不同傳感器所獲得的航拍圖像

這些特點會導致輸電線路關鍵部件目標在圖像中不夠突出，且增加了對關鍵部件檢測處理的難度，很難獲得具有普適性的自動檢測方法。所以直接用現有算法檢測航拍輸電線路關鍵部件，不能獲得滿意的效果，必須結合輸電線路關鍵部件圖像的特性，從理論體系和技術方法等方面對其自動檢測方法進行更深入的探索和研究。

文獻[32-34]研究表明，使用DCNN對目標進行特征提取，然后利用提出的基于方位角檢測和二值形狀先驗知識對目標進行定位。僅利用深度卷積神經網絡作為特征提取器，測試結果遠遠超過特征袋[35]等手工特征，將絕緣子的固有特征與Edge Boxes進行有效結合，使得輸出結果呈現出了更多的高質量絕緣子候選目標區域，有效地減少了干擾區域，提高了航拍巡線絕緣子圖像檢測的準確率?？梢娚疃葘W習在輸電線路關鍵部件的檢測中發揮了巨大的潛力。

深度學習對模型的訓練和測試都依賴于一定數量級的樣本圖片，要想實現對輸電線路航拍圖像關鍵部件的精準檢測，必須需要大量的輸電線路關鍵部件圖片作為訓練集才能在深度神經網絡中學習到更加準確的參數。目前深度模型的設計與應用都針對于公共數據集，其中，包含的類別并不專注于電力系統中的輸電線路關鍵部件。為了能更好地學習到輸電線路關鍵部件中的深度特征，利用這些深度特征進行巡檢圖像中關鍵部件的自動檢測，必須構建一個包含輸電線路關鍵部件的專業數據庫—輸電線路關鍵部件圖像檢測數據庫。這是進行基于深度模型的航拍輸電線路關鍵部件圖像檢測研究的基礎。但是，由于輸電線路具有不同電壓等級，且外部環境復雜多樣；另外，部件的種類繁多，材質、顏色多種多樣，部件間連接關系復雜多變。即使是同一種部件在實際應用中也會因廠家及應用場所的不同造成其在視覺形態中存在較大的差異。由于電力系統的特殊性，且標注成本極其高昂，構建百萬級航拍輸電線路關鍵部件圖像數據庫還需要時間，因此，仍需繼續探索更完備、更具有公信力的構建方法。

迄今為止，將深度學習應用到航拍輸電線路關鍵部件檢測中已經有初步研究，但是，由于電力系統的特殊性，沒有大規模專業圖像數據庫，且輸電線路關鍵部件的特征也會由于生產廠家和地域的不同而存在差異，故為了更智能地實現輸電線路關鍵部件檢測及其故障判定，需要利用專業的先驗知識，建立具有一定普適性且專業性較強的知識圖譜，并將其與現有的深度模型相融合，是實現航拍輸電線路關鍵部件的自動檢測的基礎。航拍輸電線路關鍵部件視覺檢測可按照如圖3進行，采用構建的航拍輸電線路關鍵部件檢測數據庫微調已有的深度模型，對經過微調后的深度模型從兩個方面進行改進。一方面增強特征表達，另一方面建立輸電線路關鍵部件知識圖譜，并引入到微調后的深度模型中，得到改進后的深度模型，輸入輸電線路巡檢測試圖像，最終輸出目標檢測結果。

圖3　航拍輸電線路關鍵部件的檢測框圖

3　結論

實現航拍輸電線路關鍵部件的自動檢測，是提高電網安全穩定運行的基礎。深度學習在航拍輸電線路關鍵部件的檢測任務中具有很好的應有前景，但是，若使其具有較強的工程應用性仍面臨巨大的挑戰。本文對深度檢測模型的研究現狀以及輸電線路關鍵部件檢測的研究進展進行了總結，并從構建航拍輸電線路關鍵部件圖像數據集、建立專業的輸電線路關鍵部件知識圖譜及知識圖譜與深度模型融合等方面分析了航拍輸電線路關鍵部件未來的發展方向。

參考文獻：

[1]張祥全,蘇建軍.架空輸電線路無人機巡檢技術[M].北京: 中國電力出版社,2016.

[3]國家電網公司運維檢修部.智能運檢白皮書[R].北京: 國家電網公司,2016,1-44.

[4]YANN LECUN,YOSHUA BENGIO,GEOFFREY HINTON.Deep learning[J].Nature,2015,521 (7553): 436-444.

[5]JAN HOSANG,RODRIGO BENENSON,PIOTR DOLLR,et al.What Makes for Effective Detection Proposals?[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2016,38(4): 814.

[6]MARK EVERINGHAM,LUC VAN GOOL,WILLIAMS CHRISTOPHER K.,et al.The pascal visual object classes (VOC) challenge[J].International Journal of Computer Vision,2010,88(2): 303-338.

[7]JIA DENG,WEI DONG,SOCHER R.,et al.Imagenet: a large-scale hierarchical image database[C].IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2009: 248-255.

[8]ROSS GIRSHICK,JEFF DONAHUE,TREVOR DARRELL,et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C].IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2013: 580-587.

[9]SANDE KOEN E.,UIJLINGS JASPER R.,GEVERS T.,et al.Segmentation as selective search for object recognition[C].IEEE International Conference on Computer Vision (ICCV),2012: 1879-1886.

[10]KRIZHEVSKY ALEX,ILYA SUTSKEVER,GEOFFREY HINTON.Imagenet classification with deep convolutional neural networks[J].Communications of the ACM,2012,60(2): 2012.

[11]YANN LECUN,BOTTOU LEON,BENGIO YOSHUA,et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE,1998,86(11): 2278-2324.

[12]LIN M.,CHEN Q.,YAN S.Network in network[C].Proceedings of the 30th International Conference on Learning Representations (ICLR),2014: 1-10.

[13]GONG YUNCHAO,WANG LIWEI,GUO RUIQI,et al.Multi-scale orderless pooling of deep convolutional activation features[C].European Conference on Computer Vision (ECCV),2014: 392-407.

[14]MATTHEW D.ZEILER,ROB FERGUS.Visualizing and understanding convolutional networks[C].European Conference on Computer Vision (ECCV),2014: 818-833.

[15]OQUAB MAXIME,LéON BOTTOU,LAPTEVI I.,et al.Learning and transferring mid-level image representations using convolutional neural networks[C].IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2014: 1717-1724.

[16]GIRSHICK R.FAST R-CNN[C].IEEE International Conference on Computer Vision (ICCV),Santiago,Chile,2015: 1440-1448.

[17] REN SHAOQING,HE KAIMING,GIRSHICK R.,et al.Faster R-CNN: towards real-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2015,39(6): 1137-1149.

[18]LIU WEI,ANGUELOV D.,ERHAN D,et al.SSD: single shot multibox detector[C].European Conference on Computer Vision (ECCV),2015: 21-37.

[19]REDMON JOSEPH,SANTOSH KUMAR DIVVALA,GIRSHICK R.,et al.You only look once: unified,real-time object detection[C].IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2016: 779-788.

[20]DAI JIFENG,LI YI,HE KAIMING.,et al.R-FCN: object detection via region-based fully convolutional networks[C].Conference and Workshop on Neural Information Processing Systems(NIPS),2016: 379-387.

[21]張運楚,梁自澤,傅思遙,等.基于結構約束的架空輸電線路巡線機器人障礙識別[J].機器人,2007,29(1): 1-6.

[22]胡彩石,吳功平,曹珩,等.高壓輸電線路巡線機器人障礙物視覺檢測識別研究[J].傳感技術學報,2009,21(12): 2092-2096.

[23]陳曉娟,吳英石,趙亮,等.基于隨機Hough變換的OPGW防震錘識別[J].黑龍江電力,2010,32(1): 1-2.

[24]趙君.基于航拍圖像的桿塔類型判斷及狀態識別[D].保定：華北電力大學,2010.

[25]張旭,高佼,王萬國,等.基于顯著圖的輸電線路桿塔圖像拼接方法[J].計算機應用,2015,35(4): 1133-1136.

[26]宋偉,左丹,鄧邦飛,等.高壓輸電線防震錘銹蝕缺陷檢測[J].儀器儀表學報,2016,37(s1): 113-117.

[27]WU HAIBIN,XI YANPING,FANG WEIMIN,et al.Damper detection in helicopter inspection of power transmission line[C].IEEE Fourth International Conference on Instrumentation and Measurement,Computer,Communication and Control,2014:628-632.

[28]金立軍,門書佳,劉源,等.基于類Haar特征與級聯AdaBoost算法的防震錘識別[J].系統仿真學報,2012,24(9): 1806-1809.

[29]盧君妥.飛行機器人巡檢圖像中關鍵部件缺陷[D].北京: 華北電力大學,2016.

[30]付晶,邵瑰瑋,吳亮,等.利用層次模型進行訓練學習的線路設備缺陷檢測方法[J].高電壓技術,2017,43(1): 266-275.

[31]王萬國,田兵,劉越,等.基于RCNN的無人機巡檢圖像電力小部件識別研究[J].地球信息科學學報,2017,29(1): 256-263.

[32]ZHAO ZHENBING,XU GUOZHI,QI YINCHENG,et al.Multi-patch deep features for power line insulator status classification from aerial images[C].International Joint Conference on Neural Networks(IJCNN),IEEE,2016: 3187-3194.

[33]ZHAO ZHENBING,LIU NING,WANG LE.Localization of multiple insulators by orientation angle detection and binary shape prior knowledge[J].IEEE Transactions on Dielectrics and Electrical Insulation,2015,22(6): 3421-3428.

[34]ZHAO ZHENBING,ZHANG LEI,QI YINCHENG,et al.A generation method of insulator region proposals based on edge boxes[J].Optoelectronics Letters,2017,13(6):466-470.

[35]LI FEIFEI,PERONA P.A bayesian hierarchical model for learning natural scene categories[C].IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2005: 524-531.