宋立業(yè) 劉 帥 王 凱 楊金丹
(1. 遼寧工程技術(shù)大學(xué)電氣與控制工程學(xué)院 葫蘆島 125000 2. 國(guó)網(wǎng)遼寧省電力有限公司葫蘆島供電公司 葫蘆島 125000)
輸電線路的安全穩(wěn)定運(yùn)行是電網(wǎng)可靠供電的重要保障,然而絕緣子、防震錘、均壓環(huán)、屏蔽環(huán)的損壞[1-5]及附著在高壓線塔上的鳥(niǎo)巢[6]嚴(yán)重危及線路安全運(yùn)行。通過(guò)人工檢測(cè)電網(wǎng)元件及缺陷的方式存在速度較低、精確度有限的缺點(diǎn),因此利用計(jì)算機(jī)視覺(jué)中的目標(biāo)檢測(cè)算法實(shí)現(xiàn)無(wú)人機(jī)巡檢圖像的自動(dòng)檢測(cè)成為研究熱點(diǎn)內(nèi)容[7-8]。
目標(biāo)檢測(cè)算法主要包括單階段目標(biāo)檢測(cè)和兩階段目標(biāo)檢測(cè)[9]。單階段目標(biāo)檢測(cè)只需對(duì)圖片處理一次就能獲得目標(biāo)分類(lèi)和位置信息[10],檢測(cè)速度較快但精度較低,代表算法有SSD(single shot multibox detector)[11]、YOLO(you only look once)[12]等。兩階段又稱(chēng)基于候選區(qū)域的檢測(cè)方法,檢測(cè)精度較高但速度較慢,代表算法有faster R-CNN(faster Region-based convolutional neutral network)[13]、SPPNet(spatial pyramid pooling networks)[14]、Mask-RCNN[15]等。
單階段目標(biāo)檢測(cè)算法由于具有檢測(cè)速度快的優(yōu)勢(shì),在電力巡檢中被廣泛應(yīng)用,文獻(xiàn)[16-18]均利用Yolov3分別對(duì)絕緣子、鳥(niǎo)巢、防鳥(niǎo)刺等進(jìn)行目標(biāo)檢測(cè),其中文獻(xiàn)[17-18]為了進(jìn)行相應(yīng)的缺陷定位,分別將直線段檢測(cè)算法(Line Segment Detector, LSD)、二分類(lèi)網(wǎng)絡(luò)與YOLOv3(YOLO version 3)結(jié)合使用,模型較為復(fù)雜且無(wú)法做到實(shí)時(shí)缺陷定位。文獻(xiàn)[19]利用雙目攝像頭和綠幕對(duì)絕緣子數(shù)據(jù)進(jìn)行采集生成后,訓(xùn)練EfficientDet檢測(cè)絕緣子破損等缺陷。文獻(xiàn)[20]利用SSD目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)鳥(niǎo)巢進(jìn)行識(shí)別后通過(guò)顏色空間(Hue Saturation Value, HSV)對(duì)子圖像進(jìn)行過(guò)濾,該方法用傳統(tǒng)圖像處理算法彌補(bǔ)SSD精度不足的問(wèn)題,模型復(fù)雜。兩階段目標(biāo)檢測(cè)算法和傳統(tǒng)圖像處理方式也在電力巡檢中有所應(yīng)用,文獻(xiàn)[21-22]均利用Faster-RCNN分別對(duì)均壓環(huán)、絕緣子進(jìn)行識(shí)別定位取得了較好的效果,但無(wú)法做到實(shí)時(shí)檢測(cè)。文獻(xiàn)[23]利用閾值分割和形態(tài)學(xué)處理對(duì)防震錘區(qū)域進(jìn)行提取后對(duì)銹蝕區(qū)域進(jìn)行識(shí)別,采取的傳統(tǒng)圖像處理方式精度較差,并會(huì)出現(xiàn)漏檢情況。
總結(jié)以上方法,大都對(duì)單一元件及缺陷進(jìn)行檢測(cè)分析,在電力系統(tǒng)多元件應(yīng)用環(huán)境下普適性較差;這些方法為了提高電力系統(tǒng)小目標(biāo)檢測(cè)精度或進(jìn)一步進(jìn)行缺陷定位,大都采用先進(jìn)目標(biāo)檢測(cè)算法與傳統(tǒng)算法或二分類(lèi)算法相結(jié)合使用,模型較為復(fù)雜,難以同時(shí)滿足速度和精度。在此研究背景下,亟需提出一種先進(jìn)的元件識(shí)別及缺陷定位方法解決上述問(wèn)題。
本文對(duì)EfficientDet目標(biāo)檢測(cè)算法進(jìn)行改進(jìn),提高小目標(biāo)的檢測(cè)精度,利用不同的網(wǎng)絡(luò)代數(shù)達(dá)到可伸縮的目標(biāo)檢測(cè)效果,在元件檢測(cè)時(shí)降低代數(shù)以加速檢測(cè),在缺陷定位時(shí)增加代數(shù)以提高精度。此方法解決了現(xiàn)有的電力巡檢模型中小目標(biāo)識(shí)別精度低,檢測(cè)的元件及缺陷類(lèi)型較為單一,速度和精度無(wú)法同時(shí)滿足的問(wèn)題。
本文的原始數(shù)據(jù)集共1 468張,來(lái)源于國(guó)網(wǎng)某檢修公司無(wú)人機(jī)巡檢作業(yè)時(shí)拍攝的標(biāo)準(zhǔn)化照片。由于機(jī)器學(xué)習(xí)的訓(xùn)練中,數(shù)據(jù)集的質(zhì)量對(duì)訓(xùn)練效果和檢測(cè)效率有較大的影響,現(xiàn)有的原始數(shù)據(jù)集數(shù)量有限,直接用于訓(xùn)練得出的結(jié)果難以滿足電力巡檢的精度要求,所以本文利用Imgaug數(shù)據(jù)增強(qiáng)庫(kù)[24]進(jìn)行數(shù)據(jù)擴(kuò)充,模擬實(shí)際巡檢時(shí)拍攝模糊、噪聲、天氣惡劣等情況,提升訓(xùn)練模型抗干擾的魯棒性。
在實(shí)際無(wú)人機(jī)巡線中,許多復(fù)雜的環(huán)境因素會(huì)引起各種圖像破壞和干擾[25-26],本文總結(jié)出在電力巡檢過(guò)程中可能出現(xiàn)的11種腐敗類(lèi)型,其中包括椒鹽噪聲、泊松噪聲和高斯噪聲三種噪聲干擾;彩色加強(qiáng)、過(guò)度曝光、灰度拉伸和運(yùn)動(dòng)抖動(dòng)四種拍攝干擾;以及雨、雪、霧和夜間四種天氣干擾。由于原始數(shù)據(jù)不含以上11種腐敗類(lèi)型,為了提高模型抗干擾的魯棒性,本文利用Imgaug數(shù)據(jù)增強(qiáng)庫(kù)內(nèi)的各類(lèi)變換函數(shù)組合調(diào)用來(lái)實(shí)現(xiàn)11種腐敗類(lèi)型的模擬。
本文抽取一張無(wú)人機(jī)電力巡檢航拍圖片,變換得到11種腐敗示例如圖1所示。由圖1可以看出,每種變換后的圖像均能模擬出實(shí)際巡檢時(shí)可能出現(xiàn)的特殊情況。

圖1 數(shù)據(jù)腐敗變換示例 Fig.1 Data corruption transformation example
本文對(duì)原始集進(jìn)行數(shù)據(jù)增強(qiáng)后,篩選并刪除不能用于訓(xùn)練的圖像,共得到4 867張后原始+增強(qiáng)數(shù)據(jù)集,將圖片按3:7的比例分為測(cè)試集和訓(xùn)練集,圖片數(shù)量分別為1 460張和3 407張。此時(shí),利用LabelImg進(jìn)行數(shù)據(jù)分類(lèi)標(biāo)注:元件檢測(cè)主要包括絕緣子(Insulator)、防震錘(Damper)、均壓環(huán)(Grading_ring)、屏蔽環(huán)(Shielding_ring)和鳥(niǎo)巢(Bird_house)(鳥(niǎo)巢不依附于任何元件)。缺陷定位包括絕緣子缺陷(Insulator_defect)、防震錘缺陷(Damper_defect)、均壓環(huán)缺陷(Grading_ring_defect)和屏蔽環(huán)缺陷(Shielding_ring_defect),得到標(biāo)注框9 817個(gè)。為了盡可能地模擬真實(shí)的情況,驗(yàn)證模型訓(xùn)練的泛化能力,重新向某電網(wǎng)公司收集了378張?jiān)捌淙毕莸臄?shù)據(jù)集作為真實(shí)集并進(jìn)行標(biāo)注,具體樣本數(shù)量見(jiàn)表1。
為了驗(yàn)證該數(shù)據(jù)增強(qiáng)方法的效果,本文設(shè)計(jì)了對(duì)比實(shí)驗(yàn):采用Faster-RCNN的不同主干網(wǎng)絡(luò)(VGG16、ResNet101)對(duì)原始集1 468張、增強(qiáng)集3 399張、訓(xùn)練集3 407張分別進(jìn)行訓(xùn)練并用測(cè)試集進(jìn)行驗(yàn)證,得出各目標(biāo)平均精度(Average Precision, AP)結(jié)果見(jiàn)表2,相比于原始集,增強(qiáng)集的各目標(biāo)AP有所提升,證明了本文方法獲取的增強(qiáng)數(shù)據(jù)的可用性;訓(xùn)練集的AP較原始集有顯著提升,證明了該增強(qiáng)方法可優(yōu)化深度學(xué)習(xí)訓(xùn)練。

表1 樣本數(shù)量表 Tab.1 Sample size table

表2 不同數(shù)據(jù)集訓(xùn)練結(jié)果對(duì)比表 Tab.2 Comparison of training results of different data sets
針對(duì)現(xiàn)有的元件檢測(cè)及缺陷定位模型較為復(fù)雜的問(wèn)題,本文選用具有可伸縮性的EfficientDet,并對(duì)其加以改進(jìn),建立一種只用單一算法就能使精度與速度同時(shí)得以優(yōu)化的電力巡檢模型,解決了模型復(fù)雜問(wèn)題,提高了檢測(cè)效率。
Tan Mingxing等[27]此前提出了EfficientDet: Scalable and Efficient。該算法為EfficientNet[28]的擴(kuò)展,從分類(lèi)任務(wù)擴(kuò)展到目標(biāo)檢測(cè)任務(wù)。可伸縮性表現(xiàn)在其設(shè)置了EfficientDet D0~D7八個(gè)不同的網(wǎng)絡(luò)代數(shù),隨著代數(shù)增加,精度提高但速度降低。
EfficientDet目標(biāo)檢測(cè)算法由EfficientNet主干特征提取網(wǎng)絡(luò)、不同層數(shù)的雙向特征金字塔網(wǎng)絡(luò)(Bidirectional Feature Pyramid Networks, BiFPN)加強(qiáng)特征提取網(wǎng)絡(luò)和先驗(yàn)框分類(lèi)與調(diào)整網(wǎng)絡(luò)三部分組成。總體結(jié)構(gòu)如圖2所示。

圖2 EfficientDet算法結(jié)構(gòu) Fig.2 EfficientDet algorithm structure diagram
為了驗(yàn)證無(wú)人機(jī)巡檢中小目標(biāo)檢測(cè)任務(wù)較多,本文設(shè)置了如下計(jì)算:定義Wimg為原圖寬度,Himg為原圖高度;wele為標(biāo)注的元件寬度,hele為標(biāo)注的元件高度;wdef為標(biāo)注的缺陷寬度,hdef為標(biāo)注的缺陷高度。從而可列出相對(duì)尺寸占比公式為


式中,x為元件相對(duì)于整張圖片的對(duì)比大小;y中的def單獨(dú)指代鳥(niǎo)巢缺陷,故y為鳥(niǎo)巢缺陷相對(duì)于整張圖片的對(duì)比大小;z中def單獨(dú)指代元件缺陷,故z為缺陷相對(duì)于該元件的對(duì)比大小。在數(shù)據(jù)集中隨機(jī)抽取500張圖片,計(jì)算xavg、yavg、zavg(對(duì)比大小平均值)分別為0.292、0.043、0.141。
綜上所述,元件檢測(cè)及缺陷定位中小目標(biāo)檢測(cè)任務(wù)較多,再加之無(wú)人機(jī)航拍圖像像素過(guò)大導(dǎo)致算力需求過(guò)高,如何改進(jìn)網(wǎng)絡(luò)以構(gòu)建更適用于無(wú)人機(jī)巡檢的EfficientDet成為本文研究的重點(diǎn)。
2.2.1 改進(jìn)加強(qiáng)特征提取網(wǎng)絡(luò)BiFPN
EfficientDet加強(qiáng)特征提取網(wǎng)絡(luò)中的BiFPN結(jié)構(gòu)主要用于充分融合不同分辨率的特征圖,對(duì)比普通目標(biāo)檢測(cè)算法(Feature Pyramid Networks, FPN),BiFPN在以下方面提升了特征融合性能:使用跳躍連接以輕量化網(wǎng)絡(luò);添加注意力機(jī)制加權(quán)學(xué)習(xí)更關(guān)鍵的特征信息;設(shè)置上采樣和下采樣兩條路徑進(jìn)行更充分的特征融合。
為了提高BiFPN的小目標(biāo)檢測(cè)能力,本文提出改進(jìn)的BiFPN,與FPN、BiFPN結(jié)構(gòu)對(duì)比如圖3所示。改進(jìn)BiFPN結(jié)構(gòu)(圖3c)的具體融合路徑為:上采樣時(shí)獲得中間信息,以中間點(diǎn)P5-td為例:其加入的注意力機(jī)制融合了P6-td的上采樣信息和P5本身的輸入信息;下采樣時(shí)獲得輸出信息,以輸出點(diǎn)P4-out為例:其加入注意力機(jī)制地融合了P3-out的下采樣信息、P4-td的中間信息、P5-td的小尺度信息和P4本身的輸入信息;最后以此類(lèi)推獲取P3-out、P4-out、P5-out、P6-out、P7-out傳入下一層改進(jìn)BiFPN特征提取結(jié)構(gòu)作為輸入信息。

圖3 三種特征提取結(jié)構(gòu)對(duì)比 Fig.3 Comparison of three feature extraction structures
本文提出的改進(jìn)BiFPN結(jié)構(gòu)(圖3c)在下采樣特征融合時(shí),融合上采樣時(shí)小尺度一級(jí)的中間信 息,如圖中虛線箭頭所示。這種改進(jìn)可以使網(wǎng)絡(luò)更充分地學(xué)習(xí)小尺度信息,從而提高小目標(biāo)檢測(cè)的精確度。
2.2.2 改進(jìn)主干特征提取網(wǎng)絡(luò)EfficientNet
主干特征提取網(wǎng)絡(luò)EfficientNet中的倒殘差模塊可以有效地復(fù)用數(shù)據(jù)流中的數(shù)據(jù)特征。Zhou Daquan等[29]提出MobileNeXt,其中的改進(jìn)倒殘差模塊相比于EfficientNet的倒殘差模塊將高維度特征進(jìn)行殘差短連接,更能提高模型特征提取的精確度。
合理地利用注意力機(jī)制可以在訓(xùn)練中更高效地捕獲關(guān)鍵信息。Hou Qibin等[30]提出一種坐標(biāo)注意力機(jī)制(Coordinate Attention, CA),該機(jī)制在水平X方向和垂直Y方向上進(jìn)行平均池化,對(duì)transform進(jìn)行空間信息編碼,把空間信息在通道上加權(quán)融合,結(jié)構(gòu)如圖4所示。相比于EfficientNet使用的擠壓-激勵(lì)(Squeeze and Excitation, SE)注意力機(jī)制,CA注意力機(jī)制不僅考慮到通道間的關(guān)系,而且考慮到X、Y兩個(gè)維度的空間特征信息,優(yōu)化模型訓(xùn)練,從而提高檢測(cè)精度。

圖4 CA注意力模塊 Fig.4 CA attention module
本文利用一種施加CA注意力機(jī)制的改進(jìn)倒殘差模塊提高主干特征提取網(wǎng)絡(luò)的效率。圖5為本文所用模塊與傳統(tǒng)殘差模塊、EfficientNet中的倒殘差模塊的結(jié)構(gòu)對(duì)比圖,箭頭寬度表示通道的相對(duì)數(shù)量。

圖5 三種殘差模塊對(duì)比 Fig.5 Comparison of three residual modules
圖5a為傳統(tǒng)殘差模塊,其經(jīng)過(guò)1×1點(diǎn)卷積壓縮通道后進(jìn)行3×3普通卷積提取特征,最后通過(guò)1×1點(diǎn)卷積擴(kuò)張通道,同時(shí)輸入輸出相加,形成“壓縮—卷積—擴(kuò)張”的數(shù)據(jù)流向,無(wú)注意力機(jī)制。圖5b為EfficientNet中的倒殘差模塊,其先經(jīng)過(guò)1×1點(diǎn)卷積通道擴(kuò)張后進(jìn)行3×3或5×5深度卷積提取特征,添加SE注意力機(jī)制,最后通過(guò)1×1點(diǎn)卷積壓縮通道,同時(shí)輸入輸出相加,形成“擴(kuò)張—卷積—壓縮”的數(shù)據(jù)流向。
圖5b所示的原網(wǎng)絡(luò)倒殘差模塊中,殘差連接的是點(diǎn)卷積壓縮通道后的低維度特征,在此過(guò)程中可能會(huì)丟失一定的有用信息,導(dǎo)致結(jié)果不佳。為解決上述問(wèn)題,本文利用一種施加CA注意力機(jī)制的改進(jìn)倒殘差模塊如圖5c所示,通過(guò)翻轉(zhuǎn)倒殘差的思想解決了上述問(wèn)題。圖5c相比于圖5b,執(zhí)行兩次輕量化的深度卷積以編碼更多空間信息如(紅色)虛線箭頭所示。圖5c首先將高維度層進(jìn)行3×3或5×5深度卷積提取特征,其次添加CA注意力機(jī)制,接著進(jìn)行1×1通道壓縮再進(jìn)行1×1通道擴(kuò)張,最后再進(jìn)行一次3×3或5×5深度卷積,同時(shí)輸入輸出相加,形成“卷積—壓縮—擴(kuò)張—卷積”的數(shù)據(jù)流向。
式(4)、式(5)說(shuō)明了改進(jìn)倒殘差模塊可以在輸出不變的情況下編碼更多空間信息:設(shè)F∈RH×W×M為輸入張量,G∈RH×W×M為輸出張量,為了分析簡(jiǎn)單,這里假設(shè)輸入、輸出具有相同的通道數(shù)M和分辨率H×W,改進(jìn)的倒殘差模塊輸出為

原始EfficientNet倒殘差模塊輸出為

式中,Φe與Φr分別表示通道擴(kuò)張和壓縮的逐點(diǎn)卷積。本文在Blockcore處提取的是調(diào)整大小和通道數(shù)后的 EfficientNet降維主干特征層,其與原始EfficientNet相比,特征層大小和通道數(shù)不變,但殘差邊短接的是高維通道的輸入和輸出,從而傳遞了更多F到G的信息。
在元件檢測(cè)任務(wù)中,數(shù)據(jù)集中圖像分辨率較高,所以本文在元件檢測(cè)任務(wù)中卷積核大小(Kernel Size, KS)不變,加大步長(zhǎng),加速數(shù)據(jù)降維。具體網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)見(jiàn)表3,其中Stage3/5/7及Stage7再進(jìn)行兩次下采樣的特征層作為加強(qiáng)特征提取網(wǎng)絡(luò)的輸入。

表3 改進(jìn)EfficientNet網(wǎng)絡(luò)參數(shù) Tab.3 Improving EfficientNet network parameters
2.2.3 改進(jìn)EfficientDet在無(wú)人機(jī)巡檢中的應(yīng)用
將2.2.1和2.2.2小節(jié)改進(jìn)部分與先驗(yàn)框分類(lèi)調(diào)整網(wǎng)絡(luò)結(jié)合在一起,組成更適用于無(wú)人機(jī)巡檢的改進(jìn)EfficientDet目標(biāo)檢測(cè)算法,將其應(yīng)用于電網(wǎng)元件檢測(cè)及缺陷定位的原理如圖6所示。

圖6 改進(jìn)EfficientDet應(yīng)用于電力巡檢原理 Fig.6 Improved EfficientDet applied to power inspection principle diagram
為了使改進(jìn)EfficientDet在元件檢測(cè)及缺陷定位時(shí)實(shí)現(xiàn)速度和精度的同時(shí)優(yōu)化與平衡,本文設(shè)計(jì)了如圖7和圖8所示的訓(xùn)練及預(yù)測(cè)流程,根據(jù)訓(xùn)練效果選擇適用于元件檢測(cè)及缺陷定位的網(wǎng)絡(luò)代數(shù)。

圖7 基于改進(jìn)EfficientDet電力巡檢訓(xùn)練流程 Fig.7 Flow chart of power patrol training based on improved EfficientDet

圖8 基于改進(jìn)EfficientDet電力巡檢預(yù)測(cè)流程 Fig.8 Flow chart of power patrol prediction based on improved EfficientDet
本次實(shí)驗(yàn)采用PyTorch1.6.0作為深度學(xué)習(xí)框架,Ubuntu18.04系統(tǒng)、Python3.6、CUDA10.0、torchvision0.7.0、numpy1.16.4、OpenCV4.4.0,mmdetection工具箱。由于本次實(shí)驗(yàn)的算力需求急劇增加,故采用PyTorch實(shí)現(xiàn)四路GPU分布式訓(xùn)練。硬件配置見(jiàn)表4。

表4 硬件配置 Tab.4 Hardware configuration
第2節(jié)中設(shè)置了改進(jìn)EfficientDet的訓(xùn)練流程(見(jiàn)圖7),在訓(xùn)練中選定本文適用的網(wǎng)絡(luò)代數(shù),根據(jù)流程進(jìn)行實(shí)驗(yàn),元件檢測(cè)要求精度設(shè)為0.85,缺陷定位要求精度設(shè)為0.87,起始訓(xùn)練的是改進(jìn)的EfficientDet-D0網(wǎng)絡(luò),最終達(dá)到元件檢測(cè)精度要求的網(wǎng)絡(luò)代數(shù)為改進(jìn)的EfficientDet-D3網(wǎng)絡(luò),達(dá)到缺陷定位精度要求的網(wǎng)絡(luò)代數(shù)為改進(jìn)的EfficientDet-D5網(wǎng)絡(luò),訓(xùn)練參數(shù)設(shè)置見(jiàn)表5。

表5 訓(xùn)練參數(shù)設(shè)置 Tab.5 Training parameter setting
在目標(biāo)檢測(cè)領(lǐng)域中,通常采用平均均值精度(mean Average Precision, mAP)和每秒幀率(Frames Per Second, FPS)來(lái)評(píng)價(jià)模型的準(zhǔn)確率和檢測(cè)速度。此外,本文引入模型大小和訓(xùn)練時(shí)間來(lái)更全面地對(duì)比各類(lèi)模型的訓(xùn)練效果。
平均均值精度是所有類(lèi)別檢測(cè)結(jié)果的平均精度(AP)的均值,AP是查準(zhǔn)率(Precision)和召回率(Recall)曲線下的面積,計(jì)算公式為

式中,TP(true positive)為正確判斷目標(biāo)類(lèi)別的樣本數(shù)量;FP(false positive)為將錯(cuò)誤目標(biāo)誤判為正確目標(biāo)的樣本數(shù)量;FN(false negative)為將正確目標(biāo)誤判為錯(cuò)誤目標(biāo)的樣本數(shù)量;TP+FP為模型檢測(cè)的總目標(biāo)數(shù);TP+FN為真實(shí)目標(biāo)的總數(shù)。以召回率為橫坐標(biāo),每個(gè)召回率對(duì)應(yīng)的查準(zhǔn)率最大值為縱坐標(biāo),繪出Precision-Recall曲線,對(duì)曲線取積分求曲線下面積即為AP值。設(shè)類(lèi)別數(shù)為C,i∈[1,C],平均均值精度mAP計(jì)算公式為

每秒幀率為1s內(nèi)檢測(cè)圖片的幀數(shù),用以反映模型的檢測(cè)速度。模型的每秒幀率越高,越能滿足工程應(yīng)用中實(shí)時(shí)檢測(cè)要求。
模型訓(xùn)練損失值與交并比(Intersection over Union,IoU)為0.5時(shí)mAP隨訓(xùn)練輪次的變化曲線如圖9所示。由圖9可得,無(wú)論是用于元件檢測(cè)的改進(jìn)EfficientDet-D3網(wǎng)絡(luò)還是用于缺陷定位的改進(jìn)EfficientDet-D5網(wǎng)絡(luò),隨著訓(xùn)練輪次的增加,模型的損失值不斷減小,mAP不斷提升,整個(gè)網(wǎng)絡(luò)趨于收斂。此時(shí),選定mAP最高時(shí)的訓(xùn)練權(quán)重作為最終的目標(biāo)檢測(cè)模型。

圖9 損失值與mAP隨訓(xùn)練輪次變化曲線 Fig.9 Curves of loss value and mAP with training epoch
為了更好地驗(yàn)證本文算法的泛化能力和真實(shí)實(shí)用性,利用上述權(quán)重進(jìn)行真實(shí)集的元件檢測(cè)和缺陷定位,部分檢測(cè)結(jié)果如圖10與圖11所示。由圖可見(jiàn),本文提出的改進(jìn)EfficientDet算法訓(xùn)練后不僅可以在背景簡(jiǎn)單和目標(biāo)較大的情況下有效進(jìn)行元件檢測(cè)及缺陷定位,而且可以克服背景復(fù)雜、目標(biāo)重疊、目標(biāo)較小等問(wèn)題,準(zhǔn)確檢測(cè)元件和定位缺陷。

圖10 真實(shí)集部分元件檢測(cè)測(cè)試結(jié)果 Fig.10 Test results of some components in real dataset

圖11 真實(shí)集部分缺陷定位測(cè)試結(jié)果 Fig.11 Test results of some defect location in real dataset
元件檢測(cè)后,讀取檢測(cè)結(jié)果中每個(gè)元件預(yù)測(cè)框的頂點(diǎn)坐標(biāo),根據(jù)不同像素點(diǎn)具體坐標(biāo)切割出若干只包括單個(gè)元件的圖片,再對(duì)這些圖片進(jìn)行缺陷定位。極大地減少了輸入至缺陷定位模型的數(shù)據(jù)量,有效地提高了缺陷定位速度和精確度。測(cè)試結(jié)果如圖12所示。

圖12 切割后缺陷定位測(cè)試結(jié)果 Fig.12 Results of defect location after cutting
九種目標(biāo)在不同檢測(cè)閾值(IoU=0.5和IoU=0.75)下的精度測(cè)試結(jié)果見(jiàn)表6。在單類(lèi)別方面進(jìn)行分析,屏蔽環(huán)元件及絕緣子缺陷召回率及精度較高,由于訓(xùn)練目標(biāo)較少,鳥(niǎo)巢及均壓環(huán)缺陷的召回率及精度遠(yuǎn)小于其他目標(biāo);在平均均值精度方面進(jìn)行分析,IoU=0.5時(shí),mAP高達(dá)90.2%,有效證明本文提出方法可以精確地完成無(wú)人機(jī)電力巡檢中元件檢測(cè)和缺陷定位任務(wù)。

表6 九種目標(biāo)測(cè)試精度結(jié)果 Tab.6 Results of five types of data validation
為了驗(yàn)證本文提出方法的優(yōu)越性與普適性,更全面地評(píng)估此模型的性能,設(shè)計(jì)了算法對(duì)比實(shí)驗(yàn)。本實(shí)驗(yàn)使用了以下五種目標(biāo)檢測(cè)算法進(jìn)行對(duì)比,分別為原始EfficientDet、faster R-CNN、YOLOv3、YOLOv4、SSD。為了保證對(duì)比公平性,均在同一搭建好的實(shí)驗(yàn)平臺(tái)進(jìn)行訓(xùn)練,并采用相同的訓(xùn)練集和測(cè)試集,為了進(jìn)一步驗(yàn)證本文方法的泛化能力,除了在測(cè)試集上求mAP之外,另求出真實(shí)集上的mAP也作為對(duì)比指標(biāo)。除了本文改進(jìn)的EfficientDet算法之外,其他算法均有預(yù)訓(xùn)練模型,并在預(yù)訓(xùn)練模型基礎(chǔ)上進(jìn)行遷移學(xué)習(xí)訓(xùn)練。各模型在模型大小、訓(xùn)練時(shí)間、每秒幀率(FPS)、mAP(IoU=0.5)四項(xiàng)指標(biāo)上的結(jié)果對(duì)比見(jiàn)表7。

表7 六種網(wǎng)絡(luò)模型訓(xùn)練結(jié)果對(duì)比 Tab.7 Comparison of training results of six network models
由表7可得,本文所用的改進(jìn)EfficientDet算法在總mAP上優(yōu)越于其他目標(biāo)檢測(cè)網(wǎng)絡(luò),達(dá)到90.2%,可以滿足電網(wǎng)中元件檢測(cè)及缺陷定位的精度要求,證明了本文方法的適用性。相比于原始EfficientDet算法,總mAP提升了8.6%,驗(yàn)證了本文對(duì)算法改進(jìn)的必要性。另外,在額外真實(shí)集上本文方法mAP可以達(dá)到88.4%,證明本文方法的泛化性和實(shí)用性。模型大小方面,無(wú)論是元件檢測(cè)還是缺陷定位任務(wù),均僅次于SSD目標(biāo)檢測(cè)網(wǎng)絡(luò),輕量化的網(wǎng)絡(luò)更容易搭載至無(wú)人機(jī)嵌入式系統(tǒng)。在檢測(cè)速度FPS方面,本文所用方法在元件檢測(cè)中FPS可達(dá)到23.4f/s,缺陷定位中FPS可達(dá)到17.2f/s,雖然低于與之對(duì)比的YOLO系列算法及SSD算法,但是由于無(wú)人機(jī)巡檢時(shí)飛行速度不高,本文方法也能夠滿足電力巡線中的速度需求。
綜上所述,本文所提出的改進(jìn)EfficientDet算法在電網(wǎng)元件檢測(cè)及缺陷定位任務(wù)中的精確率較其他算法有明顯優(yōu)勢(shì),其余指標(biāo)均能滿足無(wú)人機(jī)電力巡檢中的工業(yè)需求。
本文提出一種基于改進(jìn)EfficientDet的電網(wǎng)元件及缺陷識(shí)別方法,構(gòu)建了高壓線路上典型的四種元件及五種缺陷的圖像數(shù)據(jù)集,改進(jìn)了EfficientDet中的加強(qiáng)特征提取網(wǎng)絡(luò)BiFPN與主干特征提取網(wǎng)絡(luò)EfficientNet,將數(shù)據(jù)集在改進(jìn)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練驗(yàn)證并與其他先進(jìn)目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行對(duì)比,可得出以下結(jié)論:
1)本文利用Imgaug數(shù)據(jù)增強(qiáng)方法構(gòu)建的電網(wǎng)元件及缺陷多目標(biāo)數(shù)據(jù)集可以優(yōu)化深度學(xué)習(xí)訓(xùn)練。
2)本文的改進(jìn)方法具有優(yōu)越性,在元件檢測(cè)及缺陷定位中改進(jìn)網(wǎng)絡(luò)mAP較原始網(wǎng)絡(luò)mAP均有所提升,總mAP提升了8.6%。
3)改進(jìn)EfficientDet在測(cè)試集上mAP達(dá)到90.2%,優(yōu)于其他目標(biāo)檢測(cè)模型,同時(shí)元件檢測(cè)及缺陷定位速度也能滿足需求,證明了本文方法可以對(duì)元件進(jìn)行有效檢測(cè),對(duì)缺陷進(jìn)行定位,為未來(lái)電網(wǎng)建設(shè)中的巡檢智能化帶來(lái)一定的參考價(jià)值。