基于注意力機(jī)制的YOLOv5的輸電線(xiàn)路銷(xiāo)釘缺陷檢測(cè)

摘 要：實(shí)現(xiàn)輸電線(xiàn)路螺栓缺銷(xiāo)缺陷的自動(dòng)檢測(cè)，及時(shí)高效地排除故障，是電力系統(tǒng)的一個(gè)難題，也是電力系統(tǒng)長(zhǎng)期的研究目標(biāo)。借助深度學(xué)習(xí)目標(biāo)檢測(cè)算法YOLOv5，利用航拍圖像對(duì)螺栓缺銷(xiāo)進(jìn)行缺陷檢測(cè)，依據(jù)航拍圖像分辨率較高且缺銷(xiāo)區(qū)域占比較很低的問(wèn)題，提出一種裁剪大圖、基于注意力機(jī)制的非極大值抑制去重的YOLOv5模型檢測(cè)方法，實(shí)現(xiàn)銷(xiāo)釘缺失的自動(dòng)分類(lèi)和檢測(cè)定位。采用基于注意力機(jī)制的YOLOv5模型檢測(cè)銷(xiāo)釘缺失的檢測(cè)精度達(dá)到92.45%，平均準(zhǔn)確率達(dá)到91.33%，明顯提高了缺銷(xiāo)的檢測(cè)mAP，對(duì)實(shí)現(xiàn)電力系統(tǒng)巡檢的智能化具有較高的應(yīng)用價(jià)值。

關(guān)鍵詞：輸電巡檢；缺銷(xiāo)；YOLO算法；注意力機(jī)制

中圖分類(lèi)號(hào)：TM721" " " " " " " " " " " " " " " " "文獻(xiàn)標(biāo)識(shí)碼：A" " " " " " " " " " " " " " " " 文章編號(hào)：2096-6903（2023）03-0084-03

0 引言

螺栓是輸電線(xiàn)路上數(shù)量最多的緊固件，長(zhǎng)期處于高空振動(dòng)狀態(tài)下，引腳容易脫落，可能造成大面積輸電線(xiàn)路故障，嚴(yán)重威脅電網(wǎng)的安全性和穩(wěn)定性[1]。常見(jiàn)缺銷(xiāo)的檢測(cè)方法主要依賴(lài)于專(zhuān)業(yè)人員登高攀爬檢測(cè)，受人員專(zhuān)業(yè)度影響較大。另外，由于受地形、環(huán)境、氣候等天氣因素的影響，存在很高的安全隱患。

隨著電網(wǎng)建設(shè)的蓬勃發(fā)展，電力線(xiàn)路數(shù)量不斷增多，現(xiàn)如今無(wú)人機(jī)智能巡檢替代傳統(tǒng)人工攀爬巡檢，已逐漸成為輸電巡檢的一個(gè)趨勢(shì)。本文以巡檢影像中銷(xiāo)釘缺陷的識(shí)別作為研究對(duì)象，針對(duì)銷(xiāo)釘目標(biāo)物理尺寸較小直接識(shí)別準(zhǔn)確率低問(wèn)題，利用滑窗裁剪大圖。構(gòu)建基于注意力機(jī)制的YOLOv5檢測(cè)方法模型，比較模型、數(shù)據(jù)集和實(shí)驗(yàn)配置，并給出實(shí)驗(yàn)結(jié)果，進(jìn)行了對(duì)比分析。最后得出一些結(jié)論，對(duì)本文進(jìn)行總結(jié)，并對(duì)今后的工作提出了方向和建議。

1 基于計(jì)算機(jī)視覺(jué)的缺陷檢測(cè)

近年來(lái)，基于計(jì)算機(jī)視覺(jué)的自動(dòng)缺陷檢測(cè)應(yīng)用研究較多。例如一種鐵路鋼軌扣件缺陷自動(dòng)檢測(cè)系統(tǒng)，采用線(xiàn)段檢測(cè)器對(duì)軌枕進(jìn)行定位，對(duì)緊固件進(jìn)行結(jié)構(gòu)建模，利用緊固件對(duì)象的Haar特征進(jìn)行故障識(shí)別。該系統(tǒng)構(gòu)建了基于SSD和YOLO的三級(jí)缺陷檢測(cè)結(jié)構(gòu)[2]，在定位到支撐裝置后檢測(cè)緊固件，通過(guò)構(gòu)建深度神經(jīng)網(wǎng)絡(luò)來(lái)檢測(cè)缺陷，實(shí)現(xiàn)了接觸網(wǎng)支撐裝置上緊固件缺陷的全程自動(dòng)檢測(cè)。

2 關(guān)于計(jì)算機(jī)視覺(jué)中輸電線(xiàn)路上銷(xiāo)釘?shù)娜毕輽z測(cè)的問(wèn)題

基于計(jì)算機(jī)視覺(jué)的目標(biāo)檢測(cè)方法廣泛應(yīng)用于許多領(lǐng)域，解決了許多不同的問(wèn)題，雖然能夠達(dá)到的不錯(cuò)的精度，但迄今為止對(duì)電力傳輸線(xiàn)螺栓缺陷檢測(cè)的研究很少?；谏疃葘W(xué)習(xí)的計(jì)算機(jī)視覺(jué)方法在輸電線(xiàn)路螺栓缺銷(xiāo)檢測(cè)中的應(yīng)用仍有許多問(wèn)題有待解決。經(jīng)過(guò)對(duì)航拍圖像中螺栓銷(xiāo)釘缺失的詳細(xì)研究，并與專(zhuān)業(yè)人員溝通后，總結(jié)了輸電線(xiàn)路上銷(xiāo)釘缺銷(xiāo)的問(wèn)題，具體有如下3點(diǎn)。

第一，由于輸電線(xiàn)路環(huán)境復(fù)雜、結(jié)構(gòu)多樣，基于視覺(jué)的螺栓缺銷(xiāo)檢測(cè)，會(huì)受到不可預(yù)測(cè)的復(fù)雜背景變化和線(xiàn)路等其他組件屏蔽造成的干擾等影響。多角度拍攝螺栓的視覺(jué)形態(tài)差異巨大，可能導(dǎo)致視覺(jué)相似度差。

第二，與輸電線(xiàn)路中的其他部件相比，螺栓在傳輸線(xiàn)中相對(duì)較小，具有較少的像素信息，使得無(wú)人機(jī)很難獲得單個(gè)螺栓的航拍圖像，同時(shí)物體信息和非物體信息之間的極度不平衡。這進(jìn)一步增加了檢測(cè)銷(xiāo)釘缺陷的難度。當(dāng)深層結(jié)構(gòu)提取圖像特征時(shí)，會(huì)提取出對(duì)象的抽象語(yǔ)義特征，對(duì)象的信息也會(huì)被腐蝕。

第三，航拍圖像中缺銷(xiāo)螺栓與正常螺栓的視覺(jué)差異極小，缺陷特征的不規(guī)則性使得航拍圖像中缺銷(xiāo)螺栓缺陷特征的分類(lèi)更具挑戰(zhàn)性。

為了實(shí)現(xiàn)航拍圖像中螺栓的全面準(zhǔn)確定位和螺栓的準(zhǔn)確分類(lèi)，需要做以下兩點(diǎn)工作：①高質(zhì)量的監(jiān)管信息數(shù)據(jù)集是支持研究的前提和基礎(chǔ)。②在數(shù)據(jù)有限的情況下，需要構(gòu)造魯棒性強(qiáng)、類(lèi)別區(qū)分能力強(qiáng)的特征。

3 銷(xiāo)釘缺失解決方案

銷(xiāo)釘物理體積很小，而拍攝銷(xiāo)釘?shù)脑O(shè)備（如無(wú)人機(jī)）由于安全距離等原因不能離銷(xiāo)釘太近，導(dǎo)致銷(xiāo)釘在航拍圖像中成像效果較差。圖1是由電科院提供的用于銷(xiāo)釘檢測(cè)的圖片，由圖1可以看到正常銷(xiāo)釘橫插在螺栓上，缺失銷(xiāo)釘在螺栓上不存在。觀察所有樣本圖片后，進(jìn)行數(shù)據(jù)分析后得到以下結(jié)論：圖像的分辨率為w=5 000，h=7 000時(shí)，銷(xiāo)釘?shù)姆直媛蕿閣=50，h=70。只有螺釘沒(méi)有銷(xiāo)釘說(shuō)明銷(xiāo)釘已經(jīng)脫落，將相應(yīng)位置標(biāo)注出來(lái)。這是在大分辨率圖像中檢測(cè)小物體的方式 [3]。

通過(guò)滑動(dòng)窗口，步進(jìn)式地將原輸入圖像切分，設(shè)置一定的滑動(dòng)窗口（調(diào)至銷(xiāo)釘占圖片比例適中即可。設(shè)置滑動(dòng)窗口大小為640×640）和步長(zhǎng)（15%滑動(dòng)窗口區(qū)域面積的重疊），然后將每個(gè)滑動(dòng)窗口分別放入模型進(jìn)行檢測(cè)。每個(gè)滑動(dòng)窗口有可能對(duì)同一目標(biāo)進(jìn)行多次檢測(cè)，因此采用非極大抑制NMS 算法得出其中一個(gè)最好的框，能夠有效避免了小目標(biāo)識(shí)別的局限性。傳統(tǒng)的等比例分割算法可能會(huì)存在部分缺銷(xiāo)區(qū)域，無(wú)法獲得完整的檢測(cè)框的問(wèn)題。同時(shí)針對(duì)邊界框定位不夠精確、重疊區(qū)域不容易區(qū)分、邊界框定位不夠精確的特點(diǎn)，增加了注意力模塊。

4 注意力機(jī)制與YOLOv5深度學(xué)習(xí)檢測(cè)

4.1 圖像中的注意力機(jī)制

圖像檢測(cè)中引入注意力機(jī)制的意義有以下兩點(diǎn)：①選擇神經(jīng)網(wǎng)絡(luò)更加關(guān)注的區(qū)域，產(chǎn)生不同關(guān)注度的特征。網(wǎng)絡(luò)中的Attention Module可以產(chǎn)生attention-aware特征，不同模塊的feature也會(huì)隨著網(wǎng)絡(luò)深度的改變同步改變。②不斷增加的Attention Module會(huì)增強(qiáng)模型的性能，不同類(lèi)型的attention將被大量捕捉到。

本實(shí)驗(yàn)依據(jù)注意力機(jī)制的優(yōu)勢(shì)，將其與YOLOv5進(jìn)行結(jié)合，實(shí)現(xiàn)基于注意力機(jī)制的YOLOv5銷(xiāo)釘缺陷自動(dòng)化檢測(cè)。

4.2 YOLOv5的網(wǎng)絡(luò)結(jié)構(gòu)與優(yōu)化策略

YOLOv5是一種用于目標(biāo)檢測(cè)的深度學(xué)習(xí)模型，相對(duì)其他深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，YOLOv5比較靈活，可以通過(guò)修改配置參數(shù)，采取不同的訓(xùn)練手段。通過(guò)修改網(wǎng)絡(luò)深度、寬度參數(shù)，得到不同復(fù)雜度的模型。YOLOv5一共有4個(gè)不同復(fù)雜度的模型，分別是s、m、l、x。這幾種模型中，Yolov5s網(wǎng)絡(luò)最小，速度最快。yolov5s的模型較小，速度很快，邊端設(shè)備可以使用。如果尋求更高的精度，可以使用其他三種網(wǎng)絡(luò)，在此基礎(chǔ)上，不斷加深加寬網(wǎng)絡(luò)，但速度的消耗也在不斷增加。本文依據(jù)巡檢的實(shí)際應(yīng)用場(chǎng)景，選擇yolov5x的網(wǎng)絡(luò)模型。

4.3 YOLOv5訓(xùn)練與檢測(cè)流程

本實(shí)驗(yàn)數(shù)據(jù)來(lái)源于電科院無(wú)人機(jī)巡檢采集而得的數(shù)據(jù)集，具有較高的分辨率。訓(xùn)練數(shù)據(jù)樣本根據(jù)銷(xiāo)釘所處狀態(tài)分為2類(lèi)，分別在原圖上標(biāo)記為normal split pin（正常），lack split pin（缺失）。測(cè)試集是從目標(biāo)數(shù)據(jù)集按照8：2的比例隨機(jī)獲得，與訓(xùn)練集無(wú)交集。經(jīng)過(guò)統(tǒng)計(jì)，正常狀態(tài)的樣本有1132張，缺失銷(xiāo)釘?shù)臉颖居?089張，原始標(biāo)注為在航拍大分辨率圖像上的voc格式的標(biāo)注，而訓(xùn)練的過(guò)程中需要w=640，h=640的圖像，所以對(duì)原始圖像進(jìn)行滑窗裁剪，同時(shí)導(dǎo)出相對(duì)于裁剪后圖像的xml標(biāo)注文件，并且對(duì)沒(méi)有目標(biāo)的圖像和標(biāo)注進(jìn)行刪除[4]。得到1544張有標(biāo)注的圖像后，用albumentations工具對(duì)訓(xùn)練集的圖像做數(shù)據(jù)增強(qiáng)：隨機(jī)翻轉(zhuǎn)，亮度、對(duì)比度變化，得到圖像6236張，測(cè)試過(guò)程首先需要將輸入的圖像進(jìn)行滑動(dòng)窗口裁剪，裁成h=640，w=640，裁剪后的圖像稱(chēng)為block。相鄰的block有15%的區(qū)域的重疊，依次放入網(wǎng)絡(luò)進(jìn)行檢測(cè)，最終的檢測(cè)框的坐標(biāo)加上圖像所屬左上角的坐標(biāo)，即可得到原圖中的絕對(duì)坐標(biāo)，然后對(duì)原圖上的所有框做NMS（非極大值抑制），得到最終的檢測(cè)圖。

5 實(shí)驗(yàn)與分析

整個(gè)實(shí)驗(yàn)運(yùn)行部分參數(shù)設(shè)置如下：學(xué)習(xí)率為0.01，最大訓(xùn)練輪次為300輪，輸入的圖像大小為w=h=640，使用預(yù)訓(xùn)練權(quán)重初始化[5]。使用上述的設(shè)置的參數(shù)訓(xùn)練YOLOv5檢測(cè)模型，模型會(huì)在前幾個(gè)批次輸出不同訓(xùn)練的圖像train_batch，并且YOLOv5在訓(xùn)練的過(guò)程中，會(huì)自動(dòng)采取每一輪訓(xùn)練好的模型對(duì)測(cè)試集進(jìn)行測(cè)試，輸出圖像test_batch_gt和test_batch_pred，可以查看訓(xùn)練的情況。訓(xùn)練會(huì)保存兩個(gè)模型，分別是best.pt和last.pt，可以用兩個(gè)模型進(jìn)行推理測(cè)試，訓(xùn)練完成后得到results變化曲線(xiàn)。

6 結(jié)語(yǔ)

基于深度學(xué)習(xí)的電力系統(tǒng)輸電線(xiàn)路智能巡檢技術(shù)已逐漸成為未來(lái)智能發(fā)展的趨勢(shì)。本論文針對(duì)高分辨率航拍圖像中銷(xiāo)釘?shù)娜毕輽z測(cè)的問(wèn)題，從識(shí)別難度、各類(lèi)算法分析了難點(diǎn)，提出了基于深度學(xué)習(xí)目標(biāo)檢測(cè)的方案，構(gòu)建了基于注意力機(jī)制的YOLOv5模型獲取缺失銷(xiāo)釘?shù)奈恢眯畔?，?shí)現(xiàn)銷(xiāo)釘缺失的檢測(cè)。結(jié)果表明：本方案識(shí)別精度和模型魯棒性良好，采用電科院無(wú)人機(jī)巡檢采集的圖像測(cè)試集驗(yàn)證，本模型具有可靠性和實(shí)用性。

在本文提出的算法框架基礎(chǔ)上，后續(xù)可以從數(shù)據(jù)樣本擴(kuò)充和深度學(xué)習(xí)算法改進(jìn)兩個(gè)方面進(jìn)行優(yōu)化。數(shù)據(jù)樣本擴(kuò)充方面，可以使用針對(duì)小目標(biāo)的擴(kuò)增方式，如將小目標(biāo)貼到圖像中的任意位置并生成新的標(biāo)注，對(duì)粘貼的小目標(biāo)進(jìn)行隨機(jī)變換（縮放、翻折、旋轉(zhuǎn)等）。深度學(xué)習(xí)算法方面，可以考慮改進(jìn)FPN層，如NAS-FPN、AC-FPN或者使用空洞卷積替換FPN的最后一層。另外圖像處理中的注意力機(jī)制也將會(huì)成為未來(lái)的一個(gè)重要研究方向與趨勢(shì)，本文提供了一種研究方向。該方案對(duì)實(shí)現(xiàn)電力巡檢的智能化、保證電力系統(tǒng)的安全和穩(wěn)定提供了參考，具有較高的應(yīng)用價(jià)值。

參考文獻(xiàn)

[1] 趙振兵，張薇，翟永杰，等.電力視覺(jué)技術(shù)的概念、研究現(xiàn)狀與展望[J].電力科學(xué)與工程，2020，36（1）：1-8.

[2] 曾勇斌，王星華，彭顯剛，等.輸電線(xiàn)路缺陷風(fēng)險(xiǎn)建模及其預(yù)測(cè)方法研究[J].電力系統(tǒng)保護(hù)與控制，2020，48（10）：91-98.

[3] DENG C，WANG S W，HUANG Z，et al，Unmanned Aerial Vehicles for Power Line Inspection：A Cooperative Way in Platforms and Communications[J]. Journal of Communications，2014，9（9）：687–692.

[4] Liu L，Ouyang W，Wang X，et al.（2018）.Deep Learning for Generic Object Detection：A survey[J]. International Journal of Computer Vision，2020，28（2）：261-318.

[5] Ren S，He K，Girshick R，et al.Faster R-CNN：Towards Real-time Object Detection with Region Proposal networks[J]. IEEE Transactions on Pattern Analysis amp; Machine Intelligence，2017，39（6）：1137-1149.