基于改進(jìn)YOLOx-S的輸電線路上金具檢測(cè)方法

趙振兵，呂雪純 ，王帆帆，蔣志鋼，4，張凌浩，楊迎春

(1.華北電力大學(xué) 電子與通信工程系，河北 保定 071003；2.華北電力大學(xué) 復(fù)雜能源系統(tǒng)智能計(jì)算教育部工程研究中心，河北 保定 071003；3.華北電力大學(xué) 河北省電力物聯(lián)網(wǎng)技術(shù)重點(diǎn)實(shí)驗(yàn)室，河北 保定 071003；4.國網(wǎng)四川省電力公司計(jì)量中心，四川 成都 610045；5.國網(wǎng)四川省電力公司電力科學(xué)研究院，四川 成都 610095；6.國網(wǎng)四川省電力公司，四川 成都 610041)

0 引言

輸電線路是構(gòu)建我國能源互聯(lián)網(wǎng)的重要基礎(chǔ)設(shè)施,輸電線路能否長(zhǎng)期安全、穩(wěn)定運(yùn)行是保障我國能源安全和國家經(jīng)濟(jì)穩(wěn)定的關(guān)鍵,故需要在第一時(shí)間對(duì)潛在的安全隱患進(jìn)行干預(yù)[1]。金具是輸電線路上廣泛使用的鐵制或鋁制金屬附件,是最常見、數(shù)量最繁多的部件之一[2],主要用于支持、固定、接續(xù)裸導(dǎo)線、導(dǎo)體及絕緣子等[3]。由于輸電線路長(zhǎng)期運(yùn)行在戶外,受到各種氣象環(huán)境和線路荷載因素的影響,輸電線路上各種金具極易發(fā)生銹蝕、破損和變形等問題[4-5]。

隨著電網(wǎng)系統(tǒng)的快速建設(shè),直升機(jī)、無人機(jī)巡檢已成為輸電線路巡檢的主要手段之一[6]。通過計(jì)算機(jī)視覺的手段對(duì)金具的航拍圖像進(jìn)行檢測(cè)可以大大提高效率,實(shí)現(xiàn)輸電線路巡檢高精度、高效率、強(qiáng)智能、多層次、便捷化、低成本和全覆蓋的要求,該技術(shù)的應(yīng)用具有可操作性及靈活性,可提高輸電線路巡檢效率[7]。現(xiàn)階段構(gòu)建智能化、專業(yè)化的自動(dòng)巡檢體系是電網(wǎng)運(yùn)維發(fā)展的必經(jīng)之路[8]。

近年來快速發(fā)展的深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)具有特征提取能力,但是針對(duì)不同檢測(cè)目標(biāo)還需根據(jù)其特點(diǎn)構(gòu)建特有的網(wǎng)絡(luò)結(jié)構(gòu),以達(dá)到滿意的結(jié)果[9]。文獻(xiàn)[10]針對(duì)煙霧特征提取誤差較高的問題,提出了一種煙霧特征與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合(Characteristic Analysis NetCNN,CANCNN)算法,此算法包含特征分析與目標(biāo)識(shí)別兩部分,特征分析部分主要利用的是煙霧的獨(dú)特特征,比經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)算法性能有了一定的提升。文獻(xiàn)[11]針對(duì)復(fù)雜環(huán)境下紅外弱小目標(biāo)檢測(cè)查準(zhǔn)率與查全率低的問題,以YOLOv4-Tiny[12]模型為基礎(chǔ),為了避免忽略弱小目標(biāo)的有用信息,對(duì)模型的特征提取部分通過增加卷積層數(shù)與卷積核尺寸來增加紅外圖像特征提取的信息量;同時(shí)對(duì)YOLOv4-Tiny模型的激活函數(shù)進(jìn)行了修改,提高對(duì)弱小目標(biāo)的細(xì)節(jié)學(xué)習(xí)能力。文獻(xiàn)[13]針對(duì)由于金具尺度變化大且部分金具為小尺度目標(biāo)進(jìn)而導(dǎo)致金具檢測(cè)精確度低的問題,在Cascade R-CNN (Cascade Region-based Convolutional Neural Network)[14]模型的基礎(chǔ)上,引入了遞歸特征金字塔,加入基于NAS(Network Attached Storage)搜索空洞卷積孔洞率的NAS-AC模塊提高模型對(duì)小尺度金具特征的表達(dá)能力和預(yù)測(cè)能力。針對(duì)小樣本及復(fù)雜環(huán)境下輸電線路關(guān)鍵設(shè)備缺陷檢測(cè)難等問題,文 獻(xiàn)[15]提出了一種融合深度卷積神經(jīng)網(wǎng)絡(luò)和卡爾曼濾波的圖像檢測(cè)方法。采用MobileNet構(gòu)建模型骨干網(wǎng)絡(luò),融合了柔性非極大值抑制算法以解決目標(biāo)部件遮擋問題;將上下文感知RoI(Region of Interest)池化層取代原始池化層,通過卡爾曼濾波對(duì)檢測(cè)結(jié)果進(jìn)行修正,有效提高小目標(biāo)的檢測(cè)精度。文獻(xiàn)[16]針對(duì)輸電線路中尺度變化大、小目標(biāo)多、光線暗和部分遮擋問題采用兩階段深度網(wǎng)絡(luò),針對(duì)性修改RPN(Region Proposal Network)中候選框生成網(wǎng)絡(luò)且采用多任務(wù)損失函數(shù)提升網(wǎng)絡(luò)預(yù)測(cè)能力。

盡管上述研究在一定程度上實(shí)現(xiàn)了輸電線路金具目標(biāo)的檢測(cè),但是離生產(chǎn)實(shí)際要求還有一定距離。為了能夠在背景復(fù)雜的航拍圖像中快速、準(zhǔn)確地識(shí)別多類金具,基于YOLOx-S[17]目標(biāo)檢測(cè)模型對(duì)輸電線路上金具進(jìn)行檢測(cè),并結(jié)合金具數(shù)據(jù)集的特點(diǎn)對(duì)該模型進(jìn)行了優(yōu)化與改進(jìn)。

1 改進(jìn)YOLOx-S目標(biāo)檢測(cè)模型

1.1 YOLOx-S模型框架

由于YOLOx-S模型在具有優(yōu)秀的檢測(cè)能力、模型參數(shù)量不多的同時(shí)兼具不錯(cuò)的檢測(cè)速度,因此本文選擇YOLOx-S模型為基礎(chǔ)模型。YOLOx-S在YOLOv5-S的基礎(chǔ)上改進(jìn)而來,整體可分為輸入端、骨干網(wǎng)絡(luò)(Backbone)、頸部(Neck)以及預(yù)測(cè)(Prediction)共計(jì)4個(gè)部分,骨干網(wǎng)絡(luò)使用CSP網(wǎng)絡(luò)并結(jié)合Focus結(jié)構(gòu),在下采樣的過程中通過切片的手法保證信息不丟失,再經(jīng)過卷積操作得出特征圖,Neck部分采用FPN+PAN結(jié)合的結(jié)構(gòu),加強(qiáng)了網(wǎng)絡(luò)特征的融合能力,Prediction部分采用了收斂速度更快、精度更高的解耦頭部(Decoupled Head),并且引入無錨節(jié)點(diǎn)(Anchor-free)技術(shù)[18],最后采用簡(jiǎn)化的SimOTA方法求解最優(yōu)解,完成最終預(yù)測(cè)。與YOLOv5-S相比,其改進(jìn)主要有四部分:在輸入端,基于Mosaic數(shù)據(jù)增強(qiáng)的作用,還采用了MixUp數(shù)據(jù)增強(qiáng);在模型的Backbone部分和Neck部分的激活函數(shù)都采用SiLU函數(shù);在模型的輸出端將檢測(cè)頭改為Decoupled Head,并引入了Anchor Free和SimOTA等技術(shù)。YOLOx-S目標(biāo)檢測(cè)模型中添加ECA(Efficient Channel Attention)模塊和自適應(yīng)空間特征融合(Adaptively Spatial Feature Fusion,ASFF)模塊后的總體結(jié)構(gòu)如圖1所示。

圖1 修改后的YOLOx-S目標(biāo)檢測(cè)模型結(jié)構(gòu)Fig.1 Modified YOLOx-S target detection model structure

1.2 融入通道注意力

出于安全考慮,無人機(jī)在對(duì)輸電線路進(jìn)行航拍時(shí)不允許近距離拍攝,導(dǎo)致待檢測(cè)目標(biāo)在圖像中像素占比較小,如圖2所示為未處理原始航拍圖像。圖像中的預(yù)絞式懸垂線夾與整張圖像相比本身占比較小,且位于航拍圖像中的右方角落視野盲區(qū),并且部分被桿塔所遮擋的同時(shí),有著與桿塔較為相近的顏色,另外還存在圖像虛化的問題。這些問題都會(huì)導(dǎo)致目標(biāo)檢測(cè)模型在金具數(shù)據(jù)集上出現(xiàn)檢測(cè)精度不佳的情況。

圖2 原始航拍圖像中的預(yù)絞式懸垂線夾Fig.2 Preformed suspension clamp in the original aerial image

針對(duì)上述問題,本文選擇在YOLOx-S目標(biāo)檢測(cè)模型中融入ECA[19],它通過對(duì)通道之間的關(guān)系建模,自適應(yīng)地重新校準(zhǔn)通道方向的特征響應(yīng),提高模型提取特征的能力,以提升檢測(cè)模型在較小目標(biāo)檢測(cè)任務(wù)上的精度。ECA如圖3所示。定義一個(gè)輸入為C×H×W的特征圖X,對(duì)輸入的特征圖進(jìn)行全局平均池化(Global Average Pooling,GAP)是為了對(duì)輸入特征圖進(jìn)行空間特征壓縮,以此得到C×1×1的特征圖,具體計(jì)算如式(1)所示:

(1)

式中:Xc表示特征圖X中第c個(gè)二維矩陣。進(jìn)行該操作之后就獲得了一個(gè)C×1×1的輸出,相當(dāng)于得到了特征圖的數(shù)值分布,也意味著全局信息。給定通過GAP獲得的特征,壓縮后的特征圖要進(jìn)行通道特征學(xué)習(xí),在做卷積操作時(shí),它的卷積核大小會(huì)影響到感受野;為解決不同輸入特征圖,提取不同范圍的特征時(shí),ECA使用了動(dòng)態(tài)的卷積核來做1×1卷積,學(xué)習(xí)不同通道之間的重要性。ECA通過大小為k的快速一維卷積來生成信道權(quán)重,k表示本地跨通道交互的覆蓋范圍,即有多少個(gè)相近鄰參與一個(gè)通道的注意力預(yù)測(cè),k的取值可以通過通道維度C的映射自適應(yīng)地確定,如式(2)所示:

(2)

式中:|t|odd表示最接近t的奇數(shù),k表示卷積核大小,C表示通道數(shù)。

圖中σ表示Sigmoid函數(shù),sc是通過全局平均池化和Sigmoid函數(shù)后得到,函數(shù)定義如式(3)所示:

(3)

Uc通過式(4)得到:

Uc=sc×Xc。

(4)

將輸入特征圖與處理好的特征圖權(quán)重進(jìn)行相乘,權(quán)重就會(huì)加在特征圖上,會(huì)將模型訓(xùn)練好的目標(biāo)聚焦到感興趣的特征圖區(qū)域。

1.3 自適應(yīng)特征融合機(jī)制

在YOLOx-S目標(biāo)檢測(cè)模型中,Neck部分采用了FPN+PAN的結(jié)構(gòu),如圖4所示。采用FPN+PAN結(jié)構(gòu)對(duì)多尺度特征圖進(jìn)行融合并輸出,FPN+PAN在FPN的基礎(chǔ)上加入了自下而上的增強(qiáng)結(jié)構(gòu),從原來的單向融合轉(zhuǎn)為雙向融合。通過FPN+PAN結(jié)構(gòu),既可以自頂向下傳達(dá)強(qiáng)語義特征,又可以自底向上傳達(dá)強(qiáng)定位特征,從不同的主干層對(duì)不同的檢測(cè)層進(jìn)行特征聚合,達(dá)到提升檢測(cè)精度的目的。其中自頂向下的融合路徑(1)是將特征圖通過上采樣 2倍之后,再和前一層特征圖相加;自底向上則同理,只需將上采樣改為下采樣即可。

盡管FPN+PAN結(jié)構(gòu)已經(jīng)充分考慮到了深層特征圖和淺層特征圖相融合對(duì)于目標(biāo)檢測(cè)具有重要意義,但是該結(jié)構(gòu)在特征圖融合時(shí)采用的方法卻略顯粗糙,在YOLOx-S中只是簡(jiǎn)單地使用張量拼接,而顯然沒有考慮到深層特征圖和淺層特征圖對(duì)于不同大小尺度的待檢測(cè)目標(biāo)具有不一樣的意義。

針對(duì)此問題,本文采用一種ASFF[20]的方式對(duì)FPN+PAN進(jìn)行改進(jìn),通過學(xué)習(xí)得到權(quán)重參數(shù),對(duì)不同階層的特征圖自適應(yīng)進(jìn)行融合,具體設(shè)計(jì)如圖5所示。

圖5 基于自適應(yīng)特征融合的FPN+PAN結(jié)構(gòu)示意Fig.5 Structure diagram of FPN+PAN based on adaptive feature fusion

圖中的X1、X2、X3表示FPN+PAN中3個(gè)尺度的輸出特征圖,在YOLOx-S中分別為20×20、40×40以及80×80。以ASFF-3為例說明,特征圖X1和X2分別通過1×1的卷積壓縮成與X3相同的通道數(shù),再分別進(jìn)行4倍和2倍的上采樣,使得特征圖X1和X2都獲得與特征圖X3相同的維度,分別記為X1-3和X2-3;定義Xijn-3表示特征圖Xn-3上位置(i,j)處的特征向量,則ASFF-3輸出特征圖Y3上位置(i,j)處計(jì)算如式(5)所示:

(5)

(6)

1.4 損失函數(shù)優(yōu)化

在YOLOx-S目標(biāo)檢測(cè)模型中,損失函數(shù)由三部分組成,分別是邊界框回歸損失(Lossbox)、置信度損失(Lossobj)和分類損失(Losscls)。其中邊界框位置采用的還是相對(duì)傳統(tǒng)的GIoU Loss(Generalized Intersection over Union Loss),計(jì)算如式(7)所示,其中C表示包含真實(shí)框和預(yù)測(cè)框的最小矩形。

它的提出是為了解決IoU無法精確地反映二者重合度大小的問題,即使用IoU時(shí),會(huì)出現(xiàn)相同的IoU,重合度卻不同的情況;同時(shí)IoU還存在當(dāng)2個(gè)物體沒有交集時(shí),就退化為常數(shù)1,無法進(jìn)行訓(xùn)練的問題。GIoU的優(yōu)點(diǎn)很明顯,具有尺度不變性。但是同時(shí)GIoU自身缺點(diǎn)也很明顯,當(dāng)目標(biāo)框完全包裹預(yù)測(cè)框時(shí),IoU和GIoU的值都一樣,此時(shí)GIoU退化為IoU,無法區(qū)分其相對(duì)位置關(guān)系,如圖6所示的 3種情況中GIoU Loss是完全一致的。

針對(duì)上述情況,本文使用DIoU Loss(Distance Intersection over Union Loss)[21]對(duì)YOLOx-S目標(biāo)檢測(cè)模型進(jìn)行優(yōu)化。DIoU定義如式(9)所示:

(9)

式中:ρ表示歐式距離,c表示GIoU中矩形C的對(duì)角線長(zhǎng),如圖7所示。

DIoU把目標(biāo)與anchor之間的距離、重疊率以及尺度都考慮在內(nèi),使目標(biāo)框回歸更加穩(wěn)定,訓(xùn)練過程中不會(huì)出現(xiàn)發(fā)散等問題。相比于GIoU,DIoU同樣具有尺度不變性,并且解決了GIoU完全包裹預(yù)測(cè)框時(shí)Loss值一樣的缺點(diǎn),如圖8所示。

圖8 不同情況下3種Loss值示意Fig.8 Schematic diagram of three Loss values under different conditions

2 實(shí)驗(yàn)結(jié)果及分析

2.1 數(shù)據(jù)集構(gòu)建

在采集到航拍圖像后,并不能直接用于深度模型的訓(xùn)練,還需要人工對(duì)圖像上目標(biāo)進(jìn)行標(biāo)注。本文選擇軟件LabelImg,分別對(duì)輸電線路上防振錘、均壓環(huán)和屏蔽環(huán)等金具進(jìn)行了標(biāo)注并保存為XML文件。

根據(jù)上述方法建立了輸電線路上金具檢測(cè)圖像數(shù)據(jù)集,數(shù)據(jù)集共有圖像1 456張,有標(biāo)注目標(biāo) 3 297個(gè),包含屏蔽環(huán)、均壓環(huán)和防振錘等金具共計(jì)14類,將數(shù)據(jù)集以8∶2劃分為訓(xùn)練集與測(cè)試集,詳細(xì)情況如表1所示。

表1 數(shù)據(jù)集詳細(xì)情況Tab.1 Dataset details

2.2 實(shí)驗(yàn)環(huán)境配置

本文實(shí)驗(yàn)主要基于Python3.7版本的Torch1.8深度學(xué)習(xí)框架的軟件運(yùn)行環(huán)境。服務(wù)器系統(tǒng)為Ubuntu16.04,內(nèi)存為24 GB,顯卡為NVIDIA RTX A5000,批處理(batch_size)參數(shù)為16,動(dòng)量(momentum)為0.9,IoU閾值為0.5,初始學(xué)習(xí)率(init_learning_rate)為0.001,迭代(epoch)次數(shù)為150。

本文使用召回率(Recall,R)、準(zhǔn)確率 (Precision,P)、AP(Average Precision)以及mAP(mean Average Precision)作為評(píng)價(jià)標(biāo)準(zhǔn),對(duì)于召回率和準(zhǔn)確率的描述如式(10)～式(11)所示;mAP的定義如式(12)所示。首先將預(yù)測(cè)結(jié)果與真實(shí)標(biāo)簽比較后,將檢測(cè)結(jié)果分為4類:模型預(yù)測(cè)為正例且預(yù)測(cè)正確的真陽性(True Positive,TP),模型預(yù)測(cè)為正例但預(yù)測(cè)錯(cuò)誤的假陽性(False Positive,FP),模型預(yù)測(cè)為負(fù)例且預(yù)測(cè)正確的真陰性(True Negative,TN),模型預(yù)測(cè)為負(fù)例但預(yù)測(cè)錯(cuò)誤的假陰性(False Negative,FN)。

2.3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文提出的改進(jìn)方法的有效性,使用準(zhǔn)確率、召回率、AP以及mAP作為評(píng)價(jià)標(biāo)準(zhǔn)對(duì)各模塊進(jìn)行對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表2所示。

表2 消融實(shí)驗(yàn)Tab.2 Ablation experiment

從表2可以看出,針對(duì)待檢測(cè)目標(biāo)較小難以檢測(cè)的問題而引入的ECA機(jī)制使得模型檢測(cè)精度提升了4.06%;針對(duì)YOLOx-S模型Neck部分中FPN+PAN結(jié)構(gòu)特征圖融合提出的自適應(yīng)特征融合機(jī)制使得模型檢測(cè)精度上升了4.28%;通過優(yōu)化損失函數(shù)使得模型檢測(cè)精度提高了2.17%。本文提出的方法在金具檢測(cè)數(shù)據(jù)集上獲得了5.15%的檢測(cè)精度提升,召回率提高了1.62%,證明了本文方法的有效性。具體每一類輸電線路上金具檢測(cè)的AP值如表3所示。

表3 每一類金具檢測(cè)AP值Tab.3 AP value of each type of fitting detection

從表3可以看出,本文提出的方法在預(yù)絞式懸垂線夾、聯(lián)板、U型掛環(huán)、掛板和壓縮耐張線夾等 5類金具檢測(cè)上取得最優(yōu)的結(jié)果。在共計(jì)14類的金具目標(biāo)檢測(cè)任務(wù)中,基線模型僅僅在目標(biāo)較大的均壓環(huán)和重錘的檢測(cè)上取得了最優(yōu)精度,并且與改進(jìn)模型在此2類金具上的檢測(cè)精度相差無幾。在預(yù)絞式懸垂線夾、間隔棒和防振錘等小目標(biāo)的檢測(cè)上都是改進(jìn)模型取得了更好的檢測(cè)精度。由此可見,本文提出的改進(jìn)方法一定程度上提升了輸電線路上金具檢測(cè)的準(zhǔn)確率,特別是對(duì)于背景復(fù)雜、較小目標(biāo)的金具檢測(cè)效果提升較為突出。

圖9為基線YOLOx-S、ECA通道注意力、自適應(yīng)特征融合機(jī)制、DIoU損失函數(shù)以及本文提出模型在訓(xùn)練過程中total_loss值隨迭代次數(shù)變化的曲線。從圖9可以看出,5個(gè)模型在訓(xùn)練時(shí)均已收斂,其中本文提出的方法大概在第30個(gè)epoch時(shí)已經(jīng)收斂,收斂速度明顯快于基線模型,并且在后面的訓(xùn)練中沒有出現(xiàn)明顯的波動(dòng),且整個(gè)訓(xùn)練過程中始終維持在較小值。圖10所示為3組不同輸電線路金具圖像的檢測(cè)結(jié)果,其中圖10(a)、圖10(c)、圖10(e)為基線模型的檢測(cè)結(jié)果,圖10(b)、圖10(d)、圖10(f)為本文改進(jìn)模型的檢測(cè)結(jié)果。

圖9 模型訓(xùn)練過程Loss收斂曲線Fig.9 Loss convergence curve during model training

圖10 基線模型與本文改進(jìn)模型金具檢測(cè)結(jié)果Fig.10 Fitting test results of baseline model and improved model

由圖10可以明顯看出,本文改進(jìn)模型的檢測(cè)結(jié)果明顯優(yōu)于基線模型。以圖10(a)和圖10(b)為例,在針對(duì)小目標(biāo)檢測(cè)而加入注意力機(jī)制和自適應(yīng)特征融合機(jī)制后,作為小目標(biāo)的提包線夾和均壓環(huán)的置信度有了大幅提升,同時(shí)作為大目標(biāo)的重錘的置信度并沒有受到太大影響。從圖10(c)和圖10(d)可以明顯看出,本文提出模型在作為小目標(biāo)的防振錘的檢測(cè)上全面超過了基線模型。同時(shí),從圖10(e)和圖10(f)對(duì)比可以看出,模型不僅在檢測(cè)精度上有所提升,也明顯減少了誤檢,圖10(e)左下角一塊較長(zhǎng)的聯(lián)板被誤檢成了2塊,類似的情況還出現(xiàn)在該圖中U型掛環(huán)的檢測(cè)上,而本文提出的模型則沒有出現(xiàn)這種情況。

3 結(jié)束語

本文基于YOLOx-S目標(biāo)檢測(cè)模型對(duì)輸電線路上金具進(jìn)行檢測(cè),并結(jié)合金具檢測(cè)數(shù)據(jù)集的特點(diǎn)對(duì)該檢測(cè)模型進(jìn)行了優(yōu)化與改進(jìn)。針對(duì)輸電線路航拍圖像存在背景復(fù)雜且多變、檢測(cè)目標(biāo)在圖像中像素占比較小、部分視覺信息較差的陰影、模糊等困難樣本的問題,本文從特征融合角度出發(fā),首先使用通道注意力使得模型更加關(guān)注復(fù)雜背景下的關(guān)鍵特征提取區(qū)域,接著基于ASFF機(jī)制使得淺層和深層的特征圖更合理地融合,最后對(duì)檢測(cè)模型的損失函數(shù)進(jìn)行改進(jìn),解決損失函數(shù)無法準(zhǔn)確反映真實(shí)框與預(yù)測(cè)框的重合度大小的問題。本文所提方法最終在自建金具檢測(cè)數(shù)據(jù)集達(dá)到了79.66%的檢測(cè)精度,相比于基線模型提高了5.15%,更加適用于輸電線路上金具目標(biāo)檢測(cè)。