基于雙注意力機制和級聯(lián)檢測框架的金具螺栓缺陷檢測研究

陸 曉,高 超,蔣承伶,王茂飛

(1.國網(wǎng)江蘇省電力有限公司,江蘇 南京 210024; 2.國網(wǎng)江蘇泰州供電公司,江蘇 泰州 225300)

0 引言

隨著社會經(jīng)濟的發(fā)展,電能的消耗也越來越多。利用輸電線路進行電能的傳輸是目前生產(chǎn)生活的重要前提,因此,傳輸線路的穩(wěn)定、安全顯得至關(guān)重要[1-3]。輸電線路由大量的零部件構(gòu)成,尤其是輸電線路中金具上的螺栓,極易發(fā)生損壞。螺栓損壞大多由輸電線路外部惡劣的環(huán)境和多變的自然氣候造成[4-6]。常見的螺栓損壞形式有螺母、銷和墊片等缺失[7-8]。螺栓的損壞可能會造成輸電線路電能的額外損耗,從而引發(fā)輸電線的事故。因此,圍繞計算機視覺相關(guān)技術(shù),利用深度學習智能網(wǎng)絡(luò)對輸電線路中的螺栓進行定期巡檢,及時排查螺栓的故障,對于整個輸電線路的傳輸具有重要意義。

傳統(tǒng)的輸電線金具上的螺栓缺陷檢測主要依靠人工構(gòu)造特征進行滑動窗口特征提取,再結(jié)合螺栓自身的顏色和尺寸等要素進行識別[9-10]。然而這種方法效率較低,檢測精度也難令人滿意。目前來講,目標檢測作為人工智能和計算機視覺領(lǐng)域具有挑戰(zhàn)性和創(chuàng)新性的任務(wù)之一,已經(jīng)應(yīng)用于輸電線路螺栓檢測領(lǐng)域[11-14]。由于金具和螺栓的缺陷種類較多,越來越多的基于深度學習的螺栓缺陷檢測的研究開始著手于通用的檢測模型。如現(xiàn)有的Faster-RCNN[15]、YOLO[16]及SSD[17]等檢測模型,已經(jīng)開始應(yīng)用于電力巡檢領(lǐng)域,從而代替人工進行缺陷識別。通過深度學習進行螺栓缺陷檢測主要分為2類,即單階段和雙階段的缺陷檢測[18-19]。單階段缺陷檢測的過程相對較為簡單,利用算法提取到螺栓特征后直接進行目標區(qū)域的定位和檢測;雙階段則是要先挑選出候選框,再對候選框進行二次修正,從而獲得想要的檢測目標。

Zhao等[20]針對輸電線螺栓缺陷的檢測,構(gòu)建了一種基于自動視覺形狀聚類的網(wǎng)絡(luò)來實現(xiàn)螺栓缺陷的自動檢測。該方法可以及時高效地排除螺栓故障,但其檢測的準確率在90%左右,有待進一步提高。Lou等[21]則是針對螺栓缺陷在視覺上較難區(qū)分的問題,提出一種基于螺栓位置和屬性的螺栓缺陷識別方法。該方法利用增強模型對螺栓細粒度特征的學習能力,獲得多種螺栓屬性,從而結(jié)合螺栓的位置實現(xiàn)缺陷的分類。Luo等[22]針對超小的輸電線螺栓缺陷檢測困難的問題,提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的小螺栓缺陷檢測模型。然而這種方法獲得的高檢測精度主要是建立在犧牲檢測效率的基礎(chǔ)上,無法實現(xiàn)輸電線實時檢測。Zhao等[23]還提出了一種螺栓缺陷的多標簽識別框架,該框架主要包括視覺特征語義網(wǎng)絡(luò)和位置知識網(wǎng)絡(luò)。通過識別框架的構(gòu)建有效地證明螺栓缺陷識別模型的優(yōu)越性,但其圖像識別的精度僅為83.29%,有待進一步提升。

為提高輸電線金具螺栓缺陷檢測的精度和效率,本文提出一種基于級聯(lián)檢測和雙注意力機制的螺栓缺陷檢測模型。

1 螺栓缺陷級聯(lián)檢測框架

相比于輸電線其他零部件,金具上的螺栓相對較小。因此在利用無人機(UAV)采集輸電線圖像時,如何能夠從航拍的圖像中提取螺栓的特征進行缺陷檢測至關(guān)重要。如圖1所示,本文提出了一種螺栓缺陷級聯(lián)檢測的框架,將整個檢測過程分為2級。第1級指圖像當中的金具檢測,由于金具相對螺栓較大,因此需先完成金具的檢測。將金具檢測的裁剪結(jié)果作為第2級螺栓缺陷檢測的輸入,這樣可以極大程度提高螺栓缺陷檢測的精度和效率。

圖1 螺栓缺陷級聯(lián)檢測的框架

2 輸電線上金具螺栓圖像增廣

本文對巡檢采集到的5 000張高清圖像進行預處理標注,將其作為檢測的數(shù)據(jù)集。在此基礎(chǔ)上,本文提出基于GridMask[24]的方法進行數(shù)據(jù)增強,對現(xiàn)有的部分信息進行刪除,將其作為數(shù)據(jù)集的補充。

假設(shè)利用GridMask方法對某個像素集不連續(xù)的區(qū)域進行移除,那么該區(qū)域的掩膜Y主要通過(a,b,c,d)4個參數(shù)進行決定。如圖2所示,線框區(qū)域代表大小為b的掩膜單元,a代表掩膜中較短的邊緣與單位長度之間的比例,c和d分別代表掩膜單元到該圖像的最上面和最左端的距離。

圖2 圖像掩膜刪除區(qū)域與相關(guān)參數(shù)關(guān)系

通過比例a可以進一步定義該圖像的掩膜Y保留率ke,即

(1)

式中:H和W分別為圖像的橫、縱向尺寸大小。

ke主要代表掩膜刪除后的圖像和輸入圖像之間的比例,通過ke可以控制GridMask算法,根據(jù)圖2,可進一步求解,即

ke=1-(1-a)2

(2)

當a值固定時,掩膜的邊長l和其單元大小b之間滿足

l=a×b

(3)

為了能夠擴充數(shù)據(jù)集來獲得更多的圖像,掩膜的大小是隨機產(chǎn)生的。掩膜單元的長度b為

b=rand(bmin,bmax)

(4)

式中:bmin、bmax為b取值的上、下范圍。

此外,c和d的大小關(guān)系到能否使掩膜覆蓋所有可能出現(xiàn)的情況。因此,c和d是一定范圍內(nèi)獲得的隨機數(shù),即

c(d)=rand(0,b-1)

(5)

假設(shè)i為輸入的采集圖像,ke為圖像掩膜保留率的范圍,則基于GridMask的輸電線圖像增強算法的步驟如下:

a.隨機給定單位長度b=rand(bmin,bmax)。

b.隨機選取a=rand(ke,1-ke)。

c.掩膜單元網(wǎng)格劃分。

d.掩膜區(qū)域的角坐標(xmin,xmax,ymin,ymax)計算。

e.刪除掩膜區(qū)域填充像素獲得新圖像。

3 基于知識引導的金具檢測模型

由于螺栓在圖像中屬于小目標,要想精準地檢測出金具上螺栓的缺陷,通過圖像直接檢測的方法相對較難。因此,本文將整個螺栓缺陷檢測的網(wǎng)絡(luò)分為2級,第1級先對金具進行檢測,在采集的若干圖像當中先檢測出金具;將裁剪出的金具圖像再放入第2級螺栓缺陷檢測中,從而解決因背景復雜、目標過小等導致螺栓缺陷檢測精度低的問題。

本文提出了一種基于知識引導的金具檢測模型,利用深度學習框架獲得高精度的金具檢測結(jié)果。如圖3所示,假設(shè)將1張采集到的圖像作為模型的輸入,通過RPN網(wǎng)絡(luò)可以獲得多個候選的區(qū)域。此時要想獲得金具的空間信息分布,可以采用將多個候選區(qū)域所展現(xiàn)出來的相對特征作為空間信息的輸入,進而構(gòu)建空間圖。借助這種方式可以使得原先的候選特征中能夠引入空間信息,從而可以進一步獲取空間的特征。此外,在引入先驗知識的同時,將候選區(qū)域和金具的鄰接矩陣分別作為先驗知識圖的節(jié)點和邊,從而進一步構(gòu)建區(qū)域標簽。

圖3 基于知識引導的輸電線上的金具檢測模型

3.1 隱式模塊的構(gòu)建

本文模型中的隱式模塊主要將M個候選區(qū)域通過多個多層感知機(MLP)來構(gòu)建M個區(qū)域圖GM。再經(jīng)過區(qū)域圖的邊來將該區(qū)域的空間位置信息和特征相結(jié)合。

假設(shè)通過候選區(qū)域m和n,獲取到的相對幾何特征分別為fm和fn,那么通過MLP方法來計算m和n的邊值為

vmn=MLP(η(fm-fn))

(6)

式中:η(·)為m和n區(qū)域的差異性。

通過M個MLP方法獲得M個空間的區(qū)域圖,對M個空間區(qū)域圖進行邊值累加平均計算。此外為了增加自環(huán)的效果,還引入單位矩陣I,即

(7)

在此基礎(chǔ)上,利用矩陣之間的乘法運算來將圖GM中的區(qū)域特征和邊進行有效連接,進而可以獲得空間特征Fk為

Fk=αFω

(8)

式中:α∈RN×N為獲得的空間域圖像中的邊所構(gòu)成的集合;F為區(qū)域特征;α為一個訓練參數(shù),其代表了GM圖中的邊值權(quán)重中的M個MLP的權(quán)重。

3.2 顯式模塊的設(shè)計

本文引入金具先驗知識進行建模,構(gòu)建連接區(qū)域中節(jié)點的邊,實現(xiàn)空間特征與先驗知識結(jié)合。根據(jù)金具先驗知識構(gòu)建知識圖Gx,通過提取的候選區(qū)域作為節(jié)點,借助于已經(jīng)獲取的空間特征Fk來進行節(jié)點的初始化。不同的節(jié)點之間通過對象共現(xiàn)統(tǒng)計的信息來構(gòu)造候選區(qū)域的邊。

假設(shè)通過金具圖像的訓練集獲得的統(tǒng)計類別共現(xiàn)次數(shù)矩陣為MG,Qi和Qj之間的共現(xiàn)次數(shù)為sij,那么類別i和j同時出現(xiàn)的概率為

(9)

式中:Ni為在金具訓練集中出現(xiàn)i的次數(shù)。

在依靠訓練集實現(xiàn)Gx圖的邊的構(gòu)造后,進一步將候選區(qū)域構(gòu)造成Gx圖的節(jié)點。本文通過將候選區(qū)域進行D次復制的方式構(gòu)造fi={fi1,fi2,…,fiD}。其中,D和fiD分別表示類別數(shù)和第i區(qū)域與第D類別之間的關(guān)聯(lián)度。同理可以將第j區(qū)域進行復制,最終將fiD與fjD之間的邊作為鄰接矩陣的邊,對fi和fj區(qū)域進行節(jié)點連接如圖4所示。

圖4 fi和fj區(qū)域之間的節(jié)點連接

(10)

式中:Oo(·)為網(wǎng)絡(luò)的全連接層。

通過式(10)得到D個不同的輸出特征,再結(jié)合這些特征預測區(qū)域的標簽可以實現(xiàn)最終區(qū)域標簽的預測為

(11)

式中:ψ(·)、arg max(·)分別為全連接層和取最大值的函數(shù)。

最終構(gòu)造的顯式模塊的框架如圖5所示。

圖5 顯式模塊的結(jié)構(gòu)

4 基于雙注意力機制的螺栓缺陷檢測模型

在通過金具檢測模型獲得金具的檢測結(jié)果后,將檢測結(jié)果進一步輸入到第2級螺栓缺陷檢測模型中,從而進行螺栓的缺陷檢測。傳統(tǒng)的螺栓缺陷檢測由于圖像復雜的背景、螺栓目標過小導致檢測精度較低。為了解決該問題,本文在Faster-RCNN網(wǎng)絡(luò)基礎(chǔ)上進一步提出如圖6所示的基于雙注意力機制的金具上螺栓缺陷檢測模型。本文首先在Resenet-101網(wǎng)絡(luò)的基礎(chǔ)上,針對各卷積層中所包含的注意力圖的特征進行提取。與此同時,需要通過相鄰的卷積層來對它們相對應(yīng)的注意力圖的差異性進行計算,將其作為網(wǎng)絡(luò)的正則項。所獲得的注意力圖包含豐富的上下文和目標的信息,提高了整個網(wǎng)絡(luò)的學習能力。此外,考慮到金具上的螺栓與金具之間以及螺栓與螺栓之間存在差異性小的問題,本文從全局特征的角度出發(fā)來對任意2個位置之間的相似度計算。將計算好的相似度作為網(wǎng)絡(luò)中的注意力系數(shù),起到進一步增強局部特征和提高全局特征對局部特征的作用。

4.1 多尺度注意力模塊設(shè)計

本文通過引入多尺度注意力模塊對圖像中出現(xiàn)的信息丟失和模糊進行改善。為此,本文設(shè)計了多尺度注意力模塊,具體的模塊結(jié)構(gòu)如圖7所示。整個多尺度注意力模塊是建立在Resenet-101網(wǎng)絡(luò)基礎(chǔ)上,對該網(wǎng)絡(luò)的前3層設(shè)置。為了能夠更好地提取到螺栓的特征信息,將這3個層作為其特征提取網(wǎng)絡(luò),按照順序分別提取不同層的注意力圖。由于每個尺度獲得的注意力尺度圖的大小可能不一致,因此,本文利用雙線性插值的方法來對其尺寸按照原圖進行放大,即:

(12)

(13)

式中:φ(Ak)為整個特征提取網(wǎng)絡(luò)當中的第k層特征圖與之相對應(yīng)的注意力圖;Dk和Aki分別為特征提取網(wǎng)絡(luò)的具體通道數(shù)以及第i個通道輸出的具體的特征。

此外,需要設(shè)計多尺度注意力模塊的相鄰層之間的學習損失函數(shù)。本文借助多尺度注意力圖來實現(xiàn)對目標區(qū)域的監(jiān)督,構(gòu)建平方損失函數(shù)為

Lk,k+1(Ak,Ak+1)=L2(φ(Ak),φ(Ak+1))

(14)

在此基礎(chǔ)上構(gòu)建多尺度注意力模塊中整體的損失函數(shù),通過3個不同層次的注意力圖融合獲得

Ls=L12+L23

(15)

4.2 空間注意力圖

圖像中的全局特征信息需要借助空間維度來引入,在此基礎(chǔ)上以特征圖為目標,針對其中任意的2個位置對應(yīng)的空間注意力圖進行建模。將Resenet-101網(wǎng)絡(luò)的第3層的輸出特征作為空間注意力模塊的實際輸入。通過該特征的所有位置注意力圖計算,將計算結(jié)果輸入到具體的位置,從而引導該位置的特征權(quán)重信息的迭代更新。最終完成螺栓的局部與整體特征及上下文信息結(jié)合,即

(16)

式中:A3為第3層輸出的實際的特征信息;f(·)為對其對應(yīng)輸出的特征進行卷積操作。

通過將F1和F2采用平鋪的方式,進一步獲得對應(yīng)的F11與F22,通過這種方法可以直接從全局視野角度來獲得不同位置的圖像的特征。在此基礎(chǔ)上結(jié)合Softmax函數(shù)就可以直接獲得對應(yīng)的空間注意力圖為:

(17)

(18)

式中:N=H×W為特征圖像尺寸;g為圖Gs中的元素;gij為第i個位置對第j個位置的具體的影響。

結(jié)合卷積層的映射關(guān)系,將第1個卷積層獲得的G1映射到G11的位置。利用上述求取的注意力圖Gs,與之進行乘法運算并進一步映射到原始的R空間。再與初始的特征A3進行相加運算,從而獲得增強后的視覺特征為

(19)

式中:β為全局和局部特征的實際的融合程度。

4.3 缺陷檢測損失函數(shù)的構(gòu)造

網(wǎng)絡(luò)直接預測結(jié)果采用交叉熵損失函數(shù),即

(20)

5 實驗與結(jié)果

5.1 金具檢測準確度的驗證

本文在UAV采集到的5 000張高清圖像的基礎(chǔ)上,利用圖像增廣的方法獲得1個背景樣本多樣、正負樣本豐富的數(shù)據(jù)集。然而數(shù)據(jù)集圖像中的金具的種類和大小的差距相對較大,因此,采用不同的IoU值(本文設(shè)置的IoU值為0.4～0.8)來評估本文提出的金具檢測模型的效果。

在不同的IoU閾值參數(shù)下,本文提出的金具檢測模型的準確度和召回率之間的關(guān)系如圖8所示。從圖8中可以發(fā)現(xiàn),無論IoU的閾值為多少,模型的準確度都會隨著召回率的增加而降低。召回率主要反映網(wǎng)絡(luò)是否可以檢測到目標,而準確度則是衡量網(wǎng)絡(luò)的精準度。由此可以發(fā)現(xiàn),這兩者往往呈現(xiàn)出負相關(guān)。如果在增加召回率的同時要提高網(wǎng)絡(luò)的準確度,就必須提高檢測的閾值。這就會導致存在缺陷的部分可能被遺漏,因此,這二者無法同時達到最優(yōu)。此外,當召回率相同時,IoU設(shè)置的閾值越小,本文提出的模型的檢測準確度越高。

圖8 不同IoU值下金具檢測準確度和召回率的關(guān)系

為了進一步證明本文提出的金具檢測模型具有良好的效果,選取了目前主流的金具檢測模型進行對比研究。如表1所示,測試不同的金具檢測模型在不同的IoU值下的實際檢測效果。值得注意的是,這里金具檢測精度指在某個IoU值下的金具檢測的平均準確度,所研究區(qū)域的召回率小于0.8。從表1中可以看出,本文方法在不同的IoU值下均取得最好的檢測準確度,在IoU為0.8時,相比于改進前的Faster-RCNN方法提高15.04%,相比于SSD模型提高了1倍左右。此外,通過表1中數(shù)據(jù)可以發(fā)現(xiàn),不僅僅是本文提出的模型隨著IoU值的增大,檢測的準確度降低,所有的模型均存在這個共性。由此可見,本文提出的金具檢測模型具有較好的效果,相比于目前主流的檢測模型有一定的優(yōu)勢。

表1 不同模型在不同IoU值條件下金具檢測的平均準確度 %

5.2 螺栓缺陷檢測效果驗證

在本文提出的金具模型檢測的基礎(chǔ)上,將檢測到的金具圖像作為輸入進行螺栓的缺陷檢測。本文數(shù)據(jù)集主要包含螺母丟失、螺栓正常和銷缺失這3種情況。本文通過引入雙注意力機制,對傳統(tǒng)Faster-RCNN模型進行改進,最終獲得的螺栓缺陷檢測的效果如圖9所示。從圖9中可以看出,無論是哪種類型的缺陷,本文方法均能夠有效檢測,并且檢測的準確度都達到96%以上。

圖9 基于本文方法的螺栓缺陷檢測效果

此外,為了證明本文提出模型的優(yōu)勢,將其與常見的螺栓缺陷檢測模型進行對比。通過常見的 Average Precision(AP)和 mean Average Precision (mAP)指標來對本文提出的模型的性能進行衡量和評價。如表2所示,針對數(shù)據(jù)集當中存在的3種情況,本文提出的方法在銷缺失的檢測準確度達到99.54%,mAP值達到97.71%。相比于改進前的Faster-RCNN檢測模型,針對3類情況,其檢測精度分別提高7.34%、6.32%和5.13%。相比于目前其他主流的檢測模型也有了較大提升。通常模型檢測的速度也是重要的性能衡量指標之一,本文選擇每張圖像缺陷檢測的時間作為衡量的指標。如表2所示,本文提出的模型平均檢測速度為42 ms/張,相比于Faster-RCNN模型,其整體的檢測速度提升了4.5倍左右。相比于其他的檢測模型也能保持較高的檢測效率,可以實現(xiàn)在線檢測。

表2 基于不同模型的螺栓缺陷檢測結(jié)果對比

本文還進一步對不同模型的螺栓缺陷檢測的準確度P和召回率R之間的關(guān)系進行研究。從圖10中可以看出,相比于其他模型,本文提出的模型其P-R曲線的表現(xiàn)更為優(yōu)越。其主要表現(xiàn)在在相同的召回率的情況下,本文提出的檢測模型相比于其他模型擁有更高的缺陷檢測準確度。在相同的檢測準確度時,本文提出的模型擁有更小的召回率。此外,針對螺栓缺陷檢測當中的銷缺失檢測,本文方法效果提升最大,由此可見針對小目標的檢測能力有了較大提升。

圖10 基于不同模型的螺栓缺陷檢測的P-R曲線

從模型的整體檢測準確度的角度出發(fā),如圖11所示,展現(xiàn)了不同模型針對螺栓缺陷檢測時的P-R曲線。相比于螺栓缺陷分類檢測的P-R曲線檢測圖,整體的P-R曲線更為直觀展示了本文模型相比于其他模型的性能的改進和提升。尤其在召回率0.8～1.0區(qū)間,本文模型能夠更加穩(wěn)定,緩慢下降,可以精確地提取到更多的螺栓特征信息。

圖11 基于不同方法的整體P-R曲線

另一個值得關(guān)注的指標是模型的迭代次數(shù)和損失率之間的關(guān)系。如圖12所示,展現(xiàn)了螺栓缺陷檢測過程中不同模型的迭代次數(shù)與損失率之間的曲線關(guān)系。從圖12中可以看出,無論何種模型最終通過多次迭代后基本都趨于收斂的狀態(tài),然而相比于其他模型,本文提出的模型的收斂速度更快。此外,還可以看出本文提出的模型訓練的初始值相比于其他模型較低,在整個訓練過程中波動較小,整個模型迭代收斂過程中沒有太大變化。這充分說明本文模型具有較好的收斂性和穩(wěn)定性,相比于Faster-RCNN模型,其引入的雙注意力機制起到了較好的改進效果。

圖12 不同模型的迭代次數(shù)與損失率之間的關(guān)系

6 結(jié)束語

針對目前輸電線路上的金具螺栓缺陷檢測精度和效率低的問題,本文在利用圖像增廣方法增加數(shù)據(jù)集的基礎(chǔ)上,提出了一種基于級聯(lián)檢測方法的金具和螺栓缺陷檢測模型。該方法有效解決了金具上的螺栓因為體積小而導致缺陷檢測誤檢率高的問題。此外,本文在Faster-RCNN模型基礎(chǔ)上引入雙注意力機制,通過多尺度注意力模塊和空間注意力圖的設(shè)計實現(xiàn)螺栓缺陷檢測和分類。