基于改進(jìn)Libra-RCNN的輸電線路絕緣子識(shí)別

閭海慶，雷遠(yuǎn)華，王靜，邢學(xué)敏，楊靜

(1.中國(guó)能源建設(shè)集團(tuán)湖南省電力設(shè)計(jì)院有限公司，湖南 長(zhǎng)沙 410007；2.湖南省第三測(cè)繪院，湖南 長(zhǎng)沙 410004；3.長(zhǎng)沙理工大學(xué)交通運(yùn)輸工程學(xué)院，湖南 長(zhǎng)沙 410114；4.中國(guó)水利水電第八工程局有限公司，湖南長(zhǎng)沙 410004)

0 引言

絕緣子是輸電線路中最常見核心部件，具有絕緣和支撐輸電線路的作用，因此絕緣子是否正常工作直接影響電網(wǎng)運(yùn)行狀態(tài)。由于絕緣子長(zhǎng)期暴露室外工作，極易掉串和破損，為了更好檢測(cè)絕緣子缺陷，須提前識(shí)別絕緣子位置。常見電網(wǎng)輸電線路巡檢的主要方式有人工巡檢、直升機(jī)巡檢和無(wú)人機(jī)巡檢，直升機(jī)巡檢成本和難度較高，難以普及；輸電線路環(huán)境復(fù)雜，致使人工巡檢的視野盲區(qū)較多，巡檢效率和安全性較低；無(wú)人機(jī)體積小、成本低和操作簡(jiǎn)單，被廣泛應(yīng)用到電力巡線中。

識(shí)別絕緣子方法主要可分成兩類:絕緣子形態(tài)或顏色特征定位和深度學(xué)習(xí)回歸方法定位。仲莉恩等人[1]提出計(jì)算電力線圖像邊緣方向矢量，利用模板匹配的方式得到絕緣子準(zhǔn)確位置；黃宵寧[2]等人提出根據(jù)絕緣子顏色信息，利用遺傳算法的最大熵閾值方法分割定位絕緣子；程海燕[3]等人利用遺傳算法分割絕緣子圖像構(gòu)建正負(fù)樣本庫(kù)，然后提取樣本不變矩訓(xùn)練增強(qiáng)學(xué)習(xí)分類器判斷定位絕緣子；商俊平等人[4]利用最大類方法分割絕緣子，然后提取絕緣子不變矩特征，最后借助增強(qiáng)學(xué)習(xí)分類器定位絕緣子位置；陳文浩等人[5]對(duì)RGB絕緣子圖像轉(zhuǎn)化為L(zhǎng)AB空間圖像，利用形態(tài)學(xué)算法粗略分割絕緣子。上述傳統(tǒng)方法檢測(cè)絕緣子速度較快，但可遷移性較差，不同的場(chǎng)景下需要設(shè)計(jì)不同檢測(cè)閾值，難以廣泛應(yīng)用在復(fù)雜多變的輸電線路絕緣子檢測(cè)場(chǎng)景。

為了提高絕緣子識(shí)別的準(zhǔn)確率和魯棒性，侯春萍等人[6]提出借助Faster-RCNN算法(Faster Region-based Convolutional Neural Network)[7]識(shí)別絕緣子，對(duì)Faster-RCNN模型的分類器和檢測(cè)器分別訓(xùn)練，級(jí)聯(lián)組成完整網(wǎng)絡(luò)識(shí)別絕緣子；蔣姍等人[8]針對(duì)絕緣子尺寸變化較大，對(duì)Faster-RCNN模型添加特征金字塔結(jié)構(gòu)，并借助軟非極大值抑制算法(Soft Non-Maximum Suppression，Soft NMS)[9]規(guī)避不同目標(biāo)檢測(cè)框因重疊而被誤刪的情況，絕緣子檢測(cè)準(zhǔn)確率相較原Faster-RCNN進(jìn)一步提高；周自強(qiáng)等人[10]采用多尺度特征融合方法改進(jìn)傳統(tǒng)Faster-RCNN方法，實(shí)現(xiàn)絕緣子小目標(biāo)的精準(zhǔn)識(shí)別；針對(duì)輸電線路中絕緣子部分遮擋、尺寸不一、檢測(cè)難度大、精確度低的問題，易繼禹等人[11]對(duì)Faster-RCNN模型運(yùn)用多尺寸訓(xùn)練，并引入防止遮擋物體難檢測(cè)的在線困難樣本對(duì)手生成策略。上述基于Faster-RCNN模型的絕緣子識(shí)別方法，雖可有效識(shí)別尺寸不同和遮擋的絕緣子，但模型訓(xùn)練收斂速度較差，檢測(cè)多尺度絕緣子的方法過于簡(jiǎn)單，目標(biāo)回歸框穩(wěn)定性較差，嚴(yán)重影響絕緣子檢測(cè)的穩(wěn)定性和定位精度。

針對(duì)Faster-RCNN模型絕緣子識(shí)別存在的問題，提出一種基于自適應(yīng)空間特征融合金字塔網(wǎng)絡(luò)(Adaptively Spatial Feature Fusion，ASFF)[12]的改進(jìn)Libra-RCNN絕緣子檢測(cè)模型[13]。首先，使用濾波器響應(yīng)歸一化層 (Filter Response Normalization，F(xiàn)RN)[14]替代原Libra-RCNN模型中歸一化層(Batch Norm，BN)[15]，防止模型陷入局部梯度最優(yōu)區(qū)域；然后借助泛化交并比方法(Generalized Intersection over Union，GIoU)[16]計(jì)算Libra-RCNN模型交并比，更高效表達(dá)候選框與真實(shí)框的關(guān)系；最后Libra-RCNN金字塔中引入ASFF網(wǎng)絡(luò)，增加絕緣子檢測(cè)模型的尺度不變性。

1 相關(guān)技術(shù)介紹

1.1 FRN歸一化層

在深度卷積層中，若每層數(shù)據(jù)分布不同，將會(huì)致使訓(xùn)練模型收斂速度下降，很容易陷入局部梯度最優(yōu)解，為了使激活函數(shù)具有一個(gè)穩(wěn)定均勻數(shù)據(jù)輸入，多會(huì)在卷積層中添加歸一化層。比較常用的歸一化 層 有 BN 方 法[15]和 GN 方 法 (Group Normalization)[17]，BN歸一化層嚴(yán)重依賴訓(xùn)練Batch大小；GN歸一化層雖不依賴Batch大小，但當(dāng)Batch過大時(shí)，性能較差。為了更好得到穩(wěn)定分布的輸入特征，谷歌提出FRN歸一化方法，F(xiàn)RN層不僅消除了模型訓(xùn)練過程中對(duì)Batch大小的依賴，而且Batch較大時(shí)性能也優(yōu)于BN層。

FRN歸一化方法主要分為兩個(gè)部分:FRN層和閾值線性單元(Threshold Linear Unit，TLU)。若輸入特征圖 [B，W，H，C]，分別表示Batch大小、特征圖長(zhǎng)寬和通道數(shù)，F(xiàn)RN層只對(duì)特征圖W、H維度上歸一化處理，先求訓(xùn)練樣本每層特征的均方，可用式(1)表示為:

式中，xi為每個(gè)樣本的單層卷積特征，N=W×H。正則化x為:

式中，為防止分母為0，故ε值極小。則特征層歸一化為:

式中，γ、β為可學(xué)習(xí)參數(shù)。

FRN層缺少去均值操作，可能會(huì)致使歸一化結(jié)果以任意方式偏移零值，若FRN層后直接添加ReLU激活層，會(huì)產(chǎn)生很多零值，嚴(yán)重影響模型訓(xùn)練和性能。為了解決零值偏移問題，F(xiàn)RN歸一化方法提出具有閾值的ReLU激活層，即TLU激活函數(shù):

1.2 ASFF金字塔網(wǎng)絡(luò)結(jié)構(gòu)

常用的特征金字塔在不同尺度特征之間具有不一致性，在檢測(cè)對(duì)象時(shí)采用啟發(fā)式引導(dǎo)的特征選擇:大目標(biāo)通常與較高特征圖相關(guān)聯(lián)，而小目標(biāo)通常與較低特征圖相關(guān)聯(lián)。若是待檢測(cè)目標(biāo)與某一特定層級(jí)特征圖相關(guān)聯(lián)，其他層級(jí)特征圖位置將會(huì)被看成背景。因此，若是待檢測(cè)圖像上同時(shí)含有大小不同目標(biāo)時(shí)，不同層級(jí)中的特征將存在沖突。

為了解決特征金字塔內(nèi)部不一致問題，ASFF網(wǎng)絡(luò)能夠直接學(xué)習(xí)如何在其他層對(duì)特征空間濾波，從而保留有用的信息進(jìn)行組合，主要分為兩步:恒等縮放和自適應(yīng)融合。

第一步，統(tǒng)一特征圖尺寸和通道數(shù)。對(duì)卷積層大小和通道數(shù)統(tǒng)一處理，使得相鄰層大小和通道數(shù)相同。

第二步，自適應(yīng)融合。統(tǒng)一卷積層后，可獲得三個(gè)相同的特征塊xl←1、xl←2、xl←3，對(duì)三個(gè)特征塊加權(quán)融合，對(duì)加權(quán)系數(shù)可通過網(wǎng)絡(luò)自適應(yīng)學(xué)習(xí)得到:

式中，αl+βl+γl=1，αl、βl、γl∈[0，1]，且滿足約束Softmax函數(shù):

1.3 GIoU交并比

常用交并比(Intersection over Union，IoU)計(jì)算候選框和真實(shí)邊界框的交集與并集的比值，可有效表明候選框和真實(shí)框的距離，但若是候選框與真實(shí)邊界框不相交時(shí)，則無(wú)法表達(dá)兩者的距離。為了更好表達(dá)候選框和真實(shí)框的距離，GIoU方法添加真實(shí)框和候選框的最小外接框C，計(jì)算公式中I表示IoU的值，G表示GIoU的值，如下所示:

式中，A為候選框；B為真實(shí)框；C為候選框與真實(shí)框的最小外接框。

2 改進(jìn)Libra-RCNN絕緣子檢測(cè)方法

目標(biāo)檢測(cè)主要分為兩大類:一階和二階結(jié)構(gòu)，這兩種檢測(cè)框架遵循同一種訓(xùn)練范式，即對(duì)區(qū)域進(jìn)行采樣，從中提取特征，然后在一個(gè)標(biāo)準(zhǔn)的多任務(wù)目標(biāo)函數(shù)的指導(dǎo)下，共同進(jìn)行分類和細(xì)化位置任務(wù)。基于該種訓(xùn)練范式，目標(biāo)檢測(cè)訓(xùn)練的效果主要取決三個(gè)關(guān)鍵方面:1)選取的區(qū)域是否具有代表性；2)提取的特征是否被充分利用；3)目標(biāo)損失函數(shù)是否是最優(yōu)的。

原Libra-RCNN算法對(duì)上述三個(gè)關(guān)鍵問題重點(diǎn)優(yōu)化，但對(duì)選取區(qū)域位置的描述和多尺度特征提取仍有很大不足，故提出一種基于ASFF金字塔網(wǎng)絡(luò)結(jié)構(gòu)Libra-RCNN絕緣子檢測(cè)算法。

2.1 候選區(qū)域

由于樣本分布是不均勻的，生成候選框時(shí)隨機(jī)采樣會(huì)造成背景框遠(yuǎn)大于框中真實(shí)框，檢測(cè)圖像中目標(biāo)物體占據(jù)的區(qū)域是很小部分，背景占了絕大部分區(qū)域，導(dǎo)致大部分訓(xùn)練樣本的IoU很小，為了解決該問題Libra-RCNN提出了交并比均衡采樣。

若是真實(shí)框和候選框不相交時(shí)，IoU交并比不能表達(dá)真實(shí)框和候選框的關(guān)系，故交并比均衡采樣方法對(duì)不相交的候選框和真實(shí)框效果較差；為了更好的平衡樣本框，提出泛化交并比均衡采樣。

隨機(jī)采樣N個(gè)困難負(fù)樣本，有M個(gè)候選框，選中的概率就是:

如果一共還是要采樣N個(gè)，通過GIoU值劃分為K個(gè)區(qū)間，每個(gè)區(qū)間中的候選采樣數(shù)為Mk，則泛化交并比均衡采樣的采樣公式即為:

通過在GIoU上均勻采樣，把困難負(fù)樣本在GIoU上均勻分布。

2.2 特征金字塔網(wǎng)絡(luò)

為了將不同特征層的信息融合，得到高分辨率和高語(yǔ)義信息的表達(dá)，F(xiàn)PN等網(wǎng)絡(luò)結(jié)構(gòu)提出了橫向連接，與以往使用橫向連接來(lái)整合多層次特征的方法不同，Libra-RCNN算法核心思想是利用深度整合的均衡語(yǔ)義特征來(lái)強(qiáng)化多層次特征。

假設(shè)Cl表示第l層特征，lmin和lmax分別表示最底層和最高層的特征。C2有最高的分辨率，為了整合多層次的功能，同時(shí)保持它們的語(yǔ)義層次。首先將不同層的特征{C2，C3，C4，C5}尺寸統(tǒng)一，改變尺度到相同尺寸。特征圖完成尺寸統(tǒng)一后，可利用下式得到平衡后的語(yǔ)義特征:

得到特征圖C，先改變尺度大小，然后通過反向操作增強(qiáng)原始每層的特征，每個(gè)分辨率特征從其他分辨率特征中同等的獲得信息。為了更好平衡語(yǔ)義特征，使特征層具有更好的分辨力，可對(duì)網(wǎng)絡(luò)引入注意力機(jī)制網(wǎng)路[13]結(jié)構(gòu)。

Libra-RCNN算法對(duì)不同尺度特征層融合和分離，得到更多有效的語(yǔ)義特征，但若待檢測(cè)圖像上同時(shí)存在大小不同檢測(cè)目標(biāo)時(shí)，不同層級(jí)特征將存在沖突。ASFF網(wǎng)絡(luò)可直接對(duì)其他特征層空間濾波，保留有用的特征信息進(jìn)行組合；為了防止不同層級(jí)特征出現(xiàn)沖突，在Libra-RCNN特征層中引入ASFF層。雖然注意力機(jī)制網(wǎng)路可很好地平衡語(yǔ)義信息，但結(jié)構(gòu)較為復(fù)雜，故借助擠壓和激發(fā)網(wǎng)絡(luò)[18]替代原注意力機(jī)制網(wǎng)路，具體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 改進(jìn)Libra-RCNN網(wǎng)絡(luò)結(jié)構(gòu)

2.3 目標(biāo)損失函數(shù)

在原Faster-RCNN算法借助多任務(wù)損失函數(shù)計(jì)算目標(biāo)分類和定位回歸，可寫成:

式中，Lcls和Lloc分別為分類和定位損失函數(shù)，p為預(yù)測(cè)值，u為真實(shí)值，tu為類別u的回歸定位，v為回歸目標(biāo)，λ是多任務(wù)調(diào)整權(quán)重參數(shù)。

原Faster-RCNN直接對(duì)分類損失定位損失函數(shù)相加，若是分類效果較好會(huì)得到較高分類損失值，會(huì)降低了回歸損失的重要性，可通過權(quán)值λ平衡定位和回歸函數(shù)的重要性。由于目標(biāo)回歸定位沒有邊界限制，直接增加回歸定位損失函數(shù)權(quán)值λ，會(huì)造成模型對(duì)困難樣本更加敏感。困難樣本會(huì)造成很大的梯度阻礙訓(xùn)練，而簡(jiǎn)單樣本對(duì)模型訓(xùn)練的貢獻(xiàn)度較低。為了平衡定位損失函數(shù)和分類損失函數(shù)，Libra-RCNN算法提出平衡L1損失函數(shù)，可表示為:

式(12)的梯度計(jì)算遵從:

基于式(13)可得到:

式中，α控制簡(jiǎn)單樣本梯度的提升，很小的α?xí)嵘?jiǎn)單樣本梯度，同時(shí)不會(huì)影響困難樣本梯度值。γ控制調(diào)整回歸誤差上界，可促進(jìn)不同任務(wù)更加平衡。

對(duì)梯度公式積分可得:

為了保證函數(shù)連續(xù)性，當(dāng)x=1時(shí)需要滿足:αln(b+1)=γ。

3 實(shí)驗(yàn)效果分析

3.1 數(shù)據(jù)集及實(shí)驗(yàn)參數(shù)

借助insulators_datasets絕緣子數(shù)據(jù)集訓(xùn)練目標(biāo)檢測(cè)網(wǎng)絡(luò)，該數(shù)據(jù)集共有6 840張無(wú)人機(jī)航拍采集絕緣子圖像，圖像尺寸為1 152×864，該數(shù)據(jù)集以對(duì)絕緣子圖像進(jìn)行旋轉(zhuǎn)、添加噪聲、Cutout、亮度變化等操作。選擇5 840張絕緣子圖像作為訓(xùn)練集，1 000張絕緣子圖像作為測(cè)試集，數(shù)據(jù)集按照VOC2012數(shù)據(jù)集格式標(biāo)注。訓(xùn)練批次大小為4，權(quán)值衰減系數(shù)設(shè)為0.000 5，初始學(xué)習(xí)率為0.001。

3.2 實(shí)驗(yàn)結(jié)果

3.2.1候選區(qū)域比例對(duì)檢測(cè)的影響

原Libra-RCNN算法的候選區(qū)域比例為{1∶1，2∶1，1∶2}，但絕緣子形狀均為長(zhǎng)方形，{1∶1，2∶1，1∶2}的候選區(qū)域比例顯然不符合實(shí)際需求。為了得到更好的絕緣子候選區(qū)域比例值，設(shè)計(jì)多種候選區(qū)域比例訓(xùn)練模型，得到平均準(zhǔn)確率(Average Precision，AP)，見表1。

表1 不同比例候選區(qū)域AP值 %

由表1知，候選區(qū)域比例在{1∶2，1∶3，1∶4，1∶1，4∶1，3∶1，2∶1}時(shí)，得到的AP值最大，故改進(jìn)Libra-RCNN算法的候選區(qū)域比例為{1∶2，1∶3，1∶4，1∶1，4∶1，3∶1，2∶1}。

3.2.2改進(jìn)Libra-RCNN算法實(shí)驗(yàn)結(jié)果

選擇1 000張絕緣子圖像作為測(cè)試集，借助Faster-RCNN、Libra-RCNN與所提算法對(duì)比實(shí)驗(yàn)，1 000張測(cè)試集圖像共有絕緣子3 318個(gè)，分別統(tǒng)計(jì)絕緣子檢測(cè)正確個(gè)數(shù)、遺漏個(gè)數(shù)和錯(cuò)誤識(shí)別個(gè)數(shù)，統(tǒng)計(jì)結(jié)果見表2。表2中，F(xiàn)aster-RCNN算法正確檢測(cè)3 129個(gè)絕緣子，Libra-RCNN算法正確檢測(cè)絕緣子數(shù)量為3 217個(gè)，所提算法正確檢測(cè)3 235個(gè)絕緣子；Faster-RCNN算法遺漏絕緣子數(shù)量最多，本文算法數(shù)量最少，僅遺漏83個(gè)；所提改進(jìn)Libra-RCNN算法錯(cuò)誤檢測(cè)絕緣子數(shù)量?jī)H為107個(gè)，遠(yuǎn)低于Libra-RCNN算法錯(cuò)誤檢測(cè)191個(gè)。

表2 統(tǒng)計(jì)結(jié)果

對(duì)Libra-RCNN算法引入FRN歸一化層、GIoU交并比和ASFF金字塔網(wǎng)絡(luò)，為了更好證明所提方法的有效性，單獨(dú)引入FRN歸一化層、GIoU交并比和ASFF金字塔網(wǎng)絡(luò)測(cè)試對(duì)Libra-RCNN模型的影響。用平均準(zhǔn)確率(Average Precision，AP)和平均召回率(Average Recall，AR)評(píng)價(jià)絕緣子檢測(cè)算法的優(yōu)越性。表3為上述幾個(gè)模塊引入后，Libra-RCNN模型得到的AP值和AR值。

表3 模型改進(jìn)后AP值和AR值 %

限于顯卡內(nèi)存大小，每個(gè)訓(xùn)練批次大小為4，原Libra-RCNN算法借助BN層歸一化，BN層嚴(yán)重依賴Batch大小，Batch過小會(huì)致使模型收斂難度增加；FRN歸一化層不依賴Batch大小，可有效增加Libra-RCNN模型的穩(wěn)定性。

由表3知，Libra-RCNN模型添加FRN層后，AP值增加0.52%，AR值增加0.57%。IoU交并比對(duì)不相交候選框表達(dá)能力有限，GIoU交并比可更好表達(dá)候選框和真實(shí)框的距離，故引入GIoU交并比后Libra-RCNN算法的AP值增加3.44%，AR值增加1.88%。ASFF網(wǎng)絡(luò)可解決特征金字塔內(nèi)部不一致問題，增加模型的多尺度檢測(cè)能力，故Libra-RCNN模型引入ASFF網(wǎng)絡(luò)后，AP值增加0.96%，AR值增加1.23%。FRN層、GIoU交并比和ASFF網(wǎng)絡(luò)皆引入Libra-RCNN模型，極大提高了模型的魯棒性，相較原Libra-RCNN模型AP值提高2.23%，AR值提高2.61%。

借助Faster-RCNN、YOLO-V2[19]、YOLOV3[20]和Libra-RCNN算法與本文所提改進(jìn)Libra-RCNN算法對(duì)比實(shí)驗(yàn)，對(duì)模型AP和AR值統(tǒng)計(jì)結(jié)果見表4。由表4可知，YOLO-V2平均準(zhǔn)確率和召回率值均較低，所提改進(jìn)Libra-RCNN算法平均準(zhǔn)確率和召回率值均為最高，可證明所用方法穩(wěn)定性最好。

表4 各種模型AP值和AR值 %

借助改進(jìn)Libra-RCNN算法在測(cè)試集識(shí)別絕緣子效果，如圖2所示，可精準(zhǔn)、高效地定位絕緣子。

圖2 絕緣子識(shí)別效果

4 結(jié)語(yǔ)

針對(duì)常用的絕緣子檢測(cè)模型精度較低、尺度不變性較差等問題，提出一種基于ASFF金字塔網(wǎng)絡(luò)的改進(jìn)Libra-RCNN算法。對(duì)Libra-RCNN模型中BN層替換成FRN歸一化層，削弱歸一化層對(duì)訓(xùn)練批次大小的依賴；借助GIoU方法計(jì)算Libra-RCNN模型交并比，提高了絕緣子定位精度；為了增加Libra-RCNN模型的尺度不變性，在Libra-RCNN模型金字塔中引入ASFF網(wǎng)絡(luò)。經(jīng)實(shí)驗(yàn)對(duì)比，本文方法相較Libra-RCNN模型具有更好的定位精度和識(shí)別準(zhǔn)確度，能夠?yàn)檫M(jìn)一步缺陷檢測(cè)提供詳細(xì)的位置信息。