基于改進(jìn)的R-FCN刀閘檢測(cè)算法研究

陶征勇，宗起振，曾清旋

(南京國電南自軌道交通工程有限公司，江蘇 南京 210032)

0 引 言

準(zhǔn)確快速地檢測(cè)出牽引變電站刀閘的狀態(tài)，可以很大程度地降低人工成本，有效提高電網(wǎng)的安全運(yùn)行，這對(duì)于整個(gè)變電站具有至關(guān)重要的意義[1]。然而刀閘的工作環(huán)境位于室外，受拍攝視角問題以及外部環(huán)境遮擋問題的影響，同時(shí)刀閘又與其他設(shè)備顏色趨近一致，這些都大大增加了刀閘狀態(tài)識(shí)別的難度。

目前，國內(nèi)外對(duì)刀閘檢測(cè)提出了眾多的檢測(cè)方案，其中采用圖像處理的電力設(shè)備檢測(cè)技術(shù)成為主流技術(shù)[2-3]。REDDY，MURTHY V S，張?bào)K等[4-6]均提出了圖像視覺處理技術(shù)及絕緣子狀態(tài)相關(guān)的算法，實(shí)驗(yàn)數(shù)據(jù)表明該種算法具有較高的識(shí)別準(zhǔn)確率；張金鋒[7]提出了一種改進(jìn)亮度序描述子的刀閘檢測(cè)方法，實(shí)驗(yàn)結(jié)果顯示該方法可以準(zhǔn)確定位絕緣子快速識(shí)別出刀閘狀態(tài)，但對(duì)變電站實(shí)際場(chǎng)景下刀閘可能出現(xiàn)部分被遮擋的情況，識(shí)別的準(zhǔn)確率會(huì)下降；吳寬[8]為精確識(shí)別出垂直伸縮式刀閘狀態(tài)，定義了一種新的絕緣子邊緣特征，通過提取邊緣特征獲取刀閘識(shí)別狀態(tài)，該種方法能夠準(zhǔn)確定位到刀閘區(qū)域進(jìn)而準(zhǔn)確識(shí)別出刀閘狀態(tài)；臺(tái)德群[9]提出了一種基于改進(jìn)的Meanshift刀閘跟蹤識(shí)別的算法，實(shí)現(xiàn)了刀閘狀態(tài)的實(shí)時(shí)監(jiān)測(cè)，識(shí)別精度較高；邵劍雄[10]針對(duì)變電站開關(guān)設(shè)備狀態(tài)監(jiān)測(cè)，提出了一種基于霍夫森林的開關(guān)狀態(tài)識(shí)別方法，實(shí)驗(yàn)表明該方法對(duì)開關(guān)設(shè)備狀態(tài)的設(shè)備具有較高的準(zhǔn)確率，且魯棒性好。

上述方法均針對(duì)變電站刀閘的局部特征進(jìn)行識(shí)別檢測(cè)，而對(duì)于變電站實(shí)際現(xiàn)場(chǎng)環(huán)境存在的、受外界環(huán)境因素導(dǎo)致的拍攝角度發(fā)生偏移、拍攝到的刀閘被部分遮擋等問題，僅依據(jù)局部特征進(jìn)行刀閘狀態(tài)的識(shí)別，將無法獲得理想的準(zhǔn)確率。本文提出了一種基于改進(jìn)的R-FCN網(wǎng)絡(luò)刀閘檢測(cè)算法，通過對(duì)R-FCN輸出預(yù)測(cè)網(wǎng)絡(luò)并聯(lián)融入全局特征預(yù)測(cè)模塊，補(bǔ)充原始網(wǎng)絡(luò)只通過局部特征預(yù)測(cè)刀閘產(chǎn)生的感受野不足缺陷，通過對(duì)局部特征預(yù)測(cè)結(jié)果和全局特征預(yù)測(cè)結(jié)果正則化后進(jìn)行預(yù)測(cè)結(jié)果累加，實(shí)現(xiàn)全局特征預(yù)測(cè)結(jié)果對(duì)局部特征預(yù)測(cè)結(jié)果的補(bǔ)充。

1 改進(jìn)的R-FCN刀閘檢測(cè)算法

1.1 算法整體概括

針對(duì)變電站輔助監(jiān)控系統(tǒng)在刀閘檢測(cè)識(shí)別過程中，因天氣環(huán)境的頻繁變化，相機(jī)位置在預(yù)先建立的模板圖像角度基礎(chǔ)上會(huì)發(fā)生偏移，進(jìn)而無法準(zhǔn)確識(shí)別出刀閘的狀態(tài)，出現(xiàn)較高的誤檢與漏檢現(xiàn)象。本文對(duì)R-FCN網(wǎng)絡(luò)模型進(jìn)行了改進(jìn)，構(gòu)建了一種聯(lián)合局部特征和全局特征的R-FCN的聯(lián)合檢測(cè)算法，對(duì)R-FCN網(wǎng)絡(luò)模型嵌入全局特征預(yù)測(cè)，聯(lián)合局部特征和全局特征預(yù)測(cè)的優(yōu)點(diǎn)提升刀閘檢測(cè)的準(zhǔn)確率，提升現(xiàn)有刀閘檢測(cè)方法的準(zhǔn)確率。改進(jìn)的R-FCN刀閘檢測(cè)算法整體流程如圖1所示。

圖1 改進(jìn)的R-FCN刀閘檢測(cè)算法整體流程

1.2 算法具體實(shí)現(xiàn)

1.2.1 變電站圖像采集

變電站輔助監(jiān)控系統(tǒng)為變電站中的所有網(wǎng)絡(luò)監(jiān)控?cái)z像機(jī)和相關(guān)控制設(shè)備的集成，通過調(diào)整相機(jī)的角度，實(shí)現(xiàn)采集不同時(shí)刻、天氣、背景的包含刀閘和未包含刀閘的圖像數(shù)據(jù)集，且包含刀閘的圖像數(shù)據(jù)集數(shù)量應(yīng)均勻包含刀閘的開關(guān)兩種狀態(tài)。變電站現(xiàn)場(chǎng)采集的刀閘如圖2所示。

圖2 變電站現(xiàn)場(chǎng)刀閘

1.2.2 劃分、清洗并標(biāo)注圖像數(shù)據(jù)集

將上述采集到的數(shù)據(jù)集進(jìn)行清洗，去除損壞的圖像數(shù)據(jù)，并分成兩種：只包含刀閘的圖像數(shù)據(jù)集和未包含刀閘但與刀閘類似的數(shù)據(jù)集。變電站現(xiàn)場(chǎng)采集到的數(shù)據(jù)集包含刀閘的圖像總數(shù)為800張，未包含刀閘但與刀閘類似的800張，分別對(duì)兩種進(jìn)行劃分，其中訓(xùn)練集和測(cè)試集之比為8∶2，并將只包含刀閘圖像的數(shù)據(jù)集進(jìn)行標(biāo)注刀閘位置和狀態(tài)，第一次訓(xùn)練，采用樣本的數(shù)量如表1所示，第二次訓(xùn)練，采用樣本的數(shù)量如表2所示。

表1 第一次訓(xùn)練集樣本數(shù)量的統(tǒng)計(jì)結(jié)果

表2 第二次訓(xùn)練集樣本數(shù)量的統(tǒng)計(jì)結(jié)果

1.2.3 構(gòu)建聯(lián)合局部特征和全局特征的R-FCN網(wǎng)絡(luò)

采用分類網(wǎng)絡(luò)ResNet101作為主干特征提取網(wǎng)絡(luò)，在ResNet101第4組卷積層后使用RPN操作產(chǎn)生感興趣區(qū)域(用于后期刀閘的檢測(cè))，拋棄使用ResNet101第5組卷積層后面的池化層和全連接層，最終輸出的通道數(shù)為2 048個(gè)。考慮在不改變特征圖大小的情況下降低特征數(shù)據(jù)維度，通過添加卷積核大小為1×1的卷積層將通道數(shù)降低為1 024個(gè)。聯(lián)合局部特征和全局特征的R-FCN網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 聯(lián)合局部特征和全局特征的R-FCN網(wǎng)絡(luò)結(jié)構(gòu)

同時(shí)，構(gòu)建局部特征預(yù)測(cè)分支，通過采用原始具有局部特征預(yù)測(cè)的網(wǎng)絡(luò)模型R-FCN輸出局部預(yù)測(cè)結(jié)果，且局部特征預(yù)測(cè)采用RPN建議區(qū)域劃分為7×7個(gè)局部區(qū)域進(jìn)行預(yù)測(cè)；構(gòu)建全局特征預(yù)測(cè)分支，通過對(duì)提取的語義特征進(jìn)行池化操作，統(tǒng)一提取語義特征大小，然后，串聯(lián)卷積核大小為7×7和1×1的卷積層輸出全局預(yù)測(cè)結(jié)果。局部特征預(yù)測(cè)模塊如圖4所示，全局特征預(yù)測(cè)模塊如圖5所示。

圖4 局部特征預(yù)測(cè)模塊

圖5 全局特征預(yù)測(cè)模塊

1.2.4 訓(xùn)練保存模型

訓(xùn)練時(shí)，模型主干特征提取網(wǎng)絡(luò)ResNet101的初始化參數(shù)使用在ImageNet數(shù)據(jù)集上訓(xùn)練好的模型權(quán)重，模型訓(xùn)練使用的損失函數(shù)選擇與R-FCN網(wǎng)絡(luò)相同的損失函數(shù)，進(jìn)行兩次訓(xùn)練：第一次使用只包含有刀閘圖像的數(shù)據(jù)訓(xùn)練，至損失函數(shù)收斂，保存網(wǎng)絡(luò)模型；第二次基于第一次訓(xùn)練的模型參數(shù)基礎(chǔ)之上，使用包含刀閘和未包含刀閘類似刀閘的數(shù)據(jù)進(jìn)行訓(xùn)練，進(jìn)一步提升網(wǎng)絡(luò)模型的刀閘辨別能力，最終得到模型的測(cè)試結(jié)果，以mAP-50作為準(zhǔn)確率評(píng)價(jià)指標(biāo)，統(tǒng)計(jì)的準(zhǔn)確率如表3所示。其中，訓(xùn)練使用的損失函數(shù)數(shù)學(xué)表達(dá)式為：L(s,t)=Lcls(sc*)+λ[c*>0]Lreg(t,t*)。式中，L(s,t)表示分類損失和回歸損失的總損失；s為類別預(yù)測(cè)概率；sc*表示類別c*的預(yù)測(cè)概率；t表示模型預(yù)測(cè)的回歸框；Lcls(s)為分類損失，數(shù)學(xué)表達(dá)式為：Lcls(sc*)=-log(sc*)；λ多任務(wù)平衡因子；c*為類別真實(shí)標(biāo)簽，當(dāng)c*=0表示背景類別，c*≠0表示對(duì)應(yīng)的對(duì)別；[c*>0]組成指導(dǎo)因子，其值取為1，表示回歸框只對(duì)非背景類別對(duì)象進(jìn)行調(diào)整；Lreg(t,t*)為回歸損失；t表示模型預(yù)測(cè)的目標(biāo)框；t*表示人工標(biāo)注的真實(shí)框。

表3 刀閘訓(xùn)練準(zhǔn)確率對(duì)比結(jié)果

2 現(xiàn)場(chǎng)應(yīng)用實(shí)驗(yàn)分析

本文改進(jìn)的R-FCN網(wǎng)絡(luò)刀閘檢測(cè)算法在工程現(xiàn)場(chǎng)與R-FCN算法、Faster R-CNN算法、FPN進(jìn)行刀閘檢測(cè)對(duì)比實(shí)驗(yàn)，通過自有的牽引變電所輔助監(jiān)控系統(tǒng)軟件進(jìn)行不同預(yù)置位下刀閘圖片的識(shí)別。實(shí)驗(yàn)設(shè)置牽引變電所輔助監(jiān)控系統(tǒng)軟件每隔5分鐘巡檢一次，巡檢采集了500張刀閘狀態(tài)圖片，實(shí)驗(yàn)用的4種刀閘檢測(cè)算法對(duì)應(yīng)的服務(wù)器識(shí)別這些狀態(tài)圖片獲得識(shí)別結(jié)果圖片。分析所獲得的識(shí)別結(jié)果圖片，以AP50，AP75，AP作為評(píng)價(jià)指標(biāo)進(jìn)行評(píng)測(cè)[11]，AP50和AP75分別表示(IOU)預(yù)測(cè)目標(biāo)與實(shí)際目標(biāo)的重疊比大于0.5和0.75，AP表示IOU[0.5∶0.05∶0.9]，從50%取到90%，步長為5%，共9個(gè)不同閾值下的檢測(cè)目標(biāo)概率的平均值。對(duì)比4種刀閘檢測(cè)算法，準(zhǔn)確率統(tǒng)計(jì)結(jié)果如表4所示，隨機(jī)選取部分改進(jìn)的R-FCN刀閘檢測(cè)算法識(shí)別圖片與對(duì)比實(shí)驗(yàn)的其它刀閘檢測(cè)算法識(shí)別圖片，分別如圖6、圖7所示，圖中方框左上角“dzclose”表示識(shí)別到刀閘狀態(tài)為關(guān)閉，“dzopen”表示識(shí)別到刀閘狀態(tài)為打開。

圖6 改進(jìn)的R-FCN刀閘檢測(cè)算法識(shí)別圖片

圖7 對(duì)比實(shí)驗(yàn)的其他刀閘檢測(cè)算法識(shí)別圖片

表4 四種刀閘檢測(cè)算法準(zhǔn)確率對(duì)比結(jié)果

分析實(shí)驗(yàn)相關(guān)數(shù)據(jù)，采用改進(jìn)的R-FCN刀閘檢測(cè)算法在評(píng)價(jià)指標(biāo)AP50，AP75，AP評(píng)測(cè)下，準(zhǔn)確率均優(yōu)于對(duì)比實(shí)驗(yàn)的其他刀閘檢測(cè)算法。分析多數(shù)識(shí)別有誤的圖片發(fā)現(xiàn)，對(duì)比實(shí)驗(yàn)的其他刀閘檢測(cè)算法對(duì)于有遮擋的刀閘識(shí)別準(zhǔn)確率較低，如圖7(b)中從左往右第二個(gè)刀閘因外物遮擋導(dǎo)致對(duì)打開狀態(tài)的刀閘識(shí)別為關(guān)閉狀態(tài)(dzclose)，而對(duì)于同一張照片識(shí)別，采用改進(jìn)的R-FCN刀閘檢測(cè)算法識(shí)別準(zhǔn)確率較高，如圖6(b)中從左往右第二個(gè)刀閘識(shí)別狀態(tài)正確。實(shí)驗(yàn)結(jié)果顯示，本文改進(jìn)的R-FCN刀閘檢測(cè)算法具有很高的識(shí)別準(zhǔn)確率，有效降低了變電站復(fù)雜場(chǎng)景中刀閘檢測(cè)的誤檢率和漏檢率，符合牽引變電站對(duì)刀閘狀態(tài)檢測(cè)準(zhǔn)確性的應(yīng)用需求。

3 結(jié) 語

針對(duì)牽引變電站刀閘狀態(tài)檢測(cè)的問題，本文通過構(gòu)建局部特征預(yù)測(cè)R-FCN網(wǎng)絡(luò)，融入全局特征預(yù)測(cè)，實(shí)現(xiàn)了一種改進(jìn)的R-FCN刀閘檢測(cè)算法。通過對(duì)比實(shí)驗(yàn)，本文改進(jìn)的R-FCN刀閘檢測(cè)算法相比于對(duì)比實(shí)驗(yàn)的其他刀閘檢測(cè)算法，具有更高的識(shí)別準(zhǔn)確率，對(duì)變電站復(fù)雜的外部環(huán)境具有很好的適應(yīng)性，能有效降低刀閘檢測(cè)的漏檢率和誤檢率，符合牽引變電站對(duì)刀閘狀態(tài)檢測(cè)準(zhǔn)確性的應(yīng)用需求，為達(dá)到牽引變電站無人值守模式的目標(biāo)邁出了重要一步。