基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的變電站異物入侵識別

肖曾翔, 徐啟峰

(福州大學(xué)電氣工程與自動化學(xué)院，福州 350106)

鳥巢與風(fēng)飄物入侵是危及變電站運行安全的重大問題，需要及時地加以識別與排除。異物識別的核心是圖像特征提取，目前深度學(xué)習(xí)是提取圖像特征的主要方法。通過神經(jīng)網(wǎng)絡(luò)對原始圖像信息濃縮精煉，最終獲得異物的特征圖像作為識別的依據(jù)。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)通過多卷積層結(jié)合多池化層使得網(wǎng)絡(luò)的特征表達(dá)更加豐富[1]，可自動學(xué)習(xí)目標(biāo)特征，因此被廣泛應(yīng)用于各種識別算法中。這些算法可以分為兩類[2]：一類是基于識別候選區(qū)域的R-CNN系列算法，精度高但速度慢；另一類是基于回歸的SSD(single shot detection)算法與YOLO(you only look once)系列算法，精度稍低但檢測速度快。

針對飛機(jī)跑道異物識別，文獻(xiàn)[3]基于Faster R-CNN(faster regions with convolutional neural network features)算法，將VGG16Net作為特征提取網(wǎng)絡(luò)，同時改進(jìn)損失函數(shù)，并自行建立數(shù)據(jù)集進(jìn)行驗證。文獻(xiàn)[4]采用了小波變換與數(shù)學(xué)形態(tài)學(xué)的方法，對小波分解后圖像的高頻與低頻部分邊緣檢測，能達(dá)到90%以上的檢測率。文獻(xiàn)[5]采用了R-CNN算法對3類小型電力部件進(jìn)行識別，對網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練后，平均準(zhǔn)確率(mean average precision，mAP)可達(dá)80%及以上。文獻(xiàn)[6-7]采用改進(jìn)YOLOv3算法對街道行人進(jìn)行識別，通過改良檢測框與修改網(wǎng)絡(luò)，以減少特征信息損失，與YOLOv3相比，能夠?qū)⑵骄鶞?zhǔn)確率提高4.85%。文獻(xiàn)[8]在SSD算法的基礎(chǔ)上，利用遷移學(xué)習(xí)對變電站設(shè)備部件進(jìn)行識別，同時改良預(yù)選框比例以適配識別對象，其mAP達(dá)到91%。文獻(xiàn)[9]結(jié)合了Dense-SIFT(dense scale invariant feature transform)、DCNN(diffusion-convolutional neural networks)以及Faster R-CNN對鐵軌狀態(tài)進(jìn)行檢測，可快速有效地識別出軌道的各種缺陷。文獻(xiàn)[10]在卷積神經(jīng)網(wǎng)絡(luò)DenseNet的基礎(chǔ)上添加殘差注意力模塊，以災(zāi)難場景為識別對象，驗證了這一方法的適用性。

目前，圖像識別主要應(yīng)用于道路交通、人員識別等場合，在電力系統(tǒng)異物識別領(lǐng)域研究較少，僅有的研究集中在線路異物以及設(shè)備元件。文獻(xiàn)[11]在tensorflow的框架下構(gòu)建神經(jīng)網(wǎng)絡(luò)，對高壓線路上的異物進(jìn)行識別，識別準(zhǔn)確率達(dá)到96.67%。文獻(xiàn)[12]提出了隔離開關(guān)狀態(tài)角概念，將隔離開關(guān)開合角度的梯度方向直方圖(histogram of oriented gradients,HOG)作為特征描述因子，結(jié)合支持向量機(jī)(support vector machine,SVM)識別高壓隔離開關(guān)的狀態(tài)，達(dá)到了90%以上的識別率。文獻(xiàn)[13]研究了輸電線路的異物識別，通過精簡關(guān)鍵幀、改進(jìn)幀差法、提出ORB(oriented brief)算子等方法提取異物特征，能夠提升識別速度，且識別率達(dá)到93.6%。

現(xiàn)提出一種基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的鳥巢與風(fēng)飄物識別方法。在變電站無人或少人值守的背景下，基于站內(nèi)的監(jiān)控圖像，采用聚類算法重新設(shè)定錨框尺寸，并糅合深淺層圖像特征，修改損失函數(shù)計算方法以提升識別率，修改卷積方式以提升模型的訓(xùn)練速度，利用改進(jìn)的神經(jīng)網(wǎng)絡(luò)方法對圖像中的異物進(jìn)行識別。

1 YOLO算法

YOLO算法最早由Redmon等[14]提出，經(jīng)過不斷地改良發(fā)展出YOLOv4與YOLOv5[15-17]，使其具有了更深的網(wǎng)絡(luò)結(jié)構(gòu)、更快的識別速度以及更高的識別精度。其中YOLOv5在保留YOLOv4識別效果的同時，結(jié)構(gòu)上更加靈活，體積更小，因此將YOLOv5作為基礎(chǔ)算法。初代YOLO算法的網(wǎng)絡(luò)結(jié)構(gòu)與GoogLeNet類似，原始圖像經(jīng)由24個卷積池化層以及2個全連接層后輸出特征圖像。

YOLOv5在結(jié)構(gòu)上與初代相比已經(jīng)有了明顯的改變，網(wǎng)絡(luò)結(jié)構(gòu)更深，并糅合深淺層特征，加強(qiáng)特征提取能力，最終提供多個檢測層以應(yīng)對不同規(guī)格的識別對象。YOLOv5識別異物基本流程如下：①將變電站中監(jiān)控圖像按等比縮放至416*416后送入識別網(wǎng)絡(luò)；②按不同尺度分別對異物邊界框進(jìn)行預(yù)測，得到尺寸19*19、38*38、76*76的3種特征圖像，并分割得到361、1 444、5 776個網(wǎng)格。每個網(wǎng)格預(yù)測3個邊框(即錨框)，每個邊框包含3類信息(分別為位置尺寸信息，置信度，異物類別)；③采用GIoU(generalized intersection over union)作為損失函數(shù)計算方法，計算每個邊框的置信度，通過設(shè)定閾值，過濾低置信度邊界框，得到預(yù)測目標(biāo)框。

2 改進(jìn)YOLOv5算法

2.1 變電站異物入侵

變電站的異物入侵主要是風(fēng)飄物搭載到設(shè)備上，或是鳥類筑巢，容易造成線路故障甚至事故[18-19]。一般鳥巢的體積較小，出現(xiàn)時機(jī)難以確定，需要時刻監(jiān)視，目前沒有好的解決方法。本文從入侵異物本身的特性出發(fā)，提出基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的識別方法。

2.2 針對變電站入侵異物的改進(jìn)算法

YOLOv5算法盡管在識別速率與精度方面有所提升，但對于具體的應(yīng)用場景并沒有專門的應(yīng)對方案。針對模型在訓(xùn)練過程中輸入、計算、輸出的3個環(huán)節(jié)進(jìn)行優(yōu)化，提出的方法包括：①采用聚類方法對標(biāo)注圖像的錨框尺寸進(jìn)行重新設(shè)定，以適配異物圖像;②針對變電站異物較小的特點，增添上采樣模塊，并與底層特征進(jìn)行融合，以加強(qiáng)特征表達(dá);③在上采樣模塊中，采用深度可分離卷積網(wǎng)絡(luò)作為卷積層，降低計算量，以提升訓(xùn)練速度；④采用CIoU(complete IoU)作為損失函數(shù)，以提升損失計算收斂速度與識別精度。修改后的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

Focus為注意力模塊，是3*3的卷積層；SepConv為深度可分離卷積層；CSP為跨階段局部網(wǎng)絡(luò)；SPP為空間金字塔池化網(wǎng)絡(luò)；Upsample為上采樣模塊；Concat為連接層

2.2.1 聚類優(yōu)化錨框尺寸

YOLO算法按照對象大小，對其特征圖設(shè)定了3種規(guī)格，每種規(guī)格下另設(shè)有3種尺寸錨框?qū)?yīng)識別對象。然而其尺寸不一定適配于所有識別對象，為了更為契合實際異物的大小特點，采用聚類方法重新確定錨框尺寸。

K-means聚類算法被廣泛應(yīng)用于各種分類情景[20]，其基本原理為根據(jù)距離來判斷類別歸屬：預(yù)先將數(shù)據(jù)分為K組，隨機(jī)選取K個對象作為初始的聚類中心，計算其余數(shù)據(jù)與聚類中心的距離，將其分配給最近的聚類中心。每完成一次分配，聚類中心便重新計算，不斷重復(fù)上述過程直到滿足終止條件。

針對鳥巢與風(fēng)飄物，實地拍攝獲取了3 148張圖像。經(jīng)過標(biāo)注，得到1 992張有效圖片，部分標(biāo)注效果如圖2所示。

圖2 圖片標(biāo)注效果預(yù)覽

由于每個標(biāo)注框的中心點已經(jīng)確定，遂抽取標(biāo)注框的尺度信息(包括寬與高)作為待處理參數(shù)，設(shè)置9個聚類中心，3種規(guī)格的特征圖分別配以3種錨框尺寸，經(jīng)過5 000次迭代計算，聚類前后錨框尺寸結(jié)果如表1所示。

表1 優(yōu)化前后的錨框尺寸

經(jīng)過聚類處理，錨框尺度能夠更精確地框選異物個體。

2.2.2 特征加強(qiáng)

在特征提取過程中，通過卷積將特征逐步濃縮，但同時也拋棄了部分特征。考慮到變電站入侵異物體型較小，表面紋路細(xì)膩，為加強(qiáng)特征表達(dá)，在模型中添加上采樣模塊，并融合底層特征以提高圖像的識別率。

在對圖像進(jìn)行像素級別處理時，為匹配圖像規(guī)格，通常會利用上采樣與下采樣以增大或縮小圖像。常用的方法除插值法外，還有反卷積與反池化。

以插值法中的最鄰近元法(nearest neighbor interpolation，NNI)為例，通過將距離待求像素最近的鄰像素灰度值賦予待求像素，以達(dá)到增加圖形尺寸的目的，如圖3所示。

數(shù)字為示例像素值

在調(diào)整特征圖像尺寸后，通過連接最淺層特征圖像以融合底層特征，加強(qiáng)了圖像的特征提取。

2.2.3 改進(jìn)卷積方式

進(jìn)一步地融合底層特征，雖然加強(qiáng)了圖像的特征提取，但也為模型帶來了額外的計算量。為輕量化模型，降低計算量，提升訓(xùn)練速度，本文通過修改卷積方式，大幅縮減了訓(xùn)練用時，降低了硬件的計算壓力。

深度可分離卷積(depthwise separable convolution,DSC)作為Xception與MobileNet的重要組成部分[20-22]，被廣泛應(yīng)用于圖像識別領(lǐng)域，其原理是將標(biāo)準(zhǔn)卷積過程分解為深度卷積(depthwise convolution)與逐點卷積(pointwise convolution)兩步分別進(jìn)行，如圖4所示。

圖4 深度可分離卷積計算示意

圖像在輸入時一般被分為三彩色通道，將其泛化為M個通道，在經(jīng)過深度可分離卷積層時，首先經(jīng)過尺度為Dk*Dk，且卷積核為M個(與圖像通道數(shù)相同)的逐通道卷積計算，形成M個特征圖，接下來通過N個1*1*M的點卷積運算形成N個特征圖像輸出。

通常情況下，輸入圖像會被規(guī)范為正方形，假設(shè)輸入圖像尺度為Di*Di，以常規(guī)卷積作為參照對象，在進(jìn)行一次普通卷積過程中產(chǎn)生的計算量為

(1)

式(1)中：Dk為卷積核尺寸；Di為輸入圖像尺寸。

在深度可分離卷積的計算中，兩部分的計算量分別為

(2)

(3)

因此，通過修改卷積方式帶來的計算量優(yōu)化比例K′為

(4)

通常情況下K′都會小于1。因此，通過修改卷積方式，可以明顯減輕模型的計算壓力。

2.2.4 損失函數(shù)修正

在完成模型輸入端與結(jié)構(gòu)的優(yōu)化后，損失函數(shù)在模型的訓(xùn)練過程中起著調(diào)整輸出的作用。原始YOLOv5模型采用的GIoU損失函數(shù)仍存在不足，如部分情況下的退化問題。因此，通過修正損失函數(shù)，對模型的輸出端進(jìn)行優(yōu)化提升。

交并比(intersection over union，IoU)損失函數(shù)旨在表現(xiàn)預(yù)測個體位置與實際個體位置的差別(圖5)可表示為[23]

圖5 IoU計算方式

(5)

式(5)中：A為預(yù)測框；B為目標(biāo)框。

但I(xiàn)oU存在兩個問題：①預(yù)測框A與目標(biāo)框B不相交時，IoU(A，B)=0，損失函數(shù)不可導(dǎo)；②若預(yù)測框與目標(biāo)框尺度確定，在相交值相同的情況下，IoU(A，B)也是相同的，因此無法反映其實際的相交情況。文獻(xiàn)[24]提出了GIoU(generalized IoU)以改進(jìn)IoU算法，同時也應(yīng)用在YOLOv5算法中(圖6)。

(6)

式(6)中：C為圖6中的最小外接矩形。

圖6 GIoU計算方式

但是GIoU也存在不足，如當(dāng)目標(biāo)框包含預(yù)測框時，GIoU算法退化為IoU，無法確認(rèn)預(yù)測框的位置，為進(jìn)一步改良IoU系列損失函數(shù)，文獻(xiàn)[25]提出了DIoU(distance-IoU)與CIoU。

通常IoU系列的損失函數(shù)L定義為

L=1-IoU+R(B,Bgt)

(7)

式(7)中：R(B,Bgt)為預(yù)測框與目標(biāo)框的懲罰項；B為預(yù)測框；Bgt為目標(biāo)框。

(8)

式(8)中：ρ(B,Bgt)為預(yù)測框與目標(biāo)框的歐幾里得距離；c為預(yù)測框與目標(biāo)框最小外接矩形的對角線距離，包括重疊面積與兩個框的中心點距離，但沒有計及預(yù)測框與目標(biāo)框的高寬比的關(guān)系，因此需要引入CIoU。

CIoU損失值在結(jié)構(gòu)上比DIoU損失值多了影響因子α、γ，CIoU的損失值LCIoU可表示為

LCIoU=LDIoU+αγ

(9)

(10)

(11)

式中：α為權(quán)重系數(shù)；γ用來衡量高寬比的一致性；ω、h分別為預(yù)測框的寬與高；ωgt與hgt分別為目標(biāo)框的寬與高。

因此，CIoU解決了目標(biāo)框與預(yù)測框高寬比擬合的問題，更優(yōu)于DIoU，用來修正GIoU作為本文模型的損失函數(shù)。

3 實例分析

3.1 數(shù)據(jù)準(zhǔn)備

從福建電網(wǎng)某變電站實地拍攝獲取了3 148張圖像，圖像規(guī)格為5 472*3 648、2 048*3 648。其中入侵異物圖像為1 992張，采用LabelImg對圖像進(jìn)行標(biāo)注，獲得相對應(yīng)的標(biāo)注文件。

3.2 訓(xùn)練

對所有包含異物的圖像按照訓(xùn)練集∶測試集=1∶9的比例進(jìn)行隨機(jī)選取，分別獲得訓(xùn)練圖像1 800張，測試圖像192張，并依據(jù)圖像標(biāo)注框重新計算錨框尺度。在訓(xùn)練過程中，計算每代的用時、查全率(Recall)、查準(zhǔn)率(Precision)、各類別平均準(zhǔn)確率(mAP)、損失值(Loss)，并作為評判依據(jù)。

(12)

(13)

式中：TP(ture positives)為正樣本被預(yù)測為真的數(shù)目；FP(false positives)為負(fù)樣本被預(yù)測為真的數(shù)目；FN(false negatives)為正樣本被預(yù)測為假的數(shù)目。

之后依據(jù)Precision-Recall曲線計算曲線與坐標(biāo)軸所圍面積，得到平均準(zhǔn)(average precision，AP)與各類別平均準(zhǔn)確率(mean average precision，mAP)值作為判定指標(biāo)。

3.3 識別效果

實驗環(huán)境為64位Windows7操作系統(tǒng)，CPU為Intel Core i5-6500 @3.20 GHz×4，內(nèi)存大小為8 GB。統(tǒng)一訓(xùn)練迭代數(shù)設(shè)定為100，識別效果如圖7所示。

nest為鳥巢；plastic bag為風(fēng)飄物

圖8反映出改進(jìn)前后評級參數(shù)隨訓(xùn)練時長的變化情況。可以看出，改進(jìn)后的模型在保持精度的同時，訓(xùn)練用時縮短約33%。尤其在訓(xùn)練鳥巢等表面紋理復(fù)雜的異物圖像時，得益于融合底層特征以及深度可分離卷積網(wǎng)絡(luò)的應(yīng)用，能夠更快地提取特征圖像、提升識別精度。

圖8 改進(jìn)前后的對比

表2反映了在模型改進(jìn)前后不同異物的識別結(jié)果。為了說明修改后模型的優(yōu)勢，選取常見的Faster R-CNN與SSD模型對相同的數(shù)據(jù)進(jìn)行訓(xùn)練，4種算法在識別兩種異物時，識別效果對比如表3所示。

表2 模型改進(jìn)前后的最佳識別結(jié)果

表3 4種模型的最佳識別結(jié)果

可以看出，所提出的方法在對典型的入侵異物進(jìn)行識別時，與其他常用識別算法相比有著明顯的優(yōu)勢，尤其在數(shù)據(jù)量不充足的情況下，可以得到更高的精度與更快的訓(xùn)練速度，在保證mAP的基礎(chǔ)上，改進(jìn)后的模型更輕量化，更適于計算能力有限但又有圖像識別需求的應(yīng)用場景。

4 結(jié)論

(1)提出了一種基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的變電站鳥巢與風(fēng)飄物識別方法。這一方法通過聚類重新設(shè)定圖像的錨框尺寸、增添上采樣模塊以糅合深淺層特征并修改損失函數(shù)與卷積方法，從而提高了識別率并減少了計算時間。

(2)將本文方法應(yīng)用于福建電網(wǎng)某變電站，對鳥巢的識別率達(dá)到97.2%，對風(fēng)飄物的識別率達(dá)到86.6%，高于YOLOv5算法的94.98%與85.44%，訓(xùn)練時間縮短了33%以上。

(3)方法可以同時識別兩種異物，平均識別率為91.9%，遠(yuǎn)遠(yuǎn)高于Faster R-CNN的55.81%和SSD的59.63%，同時表明本文方法在小樣本條件下也具備較高的識別率。下一步將研究圖像的預(yù)處理方法，以提高模型的泛化能力。