基于OpenCV+SSD深度學(xué)習(xí)模型的變電站壓板狀態(tài)智能識(shí)別

王偉，張彥龍，翟登輝，劉力卿，許丹，張旭

(1. 國(guó)網(wǎng)天津市電力公司電力科學(xué)研究院， 天津 300384； 2. 許繼電氣股份有限公司， 河南 許昌 461000)

0 引 言

隨著電網(wǎng)規(guī)模的擴(kuò)大以及調(diào)控一體化的發(fā)展，調(diào)度運(yùn)行管理的信息化、智能化水平得到大幅提高[1-3]，但在變電站保護(hù)硬壓板信息管理方面，仍處于完全依賴(lài)于人工巡檢的狀態(tài)，技術(shù)手段已經(jīng)不能滿(mǎn)足現(xiàn)場(chǎng)運(yùn)行管理自動(dòng)化的需求，硬壓板狀態(tài)采集監(jiān)視成為制約調(diào)度自動(dòng)化程度提升和規(guī)范調(diào)控運(yùn)行一體化工作的重點(diǎn)。在實(shí)際工作中，為了加強(qiáng)運(yùn)維現(xiàn)場(chǎng)管理，防止壓板投切錯(cuò)誤引發(fā)設(shè)備事故，會(huì)在壓板下方貼上狀態(tài)標(biāo)簽和保護(hù)名稱(chēng)標(biāo)簽，這些措施一定程度上減少誤操作次數(shù)，但其效果具有一定局限性，人為誤操作仍然存在。

為解決該問(wèn)題，國(guó)內(nèi)各研究機(jī)構(gòu)都在積極探索智能化的壓板狀態(tài)識(shí)別方法。有機(jī)構(gòu)提出在壓板上安裝壓板狀態(tài)識(shí)別傳感器[4-5]，通過(guò)壓板輔控點(diǎn)判斷壓板投退狀態(tài)，該方法需要進(jìn)行設(shè)備改造，增加設(shè)備的復(fù)雜性。由于壓板投退狀態(tài)具有不同的形態(tài)，因此可以通過(guò)計(jì)算機(jī)對(duì)圖像處理、分析，進(jìn)而識(shí)別壓板狀態(tài)。文獻(xiàn)[6-7]提出通過(guò)圖像去噪處理、目標(biāo)邊緣檢測(cè)、布局排列分析、狀態(tài)特征判別等技術(shù)智能識(shí)別壓板投退狀態(tài)；文獻(xiàn)[8]提出一種通過(guò)HOG+SVM的目標(biāo)檢測(cè)算法確定壓板位置并準(zhǔn)確識(shí)別狀態(tài)的方法。

現(xiàn)有變電站硬壓板狀態(tài)識(shí)別方法大多僅采用OpenCV進(jìn)行圖像處理，輔助以簡(jiǎn)單的機(jī)器學(xué)習(xí)手段，識(shí)別準(zhǔn)確率較低。為此，文中提出一種基于OpenCV+SSD深度學(xué)習(xí)模型的壓板狀態(tài)識(shí)別方法，利用OpenCV視覺(jué)庫(kù)中透視變換等圖像預(yù)處理算法，解決因拍攝角度改變?cè)斐傻淖R(shí)別準(zhǔn)確率下降，進(jìn)而利用模板匹配及圖像分割增加SSD網(wǎng)絡(luò)的小目標(biāo)檢測(cè)能力，通過(guò)深度學(xué)習(xí)優(yōu)化SSD網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，提高壓板狀態(tài)識(shí)別效果。

1 圖像預(yù)處理技術(shù)

1.1 二值化處理

系統(tǒng)拍攝的壓板圖像是具有256個(gè)灰度級(jí)的彩色圖像，二值圖像是指只有黑白灰度級(jí)的圖像，圖像二值化有利于增強(qiáng)圖像輪廓特征，較少圖像數(shù)字信息，便于提取圖像邊緣信息進(jìn)行直線(xiàn)檢測(cè)[9-11]。圖像二值化基本過(guò)程包括：

(1)對(duì)原始圖像做低通濾波，對(duì)圖像預(yù)處理從而降低噪聲；

(2)使用特定算法確定最佳閾值T；

(3)凡是像素灰度值大于閾值的設(shè)置成255，小于閾值的設(shè)置成0，這樣處理完后便將灰度范圍劃分成目標(biāo)和背景兩類(lèi)，實(shí)現(xiàn)了圖像的二值化。

其中選取合適閾值是圖像二值化的關(guān)鍵步驟，閾值過(guò)高會(huì)導(dǎo)致真實(shí)邊緣丟失，過(guò)低會(huì)造成一些虛假邊緣。采用Otsu法得到最佳閾值，其基本思想是先假設(shè)一個(gè)灰度閾值T，將圖像灰度分為兩組，當(dāng)兩組類(lèi)間方差最大時(shí)，此灰度值T就是圖像二值化的最佳閾值。

假設(shè)圖像有M個(gè)灰度值，選取一個(gè)灰度閾值T，將圖像分成兩組L1和L2，則L1包含的灰度值在0～T，L2包含的灰度值在T+1～M-1，用N表示圖像像素總數(shù)，Ni表示灰度值為i的像素個(gè)數(shù)。假設(shè)Pi表示灰度值i出現(xiàn)的概率，L1與L2兩組像素的個(gè)數(shù)在圖像中所占比例為ω1和ω2，灰度平均值為U1和U2，則：

概率：

(1)

ω2=1-ω1

(2)

平均灰度值：

(3)

(4)

圖像的總平均灰度：

U=ω1U1+ω2U2

(5)

間類(lèi)方差：

S(T)=ω1(U1-U)2+ω2(U2-U)2=ω1ω2(U1-U2)2

(6)

最佳閾值：

T=argmax(S(T))

(7)

閾值T將圖像分成背景和前景兩部分，當(dāng)方差越大，表示構(gòu)成兩部分的差別越大，分類(lèi)的效果越好。

1.2 高斯濾波

高斯濾波是一種線(xiàn)性平滑濾波，適用于消除區(qū)域性的呈正態(tài)分布的噪聲，與均值濾波、中值濾波廣泛存在于圖像處理領(lǐng)域。高斯濾波使用卷積掃描圖像中每個(gè)像素點(diǎn)，用卷積核覆蓋的鄰域內(nèi)像素的加權(quán)平均灰度值替代其中心點(diǎn)像素值，圖像鄰域內(nèi)不同位置像素具有不同權(quán)值，保證在對(duì)圖像噪聲處理的同時(shí)，更多保留圖像整體特征。卷積核中的參數(shù)由式(8)得到：

(8)

式中(x0,y0)表示中心像素點(diǎn)；(x,y)表示鄰域內(nèi)其他像素點(diǎn)。

1.3 邊緣檢測(cè)

為便于對(duì)壓板圖像做透視變換，圖像二值化處理后需要通過(guò)邊緣檢測(cè)提取邊緣信息進(jìn)而確定角點(diǎn)位置。采用Canny算子，利用邊緣的突變來(lái)檢測(cè)邊緣[12]。針對(duì)1.2中高斯濾波的結(jié)果，首先根據(jù)式(9)和式(10)計(jì)算每個(gè)像素點(diǎn)梯度G和方向θ；然后利用非極大值抑制消除過(guò)多的邊緣響應(yīng)；利用雙閾值檢測(cè)區(qū)分強(qiáng)邊緣與弱邊緣；最后通過(guò)抑制孤立的弱邊緣得到最終邊緣檢測(cè)結(jié)果。

(9)

θ=arctan(Gy/Gx)

(10)

式中Gx、Gy為水平和垂直方向的一階導(dǎo)數(shù)值；θ為梯度方向。

1.4 透視變換

透視變換是將圖片從一個(gè)平面投射到一個(gè)新的視平面，它是先將二維圖片變換到三維空間，然后從三維空間投射到二維空間的映射[13-15]。相對(duì)于仿射變換，其具有更大的靈活性，通過(guò)矩陣乘法，不僅實(shí)現(xiàn)了線(xiàn)性變換和平移，還可以進(jìn)行透視性的坐標(biāo)變換。圖片中任一點(diǎn)P(X，Y，1)，經(jīng)透視變換映射到新的視平面中向量P′(X′，Y′，Z′)，X=X′/Z′，Y=Y′/Z′，其透視變換矩陣如下:

(11)

(12)

透視變換主要應(yīng)用在圖像的平移、縮放、翻轉(zhuǎn)、旋轉(zhuǎn)、剪切和透視變換等，可進(jìn)行圖像的預(yù)處理，將拍攝歪曲的圖像矯正，便于識(shí)別、分割等操作[16]。

2 SSD目標(biāo)檢測(cè)模型

SSD算法融合了YOLO的無(wú)顯式候選框提取和Faster R-CNN中的Anchor機(jī)制，并在特征空間中融合了不同卷積層的特征進(jìn)行預(yù)測(cè)[17-18]。模型結(jié)構(gòu)主要包括三部分，VGG_16用于提取多層圖像特征，一組級(jí)聯(lián)CNN進(jìn)一步提取出在不同尺寸條件下的特征信息，多級(jí)特征同時(shí)輸入檢測(cè)器，進(jìn)行回歸計(jì)算和極大值抑制[19-22]。SSD整體框架如圖1所示。

假設(shè)輸入圖像為300×300，經(jīng)過(guò)VGG_16前4層卷積及池化運(yùn)算后形成38×38像素圖像，利用Conv4_3即第4層卷積層的第3個(gè)featuremap作為第一個(gè)特征提取層，之后的5個(gè)特征層依次為：Conv7、Conv8_2、Conv9_2、Conv10_2和Conv11_2。

圖1 SSD目標(biāo)檢測(cè)框架Fig.1 SSD target detection framework

SSD利用多尺度特征綜合檢測(cè)，充分體現(xiàn)各層特征圖優(yōu)點(diǎn)，淺層分辨率大的特征圖檢測(cè)小目標(biāo)，深層感受域大的特征圖檢測(cè)大目標(biāo)[23-25]。如圖2所示，SSD在基礎(chǔ)網(wǎng)絡(luò)之后的多尺度特征圖檢測(cè)方法，會(huì)在不同尺度特征圖上設(shè)置不同大小的區(qū)域候選框。

假設(shè)多尺度特征圖具有M層，則第K個(gè)特征圖上默認(rèn)框占圖像尺寸的比例為：

(13)

式中Smin一般取0.2，Smax一般取0.9。

圖2 候選框選取圖Fig.2 Bounding box selection diagram

(14)

(15)

(16)

(17)

式中wk，hk分別代表第k個(gè)特征圖的寬和高。

在實(shí)際操作中，一般特征層Conv4_3及Conv10_2中每個(gè)featuremapcell取4個(gè)boundingbox，每個(gè)boundingbox的預(yù)測(cè)信息包括4個(gè)位置信息(X,Y,W,H)和n個(gè)類(lèi)別信息。對(duì)于單類(lèi)別目標(biāo)檢測(cè)，SSD深度學(xué)習(xí)網(wǎng)絡(luò)總的預(yù)選框數(shù)量為：

V=m1×n1×k1+m2×n2×k2+m3×n3×k3+m4×n4×k4+m5×n5×k5+m6×n6×k6

(18)

式中m和n分別表示特征層寬和高;k表示每個(gè)featuremapcell取的boundingbox個(gè)數(shù)。根據(jù)圖1網(wǎng)絡(luò)結(jié)構(gòu)及boundingbox選取規(guī)則，V的計(jì)算結(jié)果為8 732。

SSD模型訓(xùn)練時(shí)定義的損失函數(shù)包括位置損失和置信損失，其計(jì)算公式如下:

(19)

式中N為區(qū)域候選框與真實(shí)框匹配系數(shù)大于置信度的個(gè)數(shù)；X表示候選框與真實(shí)框是否匹配，若匹配則X=1，否則X=0，C表示類(lèi)別置信度的預(yù)測(cè)值；l表示預(yù)測(cè)框位置信息；g表示候選框相對(duì)于真實(shí)框的偏移量；α一般設(shè)為1。

3 實(shí)驗(yàn)例證及分析

3.1 圖像預(yù)處理

使用某智能變電站拍攝的壓板圖像1 000張。其中800張作為訓(xùn)練集， 200張作為測(cè)試集。數(shù)據(jù)集包含了不同屏柜、不同顏色、不同開(kāi)合狀態(tài)、不同排列方式等多種情況，每張圖片中只出現(xiàn)一個(gè)屏柜的壓板。典型壓板圖像如圖3所示。

為凸顯圖像輪廓特征，減少圖像數(shù)字信息，基于Otsu自動(dòng)閾值分割法對(duì)壓板圖像二值化處理，結(jié)果如圖4所示；實(shí)驗(yàn)過(guò)程發(fā)現(xiàn)，二值化處理后的圖像在直線(xiàn)檢測(cè)時(shí)更容易調(diào)整閾值。然后采用高斯濾波法對(duì)二值化圖像進(jìn)行平滑處理，增加圖像線(xiàn)性信息，處理結(jié)果如圖5所示。

圖5 高斯濾波結(jié)果Fig.5 Gauss filtering results

對(duì)圖像進(jìn)行邊緣檢測(cè)，提取圖像邊緣信息，然后基于邊緣信息利用霍夫直線(xiàn)檢測(cè)方法進(jìn)行圖像角點(diǎn)檢測(cè)。通過(guò)霍夫直線(xiàn)檢測(cè)得到邊緣直線(xiàn)，然后求出直線(xiàn)交點(diǎn)得到屏柜的四個(gè)角點(diǎn)信息，為提高角點(diǎn)坐標(biāo)定位準(zhǔn)確性，反復(fù)調(diào)整參數(shù)，將霍夫直線(xiàn)檢測(cè)的minLineLength設(shè)置為10，maxLineGap設(shè)置為10，threshold設(shè)置為200，既保證檢測(cè)直線(xiàn)的準(zhǔn)確性，也適當(dāng)增加直線(xiàn)的密集性。直線(xiàn)檢測(cè)結(jié)果如圖6所示。

圖6 直線(xiàn)檢測(cè)結(jié)果Fig.6 Straight line detection results

對(duì)圖3壓板圖像進(jìn)行高斯噪聲處理后，利用得到的角點(diǎn)坐標(biāo)對(duì)其進(jìn)行透視變化，解決拍攝角度問(wèn)題。透視變換結(jié)果如圖7所示。

圖7 透視變換結(jié)果Fig.7 Perspective transformation results

選中模板圖像，對(duì)其進(jìn)行標(biāo)定。采用特征匹配算法將獲取的壓板圖像與模板圖像匹配，根據(jù)標(biāo)定結(jié)果實(shí)現(xiàn)自動(dòng)分割，分割結(jié)果如圖8所示。

圖8 壓板圖像分割結(jié)果Fig.8 Image segmentation results of pressure plate

3.2 SSD目標(biāo)檢測(cè)

訓(xùn)練平臺(tái)采用NVIDIA RTX2080TI型GPU、至強(qiáng) E5-2603 CPU處理器，操作系統(tǒng)為L(zhǎng)inux Ubuntu 16.04。使用的目標(biāo)檢測(cè)網(wǎng)絡(luò)，初始訓(xùn)練時(shí)學(xué)習(xí)率設(shè)為0.001，在迭代次數(shù)為10 000次時(shí)，讓學(xué)習(xí)率減小10倍，超參數(shù)momentum_optimizer和decay_factor分別設(shè)置為0.9和0.95，訓(xùn)練批量大小為32。訓(xùn)練過(guò)程中，采用正則化方法增加模型的泛化能力，通過(guò)樣本增強(qiáng)手段，將訓(xùn)練樣本由800張擴(kuò)充到1 600張，并保證各類(lèi)型壓板數(shù)量的均衡。損失函數(shù)隨迭代次數(shù)變化趨勢(shì)如圖9所示，壓板狀態(tài)識(shí)別結(jié)果如圖10所示。

圖9 Totalloss隨step變化圖Fig.9 Totalloss curve varies with step

圖10 壓板圖像測(cè)試結(jié)果Fig.10 Test results of pressure plate image

3.3 結(jié)果分析

采用精確率和召回率作為衡量各模型優(yōu)劣的標(biāo)準(zhǔn)。如表1所示，其中TP表示預(yù)測(cè)為正樣本，實(shí)際也為正樣本的特征數(shù)，TN表示預(yù)測(cè)為負(fù)樣本，實(shí)際也為負(fù)樣本的特征數(shù)，F(xiàn)P表示預(yù)測(cè)為正樣本，實(shí)際為負(fù)樣本的特征數(shù)，F(xiàn)N表示預(yù)測(cè)為負(fù)樣本，實(shí)際為正樣本的特征數(shù)。

表1 TP/TN/FP/FN指標(biāo)含義Tab.1 Meaning of TP/TN/FP/FN index

精確率：

(20)

召回率：

(21)

可知，精確率是針對(duì)預(yù)測(cè)結(jié)果，表示預(yù)測(cè)為正的樣本中有多少實(shí)際也為正的樣本；召回率是針對(duì)實(shí)際樣本，表示實(shí)際為正的樣本中有多少預(yù)測(cè)也為正的樣本。

在測(cè)試集中，分別對(duì)Opencv+SSD深度學(xué)習(xí)模型、傳統(tǒng)OpenCV方法以及采用Hog+SVM的分類(lèi)方法進(jìn)行測(cè)試，統(tǒng)計(jì)其識(shí)別精確率、召回率和識(shí)別速度見(jiàn)表2。

表2 不同方法識(shí)別結(jié)果性能對(duì)比Tab.2 Performance comparison of recognition results by different methods

由表2可知，采用OpenCV+SSD深度學(xué)習(xí)模型檢測(cè)結(jié)果明顯高于僅采用傳統(tǒng)OpenCV和采用Hog+SVM的方法，但由于深度學(xué)習(xí)模型的復(fù)雜性增加了其運(yùn)行時(shí)間，導(dǎo)致該方法在計(jì)算時(shí)間上略慢于其他兩種方法。綜合考慮智能變電站實(shí)際運(yùn)維情況，采用的方法可有效減輕運(yùn)維人員負(fù)擔(dān)，提高變電站運(yùn)維效率。

4 結(jié)束語(yǔ)

為解決傳統(tǒng)OpenCV在圖像處理方面的局限性，提出的OpenCV+SSD深度學(xué)習(xí)模型，通過(guò)對(duì)壓板圖像進(jìn)行二值化、角點(diǎn)檢測(cè)、透視變換及圖像分割等預(yù)處理操作，基于TensorFlow搭建SSD深度神經(jīng)網(wǎng)絡(luò)并訓(xùn)練模型。

與傳統(tǒng)方法相比，在圖像預(yù)處理的基礎(chǔ)上采用了深度神經(jīng)網(wǎng)絡(luò)對(duì)壓板狀態(tài)進(jìn)行識(shí)別，在配置相應(yīng)深度學(xué)習(xí)網(wǎng)絡(luò)推演加速卡的條件下，該方法的檢測(cè)速度不會(huì)損失很多，但識(shí)別準(zhǔn)確度大大提高。測(cè)試不同類(lèi)型保護(hù)屏柜中的壓板，其識(shí)別精確率和召回率均達(dá)到95%以上。在電力系統(tǒng)安全穩(wěn)定性要求比較高的應(yīng)用場(chǎng)景下，該改進(jìn)方法具有重要意義。