基于導向型級聯可形變卷積的電氣設備紅外圖像檢測

吳昊月 張驚雷 趙俊亞

1(天津理工大學電氣電子工程學院 天津 300384) 2(天津市復雜系統控制理論及應用重點實驗室 天津 300384) 3(中國能源建設集團天津電力設計院有限公司 天津 300384)

0 引 言

電氣設備在線監(jiān)測可分為結構化數據監(jiān)測和非結構化數據監(jiān)測。結構化數據監(jiān)測包括電網中電壓偏移、波形畸變等數據參數監(jiān)測;非結構化數據包括圖像、視頻數據與文本數據[1]。電力設備因絕緣物質的老化、接觸不良等原因造成的溫度異常往往在可見光圖像中難以發(fā)現,而紅外圖像檢測設備能發(fā)現電力設備的局部溫度異常。智能的巡線設備不僅要自動識別電氣設備種類,還要能檢測出現溫度異常的位置,為人工檢修提供參考。

2012年,楊政勃等[2]借助紅外成像儀獲取輸電線路溫升變化圖像,從分析輸電線路紅外圖像的特征入手,通過比較各顏色進而判斷輸電線的溫升問題。但是由于熱圖像的分辨率較低,使得提取特征的效果較差導致此類方法發(fā)展緩慢。在AlexNet[3]網絡出現之后,卷積神經網絡(Convolutional neural network)得到了飛速的發(fā)展,廣泛應用于圖像分類、目標識別、目標檢測等領域,對某些特定物體的識別準確率甚至高于人。因此在電氣巡檢領域,基于卷積神經網絡的電氣紅外設備自動巡檢系統成為近年來研究的熱點。2018年Gong等[4]基于YOLO算法的目標檢測框架,設計了帶有方向角的回歸框(bounding box),對于圖像中歪斜電氣設備識別的準確性有所提高。2019年Guo等[5]提出了DisturbIOU算法,在Faster RCNN的算法中利用添加圖像噪聲進行數據增強,一定程度上解決了因電氣圖像樣本數量少導致的過擬合問題。2020年王旭紅等[6]利用輕量級的特征提取骨干網絡,減少了紅外圖像檢測網絡的參數量,降低了系統開銷。

2018年Cai等[7]提出了級聯卷積神經網絡(Cascade RCNN)目標檢測算法。解決了檢測框不準確以及檢測過程中樣本丟棄造成過擬合的問題,該類方法得到學者們的關注并被應用到多個特定目標檢測系統中。2020年,李鏘等[8]以深度殘差網絡作為級聯卷積神經網絡的特征提取骨干并引入空洞卷積,解決高層特征圖感受野大分辨率低的問題對服飾關鍵點精準定位。同年孫嘉赤等[9]用級聯的區(qū)域卷積神經網絡對艦船位置進行定位,并設計斜框旋轉回歸器,使用非極大值抑制的方法去除冗余的預測框。

基于級聯卷積神經網絡算法的電氣設備巡檢系統對于攝像機拍攝角度變化敏感,易造成電氣設備識別率低。另外網絡模型的穩(wěn)定訓練依賴于大量標記樣本,需要建立可靠穩(wěn)定的設備運行和溫度異常圖像數據庫。文中首先根據天津7個區(qū)域110 kV和35 kV變電站近5年的9 770幅巡檢紅外圖像,建立并標記了包括6種電氣設備的紅外圖像及其溫度異常ELE數據集。在此基礎上,提出一種改進的級聯卷積神經網絡(Cascade RCNN),加入了可形變卷積,能夠適應目標的各種形變;通過改進錨定框生成機制,降低了漏檢錯檢率,提高了溫度異常點檢測精度。在ELE數據集上進行訓練、驗證和測試,系統能夠穩(wěn)定識別電流互感器、避雷器、絕緣子、隔離開關、斷路器、套管6種電氣設備及其局部溫度異常故障。

1 級聯卷積神經網絡

Cascade RCNN算法基于Faster RCNN在位置候選框的回歸檢測上提出的改進。圖1為Cascade RCNN算法結構圖。

圖1 級聯卷積神經網絡結構圖

Cascade RCNN采用Resnet[10]作為特征提取的骨干網絡,得到的特征圖通過區(qū)域建議網絡利用錨定位得到可能包含物體的感興趣區(qū),感興趣區(qū)中的目標與真實標簽進行三次級聯檢測回歸,得到最終的檢測結果。

1.1 級聯檢測回歸算法

檢測回歸主要是通過預測邊框與真實邊框交并比(閾值)確定的。閾值表示物體框定的真實性,值越大說明物體框定的真實性越高,反之則真實性低;但是一味增大檢測器規(guī)定的閾值,會在訓練期間將過多的正樣本剔除,出現過擬合現象。因此檢測階段選擇合適的閾值十分重要。Cascade RCNN由三個檢測器組成,每個檢測器的輸入都是上一個檢測器邊框回歸后的結果,逐次增加檢測器閾值的設定值。3次閾值設定依次為0.5、0.6、0.7。目標函數為:

f(x,b)=fTfT-1fT-2…f1(x,b)

(1)

式中:T是指級聯次數,b是回歸框的參數。

1.2 級聯檢測回歸損失函數

Cascade RCNN的檢測框由回歸與分類共同決定,邊框回歸損失函數定義如下:

(2)

損失函數越小說明預測標簽與真實標簽越接近。x為圖像的真實標簽與預測標簽的差值,定義了4個距離矢量,如式(3)所示,其中:δx、δy、δw、δh代表真實框與預測框的中心坐標、寬和高的距離矢量;gx、gy、gw、gh為真實框的參數;bx、by、bw、bh為預測框的參數。

(3)

使用交叉熵損失函數對圖像分類進行預測。

Lcls=-yilogy′i+(1-yi)log(1-y′i)

(4)

式中:yi是第i個樣本屬于某一類別的真實標簽,y′i是預測概率。

1.3 算法評價

Cascade RCNN算法解決了訓練時過擬合和檢測框不準確問題,但是在特征提取階段,常規(guī)卷積對圖像目標因拍攝角度變化引起的剛性變換適應力不足,對難以區(qū)分的樣本檢測精度值不高。

2 算法設計

本文對級聯卷積神經網絡的結構進行了改進,在骨干殘差網絡中添加一層可形變層,使得特征圖在原圖上的感受野能夠適應物體的各種不規(guī)則形狀;并且利用像素點概率指導錨的中心點生成[11]。改進后的網絡結構圖如圖2所示。

圖2 改進后的網絡結構

2.1 可形變卷積理論

卷積神經網絡中特征圖上的像素點在原始圖像中映射的區(qū)域稱為感受野。常規(guī)卷積的感受野通常是矩形。在對圖像特征提取的時候,由3×3的卷積核在輸入圖上進行卷積,定義輸出為:

(5)

式中:Pn是常規(guī)卷積核R中的位置,R={(-1,-1),(-1,0),…,(0,1),(1,1)}。x(P0)是待卷積量。每一個輸入要素都對應于輸出特征圖上的位置y(P0),w(Pn)代表權重。

可形變卷積[12]是在常規(guī)卷積中添加偏移量ΔPn,用于學習微小的變化,能夠適應性地學習不規(guī)則的感受野。其輸出的特征圖位置計算如下:

(6)

反向傳播學習偏移量的權重w,不斷地將輸出反傳到輸入將其誤差作為修正權重w的依據,反向學習公式定義為:

(7)

2.2 可形變殘差網絡

本文在特征提取階段添加了新的卷積模塊——可形變卷積層,用以增強特征提取的幾何形變能力。將可形變卷積層加入級聯卷積神經網絡的骨干網絡殘差網絡(Resnet)中[10],如圖3所示,給出了改進后Resnet的一組殘差單元。

圖3 可形變殘差塊結構

Xidentity 為短路連接,x為輸入,最后的輸出y=F(X)+X。殘差網絡一共分為五個卷積階段,本文從第三階段的殘差單元開始加入偏移量的卷積計算層,殘差塊Conv2后額外加入一個學習偏移量(offset)的卷積層與Conv2共同作為可行變卷積層(DeformConv)的輸入。對于偏移量的學習,每個像素點會有x方向和y方向的偏移,x、y組合起來就對應著一個方向向量,在3×3的網格中9個像素點則需要18個偏移量的輸出通道,訓練過程中偏移量的學習率設置為β=1,同時刪除了平均池化層和全連接層。表1為改進后的Resnet層結構。可形變卷積的感受野如圖4所示,加入可形變卷積后的輸出圖像映射到原圖上不再是矩形框,而是具有偏移的感受野。

表1 改進后的Resnet層結構

圖4 可形變卷積感受野

2.3 導向型錨

目標檢測過程中位置候選區(qū)域(RPN)的生成機理是利用特征圖上的像素點作為錨的中心映射到原圖上,并框出一定數量可能含有目標物體的區(qū)域。但是電氣設備溫度異常點往往是小目標物體,且電氣設備大都集中在一起,此類方法會生成較多的錨,影響檢測并且難以準確定位到溫度異常點上。

考慮到不是所有像素點都會對輸出做出同樣的貢獻,在物體中心附近像素對輸出影響更大[13]。本文提出生成導向型錨,將特征提取得到W×H×D的特征圖,經過1×1的卷積進行降維處理整合像素點,得到一個大小為W×H×1的輸出,后接sigmod函數,得到特征圖上像素點的概率得分圖。然后對像素點進行篩選,將原圖中標記的真實框groundtruth映射到特征圖上,記為:

CR=R(x′g,y′g,δ1w′,δ1h′)

(8)

此范圍內的像素被分配為正例,其中x′g、y′g是紅外圖像中電氣設備位置的真實標簽框映射到特征圖上中心點坐標x、y的值,w′、h′為映射到特征圖上的寬和高,根據實驗設置δ1=0.2,在CR范圍內的像素點作為錨的中心點,定位物體的大致位置。同時,取真實框與錨的閾值最大時的高寬作為錨的高和寬。定義如下:

(9)

式中:gt是真實框高和寬的值;awh是錨的高寬。利用像素點指導生成的錨更少且質量更高,對于故障小區(qū)域的檢測也更加準確。

2.4 損失函數

改進后的算法損失由4部分組成,除分類損失與回歸框的位置損失外,添加位置候選區(qū)的中心點位置損失與錨的形狀損失,算法總損失定義為:

L=λ1Lloc+λ2Lshape+Lcls+Lbbox

(10)

式中:Lloc與Lshape分別為中心位置損失與錨的形狀損失;Lcls與Lbbox沿用Cascade RCNN算法中的分類損失與回歸框損失。在多任務損失函數中,根據實驗經驗,損失函數中取λ1=1,λ2=0.1用來平衡中心位置預測與錨的形狀預測兩個分支。

數據集中存在負樣本與正樣本不平衡問題,在訓練過程中總能遇到難以正確分類的樣本,因此選用Focal loss[14]作為Lloc損失,定義為:

FL(pt)=-αt(1-pt)γlog(pt)

(11)

式中:pt是像素點的概率;αt是權重因子,用以平衡正負樣本。γ為調制因子。根據文獻優(yōu)化原理,文中取αt=0.25、γ=2,由于輸入負樣本時概率越小損失越小,負樣本不容易被注意,調制因子與權重因子的加入將難區(qū)分的負樣本損失變大,模型更關注對于難區(qū)分樣本的學習。

位置候選區(qū)錨形狀損失函數定義為:

(12)

式中:hg、wg是真實紅外圖像中標簽的高和寬;h、w是錨的高和寬,L1是smoothL1函數。

3 實驗評估

3.1 實驗環(huán)境與準備

本文實驗是在浪潮英信服務器 NF5280M4上進行的,采用的GPU是NVIDIA GeForce GTX 1080Ti,操作系統為Ubuntu 16.04,PyTorch版本為1.1,Python版本為3.6,cuda版本是9.0,搭建了目標檢測庫mmdetection。實驗過程分為訓練、驗證、測試三個部分。動量因子設置為0.9,學習率設置為0.02,初始學習率為1/3,迭代過程中學習率逐漸以線性增加的策略增加,并且在第8和第11個epoch時降低學習率,全局一共訓練20個epoch,權重衰減因子設為0.001。Cascade RCNN的3個階段的loss權重設置分別為[1,0.5,0.25]。

3.2 實驗數據集

本文建立的數據集包括電流互感器、絕緣子、避雷器、斷路器、隔離開關和套管6種常見戶外電氣設備的紅外圖像,部分圖像中包含設備的溫度異常情況,每幅紅外圖像中有平均兩到三個種類的電氣設備,數據集的標注采用人工前景標注的方法。

標注好的圖像生成帶有目標位置信息如123形式的文件,文件中包含了文件名、圖像來源、圖像尺寸、檢測到的物體以及包圍框的坐標,最后對標注好的信息進行編譯結果符合PASCAL VOC格式。實驗中定義6種電氣設備識別編號如表2所示。

表2 實驗中電氣設備識別編號

3.3 實驗結果

訓練過程中設置interact=50,數據集中所有圖像迭代一次為一個epoch,一共設置20個epoch,每迭代一次記錄一次損失,圖5為本文算法與Cascade RCNN 算法總損失以及正確率的對比,橫坐標為迭代次數,算法總損失及正確率均在300次迭代后穩(wěn)定。對比可得本文算法收斂更快,損失穩(wěn)定在0.05左右,小于Cascade RCNN算法的損失,且正確率高于Cascace RCNN算法。

(a)

(b)圖5 算法總損失與正確率對比

圖6為本文算法與Cascade RCNN算法訓練過程中位置候選區(qū)的損失對比,結果表明導向型錨對于候選位置定位收斂更快、損失更小。

文6 RPN位置損失對比

圖7為本文算法與Cascade RCNN算法基于ELE數據集中6種設備及溫度異常區(qū)的PR曲線。PR曲線下面的面積越大說明模型對該設備分類情況越好。本文算法對于設備及溫度異常區(qū)域的PR曲線均在Cascade RCNN算法之上。

(a)

圖8為本文算法與SSD、Faster RCNN等4種經典算法識別6種設備及溫度異常的AP值對比,可見本文算法對每種設備的識別準確度都高于對照算法。表3為AP值與mAP值,mAP為所有種類的平均AP值,代表目標平均精度的綜合度量。改進后的算法AP值以及mAP值均在經典算法之上,mAP較原算法提高2.6%。

圖8 6種設備的AP值

表3 各種設備AP值以及mAP值

圖9是兩種算法的對比圖,其中A為絕緣子內部溫度異常,B為隔離開關的接線處溫度異常,C為套管的導電桿溫度異常,D為斷路器接線端子處溫度異常,A1、B1、C1、D1為Cascade RCNN 算法生成結果。雖然正確檢測出設備種類,但溫度異常區(qū)域均出現了漏檢的情況(圖中高亮區(qū)域),基于本文算法結果的A2、B2、C2、D2,則準確檢測出溫度異常的小目標區(qū)域。E、F圖像對于溫度異常點的檢測,兩種算法均檢測正確,但是對于角度變換的斷路器E,以及位于圖像后方的隔離開關F,Cascade RCNN算法對于設備種類識別為兩種標簽(即檢測為兩種物體),本文算法則精準地檢測出E、F中設備種類。實驗結果表明本文算法在對于攝像機拍攝角度變化導致的物體形變、小目標溫度異常以及定位框的準確性上,都較Cascade RCNN有著明顯的提升,改進后的算法誤檢、漏檢的情況明顯降低。

圖10為ELE數據集中設備正常工作的紅外圖像,每幅圖像中包含多個電氣設備,基于本文算法能穩(wěn)定檢測圖像中的多種設備;對于包含溫度異常區(qū)域的圖像,如圖11所示,本文算法不僅能檢測出其設備種類,也能準確標記溫度異常區(qū)域。

圖10 紅外巡檢圖像的中設備檢測

圖11 設備溫度異常區(qū)域檢測

4 結 語

本文采用可形變卷積和導向型錨的思想對級聯卷積神經網絡進行了改進,設計了基于深度學習的電氣紅外設備檢測模型,模型能夠精準檢測數據集內6種常見電氣設備。實驗過程中采集制作了ELE數據集,包含9 770幅電氣紅外圖像。本文分別對Cascade RCNN、Faster RCNN、Dcn-Cascade RCNN、SSD四種經典算法進行了對比,實驗結果表明本文算法漏檢錯檢的問題相對較少,位置候選區(qū)生成錨的數量減少,且對于故障區(qū)域的檢測精度更高。