基于改進Faster RCNN的變電站紅外圖像多目標識別*

王 妤，陳秀新，袁和金*

(1.保定職業技術學院計算機信息工程系，河北 保定071051；2.華北電力大學控制與計算機工程學院，河北 保定071003)

高壓電氣設備在長期運行中由于表面老化、化學腐蝕、自然災害以及人為損傷等多種因素會出現各種各樣故障。這些設備在故障前期通常伴隨有局部放電、整體或局部異常發熱等現象。紅外檢測可以及時發現電氣設備故障，通常利用各種紅外檢測設備獲取到高壓電氣設備的溫度值和溫度空間分布特征，從而分析高壓電氣設備中可能存在的隱患以到達故障檢測的目的[1]。

目前國家電網積極探索智能化變電站的建設，許多變電站已經安裝紅外檢測系統，通過固定紅外攝像頭和人工手持紅外熱像儀等巡檢方式將采集到的紅外圖像通過網絡通信技術傳輸到監控系統中，由監控中心的技術人員進行故障排查。現有的紅外檢測系統在進行故障診斷時對技術人員的專業知識和經驗要求很高，不具有智能分析與決策的能力。而且故障數據海量、高頻、分散，依靠人工排查需要耗費大量人力物力且準確性難以保障。通過智能算法對故障數據進行智能分析和處理，將它們轉化為有價值的知識，已經成為堅強智能電網建設過程中需要迫切解決的關鍵性問題[2]。

深度學習在智能電網中應用較為廣泛。2017年，甘偉焜[3]等利用卷積神經網絡識別變壓器紅外圖像，減少了傳統機器學習算法中人為計算特征的步驟，但是該方法只針對變壓器進行研究，識別種類比較單一，無法解決變電站多設備檢測問題；2017年，王萬國[4]等利用RCNN識別圖像中的電氣設備，提高了設備部位的檢測效率和識別準確率；2018年，李軍鋒[5]提出結合雙通道卷積神經網絡和隨機森林的電力設備智能識別算法，很好地抑制了背景區域的顯著性。但是該方法采用圖像分割算法，區域分割程度好壞直接影響最終的識別準確率。

針對以上方法存在的不足，以及考慮到多種電氣設備、不同算法適用性，局限性以及優缺點等問題，本文提出基于改進Faster RCNN的變電站紅外圖像多目標識別模型，可以準確識別定位紅外圖像中的多種電氣設備及部位，為故障診斷奠定基礎。同時本文建立了多種電氣設備標記的變電站設備紅外數據集以更好地適應電氣設備和紅外圖像的特征，提高變電站紅外圖像多目標識別的實用性。

1 基于Faster RCNN的紅外圖像多目標識別

本文基于Faster RCNN[6]對變電站紅外圖像中多種電氣設備進行目標識別，其核心思想是通過區域建議策略，從待識別的變電站紅外圖像中生成多種電氣設備區域建議，并通過邊框修正進行區域建議調整，進而精準定位識別多種電氣設備。基于Faster RCNN模型的紅外圖像多目標識別模型網絡結構如圖1所示。

圖1 Faster RCNN網絡結構圖

對于任意一張/一幀紅外圖像，首先通過CNN提取紅外圖像中多種電氣設備特征得到特征圖；RPN網絡在特征圖上生成區域建議并判斷區域建議是否為目標，同時對區域建議做邊框回歸；Roi Pooling整合特征圖和區域建議生成區域建議特征圖，并將區域建議映射到維度固定的特征向量；最后利用softmax分類器對區域建議進行分類，并再次通過邊框回歸操作對區域建議進一步修正[7]。

1.1 基于VGG16的特征提取

VGGNet[8]由牛津大學的視覺幾何組和Google DeepMind公司提出，在提取圖像特征領域表現良好。經過多年研究和改進，VGGNet已經發展出多種網絡結構，部分VGGNet網絡結構如表1所示。

表1 VGGNet

幾種VGGNet網絡模型中，對于提取帶檢測框的特征提取網絡模型，VGG16網絡結構在目標檢測、語義分割、模式識別等領域表現的非常出色。VGG16分為16層，包括13個卷積層和3個全連接層。卷積層設置卷積核大小為3×3，池化層采用2×2最大值池化，輸出層采用Softmax邏輯回歸[9]進行分類。

1.2 RPN區域建議生成

Faster RCNN引入RPN網絡代替選擇性搜索，同時引入錨點(anchor)應對目標形狀變化問題[10]。RPN通過錨點直接在特征圖上生成區域建議，引入了檢測中常用到的多尺度方法[11－12]。錨點是位置和大小固定的框，可以理解成事先設置好的固定的區域建議[13]。根據紅外圖像設置會為特征圖中每個像素生成不同尺寸和比例(1∶1，1∶2，2∶1三種)的9個錨點框，如圖2所示。初始得到的錨點框很不準確，需要通過邊框回歸操作對錨點進行調整才能更好地擬合預測目標[14]。

圖2 錨點

區域建議一般用四維向量(x，y，w，h)表示，分別表示窗口的中心點坐標和寬高[15]。如圖3所示，框A代表RPN網絡生成的原始的目標定位，框G代表真正的目標定位。邊框回歸通過一定操作，使原始目標A經過映射得到一個跟真實目標G更接近的回歸窗口G′[16]。

圖3 邊框回歸

比較簡單的思路是平移和縮放操作[17]，計算公式分別如式(1)和式(2)所示:

當輸入的原始目標A與真實目標G相差較小時，d x(A)、d y(A)、d w(A)、d h(A)四種變換可視為線性變換[18]，可以通過線性回歸建模對目標區域進行微調。通過錨點和邊框回歸，RPN網絡可以接受所有區域建議并為目標輸出一套好的建議。RPN網絡包含兩個輸出:一個是錨點作為目標的概率；第二個是邊框回歸，對錨點進行調整。

1.3 分類和邊框回歸

ROI Pooling整合RPN生成的區域建議和VGG16得到的特征圖生成區域建議特征圖并將不同大小的輸入轉換為固定維度的輸出，得到固定大小的輸出向量[19]。然后對圖像中所有區域建議進行識別，輸出區域建議所屬的類，并再次進行邊框回歸進一步修正區域建議在圖像中精確位置[20]，如圖4所示。

圖4 分類和邊框回歸

2 改進Faster RCNN參數學習與結構優化

為了使模型更好適應紅外圖像中電氣設備的圖像特點，本文建立了多標記的紅外圖像數據集，采用基于遷移學習的特征提取改善參數學習效果；針對電氣設備部位識別準確率偏低的情況，本文在原有算法的基礎上添加了類別修正功能，提高了電氣設備部位的識別準確率，從而提高電氣設備紅外熱成像多目標識別的工程實用性。

2.1 基于遷移學習的特征提取

傳統機器學習通常只能解決單一領域內的問題，基本流程是首先對大量的樣本數據進行訓練得到學習好的網絡模型，然后使用模型對測試樣本進行分類。傳統機器學習框架通常要滿足兩個條件:訓練樣本數量足夠多、測試樣本和訓練樣本具有相同的分布。遷移學習的出現和不斷發展改變了機器學習模式，由從零開始學習轉變成為積累學習。遷移學習具有良好的靈活性、可擴展性和較高的數據忍耐力。本文放棄隨機初始化參數方法，改用遷移學習方法將ImageNet數據集上訓練好的VGG16預訓練模型的網絡結構和權重參數作為電氣設備紅外熱成像識別模型的初始狀態，然后在紅外數據集上微調整個網絡權值，對模型中的所有參數進行更新以適應新的分類任務，更好地提取紅外圖像特征，如圖5所示。

圖5 遷移學習

2.2 Faster RCNN優化

在使用Faster RCNN紅外識別模型對紅外圖像中電氣設備進行多目標識別過程中，設備部位由于外觀相似導致識別錯誤率較高，為后續電氣設備故障診斷帶來了極大困擾。針對這一問題，本文借鑒非極大值抑制思想對Faster RCNN進行了優化，在原有算法基礎上添加了類別修正功能，使模型可以對識別錯誤的設備部位類型進行修正，從而提高紅外圖像中電氣設備的識別準確率。

2.2.1 非極大值抑制

非極大值抑制(NMS)本質是搜索局部最大值，抑制非極大值元素[21]。局部代表一個鄰域，包含維數和大小兩個可變參數。

目標檢測過程中一般會采取窗口滑動方式在紅外圖像上生成許多區域建議，然后對區域建議進行特征提取，送入分類器識別區域建議類別，并按照區域建議得分進行排序。選取得分最高的區域建議，然后計算其他區域建議與當前區域建議的重疊度(IoU)。IoU全稱為交并比(Intersection over Union)，計算公式如式(3)所示。

IoU的閾值是一個可優化的參數，一般范圍為0~0.5，可以使用交叉驗證來選擇最優參數。如果重疊度大于設定閾值就刪除，因為同一電氣設備可能會有多個區域建議得分較高，但只需保留一個即可。舉例說明處理流程如下:①假如紅外圖像生成A、B、C、D、E、F六個區域建議，選取最高得分區域建議F，分別判斷A~E與F的重疊度IoU是否大于設定好的閾值。②假設A與F的重疊度超過設定閾值，則刪掉A，并標記F為第一個保留的區域建議。③從剩余區域建議B、C、D、E中選擇得分最高的E，然后分別判斷E與B、C、D的重疊度，假設B、C與E的重疊度大于設定閾值，則刪掉B和C，并標記E為保留下的第二個區域建議。④重復上述過程，找到所有被保留下來的區域建議。

2.2.2 類別修正

本文借鑒NMS思想對Faster RCNN進行了改進，在原有算法基礎上添加了類別修正功能，使模型可以對識別錯誤的設備部位類型進行修正，從而提高紅外圖像中電氣設備的識別準確率。NMS思想是通過計算重疊率IoU，將超過設定好的IoU閾值的區域建議刪除，從而保留每一類識別效果最好的區域建議。而類別修正則是將所有區域建議分為設備和部位兩類，通過比較設備和部位重疊面積占部位面積的比例判斷部位和設備的包含關系，從而達到類別修正的目的。類別修正步驟如下:

①將紅外圖像識別出的所有區域建議按照命名規則分為設備整體A和設備部位B兩類(設備整體命名規則為設備簡稱，例如避雷器:“BLQ”、斷路器“DLQ”；設備部位命名規則為“設備_部位”，例如避雷器接頭“BLQ_JT”、斷路器瓷瓶套管“DLQ_CT”)。分類完成后分別將A、B中所有區域建議按照面積從小到大進行排序。

②從A中選取面積最小的區域建議A i，依次遍歷B中區域建議(B j)并與Ai進行計算重疊面積比例(Area overlap ratio)，計算公式如式(4)所示:

然后將AoR與設定好的閾值0.8進行比較。如果AoR>＝0.8，說明區域建議B j絕大部分區域包含在A i中，可以認為B j屬于設備整體A i。如果B j名稱前綴(即“_”之前設備名稱)與Ai名稱相同，說明部位識別正確不需要進行修正；如果如果B j名稱前綴與Ai名稱不同，說明部位識別錯誤需要進行修正，修正方法為修改B j名稱前綴跟Ai相同即可。并添加數組索引確保后續遍歷不再訪問，減少計算量和縮短處理時間。

如果AoR<0.8，則認為B j不屬于Ai，不做處理繼續下一個區域建議B j＋1的計算。

③依次遍歷A中區域建議并重復②過程直到所有區域建議修改完成。

3 實驗結果與分析

3.1 紅外數據集

目前，電氣設備故障診斷中常見算法是對某一類電氣設備進行研究，尚未有公開的數據集。尤其是對于本文所研究的重點，對于包含變壓器、斷路器、電流互感器(CT)、電壓互感器(PT)、電抗器等多類電氣設備的紅外圖像更是沒有公開可用的數據集。為了使模型更好適應紅外圖像中電氣設備的圖像特點，保證模型特征提取的針對性和有效性，本文使用LabelImg工具對搜集到的大量紅外圖片進行標注整理。根據DLT－664帶電設備紅外診斷應用規范，不同電氣設備甚至同一設備的不同部位診斷規則不盡相同，因此本文按照各類設備及部位對搜集到的紅外圖像進行分類、標注、整理，將27 586張紅外圖像制作成VOC2007格式紅外數據集，部分設備及部位標注名稱如表2所示。

表2 標注規則

3.2 特征提取網絡對比

本文使用隨機初始化參數的VGG16模型與在ImageNet數據集上訓練好的VGG16預訓練模型在紅外數據集上進行相同的訓練作為對比，實驗結果表明使用VGG16預訓練模型在紅外數據集上進行再訓練，分類性能優于隨機初始化參數的VGG16模型，如圖6所示。

圖6 特征提取網絡準確率對比

實驗對VGG16、ResNet50和ResNet101三種特征提取網絡的性能進行對比，表3是三種特征提取網絡性能對比實驗結果。

表3 特征提取網絡性能對比

實驗結果表明，使用VGG16、ResNet50和Res-Net101三種神經網絡模型對電氣設備紅外圖像進行特征提取時都可以達到較好的分類效果。VGG16通過多次重復使用同一大小的卷積核來提取更復雜和更具有表達性的特征，而深度殘差網絡ResNet50和ResNet101則是設計一種殘差模塊訓練更深的網絡。通過對三種神經網絡模型準確率和運行時間的對比可知，ResNet101方法相比于VGG16方法準確率增長了0.65%，但是運行時間確是原來的1.7倍，因為ResNet101深度更深，在進行網絡訓練時需要進行更多的計算，因此需要更高的計算效率和更大的存儲空間。ResNet50深度同樣比VGG16更深，理論上準確率應該比VGG16高，但是實驗結果表明ResNet50方法在紅外數據集上識別結果比VGG16方法低1.2%。

3.3 識別準確率對比

實驗選取了27 586張質量較好的紅外圖像制作成紅外數據集并按照80%和20%的比例劃分為訓練集和測試集。采用訓練集中的22 069張紅外圖像對Faster RCNN算法進行1 000次迭代，學習率為0.001，每隔100次迭代保存一次網絡模型。算法訓練過程中，通過閾值為0.5的非極大抑制操作對每張紅外圖像中生成的多個區域建議進行處理，最后篩選出每類識別效果最好的候選框。并用測試集中的5 517張紅外圖像對Faster RCNN的應用效果進行了驗證，識別效果如圖7所示。

如圖7所示，Faster RCNN可以準確識別紅外圖像中的多種電氣設備以及設備部位，如CT、PT、避雷器、斷路器等，為后續通過溫度判斷設備故障類型奠定基礎。以上為識別正確的效果圖，但是部分設備部位因外觀相似會出現識別錯誤的情況，如圖8所示。其中，圖8(a)、8(c)均存在設備部位識別錯誤問題，圖8(a)中識別出設備為隔離開關(GLKG)，接頭部分識別結果應為隔離開關接頭(GLKG_JT)，但實際識別結果卻是斷路器接頭(DLQ_JT)。同樣，圖8(c)中識別出設備為避雷器(BLQ)，瓷瓶套管部分識別結果應為避雷器瓷瓶(BLQ_CT)，但實際識別結果卻是PT瓷瓶(PT_CT)。因為不同設備甚至同一設備的不同部位診斷規則不盡相同，識別錯誤會影響后續通過溫度進行故障診斷時診斷規則的選擇，從而導致設備故障診斷結果出錯。

圖7 識別效果圖

針對以上存在的部位識別錯誤問題，本文使用改進Faster RCNN中對識別錯誤部位進行類別修正，以圖8(a)為例:

AoR等于DLQ_JT與GLKG區域重疊部分面積與DLQ_JT面積的比值(0.86)，大于設置好的閾值0.8，說明部位DLQ_JT屬于設備GLKG，從而修改部位類別，將DLQ_JT修改為GLKG_JT，修正結果如圖8(b)所示。通過以上方法可將識別錯誤部位進行修正，從而提高識別準確率，為后續故障診斷奠定基礎。

圖8 改進前后識別效果圖

對測試集中所有紅外圖像的識別結果進行統計，設備識別準確率、改進前后部位識別準確率以及總體的識別準確率如圖9所示。從圖9(a)和圖9(b)兩個圖中可以看出電氣設備識別準確率較高，但部位識別準確率卻比較低，尤其是瓷套(瓷瓶套管的統稱)和接頭僅能達到60%~70%左右。因為電氣設備外觀區別較大，進行識別時比較容易區分，然而瓷套和接頭等設備部位因為外觀形態相似，在紅外圖像中更是難以區分，導致設備部位識別錯誤率較高。

圖9 識別準確率對比

改進Faster RCNN通過類別修正，在不影響電氣設備識別準確率的基礎上進一步提高了部位的識別準確率。多種部位的識別準確率較改進前有了很大的提高，尤其是接頭、瓷瓶套管等部位，最高的PT接頭識別準確率增加了23.8%。從而使電氣設備的總體識別準確率從原來的83.1%提高到了92.8%，比改進前提高了9.7%。

3.4 目標檢測算法對比

本文對YOLO、SSD、RCNN、Fast RCNN、Faster RCNN以及本文算法六種目標檢測算法在紅外數據集上的識別結果進行了對比，實驗結果如表4所示。

表4 目標檢測算法對比

YOLO和SSD是one-stage算法，可以直接預測不同目標的類別與位置，速度較快但相對識別準確率較低，YOLO和SSD在紅外數據集上的識別準確率分別為72.4%和79.3%。RCNN、Fast RCNN和Faster RCNN是two-stage算法，需要先生成區域建議，然后再對區域建議做分類與回歸。經過不斷地優化與改進，RCNN系列的目標檢測算法速度越來越快，精度也越來越高，如表4所示，Faster RCNN識別準確率達到83.1%，比SSD高3.8%。而本文算法在Faster RCNN基礎上進行了優化，通過類別修正進一步提高了電氣設備的識別準確率。

4 結論

本文使用Faster RCNN模型準確識別和定位紅外圖像中的多種電氣設備及部位，并針對模型存在的問題進行了優化，提高了電氣設備的識別準確率，為后續電氣設備故障診斷奠定基礎。主要工作如下:①構建了基于Faster RCNN的電氣設備紅外熱成像多目標識別模型。采用VGG16提取紅外圖像中電氣設備特征，提高了計算效率。②本文采用基于遷移學習的特征提取，克服了傳統特征在復雜數據集上表征能力不強的問題，既能提取良好特征，又減少了訓練時間。③針對Faster RCNN紅外熱成像多目標識別模型對電氣設備部位識別準確率低的問題，本文借鑒非極大值抑制思想對Faster RCNN進行了改進，進一步提高了紅外圖像中電氣設備的識別準確率。

本文依然存在不足:在故障診斷方面研究不足；檢測結果為矩形框，仍然存在背景影響。下一步工作是加強Faster RCNN在故障診斷方面的研究以及研究檢測設備輪廓抑制背景干擾的可行性。