基于嵌入式深度學習的電力設備紅外熱成像故障識別①

王彥博,陳培峰,徐 亮,張合寶,房 凱

1(國網山東省電力公司檢修公司,濟南 250100)

2(北京科技大學 計算機與通信工程學院,北京 100081)

3(積成電子股份有限公司,濟南 250100)

4(中國石油大學(華東) 計算機科學與技術學院,青島 266580)

1 引言

電力系統中的變電站與輸電線路是聯系發電廠與用戶的重要樞紐,其安全穩定運行至關重要,一旦電力設備發生故障,電力系統的安全性以及供電的穩定性將受到極大影響[1].電力設備長期受氣候因素等外部環境影響極易發生故障,因此需要對電力設備進行定期巡檢維護來保證供電系統正常運行.據相關資料統計,高達90%的電力系統事故是由電力設備故障引起的,其超過50%的故障設備會在早期階段出現異常的發熱癥狀[2].紅外測溫的原理是探測器探測并接收被測目標發射出的紅外輻射能量,將接收到的紅外輻射能量轉換成與之相對應的電信號,再經過專門的電信號處理系統獲得物體表面的溫度分布狀態.電力設備的熱故障由電力設備類別、發熱部位以及發熱程度等因素決定,其溫度分布形式也不同.因此,紅外技術十分適用于電力設備的熱故障檢測.分析電力設備表面的溫度分布信息,能夠對發現電力設備中潛在的隱患和故障,并對故障的嚴重程度做出定量的判斷[3,4].

目前,電力系統中最主要的巡檢形式是人工巡檢,人工現場診斷或者采集信息供后續分析.人工巡檢工作量大,管理成本高,需要對技術人員進行技能培訓,信息采集與故障分析都需要人工來完成.而國內電力系統分布廣泛且部分地區所處環境惡劣,增加了巡檢成本與難度,人工巡檢變得異常復雜.如果巡檢不及時,一旦電力設備出現故障,將會造成嚴重事故.如今,卷積神經網絡與傳感器于信息技術的融合得到廣泛的研究,并應用于電力系統巡檢,在一定程度上減少了巡檢成本和難度,為及時發現安全隱患并且排除故障和處理突發狀況奠定了基礎[5].

卷積操作具備強大的特征提取能力,與全連接層相比具有更少的參數優勢,應用在圖像數據中具有得天獨厚的優勢,卷積神經網絡在計算機視覺領域占據了毋庸置疑的地位.然而,嵌入式設備的硬件資源限制使得卷積神經網絡難以在小型設備上進行部署,所以卷積神經網絡結構優化是本文的重要目標.卷積神經網絡大部分計算都集中在卷積操作上,因此減少網絡模型的復雜度、減少模型的計算量和參數量的關鍵是設計高效的卷積結構,在精度損失可接受的范圍內,大幅提高網絡速度.

由于被測目標表面發射的紅外輻射強度在空氣傳播中將會衰減,被測目標的紅外測溫結果往往低于被測目標的實際溫度.因此,本文采用BP 神經網絡,對被測目標的紅外測溫結果進行修正.

2 相關工作

電力設備熱故障檢測的首要步驟就是對采集到的紅外熱成像進行分析,檢測出圖像中電力設備.電力設備檢測主要分為兩個任務:一是定位任務,從圖像檢測出電力設備并給出該設備的位置信息;二是分類任務,判斷出每個電力設備的具體類別.

由于視角、遮擋等因素使目標物體發生形變,使得電力設備檢測成為具有一定難度的任務[6].文獻[7]提出了一種基于SIFT (Scale-Invariant Feature Transform)[8]和OTSU[9]特征匹配的變電站視頻電力塔傾角檢測方法,通過匹配特征點來計算電力塔的傾角;文獻[10]為了在模板圖像和變電站的監控圖像之間進行SIFT 進行特征匹配,采用RANSAC[11]用來消除圖像中的不匹配狀況,其中模板圖像的邊緣通過OTSU 分割得到.傳統的電力設備檢測算法依賴于人工提取每個電力設備特征,雖然獲得了較好的發展,但由于人工特征對不同圖像數據適用性較差,且提取的特征表達能力不足,容易導致最終分類錯誤和漏檢.

深度學習能夠克服傳統方法的缺陷,通過逐層的特征變換,將蘊含于數據中的信息映射到新的特征空間上,讓計算機自動的學習到高層的特征[12],隨著數據量的增加而增強學習的效果,獲得更高的匹配精度.RCNN (Region CNN)[13]可以說最先使用深度學習進行目標檢測的算法,利用海量數據來訓練卷積神經網絡模型來提取特征.SSP-Net (Spatial Pyramid Pooling Network)[14]設計空間金字塔采樣層(Spatial Pyramid Pooling,SSP)實現網絡模型輸入任意圖像大小.針對R-CNN 對每一個候選區域都要獨自使用卷積神經網絡提取特征的問題,Fast R-CNN[15]設計共享卷積層提高了R-CNN 速度.Faster R-CNN[16]第一次提出RPN(Region Proposal Network)網絡,直接使用卷積神經網絡產生候選區域.RPN 網絡提取少量的高質量預選區域,具有很高的召回率.YOLO (You Only Look Once)[17]對目標檢測使用回歸方式,采用單個卷積神經網絡模型來實現端對端(End-to-End)的目標檢測.

深度神經網絡復雜、訓練大、計算量、參數量大,模型的部署需要非常強大的硬件設備,嵌入式設備由于硬件限制只能部署淺層神經網絡,目標檢測精度受到限制.要實現工程化,需要研究深度網絡模型的壓縮、降低內存占用、降低功耗、減少計算量和參數量.剪枝(pruning)應用于神經網絡中來移除一些不重要的權重,能夠有效加快網絡的速度,提升網絡泛化性能[18-24].參數量化(quantization)就是從權重中歸納出若干個能代表某一類權重的具體數值,這一類代表被存儲在碼本(codebook)中,原本的權重矩陣只需要記錄各自代表的索引即可,極大地降低了存儲開銷[25,26].卷積神經網絡計算大部分集中在卷積操作,因此壓縮模型、提高效率需要設計新型的網絡結構,如MobileNet[27]、ShuffleNet[28].

3 電力設備檢測

目標檢測是深度學習的一個重要研究領域,通過獲取目標信息,提取目標特征來進行訓練學習、特征分類等.本文將在SSD 的基礎上實現電力設備檢測,采用谷歌提出的適用于嵌入式以及移動端的高效輕量級卷積神經網絡MobileNet 替代SSD 中的VGG-16 網絡,與SSD 算法相比,具有更好的環境適應性、魯棒性以及更高的精度.

3.1 基于嵌入式平臺的電力設備檢測

SSD 是典型的基于深度學習的目標檢測算法,與R-CNN 系列目標檢測算法相比,SSD 取消中間的候選框和像素特征的重采樣過程,保證速度的同時保證了檢測精度,SSD 輸出一系列離散化的候選框,候選框生成在不同層上的特征圖且長寬比不同,經過卷積神經網絡的前饋操作,SSD 生成一系列固定大小的候選框,使用小卷積Filter 來預測候選框位置中的目標類別和偏移即候選框中包含目標種類的概率,最后通過極大值抑制方法得到最終的預測結果.

但是SSD[29]以VGG-16[30]作為特征提取網絡,需要消耗大量的計算資源,這些網絡模型通常部署在GPU 上,對于硬件要求極高,在嵌入式平臺上難以運行如此巨大的網絡模型,將極大影響電力設備檢測效率.為了使SSD 適用于嵌入式設備,本文對SSD 進行優化改進.我們使用MobileNet 替代SSD 中的VGG-16 網絡.MobileNet 采用深度可分離卷積(depthwise separable convolutions)來替代常規的卷積層,深度可分離卷積將標準卷積分解成為深度卷積和逐點卷積,當輸入feature map 為m×n×16,想輸出32 通道,那么卷積核應為16×3×3×32,則可以分解為深度卷積:16×3×3,得到的是16 通道的特征圖譜,點卷積:16×1×1×32.如果用標準卷積,計算量為:m×n×16×3×3×32=m×n×4608,用深度可分解卷積之后的計算量為:m×n×16×3×3+m×n×16×1×1×32=m×n×656,減少了卷積神經網絡的計算量以及參數量,提高網絡運行效率.MobileNet-SSD 與SSD 網絡結構如圖1所示.

圖1 MobileNet-SSD 與SSD 網絡結構對比

3.2 合并Batch Normalization 層

在訓練深層卷積神經網絡時,使用Batch Normalization 層能夠加速訓練速度,提升網絡收斂速度.在卷積神經網絡中,Batch Normalization 層一般放置在卷積層或者全連接層之后,Batch Normalization 層將數據進行歸一化后,能夠有效地解決梯度消失和梯度爆炸問題,并加速訓練擬合速度.Batch Normalization 層在深度卷積神經網絡的訓練階段起到一定的積極作用,但在網絡模型的部署階段,在模型預測時多了一層計算,將影響模型整體的運算速度,并且增加顯存與內存的占用空間.因此,在網絡模型的部署階段,需要將Batch Normalization 層合并到卷積層中,以提高網絡模型的速度.

假設,每一層的輸入均表示為X,W為卷積權重,b為卷積偏置,先進行卷積運算,卷積層的運算公式為:

在卷積運算后,進行Batch Normalization 層運算.Batch Normalization 層進行兩個操作,第一個是歸一化,歸一化運算公式如下:

其中,μ為均值,σ為方差,ε為一個較小數,防止分母為零.

Batch Normalization 層第二個操作是縮放:

其中,γ為縮放因子,β為偏置.

卷積層和Batch Normalization 層合并后,得到:

得到新的卷積權重如下:

得到新的偏置如下:

4 紅外測溫結果修正

一般,物體表面發射出來的紅外輻射強度在空氣傳播中會衰減,因此,被測目標的紅外測溫結果往往低于被測目標的實際溫度,距離越遠,實際差值越大.所以需要修正被測目標的紅外測溫結果.BP 神經網絡算法廣泛應用在各種場景,而在探究紅外測溫的影響參數時,BP 神經網絡算法相比線性插值法和多元線性回歸法,非線性映射能力強適應性強,精確度高.

溫度修正模塊將采用BP 神經網絡來對紅外測溫結果進行溫度修正.如圖2所示,輸入層的輸入為被測目標的紅外測溫結果和該目標的測量距離,將這兩類數據輸入到BP 神經網絡中,得到最終修正過的溫度.

圖2 神經網絡結構

溫度修正模塊設計的BP 神經網絡的隱藏層含有α個節點,輸入層含有β個節點,輸出層含有γ個節點.輸出層與隱藏層間神經元的神經元的傳遞函數為線性傳遞函數.假設xi為神經元的狀態,yi為輸出,神經元的輸入狀態xi和輸出yi的關系為線性變化,如式(1)所示:

假設D1,2,···,γ分別為溫度修正模塊BP 神經網絡的輸入,則神經網絡對應的輸出:

于是,得到隱藏層中的第j個節點的輸出,見式(10):

由此,將得到輸出層中第j個節點的輸入:

最后,得到輸出層中第j個節點的輸出:

5 電力設備熱故障檢測系統

本文為山東電力設計了電力設備熱故障檢測方法,將紅外技術與深度學習相結合,把視頻流的讀取、深度學習的電力設備檢測、BP 神經網絡的溫度修正以及數據的可視化融合.基于嵌入式深度學習的電力設備熱故障檢測架構如圖3,該架構主要有3 個層次.

底層為數據的讀取,紅外熱像儀通過以太網輸出MPEG-4 格式的視頻流,并將紅外熱像儀視頻流解碼成幀并傳送到下一層.

中間層是數據處理層,主要從上一層獲取的紅外熱像儀視頻流進行熱故障診斷.為數據處理層中電力設備檢測算法的識別搭建了相對應的深度學習框架,部署的相關網絡模型是已經訓練完成的模型,這一層只進行檢測任務,不進行網絡模型的訓練任務.這一層主要負責實時電力設備檢測、設備定位;部署BP神經網絡對紅外測溫結果進行溫度修正;修正后的溫度將通過先驗知識庫來判斷該設備是否出現異常發熱癥狀.

頂層是數據服務層,將中間層數據處理的結果進行可視化顯示,最終的檢測結果能夠以一種更為直觀的表現方式呈現出.

圖3 電力設備熱故障檢測框架

基于嵌入式深度學習的電力設備熱故障診斷方法主要分為3 項任務:電力設備的檢測與定位,目標設備的溫度提取,目標設備熱故障診斷,類圖如圖4所示.

電力設備熱故障檢測的檢測流程并對各個階段進行了簡單介紹.其檢測流程如圖5所示.

(1)從紅外熱像儀讀取紅外熱成像視頻流,將其解碼成幀;

(2)電力設備檢測算法檢測每幀圖像中是否含有電力設備,并將其定位;

(3)根據上一個步驟所得到的定位信息,從紅外熱像儀中獲取紅外測溫與激光測距數據;

(4)根據紅外測溫與激光測距數據,通過溫度修正模塊得到修正后的溫度;

(5)最后利用先驗知識庫,對修正后的溫度進行熱故障診斷,得到熱故障檢測結果.

6 實驗

6.1 硬件環境

本課題涉及到的神經網絡模型將分為兩個階段處理:訓練階段和部署階段.兩個階段涉及到的硬件環境不一樣.由于嵌入式設備的計算資源限制,嵌入式設備主要用于部署本課題所涉及到的算法模型,不進行訓練任務.本文所涉及到的訓練任務將由一臺裝有英偉達TITAN X 顯卡的機器來執行.Jetson TX1 是英偉達第二代嵌入式平臺開發套件,擁有先進的嵌入式視覺計算系統.Jetson TX1 核心僅有信用卡大小,但Jetson TX1 GPU 模塊的浮點運算能力達到1 Teraflops,顯然Jetson TX1 是理想的嵌入式解決方案.

圖4 電力設備熱故障檢測類圖

圖5 檢測流程

6.2 效果展示

表1為系統配置表,表2為部分設備實際測量溫度與修正后溫度的比較.從表中可以看出,經過BP 神經網絡修正后的最大絕對誤差為1.05 ℃,平均絕對誤差為0.99 ℃.

表1 Jetson TX1 配置

表2 部分測量數據與BP 修正結果對比(單位:℃)

圖6是電力設備熱故障檢測效果展示圖,檢測結果標出所檢測出來的電力設備在圖像中的位置信息以及修正后的溫度信息,其中綠色標注中的電力設備表示正常,紅色標注中的電力設備表示出現過熱故障.

6.3 性能與準確率測試

如表3所示,我們在Jetson TX1 嵌入式開發平臺上運行相關目標檢測算法,結果表明,與原始的SSD(VGG16)相比,MobileNet-SSD 在精度可接受范圍內大幅提升運行速度,處理一張圖像只需58 ms,也就是約為17 幀/s,對于嵌入式設備上的應用具有重要意義.

7 總結

針對電力設備的故障識別問題,本文提出了一種基于嵌入式深度學習的電力設備熱故障檢測方法.該方法首先基于MobileNet-SSD 算法實現電力設備檢測,讓計算機自主地學習電力設備特征信息并準確檢測到電力設備,并在溫度修正模塊中采用BP 神經網絡來對紅外測溫結果進行溫度修正,最終實現無人自動化電力設備熱故障檢測.實驗結果表明,該方法能夠較對電力設備故障實現精準的檢測.同時,本文提出的Mobilenet-SSD 算法在精度可接受范圍內實現了推理速度的大幅提升,在輕量級計算平臺上滿足時間性能的前提下,跟其他目標檢測算法相比Mobilenet-SSD 具有更高的準確性.由于檢測到的不同設備故障具有不同的圖像特征,其深層特征支持故障原因的進一步推理,因此在下一階段的中,我們將繼續研究利用深度學習分析設備故障的深層原因.

圖6 檢測結果

表3 電力設備檢測結果對比