基于深度殘差UNet網絡的電氣設備紅外圖像分割方法

劉 赫，趙天成，劉俊博，矯立新，許志浩，袁小翠

基于深度殘差UNet網絡的電氣設備紅外圖像分割方法

劉 赫1，趙天成1，劉俊博1，矯立新1，許志浩2，袁小翠2

（1. 國網吉林省電力有限公司 電力科學研究院，吉林 長春 130021；2. 南昌工程學院 電氣工程學院，江西 南昌 330099）

紅外圖像處理是實現電氣故障診斷的有效手段，而電氣設備分割是故障檢測的關鍵環節。針對復雜背景下紅外圖像電氣設備分割難問題，本文采用深度殘差網絡與UNet網絡相結合，深度殘差網絡替代VGG16對UNet網絡進行特征提取和編碼，構建深度殘差系列Res-Unet網絡實現對電氣設備的分割。以電流互感器和斷路器兩種電氣設備紅外圖像分割為例測試Res-Unet網絡分割效果，并與傳統的UNet網絡和Deeplabv3＋網絡進行對比。通過對數量為876的樣本進行測試，實驗結果表明，Res18-UNet能夠準確地分割電氣設備，對電流互感器和斷路器的分割準確率超93%，平均交并比大于89%，且分割準確性優于UNet及Deeplabv3+網絡模型，為實現電氣故障智能診斷奠定基礎。

紅外圖像；電氣故障；圖像分割；UNet

0 引言

變電站是電網系統中的非常關鍵的節點，變電站的安全性關系到電力系統的穩定運行。變壓器、電壓互感器、電流互感器和斷路器等變電設備因長期戶外使用易覆蓋污漬、設備老化出現設備過熱，容易導致大面積停電。因此，需要對這些帶電設備進行定期檢測。

近年來，利用無人機、巡檢機器人為平臺安裝紅外熱相機拍攝帶電設備的紅外圖像，利用智能算法自動識別紅外圖像中的設備故障已成為電力設備帶電監測和故障診斷的重要手段。基于紅外圖像的故障診斷方法可以大致分為兩類：一是根據紅外圖像的溫度界定直接分割出過熱區域，如康龍等[1]利用紅外圖像灰度直方圖確定聚類中心和聚類個數，用遺傳算法來確定最優聚類中心，最后用模糊C均值來分割過熱區域；曾亮等[2]用大津算法和區域生長法分割過熱區域；Hui Zou[3]等利用k均值聚類算法分割過熱區域。另一類是根據需要檢測的變電設備，在紅外圖像中檢測出目標區域或者直接分割目標區域，對不同的目標區域根據規范[4]判斷目標區域的狀態，從而自動檢測帶電設備狀態。目前，第二類是紅外圖像故障診斷的主流方法，學者們對其展開了許多研究。不同電氣設備對溫度的耐受力不同，需要準確定位變電設備的感興趣區域（region of interest，ROI），因此查找紅外圖像的ROI是最關鍵的一步。

近年來，國內外學者已經開展了一系列針對紅外缺陷智能診斷的研究。定位ROI區域主要有兩類：①提取目標的手工特征，根據紅外圖像的顏色及紋理等特征，選擇合適的閾值分割方法和特征提取方法分割目標，文獻[5]利用閾值分割法提出三相分區塊自動搜尋及溫度對比的過熱區域判定方法。Rahmani[6]等提取圖像中電氣設備的不變矩特征；文獻[7]提取紅外圖像的熱形狀和溫度分布作為圖像特征；文獻[8]對紅外視頻圖像提取時空特征，利用基于沙普利加法特征歸因聚類算法對時空特征聚類分割目標。②基于深度學習的目標檢測或者分割方法。隨著深度卷積神經網絡（deep convolutional neural networks, DCNN）的快速發展，利用CNN網絡提取圖像的特征實現不同的應用，如目標檢測與識別、圖像分割等。文獻[9]利用Faster RCNN對套管、避雷器等變電設備進行目標檢測定位，根據溫度閾值法實現缺陷檢測。經典目標檢測深度卷積神經網絡也逐漸應用在紅外圖像變電設備故障檢測中，如SSD[10]，YOLO[11]，Mask-RCNN[12]等網絡在紅外圖像電氣設備異常檢測中取得了較好的檢測結果。李文璞等[13]基于改進R3Det模型對瓷套進行旋轉目標檢測，基于Faster RCNN模型對變電設備區域進行識別。

上述基于深度學習的目標檢測方法只是檢測出目標區域，對檢測簡單背景下的變電設備效果較好，當變電設備處于復雜環境下，局部遮擋導致框選出的目標區域包含其他類型的設備，而不同設備對溫度的耐受力不同。需要對電氣設備進行準確分割及定位，減少背景及其他因素的干擾，再根據不同設備對溫度的耐受情況準確檢測出電氣設備的故障。為了準確分割出ROI，語義分割方法逐漸從可見光圖像處理中應用到紅外圖像電氣設備故障診斷中，如文獻[14]構建了FCN-32s、FCN-16s和FCN-8s三種模型對紅外圖像中劣化的絕緣子片進行分割，證明了FCN-8S的分割效果更好，但該方法只用在了實驗室環境下拍攝的絕緣子片圖像，并不適用于戶外復雜環境下目標分割。文獻[15]將深度殘差網絡ResNet與Deeplabv3＋網絡相結合，利用ResNet網絡代替Deeplabv3＋網絡中VGG16模塊實現編碼，構建的Res-Deeplabv3＋網絡對紅外圖像中的電流互感器進行分割，其分割準確性優于FCN-8s，SegNet和Deeplabv3＋網絡。

本文結合ResNet和UNet網絡的優勢，構建Res-UNet網絡對復雜環境下紅外圖像的變電設備進行語義分割，從復雜背景下準確分割、定位和識別出電氣設備，為電氣設備故障診斷提供準確的數據源。

1 數據集來源及標注

數據集來源于某網省公司現場采集的紅外圖像，圖像大小為640×480彩色圖，原始樣本圖像數量為2860張。不同拍攝角度和環境，對同樣的設備成像不同。因此，對樣本進行擴充，包括旋轉、縮放、調整圖像亮度、飽和度等方法進行隨機數據增強，以提高網絡模型的魯棒性和準確性，擴充后的樣本數量為4380張。圖1為樣本集中隨機選取的幾張紅外圖像及預處理效果，第一行圖1(a)為原圖，第二行圖1(b)對應第一行的增強效果，其增強處理分別是調整溫度區間、降低飽和度、降低亮度、提高色調。

樣本數據中電流互感器和斷路器兩種變電設備的圖像比較完整，其他變電設備圖像不完整或者樣本少，因此，以電流互感器和斷路器為分割目標，使用Labelme工具分別對電流互感器和斷路器兩種電氣設備進行標注。建立統一的標注規范是保證訓練模型精度的基礎，本文標注時將電流互感器和斷路器分別標記為CT和QS，標記時盡量標記目標可見的全部像素，標注示例如圖2所示，對目標標注形成分割圖像的標簽（真值），并生成json文件，標簽圖像中綠色表示的是斷路器，紅色表示的是電流互感器。

圖1 樣本增強示例

圖2 樣本圖像標簽

2 算法理論

圖像語義分割是對每一個像素點進行分類，根據每個點的所屬類別從而實現區域劃分。目前，語義分割已被廣泛應用于自動駕駛、醫學圖像分割等場景中。近年來，CNN已經在圖像語義分割中取得了巨大的應用，比較經典的網絡模型有FCN，Segnet，DeepLab和UNet系列等。UNet網絡最早應用在醫學圖像分割中，相比于FCN，Segnet，Deeplab等系列的經典圖像分割模型，UNet網絡在訓練樣本較少的情況下能獲得更準確的分割結果。在紅外圖像電氣設備故障檢測中，缺少公開數據集，屬于小樣本的目標分割，因此，本文利用UNet網絡主體模型對紅外圖像中電氣設備進行分割。

2.1 UNet網絡

UNet網絡結構簡單，整個網絡可以分為編碼和解碼，或者主干特征提取網絡和加強特征提取網絡，網絡結構如圖3所示，在主干特征提取網絡（編碼）中利用3×3卷積模板進行5層卷積，卷積模板數分別是64、128、256、512和1024，2×2最大池化對卷積后的特征圖下采樣使圖像特征圖尺寸減小，且采用relu作為激活函數。

在加強特征提取（解碼）網絡中對特征圖逐步上采樣和卷積來恢復圖像尺寸和特征圖通道數，解碼器和編碼器之間通過跳躍連接進行特征圖融合，融合后繼續卷積，最后通過1×1×卷積輸出分割圖像結果，其中為通道數或圖像分割類別。從圖3可以看出，UNet像一個U型結構，因此，將其稱之為UNet網絡。

圖3 UNet網絡結構

2.2 ResNet

在深度卷積神經網絡中，網絡層數越多，越能夠提取圖像的深層特征，網絡模型的分割效果越好，但是網絡層數的增加容易導致淺層網絡的學習效果不佳，阻礙模型的收斂[16]。深度殘差網絡ResNet為解決這一問題而誕生。該網絡的一部分輸入不經過卷積網絡傳到輸出，保留了部分淺層信息，避免了因特征提取網絡的加深而導致特征細節的丟失，在殘差網絡內部將輸入與輸出直接相連，有效緩解了深層網絡中的梯度消失問題[15]。殘差網絡結構原型如圖4所示，設輸入為，期望輸出為()，實際輸出為()，通過跳躍連接將輸入值直接連接到輸出，使實際輸出變為()＋，學習目標變為()＝()＋，從而使得網絡學習的內容變為輸入與輸出的差值。深度殘差系列網絡有ResNet18，ResNet34，ResNet50，ResNet101等，18，34，50，101代表網絡層數。

2.3 Res-UNet模型

UNet的編碼部分實際上是VGG16網絡的特征提取部分，利用ResNet代替VGG16實現對UNet網絡中的編碼模塊，構建Res-UNet網絡，如圖5所示，圖5中用ResNet18網絡構建的UNet簡稱為Res18-UNet。

圖4 ResNet網絡結構

Res-UNet網絡編碼部分：編碼部分分為4個模塊，與UNet模塊的編碼部分保持一致，不同的是UNet中每層卷積及下采樣模塊用ResNet代替，如圖5的ResNet18，block_（＝1,2,3,4），卷積模板均是3×3，每個模塊的第二層卷積的strid＝2，從而實現下采樣。每個模塊的卷積核的數量與UNet模型一一對應。

解碼部分：解碼部分最后一層輸出的特征圖的數量為1024，對圖像進行上采樣及卷積，并與編碼模塊的特征進行特征拼接融合，逐層上采樣，使輸出的圖像與輸入圖像的大小一致，最后通過1×1×的卷積輸出分割結果，其中為圖像中目標分割種類數，本文中＝3。

圖5 改進UNet網絡結構

3 實驗結果與分析

3.1 評價指標

為了評估分割效果，用平均交并比（mean intersection over union，MIoU）MIoU和精確率（Precision）[17]來評價紅外圖像目標分割效果。MIOU是語義分割效果的度量標準之一，通過計算兩個集合的交集和并集（intersection over union，IoU）的比例來反映分割結果與真實值之間的重合程度，在圖像語義分割中，這兩個集合分別是真實值（標簽）和預測值。MIOU的值范圍為[0,1]，其值越大表示分割效果越好。MIOU的定義如下：

式中：p和p分別表示預測結果為實際結果為的像素總數和預測結果為、實際結果為的像素總數，而p表示預測結果為、真實結果也為的像素總數[15]。

Precision表示語義分割的類別像素準確率，是在被所有預測為正的樣本中實際為正樣本的概率。精確率定義為：

式中：TP，FP分別表示真陽性和假陽性，表示被分為正例的示例中實際為正例的比例。

3.2 網絡訓練

模型訓練平臺操作系統Ubuntu 18.04，采用了tensorflow深度學習框架搭建的改進ResNet網絡。硬件處理器為Intel(R) Core(TM) i5-9300H CPU @2.40GHz（2400MHz），顯卡型號為NVIDIA Geforce GTX 1660Ti。本文分別利用ResNet18，ResNet34，ResNet50作為UNet的編碼部分構建Res18-UNet，Res34-UNet，Res50-UNet網絡，這些網絡稱之為Res-UNet系列網絡。為了測試不同網絡對復雜環境下的電氣設備分割效果，將Res-UNet系列網絡與UNet網絡，Deeplabv3＋網絡進行了對比。文獻[15]在研究紅外圖像電流互感器的分割方法時指出Deeplabv3＋網絡比segnet和FCN系列網絡對電流互感器的分割效果更好，因此，本文選擇與Deeplabv3＋進行對比。

UNet、Deeplabv3＋和Res-UNet系列網絡均為在tensorflow學習框架下搭建的平臺。將已標注的2300張紅外圖片作為訓練樣本，以4:1的比例隨機分配訓練集與測試集，兩者的樣本圖數量分別是3504和876，樣本圖像中包含了電流互感器和斷路開關。Res-UNet系列，UNet和Deeplabv3＋網絡都采用交叉熵作為損失函數，損失函數定義如下：

式中：為類別的損失權重；p(z)為像素z屬于真實類別的概率。

3種方法訓練得到的損失函數曲線如圖6所示，模型在epoch為100左右就達到收斂，Res18-UNet模型在epoch為10時基本達到收斂，收斂速度快，且收斂時其loss值更接近0。

圖6 網絡訓練過程損失函數對比

相同的樣本對不同的網絡模型訓練得到網絡參數，輸入測試樣本得到分割預測結果，并且用MIoU和Precision來評價紅外圖像目標分割效果。圖7～10是在測試集中隨機選擇一些樣本測試分割效果，圖7～10均是在某省變電站拍攝的紅外圖像，表1是圖7～10分割結果對應的MIoU值。圖7、8的分割目標是電流互感器，圖9、10的分割目標是斷路器。從圖7～10及表1的結果可以看出，UNet網絡的分割效果比Deeplabv3＋網絡分割效果更佳，Res-UNet系列網絡中，Res18-UNet網絡分割效果優于其他4個網絡。圖7電流互感器所處背景簡單，Res18-UNet網絡的目標分割率為0.9315，圖8中電流互感器處于復雜環境下，除了有電流互感器以外，還存在其他電氣設備，Res18-UNet網絡能夠在復雜背景下準確分割出目標，分割的準確率達到0.8839。圖9、10兩張圖都包含了3個斷路器，個別斷路器被局部遮擋或者被其背景干擾，斷路器的紋理不清晰，Res18-UNet對兩者的分割準確率在0.9左右，能分割出斷路器的主要輪廓。

圖7 簡單背景下電流互感器分割結果

圖8 復雜背景下電流互感器分割結果

表2是不同網絡對460張測試樣本集分割準確率的統計結果，測試樣本被分為了3類，分別是電流互感器、斷路器和背景。利用MIoU和準確率來衡量不同樣本對3類目標分割的準確性，其分割結果如表2所示，從表2的數據可知，UNet網絡比Deeplabv3＋網絡的分割結果更準確，相比于其他4種網絡，Res18-UNet對兩種電氣設備的分割效果更好，Res34-UNet和Res50-UNet兩種網絡的分割效果反而比UNet的分割效果更差。可見，利用ResNet網絡作為UNet的編碼部分提取特征構建的Res-UNet網絡的確可以提高目標分割的準確性，但是深層網絡（如Res34-UNet和Res50-UNet）因訓練樣本少導致的過擬合反而導致分割準確性下降。

圖10 局部遮擋下斷路器分割結果

表1 不同分割方法得到的MIOU值

表2 測試數據集的準確率

4 結論

本文研究了復雜背景下紅外圖像電氣設備目標分割，以電流互感器和斷路器為分割目標，構建Res-UNet系列網絡模型對小樣本的紅外圖像電氣設備進行分割。通過對Deeplabv3＋網絡，UNet和Res-UNet網絡在紅外圖像中電氣設備的分割效果進行對比，發現廣泛應用在醫學圖像分割的UNet模型對紅外圖像的分割效果較好，準確性優于Deeplabv3＋模型。Res18-UNet比UNet的分割效果更好，在測試樣本數量為876的數據集下，MIoU值超過89%，對電流互感器和斷路器的分割準確率Precision超過93%。由于樣本數量小，Res34-UNet和Res50-UNet兩種更深層網絡分割準確性反而下降，在樣本量充足的情況下，深層Res-UNet網絡可以提高電氣設備的分割準確性。限于篇幅，本文只針對電氣設備的分割問題展開了部分研究，對分割的目標后處理能進一步優化分割結果，如膨脹，腐蝕、輪廓區域提取和空洞填充，從而提取整個電氣設備的完整輪廓，為后續電氣故障缺陷自動檢測提供準確的數據源。

[1] 康龍. 基于紅外圖像處理的變電站設備故障診斷[D]. 北京: 華北電力大學, 2016.

KANG Long. Substation Equipment Fault Diagnosis Based on Infrared Image[D]. Beijing: North China Electric Power University, 2016.

[2] 曾亮. 基于紅外圖像的變電站設備故障精準定位方法的研究[D]. 重慶: 重慶理工大學, 2019.

ZENG Liang. Research on Precise Fault Location Method of Substation Equipment Based on Infrared Image[D]. Chongqing: Chongqing University of Technology, 2019.

[3] ZOU H, HUANG F. A novel intelligent fault diagnosis method for electrical equipment using infrared thermography[J]., 2015, 73: 29-35.

[4] 周建國, 雷民, 楊褚明, 等. 帶電設備紅外診斷應用規范: DL/T 664-2008[S]. 國家能源局, [2016-12-05].

ZHOU Jianguo, LEI Min, YANG Chuming, et al. Application Specification for Infrared Diagnosis of Live Equipment[S]. National Energy Administration, [2016-12-05].

[5] 許志浩, 鄭詩泉, 康兵, 等. 基于三相自搜尋比較法的電氣設備過熱故障識別方法[J]. 紅外技術, 2021, 43(11): 1112-1118.

XU Zhihao, ZHENG Shiquan, KANG Bing, et al. Overheat fault identification method for electrical equipment based on three-phase self-searching comparison method[J]., 2021, 43(11): 1112-1118.

[6] Rahmani A, Haddadnia J, SeryasatO. Intelligent fault detection of electrical equipment in ground substations using thermo vision technique[C]//2010 2, 2010: V2-150-V2-154.

[7] LIN K C, LAI C S. Fault recognition system of electrical components in scrubber using infrared images[C]//, 2003: 1303-1310.

[8] 王晶, 姚鄒靜, 趙春暉. 基于紅外圖像時空特征的電力設備故障診斷[J]. 控制工程, 2021, 28(8): 1683-1690.

WANG Jing, YAO Zoujing, ZHAO Chunhui. A fault diagnosis method for power equipment based on spatiotemporal features of infrared images[J]., 2021, 28(8): 1683-1690.

[9] 李文璞, 謝可, 廖逍, 等. 基于Faster RCNN變電設備紅外圖像缺陷識別方法[J]. 南方電網技術, 2019, 13(12): 79-84.

LI Wenpu, XIE Ke, LIAO Xiao, et al. Intelligent diagnosis method of infrared image for transformer equipment based on improved faster RCNN[J]., 2019, 13(12): 79-84.

[10] 王旭紅, 李浩, 樊紹勝, 等. 基于改進SSD的電力設備紅外圖像異常自動檢測方法[J]. 電工技術學報, 2020, 35(S1): 302-310.

WANG Xuhong, LI Hao, FAN Shaosheng, et al. Infrared image anomaly automatic detection method for power equipment based on improved single shot multi box detection[J].2020, 35(S1): 302-310.

[11] 鄭含博, 李金恒, 劉洋, 等. 基于改進YOLOv3的電力設備紅外目標檢測模型[J]. 電工技術學報, 2021, 36(7): 1389-1398.

ZHENG Hanbo, LI Jinheng, LIU Yang, et al. Infrared object detection model for power equipment based on improved YOLOv3[J]., 2021, 36(7): 1389-1398.

[12] 黃新宇, 張洋, 王黎明, 等. 基于Mask-RCNN算法的復合絕緣子串紅外圖像分割與溫度讀取[J]. 高壓電器, 2021, 57(9): 87-94.

HUANG Xinyu, ZHANG Yang, WANG Liming, et al. Infrared image segmentation and temperature reading of composite insulator strings based on mask?RCNN algorithm[J]., 2021, 57(9): 87-94.

[13] 李文璞, 毛穎科, 廖逍, 等. 基于旋轉目標檢測的變電設備紅外圖像電壓致熱型缺陷智能診斷方法[J]. 高電壓技術, 2021, 47(9): 3246-3253.

LI Wenpu, MAO Yingke, LIAO Xiao, et al. Intelligent diagnosis method of infrared image for substation equipment voltage type thermal defects based on rotating target detection [J]., 2021, 47(9): 3246-3253.

[14] 劉云鵬, 張喆, 裴少通, 等. 基于深度學習的紅外圖像中劣化絕緣子片的分割方法[J]. 電測與儀表, 2022, 59(9): 63-68.

LIU Yunpeng, ZHANG Zhe, PEI Shaotong, et al. Faulty insulator segmentation method in infrared image based on deep learning[J]., 2022, 59(9): 63-68.

[15] 袁剛, 許志浩, 康兵, 等. 基于DeepLabv3+網絡的電流互感器紅外圖像分割方法[J]. 紅外技術, 2021, 43(11): 1127-1134.

YUAN Gang, XU Zhihao, KANG Bing, et al. Deep Labv3+ network-based infrared image segmentation method for current transformer[J]., 2021, 43(11): 1127-1134.

[16] 谷世舉, 卜雄洙, 靳建偉, 等. 基于改進Unet網絡的炮口火焰分割方法[J]. 國外電子測量技術, 2021, 40(4): 16-21.

GU Shiju, BU Xingzhu, JIN Jianwei, et al. Muzzle flame segmentation method based on improved Unet network[J]., 2021, 40(4): 16-21.

[17] CHEN Z, ZHU H. Visual quality evaluation for semantic segmentation: subjective assessment database and objective assessment measure[J]., 2019, 28(12): 5785-5796.

Deep Residual UNet Network-based Infrared Image Segmentation Method for Electrical Equipment

LIU He1，ZHAO Tiancheng1，LIU Junbo1，JIAO Lixin1，XU Zhihao2，YUAN Xiaocui2

(1.,130021,;2.,,330099,)

Infrared thermal image processing is an effective method for detecting defects in electrical equipment. Aiming at the problem of electrical equipment segmentation in infrared thermal images with a complex background, in this study we propose a deep residual UNet network for infrared thermal image segmentation. Using a deep residual network to replace VGG16 to perform feature extraction and coding for the UNet network, a deep residual series UNET network was constructed to segment electrical equipment. To validate the effectiveness of the Res-UNet network, infrared images, including current transformers and circuit breakers, were used to test the segmentation results and were compared with the traditional UNet and Deeplabv3+ networks. The networks were tested using 876 images. The experimental results show that RES18-UNET can accurately segment electrical equipment; the segmentation precision of current transformers and circuit breakers is greater than 93%, and the mean intersection over union (MIoU) is greater than 89%. Our method obtains more accurate segmentation results than UNet and Deeplabv3+, setting the basis for intelligent diagnosis of electrical faults.

infrared image, electrical fault diagnosis, image segmentation, UNet

TN219；TM452

A

1001-8891(2022)12-1351-07

2022-03-25；

2022-04-29.

劉赫（1984-），男，吉林長春人，高級工程師，研究方向為電力設備故障檢測與診斷。E-mail: liuhehe1984@163.com。

趙天成（1992-），男，吉林長春人，工程師，碩士，研究方向為電力設備故障檢測與診斷。E-mail: 583107503@qq.com。

國網吉林省電力有限公司揭榜掛帥項目（2021JBGS-06）。