基于深度可分離空洞卷積金字塔的變壓器滲漏油檢測

趙文清，劉亮，胡嘉偉，翟永杰，趙振兵

（1.華北電力大學(xué) 控制與計(jì)算機(jī)工程學(xué)院, 河北 保定 071003; 2.復(fù)雜能源系統(tǒng)智能計(jì)算教育部工程研究中心,河北 保定 071003; 3.華北電力大學(xué) 電氣與電子工程學(xué)院, 河北 保定 071003）

變壓器滲漏油是造成變壓器故障的最主要原因，嚴(yán)重時(shí)會(huì)發(fā)生擊穿事故[1]，導(dǎo)致大面積停電甚至電網(wǎng)崩潰事故的發(fā)生[2]，常規(guī)的變壓器巡檢主要采取人工巡檢通過目測法判斷變壓器是否滲漏油，這種巡檢方式效率較低。而無人機(jī)巡檢、高清攝像頭巡檢和地面智能巡檢機(jī)器人巡檢正在成為變壓器智能巡檢的常態(tài)化巡檢方式。所以，目前變壓器巡檢的主要痛點(diǎn)是大幅增長的復(fù)雜背景下的巡檢圖像缺陷檢測需求與檢測精度、效率的相對(duì)低下之間的矛盾。基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的發(fā)展對(duì)目標(biāo)缺陷檢測起到了巨大推進(jìn)作用[3-4]。隨著深度學(xué)習(xí)發(fā)展的同時(shí)數(shù)據(jù)匱乏這個(gè)問題顯得尤為突出[5]，因此如何在少量數(shù)據(jù)樣本中訓(xùn)練出高精度網(wǎng)絡(luò)也非常值得思考。電力視覺技術(shù)的提出在電力系統(tǒng)、計(jì)算機(jī)視覺、深度學(xué)習(xí)三者之間建立了聯(lián)系[6]。近年來具有良好圖像分類效果的網(wǎng)絡(luò)通常是由卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）構(gòu)成，因?yàn)镃NN 往往具有很強(qiáng)的特征提取能力，在物體檢測、分割中有很好的表現(xiàn)。現(xiàn)在的目標(biāo)檢測網(wǎng)絡(luò)主要分為兩大類，一類是單階段檢測網(wǎng)絡(luò)，如Redmon 等[7]提出的單次檢測算法YOLO(you only look once)、YOLOv2[8]、YOLOv3[9]，Bochkovskiy 等[10]提出的YOLOv4、YOLOv7[11]，Liu 等[12]提出的單階段多框檢測算法(single shot multibox detector，SSD)。另一類是雙階段檢測網(wǎng)絡(luò)，如Girshick 等[13]提出的基于候選區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(region-based convolutional neural network, R-CNN)和Ren 等[14]提出的Faster R-CNN。其中單階段檢測網(wǎng)絡(luò)的精度低于雙階段檢測網(wǎng)絡(luò)，但單階段檢測網(wǎng)絡(luò)在檢測速度方面卻明顯高于雙階段檢測網(wǎng)絡(luò)。Li 等[15]利用熒光標(biāo)記法進(jìn)行滲漏油圖像識(shí)別,通過構(gòu)造飽和度和強(qiáng)度間的線性關(guān)系實(shí)現(xiàn)變壓器滲漏油的檢測。文獻(xiàn)[16]提出了一種基于RGB 圖像與熱圖像特征相融合的管道滲漏油檢測網(wǎng)絡(luò)。Li 等[17]為了能夠在日光下利用熒光標(biāo)記法實(shí)現(xiàn)變壓器滲漏油的檢測，增加了可見光組件來獲得變壓器表面強(qiáng)烈的鏡面反射，借此補(bǔ)充日光下熒光標(biāo)記法的不足。鮑偉超等[18]利用循環(huán)訓(xùn)練的方法實(shí)現(xiàn)變壓器地面滲漏油的檢測，通過引入帶有陰影的變壓器圖像提升模型對(duì)陰影的特征提取能力，該方法有效提高了地面滲漏油的檢測精度。Ghorbani等[19]通過遷移學(xué)習(xí)，利用VGG16 檢測圖像中是否存在滲漏油，隨后，使用語義分割網(wǎng)絡(luò)進(jìn)行像素級(jí)溢油檢測。Wang 等[20]通過捕獲溫度與油位之間的關(guān)系，提出了一種基于懲罰卷積的滲漏油檢測模型,以此捕獲溫度和油位之間的關(guān)系，然后，得到除溫度影響外靜態(tài)油位計(jì)和油量之間的真實(shí)關(guān)系，以此判斷是否存在滲漏油情況。Chen等[21]先利用VGG 進(jìn)行溢油分類，然后利用多類分割網(wǎng)絡(luò)完成滲漏油檢測。Li 等[22]提出了一種兩階段的變電設(shè)備缺陷檢測模型，第一階段利用分割算法提取目標(biāo)設(shè)備，第二階段通過缺陷識(shí)別方法來識(shí)別紅外圖像中的變電設(shè)備存在的缺陷。文獻(xiàn)[15]與文獻(xiàn)[17]實(shí)驗(yàn)數(shù)據(jù)停留在實(shí)驗(yàn)室階段，對(duì)觀測條件和設(shè)備要求較高，無法應(yīng)用到復(fù)雜背景下的變壓器日常巡檢任務(wù)中。文獻(xiàn)[18]提出算法對(duì)于地面滲漏油檢測精度較高，與背景復(fù)雜多變的巡檢圖像相比，地面滲漏油圖像背景較為單一。綜上所述，以上算法均不適用于本文所提出復(fù)雜背景下的變壓器滲漏油檢測。無人機(jī)巡檢、高清攝像頭巡檢和地面智能巡檢機(jī)器人巡檢等巡檢方式可以全方位、無死角的覆蓋到設(shè)備的各個(gè)層面，有利于快速且準(zhǔn)確地判斷變壓器缺陷情況。因此，利用光學(xué)檢測圖像處理、計(jì)算機(jī)視覺和深度學(xué)習(xí)技術(shù)等研究變壓器巡檢圖像中變壓器滲漏油的視覺檢測方法是非常緊迫和必要的，可提高其檢測的精度和效率，及時(shí)發(fā)現(xiàn)早期滲漏油，使變壓器的運(yùn)行維護(hù)更為高效和智能。

針對(duì)變壓器滲漏油形狀的不規(guī)則性，滲漏油所處背景的復(fù)雜性，本文選用DeepLabv3+[23]作為復(fù)雜背景下變壓器滲漏油檢測的基本模型，Xception[24]作為特征提取網(wǎng)絡(luò)。在此基礎(chǔ)之上，提出一種基于深度可分離空洞卷積金字塔結(jié)構(gòu)的變壓器滲漏油檢測模型。首先，將預(yù)處理后的變壓器圖像輸入到特征提取網(wǎng)絡(luò)，為增強(qiáng)特征圖語義信息的同時(shí)控制計(jì)算開銷，在特征提取網(wǎng)絡(luò)中提出了深度可分離空洞卷積金字塔結(jié)構(gòu)。其次，為減少進(jìn)行采樣時(shí)產(chǎn)生信息丟失，改進(jìn)了低階特征與高階特征融合過程。最后，在特征融合過程中引入多注意力機(jī)制，進(jìn)一步增強(qiáng)特征圖中的語義信息。

1 基本原理

DeepLabv3+采用編碼器解碼器結(jié)構(gòu)，如圖1所示。編碼器中采用Xception 作為特征提取網(wǎng)絡(luò)。然后在特征提取網(wǎng)絡(luò)尾端引入空洞卷積金字塔模塊，增強(qiáng)特征圖語義信息。相比DeepLabv3[25]，DeepLabv3+在解碼器中將低階特征與高階特征進(jìn)一步融合，提升語義分割邊界的準(zhǔn)確性。

圖1 DeepLabv3+網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 DeepLabv3+ network structure

1.1 Xception 特征提取網(wǎng)絡(luò)

Xception 主要由普通卷積層和深度可分離卷積層組成。深度可分離卷積層采用前向特征傳播，上一層的輸出用作本層的輸入，在每2 層深度可分離卷積層后引入殘差邊，提高網(wǎng)絡(luò)的特征提取能力。同時(shí)在每一個(gè)深度可分離卷積層后添加最大池化層來減少計(jì)算量。

1.2 空洞卷積金字塔

空洞卷積金字塔由1 個(gè)1×1 卷積層、3 個(gè)不同倍率的空洞卷積層（膨脹系數(shù)分別為6、12、18）、一個(gè)池化層組成，將提取到的特征輸入空洞卷積金字塔后得到5 個(gè)具有不同感受野的特征圖，最后，將得到的特征圖進(jìn)行拼接，并通過卷積調(diào)整通道數(shù)大小。

2 基于深度可分離空洞卷積金字塔的變壓器滲漏油檢測模型

圖2 為本文提出的基于深度可分離空洞卷積金字塔的變壓器滲漏油檢測模型（depth-separable atrous convolution pyramid，DSACP）。該模型主要包括圖像預(yù)處理模塊、深度可分離空洞卷積金字塔模塊、特征融合模塊、多注意力模塊等。圖像預(yù)處理模塊會(huì)對(duì)變壓器滲漏油圖像進(jìn)行不失真調(diào)整，將原圖像調(diào)整至512 像素×512 像素。深度可分離空洞卷積金字塔模塊起到特征提取作用，相較于普通卷積，該模塊在卷積核大小相同情況下，感受野更大且計(jì)算開銷更低。特征融合模塊將低階語義信息特征圖與高階語義信息特征圖融合，進(jìn)一步豐富特征圖語義信息，在融合過程中引入多注意力機(jī)制，可以使模型對(duì)變壓器滲漏油圖像中滲漏油部分有更好的特征提取能力。在此基礎(chǔ)之上，完成變壓器滲漏油檢測。

圖2 基于深度可分離空洞卷積金字塔的變壓器滲漏油檢測模型Fig.2 Transformer leakage oil detection model based on depth-separable atrous convolution pyramid

2.1 圖像預(yù)處理

首先，對(duì)變壓器滲漏油圖像進(jìn)行預(yù)處理，將圖像長寬限制為512 像素×512 像素。然后將預(yù)處理后的變壓器圖片輸入到特征提取網(wǎng)絡(luò)。

2.2 變壓器滲漏油圖像特征提取網(wǎng)絡(luò)

特征提取網(wǎng)絡(luò)完成變壓器滲漏油圖像特征提取。該主干網(wǎng)絡(luò)由多層深度可分離卷積塊構(gòu)成，塊內(nèi)前向傳播實(shí)現(xiàn)變壓器特征信息重用，增強(qiáng)特征圖的語義信息。同時(shí)塊間添加殘差邊來豐富特征圖的語義信息，在特征提取網(wǎng)絡(luò)后部引入深度可分離空洞卷積金字塔結(jié)構(gòu)。

圖3 為深度可分離空洞卷積金字塔結(jié)構(gòu)。深度可分離空洞卷積金字塔由深度空洞卷積(Depthwise Atrous Convolution)和點(diǎn)卷積(Pointwise Convolution)兩部分構(gòu)成。Depthwise Atrous Convolution的計(jì)算方式十分簡單，空洞卷積可以在卷積核不變的情況下擴(kuò)大感受野，它對(duì)輸入特征圖的每一個(gè)通道進(jìn)行空洞卷積，其中rate 代表空洞倍率，最后將卷積結(jié)果進(jìn)行拼接，然后通過1×1 卷積得到最終特征圖。Pointwise Convolution 實(shí)際上為1×1卷積，它主要有兩個(gè)作用。第1 個(gè)作用是能夠調(diào)整期望輸出通道數(shù)，第2 個(gè)作用是對(duì)Depthwise Atrous Convolution輸出的特征圖進(jìn)行通道融合。

圖3 深度可分離空洞卷積金字塔結(jié)構(gòu)Fig.3 Depthwise-separable dilated convolutional pyramid structure

下面對(duì)深度可分離空洞卷積金字塔和普通卷積的計(jì)算量進(jìn)行分析，假設(shè)輸入特征圖尺寸為DK×DK×M，卷積核尺寸為DF×DF×M，卷積核數(shù)量為N。假設(shè)對(duì)應(yīng)特征圖的每一個(gè)點(diǎn)都會(huì)進(jìn)行一次卷積操作。

單個(gè)卷積核計(jì)算量為

N個(gè)卷積核計(jì)算量為

Depthwise Atrous Convolution 計(jì)算量為

Pointwise Convolution 計(jì)算量為

深度可分離空洞卷積金字塔的計(jì)算總量為

深度可分離空洞卷積金字塔與標(biāo)準(zhǔn)卷積計(jì)算量比值為

由式(6)可知深度可分離空洞卷積金字塔效率遠(yuǎn)高于標(biāo)準(zhǔn)卷積。

2.3 變壓器滲漏油特征融合

2.3.1 多注意力模塊

多注意力模塊借鑒了空間注意力和位置注意力思想[26]，如圖4 所示。輸入的變壓器滲漏油特征圖會(huì)經(jīng)過一個(gè)通道注意力模塊，通道注意力模塊對(duì)輸入的變壓器滲漏油圖像特征圖分別進(jìn)行平均池化和最大值池化對(duì)特征圖在空間層面進(jìn)行壓縮。之后，通過共享全連接層后進(jìn)行元素合并。最后，通過Sigmod 函數(shù)得到通道注意力特征圖。空間注意力模塊將通道注意力特征圖作為輸入，通道注意力特征圖經(jīng)過平均池化和最大池化后通道被壓縮。然后，在經(jīng)過1 次卷積層后通道數(shù)被調(diào)整為1。最后，根據(jù)Sigmod 函數(shù)生成多注意力特征圖。

圖4 多注意力模塊Fig.4 Multi-attention module schematic

2.3.2 改進(jìn)的特征融合模塊

圖5 是改進(jìn)的特征融合過程。本文在低階特征F1與高階特征F3融合的基礎(chǔ)上，增加了低階特征F2與融合后的特征(F1,F3)的融合。在輸入低階特征后，會(huì)對(duì)特征圖添加注意力機(jī)制得到注意力特征圖。首先，輸入高階特征圖F3后會(huì)對(duì)高階特征圖F3進(jìn)行上采樣，將高階特征圖F3尺寸與低階特征F1調(diào)整一致。其次，上采樣完成后會(huì)對(duì)低階特征圖F1與高階特征圖F3進(jìn)行拼接操作。然后對(duì)融合后的特征圖(F1,F3)進(jìn)行上采樣，將特征圖(F1,F3) 尺寸與低階特征圖F2調(diào)整一致。最后，對(duì)低階特征圖F2與特征圖(F1,F3)進(jìn)行拼接操作。

圖5 改進(jìn)特征融合過程Fig.5 Improved feature fusion process

2.4 Dice 損失函數(shù)

Dice系數(shù)是一種集合相似度度量函數(shù)，通常用于計(jì)算兩個(gè)樣本的相似度(取值范圍為[0,1])，公式為

式中： |X∩Y|表 示集合X和Y的交集， |X|和 |Y|表示元素個(gè)數(shù)，對(duì)于語義分割任務(wù)， |X|和 |Y|分別代表GroundTrue和PredictMask。Dice系數(shù)越大代表重合度越大，但作為Loss是越小越好，所以Diceloss=1-Dice。為了防止分母為零，通常會(huì)添加一個(gè)Smooth作為緩沖，由此得到Diceloss：

3 實(shí)驗(yàn)及結(jié)果分析

3.1 數(shù)據(jù)及實(shí)驗(yàn)參數(shù)

本文實(shí)驗(yàn)數(shù)據(jù)集為變電站中實(shí)際采集數(shù)據(jù)，共計(jì)變壓器滲漏油圖像2 000 幅，以9∶1 的比例劃分為訓(xùn)練集和測試集。利用開源數(shù)據(jù)標(biāo)記軟件Labelme 對(duì)圖像完成標(biāo)記操作。本文使用的操作系統(tǒng)為Windows11，GPU 選用NVIDIA GTX 3060Ti，深度學(xué)習(xí)框架為Pytorch1.12.1。為了減少特征提取網(wǎng)絡(luò)的初始化權(quán)重對(duì)實(shí)驗(yàn)結(jié)果造成的影響，本文所選取骨干網(wǎng)絡(luò)Xception 已在ImageNet 上進(jìn)行過預(yù)訓(xùn)練，采用隨機(jī)梯度下降法進(jìn)行模型參數(shù)的更新。

本文實(shí)驗(yàn)參數(shù)設(shè)置如表1 所示。

表1 實(shí)驗(yàn)參數(shù)Table 1 Experimental parameters

3.2 實(shí)驗(yàn)結(jié)果及分析

采用查準(zhǔn)率(Precision,P)、平均交并比mIOU(Mean Intersection over Union, mIoU)、召回率(Recall,R)、檢測速率作為評(píng)價(jià)指標(biāo)進(jìn)行實(shí)驗(yàn)結(jié)果的分析。

式(9)～(11)所用符號(hào)注釋已在表2 中給出。

表2 符號(hào)注釋Table 2 Symbol notes

3.2.1 變壓器滲漏油數(shù)據(jù)集上的消融實(shí)驗(yàn)

本文設(shè)計(jì)了5 組消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3 所示。表3 中，B_LINE 代表基礎(chǔ)網(wǎng)絡(luò)，IFFN 代表改進(jìn)特征融合過程的網(wǎng)絡(luò)，MN(多注意力機(jī)制網(wǎng)絡(luò)，multihead attention net)代表結(jié)合多注意力機(jī)制的網(wǎng)絡(luò)，IFFN+MN 代表結(jié)合多注意力機(jī)制和改進(jìn)特征融合的網(wǎng)絡(luò)，DSACP 代表結(jié)合多注意力機(jī)制+改進(jìn)特征融合+深度可分離空洞卷積金字塔的網(wǎng)絡(luò)。

表3 消融實(shí)驗(yàn)結(jié)果Table 3 Ablation experimental result %

由表3 可知，使用未經(jīng)任何修改的模型進(jìn)行訓(xùn)練，模型的查準(zhǔn)率、平均交并比、召回率分別為67.52%、57.48%、67.90%。分析B_LINE 和IFFN 的實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，網(wǎng)絡(luò)的查準(zhǔn)率、平均交并比、召回率分別提升了2.51%、4.00%、1.97%，說明對(duì)特征融合過程改進(jìn)后增強(qiáng)了特征圖上的變壓器滲漏油語義信息。分析B_LINE 和MN 的實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，網(wǎng)絡(luò)的查準(zhǔn)率、平均交并比、召回率分別提升了5.67%、5.04%、5.07%，說明添加多注意力機(jī)制可以提高網(wǎng)絡(luò)的學(xué)習(xí)能力。分析IFFN+MN和DSACP 的實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，改進(jìn)后的深度可分離空洞卷積金字塔結(jié)構(gòu)與原空洞卷積金字塔結(jié)構(gòu)相比，改進(jìn)后的網(wǎng)絡(luò)查準(zhǔn)率、平均交并比分別提升了1.7%、0.56%，這是由于深度空洞卷積可以在卷積核大小不變的情況下擴(kuò)大特征提取網(wǎng)絡(luò)感受野，使特征提取網(wǎng)絡(luò)提取到的特征圖語義信息更加豐富，從而導(dǎo)致網(wǎng)絡(luò)查準(zhǔn)率、平均交并比的提升，以此說明提出的深度可分離空洞卷積金字塔結(jié)構(gòu)增強(qiáng)了特征提取網(wǎng)絡(luò)的提取能力。分析B_LINE 和DSACP 的實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，網(wǎng)絡(luò)的查準(zhǔn)率、平均交并比、召回率分別提升了9.33%、7.15%、5.66%。綜上所述，說明本文提出的3 種改進(jìn)方法對(duì)變壓器滲漏油圖像檢測確有優(yōu)勢。

消融實(shí)驗(yàn)結(jié)果可視化如圖6 所示。

圖6 消融實(shí)驗(yàn)可視化檢測結(jié)果Fig.6 Visualization of ablation experiment results

消融實(shí)驗(yàn)部分結(jié)論分析部分的查準(zhǔn)率、平均交并比、召回率的百分?jǐn)?shù)提升如表4 所示。

表4 消融實(shí)驗(yàn)結(jié)果提升率Table 4 Improvementrate of ablation experimental result %

3.2.2 與其他常用語義分割模型比較

為進(jìn)一步驗(yàn)證本文所提出模型的有效性，在變壓器滲漏油數(shù)據(jù)集上，使用本文提出模型DSACP與其他常用語義分割模型進(jìn)行了對(duì)比。對(duì)比實(shí)驗(yàn)參數(shù)的設(shè)置和本文方法的實(shí)驗(yàn)參數(shù)設(shè)置一致，卷積核大小均為3×3，實(shí)驗(yàn)結(jié)果如表5 所示。

表5 與其他算法比較Table 5 Comparison with other model arithmetic

由表5 可知，分析UNet 與DSACP 的實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，本文所提模型DSACP 的查準(zhǔn)率、平均交并比、召回率相較于UNet 分別提升了13.3%、5.75%、10.15%，檢測速率提升了10 f/s。分析PSPNet 與DSACP 的實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，本文所提模型DSACP的查準(zhǔn)率、平均交并比、召回率相較于PSPNet 分別提升了2.75%、4.39%、5.76%，檢測速率提升了3 f/s。分析Deeplabv3+與DSACP 的實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，本文所提模型DSACP 的查準(zhǔn)率、平均交并比、召回率相較于PSPNet 分別提升了9.33%、7.15%、5.66%，檢測速率降低了4 f/s，原因是添加多注意力模塊后模型的計(jì)算開銷增加，但在計(jì)算開銷略有增長的情況下，查準(zhǔn)率、平均交并比、召回率明顯提升。分析MCNN 與DSACP 的實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，本文所提模型DSACP 的查準(zhǔn)率、平均交并比、召回率相較于MCNN 分別提升了14.73%、5.37%、2.56%，檢測速率提升了5 f/s。本文所提模型DSACP 與其他語義分割模型相比具有明顯的優(yōu)勢, 查準(zhǔn)率、平均交并比、召回率均有提升，DSACP 的檢測速率高于UNet、PSPNet 和MCNN算法，模型生成的掩碼圖更加貼合變壓器實(shí)際滲漏油區(qū)域，并且能夠很好地捕捉變壓器滲漏油圖像中的邊緣滲漏油區(qū)域。進(jìn)一步證明了本文模型DSACP 針對(duì)變壓器滲漏油圖像檢測的優(yōu)勢。

不同語義分割模型實(shí)驗(yàn)結(jié)果可視化如圖7所示。

圖7 不同語義分割算法可視化檢測結(jié)果Fig.7 Visualization of detection results of common semantic segmentation algorithms

4 結(jié)束語

針對(duì)變壓器滲漏油背景復(fù)雜、油液形狀多樣、特征圖語義信息不豐富等問題，本文在語義分割網(wǎng)絡(luò)DeepLabv3+的基礎(chǔ)上提出了基于深度可分離空洞卷積金字塔的變壓器滲漏油檢測模型。主要工作如下：

1）提出深度可分離空洞卷積金字塔結(jié)構(gòu)，該模塊可以增強(qiáng)特征圖的視覺信息和語義信息；

2）通過對(duì)特征圖進(jìn)行二次融合，改進(jìn)特征融合過程；

3）引入多注意力機(jī)制增強(qiáng)網(wǎng)絡(luò)對(duì)圖像的特征提取能力。

實(shí)驗(yàn)結(jié)果表明，本文所提模型DSACP 可以顯著提升變壓器滲漏油的檢測效果,模型的查準(zhǔn)率、平均交并比、召回率大幅提升，可為變壓器滲漏油檢測提供量化依據(jù)與指導(dǎo)。本文的研究成果可以推廣到其他領(lǐng)域的滲漏油檢測中，如：海洋滲漏油檢測、鐵路軌道滲漏油檢測，展現(xiàn)出十分廣闊的應(yīng)用前景。