基于卷積神經(jīng)網(wǎng)絡(luò)的主變壓器外觀缺陷檢測方法

位一鳴，童 力，羅 麟，楊 珊

（1.國網(wǎng)浙江省電力有限公司舟山供電公司，浙江 舟山 316021；2.國網(wǎng)浙江省電力有限公司電力科學(xué)研究院，杭州 310014）

0 引言

目前，變電設(shè)備狀態(tài)檢修技術(shù)主要是根據(jù)電壓、電流等電氣量和油溫、油壓等物理量來判斷設(shè)備的運行狀態(tài)[1]。隨著變電站智能化程度的提升以及智能運檢技術(shù)的逐步普及，開始出現(xiàn)利用圖像識別、文本挖掘等人工智能技術(shù)輔助開展設(shè)備健康狀態(tài)判斷[2-3]。目前，變電站運維人員通常采用照相機(jī)、攝像機(jī)等手持終端設(shè)備對站內(nèi)主要電氣設(shè)備進(jìn)行圖像采集；除此之外，大量的巡檢機(jī)器人、分布式攝像頭已經(jīng)布置于變電站，負(fù)責(zé)圖像的采集和現(xiàn)場的監(jiān)控。視覺圖像能夠反映設(shè)備存在的缺陷問題，通常包括漏油、銹蝕、斷路器開合及零部件損壞等。然而，變電站設(shè)備數(shù)量眾多，一方面需要有經(jīng)驗的運維人員來進(jìn)行缺陷識別，另一方面單純依賴人工，難以做到實時地或預(yù)防性地獲取設(shè)備的缺陷狀況。

基于人工智能的圖像識別技術(shù)發(fā)展已經(jīng)十分成熟，在人臉識別、自動駕駛等領(lǐng)域已經(jīng)有了較為廣泛的應(yīng)用；與此同時，在能源、機(jī)械等工業(yè)領(lǐng)域，利用圖象識別技術(shù)對設(shè)備外觀進(jìn)行圖像檢測也有許多深入的研究與應(yīng)用。在電力行業(yè)中，圖像識別技術(shù)在輸電線路絕緣子外觀檢測方面已經(jīng)有了初步應(yīng)用。供電公司利用無人機(jī)對輸電線路絕緣子進(jìn)行圖像采集后，召集運維專業(yè)人員對各種類型缺陷進(jìn)行分類打標(biāo)，得到高質(zhì)量的輸電線路缺陷圖像樣本集；在此基礎(chǔ)上，利用紅外分析方法[4-5]完成缺陷定性，基于角點、梯度[6-7]等圖形特征或基于目標(biāo)檢測方法[8-9]進(jìn)行絕緣子缺陷的定位。對于變電設(shè)備，現(xiàn)階段的圖像識別技術(shù)主要基于紅外熱圖[10]，但紅外圖無法有效展示出設(shè)備的外觀缺陷，依舊需要基于可見光的檢測方式。以變壓器為例，目前基于可見光的變壓器外觀缺陷檢測技術(shù)，大多局限于單一部件，并且對圖像采集的條件有較高要求，而機(jī)器人巡視采集的圖像無法滿足變壓器精確分析的技術(shù)需求[11]。

研究表明，無論是變電或輸電設(shè)備，在利用可見光圖像進(jìn)行外觀缺陷識別檢測時，主要面臨以下兩方面問題：

（1）定位不準(zhǔn)，即設(shè)備定位依靠預(yù)先設(shè)置完成，但圖像采集設(shè)備（如巡檢機(jī)器人）的行進(jìn)誤差往往會導(dǎo)致目標(biāo)對象無法出現(xiàn)在采集圖像的準(zhǔn)確位置，導(dǎo)致檢測失準(zhǔn)。

（2）負(fù)樣本數(shù)量不足，因為變電站內(nèi)采集的設(shè)備圖像多為正樣本，包含銹蝕、漏油等外觀缺陷的負(fù)樣本數(shù)量等級不匹配，會導(dǎo)致算法模擬訓(xùn)練過擬合、泛化能力差等問題，造成誤檢。

本文以變電站內(nèi)的主變壓器（以下簡稱“主變”）為對象，提出了一種基于CNN（卷積神經(jīng)網(wǎng)絡(luò)）的主變外觀缺陷檢測方法。首先，針對定位問題，利用SSD 算法精準(zhǔn)截取目標(biāo)設(shè)備，用于檢測外觀缺陷。然后，針對負(fù)樣本不足問題，利用基于VGG-Net 的風(fēng)格遷移算法，生成缺陷樣本用于擴(kuò)充樣本集，提升判別模型的泛化能力。 最后，利用實際運維采集的主變圖像樣本集進(jìn)行算法驗證，校驗本文所提方法的變壓器外觀缺陷識別檢出能力，對方法的有效性和可行性進(jìn)行驗證。

1 基于機(jī)器視覺的主變外觀缺陷檢測

目前，智能化變電站內(nèi)主要的圖像采集設(shè)備包括巡檢機(jī)器人、分布式攝像頭以及各類手持終端設(shè)備。相比于手持終端，巡檢機(jī)器人、分布式攝像頭更加適用于無人值守變電站內(nèi)采集設(shè)備圖像。 對于分布式攝像頭，電網(wǎng)公司出于安全考慮，運維人員只能調(diào)取實時畫面，無法獲取變電站監(jiān)控系統(tǒng)硬盤內(nèi)的視頻數(shù)據(jù)，因而無法作為圖像識別算法的數(shù)據(jù)樣本。巡檢機(jī)器人擁有強(qiáng)大的計算能力，不僅能夠完成圖像采集，還具備離線/在線分析的能力。綜上，巡檢機(jī)器人更加適用于變電站內(nèi)主變外觀缺陷檢測所需圖像的采集平臺。通常，基于機(jī)器視覺的電力設(shè)備外觀缺陷識別與檢測由采集樣本、目標(biāo)提取和外觀檢測3 個環(huán)節(jié)組成。

（1）采集樣本，即獲取待檢測對象的圖像樣本集。本文以國網(wǎng)浙江省電力有限公司的12 座變電站中利用智能巡檢機(jī)器人采集到的主變樣本圖像構(gòu)成樣本集，圖1 為主變樣本圖像示例。

（2）目標(biāo)檢測，即提取圖像中的被檢測目標(biāo)設(shè)備。由于圖像采集設(shè)備（巡檢機(jī)器人）攝制位置、角度可能存在誤差，導(dǎo)致無法實現(xiàn)目標(biāo)對象的精確提取，因而需要對目標(biāo)設(shè)備進(jìn)行定位識別。

（3）外觀檢測，即利用深度神經(jīng)網(wǎng)絡(luò)算法建立學(xué)習(xí)模型，對圖像中被提取的設(shè)備進(jìn)行外觀缺陷的識別和檢測，并給出結(jié)果供運維人員分析和判別。

2 基于深度學(xué)習(xí)的變壓器目標(biāo)提取

圖1 主變樣本圖像示例

由于圖像采集過程中各種因素的偏差問題，在進(jìn)行外觀檢測缺陷識別前需要對圖像進(jìn)行目標(biāo)提取。目前，針對電力設(shè)備應(yīng)用場合，主要采用提取固定特征的目標(biāo)提取方法，如角點特征、微分特征及統(tǒng)計直方圖等。這些方法基于特定的特征，依賴人工調(diào)整參數(shù)閾值，在使用時存在判斷邏輯復(fù)雜、穩(wěn)定性較差等問題，并且會隨著光線、場景的變化造成檢測失準(zhǔn)。為了實現(xiàn)目標(biāo)對象的準(zhǔn)確提取，本文提出了基于深度神經(jīng)網(wǎng)絡(luò)算法實現(xiàn)目標(biāo)檢測，即利用大量變電站內(nèi)主變圖像樣本數(shù)據(jù)訓(xùn)練機(jī)器學(xué)習(xí)模型，來提取圖像中目標(biāo)物體的位置，這樣做可以帶來更高的準(zhǔn)確性和更強(qiáng)的泛化能力。

目前，常用目標(biāo)檢測方法包括RCNN 算法[12]、Fast-RCNN 算法[13]、Faster-RCNN 算法[14]。RCNN算法是利用Selective Search 完成對圖像的分割，并利用色差、紋理等特征進(jìn)行區(qū)域合并，篩選出目標(biāo)區(qū)域，再對目標(biāo)區(qū)域用CNN 作出判別，其工作原理如圖2 所示。但是，由于變電站中獲取到的圖像樣本背景、紋理均較為復(fù)雜，使得Selective Search 算法提取目標(biāo)區(qū)域往往耗時較長，并且以紋理相似度作為分割標(biāo)準(zhǔn)使得檢測準(zhǔn)確度太低，因而該算法不適用于主變設(shè)備的目標(biāo)檢測。在此基礎(chǔ)上，F(xiàn)ast-RCNN 算法、Faster-RCNN算法提出用神經(jīng)網(wǎng)絡(luò)取代Selective Search 完成預(yù)選框的選取。這樣在計算速度、準(zhǔn)確率上均有所提升，但是仍舊無法避免目標(biāo)位置檢測與目標(biāo)種類識別需要各經(jīng)歷一次神經(jīng)網(wǎng)絡(luò)計算的問題，使得計算量依舊偏大。

圖2 基于RCNN 的目標(biāo)檢測流程

為了解決上述問題，有學(xué)者提出YOLO[15]算法，通過網(wǎng)格將圖像切分為固定的“小塊”，并對每個“小塊”利用多尺度滑窗進(jìn)行目標(biāo)檢測，再利用神經(jīng)網(wǎng)絡(luò)計算目標(biāo)位置與目標(biāo)類別，其目標(biāo)檢測流程如圖3 所示。這樣一來，經(jīng)歷一次神經(jīng)網(wǎng)絡(luò)就可同時得到目標(biāo)位置和類型。但是網(wǎng)格劃分的尺度大小會顯著影響檢出效果，算法性能上存在著大目標(biāo)和小目標(biāo)難以有效兼顧的問題。

圖3 基于YOLO 算法的目標(biāo)檢測流程

綜合以上算法的優(yōu)缺點，本文提出基于SSD深度學(xué)習(xí)的目標(biāo)提取方法。在YOLO 算法的基礎(chǔ)上，結(jié)合SSD[16]算法進(jìn)行神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，利用不同層次的卷積層實現(xiàn)多尺度滑窗目標(biāo)檢測，其檢測流程如圖4 所示。首先，經(jīng)過第1 層卷積處理后，特征圖像包含了豐富的局部特征，利于檢測小尺度目標(biāo)，因此本文中用于對特征圖進(jìn)行劃分的網(wǎng)格比較密集，為3×3 網(wǎng)格。隨后，每個網(wǎng)格根據(jù)特征圖的結(jié)果，輸出當(dāng)前網(wǎng)格總共B 個尺度的檢測框相應(yīng)目標(biāo)位置以及置信度p、對目標(biāo)所有C 個可能類型的判定結(jié)果。 隨著卷積層的加深，特征圖中包含的局部特征逐漸減少，整體特征逐漸增加，更加利于大尺度目標(biāo)的檢測，因此用于對特征圖進(jìn)行劃分的網(wǎng)格愈發(fā)稀疏。在圖4中，第2 層的卷積圖為2×2 網(wǎng)格，第3 層卷積圖中只有1 個網(wǎng)格。最終對于SSD 算法而言，第i層輸出的結(jié)果總數(shù)為Si×Si×（B×5+C），其中Si為第i 層卷積步長。最后，將不同層次的特征圖檢測結(jié)果進(jìn)行匯總、去重，得到最后的精確檢測結(jié)果。

圖4 基于SSD 算法的目標(biāo)檢測流程

可以看到，相較于YOLO 算法只在一種網(wǎng)格劃分細(xì)度下進(jìn)行目標(biāo)檢測，SSD 算法利用了多層特征圖不同密度的網(wǎng)格進(jìn)行目標(biāo)檢測，對大尺寸目標(biāo)和小尺寸目標(biāo)都有良好的識別能力。相比于前述幾種典型方法，SSD 算法兼顧了運算速度與檢測準(zhǔn)確率，因此本文采用SSD 算法完成主變圖像目標(biāo)檢測。

3 基于CNN 算法的變壓器外觀檢測

本文提出基于Le-net 算法[17]的外觀判別神經(jīng)網(wǎng)絡(luò)，用于實現(xiàn)對提取的變壓器設(shè)備外觀缺陷的準(zhǔn)確識別。設(shè)定的主變外觀缺陷檢測目標(biāo)為銹蝕和漏油兩類最常見的典型缺陷，而在日常巡檢工作過程中，這兩類缺陷圖像通常難以采集。本文通過網(wǎng)絡(luò)進(jìn)行這兩類缺陷圖像的樣本收集工作，并基于風(fēng)格遷移算法對設(shè)備缺陷負(fù)樣本進(jìn)行擴(kuò)充，以有效解決負(fù)樣本不足的問題。

3.1 基于Le-net5 的判別網(wǎng)絡(luò)

主變的銹蝕、漏油等外觀缺陷具有如下特點：與正常區(qū)域有明顯的像素差異，缺陷區(qū)域范圍隨機(jī)性較大。因此，用于實現(xiàn)主變外觀缺陷檢測的算法需要在特征提取時能明顯區(qū)分局部區(qū)域之間的差異，并能對圖片全部區(qū)域進(jìn)行描述。由于進(jìn)行外觀檢測的圖像是已經(jīng)過SSD 算法目標(biāo)檢測提取出的設(shè)備區(qū)域，使得圖像中不再有復(fù)雜背景，因而不需要復(fù)雜的網(wǎng)絡(luò)（諸如Alexnet、Googlenet）來提升判別模型的泛化能力。 除此之外， 由于GBDT、SVM、BP-network 等基于統(tǒng)計學(xué)習(xí)的分析方法缺乏對局部特征的表述能力，因此本文提出基于Le-net5 算法構(gòu)建判別網(wǎng)絡(luò)，充分利用Le-net5 算法對于局部特征與全局特征的良好描述能力，來完成主變外觀缺陷的識別檢出。基于Le-net5 算法的判別網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示。

圖5 基于Le-net5 算法的判別網(wǎng)絡(luò)結(jié)構(gòu)

相較于簡單的BP-network，Le-net5 的卷積層與池化層對于局部特征與全局特征都有良好的擬合能力；相對于復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)，Le-net5具有結(jié)構(gòu)簡單、易于計算的特點。如圖5 所示，首先將原始圖像經(jīng)過多層卷積、池化處理，使原本大尺度的RGB 三維度圖像簡化為多維度、小尺度的特征圖；隨后，利用全連接層網(wǎng)絡(luò)，將特征圖連接為列向量化的圖像特征；最后，利用softmax 判別模型，對圖像中的設(shè)備外觀狀態(tài)進(jìn)行判別，最終完成典型缺陷的識別檢出?；谏鲜龇椒ǎ诰邆淞己脴颖炯那疤釛l件下，Le-net5算法對類似的缺陷分類問題具有十分出色的檢出效果。但是在樣本數(shù)量不足，尤其是負(fù)樣本數(shù)量欠缺的情況下，基于Le-net5 的判別模型容易產(chǎn)生過擬合，無法取得理想的缺陷檢出效果。

3.2 基于VGG-Net 的風(fēng)格遷移數(shù)據(jù)增生

相較于輸電設(shè)備，針對變電設(shè)備開展圖像識別應(yīng)用存在著負(fù)樣本數(shù)量少、異常區(qū)域小的問題。為了生成訓(xùn)練模型并提升模型的泛化能力，需要人為補(bǔ)充負(fù)樣本。目前，已有的生成模型的框架有GAN、VAE 等[18-19]；但是在生成模型的同時，需要大量的樣本進(jìn)行訓(xùn)練。在本文所述應(yīng)用場景中，主變的外觀缺陷缺少足夠數(shù)量的負(fù)樣本，難以為生成模型的構(gòu)造提供良好的數(shù)據(jù)集。

盡管在實際生產(chǎn)運維中難以收集足夠數(shù)量的主變外觀缺陷負(fù)樣本，但可以采集到許多其他設(shè)備的生銹、油污樣本，這些樣本中包含了重要紋理特征。因此，本文提出利用VGG-Net 算法，在保留圖像內(nèi)容的前提下完成風(fēng)格遷移。 在文獻(xiàn)[20]中，有算法將圖像視為由紋理與內(nèi)容兩部分構(gòu)成；通過淺層的卷積層便可提取到局部表征紋理的特征，而通過深層的卷積層便可提取到圖像的內(nèi)容特征。假設(shè)某l 層得到的運算響應(yīng)為：

式中：Nl為該層卷積核個數(shù)；Ml為卷積核大??；R 為卷積的取值空間。

以Fl，ij表示l 層第i 個卷積核所在位置j 的輸出，此時l 層的Content Loss（內(nèi)容損失）為：

由于圖像內(nèi)容需在深層網(wǎng)絡(luò)中提取，因此式（1）中l(wèi) 層即為最深層。

l 層的Style Loss（風(fēng)格損失）為：

式中：Al和Gl為圖像對于l 層的響應(yīng)。

由于圖像是由多層構(gòu)成，其總的風(fēng)格損失為：

總的損失為：

式中：α 和β 為內(nèi)容損失與風(fēng)格損失的計算系數(shù)，可以根據(jù)需要調(diào)整。

最終，基于VGG-Net 風(fēng)格遷移的負(fù)樣本生成流程如圖6 所示。

圖6 基于VGG-net 風(fēng)格遷移的負(fù)樣本生成流程

在實際條件下，主變的銹斑、漏油位置通常是不固定的，而生成的異常圖像全圖都包含了異常紋理。因此，為得到較為真實的異常圖像，需要將正常圖像與異常圖像進(jìn)行融合，如圖7 所示。

圖7 生成圖與原始圖融合流程

本文采用了一種隨機(jī)缺陷區(qū)域融合方法，以獲得較為真實的缺陷圖像。

4 算法驗證

根據(jù)在國網(wǎng)浙江省電力有限公司12 座變電站采集到的主變圖像所形成的樣本集， 本文在Tensorflow 框架下對所提檢測方法進(jìn)行測試驗證，執(zhí)行算法運算的硬件配置如表1 所示。

表1 算法運行硬件配置

4.1 目標(biāo)檢測

如前所述，搭建基于SSD 深度學(xué)習(xí)算法的目標(biāo)檢測模型，關(guān)鍵參數(shù)如表2 所示。

在進(jìn)行目標(biāo)檢測前，將采集到的樣本劃分為訓(xùn)練集和測試集，基于訓(xùn)練集對模型進(jìn)行訓(xùn)練后，在測試集上對算法模型進(jìn)行檢驗。訓(xùn)練集數(shù)量為1 000，測試集數(shù)量為200，經(jīng)過10 000 次迭代后，得到的結(jié)果如表3 所示。與此同時，將本文所提SSD 算法與前述Faster-RCNN、YOLO 算法的圖像處理速度和正確率進(jìn)行對比，結(jié)果如表4所示。

表2 SSD 模型關(guān)鍵參數(shù)

表3 基于SSD 算法模型的目標(biāo)檢測效果

表4 其他算法效果對比

可以看到，SSD 算法計算出的目標(biāo)區(qū)域與標(biāo)注區(qū)域的平均重合率能夠達(dá)到95%，并且預(yù)先標(biāo)注的變壓器關(guān)鍵部位未出現(xiàn)遺漏現(xiàn)象； 相比于YOLO 算法，SSD 算法的圖片處理時間雖然慢了6 ms，但是檢測區(qū)域重合率高出了7%； 盡管Faster-RCNN 的檢測區(qū)域重合率最高，但處理速度要慢得多。由此可見，本文所提出的SSD 算法能夠做到正確率與速度兼顧，滿足設(shè)備外觀檢測的需求。圖8 所示為幾個實際變電站圖像樣本目標(biāo)檢測結(jié)果示例，其中實線方框?qū)?yīng)目標(biāo)檢測區(qū)域，虛線方框?qū)?yīng)標(biāo)注區(qū)域。顯然，標(biāo)注區(qū)域與目標(biāo)區(qū)域基本重合，表明本文所提方法能夠準(zhǔn)確地提取變壓器對象。

圖8 測試樣本變壓器目標(biāo)檢測示例

4.2 基于實際樣本集的外觀檢測

在本文采集到的樣本中，正樣本1 000 張，漏油樣本50 張，銹蝕樣本50 張。按照50%的比例分配訓(xùn)練樣本和測試樣本，即固定負(fù)樣本數(shù)量為25 張，調(diào)整正樣本數(shù)量，使得訓(xùn)練樣本的正負(fù)樣本比例分別為20：1，10：1，5：1 進(jìn)行3 組測試對比。將softmax 層閾值設(shè)定為0.5，迭代次數(shù)設(shè)為10 000 次，得到驗證結(jié)果如表5 所示[21]。

可以看到，當(dāng)正負(fù)樣本比例為20：1 時，準(zhǔn)確率高達(dá)99%，召回率僅為52%，但外觀缺陷難以檢出。在此基礎(chǔ)上，固定負(fù)樣本數(shù)量，減少正樣本數(shù)量，在較小正負(fù)采樣比條件下進(jìn)行測試，可以看到召回率明顯升高， 分別達(dá)到了68%和80%，但是準(zhǔn)確率卻下降至83%；盡管外觀缺陷可以基本檢出，但是存在正常樣本被大量誤檢的問題。由以上驗算結(jié)果可知，在負(fù)樣本不足的情況下，模型泛化能力較低，不論如何調(diào)整正負(fù)樣本的比例關(guān)系，準(zhǔn)確率-召回率綜合評價指標(biāo)均無法提升（在0.34～0.41 的范圍變化），難以滿足實際工程應(yīng)用的要求。本文進(jìn)一步對多種模型的外觀檢測效果進(jìn)行了比對，在正負(fù)樣本比例5：1 的條件下，得到比對實驗結(jié)果如表6 所示。

表5 基于真實樣本的實驗結(jié)果

表6 不同模型算法的真實樣本比對實驗結(jié)果

可以看到，相對于簡單的BP 網(wǎng)絡(luò)等，Le-net的正確率有明顯的提升（可以達(dá)到83%）；而相比于其他更加復(fù)雜的網(wǎng)絡(luò)，幾個主要的技術(shù)指標(biāo)均相差不大，算法復(fù)雜度的提升并沒有帶來應(yīng)用效果的顯著提升，因此選擇Le-net 作為目標(biāo)檢測的模型是合理的。

4.3 基于風(fēng)格遷移模型的樣本擴(kuò)充與改進(jìn)判別模型

為了進(jìn)一步提升算法模型的性能，需要增加負(fù)樣本，本文利用風(fēng)格遷移進(jìn)行圖像樣本集擴(kuò)充，圖9 所示即為負(fù)樣本生成流程。

圖9 負(fù)樣本生成流程

按照上述方法，將負(fù)樣本擴(kuò)充150 張，使得總負(fù)樣本數(shù)量達(dá)到200 張。此時，依然固定正樣本數(shù)量為1 000 張，通過增加負(fù)樣本數(shù)量以改變正負(fù)樣本采樣比，得到的比對實驗結(jié)果如表7 所示?？梢钥吹?，隨著負(fù)樣本數(shù)量的增加，盡管準(zhǔn)確率略有下降（由100%降至98%），但是召回率明顯提升（達(dá)到了100%），在5：1 的正負(fù)樣本訓(xùn)練比例下，測試中異常樣本的檢出率已經(jīng)達(dá)到了100%，并且正常樣本的誤檢率也提升到了可以接受的范圍，算法性能滿足工程應(yīng)用的技術(shù)要求。

表7 基于擴(kuò)充樣本的實驗結(jié)果

5 結(jié)語

本文針對巡檢機(jī)器人采集的主變圖像，提出了一種基于CNN 的主變外觀缺陷機(jī)器視覺識別檢測方法，能夠?qū)崿F(xiàn)采集圖像“目標(biāo)自動抓取、外觀缺陷自動分析”的功能。該方法具有如下特點：

（1）使用的SSD 算法可以對主變設(shè)備進(jìn)行準(zhǔn)確定位，保證檢測結(jié)果無遺漏。

（2）通過風(fēng)格遷移與隨機(jī)缺陷區(qū)域生成對樣本進(jìn)行擴(kuò)充，得到了較為真實的負(fù)樣本，豐富了樣本集。

（3）在擴(kuò)充后的樣本集上訓(xùn)練的外觀缺陷判別模型相較于擴(kuò)充前的性能有了明顯提升，缺陷檢出率、正常誤檢率都有了明顯的改善。