基于深度學習和超分辨率重構技術的圖像缺陷診斷算法

梁翀,李程啟,張彬彬,呂學賓

基于深度學習和超分辨率重構技術的圖像缺陷診斷算法

梁翀1,李程啟2,張彬彬1,呂學賓3

1. 安徽繼遠軟件有限公司, 安徽 合肥 230088 2. 國網山東省電力公司電力科學研究院, 山東 濟南 250003 3. 國網山東省電力公司, 山東 濟南 250003

雖然深度學習在圖像檢測領域取得了長足進步，但是由于變電站設備巡檢圖像背景復雜，導致了缺陷診斷面臨一定的困難。本文提出了一種基于深度學習和超分辨技術的缺陷檢測算法，一方面是鎖定目標區域，聚焦檢測設備，去除不相關的圖像信息，大幅降低了圖像有效信息的損失；另一方面是對檢測設備進行超分辨率重建，提升分辨率，保證用于滲漏油缺陷檢測的圖像質量、像素信息的完整性。通過實驗數據證明，該算法識別結果較其他算法有很大的提升，從而驗證了該算法的優越性。

深度學習;超分辨率技術; 圖像; 缺陷檢測

充油設備是變電站常見的一次設備，對于變電站的安全運行具有重要的作用，要經受較長時間的露天暴露，再加上一系列外部因素，容易導致充油設備發生滲漏油現象。一旦發生滲漏油，嚴重的話就會引起供電中斷從而影響整個電網的安全運行。目前通過深度學習[1,2]、圖像識別技術[3,4]對充油設備滲漏油等缺陷圖片進行圖像識別處理，從而形成缺陷診斷。但目前由于充油設備種類較多，識別難度較大，傳統的深度學習圖像識別方法特征提取能力不足，導致充油設備滲漏油缺陷檢測效果無法滿足實際業務需求，本方案針對上述問題提出了一種結合超分辨率重建技術[5-7]深度學習技術的診斷識別算法策略，減少了大量不利于缺陷診斷的特征信息，而是直接關注于充油設備的感興趣區域，大量減少一些無效信息。采用超分重構算法對充油設備圖像進行重構，提升分辨率，保證用于滲漏油缺陷檢測的圖像質量，保證像素信息的完整性。實驗數據證明，本文方法識別結果在算法精度上有很大的提升，因此本文的方法具有一定的可行性，具備推廣應用價值。

1 超分辨率重建技術

超重建卷積神經網絡（SRCNN）是率先嘗試結合了卷積神經網絡和超分辨率重建技術的各自優勢，具體是利用雙立插值法將輸入的低分辨率圖像尺寸變成目標尺寸大小，然后再利用卷積網絡的非線性擬合能力去擬合低分辨率圖像與高分辨率圖像之間的非線性映射關系，最后將網絡輸出的結果作為重建后的高分辨率圖像。

高效亞像素卷積神經網絡（ESPCN）與SRCNN不同之處在于ESPCN舍棄了對輸入的低分辨率圖像進行上采樣操作，因為ESPCN中引入一個亞像素卷積層結構，它間接對低分辨率圖像尺寸進行擴大。此舉最大的優勢就是減少計算量，大大提高了重建效率。

雖然多數情況下使用均方差作為基于深度學習的重建技術的網絡訓練的損失函數，這容易導致重建后的圖像容易出現高頻丟失的現象。而生成對抗網絡（GAN）中的鑒別器結構很好的處理了高頻信息丟失的問題。超分辨率生成對抗網絡（SRGAN）同樣采用了生成式對抗網絡，利用生成式對抗網絡的競爭形式：判別器越來越擅長區分真實數據和生成數據，與此同時生成器不斷學習從而讓判別器更難區分。通過這樣不斷的生成-鑒別相互對抗的過程，使得生成器能夠將給定的低分辨率圖像復原為高分辨率圖像。

2 基于深度學習的超分辨率重構圖像診斷算法

本文提出的基于深度學習的超分辨率重構圖像診斷算法，首先是利用基于Faster-RCNN深度學習算法實現對充油設備的完整性檢測，即先檢測出充油設備，縮小目標診斷范圍；其次利用改進的基于超分辨率技術的對抗網絡，對檢測到的充油設備進行超分辨率重構，重構目的是提升待診斷圖像分辨率，使得目標特征更加清晰，有利于后期缺陷診斷；最后結合基于Mask-RCNN網絡的深度學習診斷算法，實現對充油設備的滲漏油缺陷檢測。

2.1 Faster-RCNN的充油設備檢測

首先采用Faster-RCNN深度學習網絡實現對充油設備目標的完整性診斷。

在圖1所示的深度學習架構中，輸入端為原始變電站巡檢視頻圖像，輸出端為巡檢圖像的目標檢測結果。其中輸入圖像通過深度卷積層提取高緯度特征圖。Faster-RCNN[8,9]采用局部感受野技術對圖像特征從底層到高層語義特征提取，并通過Softmax層進行圖像特征分類，得出識別結果。

圖 1 基于Faster-RCNN深度學習網絡架構

2.2 改進的ESR-GAN的圖像超分辨率重建

其次，對檢測到的充油設備進行超分辨率重建提高圖像分辨率。ESRGAN對SRGAN網絡體系結構的兩個關鍵組成部分：對抗損失和感知損失進行改進，將殘差密集塊（RRDB）中的殘差作為基本的網絡構建單元而不進行批量歸一化。此外，借用相對論GAN的思想，讓判別器預測相對真實性而非絕對值。最后，利用激活前的特征改善感知損失，為亮度一致性和紋理恢復提供更強的監控。

為了進一步提高SRGAN恢復圖像質量，ESRGAN為生成器G的結構做了兩個改進：1）去除掉所有的BN層。2）提出用殘差密集塊（RRDB）代替原始基礎塊，其結合了多層殘差網絡和密集連接，如圖2所示：

圖 2 生成器網絡結構

除了改進生成器的結構，同時對判別器進行改進。不同于SRGAN標準的判別器D，估算一個輸入圖像真實和自然的可能性(圖3)，相對判別器試圖預測真實圖像x比假圖像x更真實的概率。

圖 3 判別器改進策略

通過ESRGAN進行圖像超分重構的效果圖如圖4所示：

圖 4 充油設備重構前（左）后（右）對比樣圖

2.3 基于Mask-RCNN的滲漏油缺陷檢測算法

最后，利用基于Mask-RCNN的神經網絡實現對超分辨率重建后圖像的滲漏油缺陷檢測，如圖5所示。Mask R-CNN首先通過RPN網絡提取候選區域，其次平行于預測類別和坐標信息，對于每個感興趣區域（RoI），Mask R-CNN再輸出一個二值Mask即0或者1，對應的就是該值是否就是RoI對應的類別，這與當前大部分系統不一樣，當前這些系統的類別分類依賴于Mask的預測。最后計算的也是一個二進制損失，最后在RoI上的整體損失是：分類損失、坐標回歸損失以及Mask掩膜損失之和。同時沿襲了Fast R-CNN的一些特點，它將矩形框分類和坐標回歸并行的進行，這么做很大的簡化了R-CNN的流程。

圖 5 Mask-RCNN的深度學習網絡架構

通過該方法檢測出充油設備的滲漏油缺陷，并將坐標映射到原圖進行檢出，檢測結果如圖6、圖7所示。

圖 6 充油設備上缺陷診斷示意圖

圖 7 原圖上缺陷診斷示意圖

3 實驗結果分析

3.1 評價指標

本實驗采用的測試標準為平均準確率均值（Mean Average Precision，MAP）、準確率（Precision）與召回率（Recall），準確率和召回率一一對應。準確率和召回率組成的P-R曲線下方面積越大，則算法性能越好；計算所有待測目標的AP均值，也就是MAP：

在MAP的計算過程中，檢測評價函數（IOU）用于衡量預測窗口和標簽窗口的重疊率，檢測評價函數定義為：

在公式（2）中，Detection Result表示目標的預測窗口，Ground Truth表示目標的標簽窗口，IOU=1說明預測窗口與標簽窗口完全重疊。本文中，當檢測結果的IOU>0.5時，表明檢測結果是正確的。

3.2 對比實驗分析

本文分別對Mask-RCNN直接原圖檢測、Mask-RCNN+充油設備（不加超分辨重構）檢測和Mask-RCNN+充油設備（增加超分辨率重構）檢測的識別效果進行實驗對比，并劃分800張充油設備滲漏油缺陷樣本作為訓練集，200張測試樣本作為測試集，實驗對比效果見表1。

表 1 檢測方案效果比較

由分析表1，可以得出如下結論：（1）相比在原圖上直接進行充油設備滲漏油缺陷的檢測，在檢測出充油設備的基礎上再進行充油設備滲漏油診斷的效果較好，原因是由于圖像信息更豐富、語義信息提取更充分，檢測精度有明顯提升；（2）相比Mask-RCNN+充油設備（不加超分重構），Mask-RCNN+充油設備（加超分重構）的檢測策略通過超分重構提升了連接處提取出的圖像的分辨率，圖像信息明顯提高，對檢測精度的提升具有很好的促進作用。

4 結 語

為了提升檢測精度，本文利用改進的超分辨率重建結合深度學習的檢測診斷算法，通過先檢測充油設備，再對充油設備進行超分辨率重建，在此基礎上進行充油設備的滲漏油檢測。減少了大量無效圖像信息的特征提取工作，讓網絡專注于關鍵區域，大幅降低了圖像有效信息的損失，保證關鍵像素信息質量。采用超分重構算法對充油設備圖像進行重構，提升分辨率，保證用于滲漏油缺陷檢測的圖像質量，大幅縮減有效信息的損失，保證像素信息的完整性。實驗數據證明，本文方法識別結果與其他算法有很大的提升，因此本文的方法具有一定的可行性。

[1] 李衛.深度學習在圖像識別中的研究及應用[D].武漢:武漢理工大學,2014

[2] 豐曉霞.基于深度學習的圖像識別算法研究[D].太原:太原理工大學,2015

[3] 張浩,王瑋,徐麗杰,等.圖像識別技術在電力設備監測中的應用[J].電力系統保護與控制,2010,38(6):88-91

[4] 程欣.基于深度學習的圖像目標定位識別研究[D].成都:電子科技大學,2016

[5] 張良培.圖像超分辨率重建[M].北京:科學出版社,2012

[6] 陳曉璇,齊春.基于低秩矩陣恢復和聯合學習的圖像超分辨率重建[J].計算機學報,2014,37(6):1372-1379

[7] Wu ZL, Wang HX. Super-resolution Reconstruction of SAR Image based on Non-Local Means Denoising Combined with BP Neural Network [J/OL]. Computer Vision and Pattern Recognition. arXiv:1612.04755[cs.CV]. 2016-03-14

[8] Chen XL, Gupta A. An Implementation of Faster RCNN with Study for Region Sampling [J/OL]. Computer Vision and Pattern Recognition. arXiv:1702.02138v2[cs.CV]. 2017-02-08

[9] 林剛,王波,彭輝,等.基于改進Faster-RCNN的輸電線巡檢圖像多目標檢測及定位[J].電力自動化設備,2019,39(5):220-225

A Defect Diagnosis Algorithm for Images Based on the Deep Learning and Super-resolution Reconstruction Technique

LIANG Chong1, LI Cheng-qi2, ZHANG Bin-bin1*, LV Xue-bin3

1.230088,2.250003,3.250003,

Although deep learning has made great progress in the field of image recognition, it is difficult to diagnose defects because of the complex background of the patrol image of substation equipment. In this paper, a defect detection algorithm based on deep learning and super-resolution technology is proposed. On the one hand, it locks the target area, focuses on detection equipment, removes irrelevant image information, and greatly reduces the loss of effective image information;on the other hand, super-resolution reconstruction is carried out to improve the resolution of the detection equipment, to ensure the image quality for oil leakage defect detection, and to ensure the integrity of the pixel information.The experimental data prove that the recognition results of the proposed image defect diagnosis algorithm based on deep learning and super-resolution reconstruction technology are greatly improved, which proves the superiority of the algorithm.

Deep learning; super resolution technique; image; defect detection

TP520.2060

A

1000-2324(2020)03-0510-04

10.3969/j.issn.1000-2324.2020.03.024

2018-11-24

2019-01-14

國家電網有限公司科技項目:人工智能圖像識別技術在輔助輸變電巡視中的應用研究(B26818180232)

梁翀(1992-),男,碩士,工程師,主要從事深度學習、圖像識別、語音識別、AR/VR等技術在電力行業應用. E-mail:puzhengguo@sgitg.sgcc.com.cn

Author for correspondence. E-mail:857446812@qq.com