基于邊緣增強(qiáng)生成對抗網(wǎng)絡(luò)的電力設(shè)備熱成像超分辨率重建

劉云峰，楊晉彪，韓晉鋒，彭軼灝，趙洪山

(1. 國網(wǎng)晉城供電公司，山西省晉城市 048000；2. 國網(wǎng)陵川縣供電公司，山西省陵川縣 048300；3. 華北電力大學(xué)電力工程系，河北省保定市071003)

0 引 言

紅外熱成像技術(shù)通過信號(hào)處理與光電轉(zhuǎn)換等手段，精確量化探測到的熱量并以圖像的形式將物體的溫度分布狀態(tài)直觀表現(xiàn)出來，實(shí)現(xiàn)全像面遠(yuǎn)距離準(zhǔn)確測溫[1]。隨著科學(xué)技術(shù)的飛速發(fā)展，各個(gè)領(lǐng)域?qū)t外熱成像技術(shù)的需求日益增加，但由于人工合成材料成本較高，導(dǎo)致高分辨率熱成像傳感器非常昂貴，尤其在當(dāng)前電力物聯(lián)網(wǎng)技術(shù)廣泛用于電力設(shè)備態(tài)勢感知的形勢下，為了降低在線監(jiān)測技術(shù)的成本，已有很多熱成像在線監(jiān)測傳感器采用較低分辨率的熱成像技術(shù)來實(shí)現(xiàn)電力設(shè)備健康狀態(tài)評估。低分辨率的熱成像圖像如何清晰化已成熱點(diǎn)研究問題。

超分辨率重建是指試圖復(fù)原衍射極限以外數(shù)據(jù)的過程，是計(jì)算機(jī)視覺和圖像處理中將低分辨率圖像恢復(fù)為高分辨率圖像的一類重要圖像處理技術(shù)，在醫(yī)學(xué)成像、超光譜圖像、衛(wèi)星成像、人臉成像等領(lǐng)域中均有廣泛的應(yīng)用[2-6]。重建方法可以分為3類：基于插值的方法、基于重建的方法和基于學(xué)習(xí)的方法。其中，基于插值的方法如BiCubic雙三次插值[7]等實(shí)現(xiàn)簡單，但線性模型的局限性，使得它們在恢復(fù)高頻細(xì)節(jié)上不太理想。基于稀疏表示的技術(shù)重建，通過先驗(yàn)知識(shí)增強(qiáng)了線性模型的重建效果[8]； 這類技術(shù)假定任意的自然圖像均能被字典中的元素稀疏表示，但該方法計(jì)算復(fù)雜，需要大量的計(jì)算資源。基于學(xué)習(xí)的方法是近年比較流行且有效的方法，通過大數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)，能夠極大恢復(fù)高頻細(xì)節(jié)。

基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建 (super-resolution using convolution neural network，SRCNN)是深度學(xué)習(xí)用在超分辨率重建上的開山之作[9]，通過利用3層卷積網(wǎng)絡(luò)進(jìn)行低分辨率圖像到高分辨率圖像的非線性映射擬合，完成超分辨率重建。加速的超分辨率卷積神經(jīng)網(wǎng)絡(luò)[10](accelerating the super-resolution convolutional neural network, FSRCNN)、高效的亞像素卷積神經(jīng)網(wǎng)絡(luò)[11](efficient sub-pixel convolutional neural network, ESPCN)和超深度卷積的超分辨率網(wǎng)絡(luò)[12](super-resolution using very deep convolutional networks, VDSR) 等深度學(xué)習(xí)網(wǎng)絡(luò)對SRCNN中的特征提取、網(wǎng)絡(luò)架構(gòu)等方向進(jìn)行改進(jìn)，使得超分辨率重建圖像具有更高的峰值信噪比評價(jià)指數(shù)，但在圖像的逼真視覺效果上依然不佳。2017年基于生成對抗網(wǎng)絡(luò)的超分辨率重建[13](super-resolution with generative adversarial network, SRGAN)被Christian Ledig等學(xué)者提出，其使用生成對抗網(wǎng)絡(luò)(generative adversarial network, GAN)進(jìn)行訓(xùn)練，用均方誤差優(yōu)化SRGAN的生成器網(wǎng)絡(luò)，再在訓(xùn)練好的視覺幾何組(visual geometry group, VGG)模型的高層特征上計(jì)算感知損失對SRGAN進(jìn)行優(yōu)化，使得超分辨率成像結(jié)果峰值信噪比雖然不是最高，但是具有逼真的視覺效果。2018年，增強(qiáng)型超分辨率生成對抗網(wǎng)絡(luò)[14](enhanced super-resolution generative adversarial networks, ESRGAN)被Wang X等學(xué)者提出，它去除了生成器網(wǎng)絡(luò)的歸一層(batch normolization, BN)，并用密集網(wǎng)絡(luò)模塊(densenet block)替換了原始的殘差網(wǎng)絡(luò)模塊(residualnet block)使得訓(xùn)練難度變化不大的同時(shí)提高了輸出質(zhì)量，并用相對平均GAN來改進(jìn)判別器，使得生成器恢復(fù)了更加真實(shí)的紋理細(xì)節(jié)。對抗生成網(wǎng)絡(luò)成為近年研究的熱點(diǎn)，帶感受野模塊的極限感感知超分辨率網(wǎng)絡(luò)[15](perceptual extreme super-resolution network with receptive field block, RFB-ESRGAN)、真實(shí)世界的單圖超分辨率重建[16](real-world single image super-resolution, RealSR)、Cycle-in-Cycle生成對抗網(wǎng)絡(luò)[17](cycle-in-cycle generative adversarial networks, CinCGAN)、基于雙生成對抗網(wǎng)絡(luò)的超分辨率重建[18](super resolution with dual generative adversarial networks, SRDGAN)、基于Wasserstein距離的生成對抗網(wǎng)絡(luò)[19](Wasserstein generative adversarial networks, WGAN)以及基于面部先驗(yàn)的人臉超分辨率重建[20](face super-resolution with facial priors, FSRGAN)等方法通過對生成對抗網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)或與特定領(lǐng)域的知識(shí)進(jìn)行結(jié)合產(chǎn)生了一系列創(chuàng)新成果。生成對抗網(wǎng)絡(luò)獨(dú)有的網(wǎng)絡(luò)結(jié)構(gòu)和良好的重建效果令其在超分辨率重建領(lǐng)域中越來越受廣大學(xué)者歡迎。

從SRCNN到SRGAN都是在解決可見光圖像的超分辨率重建問題，但紅外熱成像圖像是通過測量物體向外輻射的熱量獲得的，與可見光圖像相比，具有分辨率差、對比度低、信噪比低、視覺效果模糊、信息量少等特點(diǎn)。

本文根據(jù)紅外熱成像圖像與可見光圖像的特征區(qū)別，在SRGAN網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，提出一種改進(jìn)的邊緣增強(qiáng)生成對抗網(wǎng)絡(luò)(edge enhancement super-resolution generative adversarial network，EE-SRGAN)對熱成像圖像進(jìn)行超分辨率重建。增加殘差收縮網(wǎng)絡(luò)(residual shrinkage network, RSN)模塊，并提取邊緣特征進(jìn)行加強(qiáng)訓(xùn)練，以獲得更好的重建效果，最后利用紅外圖像數(shù)據(jù)集對所提方法進(jìn)行驗(yàn)證。

1 原始生成對抗網(wǎng)絡(luò)(GAN)

原始生成對抗網(wǎng)絡(luò)[21]是由Ian Goodfellow等研究人員于2014年提出的一種新型無監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，由生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)2個(gè)神經(jīng)網(wǎng)絡(luò)組成，其中生成器網(wǎng)絡(luò)利用輸入信息生成一個(gè)偽造數(shù)據(jù)，而判別器網(wǎng)絡(luò)判斷偽造數(shù)據(jù)的真實(shí)性，通過2個(gè)網(wǎng)絡(luò)的零和博弈，達(dá)到一個(gè)生成以假亂真數(shù)據(jù)的生成對抗模型。

判別器的訓(xùn)練目標(biāo)是為了最大化正確標(biāo)注實(shí)際數(shù)據(jù)和生成器生成數(shù)據(jù)。生成器的訓(xùn)練目標(biāo)則是為了盡量減少判別器得出正確答案的概率。因此，GAN的訓(xùn)練任務(wù)可以看成函數(shù)V(G,D)的極大極小博弈:

(1)

式中：Pdata(x)為輸入數(shù)據(jù)分布；Pz(z)為生成器生成數(shù)據(jù)分布；D(x)為判別器網(wǎng)絡(luò)中輸入為x的輸出；G(z)為生成器網(wǎng)絡(luò)中輸入為z的輸出。

當(dāng)判別器無法確認(rèn)生成器網(wǎng)絡(luò)生成的數(shù)據(jù)真假時(shí)，訓(xùn)練過程停止，從而達(dá)到生成器與判別器之間判定誤差的平衡。

2 改進(jìn)的邊緣增強(qiáng)生成對抗網(wǎng)絡(luò)

EE-SRGAN網(wǎng)絡(luò)結(jié)構(gòu)由生成器網(wǎng)絡(luò)(G)和判別器網(wǎng)絡(luò)(D)兩部分構(gòu)成，通過生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)的對抗學(xué)習(xí)，輸入低分辨率(low-resolution, LR)圖像獲得高分辨率(super-resolution, SR)圖像。相對于SRGAN，EE-SRGAN針對紅外熱成像信噪比低的特點(diǎn)，在生成器網(wǎng)絡(luò)中引入殘差收縮網(wǎng)絡(luò)[22]，利用殘差收縮網(wǎng)絡(luò)中的軟閾值部分，對紅外熱成像的噪聲影響進(jìn)行一定的消除。同時(shí)，針對低分辨率紅外熱成像對比度低以及視覺效果模糊的特點(diǎn)，對生成器生成的圖像和原始圖像進(jìn)行邊緣提取，獲得圖像邊緣信息生成器生成的數(shù)據(jù)邊緣和輸入的數(shù)據(jù)邊緣，從而對電力系統(tǒng)熱成像的邊緣部分進(jìn)行針對性的加強(qiáng)重建，提高了圖像邊緣數(shù)據(jù)的重建效果，從而增強(qiáng)了重建圖像的峰值信噪比。同時(shí)，邊緣數(shù)據(jù)的有效恢復(fù)，也降低了重建圖像與原圖的協(xié)方差等數(shù)據(jù)，進(jìn)而提高了重建圖像和原圖的結(jié)構(gòu)相似性，EE-SRGAN模型結(jié)構(gòu)如圖1所示。圖1中，生成器模型輸入LR圖像以及其邊緣提取圖像SLR，生成仿造的SR圖像。判別器模型通過輸入LR圖像、SR圖像以及它們的邊緣提取圖像，區(qū)分這個(gè)樣本是不是真實(shí)樣本，并分別將損失函數(shù)floss_D以及floss_G反饋給判別器和生成器進(jìn)行迭代優(yōu)化。

圖1 EE-SRGAN模型結(jié)構(gòu)原理圖Fig.1 Model structure of EE-SRGAN

2.1 殘差收縮網(wǎng)絡(luò)

為了消除重建過程中可能存在的噪聲影響，同時(shí)提高訓(xùn)練的穩(wěn)定性，將生成器G中的殘差網(wǎng)絡(luò)改為殘差收縮網(wǎng)絡(luò)。

殘差收縮網(wǎng)絡(luò)是一種注意力機(jī)制下的深度學(xué)習(xí)網(wǎng)絡(luò)，通過在殘差網(wǎng)絡(luò)中引入信號(hào)降噪算法中的軟閾值化，刪除絕對值小于某個(gè)閾值的特征，同時(shí)將絕對值大于閾值的特征向零收縮。在去噪聲的同時(shí)，也減小了深度學(xué)習(xí)算法遭遇梯度彌散或梯度爆炸的風(fēng)險(xiǎn)。殘差收縮網(wǎng)絡(luò)塊如圖2所示。

圖2 殘差收縮網(wǎng)絡(luò)(RSN)Fig.2 Residual shrinkage network (RSN)

圖2中，C為輸入數(shù)據(jù)的通道數(shù)，W和H為輸入數(shù)據(jù)的長度和寬度，K為卷積核個(gè)數(shù)，Conv為卷積層，F(xiàn)C為全連接層，RELU為線性整流函數(shù)，BN為歸一層，Sigmoid為S型函數(shù)，ST為軟閾值化過程，M為乘法運(yùn)算，Sum為加法運(yùn)算。

2.2 邊緣增強(qiáng)的判別器網(wǎng)絡(luò)

判別器采用深度卷積神經(jīng)網(wǎng)絡(luò)中具有優(yōu)良特征提取性能的VGG網(wǎng)絡(luò)，以預(yù)訓(xùn)練的16層VGG 網(wǎng)絡(luò)作為主體對圖像進(jìn)行特征提取。在判別圖像真?zhèn)螘r(shí)，將判別器模型的目標(biāo)函數(shù)修改為:

(2)

式中：PSdata(x)為輸入的邊緣數(shù)據(jù)分布;PSz(z)為生成器生成的邊緣數(shù)據(jù)分布。

2.3 邊緣損失函數(shù)

損失函數(shù)是生成對抗網(wǎng)絡(luò)中的生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)對于最大最小問題進(jìn)行優(yōu)化時(shí)的約束。

(3)

式中：r為放大倍數(shù)；IHR為高分辨率數(shù)據(jù)分布；ILR為低分辨率數(shù)據(jù)分布；SSobel(·)為邊緣數(shù)據(jù)提取函數(shù)。

通過對對抗損失、內(nèi)容損失、邊緣損失以及正則化損失進(jìn)行加權(quán)，得到本文的損失函數(shù)為：

(4)

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)設(shè)置

算法代碼基于Pytorch框架，深度學(xué)習(xí)服務(wù)器的GPU為NVIDIA GTX1080Ti，運(yùn)行內(nèi)存為16 G，顯卡運(yùn)算平臺(tái)為CUDA10.1，CUDNN7.6.4。實(shí)驗(yàn)中的訓(xùn)練集由FLIR熱數(shù)據(jù)集[23]中的800張紅外熱成像圖，以及作者自行拍攝的200張電力設(shè)備紅外熱成像圖共同構(gòu)成，其中，F(xiàn)LIR熱數(shù)據(jù)集中選取的800張紅外熱成像圖包含行人、車輛、動(dòng)物等各類紅外熱成像圖。將數(shù)據(jù)集中的原始圖像重新采樣分割為200×200像素大小的圖像作為高分辨率訓(xùn)練圖像，并對高分辨率訓(xùn)練圖像進(jìn)行4倍下采樣從而得到50×50像素的低分辨率訓(xùn)練圖像。

實(shí)驗(yàn)選取了傳統(tǒng)方法中的雙三次插值和深度學(xué)習(xí)下的原始SRGAN與本文的EE-SRGAN進(jìn)行比較。將峰值信噪比(peak signal-to-noise ratio, PSNR)和結(jié)構(gòu)相似度(structural similarity, SSIM)作為圖像重建質(zhì)量客觀評價(jià)指標(biāo)。

3.2 穩(wěn)定性分析

傳統(tǒng)的雙三次插值方法不具備迭代過程，因此穩(wěn)定性不作考慮，SRGAN方法及本文的EE-SRGAN方法的峰值信噪比以及結(jié)構(gòu)相似性指標(biāo)隨迭代次數(shù)變化結(jié)果如圖3、4所示。

圖3 PNSR隨迭代次數(shù)變化過程Fig.3 Change process of PSNR with the number of iterations

由圖3和圖4可以看出，本文提出的EE-SRGAN方法的PSNR與SSIM指標(biāo)曲線均比SRGAN方法的指標(biāo)曲線更穩(wěn)定。這是由于本文使用了深度殘差收縮網(wǎng)絡(luò)，有效減少了梯度爆炸和梯度彌散的風(fēng)險(xiǎn)。

圖4 SSIM隨迭代次數(shù)變化過程Fig.4 Change process of SSIM with the number of iterations

3.3 重建效果分析

為了進(jìn)一步展現(xiàn)本文方法的優(yōu)勢，本文采用BiCubic雙三次插值、SRGAN、EE-SRGAN這3種方法同時(shí)對4類電力設(shè)備熱成像圖像進(jìn)行實(shí)際重建實(shí)驗(yàn)測試，采用圖像處理中的指標(biāo)PSNR以及SSIM進(jìn)行評估，其具體結(jié)果如表1所示。EE-SRGAN的平均PSNR指標(biāo)較BiCubic插值方法有約2.5 dB的提高，較SRGAN方法有約1.4dB的提高，圖像質(zhì)量更良好。在SSIM方面，EE-SRGAN的平均SSIM指標(biāo)較BiCubic方法提高了約14.35%，較SRGAN方法提高了約4.8%。表明EE-SRGAN在亮度、對比度以及結(jié)構(gòu)差異上，更接近原始圖像。

表1 不同算法放大4倍重建紅外圖像評估結(jié)果Table 1 Evaluation of reconstructed infrared image magnified 4 times with different algorithms

此外，實(shí)驗(yàn)對提取了重建結(jié)果的邊緣數(shù)據(jù)進(jìn)行單獨(dú)評估，得到3種方法重建結(jié)果邊緣灰度圖的客觀評價(jià)結(jié)果，如表2所示。由于圖像邊緣是圖像包含信息最豐富的地方，也是圖像區(qū)域?qū)傩园l(fā)生突變的地方，在低分辨率圖像包含的低緯空間中，邊緣信息的支撐集較高分辨率圖像中的支撐集損失極大，因此，邊緣信息的恢復(fù)往往非常有限，導(dǎo)致重建結(jié)果的邊緣圖像指標(biāo)較低。在邊緣圖像的平均PSNR指標(biāo)上，EE-SRGAN的結(jié)果較BiCubic插值以及SRGAN方法分別有約2 dB以及0.6 dB的提高，且在邊緣圖像的平均SSIM指標(biāo)上，EE-SRGAN達(dá)到了BiCubic插值的2倍以上，較SRGAN也提高了約6.35%，表明EE-SRGAN在邊緣數(shù)據(jù)上較其他2種方法有著顯著優(yōu)勢，體現(xiàn)了邊緣增強(qiáng)的有效性。

表2 不同算法放大4倍重建紅外圖像邊緣數(shù)據(jù)評估結(jié)果Table 2 Evaluation of edge data of reconstructed infrared image magnified 4 times with different algorithms

3種方法的重建圖像如圖5所示，并將細(xì)節(jié)紋理放大至左上角以方便比較，從左到右依次為原圖、低分辨率圖像、BiCubic重建圖像、SRGAN重建圖像、EE-SRGAN重建圖像，并將重建結(jié)果的邊緣提取圖像進(jìn)行比較，如圖6所示。由圖5可知，本文方法在清晰度方面提升明顯(見圖5(a))，且無明顯的顆粒感(見圖5(b))，恢復(fù)的絕緣子邊緣處更加清晰(見圖5(c))，色彩恢復(fù)更加貼合原圖(見圖5(d))。對圖6的邊緣數(shù)據(jù)進(jìn)行比較，也可以發(fā)現(xiàn)本文的EE-SRGAN方法的邊緣線條更加細(xì)致。通過以上比較可知，本文的EE-SRGAN方法在局部細(xì)節(jié)上以及邊緣紋理上均有更好的視覺效果。

圖5 重建效果圖Fig.5 Comparison of reconstruction results

圖6 重建邊緣效果圖Fig.6 Edge comparison of reconstruction results

結(jié)合以上分析，3種重建方法中，本文所提的EE-SRGAN方法的重建效果以及邊緣細(xì)節(jié)恢復(fù)情況無論在客觀指標(biāo)還是主觀視覺上均優(yōu)于BiCubic及SRGAN方法，具有較高的工程實(shí)用意義。

4 結(jié) 論

本文通過分析紅外熱成像圖像的特性，結(jié)合信號(hào)降噪方法中的軟閾值化以及圖像處理中的邊緣提取，將SRGAN改進(jìn)為更加適合紅外熱成像圖像的EESRGAN算法，通過紅外熱成像數(shù)據(jù)集進(jìn)行訓(xùn)練擬合，達(dá)到了較好的效果。實(shí)驗(yàn)證明，本文的方法在電力設(shè)備熱成像圖像的重建中，有效提高了重建圖像的峰值信噪比和結(jié)構(gòu)相似性，具有較強(qiáng)的實(shí)用價(jià)值。