面向電力缺陷場(chǎng)景的小樣本圖像生成方法

何宇浩，宋云海，何 森，周震震，孫 萌，陳 毅，閆云鳳

（1. 南網(wǎng)超高壓公司電力科研院，廣州 510000；2. 浙江大學(xué) 機(jī)械工程學(xué)院，杭州 310027；3. 浙江大學(xué) 海南研究院，海南 三亞 572000；4. 浙江大學(xué) 電氣工程學(xué)院，杭州 310027）

0 引言

能源是保障我國(guó)國(guó)民經(jīng)濟(jì)持續(xù)發(fā)展的基礎(chǔ)，發(fā)電規(guī)模的不斷擴(kuò)大對(duì)電力設(shè)施的運(yùn)維提出了新的挑戰(zhàn)。同時(shí)，智能化電力系統(tǒng)運(yùn)維也是我國(guó)實(shí)現(xiàn)能源結(jié)構(gòu)轉(zhuǎn)型的關(guān)鍵環(huán)節(jié)。電力設(shè)備的運(yùn)行狀態(tài)會(huì)隨著各種外部因素而改變，一旦出現(xiàn)故障，會(huì)影響電力系統(tǒng)的安全穩(wěn)定運(yùn)行，從而對(duì)生產(chǎn)生活造成重大影響。因此，需要對(duì)電力設(shè)備的缺陷進(jìn)行及時(shí)的監(jiān)測(cè)并處理，研究如何實(shí)現(xiàn)電力設(shè)備缺陷管理也具有重大的實(shí)際應(yīng)用價(jià)值［1］。

傳統(tǒng)的電力設(shè)備圖像缺陷識(shí)別算法對(duì)圖像特征提取能力不足，且依賴于人工特征設(shè)計(jì)，無法滿足現(xiàn)有電力設(shè)備缺陷種類較多的場(chǎng)景。基于視頻圖像的電力設(shè)備缺陷檢測(cè)方法能夠自主學(xué)習(xí)目標(biāo)特征從而完成對(duì)設(shè)備缺陷的檢測(cè)，可以代替人工巡檢，降低時(shí)間成本和勞動(dòng)力成本［2-5］。近年來，隨著計(jì)算能力的提升，基于深度網(wǎng)絡(luò)的設(shè)備缺陷檢測(cè)方法成為研究熱點(diǎn)。趙振兵等人［6］發(fā)現(xiàn)基于深度學(xué)習(xí)的檢測(cè)模型可以有效地將部件目標(biāo)及其缺陷從復(fù)雜的輸電線路航拍圖像中提取出來，有效節(jié)省了人工設(shè)計(jì)特征的時(shí)間。圍繞輸電線路上的絕緣子、金具以及螺栓研究了基于深度學(xué)習(xí)的小目標(biāo)檢測(cè)。Siddiqui 等人［7］提出基于卷積神經(jīng)網(wǎng)絡(luò)的設(shè)備檢測(cè)框架，可以在高度雜亂的環(huán)境中檢測(cè)17 種不同類型的電力線路絕緣體。然而，基于深度學(xué)習(xí)的檢測(cè)方法依賴于大量且種類豐富的數(shù)據(jù)集，現(xiàn)有的圖像增強(qiáng)方法難以獲得與實(shí)際場(chǎng)景相近的缺陷數(shù)據(jù)，導(dǎo)致針對(duì)電力場(chǎng)景設(shè)備缺陷檢測(cè)方面鮮有行之有效的方法。

GAN（生成對(duì)抗網(wǎng)絡(luò)）［8-9］近年來在高質(zhì)量保真圖像生成方面取得了重大進(jìn)展。但是GAN存在模型收斂緩慢，網(wǎng)絡(luò)難以適應(yīng)不同圖像域等問題，使得訓(xùn)練一個(gè)高性能的圖像生成器需要不斷調(diào)整超參數(shù)，進(jìn)而耗費(fèi)大量的時(shí)間。同時(shí)，如何提升圖像質(zhì)量，使其更具真實(shí)性也是目前圖像生成中的一大挑戰(zhàn)［10］。基于此，針對(duì)現(xiàn)有電力場(chǎng)景下，缺少可供深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練所需的海量場(chǎng)景圖像樣本的問題，本文提出利用基于LoFGAN（局部融合生成對(duì)抗網(wǎng)絡(luò)）的圖像生成方法，生成高質(zhì)量且逼真度高的多樣數(shù)據(jù)，進(jìn)而解決電力場(chǎng)景設(shè)備缺陷圖像數(shù)據(jù)稀少的問題。

針對(duì)圖像生成網(wǎng)絡(luò)還存在特征獲取不全面等問題，已有學(xué)者做出了研究。例如具有自注意力機(jī)制的變換器［11］能夠充分利用上下文信息來指導(dǎo)動(dòng)態(tài)注意力矩陣的學(xué)習(xí)，從而增強(qiáng)深層視覺特征表示。因此，可以通過其提高圖像生成網(wǎng)絡(luò)的特征提取能力，從而豐富生成圖像的細(xì)節(jié)信息。同時(shí)，為了使模型能夠快速適應(yīng)不同的圖像域，將不同圖像域中的通用表征遷移到不同的圖像域中，形成多樣的虛擬圖像，本文引入新的正則化方案來提高模型的泛化性和魯棒性。

全文創(chuàng)新點(diǎn)如下：

1）基于語義相似性匹配圖像間的局部表征，設(shè)計(jì)了一個(gè)面對(duì)上下文的小樣本圖像生成器。所提出的生成器能夠提高對(duì)細(xì)節(jié)特征的提取能力，從而保證了生成圖像的多樣性和真實(shí)性。

2）為解決魯棒圖像生成模型對(duì)海量訓(xùn)練數(shù)據(jù)的依賴問題，引入基于LC-散度的正則化損失來優(yōu)化圖像生成模型在有限數(shù)據(jù)集上的訓(xùn)練效果，以此提高訓(xùn)練模型的魯棒性和泛化性。

3）通過小樣本圖像生成方法來解決電力缺陷場(chǎng)景稀缺的問題，提出改進(jìn)的LoFGAN。實(shí)驗(yàn)結(jié)果證明所提出的方法能夠有效解決電力場(chǎng)景中設(shè)備缺陷圖像稀少、采集困難等問題。

1 圖像生成方法

1.1 GAN

GAN［12］是生成式模型的一個(gè)分支，它通過對(duì)抗學(xué)習(xí)來訓(xùn)練模型，利用生成模型和判別模型的互相博弈學(xué)習(xí)產(chǎn)生較好的輸出。由于GAN在擬合數(shù)據(jù)分布方面的優(yōu)勢(shì)，因此在圖像生成［13］、圖像編輯［14］到圖像-圖像翻譯［15］方面效果顯著。其原因主要?dú)w功于訓(xùn)練圖像的無限供應(yīng)，即需要大量的訓(xùn)練數(shù)據(jù)作為支撐。然而，在數(shù)據(jù)有限的情況下，判別器很容易過度擬合，這使得模型難以收斂。最近，部分研究人員提出了一些先進(jìn)的數(shù)據(jù)增強(qiáng)策略［16-17］，用于在有限的數(shù)據(jù)下訓(xùn)練GAN，但這些方法主要是為無條件生成而設(shè)計(jì)的。為了解決生成式對(duì)抗網(wǎng)絡(luò)在有限數(shù)據(jù)集上訓(xùn)練的弊端，本文試圖用小樣本學(xué)習(xí)的方式來解決這個(gè)問題。通過在數(shù)據(jù)類別方面做出限制使得GAN為一個(gè)新的類別生成大量逼真且多樣的圖像。

1.2 小樣本圖像生成方法

小樣本圖像生成方法的目的是根據(jù)給定一部分未知類別的圖像，生成真實(shí)且多樣的圖像。基于優(yōu)化的方法FIGR（基于Reptile 工具實(shí)現(xiàn)小樣本圖像生成）［18］和DAWSON（域自適應(yīng)小樣本生成）［19］將對(duì)抗性學(xué)習(xí)與元學(xué)習(xí)方法（即Reptile［20］和MAML（與模型無關(guān)的元學(xué)習(xí)）［21］）相結(jié)合，但是該方法所生成圖像的質(zhì)量較低，不適用于實(shí)際應(yīng)用。對(duì)于基于融合的方法，GMN（生成匹配網(wǎng)絡(luò)）［22］和MatchingGAN（基于匹配的小樣本圖像生成）［23］用VAE（變分自編碼器）和GAN將匹配網(wǎng)絡(luò)從小樣本分類任務(wù)推廣到小樣本生成任務(wù)。F2GAN（先融合再填充的GAN）［23］通過增加一個(gè)非局部注意融合模塊來改進(jìn)MatchingGAN，以融合和填充不同層次的特征來生成圖像。但是這些方法將高水平的圖像特征與全局系數(shù)相融合，這將給生成的圖像帶來更多的混疊偽影和更少的多樣性。此外，全局重建損失被用來約束模型，使其生成的圖像看起來像輸入圖像的加權(quán)堆疊，這將進(jìn)一步損害生成的質(zhì)量。LoFGAN［24］通過選擇、匹配和替換局部表征，在更細(xì)的層次上融合深層特征，并使用基于局部的重建損失來減少混疊偽影。

2 缺陷樣本生成網(wǎng)絡(luò)

2.1 改進(jìn)的LoFGAN總體網(wǎng)絡(luò)框架

本文所提出的改進(jìn)后的LoFGAN 總體框架圖如圖1 所示，圖中由兩部分組成：生成器和判別器。其中，生成器包括編碼器、LFM（局部融合模塊）［24］、解碼器、判別器。LFM 隨機(jī)選擇編碼器特征圖中的一個(gè)作為基礎(chǔ)，將其余特征作為參考，并通過局部選擇、局部匹配和局部替換來融合它們。本文對(duì)生成器做出了改進(jìn)，在生成器中引入CoT（基于上下文的轉(zhuǎn)換模塊）提高了編碼器對(duì)輸入圖像的特征提取能力，從而能夠?qū)W習(xí)更多圖像細(xì)節(jié)，提高最終生成圖像的真實(shí)性。

圖1 改進(jìn)的LoFGAN總體框架Fig.1 Overall framework of the improved LoFGAN

小樣本圖像生成網(wǎng)絡(luò)需要合適的損失函數(shù)來使得生成分布和真實(shí)分布之間的距離盡可能逼近。在圖1 中包含了三個(gè)損失函數(shù)，分別為對(duì)抗損失Ladv、分類損失Lcls和局部損失LLocal。

對(duì)抗損失：本文引入Hinge version GAN loss［25］作為對(duì)抗損失，來限制生成器使其生成令判別器無法區(qū)分的真實(shí)圖像。對(duì)抗損失的表達(dá)式如下：

式中：D（·）代表判別器的結(jié)果；X代表真實(shí)圖片；x代表由生成器構(gòu)造的圖片；上標(biāo)D和G分別代表判別器和生成器，下同。

分類損失：本文的分類損失遵循ACGAN（基于輔助分類器的GAN）［25］，其中，應(yīng)用輔助分類器將輸入圖像分類到相應(yīng)的類別中。具體而言判別器旨在對(duì)真實(shí)圖像進(jìn)行分類；生成器在保持與輸入圖像相同的標(biāo)簽的同時(shí)生成圖像。本文用來輔助分類器的分類損失可以表示為：

式中：c（·）代表真實(shí)圖像的類別。

局部損失：本文引入了局部重建損失來解決當(dāng)輸入圖像未對(duì)齊時(shí)，加權(quán)圖像集將具有混疊偽影的問題。其思想是在圖像級(jí)再現(xiàn)特征級(jí)局部融合過程，即針對(duì)獲得的粗略融合圖像LFM（X，α），通過損失變量LGlocal來約束生成圖像x：

式中：||·||1代表L1-范數(shù)。

結(jié)合以上三個(gè)損失函數(shù)，將它們相加以得到網(wǎng)絡(luò)的總損失函數(shù)如式（4）所示：

2.2 基于上下文的轉(zhuǎn)換模塊

CoT［26］的優(yōu)勢(shì)在于能夠有效捕獲圖像中的細(xì)節(jié)特征。基于此優(yōu)點(diǎn)，本文引入CoT 構(gòu)建生成器中的編碼器，利用輸入K之間的上下文信息來優(yōu)化動(dòng)態(tài)注意力矩陣的學(xué)習(xí)，從而增強(qiáng)了網(wǎng)絡(luò)的特征表征能力。

CoT 結(jié)構(gòu)如圖2 所示，首先通過3×3 卷積對(duì)輸入K進(jìn)行上下文編碼，獲得輸入的靜態(tài)上下文表示，隨后進(jìn)一步將編碼K與輸入的Q連接起來，通過兩個(gè)連續(xù)的1×1 卷積來學(xué)習(xí)動(dòng)態(tài)多頭注意力矩陣。學(xué)習(xí)到的注意力矩陣乘以輸入值以實(shí)現(xiàn)輸入的動(dòng)態(tài)上下文表示。最后將靜態(tài)和動(dòng)態(tài)的上下文表示的結(jié)果作為CoT的輸出。

圖2 CoT結(jié)構(gòu)Fig.2 Structure of the CoT

改進(jìn)的編碼器如表1所示。本文所提出的編碼器有五個(gè)層級(jí)組成，在第一個(gè)層級(jí)首先對(duì)輸入的維度提高并保持圖像的尺度不變，然后經(jīng)過4個(gè)層級(jí)來對(duì)輸入圖像的尺度一步步縮小，減少計(jì)算壓力，提取高維特征。在后四個(gè)層級(jí)中，本文構(gòu)建了一個(gè)Block結(jié)構(gòu)，在Block中包含了一個(gè)1×1的卷積、一個(gè)CoT以及一個(gè)3×3的卷積。前兩者保持特征的維度不變來提取特征圖中的深層特征，后者使用一個(gè)3×3 的卷積來提高特征圖的維度。這樣的結(jié)構(gòu)能夠很好地提升編碼器的特征提取能力，使得生成器能夠進(jìn)一步生成具備真實(shí)圖像細(xì)節(jié)特征的圖像。

表1 編碼器的結(jié)構(gòu)Table 1 Structure of the encoder

2.3 正則化優(yōu)化方法

針對(duì)電力場(chǎng)景設(shè)備缺陷數(shù)據(jù)較少的問題，本文使用正則化優(yōu)化方法使得GAN能夠通過少量數(shù)據(jù)達(dá)到優(yōu)異的訓(xùn)練效果。目前大多數(shù)GAN模型都是通過使用基于最小化真實(shí)數(shù)據(jù)分布和生成數(shù)據(jù)分布之間的f-散度的思想來構(gòu)建對(duì)抗損失。已有的研究往往聚焦于在f-散度的基礎(chǔ)上提出了基于JS-散度和基于χ2-散度，結(jié)合神經(jīng)網(wǎng)絡(luò)去擬合數(shù)據(jù)之間的分布［12，27］。但是針對(duì)小樣本訓(xùn)練場(chǎng)景，GAN將很難找到數(shù)據(jù)的分布情況。基于此，本文引入基于LC-散度的正則化損失作為判別器的損失，其好處在于網(wǎng)絡(luò)在有限的數(shù)據(jù)集下可以有效保障GAN模型訓(xùn)練的魯棒性。

對(duì)于兩個(gè)離散分布Q（x）和P（x），f-散度可表示為：

式中：f是一個(gè)凸函數(shù)并且f（1）=0。該計(jì)算過程代表著對(duì)兩個(gè)離散分布的積分過程。

假設(shè)C（G）代表生成器，為了找到修正優(yōu)化判別器的虛擬目標(biāo)函數(shù)，則C（G）可以表示為：

其中，Δ（pd||pg）即LC-散度，可表示為：

由于f-散度是非負(fù)的，因此須保證λ＜1/2α。

3 實(shí)驗(yàn)設(shè)置

3.1 數(shù)據(jù)集處理

本文共采集了1 865張來自電力變電站中各個(gè)場(chǎng)景的缺陷圖像，包括呼吸器油封破損、表盤模糊、表盤破損等。根據(jù)設(shè)備缺陷情況在圖中的位置，將背景濾除，僅保存包含電力設(shè)備缺陷的部分，其好處在于濾除對(duì)模型訓(xùn)練無關(guān)的背景信息，加快模型的訓(xùn)練速度。如圖3所示，通過背景剔除處理，本實(shí)驗(yàn)共截取了2 178張?jiān)O(shè)備缺陷圖像，并將預(yù)處理后的圖片分辨率統(tǒng)一定為128×128。

圖3 設(shè)備缺陷圖像Fig.3 Images of defective equipment

按照每一個(gè)缺陷的標(biāo)注位置的中心進(jìn)行截取，選取能夠包含標(biāo)注邊界的最大外接正方形來截取設(shè)備缺陷圖像。本文將收集的缺陷圖片整理為10類缺陷，這10 類缺陷的類別和數(shù)據(jù)如表2 所示。在訓(xùn)練過程中，將采用8類圖像作為訓(xùn)練時(shí)的可見圖像，將另外2類作為不可見的圖像。

表2 10類設(shè)備缺陷的信息Table 2 Information of ten kinds of equipment defects

3.2 實(shí)驗(yàn)環(huán)境配置

本文所提方法的試驗(yàn)環(huán)境配置基于Ubuntu16.04.1（Linux 4.15.0-142-generic），其搭載的服務(wù)器裝載了一塊Inter CPU（Intel（R） Xeon（R）Gold 6242R CPU@3.10 GHz）、一塊帶有24 GB顯存的NVIDIA GPU（GeForce RTX 3090）以及256 GB 內(nèi)存。設(shè)置訓(xùn)練的Batch-size 為16，迭代輪次為100 000。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 定量分析

通過計(jì)算真實(shí)數(shù)據(jù)Sreal和生成數(shù)據(jù)Sgen之間的FID（Frechet 起始距離）和LPIPS（學(xué)習(xí)感知圖像塊相似度）［28］分?jǐn)?shù)來評(píng)估模型的性能。

FID 通過從原始圖像視覺特征統(tǒng)計(jì)方面的相似度來衡量?jī)山M圖像的相似度，F(xiàn)ID 分?jǐn)?shù)越低代表兩組圖像越相似。LPIPS 能夠度量?jī)蓮垐D像之間的差別，其值越低代表兩張圖像越相似。如表3所示，本文針對(duì)采集到的電力缺陷數(shù)據(jù)集在FID與LPIPS兩個(gè)指標(biāo)上開展了定量對(duì)比。引入的對(duì)比方法有：FIGR［18］、MatchingGAN［23］、DAWSON［19］和LoFGAN［24］。

表3 網(wǎng)絡(luò)的定量評(píng)估Table 3 Quantitative network evaluation

本文所提出的改進(jìn)LoFGAN 在FID 和LPIPS上分別取得了154.23 和0.264 7，與其他網(wǎng)絡(luò)相比所取得的分?jǐn)?shù)是最小的。而FID 和LPIPS 的值越小，代表圖像生成網(wǎng)絡(luò)的性能越優(yōu)異。因此可以看出，本文所提出的改進(jìn)LoFGAN 相比其他網(wǎng)絡(luò)能夠更好地應(yīng)用于電力設(shè)備缺陷圖像生成。

4.2 定性分析

本文對(duì)所提出的網(wǎng)絡(luò)進(jìn)行了定性分析，從生成圖像的視覺效果來證明本文所提方法的優(yōu)越性。通過將不可見的類別圖像輸入給訓(xùn)練好的圖像生成模型，模型根據(jù)輸入的圖像生成一系列的虛擬圖片。如圖4所示，模型根據(jù)輸入的缺陷圖像確定其缺陷類型，然后根據(jù)該缺陷的主要特征結(jié)合其他全局特征生成虛擬的缺陷圖像。從圖4中可以看到，輸入類別以鳥巢和蓋板破損為例，左側(cè)三列圖像為真實(shí)圖像，其他圖片均是模型根據(jù)輸入圖像構(gòu)造的生成圖像。生成的圖像具備真實(shí)性和多樣性，同時(shí)對(duì)不同場(chǎng)景下的缺陷圖片都具有較好的處理效果，具有較強(qiáng)的魯棒性。模型不僅保留了原始缺陷的主要特征，還結(jié)合了在其他缺陷類別圖像上學(xué)習(xí)到的特征。

圖4 提出的模型根據(jù)輸入生成的結(jié)果Fig.4 Outputs generated by the model based on the inputs

5 結(jié)語

目前由于缺陷數(shù)據(jù)量不充足，工作人員無法通過人工智能技術(shù)訓(xùn)練一個(gè)缺陷目標(biāo)檢測(cè)器來對(duì)缺陷進(jìn)行精準(zhǔn)識(shí)別。本文針對(duì)電力場(chǎng)景缺陷樣本不足的問題開展相關(guān)研究，提出使用小樣本圖像生成方法來解決電力缺陷圖像稀少的問題。首先，通過CoT構(gòu)建網(wǎng)絡(luò)的生成器部分，提高GAN對(duì)圖像細(xì)節(jié)特征的提取能力；其次，通過引入LC-散度的正則化損失來優(yōu)化模型在有限缺陷數(shù)據(jù)集上的訓(xùn)練效果，提高模型的泛化能力；最后，基于LoFGAN，結(jié)合上述方法，提出改進(jìn)的LoFGAN，并在實(shí)驗(yàn)部分證明本文所提出的圖像生成模型能夠有效地解決電力場(chǎng)景缺陷圖像稀缺的問題。在未來的研究中，團(tuán)隊(duì)將進(jìn)一步探究生成樣本逼真度與模型的檢測(cè)精度的關(guān)系，從而研究更加有效的小樣本圖像生成方法。