基于生成對(duì)抗網(wǎng)絡(luò)的無人機(jī)航拍輸電線路圖像關(guān)鍵信息提取

宋杭選，劉智洋，孫澤鋒，李丹丹，林 揚(yáng)，馬晶妍

(1．國網(wǎng)黑龍江省電力有限公司電力科學(xué)研究院，哈爾濱 150030；2.國網(wǎng)黑龍江省電力有限公司，哈爾濱 150090)

0 引 言

輸電線路作為一種重要的電網(wǎng)基礎(chǔ)設(shè)施，在電力輸送的過程中起著重要的作用。隨著高分辨率無人機(jī)拍攝技術(shù)大量投入使用，航拍已成為常規(guī)的巡線手段，但如何準(zhǔn)確并快速地從航拍圖像中提取輸電線路及桿塔的關(guān)鍵信息，成為自動(dòng)化巡線技術(shù)發(fā)展的瓶頸。在缺陷識(shí)別方法上，目前大部分情況仍采用機(jī)器初篩+人工復(fù)核手段，也有落后地區(qū)完全采用人工逐張查看的情況。然而航拍巡線圖像數(shù)據(jù)量非常大、專業(yè)知識(shí)復(fù)雜，這種人工或半人工的線路缺陷識(shí)別過程不但效率低、不及時(shí)、不準(zhǔn)確，而且會(huì)導(dǎo)致決策延誤。若因線路缺陷修復(fù)不及時(shí)導(dǎo)致缺陷擴(kuò)大，將造成電網(wǎng)事故。因此，研究一種穩(wěn)定高效的全自動(dòng)輸電線路及桿塔智能提取方法具有深遠(yuǎn)的實(shí)際意義。

目前對(duì)輸電線路信息提取影響最大的因素是周圍的環(huán)境干擾，從圖像處理的角度來講，就是噪聲數(shù)據(jù)，關(guān)于噪聲的去除也是圖像后期處理的一大難題。近年來，以深度學(xué)習(xí)理論為基礎(chǔ)的智能算法逐漸發(fā)展成熟，并應(yīng)用到多個(gè)領(lǐng)域，其在圖像處理領(lǐng)域的探索，如語義分割[1]、全連接網(wǎng)絡(luò)[2-3]、圖像分類[4-5]等技術(shù)，都已有大量的新理論出現(xiàn)。文獻(xiàn)[6]進(jìn)行影像配準(zhǔn)時(shí)，采用了卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)，其可以分層地提取特征點(diǎn)卷積信息，且具有自適應(yīng)性。文獻(xiàn)[7]實(shí)現(xiàn)了實(shí)時(shí)監(jiān)測(cè)探測(cè)目標(biāo)，采用的也是CNN理論。文獻(xiàn)[8]利用深度CNN來訓(xùn)練圖片，但此方法有一定的人工參與成分，因此無法實(shí)現(xiàn)全自動(dòng)提取信息。文獻(xiàn)[9]對(duì)高解析度圖像進(jìn)行分類，引入了深度信念網(wǎng)絡(luò)，提高了分類的準(zhǔn)確率。文獻(xiàn)[10]采用1 024切片的方法進(jìn)行圖片處理，判別目標(biāo)像素時(shí)使用了3個(gè)Convolution Layer和1個(gè)Full Link Layer，但是處理過程中依然存在人工干預(yù)。

生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks, GAN)最早出現(xiàn)在游戲訓(xùn)練中，其在圖像處理領(lǐng)域的嘗試意外地提升了提取精度[11-12]。它的核心思想是用網(wǎng)絡(luò)指導(dǎo)網(wǎng)絡(luò)，以彼之矛攻彼之盾，通過網(wǎng)絡(luò)間相互學(xué)習(xí)和對(duì)抗達(dá)成一種相對(duì)平衡的狀態(tài)，這種平衡在經(jīng)濟(jì)學(xué)中被稱為納什均衡。早期的生成對(duì)抗網(wǎng)絡(luò)還存在很多問題，如梯度爆炸、梯度消失、模式崩潰、收斂難度大等。很多理論為解決這些問題，提出了若干GAN的變體，2018年提出的MAD-GAN模型中，引入多個(gè)生成網(wǎng)絡(luò)并最大化網(wǎng)絡(luò)間的差異，以強(qiáng)制網(wǎng)絡(luò)學(xué)習(xí)更多模式來緩解上述問題[13-14]。

該文設(shè)計(jì)一種基于生成對(duì)抗網(wǎng)絡(luò)的無人機(jī)采集圖像輸電線路信息提取方法。引入了具有集群學(xué)習(xí)思想的生成對(duì)抗網(wǎng)絡(luò)模型，模型中不只包含單一的生成網(wǎng)絡(luò)，在多個(gè)生成網(wǎng)絡(luò)間引入了聯(lián)同工作機(jī)制，允許多個(gè)生成網(wǎng)絡(luò)進(jìn)行信息交流，加速網(wǎng)絡(luò)學(xué)習(xí)，最后將多個(gè)生成網(wǎng)絡(luò)的特征圖統(tǒng)合作為最終圖像，輸出到判別網(wǎng)絡(luò)中。同時(shí)，該文采用WGAN(Wasserstein GAN)中提出的Wasserstein距離作為模型的損失函數(shù)[15]，避免產(chǎn)生梯度消失問題，實(shí)現(xiàn)了從無人機(jī)圖像中自動(dòng)提取輸電線路信息的目標(biāo)。

1 生成對(duì)抗網(wǎng)絡(luò)集群學(xué)習(xí)模型

1.1 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)由“生成網(wǎng)絡(luò)”與“判別網(wǎng)絡(luò)”兩部分組成，兩者本質(zhì)上均為可微函數(shù)，且互相學(xué)習(xí)、生成對(duì)抗。生成網(wǎng)絡(luò)的作用是制造假樣本，并以此為據(jù)擬合真實(shí)數(shù)據(jù)的潛在分布；生成網(wǎng)絡(luò)的輸出數(shù)據(jù)與真實(shí)數(shù)據(jù)共同作為數(shù)據(jù)源輸入進(jìn)判別網(wǎng)絡(luò)，并由判別網(wǎng)絡(luò)進(jìn)行正確區(qū)分。“生成網(wǎng)絡(luò)”與“判別網(wǎng)絡(luò)”在訓(xùn)練過程中構(gòu)成一種動(dòng)態(tài)的“博弈”過程[16]，如圖1所示。

圖1 生成對(duì)抗網(wǎng)絡(luò)模型

1.2 殘差網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)(ResNet)于2015年由何凱明等首次提出，實(shí)驗(yàn)結(jié)果表明，殘差網(wǎng)絡(luò)模型比VGGNet和GoogleNet的分類準(zhǔn)確率高[17]。該網(wǎng)絡(luò)結(jié)構(gòu)未增加額外的參數(shù)和超參數(shù)，因此計(jì)算復(fù)雜度并未增高，而且殘差網(wǎng)絡(luò)中增設(shè)了“快捷連接”，有效解決了網(wǎng)絡(luò)的退化問題。殘差網(wǎng)絡(luò)特有的恒等快捷連接具有越過多個(gè)卷積層的能力，并直接將單一網(wǎng)絡(luò)的輸出添加到堆疊層的輸出中，可以保證信息的完整性。殘差網(wǎng)絡(luò)的主要組成部分為殘差塊，其基本結(jié)構(gòu)如圖2所示。

圖2 殘差塊基本結(jié)構(gòu)模型

圖2中，x為輸入量，F(xiàn)(x)為輸出量，該輸出經(jīng)過2層的加權(quán)和激活函數(shù)后得到，即

F(x)=W2σ(W1x)

(1)

式中：W1、W2分別為權(quán)重矩陣；σ為激活函數(shù)。

1.3 集群學(xué)習(xí)

集群學(xué)習(xí)構(gòu)建并集合多個(gè)弱學(xué)習(xí)器，以此來完成學(xué)習(xí)任務(wù)，稱之為多分類器系統(tǒng)[18]。其可分為兩類，區(qū)別在于其基學(xué)習(xí)器間依賴關(guān)系的強(qiáng)弱，具體為：一種是以boosting算法為代表的強(qiáng)依賴關(guān)系型，基學(xué)習(xí)器以串行生成；另一種是以bagging算法為代表的弱依賴關(guān)系型，基學(xué)習(xí)器以并行生成。

集群學(xué)習(xí)的集群策略主要有三種形式：

1)Average式。Average式分為Arithmetical和Weighted，是常用于解決回歸問題的一種形式。

2)Vote式。Vote式分為Relative、Absolute和Weighted，是常用于解決分類問題的一種形式。

3)Study式。Study式的集群方式將多個(gè)初級(jí)學(xué)習(xí)器學(xué)習(xí)的結(jié)果作為輸入，輸入到次級(jí)學(xué)習(xí)器中，繼續(xù)下一級(jí)學(xué)習(xí)，以Stacking方法為典型代表。

首先，健全法律法規(guī)。法律法規(guī)在校園安全管理中發(fā)揮著威懾性和警示性的作用，要結(jié)合實(shí)際情況為校園管理提供科學(xué)的法律保障，明確監(jiān)管單位的權(quán)利和責(zé)任，避免出現(xiàn)校園惡性事件，使安全管理制度的落實(shí)有法可依。

集群學(xué)習(xí)模型如圖3所示。

圖3 集群學(xué)習(xí)模型

2 多生成器聯(lián)同工作訓(xùn)練模型

2.1 多生成器聯(lián)同工作

傳統(tǒng)生成對(duì)抗網(wǎng)絡(luò)由單生成網(wǎng)絡(luò)與單判別網(wǎng)絡(luò)組成，存在梯度爆炸、梯度消失及訓(xùn)練穩(wěn)定性差等弊端，為解決此問題，WGAN模型提出了Wasserstein距離的概念。同時(shí)，殘差網(wǎng)絡(luò)緩解了僅使用卷積疊加對(duì)網(wǎng)絡(luò)進(jìn)行搭建時(shí)導(dǎo)致的網(wǎng)絡(luò)獲取信息受限及訓(xùn)練不穩(wěn)定問題。該文結(jié)合集群學(xué)習(xí)的理念，提出一種包含多生成器的生成對(duì)抗網(wǎng)絡(luò)模型，模型由兩大部分組成，前半部分是集群生成網(wǎng)絡(luò)，后半部分是判別網(wǎng)絡(luò)，其模型如圖4所示。

圖4 多生成器生成對(duì)抗網(wǎng)絡(luò)模型

多生成器生成對(duì)抗網(wǎng)絡(luò)模型中，每個(gè)生成器中包含前部、中部和后部3個(gè)部分。整個(gè)生成器共9個(gè)卷積層，其中前部包含3個(gè)卷積層，中部為3個(gè)殘差網(wǎng)絡(luò)模塊，后部對(duì)應(yīng)2個(gè)轉(zhuǎn)置卷積以及1個(gè)卷積層。由于各生成器具有相同的訓(xùn)練目的，對(duì)結(jié)果的影響不存在強(qiáng)弱差別，因此該模型中各生成器采用的是并行布置。

無人機(jī)航拍采集的輸電線路圖像大體相似，但不同的電力桿塔圖像特征間存在差異，例如直線塔與耐張塔，酒杯型與貓頭型等，且照片背景間明暗也不同。在搭建生成網(wǎng)絡(luò)時(shí)，各生成器的設(shè)置方式大體相同，如各生成器卷積層數(shù)的設(shè)置基本相同；而在細(xì)節(jié)處理方面略有差異，如各生成器卷積核大小和卷積步長(zhǎng)的設(shè)置并不完全相同。在這種設(shè)置方式下，每個(gè)生成器針對(duì)圖像信息的獲取側(cè)重點(diǎn)不同，好處是各生成器生成的圖像之間不至于雷同。

同時(shí)，由于圖像特征間存在相似性，各生成器生成的結(jié)果不可能相互割裂，需進(jìn)行“交流”，文中稱這種存在“交流”的學(xué)習(xí)方式為生成器間的聯(lián)同工作[19]。這種學(xué)習(xí)方式不僅有效減少了學(xué)習(xí)中的問題，還可加快網(wǎng)絡(luò)的擬合速度。該聯(lián)同工作機(jī)制主要包含兩個(gè)環(huán)節(jié)，一個(gè)是各生成器的參數(shù)復(fù)用環(huán)節(jié)，另一個(gè)是特征圖統(tǒng)合環(huán)節(jié)。由于電力桿塔圖像數(shù)據(jù)集的低維特征極其相似，進(jìn)行參數(shù)復(fù)用可大大減少參數(shù)量，并提升網(wǎng)絡(luò)訓(xùn)練速度。關(guān)于特征圖統(tǒng)合，根據(jù)各生成器的側(cè)重點(diǎn)給予不同的權(quán)重，通過加權(quán)，將多張圖像的特征矩陣統(tǒng)合成一個(gè)最終的特征矩陣。單生成器的學(xué)習(xí)能力非常有限，提取圖像特征所含的信息量不足，所采用的聯(lián)同工作的模塊組織方式有效地規(guī)避了這些問題。

2.2 損失函數(shù)

傳統(tǒng)生成對(duì)抗網(wǎng)絡(luò)采用JS散度作為評(píng)價(jià)函數(shù)，該函數(shù)有一個(gè)最大的問題，就是容易產(chǎn)生梯度消失。為解決此問題，Wasserstein距離的理論被提出來，其具有的平滑特性有效地改善了傳統(tǒng)網(wǎng)絡(luò)梯度消失的弊端。

G*=arg min(W(Pd‖Pg)-βJSD(PG1,PG2,…,PGn))

(2)

式中：Pg為各生成網(wǎng)絡(luò)的聯(lián)合分布情況;Pd為各生成網(wǎng)絡(luò)的真實(shí)分布情況;W為原始GAN損失算子；PG1…PGn為各集群分布;JSD為聯(lián)同損失算子;β為權(quán)重系數(shù)。min函數(shù)變量中的前后兩項(xiàng)，即集群生成網(wǎng)絡(luò)系統(tǒng)損失的兩個(gè)組成部分，其作用分別為驅(qū)使生成器生成的數(shù)據(jù)與真實(shí)數(shù)據(jù)更接近和促使生成器網(wǎng)絡(luò)對(duì)細(xì)節(jié)投入更多的關(guān)注。

之后，網(wǎng)絡(luò)將損失回傳到各生成網(wǎng)絡(luò)，來更新其參數(shù)矩陣。

2.3 判別網(wǎng)絡(luò)

判別網(wǎng)絡(luò)采用卷積串聯(lián)的方式，包含4個(gè)卷積層和2個(gè)全連接層，各層情況見表1。

表1 判別網(wǎng)絡(luò)各層結(jié)構(gòu)

3 案例分析

3.1 技術(shù)方案

采用Pytorch開源機(jī)器學(xué)習(xí)庫。Pytorch是由Facebook人工智能研究院基于Torch推出的，在深度學(xué)習(xí)領(lǐng)域發(fā)展迅速[21]。在Pytorch平臺(tái)上搭建多生成器對(duì)抗聯(lián)同網(wǎng)絡(luò)，以此來達(dá)到提取輸電線路信息的目的，其技術(shù)路線如圖5所示。

圖5 無人機(jī)采集圖像輸電線路提取技術(shù)路線

3.2 標(biāo)簽制作

首先需對(duì)無人機(jī)航拍圖像預(yù)處理，盡管在拍攝過程中已盡量保證拍攝的平衡，但受環(huán)境和氣流影響，還是難免出現(xiàn)俯仰和偏航等情況，因此須進(jìn)行圖像校正[22]。然后使用標(biāo)注軟件來標(biāo)注標(biāo)簽，依據(jù)事先預(yù)設(shè)的分類類型，先對(duì)圖像內(nèi)的輸電線路和桿塔區(qū)域標(biāo)注，再標(biāo)注其余區(qū)域。當(dāng)圖像上所有分類區(qū)域都獲得相應(yīng)的標(biāo)簽后，標(biāo)注工作完成，其在標(biāo)注軟件中標(biāo)注后的效果如圖6所示。

圖6 圖像分類標(biāo)注過程

對(duì)于模型的訓(xùn)練，訓(xùn)練數(shù)據(jù)越多，模型表現(xiàn)能力越強(qiáng)，在實(shí)際應(yīng)用中效果越理想。將一定量的樣本圖像數(shù)據(jù)輸入網(wǎng)絡(luò)，然后反復(fù)迭代訓(xùn)練，經(jīng)過一定訓(xùn)練次數(shù)后，生成網(wǎng)絡(luò)與判別網(wǎng)絡(luò)逐漸趨于平衡狀態(tài)，網(wǎng)絡(luò)訓(xùn)練接近尾聲。此時(shí)可將模型參數(shù)固化，網(wǎng)絡(luò)定型，最后的圖像信息提取結(jié)果即由生成網(wǎng)絡(luò)的生成結(jié)果得到。

3.3 結(jié)果分析

圖7顯示了某輸電桿塔及線路的提取結(jié)果。其中，圖7(a)為原始采集圖像，圖7 (b)為圖像標(biāo)簽。將5 000張圖像與標(biāo)簽配對(duì)，形成訓(xùn)練集，輸入計(jì)算模型開始訓(xùn)練。隨著訓(xùn)練次數(shù)的增加，真實(shí)樣本與標(biāo)簽逐漸趨同，每一次迭代后對(duì)網(wǎng)絡(luò)參數(shù)的修正量也越來越小，表明網(wǎng)絡(luò)模型接近收斂。此時(shí)將模型參數(shù)固化，并用原始圖像進(jìn)行模型驗(yàn)證。圖7(c)是模型識(shí)別出的桿塔范圍；圖7 (d)是最終提取出的輸電桿塔結(jié)果。從提取結(jié)果中可以看出，雖然還存在一定的噪聲，但基本的桿塔輪廓和主要部件都已完整地提取出來，證明了模型的有效性。

圖7 輸電桿塔提取結(jié)果

4 結(jié) 語

基于PyTorch平臺(tái)，搭建生成對(duì)抗網(wǎng)絡(luò)模型，進(jìn)行無人機(jī)采集圖像輸電線路信息提取的研究。先設(shè)計(jì)網(wǎng)絡(luò)架構(gòu)，然后對(duì)經(jīng)過預(yù)處理的圖像進(jìn)行標(biāo)簽標(biāo)注，并輸入樣本數(shù)據(jù)進(jìn)行訓(xùn)練，以此演示自動(dòng)提取輸電線路信息的深度學(xué)習(xí)模型的全部構(gòu)建過程。該網(wǎng)絡(luò)模型組建多生成器聯(lián)同工作的生成網(wǎng)絡(luò)，并使之與判別網(wǎng)絡(luò)進(jìn)行對(duì)抗，在兼顧細(xì)節(jié)的同時(shí)，有效提升了輸電線路信息提取的效果。

通過案例分析發(fā)現(xiàn)，該模型的提取結(jié)果滿足要求，可作為線路缺陷檢測(cè)等后續(xù)識(shí)別工作的基礎(chǔ)。但提取結(jié)果在噪聲處理方面還有待加強(qiáng)，下一步將開展深度研究，進(jìn)一步提高提取精度。