基于深度學(xué)習(xí)的耐張線夾壓接缺陷X射線影像智能識(shí)別

李鵬吾，劉榮海，周靜波，趙騰飛

(1. 云南電網(wǎng)有限責(zé)任公司電力科學(xué)研究院，昆明 650217； 2. 華北電力大學(xué)機(jī)械工程學(xué)院，河北 保定 071003)

0 引言

耐張線夾是輸電線路中的重要組成部分，由鋁套管和鋼錨兩部分組成。將鋁管與鋼錨、鋁管與導(dǎo)線的部位壓接成型，使導(dǎo)線與耐張線夾結(jié)合成整體，使其可以承擔(dān)連接導(dǎo)線的全部張力，并能接通電流。由于線路設(shè)計(jì)安全系數(shù)較高，即使存在壓接質(zhì)量缺陷也不會(huì)在施工結(jié)束后立即發(fā)生事故[1 - 2]，但在投運(yùn)后遭遇舞動(dòng)和長(zhǎng)期微風(fēng)振動(dòng)等情況下，容易導(dǎo)致線夾斷裂，從而引發(fā)電力事故。所以及時(shí)準(zhǔn)確地檢測(cè)出耐張線夾內(nèi)部是否存在缺陷至關(guān)重要。

目前，采用X射線數(shù)字成像檢測(cè)技術(shù)對(duì)電力設(shè)備進(jìn)行無(wú)損檢測(cè)已被大量應(yīng)用于工程實(shí)踐[3 - 4]。典型應(yīng)用場(chǎng)景為輸電線路中耐張線夾壓接質(zhì)量檢測(cè)[5]和GIS內(nèi)部結(jié)構(gòu)檢測(cè)[6]。但若采用人工識(shí)別的方法對(duì)采集到的X射線圖像進(jìn)行判斷，存在效率低、成本高等弊端。目前深度學(xué)習(xí)算法在圖像識(shí)別領(lǐng)域已發(fā)展比較成熟，并廣泛應(yīng)用于電力設(shè)備檢測(cè)中，如對(duì)無(wú)人機(jī)巡檢現(xiàn)場(chǎng)獲得的輸電線路、絕緣子等圖像的檢測(cè)[7 - 10]。由于目前還缺乏針對(duì)耐張線夾X射線圖像智能識(shí)別技術(shù)研究，因此本文利用深度學(xué)習(xí)對(duì)圖像的強(qiáng)大處理能力，針對(duì)耐張線夾X射線圖像智能識(shí)別展開(kāi)研究。

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法大致分為兩類(lèi)，一類(lèi)是以SSD、YOLO、RetinaNet及CenterNet等算法為主的一階段檢測(cè)算法[11 - 14]，另一類(lèi)是以R-CNN、Faster R-CNN及Mask R-CNN等算法為主的二階段檢測(cè)算法[15 - 17]。相比于一階段檢測(cè)算法，二階段檢測(cè)算法檢測(cè)準(zhǔn)確率更高，但檢測(cè)速度較慢。在工程應(yīng)用時(shí)，巡檢現(xiàn)場(chǎng)會(huì)傳輸回大量耐張線夾圖像，檢測(cè)端需快速、準(zhǔn)確地判斷耐張線夾是否存在缺陷，直接采用傳統(tǒng)檢測(cè)算法已不能滿(mǎn)足實(shí)際工程需要。本文通過(guò)對(duì)耐張線夾X射線圖像特點(diǎn)進(jìn)行分析，提出合理的檢測(cè)策略。耐張線夾X射線圖像如圖1所示。

圖1 壓接缺陷圖像Fig.1 Image of crimping defect

耐張線夾X射線圖像具有以下特點(diǎn)。

1)缺陷部位在整張圖像中占比小，檢測(cè)難度大。

如圖中耐張線夾X射線圖像分辨率(簡(jiǎn)稱(chēng)尺寸，以像素為單位，下略)平均為1 660×1 037，而缺陷部位目標(biāo)框尺寸平均值為45×45，缺陷部位在整張圖像中占比約為0.12%，直接對(duì)目標(biāo)檢測(cè)十分困難。

2)圖像背景信息多，檢測(cè)效率低。

采集到X射線圖像大面積為黑色背景，若利用算法模型直接檢測(cè)，在檢測(cè)黑色背景這些無(wú)用信息時(shí)，會(huì)消耗大量算力，導(dǎo)致效率不高。

基于以上特點(diǎn)，本文采用分級(jí)檢測(cè)策略。首先定位到耐張線夾壓接部位，并將其從原始圖像中分割，隨后利用分割出的圖像進(jìn)行壓接缺陷檢測(cè)。這種檢測(cè)策略不僅可以解決缺陷部位在整張圖像中占比小，檢測(cè)難度大的問(wèn)題，還可以快速過(guò)濾掉無(wú)用的背景信息，提高檢測(cè)效率。

本文具體實(shí)現(xiàn)方法為：首先利用CenterNet定位耐張線夾壓接部位，并通過(guò)切割算法對(duì)壓接部位進(jìn)行切割，將壓接部位圖像作為第二級(jí)檢測(cè)的輸入。所截取出的壓接部位圖像平均尺寸為230×230，缺陷部位目標(biāo)框尺寸平均值為45×45，壓接缺陷在壓接部位圖像中平均占比提高到3.8%。相比于直接檢測(cè)，大幅降低檢測(cè)難度。為有效避免圖片數(shù)量少導(dǎo)致訓(xùn)練中出現(xiàn)過(guò)擬合現(xiàn)象，對(duì)壓接部位樣本進(jìn)行數(shù)據(jù)增強(qiáng)。最后利用RetinaNet算法對(duì)缺陷部位進(jìn)行檢測(cè)，以達(dá)到對(duì)耐張線夾壓接缺陷的快速準(zhǔn)確識(shí)別

1 耐張線夾壓接缺陷檢測(cè)模型

耐張線夾壓接缺陷檢測(cè)的核心是壓接部位的定位與缺陷部位的檢測(cè)，為提高檢測(cè)效率和檢測(cè)精度，需用到目標(biāo)檢測(cè)算法。本文采用CenterNet和RetinaNet算法。對(duì)整個(gè)檢測(cè)模型來(lái)說(shuō)，首先需要定位出壓接部位，故采用檢測(cè)效率更高的CenterNet算法來(lái)檢測(cè)壓接部位。而RetinaNet算法在準(zhǔn)確率上更有優(yōu)勢(shì)，所以用來(lái)最終的缺陷部位檢測(cè)。耐張線夾壓接缺陷檢測(cè)模型原理如圖2所示。基于CenterNet算法的壓接部位定位模型CenterNet與其他目標(biāo)檢測(cè)算法不同，不需要設(shè)置復(fù)雜的超參數(shù)。如Faster R-CNN需要針對(duì)不同檢測(cè)設(shè)置錨點(diǎn)尺寸，YOLO需要設(shè)置每個(gè)位置回歸框數(shù)量。而CenterNet只需在圖像上尋找中心點(diǎn)位置，然后估計(jì)目標(biāo)高度和寬度，即可確定檢測(cè)目標(biāo)的位置和尺寸[18]。這種方法不僅速度快而且具有較高精度。CenterNet目標(biāo)檢測(cè)框架如圖3所示。其主要包括用于提取特征的主干網(wǎng)絡(luò)和三個(gè)頭部網(wǎng)絡(luò)Head- 1、Head- 2和Head- 3。

圖2 耐張線夾壓接缺陷檢測(cè)模型原理Fig.2 Principle of the detection model for the crimping defect of the tension clamp

圖3 CenterNet目標(biāo)檢測(cè)框架Fig.3 CenterNet target detection framework

CenterNet中主干網(wǎng)絡(luò)用于對(duì)輸入圖像提取圖像特征，輸入圖像為512×512×3的X射線圖像，輸出為128×128×64的特征圖。Head- 1用于估計(jì)目標(biāo)中心點(diǎn)位置，由于Focal Loss[19]可以更好地解決正負(fù)樣本不平衡問(wèn)題，因此選用Focal Loss來(lái)計(jì)算中心點(diǎn)損失LK如式(1)所示。

(1)

Head- 2用于微調(diào)目標(biāo)中心點(diǎn)的位置，實(shí)現(xiàn)對(duì)目標(biāo)中心點(diǎn)的精確定位。目標(biāo)中心點(diǎn)偏置損失Loff如式(2)所示。

(2)

Head- 3用于估計(jì)檢測(cè)目標(biāo)的寬和高，目標(biāo)框?qū)捀邠p失函數(shù)如式(3)所示。

(3)

最后，對(duì)3個(gè)損失函數(shù)加權(quán)求和，得到總體的損失函數(shù)Ldet如式(4)所示。

Ldet=LK+λsizeLsize+λoffLoff

(4)

式中λsize和λoff為權(quán)重系數(shù)，用于平衡3種損失函數(shù)，訓(xùn)練過(guò)程中分別設(shè)置λsize=0.1和λoff=1。

采用CenterNet檢測(cè)耐張線夾壓接部位的基本流程如下。

1)將X射線圖片大小調(diào)整為512×512后輸入檢測(cè)網(wǎng)絡(luò)。

2)由于耐張線夾X射線圖像數(shù)據(jù)集規(guī)模較小，為了避免網(wǎng)絡(luò)訓(xùn)練中出現(xiàn)過(guò)擬合現(xiàn)象，選用ResNet- 50作為本方法主干網(wǎng)絡(luò)。

3)對(duì)輸入圖像進(jìn)行特征提取，生成特征圖。提取熱力圖上每個(gè)類(lèi)的峰值點(diǎn)：將熱力圖上的所有響應(yīng)點(diǎn)與其連接的8個(gè)臨近點(diǎn)進(jìn)行比較，如果該點(diǎn)響應(yīng)值大于或等于其8個(gè)臨近點(diǎn)值則保留，最后我們保留所有滿(mǎn)足之前要求的前100個(gè)峰值點(diǎn)。最終通過(guò)式(5)完成關(guān)鍵點(diǎn)到位置框回歸過(guò)程，即完成耐張線夾壓接部位檢測(cè)。

(5)

1.1 切割算法與圖像數(shù)據(jù)增強(qiáng)

利用CenterNet的預(yù)測(cè)框標(biāo)定出位置信息，可切割出耐張線夾壓接部位，并且可保證切割出的耐張線夾壓接部位圖像仍具有較高分辨率。將切割出的圖像采用旋轉(zhuǎn)、翻轉(zhuǎn)、調(diào)整對(duì)比度等方法進(jìn)行數(shù)據(jù)增強(qiáng)，效果如圖4所示。通過(guò)切割與數(shù)據(jù)增強(qiáng)階段處理，為第二級(jí)檢測(cè)提供高分辨率的耐張線夾壓接部位圖像。

圖4 數(shù)據(jù)增強(qiáng)方法Fig.4 Data enhancement method

1.2 基于RetinaNet算法的壓接缺陷檢測(cè)模型

RetinaNet算法是由骨干網(wǎng)絡(luò)ResNet[20]與特征金字塔[21](feature pyramid networks,FPN)為主體框架，兩個(gè)全卷積[22](fully convolutional networks,FCN)子網(wǎng)絡(luò)負(fù)責(zé)分類(lèi)與回歸的一階段目標(biāo)檢測(cè)算法。它最大的貢獻(xiàn)在于提出了Focal Loss用于解決類(lèi)別不均衡問(wèn)題，從而創(chuàng)造了RetinaNet。它的精度超越了經(jīng)典的二階段檢測(cè)算法的Faster-RCNN的目標(biāo)檢測(cè)網(wǎng)絡(luò)。

RetinaNet算法網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 RetinaNet算法網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 RetinaNet algorithm network structure

圖像首先由ResNet主干網(wǎng)進(jìn)行特征提取，并通過(guò)5個(gè)不同層的殘差模塊輸出不同分辨率的特征圖[23]，按順序記為C1—C5。隨后通過(guò)FPN進(jìn)行特征融合，形成與C3、C4、C5具有相同分辨率的融合特征圖P3、P4、P5。對(duì)P5采用3×3的卷積核，步長(zhǎng)為2的卷積操作，得到P6。同樣方法對(duì)P6進(jìn)行相同的卷積操作，得到P7。

特征融合后，對(duì)每個(gè)融合特征圖(P3—P7)，分別生成預(yù)選框。隨后，采用分類(lèi)網(wǎng)絡(luò)和回歸網(wǎng)絡(luò)進(jìn)行類(lèi)別和位置的預(yù)測(cè)。分類(lèi)網(wǎng)絡(luò)通過(guò)對(duì)融合特征圖的一系列卷積運(yùn)算，得到每個(gè)預(yù)選框包含目標(biāo)物體的概率；同樣地，回歸網(wǎng)絡(luò)通過(guò)對(duì)融合特征圖的一系列卷積運(yùn)算，得到每個(gè)預(yù)選框包含目標(biāo)的真實(shí)區(qū)域的偏置量[24 - 25]。最后，通過(guò)選取預(yù)選框包含目標(biāo)物體的概率的最大值與真實(shí)區(qū)域的偏置量進(jìn)行坐標(biāo)變換，得到預(yù)選框包含的目標(biāo)類(lèi)別和坐標(biāo)準(zhǔn)確值。

RetinaNet算法中的損失函數(shù)定義如式(6)所示。

fFL(pt)=-αt(1-pt)γlogpt

(6)

式中：pt為訓(xùn)練樣本類(lèi)別置信度；αt為平衡因子;γ為調(diào)節(jié)因子，取值在[0，5]之間；αt和γ為固定值，按原文作者經(jīng)驗(yàn)分別取值0.25和2.0。

利用RetinaNet算法對(duì)壓接缺陷進(jìn)行檢測(cè)，具體流程如下。

1)將切割后的壓接部位圖像大小調(diào)整為512×512后輸入檢測(cè)網(wǎng)絡(luò)。

2)網(wǎng)絡(luò)框架選用ResNet50+FPN，壓接部位圖像經(jīng)主干網(wǎng)絡(luò)生成特征圖，特征融合后P3-P7尺寸為64×64、32×32、16×16、8×8、4×4，每個(gè)不同尺度特征融合圖進(jìn)行預(yù)測(cè)，識(shí)別壓接部位缺陷類(lèi)別與位置。

3)由于第一級(jí)檢測(cè)已經(jīng)將存在壓接缺陷的壓接部位確定出來(lái)，使得壓接缺陷在壓接部位中占比大幅提升，故可選擇去除RetinaNet中P7層，以提高檢測(cè)效率。

1.3 目標(biāo)檢測(cè)算法評(píng)價(jià)指標(biāo)

目標(biāo)檢測(cè)算法檢測(cè)結(jié)果共4種。分別為T(mén)P(正樣本被正確預(yù)測(cè)為正樣本)、TN(負(fù)樣本被正確預(yù)測(cè)為負(fù)樣本)、FP(負(fù)樣本被錯(cuò)誤預(yù)測(cè)為正樣本)、FN(正樣本被錯(cuò)誤預(yù)測(cè)為負(fù)樣本)。其數(shù)量分別為QTP、QTN、QFP、QFN。

本文針對(duì)耐張線夾壓接缺陷檢測(cè)系統(tǒng)的性能評(píng)估給出以下評(píng)價(jià)指標(biāo)，用來(lái)驗(yàn)證模型有效性和準(zhǔn)確性。

1)準(zhǔn)確率(precision，P)，如式(7)所示。

(7)

2)召回率(recall,R)，如式(8)所示。

(8)

3)平均精度(average precision,PA)，計(jì)算公式如式(9)所示。

(9)

式中：PA為平均精度，用來(lái)評(píng)估檢測(cè)算法準(zhǔn)確率；P為準(zhǔn)確率，表示識(shí)別出結(jié)果正確的預(yù)測(cè)框占所有預(yù)測(cè)框的比例；R為召回率，表示正確的預(yù)測(cè)框占所有真實(shí)框的比例。

PmA(mean average precision)表示所有類(lèi)別平均精度，計(jì)算公式如式(10)所示。

(10)

式中：PmA為所有類(lèi)別平均精度，PmA值越大說(shuō)明算法性能越好；n為類(lèi)別數(shù)。

2 算例仿真

2.1 算例概況

本文實(shí)驗(yàn)環(huán)境配置：CPU型號(hào)：Intel@ CoreTM i7- 6800l CPU @ 3.40GHz×12，GPU型號(hào)：NVIDIA GeForce GTX 1080 Ti，基于PyTorch1.4深度學(xué)習(xí)框架，python3.7環(huán)境下實(shí)現(xiàn)。

實(shí)驗(yàn)數(shù)據(jù)集為便攜式X射線機(jī)采集，實(shí)驗(yàn)數(shù)據(jù)集分為原圖中標(biāo)記壓接部位數(shù)據(jù)集(記為A類(lèi))、經(jīng)第一級(jí)檢測(cè)后裁剪出的壓接部位中標(biāo)記壓接缺陷數(shù)據(jù)集(記為B類(lèi))和原圖中直接標(biāo)記壓接缺陷數(shù)據(jù)集(記為C類(lèi))。共收集耐張線夾X射線圖像443張，并進(jìn)行壓接部位與壓接缺陷的人工標(biāo)注，形成數(shù)據(jù)集A和C。B類(lèi)數(shù)據(jù)集通過(guò)切割耐張線夾圖像中壓接部位獲得。通過(guò)數(shù)據(jù)增強(qiáng)獲得耐張線夾壓接部位圖像共1 772張。圖6為3種數(shù)據(jù)集標(biāo)注情況。將上述3種數(shù)據(jù)集全部按8：2隨機(jī)劃分為訓(xùn)練集和驗(yàn)證集。

圖6 3類(lèi)數(shù)據(jù)集標(biāo)注情況Fig.6 Labeling of three types of data sets

2.2 壓接部位定位結(jié)果與分析

利用CenterNet對(duì)壓接部位進(jìn)行定位。模型訓(xùn)練中圖像采用A類(lèi)數(shù)據(jù)集，輸入尺寸為512×512，學(xué)習(xí)率RL=0.000 1，圖片分批進(jìn)入訓(xùn)練網(wǎng)絡(luò)，每批大小為8，訓(xùn)練代數(shù)epoch=100，置信度為0.5。

耐張線夾壓接部位部分檢測(cè)結(jié)果如圖7所示。

圖7 耐張線夾壓接部位檢測(cè)結(jié)果Fig.7 Test results of the crimping part of the tension clamp

同樣地，用A類(lèi)數(shù)據(jù)集分別在SSD、YOLOv3、RetinaNet網(wǎng)絡(luò)上進(jìn)行同批次訓(xùn)練，與CenterNet模型進(jìn)行比較，檢測(cè)結(jié)果如表1所示。CenterNet算法對(duì)耐張線夾壓接部位與其他幾種算法相比有較高的識(shí)別效果。準(zhǔn)確率達(dá)到98.4%，雖然與SSD算法相比準(zhǔn)確率稍低，但召回率達(dá)到98.7%，比SSD算法提升8.9%。綜合來(lái)看，CenterNet算法在確定壓接部位中具有最好的性能，其PA值為97.1%，故選用CenterNet算法作為壓接部位的檢測(cè)算法。

表1 不同算法在耐張線夾壓接部位數(shù)據(jù)集測(cè)試結(jié)果Tab.1 Test results of different algorithms on the data set of the tension clamp crimping position

2.3 壓接缺陷部位檢測(cè)結(jié)果分析

利用RetinaNet算法對(duì)壓接缺陷進(jìn)行檢測(cè)。模型訓(xùn)練中圖像采用B類(lèi)數(shù)據(jù)集，輸入圖像大小為512×512，使用隨機(jī)梯度下降法(SGD)來(lái)訓(xùn)練網(wǎng)絡(luò)模型。學(xué)習(xí)率RL=0.000 25，訓(xùn)練代數(shù)epoch=100。

壓接缺陷部位部分檢測(cè)結(jié)果如圖8所示。

圖 8 壓接缺陷部位部分檢測(cè)結(jié)果Fig.8 Partial inspection results of crimping defects

同樣地，用B類(lèi)數(shù)據(jù)集分別在SSD、YOLOv3、CenterNett網(wǎng)絡(luò)上進(jìn)行同批次訓(xùn)練，與RetinaNet模型進(jìn)行比較，檢測(cè)結(jié)果如表2所示。

表2 不同算法在耐張線夾壓接缺陷數(shù)據(jù)集測(cè)試結(jié)果Tab.2 Test results of different algorithms on the data set of tension clamp crimping defects

RetinaNet算法在檢測(cè)壓接缺陷具有較好效果，準(zhǔn)確率、召回率和PmA都達(dá)到95%以上，相較于其他一階段檢測(cè)算法有更好的性能，故更適合作為壓接缺陷檢測(cè)算法。

2.4 采用分級(jí)檢測(cè)與直接檢測(cè)效果對(duì)比分析

使用C類(lèi)數(shù)據(jù)集，采用具有代表性的一階段檢測(cè)算法、二階段檢測(cè)算法，與文中所提分級(jí)檢測(cè)算法進(jìn)行對(duì)比。對(duì)比結(jié)果如表3所示。二階段檢測(cè)算法Faster R-CNN在準(zhǔn)確率與召回率方面雖然也表現(xiàn)出不錯(cuò)的結(jié)果，比一階段檢測(cè)算法SSD在準(zhǔn)確率與召回率方面分別高3.3%和4%，但仍然比文中所述分級(jí)檢測(cè)算法在準(zhǔn)確率與召回率方面分別低2.2%和2.1%，并且在中和指標(biāo)PA方面也低0.9%。所以在模型對(duì)目標(biāo)的識(shí)別方面，文中述分級(jí)檢測(cè)算法具有更好的性能。更重要的是文中述分級(jí)檢測(cè)算法分別比SSD算法和Faster R-CNN算法高2 f/s、11 f/s。

表3 一、二階段檢測(cè)算法與文中分級(jí)算法檢測(cè)結(jié)果對(duì)比Tab.3 Comparison of the detection results of the first and second stage detection algorithm and the classification algorithm in the text

本實(shí)驗(yàn)結(jié)果證明若直接采用一階段檢測(cè)算法(文中選用SSD)在原圖中檢測(cè)壓接缺陷，準(zhǔn)確率、召回率和PA值較低，檢測(cè)效果并不好。若直接采用二階段檢測(cè)算法(Faster R-CNN)在原圖中檢測(cè)壓接缺陷，準(zhǔn)確率、召回率和PA值較高，檢測(cè)效果較好，但檢測(cè)效率較低，不能實(shí)現(xiàn)快速檢測(cè)。所以，采用分級(jí)檢測(cè)策略能實(shí)現(xiàn)快速準(zhǔn)確檢測(cè)出耐張線夾壓接缺陷，滿(mǎn)足實(shí)際工程需要。

3 結(jié)論

針對(duì)耐張線夾X射線圖像存在缺陷部位尺寸小且排列緊密等特點(diǎn)，提出了一種基于深度學(xué)習(xí)的耐張線夾壓接缺陷X射線圖像檢測(cè)系統(tǒng)。采用分級(jí)檢測(cè)原則，首先利用CenterNet算法定位存在缺陷的壓接部位并切割出壓接部位，增大壓接缺陷在圖像中的占比，其次利用數(shù)據(jù)增強(qiáng)擴(kuò)充數(shù)據(jù)集，最后利用RetinaNet算法檢測(cè)壓接缺陷。通過(guò)仿真得出以下結(jié)論。

1)在確定壓接部位階段，CenterNet算法相比于其他一階段檢測(cè)算法具有更高準(zhǔn)確率，在整張圖像中能更快速、準(zhǔn)確的過(guò)濾無(wú)用信息，確定壓接部位，縮小壓接缺陷在圖像中占比，減小后續(xù)檢測(cè)壓接缺陷難度。

2)在確定壓接缺陷階段，RetinaNet相比于其他一階段檢測(cè)算法具有更好的性能，準(zhǔn)確定位壓接部位，并識(shí)別是否具有壓接缺陷。最終實(shí)現(xiàn)耐張線夾X射線圖像壓接缺陷的快速定位識(shí)別。

3)通過(guò)分別與一階段檢測(cè)算法SSD、二階段檢測(cè)算法Faster R-CNN對(duì)比，文中所述分級(jí)檢測(cè)算法比一階段檢測(cè)算法有更高的準(zhǔn)確率、召回率和AP值，比二階段算法具有更快的檢測(cè)速度。所以，采用分級(jí)檢測(cè)策略能實(shí)現(xiàn)快速準(zhǔn)確檢測(cè)出耐張線夾壓接缺陷，滿(mǎn)足實(shí)際工程需要。