基于改進(jìn)YOLOV4 網(wǎng)絡(luò)的絕緣子缺陷檢測(cè)*

李運(yùn)堂，詹葉君，王鵬峰，張 坤，金 杰，李孝祿，陳 源，馮 娟

(1.中國(guó)計(jì)量大學(xué)機(jī)電工程學(xué)院，浙江 杭州 310018；2.中國(guó)計(jì)量大學(xué)現(xiàn)代科技學(xué)院，浙江 金華 321000)

絕緣子作為輸電線路的重要組成部分，是實(shí)現(xiàn)電力輸送線路不同組件之間可靠絕緣，確保電能安全輸送的重要部件。 由于長(zhǎng)期暴露于外部環(huán)境，經(jīng)受日曬雨淋、電閃雷擊，絕緣子容易出現(xiàn)自爆、破損、閃絡(luò)等缺陷。 其中，破損和閃絡(luò)缺陷最常見[1]。 目前，絕緣子缺陷檢測(cè)大都采用基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法，通過卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)缺陷特征，利用回歸器和分類器定位和分類缺陷。 馬賓等[2]提出絕緣子自適應(yīng)旋轉(zhuǎn)校正算法，利用GDIOU 損失函數(shù)提高YOLOV4 的定位精度和收斂速度，提升不同空間狀態(tài)下絕緣子識(shí)別精度。 黨宏社等[3]將MobileNetV2 作為輕量級(jí)YOLOV4 的主干特征提取網(wǎng)絡(luò)，利用深度可分離卷積代替標(biāo)準(zhǔn)卷積，采用h-swish 函數(shù)作為模型頸部網(wǎng)絡(luò)激活函數(shù)，減少特征反復(fù)提取引起的信息損失，提高檢測(cè)精度。 高偉等[4]利用對(duì)抗生成網(wǎng)絡(luò)SR-GAN 提高小目標(biāo)檢測(cè)能力，采用余弦退火算法提高學(xué)習(xí)率，加快YOLOV4 網(wǎng)絡(luò)訓(xùn)練速度。 唐小煜等[5]對(duì)高分辨率圖像進(jìn)行滑動(dòng)窗口切分裁剪，將小目標(biāo)圖像經(jīng)過數(shù)據(jù)增強(qiáng)后批量輸入經(jīng)優(yōu)化的UNet 網(wǎng)絡(luò)，提取絕緣子輪廓，采用YOLOV4 網(wǎng)絡(luò)訓(xùn)練缺陷數(shù)據(jù)集，實(shí)現(xiàn)自爆缺陷絕緣子定位。 劉悅等[6]利用YOLOV4 網(wǎng)絡(luò)定位絕緣子，結(jié)合形態(tài)學(xué)重建分水嶺算法檢測(cè)絕緣子爆裂，但存在復(fù)雜背景下分割不準(zhǔn)確問題。 Bai 等[7]提出基于遷移學(xué)習(xí)的空間金字塔池化網(wǎng)絡(luò)(SPP-Net)絕緣子缺陷檢測(cè)方法，適用于樣本數(shù)量少的數(shù)據(jù)集。Tao 等[8]采用仿射變換、高斯模糊、亮度變換和掩膜融合背景圖像等方法，生成自爆缺陷絕緣子數(shù)據(jù)集，利用級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)并定位缺陷。 Wen 等[9]基于特征金字塔FPN、級(jí)聯(lián)回歸和GIOU 損失函數(shù)提出雙階段目標(biāo)檢測(cè)R-CNN 模型，引入興趣區(qū)域?qū)R(ROI Align)代替興趣區(qū)域池化(ROI Pooling)解決區(qū)域不匹配問題，利用深度可分離卷積和線性瓶頸層減少計(jì)算量，絕緣子缺陷檢測(cè)精度優(yōu)于主流目標(biāo)檢測(cè)算法。 Qi 等[10]針對(duì)默認(rèn)先驗(yàn)框與絕緣子尺寸不匹配問題，基于SSD 網(wǎng)絡(luò)提出先驗(yàn)框長(zhǎng)寬比自適應(yīng)確定方法，精度和實(shí)時(shí)性滿足要求。 Gao 等[11]提出添加卷積注意力機(jī)制(BN-CBAM)和特征融合模塊的絕緣子缺陷檢測(cè)網(wǎng)絡(luò)，充分利用特征通道信息，提高小目標(biāo)檢測(cè)能力；同時(shí)，采用目標(biāo)分割和背景融合擴(kuò)充數(shù)據(jù)集，提高樣本多樣性。 唐睿等[12]在YOLOV3 內(nèi)添加SPP 模塊融合不同尺度特征信息，提高網(wǎng)絡(luò)學(xué)習(xí)能力和缺陷檢測(cè)精度。 Liao 等[13]利用柔性非極大值抑制(Soft-NMS)改進(jìn)Faster R-CNN 網(wǎng)絡(luò)，提高重疊、鄰近絕緣子檢測(cè)能力，采用ResNet101 網(wǎng)絡(luò)提取絕緣子特征，相對(duì)于傳統(tǒng)R-CNN 網(wǎng)絡(luò)目標(biāo)定位更準(zhǔn)確，檢測(cè)精度更高。

現(xiàn)有目標(biāo)檢測(cè)方法檢測(cè)絕緣子缺陷速度慢、精度低，提出改進(jìn)YOLOV4 絕緣子缺陷檢測(cè)方法，通過引入注意力機(jī)制，提高主干特征提取網(wǎng)絡(luò)對(duì)絕緣子關(guān)鍵特征的關(guān)注度，采用聚類錨框獲得適合絕緣子特征的錨框尺寸，改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)，利用柔性非極大值抑制解決重疊小目標(biāo)漏檢問題。 實(shí)驗(yàn)結(jié)果表明，改進(jìn)YOLOV4 能夠?qū)崿F(xiàn)絕緣子缺陷快速高精度檢測(cè)。

1 YOLOV4 網(wǎng)絡(luò)

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

YOLOV4 為通過深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)檢測(cè)目標(biāo)進(jìn)行定位回歸和對(duì)象分類的單階段模型[14]。 常規(guī)YOLOV4 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，主要包括三部分，主干特征提取網(wǎng)絡(luò)CSPDarknet53、加強(qiáng)特征提取網(wǎng)絡(luò)PANet 和網(wǎng)絡(luò)頭部結(jié)構(gòu)Yolo Head。

圖1 常規(guī)YOLOV4 網(wǎng)絡(luò)結(jié)構(gòu)

圖1 中，CSPDarknet53 由1 個(gè)ConvBNMish 卷積模塊和5 個(gè)Resblock-module 組成。 卷積模塊ConvBNMish 包括卷積層(Conv)、批量歸一化(BN)和Mish 激活函數(shù)。 每個(gè)Resblock-module 由多個(gè)殘差模塊堆疊而成，如圖2 所示。

圖2 Resblock-module 結(jié)構(gòu)

Resblock-module 將輸入特征層分成兩個(gè)分支，主分支經(jīng)過ConvBNMish 模塊后進(jìn)行N個(gè)小殘差單元(ResBlock)堆疊，小殘差單元由兩個(gè)ConvBNMish模塊和一條快捷鏈路構(gòu)成，最終再經(jīng)過一次ConvBNMish 卷積。 過渡分支通過ConvBNMish 卷積直接連接到輸出層，最終將主分支和過渡分支在通道上堆疊，從而增加網(wǎng)絡(luò)深度并充分考慮前部特征層信息。 同時(shí)，內(nèi)部小殘差單元可減小網(wǎng)絡(luò)加深引起的梯度損失。

PANet 融合多尺度特征金字塔結(jié)構(gòu)，深層特征向淺層特征堆疊融合后將淺層特征反方向進(jìn)行深層特征堆疊融合，多層次多尺度反復(fù)提取絕緣子關(guān)鍵特征，從而增強(qiáng)特征復(fù)用性，如圖3 所示。

圖3 PANet 特征層輸出

SPP 網(wǎng)絡(luò)輸出的13×13 特征圖經(jīng)上采樣放大后融合圖3(c)所示的第5 層特征圖(26×26)得到圖3(d)所示的第11 層特征圖(26×26)，再經(jīng)過卷積、殘差以及上采樣放大得到圖3(e)所示的第13層特征圖(52×52)，最后融合圖3(b)所示的第4 層特征圖(52×52)得到圖3(f)所示的第14 層特征圖(52×52)。

Yolo Head 用于輸出YOLOV4 網(wǎng)絡(luò)的預(yù)測(cè)特征層信息，通過單次ConvBNLeaky 和單次1×1 卷積，將輸出通道調(diào)整為對(duì)象分類和定位回歸的張量維度。

1.2 網(wǎng)絡(luò)預(yù)測(cè)

YOLOV4 為基于錨框(Anchor)的端到端目標(biāo)檢測(cè)模型，最終獲得Yolo Head1、Yolo Head2 和Yolo Head3 不同尺寸預(yù)測(cè)特征圖，如圖4 所示。

圖4 不同尺寸預(yù)測(cè)特征圖

每個(gè)預(yù)測(cè)特征圖的前兩個(gè)維度將輸入圖像劃分為不同尺度網(wǎng)格，物體真實(shí)框中心在網(wǎng)格內(nèi)則該網(wǎng)格負(fù)責(zé)預(yù)測(cè)此物體。 每個(gè)網(wǎng)格設(shè)有小、中、大三種尺寸錨框，對(duì)應(yīng)三個(gè)預(yù)測(cè)特征圖，共9 種錨框，常規(guī)YOLOV4 錨框尺寸如表1 所示。

表1 常規(guī)YOLOV4 錨框尺寸

Yolo Head 第三個(gè)維度輸出5＋Nclass個(gè)參數(shù)。 分別為橫縱坐標(biāo)偏移變量tx和ty，錨框?qū)捀呖s放變量tw和th，置信度分?jǐn)?shù)O和類別總數(shù)Nclass。 YOLOV4利用Yolo Head 輸出結(jié)果調(diào)整錨框?qū)崿F(xiàn)目標(biāo)邊界框預(yù)測(cè)，如圖5 所示。 其中，虛線矩形框?yàn)楫?dāng)前網(wǎng)格基準(zhǔn)錨框，實(shí)線矩形框?yàn)檎{(diào)整后的預(yù)測(cè)框。

圖5 YOLO4 目標(biāo)邊界框預(yù)測(cè)

bx、by、bw和bh分別為調(diào)整后預(yù)測(cè)框橫縱坐標(biāo)和寬高。

式中:Cx和Cy分別為當(dāng)前網(wǎng)格左上角橫縱坐標(biāo)，利用Sigmoid 歸一化后，得到橫縱坐標(biāo)偏移量σ(tx)和σ(ty)，Pw和Ph分別為錨框在當(dāng)前預(yù)測(cè)特征層上的寬高。 通過網(wǎng)絡(luò)模型預(yù)測(cè)回歸參數(shù)，實(shí)現(xiàn)錨框調(diào)整，完成預(yù)測(cè)框定位。

置信度分?jǐn)?shù)O表示當(dāng)前預(yù)測(cè)框存在物體的置信度概率。

預(yù)測(cè)框內(nèi)存在物體時(shí)Pr(Object)置1，預(yù)測(cè)框內(nèi)為背景(不存在物體)時(shí)置0，IOU 表示預(yù)測(cè)框和絕緣子真實(shí)框的交并比。

式中，SA∩B表示預(yù)測(cè)框A和真實(shí)框B交集面積，SA∪B表示預(yù)測(cè)框A和真實(shí)框B并集面積。 IOU 取值[0，1]，取值越大預(yù)測(cè)框和真實(shí)框重合度越高，網(wǎng)絡(luò)預(yù)測(cè)越準(zhǔn)確。

預(yù)測(cè)特征層在多目標(biāo)重疊區(qū)域附近生成多個(gè)預(yù)測(cè)框，采用非極大值抑制(NMS)保留置信度最大的預(yù)測(cè)框，去除同一區(qū)域?qū)儆谕活悇e的多余預(yù)測(cè)框，按式(4)計(jì)算結(jié)果判斷。

式中:Di＝{d1，d2，…，dn}表示當(dāng)前類別對(duì)應(yīng)的置信度分?jǐn)?shù)，N表示非極大值抑制閾值，Q表示當(dāng)前類別置信度分?jǐn)?shù)最高的預(yù)測(cè)框，Ei＝{e1，e2，…，en}表示當(dāng)前類別的其他預(yù)測(cè)框。 通過預(yù)測(cè)操作實(shí)現(xiàn)預(yù)測(cè)框定位回歸和框內(nèi)目標(biāo)分類。

1.3 模型評(píng)價(jià)指標(biāo)

①單個(gè)類別精確率P:

式中:TC表示當(dāng)前缺陷類別被網(wǎng)絡(luò)預(yù)測(cè)正確的數(shù)量，F(xiàn)C表示其他缺陷類別但被網(wǎng)絡(luò)預(yù)測(cè)為當(dāng)前缺陷類別的數(shù)量。

②單個(gè)類別召回率R:

式中:FN表示當(dāng)前缺陷類別被網(wǎng)絡(luò)預(yù)測(cè)為其他缺陷類別的數(shù)量。

③單個(gè)類別P-R曲線面積AP:

AP 表示網(wǎng)絡(luò)單類別檢測(cè)結(jié)果，AP 值越大，單個(gè)類別檢測(cè)性能越好。

④多類別平均精度mAP:

mAP 反映網(wǎng)絡(luò)多類別檢測(cè)精度。C表示所有類別數(shù)量。

2 YOLOV4 算法改進(jìn)

絕緣子缺陷復(fù)雜、尺度多變，常規(guī)YOLOV4 網(wǎng)絡(luò)提取絕緣子缺陷特征能力不足，檢測(cè)精度低，并且網(wǎng)絡(luò)參數(shù)多，檢測(cè)速度慢。 同時(shí)，分類結(jié)果不準(zhǔn)確，小目標(biāo)絕緣子缺陷檢測(cè)容易出現(xiàn)漏檢。 因此，需改進(jìn)常規(guī)YOLOV4 網(wǎng)絡(luò)，從而適應(yīng)絕緣子缺陷檢測(cè)需求。

2.1 添加注意力機(jī)制

注意力機(jī)制有利于提高卷積神經(jīng)網(wǎng)絡(luò)自適應(yīng)學(xué)習(xí)重要特征的能力，根據(jù)網(wǎng)絡(luò)訓(xùn)練得出的注意力系數(shù)增加網(wǎng)絡(luò)關(guān)鍵特征注意力，減少干擾特征關(guān)注度。CBAM 為典型維度域和空間域相結(jié)合的注意力機(jī)制[15]，缺陷特征定位效果好，結(jié)構(gòu)如圖6 所示。

圖6 CBAM 模塊

CBAM 首先將特征圖輸入通道注意力模塊，然后輸入空間注意力模塊，得到權(quán)衡特征圖維度域和空間域的關(guān)鍵特征。 通道注意力模塊如圖7 所示。

圖7 通道注意力模塊

首先，沿輸入特征圖F 每個(gè)特征層的寬和高方向進(jìn)行全局最大池化(MaxPool)和全局平均池化(AvgPool)，得到兩個(gè)與輸入特征圖通道數(shù)相同，尺寸為1×1 的通道池化層。 然后，對(duì)兩個(gè)通道池化層進(jìn)行多層感知機(jī)(MLP)處理，分別進(jìn)行兩次共享全連接和非線性激活，第一次全連接壓縮通道數(shù)，第二次全連接恢復(fù)至輸入特征圖通道數(shù)，將兩個(gè)輸出的通道權(quán)重層融合相加再進(jìn)行Sigmoid 非線性激活，得到權(quán)衡輸入特征圖通道關(guān)鍵特征信息的權(quán)重層Mc，將Mc權(quán)重參數(shù)與輸入特征圖F在通道上相乘，完成輸入特征圖通道施加注意力機(jī)制，有效提取輸入特征圖維度域關(guān)鍵特征信息。

CBAM 空間注意力模塊如圖8 所示。

圖8 空間注意力模塊

首先，對(duì)通道注意力模塊輸出的特征圖F′在每個(gè)特征點(diǎn)的通道維度進(jìn)行最大池化和平均池化，得到尺寸為輸入特征圖大小的空間池化層，堆疊后獲得通道數(shù)為2 的聚合特征圖。 然后，利用卷積層將特征圖通道數(shù)減小至1，再經(jīng)Sigmoid 非線性激活，得到權(quán)衡輸入特征圖每個(gè)特征點(diǎn)信息的權(quán)重層Ms，將Ms權(quán)重參數(shù)與輸入特征圖F′相乘，完成輸入特征圖施加空間注意力機(jī)制，有效提取輸入特征圖空間域關(guān)鍵特征信息。

為了驗(yàn)證YOLOV4 引入注意力機(jī)制對(duì)絕緣子缺陷檢測(cè)結(jié)果的影響，對(duì)比表2 所示的YOLOV4 主干特征提取網(wǎng)絡(luò)三個(gè)輸出層添加CBAM 注意力模塊檢測(cè)結(jié)果。

表2 改進(jìn)主干特征提取網(wǎng)絡(luò)策略

表2 中改進(jìn)主干特征提取網(wǎng)絡(luò)，加強(qiáng)特征提取網(wǎng)絡(luò)PANet 和網(wǎng)絡(luò)頭部結(jié)構(gòu)Yolo Head 不變，絕緣子數(shù)據(jù)集和實(shí)驗(yàn)環(huán)境相同，訓(xùn)練500 個(gè)世代，常規(guī)YOLOV4 和三種改進(jìn)網(wǎng)絡(luò)實(shí)驗(yàn)結(jié)果如表3 所示。

表3 改進(jìn)主干特征提取網(wǎng)絡(luò)實(shí)驗(yàn)結(jié)果

可以看出，檢測(cè)精度隨主干網(wǎng)絡(luò)中引入注意力機(jī)制模塊數(shù)增加而提高，CBAM1、CBAM2 和CBAM3的mAP 分別提高了1.53%、1.72%和1.86%，優(yōu)于常規(guī)YOLOV4 網(wǎng)絡(luò)。 但注意力模塊增加，網(wǎng)絡(luò)復(fù)雜度增大，檢測(cè)時(shí)間增長(zhǎng)。

通過可視化熱力圖[16]可直觀顯示網(wǎng)絡(luò)興趣區(qū)域。 圖9 對(duì)比了常規(guī)YOLOV4 和三種改進(jìn)網(wǎng)絡(luò)的熱力圖。 其中，白色包裹區(qū)域表示網(wǎng)絡(luò)更加關(guān)注的區(qū)域。 可以看出，主干網(wǎng)絡(luò)添加注意力機(jī)制改善了絕緣子特征提取效果。

圖9 常規(guī)YOLOV4 和三種改進(jìn)網(wǎng)絡(luò)熱力圖

2.2 先驗(yàn)錨框選取

由網(wǎng)絡(luò)預(yù)測(cè)過程可知，錨框初始尺寸影響訓(xùn)練速度和定位準(zhǔn)確性，常規(guī)YOLOV4 錨框針對(duì)COCO數(shù)據(jù)集和VOC 數(shù)據(jù)集，不適用于絕緣子缺陷檢測(cè)。

K-Means[17]為重新定義錨框尺寸的聚類方法，將絕緣子標(biāo)注的目標(biāo)邊界框的寬和高作為坐標(biāo)點(diǎn)集合，以坐標(biāo)點(diǎn)之間的歐氏距離為指標(biāo)，從坐標(biāo)點(diǎn)集合隨機(jī)選取K個(gè)初始坐標(biāo)代表K個(gè)簇心，計(jì)算剩余坐標(biāo)點(diǎn)與簇心距離，將剩余坐標(biāo)點(diǎn)歸為最近簇的類別，所有坐標(biāo)點(diǎn)聚類完成后，重新計(jì)算每個(gè)簇心，反復(fù)迭代重新聚類操作直至簇心不變。 由于YOLOV4 頭部結(jié)構(gòu)輸出3 種尺度預(yù)測(cè)特征圖，每個(gè)預(yù)測(cè)特征圖有小、中、大三種尺度錨框，K取值為9。 絕緣子圖像輸入YOLOV4 前統(tǒng)一調(diào)整為416×416，真實(shí)框的寬和高坐標(biāo)值均縮小在416 以內(nèi)，聚類實(shí)驗(yàn)結(jié)果如圖10 所示。絕緣子數(shù)據(jù)集錨框分成9 種不同尺寸的簇。

圖10 K-Means 聚類結(jié)果

聚類后，9 種錨框尺寸參數(shù)更加符合絕緣子缺陷尺寸和寬高比例特征，如表4 所示。

表4 改進(jìn)YOLOV4 的錨框尺寸

2.3 改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)

常規(guī)YOLOV4 加強(qiáng)特征提取網(wǎng)絡(luò)PANet 中的卷積模塊ConvSet5 由5 個(gè)卷積層、歸一化層和激活函數(shù)組成，對(duì)于絕緣子缺陷檢測(cè)，ConvSet5 參數(shù)過多，檢測(cè)耗時(shí)過長(zhǎng)。 為減少網(wǎng)絡(luò)參數(shù)，采用CSPlayer[18]代替五次卷積ConvSet5。

CSPlayer 類似于常規(guī)YOLOV4 主干特征提取網(wǎng)絡(luò)中的Resblock-module，如圖11 所示。 不同之處在于小殘差單元(ResBlock)中采用深度可分離卷積代替普通卷積，大幅減少網(wǎng)絡(luò)參數(shù)。 引入CSPlayer 可增強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)能力，突破深層網(wǎng)絡(luò)反向傳播時(shí)的梯度計(jì)算瓶頸，加快網(wǎng)絡(luò)學(xué)習(xí)速度，實(shí)現(xiàn)網(wǎng)絡(luò)輕量化，有效提高檢測(cè)速度。

圖11 CSPlayer 結(jié)構(gòu)

為提高絕緣子缺陷檢測(cè)精度，主干特征提取網(wǎng)絡(luò)采用CBAM3 策略，改進(jìn)YOLOV4 結(jié)構(gòu)如圖12所示。

圖12 改進(jìn)YOLOV4 網(wǎng)絡(luò)結(jié)構(gòu)

具體改進(jìn)如下:

①在常規(guī)YOLOV4 主干特征提取網(wǎng)絡(luò)的三個(gè)輸出層添加CBAM 注意力模塊，增大網(wǎng)絡(luò)絕緣子缺陷空間特征和通道特征權(quán)重。

②利用三次深度可分離卷積代替三次ConvSet3卷積，減少了網(wǎng)絡(luò)參數(shù)，提高計(jì)算速度。

③利用CSPlayer 代替五次ConvSet5 卷積，增加網(wǎng)絡(luò)深度。 同時(shí)，堆疊多層殘差結(jié)構(gòu)充分結(jié)合輸入層特征，殘差結(jié)構(gòu)采用深度可分離卷積大幅降低網(wǎng)絡(luò)復(fù)雜度。

④由于絕緣子缺陷特征復(fù)雜多樣，為提高PANet特征提取能力，每一次上采樣和下采樣后，特征層堆疊后采用空間金字塔池化(SPP)進(jìn)一步融合多種尺度特征，有效聚合多重感受野絕緣子缺陷特征。

2.4 損失函數(shù)設(shè)計(jì)

常規(guī)YOLOV4 的損失函數(shù)包括三部分，預(yù)測(cè)框定位回歸損失、置信度分?jǐn)?shù)損失和類別損失。

預(yù)測(cè)框定位回歸損失為:

式中:d表示絕緣子預(yù)測(cè)框中心與真實(shí)框中心之間的歐氏距離，c表示絕緣子預(yù)測(cè)框和真實(shí)框的最小矩形外包框?qū)蔷€長(zhǎng)度，α為非負(fù)的權(quán)衡參數(shù)，q表征絕緣子預(yù)測(cè)框和真實(shí)框?qū)捀弑鹊南嗨贫取?/p>

式中:hgt和wgt分別表示絕緣子真實(shí)框的高和寬，h和w分別表示絕緣子預(yù)測(cè)框的高和寬。

置信度分?jǐn)?shù)損失為:

式中:s表示絕緣子圖像劃分網(wǎng)格數(shù)量。B表示每個(gè)網(wǎng)格存在的預(yù)測(cè)目標(biāo)邊界框數(shù)量。goijbj表示絕緣子圖像的第i個(gè)網(wǎng)格對(duì)應(yīng)的第j個(gè)預(yù)測(cè)目標(biāo)邊界框內(nèi)是否存在物體，存在物體goijbj＝1，否則，goijbj＝0。λnoobj表示加權(quán)懲罰系數(shù)。C表示絕緣子缺陷類別數(shù)。

類別損失為

式中:pi表示屬于某個(gè)類別的概率表示當(dāng)前類別預(yù)測(cè)概率，c表示絕緣子缺陷類別編號(hào)。

常規(guī)YOLOV4 的閃絡(luò)缺陷和正常絕緣子分類精度較低。 因此，增加類別損失在總損失函數(shù)的比重，提高分類精度。

實(shí)驗(yàn)結(jié)果表明，分類權(quán)重系數(shù)λclass＝2 時(shí)測(cè)試集分類效果較好，網(wǎng)絡(luò)總損失函數(shù)為

2.5 柔性非極大值抑制

常規(guī)YOLOV4 采用非極大值抑制(NMS)篩選預(yù)測(cè)框。 NMS 根據(jù)同一類別預(yù)測(cè)框IOU 是否大于設(shè)定閾值去除與置信度分?jǐn)?shù)最大預(yù)測(cè)框重合度較高的冗余預(yù)測(cè)框。 如果絕緣子缺陷距離很近或部分重疊，同時(shí)預(yù)測(cè)框的IOU 較大，NMS 將刪除置信度較小的預(yù)測(cè)框，出現(xiàn)漏檢。 采用柔性非極大值抑制(Soft-NMS)[19]可有效解決上述問題，按式(16)的計(jì)算結(jié)果進(jìn)行判斷。

式中:Si＝{s1，s2，…，sn}表示置信度分?jǐn)?shù)，M表示Soft-NMS 閾值，G表示置信度得分最高的預(yù)測(cè)框，Hi＝{h1，h2，…，hn}表示其余預(yù)測(cè)框。 預(yù)測(cè)框重疊面積越大，與G重合的其余預(yù)測(cè)框置信度分?jǐn)?shù)下降越快，距離G近的預(yù)測(cè)框懲罰分?jǐn)?shù)越大，距離G遠(yuǎn)的預(yù)測(cè)框置信度分?jǐn)?shù)不變。 但式(16)在預(yù)測(cè)框重疊時(shí)不連續(xù)，預(yù)測(cè)框交并比為M時(shí)，懲罰函數(shù)導(dǎo)致置信度分?jǐn)?shù)排序突變。 為使預(yù)測(cè)框重疊時(shí)懲罰函數(shù)連續(xù)變化，不重疊時(shí)懲罰函數(shù)為零，引入高斯指數(shù)懲罰函數(shù)。

式中:σ為指定系數(shù)，值為0.5；L為最終預(yù)測(cè)框集合，懲罰函數(shù)隨重疊度增加而增大。

圖13 為采用NMS 和Soft-NMS 的檢測(cè)結(jié)果。 可以看出，Soft-NMS 識(shí)別出所有閃絡(luò)缺陷，而NMS 漏檢了重疊程度高的閃絡(luò)缺陷。

圖13 NMS 和Soft-NMS 檢測(cè)結(jié)果

3 絕緣子缺陷檢測(cè)實(shí)驗(yàn)

3.1 絕緣子數(shù)據(jù)集搭建

通過網(wǎng)絡(luò)收集絕緣子缺陷數(shù)據(jù)集，分別為中國(guó)輸電線路絕緣子數(shù)據(jù)集[20]、IEEE 絕緣子數(shù)據(jù)集(https:/ /ieee-dataport.org/competitions/insulator-defect-detection) 和2020 屆泰迪杯絕緣子數(shù)據(jù)集(https:/ /www.tipdm.org)。 數(shù)據(jù)圖像包含正常絕緣子、閃絡(luò)缺陷絕緣子和破損缺陷絕緣子，通過水平鏡像、上下翻轉(zhuǎn)、隨機(jī)亮度和對(duì)比度等數(shù)據(jù)增強(qiáng)方式將數(shù)據(jù)集擴(kuò)充至5 000 張圖像。

采用Labelimg 標(biāo)注絕緣子圖像，如圖14 所示。生成包含絕緣子錨框坐標(biāo)、缺陷錨框坐標(biāo)、絕緣子類別、缺陷類別等信息的xml 文件。

圖14 Labelimg 標(biāo)注界面

3.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境配置:深度學(xué)習(xí)框架Pytorch-GPU V1.7.0，深度神經(jīng)網(wǎng)絡(luò)加速庫CUDNN7.6.4；Nvidia運(yùn)算平臺(tái)CUDA10.1，顯卡為Nvidia GeForce GTX 1660，顯存6GB，處理器為Inter Core i7-9700k 3.60GHz 八核，內(nèi)存32GB；圖像處理庫Opencv4.4.0 和Pillow8.0.1，數(shù)組運(yùn)算庫numpy1.19.4，繪圖工具庫matplotlib3.3.3；編程語言為Python3.7，操作系統(tǒng)為Windows10。

3.3 網(wǎng)絡(luò)訓(xùn)練過程

利用遷移學(xué)習(xí)策略，將改進(jìn)YOLOV4 網(wǎng)絡(luò)在GPU 上訓(xùn)練，采用Adam 優(yōu)化器更新網(wǎng)絡(luò)參數(shù)，初始學(xué)習(xí)率為0.001，學(xué)習(xí)率衰減系數(shù)為0.0005，Batch＿size為4，共訓(xùn)練500 個(gè)世代，損失值變化如圖15 所示。

圖15 損失值變化曲線

隨著訓(xùn)練代數(shù)增加，損失值逐漸降低并趨于穩(wěn)定，收斂于0.6 附近，表明缺陷檢測(cè)達(dá)到較好的訓(xùn)練結(jié)果。

3.4 對(duì)比消融實(shí)驗(yàn)

對(duì)比常規(guī)YOLOV4 和改進(jìn)YOLOV4 在測(cè)試集的預(yù)測(cè)結(jié)果，如圖16 所示。 測(cè)試集中隨機(jī)抽取存在大目標(biāo)破損缺陷、大目標(biāo)閃絡(luò)缺陷、多種類型絕緣子和小目標(biāo)缺陷。

圖16 常規(guī)YOLOV4 和改進(jìn)網(wǎng)絡(luò)檢測(cè)結(jié)果

圖16(Ⅰ)表明，常規(guī)YOLOV4 存在絕緣子缺陷漏檢，改進(jìn)YOLOV4 在PANet 中添加的SPP 模塊增強(qiáng)了網(wǎng)絡(luò)多尺度特征學(xué)習(xí)能力，未出現(xiàn)漏檢或錯(cuò)檢，并提高了檢測(cè)精度；由圖16(Ⅱ)和圖16(Ⅲ)可以看出，常規(guī)YOLOV4 和改進(jìn)YOLOV4 均能檢測(cè)出大目標(biāo)缺陷，但改進(jìn)YOLOV4 定位更準(zhǔn)確，預(yù)測(cè)框完整包圍缺陷，并且預(yù)測(cè)框置信度分?jǐn)?shù)大于常規(guī)YOLOV4，表明K-Means 聚類錨框有利于提高缺陷定位精度，CBAM 使網(wǎng)絡(luò)更加關(guān)注絕緣子缺陷特征；圖16(Ⅳ)表明，常規(guī)YOLOV4 將高分辨率圖像中所有小目標(biāo)絕緣子誤判為正常絕緣子，而改進(jìn)YOLOV4 在總損失函數(shù)中增大了分類損失比重，提高了分類精度，可檢測(cè)出小目標(biāo)破損缺陷。

定量消融對(duì)比實(shí)驗(yàn)結(jié)果如表5 所示。 其中a 類表示破損缺陷，b 類表示閃絡(luò)缺陷，c 類表示存在缺陷絕緣子，d 類表示正常絕緣子。 方法1 引入注意力機(jī)制，主干特征提取網(wǎng)絡(luò)采用CBAM3 策略；方法2 引入注意力機(jī)制并改進(jìn)錨框尺寸；方法3 引入注意力機(jī)制、改進(jìn)錨框尺寸和調(diào)整損失函數(shù)；方法4 引入注意力機(jī)制、改進(jìn)錨框尺寸、調(diào)整損失函數(shù)和修改網(wǎng)絡(luò)結(jié)構(gòu)；方法5 引入注意力機(jī)制、改進(jìn)錨框尺寸、調(diào)整損失函數(shù)、修改網(wǎng)絡(luò)結(jié)構(gòu)和使用Soft-NMS。

表5 消融對(duì)比實(shí)驗(yàn)結(jié)果

由表5 可以看出，方法1 耗時(shí)比常規(guī)YOLOV4長(zhǎng)，但檢測(cè)精度高，表明引入CBAM3 注意力機(jī)制能夠提取更多絕緣子關(guān)鍵特征，但增加了模型復(fù)雜度。方法2 比方法1 和常規(guī)YOLOV4 識(shí)別精度高，表明利用K-Means 聚類得到的錨框尺寸更加符合絕緣子數(shù)據(jù)集特征。 方法3 在總損失函數(shù)中增大分類損失的權(quán)重比例，檢測(cè)精度進(jìn)一步提高。 方法4 檢測(cè)精度顯著高于方法1、方法2、方法3 和常規(guī)YOLOV4，并且檢測(cè)時(shí)間大幅縮短，表明在PANet 中添加SPP模塊有助于融合絕緣子多尺度特征，深度可分離卷積和CSPlayer 代替普通卷積塊大幅減少網(wǎng)絡(luò)參數(shù)，實(shí)現(xiàn)模型輕量化，提高了檢測(cè)速度。 方法5 破損和閃絡(luò)缺陷檢測(cè)精度高，表明Soft-NMS 有助于檢測(cè)重疊程度較大的小目標(biāo)絕緣子缺陷。

3.5 不同網(wǎng)絡(luò)對(duì)比實(shí)驗(yàn)

選用Faster R-CNN[21]、SSD[22]、YOLOV3[23]、YOLOV4 等主流目標(biāo)檢測(cè)方法與改進(jìn)YOLOV4(方法5)進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表6 所示。

表6 不同網(wǎng)絡(luò)對(duì)比實(shí)驗(yàn)結(jié)果

可以看出，F(xiàn)aster R-CNN 的檢測(cè)精度高于其他主流的單階段目標(biāo)檢測(cè)模型，但是雙階段檢測(cè)模型結(jié)構(gòu)復(fù)雜，參數(shù)多，檢測(cè)時(shí)間長(zhǎng)，無法滿足絕緣子缺陷實(shí)時(shí)性要求。 SSD 雖然參數(shù)量較少，檢測(cè)速度較快，但特征提取能力弱于YOLO 算法，檢測(cè)精度最低。 由于YOLOV3 的加強(qiáng)特征提取網(wǎng)絡(luò)采用FPN結(jié)構(gòu)，絕緣子缺陷特征融合能力弱于PANet，檢測(cè)精度低于常規(guī)YOLOV4。 改進(jìn)后YOLOV4 相對(duì)于Faster R-CNN、SSD、YOLOV3 和常規(guī)YOLOV4 檢測(cè)精度和速度均最優(yōu)。

4 結(jié)論

針對(duì)現(xiàn)有目標(biāo)檢測(cè)方法絕緣子缺陷檢測(cè)速度慢、精度低等問題，提出改進(jìn)YOLOV4 絕緣子缺陷檢測(cè)方法。 在YOLOV4 主干特征提取網(wǎng)絡(luò)中引入注意力機(jī)制。 利用K-Means 算法重新聚類適合絕緣子特征的錨框尺寸。 加強(qiáng)特征提取網(wǎng)絡(luò)采用CSPlayer 代替五次ConvSet5 卷積，三次深度可分離卷積代替三次ConvSet3 卷積，大幅減少網(wǎng)絡(luò)參數(shù)，提高檢測(cè)速度。在PANet 中添加了多尺度空間金字塔池化模塊(SPP)，融合多重感受野絕緣子缺陷特征，提高檢測(cè)精度。 在總損失函數(shù)中增大類別損失的比重，提高分類精度。 柔性非極大值抑制(Soft-NMS)代替NMS，有效解決小目標(biāo)絕緣子缺陷重合程度高引起漏檢問題。與Faster R-CNN、SSD、YOLOV3、常規(guī)YOLOV4 的對(duì)比實(shí)驗(yàn)結(jié)果表明，改進(jìn)YOLOV4 檢測(cè)精度和速度均優(yōu)于其他網(wǎng)絡(luò)，mAP 和檢測(cè)時(shí)間分別達(dá)到了92.26%和19.82 ms，滿足絕緣子缺陷檢測(cè)精度和速度要求。