基于多尺度特征融合的絕緣子缺陷檢測

李 斌 屈璐瑤 朱新山 郭志民 田楊陽

基于多尺度特征融合的絕緣子缺陷檢測

李 斌1屈璐瑤1朱新山1郭志民2田楊陽2

（1. 智能電網教育部重點實驗室（天津大學） 天津 300072 2. 國網河南省電力公司電力科學研究院 鄭州 450000）

絕緣子缺陷檢測對于保障電網安全穩定運行具有重要意義。由于絕緣子缺陷區域的像素信息少、形狀尺寸不一，造成識別效果不佳問題。為解決此問題，提出了一種基于多尺度特征融合的絕緣子缺陷檢測網絡（MSD2Net）。在該網絡中，采用殘差注意力網絡用于獲取不同分辨率的絕緣子缺陷特征，設計了基于反卷積和多分支檢測的多尺度特征融合網絡將深層特征圖與淺層特征圖逐步融合，生成更加豐富的圖像語義信息，用于實現目標的分類與位置回歸，并結合Focal損失和高斯非極大抑制方法進一步提升檢測效果。在變電站絕緣子缺陷數據集和輸電線路CPLID公開數據集上進行測試，結果表明所提方法具有較好的檢測性能與泛化能力。

智能巡檢 絕緣子 缺陷檢測 特征融合

0 引言

隨著電力系統規模的不斷擴大，電力設備的智能運維得到廣泛關注[1]。變電站作為電力系統的樞紐，在電能的傳輸與分配環節中發揮了重要作用，變電站中關鍵設備的運行狀態直接決定了電網的安全穩定運行[2-3]。絕緣子大多長時間暴露在戶外，往往容易出現破損、掉串、腐蝕等缺陷，絕緣子的絕緣強度將會下降[4-5]。若不能及時發現此類缺陷而繼續帶電運行，極易發展為永久性故障，從而為電網安全穩定運行帶來重大隱患[6]，因此絕緣子是變電站日常維護工作中的重點巡檢對象。隨著計算機圖像處理技術的飛速發展，智能巡檢機器人得到了廣泛應用，變電站已逐步實現了智能化巡檢和無人值守[7]。為了提高巡檢機器人的檢測效率、降低運維成本，高效準確的檢測算法至關重要。

在傳統圖像處理領域，絕緣子缺陷檢測主要依賴手工提取圖像中絕緣子的輪廓[8]、顏色[9]、小波系數[10]等特征，再使用分類器對提取到的特征進行訓練。該類方法需要特定的檢測條件和先驗知識，普適性和魯棒性較差，加之需要人為設定閾值提取特征信息，容易引入誤差和干擾。

隨著卷積神經網絡的出現，深度學習的方法被應用在絕緣子及其他電力設備檢測算法中[11-12]。卷積神經網絡可以自動學習獲得兼具有效性和魯棒性的特征，同時對分類器進行優化，從而提高了檢測器的精度。目前主流的目標檢測模型主要分為三類：第一類是無錨框目標檢測模型，代表算法有FCOS（fully convolutional one-stage, object detector）[13]、VFNet（Varifocal Net)[14]等。該類算法不需設置錨框，檢測流程更加簡單，但是仍然存在計算量大、檢測精度不夠理想等問題。第二類是兩階段目標檢測模型，代表算法有R-CNN(Region-convolutional neutral network)[15]、Faster R-CNN[16]等。該類算法針對絕緣子的具體位置，采用預先提取候選區域的方法進行訓練。文獻[17-18]在Faster R-CNN算法框架下對輸電線路航拍絕緣子缺陷以及典型金具進行識別與定位，提升了電力設備狀態檢測效果。但兩階段算法網絡結構復雜，引入大量參數，使得檢測速度較慢，難以滿足算法實時性的要求。第三類是單階段目標檢測模型，代表算法有YOLO(you only look once)[19]、SSD(single shot detector)[20]和Retinanet[21]等。該類算法無需預先提取候選區域，直接對網絡進行端到端的訓練，具有網絡結構簡單、參數少、實時性好等優勢。文獻[22]采用K-means++聚類算法改進YOLOv3，實現絕緣子缺陷的快速定位。文獻[23]結合SSD網絡的優勢和兩階段微調策略進行訓練，成功檢測絕緣子狀態，文獻[24]采用遷移學習的方法改進SSD網絡，實現小樣本絕緣子缺陷智能化檢測。除主流檢測方法外；文獻[25]基于改進的LeNet5網絡提出一種基于反饋機制的絕緣子狀態檢測方法；文獻[26]采用基于層次多任務的深度學習算法實現了絕緣子缺片檢測；文獻[27]提出基于對抗自編碼的絕緣子缺陷檢測方法，通過潛在空間點蝕產生偽缺陷樣本，但檢測結果對噪聲較為敏感。基于深度學習的絕緣子缺陷檢測算法取得了優于傳統算法的檢測效果，作為主流的目標檢測網絡，SSD兼具Faster R-CNN和YOLO的優勢，具有較高的檢測精度與識別速度，對絕緣子缺陷進行實時監測成為可能[28]。

本文分析了絕緣子缺陷檢測過程中面臨的技術難題，為了解決絕緣子缺陷像素信息少。檢測精度低的問題，本文在SSD網絡基礎上進行了改進，基于殘差注意力的特征提取網絡獲取有效的絕緣子缺陷特征，減少特征信息丟失。為了緩解缺陷形狀尺寸各異、識別精度不高的問題，設計了多尺度特征融合網絡，充分利用不同尺度的特征信息，提高檢測精度。此外，本文通過采用Focal損失和高斯非極大抑制方法緩解了正負樣本不均衡和重疊目標漏檢的影響，進一步提升了絕緣子缺陷檢測效果。

1 絕緣子缺陷檢測存在的問題

由于變電站巡檢機器人檢測時所處位置限制，絕緣子及其缺陷在圖像中所占據的像素信息一般較少[29]，對于這種尺寸較小的識別目標，其特征容易隨著卷積神經網絡的逐層下采樣產生信息丟失問題，識別難度較大。SSD的特征提取網絡VGGNet（visual geometry group network）僅為卷積神經網絡的簡單堆疊，容易造成信息失真和梯度消失現象。因此有必要采用更加有效的特征提取網絡，在保證特征信息可靠傳播的同時，提取絕緣子缺陷更有辨識度的特征。

在不同的角度和距離下，圖像中絕緣子的形態和尺寸不同，缺陷的形狀和顏色各異[30]，因此，單一特征圖的信息難以匹配每個樣本。特征提取網絡所提取的淺層特征圖分辨率較高，包含了更多的位置和細節信息，但由于經過的卷積較少，其語義性相對較低，噪聲相對較多；深層特征圖含有較強的語義信息，但是分辨率很低，對細節的感知能力較差[31]，故對不同層次的特征圖采取有效的融合策略，能夠獲得更加完整的特征信息，提升特征表達能力。SSD網絡通過VGGNet提取了38×38、19×19、10×10、5×5、3×3、1×1六種不同尺度的特征圖直接輸入檢測模塊，未將深層語義信息與淺層結構信息進行有效融合，忽略了上下文特征信息的關聯。同時，SSD網絡的檢測模塊為無分支的卷積層，結構相對簡單，致使分類損失和回歸損失的梯度合并后一起回傳，相互干擾，多尺度特征未得到有效利用，識別精度仍有待提升。

目前，大量研究針對整串絕緣子進行識別，尚未對單片絕緣子的缺陷狀態檢測提出有效方法。此外，在實際巡檢場景下，絕緣子缺陷遠遠小于圖像背景所占比例，在圖像中能夠匹配缺陷的正樣本十分有限，使得數據集中正樣本和負樣本存在嚴重的不均衡現象；加之背景復雜程度不同，數據集中簡單易分的樣本與復雜難分的樣本之間數量相差較大，大大降低了模型的泛化能力[32]。絕緣子分布相對密集，目標框彼此間存在遮擋問題，SSD網絡的非極大值抑制（Non-Maximum Suppression, NMS）方法易錯誤舍棄目標檢測框，產生漏檢現象。

本文針對以上問題，在SSD網絡基礎上進行改進，提出一種基于多尺度特征融合的絕緣子缺陷檢測網絡，通過殘差注意力特征提取網絡提取絕緣子缺陷的多尺度特征，利用特征融合網絡將多尺度特征有效融合，并采用Focal損失和高斯非極大抑制方法進一步提升檢測效果。

2 基于多尺度特征融合的絕緣子缺陷檢測網絡

多尺度特征融合網絡（Multi-Scale Defect Detection Network, MSD2Net）架構設計方案如圖1所示，由特征提取網絡和特征融合網絡構成，其中特征融合網絡包含反卷積特征融合模塊和多分支檢測模塊，形成不對稱沙漏的網絡結構，并通過跨層連接實現多尺度特征融合。

2.1 基于殘差注意力的絕緣子特征提取網絡

針對SSD的特征提取網絡VGGNet存在的對小尺寸目標不夠敏感、特征信息失真等問題，MSD2Net網絡在Resnest 50[33]的基礎上，增加另外兩層卷積作為特征提取網絡，以提取出絕緣子更有辨識度的特征。Resnest 50與VGGNet相比，引入了殘差結構和多通道注意力模塊，殘差結構能夠避免梯度消失和信號失真，多分支注意力模塊不僅能夠增強特征圖組間的相互作用，還能夠給不同通道特征賦予權重，篩選出更關鍵的信息，從而提取出更有效的多尺度特征。

特征提取網絡的輸入圖像尺寸為300×300，如圖1所示，Conv1～Conv5為Resnest 50網絡的五個卷積階段，Conv6和Conv7為本文增加的兩層卷積層。在Conv2～Conv5中采用了多通道注意力模塊，該模塊將不同特征圖按對應元素相加成一個特征圖小組，通過全局平均池化后得到的特征向量表示各個通道的權重，再經過非線性處理以及后續的Softmax操作后與通道對應元素相乘得到該組的輸出，從而自適應地判別特征圖不同通道的重要程度。在Resnest 50的基礎上，本文增加兩層尺寸為3×3、通道數為256的卷積層，以分別提取尺寸為5×5和3×3的特征圖，繼續挖掘絕緣子缺陷圖像的深層語義信息。

圖1 MSD2Net網絡架構

2.2 基于反卷積和多分支檢測的特征融合網絡

為適應巡檢圖像中不同尺寸和形狀的絕緣子缺陷，MSD2Net采用基于反卷積和多分支檢測的特征融合網絡。該網絡采用可學習的反卷積層自適應調整上采樣的參數，實現跨特征層的信息交互，并通過多分支檢測結構分別進行目標分類和邊框位置回歸，可實現更好的檢測效果。

圖2為SSD和MSD2Net特征處理對比示意圖，可以看出SSD網絡將VGGNet提取的特征圖直接輸入檢測環節，缺少特征融合操作。MSD2Net網絡通過反卷積特征融合模塊，將特征提取網絡的Conv3～Conv6的輸出特征圖分別跨層與同尺寸的反卷積層Deconv1～Deconv4輸出特征圖連接并融合，實現深層語義信息與淺層細節信息的交互，之后送入檢測環節。多尺度特征融合網絡采用反卷積代替傳統的雙線性插值作為上采樣方法，能夠動態調整輸出特征。反卷積過程是先按照一定比例在尺寸為的輸入特征圖中通過插入零值來擴大尺寸，再通過尺寸為的卷積核處理獲得尺寸為的輸出特征圖，從而實現從低分辨率到高分辨率的映射。輸入與輸出特征圖的尺寸關系為

圖2 SSD和MSD2Net結構對比示意圖

式中，和為輸入和輸出特征圖的尺寸；為滑動步長；為卷積核尺寸；為填充像素個數。

反卷積特征融合模塊的具體操作如圖2所示，尺寸為×的深層特征圖經過尺寸為2×2、通道數為256的反卷積層處理后分辨率擴大到兩倍，經過尺寸為1×1的卷積層以調整深層和淺層特征圖的通道數一致，再經過BN層以削弱不同批次數據差異帶來的干擾。BN層作為具有可學習參數的網絡層，其作用是將輸入數據批量標準化，具體計算過程如式（2）和式（3）所示。

經過上述反卷積操作處理的深層特征圖，與尺寸為2×2并且經過卷積處理的淺層特征圖進行逐元素相加，最后經過BN層和ReLU非線性激活層得到融合后的特征。重復該過程，完成其他尺寸的特征融合，共生成40×40、20×20、10×10、5×5和3×3五種不同分辨率的特征圖，分別送入五組檢測模塊，進一步提升特征的表達能力。

MSD2Net網絡中共有五個檢測模塊，每個模塊具體結構如圖3所示。首先，融合特征圖依次通過兩層尺寸為1×1的卷積層，再由尺寸為1×1、3×3、5×5卷積分別處理以增強對不同尺度特征的適應性。將得到的多尺度特征矩陣以拼接方式聚合，再經過尺寸為1×1的卷積層處理以調整通道數與初始輸入通道數一致，與捷徑連接合并后輸入ReLU層。將處理后的特征圖輸入兩條結構對稱的支路，完成特征的進一步抽象處理。通過四層通道數為256的卷積繼續提取深層語義信息，提高模型擬合能力，再由通道數為（2×9）卷積和（4×9）的卷積分別進行目標類別和位置信息輸出。其中，2為類別數，9為每點放置錨框個數，4為每個錨框位置信息的數量。同時，將五個檢測模塊中對應支路的卷積共享參數，分類分支和回歸分支之間不共享參數，能夠在提高運行速度的同時，避免不同類別損失的相互影響。

2.3 計及正負樣本平衡因子的損失函數

目標檢測網絡常選擇與標注框交并比（Intersection Over Union, IOU）最大的先驗框作為正樣本，而將IOU小于設定閾值的先驗框全部作為負樣本，正負樣本數量嚴重不平衡。如果直接采用式（4）所示的交叉熵損失作為分類損失，大量的負樣本會淹沒正樣本的回歸過程，使網絡整體難以快速準確地擬合正樣本，影響檢測結果。

圖3 多分支檢測模塊

在常用的位置回歸損失中，L1損失函數在訓練后期很難收斂到更高的精度，L2損失函數在訓練初期不穩定，而Smooth L1結合L1和L2損失的優點，在邊框位置回歸中可以達到更好的收斂效果[35]。本文采用Smooth L1損失計算每個邊框的位置回歸損失，如式（7）所示。

式中，為位置參數。

2.4 高斯非極大抑制

在網絡檢測環節，需要根據設定的閾值過濾掉不符合條件的檢測框，最終輸出正常絕緣子片與帶缺陷絕緣子片的定位結果。常用的非極大值抑制算法通常將檢測框按置信度得分排序，保留得分最高的檢測框，并篩除與該框的IOU大于設定閾值的檢測框。這種方法存在如下的問題：紅色框和黃色框是當前的檢測結果，選中得分最高的紅色框，黃色框會因為與其重疊面積較大而被誤刪。絕緣子遮擋示意如圖4所示。

圖4 絕緣子遮擋示意圖

為解決上述問題，本文采用高斯非極大抑制方法，即

對于其他檢測框，先計算其和的IOU，然后將該IOU值作為高斯函數的輸入，再與原先的置信度得分相乘作為最后的分數。由式（8）可知，與的IOU越大，檢測框的得分下降越多。此時，再刪除分數高于設定閾值的檢測框，能夠緩解與有重疊部分的檢測框被錯誤舍棄的問題。

3 檢測方法的性能評估

3.1 不同巡檢場景下的數據增強

為減少復雜背景的干擾，提高缺陷檢測精度，同時解決缺陷樣本數量較少的問題，本文構建變電場景下絕緣子缺陷數據集。不同場景的數據集如圖5所示。在真實場景的變電巡檢圖片中提取出絕緣子串，并在提取后的圖像中批量式生成模擬缺陷。由于完整的絕緣子串圖片往往長寬比過大，但神經網絡的輸入圖像限制為正方形，為避免圖像變形過大對檢測精度的影響，以原始圖片的短邊作為邊長的正方形為滑動窗口進行檢測。設提取出的絕緣子圖片長為、寬為，則將圖片均勻分割為個正方形，=[/]，分割后圖像為邊長為的正方形，實際圖片中的范圍在[88, 1 461]。

此外，為驗證本文方法在不同巡檢場景中的泛化性能，在公開的輸電場景數據集CPLID[36]（Chinese power line insulator dataset）上進行了驗證。由于該數據集絕緣子串的形狀角度大體相同，缺陷位置單一且固定，且樣本個數較少，容易導致網絡陷入過擬合。因此通過缺陷樣本合成對該數據集進行數據增強，部分原圖與合成效果如圖5所示。

參考PASCAL VOC[37]數據集的構建方法，嚴格按照標注規范利用LabelImg軟件對上述兩種數據集分別進行標注。將標注后數據集按照4:1的比例劃分為訓練集和測試集，變電場景中訓練集包含 1 688個樣本，測試集包含422個樣本；輸電場景中訓練集包含679個樣本，測試集包含169個樣本。圖像輸入網絡前被縮放至尺寸300×300，并采用隨機旋轉、鏡像翻轉、色域變換等數據增強方法，減少模型的過擬合情況。

3.2 模型訓練

為了驗證本文算法可行性，采用Pytorch1.9.0深度學習框架，Pycharm2020.3軟件，CUDA11.2開發環境，Ubuntu 20.04.2 LTS操作系統完成模型的訓練和測試。實驗硬件配置為Intel Core i7-11700K 8核16線程的CPU、NVDIA GeForce RTX-3070 GPU。

參考設備條件以及網絡需求，設置網絡訓練batchsize為8，采用動量參數為0.9的隨機梯度下降方法優化網絡訓練，能夠在加快收斂的同時尋找更佳的最優解。學習率設置如圖6a所示，采用預熱策略在前500次迭代逐漸線性增加至1×10-3，使得模型前期能夠快速學習，當損失值無法繼續下降時，在第33 700和42 600次迭代處將學習率衰減至1×10-4和1×10-5，進一步搜索最優點。訓練過程中的總損失隨迭代次數變化情況如圖6b所示，隨著訓練迭代次數的增加，模型損失值在不斷減小，整個網絡趨于收斂，擬合效果較為理想。同時可以看出，迭代次數為33 700學習率發生變化時，損失曲線在出現收斂趨勢后繼續下降，表明學習率調整有效。同時，圖6c中在驗證集和測試集上的平均精度隨迭代次數的變化曲線表明，訓練中未出現明顯的過擬合現象，測試結果具有合理性。

式中，為準確率；為召回率；為類別個數。

3.3 檢測結果與分析

3.3.1 改進策略的效果驗證

為了評估每個改進策略的有效性，對所提算法的不同策略在變電場景數據集進行測試，實驗結果見表1，VGG代表VGG16網絡，Resnest代表增加兩層卷積的Resnest 50網絡，MSFF代表本文所提特征融合網絡，FL代表Focal損失，GNMS代表高斯非極大抑制。可以看出，將SSD的特征提取網絡VGG16替換成加深的Resnest50，mAP值提升了1.1%，其原因在于殘差模塊緩解了信號失真問題，多分支注意力模塊增強特征圖組之間的信息交互，篩選出更關鍵的信息。

表1 MSD2Net加入的不同策略效果對比

Tab.1 Comparison of different strategies added in MSD2Net

在此基礎上，多尺度融合網絡的加入，使mAP值提升了2.2%。其原因在于，反卷積融合模塊實現了深層特征與淺層特征的融合，向檢測模塊提供更加完整的特征信息，而劃分分支的檢測模塊避免不同類別損失的相互影響。在此基礎上，Focal損失的加入，使mAP值提升了0.9%。其原因在于該損失使網絡重點關注正樣本，緩解了正負樣本數量不平衡的問題。在此基礎上，加入高斯非極大抑制，mAP值提升了0.3%，其原因在于緩解了檢測框被錯誤舍棄的問題。

最后，完整的MSD2Net網絡在結果列表中獲得了最佳性能94.3%，較SSD網絡提升了4.5%。綜上所述，每個改進策略都具有有效性，有助于檢測網絡性能的提高。

3.3.2 與其他檢測方法對比

本文針對構建的變電場景數據集和公開的輸電場景CPLID數據集，分別采用SSD網絡和本文所提MSD2Net網絡進行測試，部分測試效果如圖7和圖8所示。圖中，綠色邊界框表示正常絕緣子片，紅色邊界框表示缺陷絕緣子片，邊界框上方的值為網絡檢測該類別的置信度。

圖7 變電場景數據集檢測結果對比

從對比結果可以看出，本文提出的網絡可以在絕緣子片處于不同數量和不同拍攝角度的情況下，有效檢測出絕緣子和缺陷目標，而SSD網絡的檢測結果出現了漏檢、多檢和錯檢等情況，進一步驗證了本文算法的有效性。

此外，基于變電場景數據集，將本文所提網絡與改進前的SSD網絡、其他經典單階段網絡YOLOv3和RetinaNet、兩階段網絡Faster R-CNN及無錨框網絡VFNet進行對比，各類目標的檢測精度指標AP值和總平均精度指標mAP值見表2。

圖8 輸電場景CPLID數據集檢測結果對比

表2 變電場景數據集下不同網絡檢測精度對比

Tab.2 Detection accuracy comparison of different networks under substation scene dataset

由表2數據可知，改進前的SSD網絡精度較低，mAP值為89.8%，YOLOv3的mAP值為90.9%，稍高于SSD。其原因在于，YOLOv3選擇DarkNet53作為特征提取網絡，與VGG16相比包含殘差模塊，卷積層數增多，并且使用特征金字塔結構融合三種不同尺寸的特征，有助于檢測精度的提高。RetinaNet網絡測得的mAP值為90.4%，相比SSD略有提高，比YOLOv3稍低。其原因在于，RetinaNet同樣使用了殘差結構和特征金字塔結構，但參數量相比YOLOv3大大減少。Faster R-CNN的mAP值達到93.7%，高于除MSD2Net外的其他網絡。其原因在于，Faster R-CNN作為兩階段算法結構復雜，參數量大，能夠在第二階段對第一階段的結果進行精調，往往測試精度高于單階段算法，但檢測速度過慢。VFNet的mAP值為90.3%，略高于SSD，相對低于其他算法。其原因在于，雖然VFNet和RetinaNet結構類似，但該網絡未設定錨框，將每一點作為樣本，導致樣本個數過多，對檢測精度造成不良影響。本文提出的MSD2Net網絡在結果列表中獲得了最佳性能94.3%，缺陷絕緣子片識別效果明顯提升，AP值達到97.3%，較改進前的SSD網絡提高7.4%。正常絕緣子片AP值也達到最佳精度90.9%，驗證了MSD2Net網絡的有效性。

輸電場景CPLID數據集下不同網絡檢測精度對比見表3，在輸電場景數據集下，由于復雜背景的影響，測試結果相比變電場景下總體精度較低，本文提出的MSD2Net網絡仍然達到了相對最佳的性能，mAP值為91.2%。由于缺陷部分尺寸與絕緣子串尺寸相差較大，Faster R-CNN在該場景下識別絕緣子串目標精度較高，但缺陷精度很低，僅為32.4%，導致總平均精度僅有66.2%，可能原因是Faster R-CNN作為兩階段算法，在當前場景下候選區域選擇不佳，對尺寸差別較大的多目標識別效果產生不良理想。可以看出本文所提網絡在背景較為復雜、目標尺寸差距較大的場景下依然獲得了相對最高的檢測精度，具有較強的適應性。

表3 輸電場景CPLID數據集下不同網絡檢測精度對比

Tab.3 Detection accuracy comparison of different networks under transmission scene CPLID dataset

4 結論

絕緣子缺陷像素信息少、形態尺寸各異等原因可能造成識別效果不佳，本文設計了一種基于多尺度特征融合的MSD2Net絕緣子缺陷檢測網絡。通過基于殘差注意力的特征提取網絡增強特征圖組間的相互作用，提取了不同分辨率的絕緣子缺陷特征；通過基于反卷積和多分支檢測的特征融合網絡自適應調整上采樣參數并隔離不同類別的損失，提高了特征融合的質量；并通過Focal損失和高斯非極大抑制方法緩解了正負樣本不均衡和重疊目標漏檢問題。在變電站絕緣子缺陷數據集和CPLID公開數據集上進行測試，所提方法的平均檢測精度達到了94.3%和91.2%，驗證了本文方法能夠有效識別電力巡檢圖像中絕緣子及其缺陷。后續將進一步驗證MSD2Net網絡在其他場景數據集的適應性。

[1] 蒲天驕, 喬驥, 韓笑, 等. 人工智能技術在電力設備運維檢修中的研究及應用[J]. 高電壓技術, 2020, 46(2): 369-383.

Pu Tianjiao, Qiao Ji, Han Xiao, et al. Research and application of artificial intelligence in operation and maintenance for power equipment[J]. High Voltage Engineering, 2020, 46(2): 369-383.

[2] 李奎, 高志成, 武一, 等. 基于統計回歸和非線性Wiener過程的交流接觸器剩余壽命預測[J]. 電工技術學報, 2019, 34(19): 4058-4070.

Li Kui, Gao Zhicheng, Wu Yi, et al. Remaining lifetime prediction of AC contactor based on statistical regression and nonlinear Wiener process[J]. Transactions of China Electrotechnical Society, 2019, 34(19): 4058-4070.

[3] 袁歡, 孫正可, 王露縉, 等. 基于姿態感知系統的隔離開關故障診斷[J]. 高電壓技術, 2022, 48(1): 47-57.

Yuan Huan, Sun Zhengke, Wang Lujin, et al. Fault diagnosis of disconnector based on attitude sensing system[J]. High Voltage Engineering, 2022, 48(1): 47-57.

[4] Han S, Hao Ru, Lee J. Inspection of insulators on high-voltage power transmission lines[J]. IEEE Transactions on Power Delivery, 2009, 24(4): 2319-2327.

[5] 屠幼萍, 孫佑飛, 彭慶軍, 等. 霧霾環境下自然積污絕緣子的污穢顆粒粒徑分布特性[J]. 高電壓技術, 2014, 40(11): 3318-3326.

Tu Youping, Sun Youfei, Peng Qingjun, et al. Particle size distribution characteristics of naturally polluted insulators under the fog-haze environment[J]. High Voltage Engineering, 2014, 40(11): 3318-3326.

[6] 呂玉坤, 趙偉萍, 龐廣陸, 等. 典型傘型瓷及復合絕緣子積污特性模擬研究[J]. 電工技術學報, 2018, 33(1): 209-216.

Lü Yukun, Zhao Weiping, Pang Guanglu, et al. Simulation of contamination deposition on typical shed porcelain and composite insulators[J]. Transactions of China Electrotechnical Society, 2018, 33(1): 209-216.

[7] 周立輝, 張永生, 孫勇, 等. 智能變電站巡檢機器人研制及應用[J]. 電力系統自動化, 2011, 35(19): 85-88, 96.

Zhou Lihui, Zhang Yongsheng, Sun Yong, et al. Development and application of equipment inspection robot for smart substations[J]. Automation of Electric Power Systems, 2011, 35(19): 85-88, 96.

[8] Zhao Zhenbing, Liu Ning, Wang Le. Localization of multiple insulators by orientation angle detection and binary shape prior knowledge[J]. IEEE Transactions on Dielectrics and Electrical Insulation, 2015, 22(6): 3421-3428.

[9] Lin J, Han J, Chen F, et al. Defects detection of glass insulator based on color image[J]. Power System Technology, 2011, 35(1): 127-133.

[10] Murthy V S, Tarakanath K, Mohanta D K, et al. Insulator condition analysis for overhead distribution lines using combined wavelet support vector machine (SVM)[J]. IEEE Transactions on Dielectrics and Electrical Insulation, 2010, 17(1): 89-99.

[11] 鄭含博, 李金恒, 劉洋, 等. 基于改進YOLOv3的電力設備紅外目標檢測模型[J]. 電工技術學報, 2021, 36(7): 1389-1398.

Zheng Hanbo, Li Jinheng, Liu Yang, et al. Infrared object detection model for power equipment based on improved YOLOv3[J]. Transactions of China Electrotechnical Society, 2021, 36(7): 1389-1398.

[12] 趙振兵, 段記坤, 孔英會, 等. 基于門控圖神經網絡的栓母對知識圖譜構建與應用[J]. 電網技術, 2021, 45(1): 98-106.

Zhao Zhenbing, Duan Jikun, Kong Yinghui, et al. Construction and application of bolt and nut pair knowledge graph based on GGNN[J]. Power System Technology, 2021, 45(1): 98-106.

[13] Tian Zhi, Shen Chunhua, Chen Hao, et al. FCOS: fully convolutional one-stage object detection[C]//2019 IEEE/CVF International Conference on Computer Vision (ICCV), Seoul, Korea (South), 2019: 9626-9635.

[14] Zhang Haoyang, Wang Ying, Dayoub F, et al. VarifocalNet: an IoU-aware dense object detector[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, TN, USA, 2021: 8510-8519.

[15] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, 2014: 580-587.

[16] Ren Shaoqing, He Kaiming, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[17] 侯春萍, 章衡光, 張巍, 等. 輸電線路絕緣子自爆缺陷識別方法[J]. 電力系統及其自動化學報, 2019, 31(6): 1-6.

Hou Chunping, Zhang Hengguang, Zhang Wei, et al. Recognition method for faults of insulators on transmission lines[J]. Proceedings of the CSU-EPSA, 2019, 31(6): 1-6.

[18] 趙振兵, 李延旭, 甄珍, 等. 結合KL散度和形狀約束的Faster R-CNN典型金具檢測方法[J]. 高電壓技術, 2020, 46(9): 3018-3026.

Zhao Zhenbing, Li Yanxu, Zhen Zhen, et al. Typical fittings detection method with faster R-CNN combining KL divergence and shape constraints[J]. High Voltage Engineering, 2020, 46(9): 3018-3026.

[19] Redmon J, Divvala S, Girshick R, et al. You only look once: unified, real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA. IEEE, : 779-788.

[20] Liu Wei, Anguelov D, Erhan D, et al. SSD: single shot multibox detector[C]//European Conference on Computer Vision, Amsterdam, the Netherlands, 2016: 21-37.

[21] Lin T Y, Goyal P, Girshick R, et al. Focal loss for dense object detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(2): 318-327.

[22] 王卓, 王玉靜, 王慶巖, 等. 基于協同深度學習的二階段絕緣子故障檢測方法[J]. 電工技術學報, 2021, 36(17): 3594-3604.

Wang Zhuo, Wang Yujing, Wang Qingyan, et al. Two stage insulator fault detection method based on collaborative deep learning[J]. Transactions of China Electrotechnical Society, 2021, 36(17): 3594-3604.

[23] Miao Xiren, Liu Xinyu, Chen Jing, et al. Insulator detection in aerial images for transmission line inspection using single shot multibox detector[J]. IEEE Access, 2019, 7: 9945-9956.

[24] 馬鵬, 樊艷芳. 基于深度遷移學習的小樣本智能變電站電力設備部件檢測[J]. 電網技術, 2020, 44(3): 1148-1159.

Ma Peng, Fan Yanfang. Small sample smart substation power equipment component detection based on deep transfer learning[J]. Power System Technology, 2020, 44(3): 1148-1159.

[25] 張倩, 王建平, 李帷韜. 基于反饋機制的卷積神經網絡絕緣子狀態檢測方法[J]. 電工技術學報, 2019, 34(16): 3311-3321.

Zhang Qian, Wang Jianping, Li Weitao. Insulator state detection of convolutional neural networks based on feedback mechanism[J]. Transactions of China Electrotechnical Society, 2019, 34(16): 3311-3321.

[26] 徐建軍, 黃立達, 閆麗梅, 等. 基于層次多任務深度學習的絕緣子自爆缺陷檢測[J]. 電工技術學報, 2021, 36(7): 1407-1415.

Xu Jianjun, Huang Lida, Yan Limei, et al. Insulator self-explosion defect detection based on hierarchical multi-task deep learning[J]. Transactions of China Electrotechnical Society, 2021, 36(7): 1407-1415.

[27] Zhang Dongkai, Gao Shibin, Yu Long, et al. DefGAN: defect detection GANs with latent space pitting for high-speed railway insulator[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 1-10.

[28] 王旭紅, 李浩, 樊紹勝, 等. 基于改進SSD的電力設備紅外圖像異常自動檢測方法[J]. 電工技術學報, 2020, 35(增刊1): 302-305, 306.

Wang Xuhong, Li Hao, Fan Shaosheng, et al. Infrared image anomaly automatic detection method for power equipment based on improved single shot multi box detection[J]. Transactions of China Electrotechnical Society, 2020, 35(S1): 302-305, 306.

[29] 左國玉, 馬蕾, 徐長福, 等. 基于跨連接卷積神經網絡的絕緣子檢測方法[J]. 電力系統自動化, 2019, 43(4): 101-106.

Zuo Guoyu, Ma Lei, Xu Changfu, et al. Insulator detection method based on cross-connected convolutional neural network[J]. Automation of Electric Power Systems, 2019, 43(4): 101-106.

[30] Gao Zishu, Yang Guodong, Li En, et al. Novel feature fusion module-based detector for small insulator defect detection[J]. IEEE Sensors Journal, 2021, 21(15): 16807-16814.

[31] Jeong J, Park H, Kwak N. Enhancement of SSD by concatenating feature maps for object detection[J]. arXiv preprint arXiv: 1705.09587, 2017.

[32] Li Buyu, Liu Yu, Wang Xiaogang. Gradient harmonized single-stage detector[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2019, 33: 8577-8584.

[33] Zhang H, Wu C, Zhang Z, et al. Resnest: split-attention networks[J]. arXiv preprint arXiv: 2004.08955, 2020.

[34] Lin T Y, Goyal P, Girshick R, et al. Focal loss for dense object detection[C]//2017 IEEE International Conference on Computer Vision, Venice, Italy, 2017 : 2999-3007.

[35] Zhu Xinshan, Li Shuoshi, Gan Yongdong, et al. Multi-stream fusion network with generalized smooth L1loss for single image dehazing[J]. IEEE Transactions on Image Processing, 2021, 30: 7620-7635.

[36] Tao Xian, Zhang Dapeng, Wang Zihao, et al. Detection of power line insulator defects using aerial images analyzed with convolutional neural networks[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2020, 50(4): 1486-1498.

[37] Everingham M, Eslami S M A, Gool L, et al. The pascal visual object classes challenge: a retrospective[J]. International Journal of Computer Vision, 2015, 111(1): 98-136.

Insulator Defect Detection Based on Multi-Scale Feature Fusion

Li Bin1Qu Luyao1Zhu Xinshan1Guo Zhimin2Tian Yangyang2

（1. Key Laboratory of Smart Grid of Ministry of Education Tianjin University Tianjin 300072 China 2. State Grid Henan Electric Power Research Institute Zhengzhou 450000 China）

Defective insulators in substations pose a major risk to the safe and stable operation of the power grid. To promote intelligent operation and maintenance of substations, efficient and accurate insulator defect detection algorithms are of great significance. Aiming at the problem that insulator defect regions are poor in pixel information, and distinct in shapes and sizes, a multi-scale defect detection network (MSD2Net) was proposed.

First, this paper analyzes the main challenge currently faced in insulator defect detection. Secondly, to accommodate insufficient pixel information of insulator defects, the model is improved based on SSD detector, replacing ResNet with the attentional feature extraction network. Thirdly, to detect targets at different scales, the feature fusion network is designed, and a deconvolution structure is used to enhance its automatic learning ability. In addition, MSD2Net uses Focal loss as the classification loss and Gaussian non-maximum suppression as the post-processing method, which further improves the detection performance.

For the model experiment, a defective insulator dataset in substation scenarios is produced by image processing methods. To enhance the diversity of the dataset, data augmentation operations are adopted such as color transformation, random crop, and random flip. Based on the dataset, the MSD2Net achieves a mean average precision (mAP) of 94.3%. Compared with the baseline network SSD and the classic single-stage network RetinaNet, MSD2Net improves the mAP value by 4.5% and 3.9%, respectively. In addition, when tested on the public Chinese power line insulator dataset (CPLID), the mAP of MSD2Net reaches 91.2%, higher than the SSD and VFNet models by 2.7% and 7.9%. The results show that the proposed model in this paper can effectively identify insulators and their defects in power inspection images.

The following conclusions can be drawn from the experimental analysis: ①The attention-based backbone network can reduce the loss of information and enhance the information interaction between feature map groups, thus extracting more critical information. ②The deconvolution fusion module realizes the fusion of deep and shallow features, thereby providing more complete feature information to the detection module. ③Focal Loss makes the network focus on positive samples and therefore alleviates the imbalance of positive and negative samples. At the same time, Gaussian non-maximum suppression mitigates the effects of the missed detection of overlapping targets.

Intelligent inspection tour, insulator, defect detection, feature fusion

10.19595/j.cnki.1000-6753.tces.212052

TM 216

李 斌 男，1976年生，教授，博士生導師，主要研究方向為智能電網保護與控制等。E-mail：binli@tju.edu.cn

朱新山 男，1977年生，副教授，碩士生導師，主要研究方向為深度學習與圖像處理。E-mail：xszhu@tju.edu.cn（通信作者）

國家電網公司科技項目（面向智能電網運維場景的視聽覺主動感知與協同認知技術研究及應用）（5600-202046347A-0-0-00）。

2021-12-17

2022-01-10

（編輯 郭麗軍）