基于顯著性和YOLOv3的受電弓異物侵限檢測

王同麗 郭佑民 高德陽 范永勤 黃文平

摘? 要：異物侵入受電弓對高速鐵路運營安全危害極大，文章提出一種基于顯著性和YOLOv3的受電弓異物侵限檢測方法。首先，用U2-Net網絡對采集到的圖像進行顯著性檢測，準確定位受電弓區域；其次，將YOLOv3網絡的預測尺度增加到4個，采用K-means++算法重新計算先驗框，用深度可分離卷積替換標準卷積的方法改進模型來提高準確度和速度；實驗結果表明，改進后的YOLOv3-R模型檢測準確度比YOLOv3提高了8.68%，檢測速度提高了5.5%，能夠快速有效地檢測出受電弓上的異物。

關鍵詞：異物檢測；顯著性檢測；感興趣區域；預測尺度；先驗框初始化；深度可分離卷積

中圖分類號：TP391.4；TP18? 文獻標識碼：A? 文章編號：2096-4706（2023）04-0101-05

Detection of Pantograph Foreign Body Intrusion Based on Saliency and YOLOv3

WANG Tongli1， GUO Youmin1， GAO Deyang2， FAN Yongqin2， HUANG Wenping2

（1.Institute of Mechanical and Electrical Technology， Lanzhou Jiaotong University， Lanzhou? 730070， China;

2.China Railway Lanzhou Group Co.， Ltd.， Lanzhou? 730070， China）

Abstract： Foreign body intrusion into pantograph has great harm to the operation safety of high-speed railway. This paper proposes a pantograph foreign body intrusion detection method based on saliency and YOLOv3. First， U2-Net network is used to detect the saliency of the collected images and accurately locate the pantograph area. Secondly， the prediction scale of YOLOv3 network is increased to 4， the prior box is recalculated by K-means++ algorithm， and the standard convolution is replaced by depth separable convolution to improve the model to improve the accuracy and speed. The experimental results show， compared with YOLOv3， the detection accuracy of the improved YOLOv3-R model is increased by 8.68%， and the detection speed is increased by 5.5%， which can quickly and effectively detect foreign bodies on the pantograph.

Keywords： foreign body detection; saliency detection; region of interest; prediction scale; the prior box initialization; depth separable convolution

0? 引? 言

近年來國內高速鐵路實現了從和諧號到復興號的迅速發展，其追求速度提升的同時，安全運行也是極其重要，在列車高速運行的過程中，受電弓可能會出現異物碰撞或黏附，引發意外停車等事故，從而影響高速鐵路的正常運行。傳統的受電弓檢測技術主要是人工觀察記錄的方法，工作人員登上車頂，查看受電弓是否有異物，然而這種方法成本高，可靠性差。隨后接觸式和非接觸式的智能化受電弓異常狀態檢測技術開始興起[1]。接觸式檢測的主要方式是通過安裝在機車受電弓上的各種傳感器傳遞的信號來判斷是否出現了異常狀態[2]。非接觸式檢測通過激光[3]、超聲波[4]等檢測受電弓的異常，但是非接觸式檢測技術檢測功能單一，檢測精度較差。之后異物檢測系統逐漸開始利用傳統的圖像處理技術來達到異物檢測的目的[5-7]，由于其檢測異物精度低，更多人開始利用深度學習模型研究異物檢測[8-10]，采用深度學習技術檢測異物精度高、速度快。

目前，受電弓異物檢測算法大多數是對整張圖像進行異物檢測，即對攝像頭拍攝到的整個區域進行異物檢測，容易對感興趣區域外的復雜區域進行檢測，造成誤檢，除此以外，目前的深度學習目標檢測算法大多對大目標或中目標檢測準確度高，而小目標由于分辨率低、體積小，很難被檢測到。針對以上受電弓異物檢測中的不足，本文探討了一種基于顯著性和YOLOv3網絡的受電弓異物侵限檢測方法，實驗表明：本文方法能夠有效檢測出感興趣區域內發生的異物碰撞或黏附，具有較高的檢測精度和速度。

1? 基于U2-Net網絡的顯著性檢測

顯著性檢測可以視為是一個語義分割的問題[11]，將圖像的顯著性目標區域從圖像中拆分出來，受電弓異物侵限檢測只需要對感興趣的區域進行檢測，否則容易造成誤檢，本文使用U2-Net網絡模型[12]進行顯著性檢測，U2-Net網絡是一個兩層嵌套的U型網絡。

1.1? U2-Net網絡

U2-Net的網絡主要由六級編碼器，五級解碼器以及顯著圖融合模塊三部分構成，每級編解碼階段均由RSU（ReSidual U-blocks）填充。每個RSU就是一個小號的U-Net，最后所有的RSU用類似于FPN的結構連接在一起，提升了多尺度能力。

1.2? 顯著性檢測

本文實驗所用到的受電弓圖像來自鐵路現場拍到的受電弓圖像。使用Labelme標注工具標注實驗中使用的受電弓顯著數據集。由于鐵路上拍的數據較少，使用平移、翻轉、旋轉角度、隨機顏色、縮放變形圖片、二值化圖像、隨機黑色塊遮擋、添加噪聲等數據增強的方式對數據集進行擴充，獲得圖像數據共500張，標注生成受電弓圖像500張，其中70%作為訓練集，30%作為測試集。基于U2-Net網絡的受電弓顯著性檢測如圖1所示，其中圖1（a）圖是受電弓原圖像，圖1（b）圖是受電弓顯著性檢測結果。

1.3? 感興趣區域劃分

在得到受電弓顯著性檢測圖后，繪制出其輪廓的外接矩形并使用紅色邊框線框出，得到外接矩形坐標（x1， y1， x2， y2），其中（x1， y1）是圖像的左上角坐標，（x2， y2）是圖像的右下角坐標，然后在原圖上繪出受電弓ROI區域，受電弓感興趣區域劃分如圖2所示，從左到右依次為原圖、顯著性檢測圖、外接矩形圖、感興趣區域圖，可以看出，外接矩形法對顯著性檢測后的受電弓區域識別準確，可以很好地定位受電弓異物感興趣區域，得出背景較為簡單的受電弓區域。

2? 受電弓異物侵限檢測模型

對碰撞或黏附在受電弓上的異物進行檢測時，目前的深度學習模型大多對大目標或中目標檢測準確度高，而小目標由于分辨率低、體積小，很難被檢測到，同時，在檢測速度上也做了相應的改進，針對以上問題，本文在對受電弓感興趣區域劃分后，對YOLOv3目標檢測網絡進行改進：（1）在原有的三尺度預測層基礎上增加一個特征檢測層對小目標進行檢測，提高準確率；（2）改進先驗框初始化，重新計算網絡需要的anchors；（3）使用深度可分離卷積替代標準卷積，改進后的模型提高了檢測準確率和檢測速率。

2.1? 改進多尺度預測

YOLOv3網絡中采用了FPN結構對目標進行多尺度預測[13]，YOLOv3對輸入圖像進行特征提取，隨著網絡的深入，會產生3中不同尺寸的特征圖，分別檢測圖像中的大目標，中目標和小目標，但是在受電弓異物侵限檢測中會存在一些體積更小的小目標。如果只用3尺度預測來檢測目標，會因為沒有充分利用圖像的淺層語義信息從而丟失小目標信息。本文在原來預測尺度的基礎上增加104×104尺度的特征檢測層，變成4尺度預測，提高對小目標的檢測能力，改進多尺度結構如圖3所示，其中虛線表示增加的檢測尺度。

從圖3中可以看出，整個網絡是由1×1和3×3的卷積組成，concat為張量拼接，用來擴充張量的維度，其中y1、y2、y3是YOLOv3原有的檢測尺度，y4是新增的檢測層，當輸入圖像為416×416時，其輸出特征圖尺寸是104×104，是c處的特征圖與Scale4處得到的特征圖進行concat拼接后得到的，用于檢測圖像中的更小目標，由此，YOLOv3完成了4尺度預測，提高了小目標的檢測準確率。通過改進后的四尺度結構圖可以知道，改進后的四個特征尺度都包含了淺層語義信息和深層語義信息。因此4尺度預測結構比3尺度預測結構更好地利用了圖像淺層信息，從而達到了檢測更小目標的目的，同時4尺度預測還保留了原3尺度預測結構，滿足檢測大目標、中目標的能力。

2.2? 改進先驗框初始化

在YOLOv3中，默認的anchors是使用K-means[14]聚類算法在COCO數據集上聚類得到的，YOLOv3有三個尺寸不同的特征圖，每一個特征圖都具有3個大小不同的anchors，因而共有9個anchors，而改進后的多尺度預測有四個檢測尺度，需要12個anchors，而且本文數據集與COCO數據集不同，因而需要重新對數據集聚類計算得到新的anchors。

K-means算法是利用不同點之間的距離來判斷他們的相近關系的，相近的會放到一個簇中。而K-means++[14]相比于K-means優化了聚類中心。當選擇第一個聚類中心時，采用相似特征的樣本聚為一類的方法，但是在選擇第二個聚類中心時，聚類中心為距離當前聚類中心盡量遠的點，然后不斷循環重復該過程，直到所有聚類中心被重復完后停止。相比較與K-means算法來說，K-means++算法隨機性更小，可以有效地降低聚類偏差。

2.3? 深度可分離卷積

使用4尺度預測加大了模型的參數量，為了能夠更快的檢測出物體，采用壓縮模型的方式提高實時性。深度可分離卷積在幾乎不影響精度的情況下，可以大幅度的降低模型的參數量，其基本原理是將一個完整的運算分為兩步進行，分別為逐深度卷積和逐點卷積。本文使用深度可分離卷積代替標準卷積，如圖4所示是標準卷積和深度可分離卷積實現過程對比。

從圖4中可以看出，對于三色通道的輸入圖，3×3大小的卷積核，深度可分離卷積分為兩步進行，第一步為深度卷積計算，將輸入特征圖的每個通道與單個卷積核做卷積，得到每個通道的空間特征；第二步為逐點卷積計算，將上一步輸出的特征圖與1×1的卷積核做卷積，得到通道方向的加權組合。

若輸入特征圖尺寸為d1×d1×1×m，卷積核的尺寸為d2×d2×m，輸出特征圖尺寸為d1×d1×n，標準卷積層的參數量為d2×d2×m×n。深度可分離卷積分為逐深度卷積和逐點卷積，設深度卷積的卷積核為d2×d2×1×m，逐點卷積的卷積核為1×1×m×n，則深度卷積的參數量為d2×d2×1×m，逐點卷積的參數量為1×1×m×n，則深度可分離卷積的參數量和標準卷積的參數量比為：

（1）

一般情況下，n遠遠大于d2，從式（1）可以看出，與標準卷積相比，深度可分離卷積將參數量壓縮了? 倍，有效地減少了冗余的參數量，提升了網絡的特征提取能力，因此本文使用深度可分離卷積，提高實時檢測的能力。

3? 實驗結果與分析

因沒有公開的受電弓異物數據集，本文通過搜集輸電線路異物侵限圖像，以及在鐵路現場實地拍攝數據來獲取足夠數量的異物數據，共得到3 580張異物圖像，利用labelImg標注工具對圖像進行標注，其中70%作為訓練集，30%作為測試集，實驗硬件配置為INTEL（R）Corei7-10750H，GTX1660Ti。

在模型訓練時，將數據集的70%作為訓練集，30%作為測試集，輸入圖片的尺寸大小設置為416×416，通道為3，懲罰因子設為0.000 1，batch-size設為64，權重衰減設為0.005，學習率設為steps，初始學習率設為0.001，訓練到20 000次時，學習率設為0.000 1，訓練到30 000次時，學習率設為0.000 01，訓練到40 000次時，學習率設為 0.000 001，總的訓練次數為50 000。

首先用K-means算法在本文自建的數據集上進行聚類計算得到anchors，替換YOLOv3中原來的anchor，重新訓練，得到YOLOv3模型，其次使用K-means++算法在本文自建的數據集上聚類計算得到9個anchors，替換YOLOv3中原來的anchors，訓練得到YOLOv3-T模型，最后使用K-means++算法在本文自建的數據集上聚類計算得到12個anchors，替換YOLOv3中原來的anchors，并將YOLOv3的3尺度預測變換成4尺度預測，將深度可分離卷積替換標準卷積，訓練得到YOLOv3-R模型。

YOLOv3-T、YOLOv3-R與YOLOv3模型性能比較如表1所示。

從表1中可以看出，YOLOv3-T比YOLOv3模型準確率提高了1.51%，速度下降了0.04%，說明在沒有影響檢測速度的前提下，YOLOv3-T的準確度比YOLOv3高，YOLOv3-R模型準確率較YOLOv3-T模型準確度提高了7.17%，速度提高了5.9%，說明4尺度預測有效提高了模型的準確率，將深度可分離卷積替換成標準卷積有效提高了模型的檢測速度，YOLOv3-R模型準確率較原YOLOv3模型提高了8.68%，速度提高了5.5%，總的來說模型的準確度和檢測速度都有明顯的提高，較好的達到了異物檢測時的要求。

如圖5所示為YOLOv3、YOLOv3-T和YOLOv3-R訓練過程的Loss曲線，從圖中可以看出，YOLOv3-T的Loss值一直低于YOLOv3的Loss值，最后趨于穩定，說明YOLOv3-T的檢測效果比YOLOv3的檢測效果好，YOLOv3-R的Loss值一直低于YOLOv3-T和YOLOv3的值，并且更快的趨于穩定，這說明YOLOv3-R的預測情況與真實情況更接近。

網絡模型效果對比如圖6所示，其中圖6（a）圖為YOLOv3異物檢測效果，圖6（b）圖為YOLOv3-R異物檢測效果。從圖中可以看出YOLOv3檢測時異物的檢測框位置與真實位置有較大偏差，同時對小目標識別不出來，而YOLOv3-R對這兩種情況有所改善。

圖7為展示了對受電弓異物侵限場景的識別效果，從左到右依次為原圖、感興趣區域、YOLOv3檢測結果、YOLOv3-R檢測結果，可以看出，改進后的模型在Bbox位置準確度更高，并且對小物體也具有較好的識別效果。

4? 結? 論

本文探討了一種基于顯著性和YOLOv3網絡的受電弓異物侵限檢測方法。采用U2-Net網絡對受電弓圖像進行顯著性檢測，準確定位受電弓區域，進而劃分感興趣區域和非感興趣區域，其次，在受電弓異物檢測感興趣區域劃分的基礎上，通過改進YOLOv3網絡建立受電弓異物檢測模型，將YOLOv3網絡的3尺度預測改進為4尺度預測，并重新計算模型先驗框，同時使用深度可分離卷積替代標準卷積提高檢測速度，改進后的模型較改進前的模型Map提高了8.68%，速度提高了5.5%，最后，對受電弓異物數據集訓練并進行試驗測試表明，本文方法可以快速準度的檢測出受電弓異物。

參考文獻：

[1] 韓志偉，劉志剛，張桂南，等.非接觸式弓網圖像檢測技術研究綜述 [J].鐵道學報，2013，35（6）：40-47.

[2] 趙曉娜，吳興軍，徐根厚.德國高速鐵路接觸網檢測系統 [J].中國鐵路，2008（9）：60-62.

[3] KUEN L K，HO S L，LEE T K Y，et al. A Novel Intelligent Train Condition Monitoring System Coupling Laser Beam into Image Processing Algorithm [J].Transaction of the HongKong Institution of Engineers，2006，13（1）：27-34.

[4] 董宏輝，葛大偉，秦勇，等.基于智能視頻分析的鐵路入侵檢測技術研究 [J].中國鐵道科學，2010，31（2）：121-125.

[5] 李家才，陳治亞，王夢格.鐵路入侵運動目標實時檢測技術 [J].鐵道科學與工程學報，2013，10（6）：116-120.

[6] 段旺旺，唐鵬，金煒東，等.基于關鍵區域HOG特征的鐵路接觸網鳥巢檢測 [J].中國鐵路，2015（8）：73-77.

[7] 王科理，高福來，楊鵬，等.基于深度學習的接觸網鳥巢異物識別研究 [J].鐵道機車車輛，2022，42（2）：116-121.

[8] 王佳祺.基于卷積神經網絡與稀疏編碼的接觸網關鍵部件及異物檢測的研究 [D].成都：西南交通大學，2018.

[9] 郭曉靜，隋昊達.改進YOLOv3在機場跑道異物目標檢測中的應用 [J].計算機工程與應用，2021，57（8）：249-255.

[10] 羅會蘭，袁璞，童康.基于深度學習的顯著性目標檢測方法綜述 [J].電子學報，2021，49（7）：1417-1427.

[11] QIN X B，ZHANG Z C，HUANG C Y，et al. U2-Net： Going Deeper with Nested U-structure for Salient Object Detection [J/OL].arXiv：2005.09007 [cs.CV].[2022-09-12].https：//arxiv.org/abs/2005.09007.

[12] LIN T Y，DOLLAR P，GIRSHICK R，et al. Feature Pyramid Networks for Object Detection [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Honolulu：IEEE，2017：936-944.

[13] HARTIGAN J A，WONG M A. Algorithm AS 136：A K-Means Clustering Algorithm [J].Journal of the Royal Statistical Society Series C Applied Statistics，1979，28（1）：100-108.

[14] ARTHUR D，VASSILVITSKII S. K-Means++：The Advantages of Careful Seeding [C]//Proceedings of The Eighteenth Annual ACM-SIAM Symposium on Discrete Algorithms.New Orleans：Society for Industrial and Applied Mathematics，2007：1027–1035.

作者簡介：王同麗（1997—），女，漢族，甘肅白銀人，碩士研究生在讀，研究方向：機器視覺、目標檢測；郭佑民（1968—），男，漢族，甘肅隴西人，教授，研究方向：傳感器與檢測技術、智能檢測；高德陽（1975—），男，漢族，甘肅蘭州人，本科，研究方向：機車車輛；范永勤（1969—），男，漢族，甘肅蘭州人，研究方向：機車車輛；黃文平（1980—），男，漢族，甘肅蘭州人，研究方向：機車車輛。

收稿日期：2022-10-15

基金項目：中國鐵路蘭州局集團有限公司科技發展項目（LZJKY2022003-1）