一種基于RefineDet網絡和霍夫變換的高速鐵路接觸網吊弦狀態多尺度檢測方法

齊冬蓮 錢佳瑩 閆云鳳 曾曉紅

①(浙江大學 杭州 310027)

②(西南交通大學 成都 611756)

1 引言

接觸網是一種向電力機車供電的特殊形式輸電線路，其中接觸懸掛裝置是保證接觸網安全供電的重要組成。在鏈型懸掛接觸網中，接觸懸掛裝置主要由接觸線、吊弦整體、承力索、定位裝置以及其他連接零件構成。對接觸網供電具有重要保障且大量存在的吊弦，其日常檢修[1]必不可少，檢修工作繁重復雜，耗費大量人力、物力資源。

近年來，隨著中國鐵路的迅速擴張，繁瑣復雜的接觸網懸掛系統巡檢工作由巡檢車輛完成。巡檢車輛沿巡檢路線行駛時，位于巡檢車頂部的相機以固定拍攝角對線路上的吊弦進行觸發拍攝。

目前，在巡檢中獲取的大量高清圖像，是通過鐵路工作人員逐張察看來判斷吊弦受力情況，并根據排查結果對非正常受力吊弦進行更換，以確保接觸網的正常供電。人工察看的方式存在以下問題：(1)需在巡檢車獲取圖像后進行，也就意味著圖像的獲取和非正常受力吊弦的確定之間存在一定的時間延遲；(2)1次巡檢獲取的圖像數量約3×104–105張，需要大量的人員和時間完成察圖工作；(3)吊弦僅占接觸網圖像的1/10～1/4，工作人員在快速察看過程中很可能因為經驗不足造成對吊弦狀態不準確的判斷。因此，本文旨在設計一種吊弦狀態高精度定位與識別的自動巡檢算法，來代替人工察圖的巡檢方式。

與此同時，卷積神經網絡為圖像特征的快速提取提供了有效途徑，現有的目標檢測算法在準確率和檢測速度上都取得了良好的效果[2]。目前主流的目標檢測算法主要分為基于錨點的定位算法和無錨點的定位算法[3,4]。相比較而言，后者去除了對冗余先驗框的篩選過程，但同時由于失去先驗框的約束在訓練過程中容易造成訓練網絡不穩定。為此，工業界的檢測定位算法仍以優先選擇基于錨點的定位算法為主。

基于錨點的定位算法根據檢測階段可分為1階段的R-CNN系列[5–8]以及2階段的YOLO系列[9–11]和SSD[12,13]系列。文獻[14]采用Faster RCNN網絡對接觸網承力索底座部件進行定位，并對定位區域內的圖像特點通過Radon和Beamlet變換等處理后完成后續裂紋區域定位和裂紋故障診斷；文獻[15]在SSD網絡模型的基礎上，對先驗框加入第5個角度參數，訓練過程中同時完成定位框的中心點、長寬及旋轉角度的預測，從而實現對絕緣子的定向檢測。總體來說，1階段錨點定位算法在準確度上精于2階段方法，而2階段方法則在檢測速度上優于1階段方法。兩種算法有各自的優勢，但均難以兼顧檢測準確度和檢測速度。

文獻[16]對電氣化鐵路中絕緣子的故障診斷采用傳統的特征匹配算法進行預處理，并根據圖像灰度特征進行不良狀態的識別；文獻[17]采用深度學習中分割的思想，對接觸網開口銷的兩個部分實現分割處理，再通過傳統的區域連通匹配算法檢測開口銷狀態。由此可見，傳統算法同樣可以實現檢測定位與識別，但其魯棒性易受背景像素、無關像素的特征干擾，對圖像質量有較高要求。基于深度學習的圖像處理方法憑借其龐大的訓練數據量和可調參數，可減少傳統算法對圖像質量的高依賴性；同時傳統的圖像處理算法可為深度學習網絡提供較為歸一化的訓練數據。

本文充分利用傳統算法對圖像的歸一化能力和深度學習對圖像特征提取的高效性、準確性，提出了一種基于RefineDet網絡和霍夫變換的吊弦定位與識別方法。在RefineDet檢測網絡[18]定位到吊弦整體結構的基礎上，采用霍夫變換對吊弦中部吊懸線區域進行提取，訓練該區域特征得到高效、高準確率的吊弦狀態檢測模型，并通過實驗研究驗證了所提方法的有效性。

2 RefineDet吊弦檢測網絡

對吊弦的整體定位采用具有粗調、精調模塊的RefineDet檢測網絡來完成，其網絡結構如圖1所示：輸入的接觸網圖像完成特征提取后送入錨點調整模塊(Anchor Refinement Module, ARM)；由錨點調整模塊完成對4層特征圖上輸出的先驗錨點框前景篩選和坐標調整，獲得一批精錨候選框；錨點調整模塊中不同尺度的特征圖經由傳輸連接模塊(Transfer Connection Block, TCB)完成轉換，得到新的4層特征圖；最后，由目標檢測模塊(Object Detection Module, ODM)在新的特征圖上完成對精錨候選框的吊弦類別篩選和坐標調整。

圖1 吊弦檢測定位網絡結構

RefineDet檢測網絡特征提取部分采用VGG16網絡[2]進行，即對輸入網絡的接觸網圖像進行卷積、ReLU線性變換及池化操作等[19]。傳輸連接模塊將錨點調整模塊中用到的前后背景特征圖信息轉換為目標檢測模塊中需要的吊弦類別特征信息，具體是對原特征圖進行特征再提取，并通過反卷積操作將高維特征與低維特征相融合，借助類似于FPN結構[20]實現不同尺度特征圖之間的信息融合，最終通過卷積操作整合獲得新的特征圖。

在訓練過程中，RefineDet檢測網絡通過計算損失函數數值并反向傳播來更新網絡參數，學習得到最優的網絡模型。檢測網絡整體損失函數包含錨點調整模塊損失函數Larm和目標檢測模塊損失函數Lodm。

錨點調整模塊損失Larm表示錨點框是否屬于前景錨點框及其與對應真實框間的回歸距離，具體表示為

其中，Lb為前后背景篩選二分類損失函數，Lr為定位框回歸損失函數。Narm為錨點調整模塊中包含吊弦的錨點框數量。pi為第i個錨點框屬于前景的預測概率值，xi為錨點調整模塊對第i個錨點框的頂點坐標預測調整值，gi*為第i個錨點框所對應的真實頂點坐標調整值；li*為第i個錨點框屬于前后背景的真實標簽，當且僅當該錨點框與真實定位框的重疊面積達75%以上時，[li*≥1]輸出為1，否則輸出為0。根據錨點調整模塊損失函數可以看出，該模塊主要針對定義為“前景”的錨點框進行損失函數值的計算，而忽略了大量“背景”錨點框的預測偏差值。

目標檢測模塊損失Lodm表示錨點框是否屬于某類目標框及其與對應目標框的回歸距離，具體表示為

其中，Lm為吊弦類別的多分類損失，Nodm為目標檢測模塊中包含吊弦的候選框數量，ci為目標調整模塊中第i個候選框的吊弦類別預測標簽，ti為目標模塊對第i個候選框的頂點坐標預測調整值。可以看到，在目標檢測損失函數中，定位框回歸損失的計算只針對包含吊弦的候選框進行。

錨點調整模塊和目標檢測模塊的共同存在使RefineDet網絡在各個數據集上的檢測準確率高于1階段檢測網絡，甚至高于大部分2階段檢測網絡；而兩個模塊的平行級聯回歸使檢測速度大大提升，遠高于串聯回歸的二階段檢測網絡。檢測準確率和速度的平衡使RefineDet網絡在眾多目標檢測網絡中脫穎而出。另外，該網絡在不同尺度的特征圖上進行目標物特征提取，對于目標物大小具有廣泛適應性，可以滿足接觸網圖像中吊弦占比不定的情況。

3 基于霍夫變換的吊懸線區域鎖定

吊弦檢測定位網絡針對吊弦整體進行定位，包含吊弦上下線夾以及中部吊懸線，而吊弦狀態主要受中部吊懸線影響。圖2為EgretⅠ智能3D相機實際拍攝的圖像(6250像素×5580像素)，吊弦上下端依靠線夾分別固定在承力索和接觸線上，線夾之間即為吊弦中部吊懸線：對于正常受力的吊弦，其中部吊懸線恰為筆直的拉伸狀態，如圖2(a)所示；當吊弦為非正常受力時，吊懸線會出現彎曲現象，如圖2(b)所示。鐵路工作人員將“彎曲”吊弦進行更替，以全面保證接觸網的正常供電。本文方法同樣以此巡檢經驗為依據，定義吊懸線“筆直”代表吊弦“正常受力”，無需更換；出現“彎曲”代表吊弦“非正常受力”，需要馬上更換。

圖2 EgretⅠ智能3D相機實際拍攝的接觸網圖像

由于實際拍攝時有兩個固定拍攝角，接觸網圖像中吊弦在定位框中的位置、朝向并不確定，需要利用霍夫變換對定位框中的吊懸線區域進行鎖定。

基于霍夫變換的吊懸線檢測算法如表1所示。

表1 基于霍夫變換的吊懸線檢測算法偽代碼

其中，himage, wimage分別為RefineDet檢測定位網絡輸出圖像的長和寬；θstep, γstep分別為角度步長和長度步長；θmax, γmax分別為角度和長度的最大值。

由于霍夫變換是基于邊緣圖像進行檢測，吊懸線受到其他線段干擾或者處于彎曲狀態時，其邊緣圖像上同一直線的像素點少于其他線段，如圖3(b)所示。霍夫變換檢測結果顯示，圖3(c)中交叉線共線點數為154，長度為218.6；圖3(d)中吊懸線共線點數為150，長度為432.7。因此，通過篩選霍夫變換檢測到的所有線段中長度最長的線段即可獲得吊懸線線段。

圖3 霍夫直線點數與長度對比圖

由霍夫變換中最長的線段確定吊懸線兩個端點坐標M(x1, y1), N(x2, y2)以及其長度lline。以垂直線作為法線，吊懸線與法線的傾斜角度α為

其中，取向法線右側傾斜的α為正。若存在吊懸線處于垂直位，即x1＝x2，則對垂直吊懸線區域進行直接裁剪。

根據吊弦結構的特征，吊懸線由多根股線纏繞成1根線段，以較窄的寬度即可覆蓋一根線段的區域，因此，裁剪吊懸線周圍區域的矩形寬度設為20像素；考慮到檢測到的吊懸線長度覆蓋了吊弦上下線夾，以拍攝到的線夾占吊弦整體的比例來設置矩形長度，為0.6倍的吊懸線長度。吊懸線周圍矩形區域示意圖如圖4所示。

圖4 吊懸線周圍矩形區域示意圖

吊懸線矩形區域在旋轉α角前的4個頂點坐標矩陣為

其中，wrec表示吊懸線區域的矩形寬度，hrec表示吊懸線區域的矩形長度；cx表示吊懸線區域的矩形中心點橫坐標，cy為縱坐標，可由端點坐標M(x1,y1), N(x2, y2)得到

根據傾斜角α得到旋轉矩陣R(α)

吊懸線矩形區域旋轉后的頂點坐標矩陣為

利用霍夫變換對吊懸線周圍矩形區域進行提取的流程如圖5所示。

圖5 吊懸線周圍矩形區域提取流程圖

4 吊弦狀態分類網絡

經霍夫變換提取的吊懸線區域需送入分類網絡進行吊弦狀態分析。

首先，將旋轉裁剪后wrec×hrec大小的吊懸線統一到100像素×200像素，縮小長寬比同時對該區域內的異常部分進行放大。其次，將統一尺寸的訓練集圖片送入ResNet分類網絡進行訓練。ResNet網絡借助殘差映射模塊[21]，將輸入網絡的原始信息更好地保留到卷積神經網絡深層結構中，避免了因層數過多而造成信息丟失。根據吊懸線區域內“簡單直線”的信息內容，本文選擇ResNet18網絡作為吊弦狀態分類網絡。假設輸入圖像像素為P×Q，ResNet18網絡具體結構如表2所示。

表2 ResNet18網絡結構

ResNet18網絡最后由全連接層完成平均池化，網絡維度降到1×1×1000維，將其轉換成對應類別數目后由Softmax函數Fs輸出類別概率

其中，x為分類網絡1×C的輸出值。Softmax函數將網絡輸出x轉成數值在0-1之間的類別概率，并保證一張圖的C維類別概率總和為1。

本文中ResNet18分類網絡針對吊弦形態完成正常受力狀態和不受力異常狀態這兩類分析，即網絡最終輸出的1×2維分別代表受力和不受力的預測概率值，取概率值較大的一類作為該區域吊弦的狀態分析結果。

訓練過程中，依次對訓練集中的接觸網圖像進行吊弦狀態分析，給出預測的分類結果和對應的概率值。預測結果與真實結果之間采用分類損失函數來衡量類別、概率預測誤差，通過反向傳播重新更新分類網絡參數，使網絡參數逐漸找到最優解。

在實際的訓練集數據中，吊弦處于受力狀態的圖像遠少于不受力狀態，在網絡模型中采用不同的權重系數以平衡兩種類別的數量差異。這里對吊弦受力狀態的權重設為1.0，不受力狀態的權重設為1.2。分類網絡在訓練過程中的交叉熵損失函數為

其中，x為網絡輸出的1×2維預測概率值，c為所屬的真實類別，wc為第c類對應的損失權重。

5 實驗與分析

5.1 實驗條件及數據集

實驗所用服務器為Intel Xeon E5 2683v3, 4個Nvidia Titan X(Pascal)GPU和4個DDR4 RAM模塊，總容量為62.78162 GB；操作系統為Ubuntu 16.04。

考慮到接觸網圖像(6250像素×5580像素)過大造成讀取圖像時占用顯存過多、速度慢，因此，輸入檢測定位網絡圖像為0.4倍縮放后的原始圖像，大小為2500像素×2232像素。

輸入分類網絡的圖像在實驗1、實驗2中為檢測定位模型的輸出定位框，由于輸出定位框會因吊弦占原始圖像的比例不同而尺寸不同，因此，按照吊弦的長寬比對輸出定位框進行長寬標準化，得到統一的定位框大小為150像素×450像素；輸入分類網絡的圖像在實驗3中為霍夫變換得到的吊懸線區域，由于吊懸線長度不同導致吊懸線提取區域尺寸不一，因此，將該區域標準化為100像素×200像素。對定位框和吊懸線區域進行尺寸標準化并不會改變吊弦在拍攝圖像中的狀態。吊弦檢測定位及狀態分析數據集如表3所示。

表3 吊弦檢測定位及狀態分析數據集

其中德系吊弦具體包括可調整體吊弦(TJB0103A)、壓接型整體吊弦(TJB0103)；日系吊弦包括剛性整體吊弦。

檢測定位網絡輸入圖像像素大、數量多，訓練占用4張顯卡；狀態分析網絡輸入圖像為裁剪后圖片，遠小于檢測定位網絡的輸入圖像，訓練僅占兩張顯卡。網絡訓練的具體參數如表4所示。

表4 兩個網絡訓練參數

5.2 吊弦檢測定位網絡實驗

吊弦檢測定位結果如圖6所示。其中圖6(a),(d), (e), (f)為德系-壓接型整體吊弦定位圖，上下線夾均為由吊懸線構成的載流環；圖6(b)為德系-可調整體吊弦，上線夾處吊懸線自然垂掛、沒有形成載流環，下線夾處是由吊懸線構成的載流環；圖6(c)為日系-剛性整體吊弦，上線夾處為保護罩和預制環，下線夾為螺釘螺母結構。可以看出，兩類德系吊弦具有相似載流環結構，日系吊弦與德系吊弦不盡相同；且德系吊弦由于載流環受拍攝角度影響，表現出明顯或不明顯的環狀。圖像中存在多根吊弦時，如圖6(d)所示，檢測定位網絡僅對完整吊弦進行定位。

圖6 吊弦檢測定位網絡結果

檢測定位網絡結果準確率如表5所示。

表5 RefineDet吊弦檢測模型定位結果

根據鐵路線路列車行駛計劃，一般在18:00至凌晨5:00安排巡檢任務。鐵路沿線大多露天，部分線路包含隧道，因此，拍攝背景大多為黑色天空。對于處在露天環境中的吊弦，其區域平均亮度值高于背景區域，如圖6(a)–圖6(c)所示；對于處在隧道環境中的吊弦，其區域平均亮度值低于背景區域，如圖6(d)所示。當拍攝過程曝光不足時，網絡可以完成暗處吊弦定位，如圖6(f)所示。

為驗證RefineDet網絡在吊弦定位上的有效性，本文采用常見的檢測網絡在吊弦數據集上進行訓練，得到網絡模型定位結果如表6所示。可以看出，RefineDet網絡在測試集上表現最優，達到最高的準確率，召回率遠高于CenterNet網絡和YOLOv3網絡，其檢測速度和YOLOv3網絡持平。

表6 不同網絡模型在吊弦數據集上的定位結果

5.3 吊弦狀態分類對比實驗

吊弦狀態分類實驗主要完成3個對比實驗。

實驗1 將檢測定位模型獲得的吊弦定位結果統一調整到150像素×450像素，直接送入ResNet18網絡進行分類訓練。

實驗2 在檢測定位模型的結果上，先對不同批次圖像進行灰度值平衡，再送入ResNet18網絡進行分類訓練。灰度值平衡具體步驟如下：對RGB圖像進行灰度處理，將平均灰度值小于30的圖像，各像素點均提高30的灰度值；將平均灰度值大于150的圖像進行灰度值反轉。實驗2較實驗1增加了灰度差異處理，以提高分類模型的抗噪聲能力。

實驗3 在灰度值平衡的圖像上，采用霍夫直線變換提取吊懸線區域，如圖7所示，將該結果統一調整到100像素×200像素后，送入ResNet18網絡進行分類訓練。實驗3較實驗2增加了關鍵區域提取，排除線夾對分類的影響，以提高分類網絡的準確率。提取區域的尺寸統一調整對筆直吊弦無影響，會放大吊弦的彎曲部分。在狀態分類數據集中，有3張圖像直接得到彎曲的判別結果，無需進入分類網絡。

圖7 吊懸線區域提取

3個實驗在訓練過程中的損失函數變化如圖8所示，測試結果如表7所示。從實驗1和實驗2訓練過程對比分析可以看出，圖像灰度值差異會造成訓練過程中損失函數的突增，平衡灰度差異后可以提高訓練收斂的速度、降低損失函數數值及突增幅度。實驗2所得模型相對實驗1所得模型在測試集上的表現為，非正常受力準確率提升了2.5%，正常受力的準確率基本持平。

圖8 3個實驗訓練過程損失函數變化

表7 3個實驗測試集結果對比

從實驗2和實驗3訓練過程對比分析可以看出，實驗3的訓練過程沒有出現損失函數反復現象，且訓練收斂速度有明顯提升、訓練達到收斂時損失函數數值明顯低于實驗2，這意味著分類網絡會受線夾影響，排除線夾后，分類模型的速度、準確率均有顯著提高。實驗3所得模型相對實驗2所得模型在測試集上的表現為，非正常受力準確率提升了6.25%，正常受力準確率提升了0.67%。

在相同的網絡結構、初始化權重值以及相同學習率、單次訓練樣本數量、Epoch的情況下，本文采用的灰度差異處理以及霍夫變換處理方法，可有效提升分類網絡的訓練效率和分類模型的準確率。

5.4 算法魯棒性分析

鐵路沿線環境較為空曠，吊弦拍攝角度為仰拍，接觸網圖像背景中幾乎沒有其他物體，背景產生的干擾內容主要來自隧道環境和非吊弦連接件。表5的實驗結果顯示，存在背景干擾的情況下，吊弦定位準確率良好，背景干擾對RefineDet檢測網絡沒有明顯影響。

在吊弦狀態分析網絡中，背景干擾來自線夾和少量背景，圖9給出狀態分析網絡在定位圖、經霍夫變換后的響應圖。吊弦狀態分析網絡應依據吊懸線區域做出判斷，反映為熱力響應圖的紅色區域。圖9(a)中分類網絡對檢測定位結果圖的上、下線夾產生響應，圖9(b)則對上線夾產生響應，均為錯誤響應。可以看到，本文所提算法保證了熱力響應僅出現在吊懸線部分，大大提高了分類網絡對抗背景干擾的能力。

圖9 吊弦狀態分析熱力響應圖

本數據集中吊弦圖像的噪聲干擾主要源于不同拍攝環境下的亮度差異。通過對圖像進行的灰度差異處理，達到平衡圖像灰度的目的。表7中實驗2的測試結果優于實驗1，說明灰度差異處理可以提高模型的抗噪能力。

此外，由于本數據集中接觸網圖像均為夜晚拍攝圖片，暫不考慮光照對本算法的影響。

6 結束語

本文在檢測定位的基礎上，利用霍夫變換對吊弦中部吊懸線區域進行提取，為后續狀態分析網絡排除無效像素的干擾，提高了整體的吊弦檢測、分析模型的準確率。具體包括：

(1)采用RefineDet檢測網絡對接觸網圖像中的吊弦部件進行定位，設計了粗調和精調模塊，既保證了檢測速度，也提高了定位準確率；

(2)結合傳統霍夫變換算法和深度學習分類網絡，提高了算法魯棒性，同時去除對吊弦狀態分析無益的像素區域；

(3)多尺度吊弦狀態檢測模型的建立，有效提高了算法的收斂速度和準確率。

本文算法已在杭州南-千島湖路段上進行了現場試驗，進一步驗證了本文所提算法的有效性。但是，由于吊弦異常狀態圖像較少，狀態分析網絡僅能完成兩種狀態下的吊弦分析，接觸網吊弦的其他異常狀態分析將是今后主要的研究方向。