基于卷積網絡的受電弓圖像目標檢測與矯正方法研究

龐鴻宇，于 龍，高仕斌

0 引言

受電弓滑板監測裝置（5C）通過拍攝列車車頂圖像指導故障消缺[1]，是受電弓自動化監測的重要設備之一。受電弓所在車頂區域構件繁多，檢測容易受到復雜背景干擾。在拍攝角度和車速的影響下，車頂圖像還會出現歪斜畸變，對受電弓的狀態識別帶來困難。為提高自動化檢測效率，首要任務是實現車頂圖像中受電弓的定位與矯正。

目前，針對受電弓檢測的傳統方法大部分基于形狀特征的提取，如Canny 檢測[2，3]、HOG+SVM檢測[4，5]、霍夫變換[6]等。這些方法利用圖像的外觀特征對受電弓進行檢測，算法實現簡單，然而車頂各類鋼架、橫梁繁多復雜，針對受電弓的檢測精度低，誤檢率高。近幾年，基于卷積神經網絡的目標檢測方法取得了較好的效果，如基于潛在區域推薦的Fast R-CNN[7]和Faster R-CNN[8]目標檢測框架，以及基于回歸的YOLO[9]系列網絡等。基于卷積神經網絡的目標檢測方法相對傳統方法而言，能夠提取深度特征，具有良好的魯棒性。文獻[10]提出改進的YOLO V2 算法，對受電弓進行實時檢測。文獻[11]改進YOLO V3 網絡的結構，對接觸網絕緣子進行目標識別與定位。上述基于卷積神經網絡的目標檢測方法都是通過預設不同尺度及位置的錨點框獲取描述目標的特征向量實現檢測，在圖像歪斜畸變角度不大時可以實現受電弓的定位，但目標的檢測結果是外接矩形框，對于因拍攝角度造成的透視畸變的目標而言檢測結果不準確，更無法進行圖像的矯正。目前尚缺乏針對受電弓的精確檢測及圖像矯正方法，國內外相關研究也近乎空白。

針對上述研究現狀，本文提出一種基于卷積神經網絡的受電弓精確檢測與圖像矯正方法。該方法能夠直接預測受電弓區域的4 個頂點坐標，將頂點圍成的四邊形作為受電弓的精確檢測結果，提高受電弓的檢測精度。同時，還可利用頂點坐標進行透視變換，完成傾斜矯正，為后續受電弓的狀態判斷提供更良好的數據集。

1 受電弓滑板監測裝置

受電弓滑板監測裝置（5C）包括高清攝像機、攝像云臺、視頻傳輸系統、視頻顯示系統、視頻分析處理系統等，安裝于車站、車站咽喉處和動車段出入庫線上[1]。列車進出站時自動觸發裝置獲取列車車頂高清圖像，拍攝圖片尺寸為2 048×3 000。5C 裝置的拍攝方式與所拍部分圖像分別如圖1、圖2 所示。

圖1 5C 裝置安裝位置及拍攝示意圖

圖2 5C 裝置拍攝的圖像

2 受電弓檢測與矯正方法

本文所述方法的整體網絡由特征提取網絡與轉置卷積網絡構成，如圖3 所示。特征提取網絡用于提取圖像特征，將原始圖像轉化為含有豐富特征信息的特征圖。轉置卷積網絡用于處理小分辨率特征圖得到大分辨率特征圖，以此生成檢測受電弓4個頂點的熱圖，熱圖反映了受電弓區域4 個頂點可能出現的位置的概率；最后根據預測的頂點位置坐標進行透視變換，得到更良好的受電弓區域圖像。

圖3 受電弓檢測網絡結構

2.1 特征提取網絡

近年來，很多學者設計了豐富的網絡結構用于圖像識別[12]、目標檢測[7]以及實例分割[13]等領域。從最早出現的LeNet[14]網絡到后來的VGGNet[15]，可以觀察到網絡的性能隨著網絡深度的加深而不斷提高，但是當網絡層數增長到一定數量后，網絡深度再加深會產生性能下降的現象。實驗證明這種現象是梯度消失造成的，文獻[16]提出的深度殘差網絡（ResNet）結構解決了這一問題，解決問題的核心是殘差塊。一個殘差塊的結構如圖4 所示，其中BN 為批量歸一化操作，ReLU 為激活函數。

圖4 殘差模塊結構示意圖

殘差塊由恒等映射和殘差兩部分構成，一個殘差塊可以表示為

殘差函數不僅可以減小網絡計算量，還可用于訓練網絡參數，簡化學習難度。本文采用ResNet網絡作為特征提取網絡，去掉最后的池化層與全連接層，形成的特征圖作為轉置卷積網絡的輸入。

2.2 轉置卷積網絡

轉置卷積網絡由若干個轉置卷積層組成，用于將低維向量映射到高維向量，提高特征圖的分辨率。卷積與轉置卷積運算如圖5 所示。由圖5（a）可以看出，卷積運算將特征圖縮小。圖5（b）中轉置卷積運算將特征圖分辨率擴大。由于受電弓區域的頂點占用圖像像素比例極小，本文采用轉置卷積操作，以獲得更多頂點的特征信息。

圖5 卷積與轉置卷積示意圖

特征圖分辨率擴大的倍數與轉置卷積層的數量及運算的步長有關，其輸入輸出關系如下：

o=s(i- 1) + 2p-k+ 2 （4）

式中：i、o分別為轉置卷積的輸入與輸出；s為步長；k為卷積核大小；p為邊界填充大小。

本文采用的轉置卷積網絡包含3 個轉置卷積層，主要結構如表1 所示。3 個轉置卷積層的每層有256 個4×4 大小的卷積核，之后通過卷積核大小為1×1 的卷積層生成熱圖。

表1 轉置卷積層結構

2.3 損失函數

在實際任務中，受電弓的頂點無法被某一個像素位置定義，標注頂點周圍的像素點與標注點十分相近，若將其直接歸為負樣本會對網絡的訓練造成干擾。本文采用高斯函數對頂點作“軟標注”，以對應頂點的真實位置為中心的高斯函數響應值作為目標熱圖，使網絡更容易收斂。“軟標注”處理方法如式（5）所示。

式中：(Win,Hin)為網絡輸入圖像的尺寸；(Wout,Hout)為網絡輸出特征圖的尺寸；(xt-o,yt-o)為頂點在輸入圖像上的位置；(xt-p,yt-p)為頂點在特征圖上對應的位置；g(x,y)為標簽特征圖上(x,y)位置的標簽響應值；σ為高斯函數的方差，σ的設定與輸出特征圖尺寸有關。本文設置若輸出特征圖尺寸Hout為64，則σ為2；若Hout為96，則σ為3；若Hout為128，則σ為4；以此類推。

采用均方誤差（MSE）作為網絡的損失函數，如式（6）所示。

式中：f(x,y)為網絡輸出特征圖上(x,y)位置的響應值。

2.4 受電弓透視矯正

由于5C 裝置安裝時無法對安裝角度進行準確調整，列車行進方向與圖像坐標軸呈一定夾角，對后續受電弓檢測造成干擾，因此需要對圖像進行透視矯正，保持受電弓滑板平行于圖像坐標軸。對受電弓檢測出的4 個頂點進行透視變換即可得到矯正后的受電弓區域圖像。透視矯正算法計算式為

式中：(x,y,w)為預測的頂點在原圖的坐標，實際常取w= 1；(x′,y′,w′)為預測的頂點變換后的坐標。

因此，根據透視變換前后4 個頂點的坐標即可求取4 組變換公式，獲得變換矩陣，最終得到透視變換后的圖像。

3 實驗

3.1 實驗數據集及模型參數設置

本文選取實際線路上5C 裝置拍攝的1 000 張圖像作為樣本庫，圖像尺寸為2 048×3 000。以ResNet-101 網絡作為模型的核心網絡，將模型輸入尺寸設為288×384，從而減小模型運算的時間與復雜度。模型訓練集、驗證集、測試集所用樣本數量比例為8∶1∶1。網絡訓練過程中超參數的設置如表2 所示。

表2 網絡訓練超參數設置

3.2 實驗評價標準

由于線路或拍攝角度不同，受電弓區域在圖像中的大小是不同的，因此采用對受電弓頂點預測的絕對偏差進行評價是不合理的。本文采用式（11）中的相對偏差得分（score）對檢測網絡預測的位置進行評價。相對偏差得分能夠有效消除拍攝角度不同所造成的影響，其計算式為

定義預測的4 個頂點坐標構成的外接四邊形表示為R，根據人工標注的真實受電弓滑板4 個頂點組成的外接矩形表示為Rgt，則受電弓檢測的精度可以用交并比（IOU）來表示：

3.3 檢測性能結果分析

本文以受電弓滑板4 個端點作為頂點進行定位實驗，顯卡為 GTX1080Ti，軟件平臺為Python3.5.0，算法框架為Tensorflow1.3。測試集樣本100 張，每個測試樣本標注受電弓的4 個頂點，則測試集共有400 個點。受電弓滑板區域4 個頂點的標注坐標與模型預測坐標結果如圖6 所示，其中圓形點為預測坐標點，“×”形點為標注點。可以看到，模型預測坐標結果從視覺上與標注坐標十分接近，并且能夠很好地反映受電弓所在區域，在視覺上具有良好的預測效果。

圖6 標注坐標與預測坐標示意圖

為了從數值上分析模型的預測效果，表3 展示了圖6 中4 個預測點的絕對距離偏差與相對距離偏差的計算結果。

表3 頂點預測位置的偏差結果

測試集所有樣本頂點的絕對偏差與相對偏差的整體分布如圖7 所示。相對距離偏差的柱狀分布如圖8 所示。

圖7 測試集中頂點的預測結果整體分布

圖8 頂點的預測結果中相對偏差距離分布

由圖7 可以看到，所有頂點的檢測結果位于對角線周圍，代表測試集中受電弓滑板區域面積大小接近。絕對偏差大部分集中于40 個像素點以內，相對偏差大部分集中于0.05 以內。由圖8 可得，頂點的檢測結果中相對偏差在0.01～0.02 的有167個，占比最大（41.75%）；相對偏差在0.05 以上的有6 個，占比最少（1.5%）。定義相對偏差得分閾值不超過0.05 的檢測點為正確檢測點，則模型對受電弓頂點的檢測準確率為98.5%。

為進一步驗證本文所述受電弓檢測方法在精確度上的提升，將本文方法與文獻[10]中針對受電弓檢測的YOLO V2目標檢測算法進行對比。將100張測試樣本劃分為兩類：普通受電弓圖和歪斜畸變受電弓圖，其中歪斜畸變圖有62 張。計算兩種方法在測試集上的平均IOU結果如表4 所示。

表4 受電弓檢測精度比較結果

分析表4 可知，針對普通受電弓圖像，本文方法和YOLO V2 方法的檢測精度相當，然而對于歪斜畸變的受電弓圖像，YOLO V2 檢測精度明顯下降，本文方法的檢測精度仍處于較高水平，平均檢測精度達到0.967。

獲得4 個頂點的準確位置能夠為受電弓的矯正提供幫助。獲得受電弓滑板區域頂點定位的結果后，可依據4 個頂點位置結果進行透視變換，得到角度合適的圖像。頂點定位后的透視變換結果如圖9 所示。

圖9 透視變換結果

由圖9 可以看出，本文方法解決了拍攝角度帶來的受電弓歪斜畸變問題，能夠為受電弓的后續狀態判斷提供更良好的數據集。

4 結論

（1）為精確檢測受電弓，采用殘差網絡提取車頂受電弓頂點的粗特征，再以轉置卷積網絡擴大特征圖，提升特征的提取精度，通過訓練及預測獲得精確的受電弓頂點定位結果。與目前受電弓的目標檢測方法進行對比，驗證了本文所述方法能夠保證檢測的性能。

（2）基于頂點定位結果的透視變換算法能夠優化受電弓的檢測圖像，明顯提升歪斜受電弓圖像的定位效果，為生成良好圖像數據集提供參考。本文所述方法在工程應用上具有一定的參考價值。