基于OSE-dResnet網絡的列車底部零件檢測算法*

李利榮，王子炎，張 開，楊荻椿，熊 煒，鞏朋成

(1.湖北工業大學電氣與電子工程學院,湖北 武漢 430068;2.湖北工業大學太陽能高效利用湖北省協同創新中心,湖北 武漢 430068)

1 引言

經過多年的發展，目標檢測技術有了廣泛的應用，期間涌現出了許多經典的目標檢測算法。目前針對列車部件的檢測方法可分為基于傳統的視覺檢測方法和基于深度學習的檢測方法。在傳統檢測方法中，Kilian等人[1]采用中值濾波對圖像去噪，再通過邊緣檢測算法結合提取的部件特征對機車閘瓦等部位進行檢測，取得了良好的檢測效果。針對列車底部部件形狀復雜難以檢測這一問題，謝冠星[2]提出了一種改進的SIFT(Scale-Invariant Feature Transform)特征點檢測算法，在增加了列車底部部件邊緣梯度變化明顯的特征點數量的同時減少了部件平坦區域檢測的特征點數量，提高了特征點匹配的準確度，有效提升了部件識別精度。Zhang等人[3]提出了一種基于局部二值模式LBP(Local Binary Patterns)和Gabor-GA(Gabor Genetic Algorithm)的優化理論列車中心板螺栓檢測方法，首先將不同尺度的多通道Gabor小波作用到圖像上，再通過遺傳算法對每個Gabor通道得到的權值進行優化，最后將加權后的特征進行串接并通過支持向量機進行分類。該方法提供了一種新的優化思路，在一定程度上提升了檢測性能。Sun等人[4]基于圖像金字塔模型和鄰近傳播理論提出了一種快速自適應馬爾可夫隨機場算法，實現了對列車空氣制動系統、轉向架和緊固螺栓的自動檢測。上述方法雖具有一定的檢測效果，但大多需要經過人工預處理提取相應的部件特征，有一定的局限性，且在列車底部這樣的復雜場景中沒有較好的泛化性能。

近幾年，深度學習得到迅速發展，越來越多的研究者采用深度卷積神經網絡CNN(Convolution Neural Network)進行目標檢測。與傳統檢測方法相比，深度卷積神經網絡可以通過增加卷積網絡層數來獲得更深層次的語義信息，同時可以通過引入更多高維特征和尺度信息來提高檢測精度。目前，基于深度學習的目標檢測大致可以分為一階段檢測網絡和二階段檢測網絡2個分支。Girshick等人[5]最先提出的R-CNN(Regions with Convolutional Neural Network feature)目標檢測網絡是最典型的二階段檢測網絡，將分類模型運用到目標檢測中，分類模型的部分網絡層作為骨干網絡進行特征提取。舒娟[6]提出了一種基于深度學習的車輛零部件檢測方法。該方法以Faster R-CNN[7]為基礎網絡框架，并在此基礎上采用多尺度和密集采樣策略生成候選區域，在提升檢測性能的同時降低了網絡復雜度。吳建雄[8]提出了一種基于卷積神經網絡的機車部件檢測方法，在骨干網絡基礎上增加了一個角度距離分支網絡，提高了網絡對全局特征的提取能力。Kumar等人[9]提出將Resnet(Residual network)[10]殘差網絡嵌入Faster R-CNN中，有效提升了對遙感圖像的檢測精度，同時也提高了檢測速度。相較于二階段的檢測網絡，一階段的檢測網絡沒有候選區域生成步驟，而是直接預測具體類別，并進行邊框回歸，在速度上有明顯的提升。針對一階段檢測器沒有候選框生成導致的正負例樣本和難易樣本不平衡的問題，Lin等人[11]提出了Retinanet網絡，引入Focal Loss損失函數抑制易分負樣本梯度，有效平衡了正負樣本數。Xin等人[12]改進了損失函數的計算方法，提出了XIoU Loss(X-Intersection over Union Loss)損失函數，并針對不同網絡模型進行了實驗對比。結果表明：引入新的損失函數對列車底部部件的檢測效果有較大提升。Redmon等人[13]提出了YOLOv3(You Only Look Once v3)算法，在骨干網絡中加入殘差模塊,以解決網絡過深帶來的梯度問題，并融入多尺度特征進行檢測，在保證檢測速度的同時，進一步提升檢測精度。受啟發于YOLO系列和殘差網絡的成功，郝旭政等人[14]在此基礎上提出了一種改進的深度殘差網絡行人檢測方法，有效地降低了定位誤差。郝駿等人[15]針對低對比度下的運動目標提出了一種基于YOLO與殘差網絡算法的改進檢測算法，有效提升了檢測速度并大幅度降低了漏檢率。上述文獻是目前實際運用較多的檢測網絡，從中發現引入殘差模塊可以給網絡性能帶來極大的提升。

本文根據機車底部零件分布的復雜性，以殘差網絡Resnet50為基礎，提出了一種基于OSE-dResnet網絡的列車底部零件檢測算法，設計了一種改進后的d-Resnet(detection Residual Network)網絡，并在該網絡中嵌入OSEnet(Odd Squeeze-and-Excitation networks)模塊，增強特征提取性能；同時采用特征金字塔結構[16]進行不同維度的特征融合，使網絡能夠學到更加豐富的低維特征和高維特征，更加精確地檢測到車底零件。實驗結果顯示，本文算法對車底部件的檢測效果有較大的提升。

2 算法整體框架

目前大多數基于深度學習的目標檢測模型都是采用Resnet50作為特征提取網絡。原始的Resnet50網絡主要由卷積模塊(conv block)和恒等模塊(identity block)組成，其中conv block用于改變特征維度和增大感受野；identity block則用于加深網絡，整個網絡共有50層。本文所提出的列車底部零件檢測算法整體結構如圖1所示，主要由特征提取模塊(P1～P7)、特征融合模塊(C3～C7)以及分類和回歸模塊組成。其中，特征提取模塊為殘差模塊，起到提取圖像特征的作用；特征融合模塊中使用的是經過上采樣與特征拼接后的特征。本文在Resnet50結構基礎上，對特征提取模塊做了一些改進設計，在原始的Resnet50的結構上增加了2層額外的特征層，同時在此基礎上引入了注意力機制，并在特定的模塊上引入了2條傳輸通道，這些改進大大提高了目標檢測的性能。

Figure 1 Overall structure of the proposed algorithm

2.1 特征提取模塊

本文采用在Resnet50基礎上改進后的d-Resnet結合OSEnet作為特征提取網絡，稱其為OSE-dResnet網絡。原始的Resnet50網絡共有4個階段，每個階段包含的殘差模塊數量分別為3,4,6,3，每個殘差模塊由1個conv block和若干identity block組成，conv block和identity block結構如圖2所示。

Figure 2 Unit module of Resnet50

為了增加特征提取的豐富性和提高準確度，本文在Resnet50的基礎上增加了P6和P7階段(見圖1)，網絡一共有56層，并且在每個模塊的identity block中引入了2條傳輸通道。如圖3所示，原始的identity block由2個大小為1×1的卷積塊和1個大小為3×3的卷積塊組成，改進后的identity block將第1個1×1卷積塊的輸入和輸出同3×3卷積塊的輸出進行拼接操作(Concatenate，見圖3中C連接)，然后將拼接后的結果作為第2個1×1卷積塊的輸入，再進行卷積操作，將不同特征層進行了拼接，實現了不同特征的強化多重提取，提升了整體效果。另外，為了充分考慮特征通道之間的關聯性，使網絡能夠提取到更有價值的特征，在每個改進后的identity block中嵌入OSEnet模塊，二者的組合方式如圖3所示。

Figure 3 Unit module of OSE-dResnet

OSEnet模塊是在SEnet[17]基礎上改進而來的，與SEnet一樣，OSEnet分為壓縮和激勵2個部分，采用特征重標定的方式融合特征通道，壓縮部分采用自適應全局池化，將維度為C大小為W×H的輸入壓縮到維度為C大小為1×1的輸出，這個輸出特征融合了全局信息。SEnet通過2個全連接層對特征維度進行縮放，第1個全連接層使用參數r將維度為C的輸入變成維度為C/r的輸出，然后通過第2個全連接層還原到初始維度，期間會進行降維，這將導致信息損失；OSEnet將激勵部分原有的2層全連接層替換成1個卷積核大小為1的卷積，在一定程度上減少了信息丟失，同時減少了計算量，使得網絡運行效率得到提升。OSEnet結構如圖4所示。

Figure 4 Structure of OSEnet

2.2 特征融合模塊

特征融合模塊對特征提取模塊的結果進行融合，通過將擁有不同分辨率和不同語義信息的特征通道相加來提高網絡對不同大小物體的檢測效果。首先對P7階段的計算結果進行一次降維，得到C7，將特征維度由8×4×2 048變成8×4×256;再對C7采取特征上采樣操作，將C7由8×4×256維變為16×8×256維度；最后對P6進行降維，并將運算結果與C7上采樣的結果相加得到C6。同理，將P5～P3的特征層數分別進行降維，再與上一層上采樣的結果相加，對應得到C5～C3的結果。特征融合只是在特征提取網絡的基礎上引入傳輸通道，在提升模型效果的同時不會增加參數量，且計算量的少量增加也可忽略。

2.3 分類和回歸

經過特征融合后會得到大小不同但維度相同的5類特征，這5類特征經過分類網絡及回歸網絡處理后將得到檢測結果。分類網絡包括4個維度為256的卷積核和1個維度為N×K的卷積核，這里的K為輸入特征層所擁有的先驗框的數量，N為所要檢測目標的種類個數，特征經過N×K的卷積核處理后輸出分類結果。回歸網絡包括4個維度為256的卷積核和1個維度為4×K的卷積核，輸出結果是每個先驗框坐標的變化情況，將先驗框與其變化情況相結合得到預測框位置信息。經過分類和回歸網絡處理后會得到多個預測框，最后篩選出得分大于給定閾值的預測框，利用這些框的位置信息和得分進行非極大值抑制處理得到最終檢測結果。

2.4 先驗框

為了提升檢測性能，在訓練網絡之前使用K-means[18]聚類算法得到適合本文數據集的4種不同大小的先驗框，并根據不同特征層進行尺寸調整，每個特征層都可以將輸入圖像分切為與該特征層長寬對應的網格。

對特征融合模塊的5層輸出特征圖，由于其他特征層尺寸過大，本文只列舉了最后2層特征層，如圖5所示。其中，圖5a表示輸入圖像，圖5b和圖5c分別表示特征層C6和C7中先驗框的分布情況，特征層C7的尺度為8×4，所以整個圖像會被分為8×4個網格，然后以每個框的中心建立4個通過聚類得出的形狀不同的先驗框，其他特征層同理。

Figure 5 Structure of prior box

2.5 損失函數

模型訓練階段需要通過最小化損失函數來提升模型整體性能。本文所采用的損失函數包括分類損失部分和回歸損失部分，本文將二者結合作為總的損失計量。

本文設計的檢測模型屬于一階段檢測模型，利用先驗框來提升檢測性能，但同樣會出現正負樣本以及難易樣本比例失衡的現象，故本文采用Retinanet網絡所使用的Focal Loss作為模型的分類損失函數。與交叉熵損失函數相比，Focal Loss在它的基礎上引入了權重系數αt，通過調整αt的大小來降低負樣本對訓練造成的影響。同時，引入系數(1-pt)γ來調整易分類樣本和難分類樣本間的權重，增加了難分類樣本對損失值的貢獻。損失函數定義如式(1)所示：

FL(pt)=-αt(1-pt)γln(pt)

(1)

其中，pt表示樣本預測為正的概率，當γ取值為2，αt取值為0.25時的實驗結果為最優。

回歸損失函數采用Smooth Loss損失函數，其定義如式(2)所示，其導數形式如式(3)所示：

(2)

(3)

其中，x表示預測值與真實值之間的差距。Smooth Loss損失函數能夠限制梯度大小，結合了L1Loss和L2Loss的優勢，使得損失函數在0點處也存在導數，網絡更具魯棒性。從式(3)中可以看出，當預測框與實際框的差距過大時，不會導致梯度過大，當二者差距變小時，也能保證足夠小的梯度。

總的損失函數如式(4)所示：

Loss=FL(pt)+SmoothL1(x)

(4)

3 數據處理及實驗分析

3.1 數據處理

本文所使用的數據集由武昌鐵路局提供。原始的數據集通過架設在鐵軌邊的高清線陣相機拍攝獲得，每幅圖像的寬為2 048個像素，而高則為29 956～39 956個像素不等，無法直接輸入網絡進行訓練，需要對原始數據進行裁剪修正。裁剪方式如式(5)所示：

h=(w-h1)n+(n-1)h1

(5)

其中，h和w分別表示原始圖像的總長度和寬度，h1表示裁剪出n幅圖像后多余矩形的高。這樣的裁剪方式十分簡單，適合運用在長寬比很大的圖像上。裁剪原則是保持圖像寬度不變，對不同圖像進行高度上的裁剪。為了使計算方便，本文首先將輸入圖像統一裁剪為2 048×4 096尺寸大小，由于整體數據集的限制，裁剪后的數據量不夠且含有部分無目標圖像，需要對數據集進行擴充，經過平移、轉置、鏡像和旋轉等幾何變換將數據集由原來的5 123幅擴充到了11 747幅；然后將處理后的數據按比例劃分，其中8 037幅圖像組成訓練集,3 710幅圖像組成測試集;最后利用標注工具對每幅圖像中的5類目標進行標注。

3.2 參數設置

本文所有實驗均在Ubuntu 16.04和Pytorch深度學習框架環境中進行，顯卡選用NVIDIA RTX 2080ti，處理器為英特爾i7-8700(3.2 GHz)，內存大小為16 GB。訓練過程中，對數據進行50輪訓練，由于圖像尺寸太大，受內存限制，每次輸入網絡訓練的圖像數為4，迭代次數為20萬次，網絡采用Adam優化器，網絡初始學習率設為1×10-4。

3.3 實驗結果分析

實驗對列車底部總共5類零件做檢測分析，共選用8 037幅圖像作為訓練集，其中包括2 044個ZDL1(I型車軸)、2 132個Label(車標)、2 162個Hook(掛鉤)、2 304個Lift-rod(活塞桿)和3 283個ZDL2(II型車軸)。隨機挑選了3 710幅圖像作為實驗的測試集，其中包括625個ZDL1、702個Label、867個Hook、916個Lift-rod和1 075個ZDL2。

為了驗證本文設計的特征拼接融合的有效性，進行了3組消融對比實驗，采用3種不同的網絡框架，第1個是本文提出的結合d-Resnet和OSEnet的網絡框架(OSE-dResnet)，第2個在第1個的基礎上去掉特征拼接后的網絡框架(OSEnet)，第3個是原始的Resnet50網絡框架，表1展示了這3種網絡框架對上述5類不同零件的檢測結果。

從表1的檢測結果可以看出，嵌入特征拼接和OSEnet模塊的網絡框架在不同類別以及平均精度上均達到最優。在同時嵌入OSEnet模塊的基礎上，有特征拼接網絡的平均精度要高于沒有特征拼接的，嵌入OSEnet模塊后的網絡要比原始Resnet50網絡的準確度高。

Table1 Result of melt expriment

另一方面，為了更明顯地體現本文算法的性能，將本文算法與目前工業運用較多的幾種算法進行性能比較，采用平均準確度均值mAP(mean Average Precision)和FPS(Frames Per Second)指標來衡量各算法性能，表2展示了不同算法的比較結果。

Table 2 Performance comparison of different algorithms

表2展示了SSD(Single Shot multibox Detector) 、YOLOv3、Faster R-CNN、RPDet(point set RePresentation for object Detection)[19]、FCOS(Fully Convolutional One-Stage object detection)[20]和本文算法的測試結果。從表2中可以看出，本文提出的檢測算法準確度最高。這6類算法的骨干網絡均以殘差模塊為基礎，其中，本文算法在檢測速度和檢測準確度上均高于Faster R-CNN二階段檢測算法的，檢測精度要高于FCOS的，總體性能良好。但是，本文提出的檢測算法在檢測速度上還有待提高，這也是后續繼續研究的目標。

3.4 可視化結果對比

為體現網絡的檢測性能，同時對本文算法和FCOS的檢測結果做可視化處理，可視化結果如圖6所示，圖6a為本文算法的檢測結果，圖6b為FCOS檢測的結果。左上角有檢測類別和置信度值的矩形框為檢測結果，其它矩形框為實際標注結果。由檢測結果可見，FCOS檢測存在漏檢和錯檢，且檢測框與實際框的重合度不高，而在同樣的圖像條件下，本文算法的檢測框與實際標注框高度吻合。

Figure 6 The visualized results

4 結束語

本文提出一種基于OSE-dResnet網絡的列車底部零件檢測算法，在殘差網絡基礎上通過引入特征拼接實現了特征信息互補，同時引入注意力機制，通過融合各個特征通道，獲知各通道的重要程度，再進行權重分配，從而提升了重要特征層的權重。實驗結果表明，本文所提出的算法針對列車底部零件取得了更高的檢測精度。未來的工作將進一步研究如何優化網絡，降低網絡復雜度，提升特征提取效率，提高整體檢測性能。