基于深度學習的鐵路關鍵部件缺陷檢測研究

趙 冰，代明睿，李 平，馬小寧，吳艷華

(1.中國鐵道科學研究院 研究生部，北京 100081；2.中國鐵道科學研究院 鐵路大數據研究與應用創新中心，北京 100081)

缺陷自動檢測技術由于廣泛應用于各業務領域，成為計算機視覺的重要研究方向，基于視覺圖像的缺陷檢測技術，在檢測速度、準確性、適用場景等方面相比于傳統方法優勢明顯。同時由于實際檢測可能出現圖像拉伸明顯、光照條件不佳、缺陷類型多且差異不明顯等情況，也使得缺陷檢測問題成為計算機視覺領域的一大難點問題。考慮到鐵路行業檢測圖像數據量大，時效性高，工作環境具有特殊性，完全依賴人工進行圖像分析的方法比較耗時且充滿主觀性，工作人員難以長時間保持注意力進行準確的缺陷識別，利用圖像分析技術對高速列車關鍵部件進行周期性的缺陷檢測，成為保障車輛安全穩定運行的基礎[1]。復興號動車組是我國完全擁有自主知識產權的標準型動車組，由于其采用全新的標準化設計，關鍵部件結構較既有車型差異明顯，現有的動車組運行故障圖像檢測設備TEDS(Train of EMU Failures Dection System)，無法正常應用于缺陷檢測任務，針對復興號動車組的結構特點，開展高速列車關鍵部件缺陷自動檢測技術研究具有重要意義。

目前缺陷檢測技術按照特征提取方式，可以分為傳統的基于手動的提取特征方法與基于深度的學習方法。手動提取特征進行缺陷檢測的方法在一段時間內應用廣泛[2]，由于缺陷表面的材質差異，缺陷檢測方法各有適用范圍。對于混凝土、路面等裂紋缺陷明顯、場景簡單的表面結構，邊緣檢測及形態學運算的方法更加適用于提取局部特征[3]。對于缺陷不明顯的復雜場景，圖像濾波[4]、局部二值模式 LBP(Local Binary Pattern)[5]、Gabor濾波[6]等圖像分析技術是更適合的方法。對于金屬表面，基于視覺的缺陷檢測方法已經被用于輪軌表面缺陷檢測任務中[7]，傳統的梯度方向直方圖HOG(Histogram of Oriented Gradient)、尺度不變特征變換SIFT(Scale-invariant Feature Transform)、空間金字塔結合支持向量機分類器SVM(Support Vector Machine)在鐵路缺陷檢測領域均有著廣泛應用[8]，但手動提取的特征基于經驗假設，忽視了數據本身具有的特點，在大數據時代，該類方法已經不適合對海量檢測數據進行分析。隨著深度學習技術的出現，依靠深度卷積神經網絡DCNN(Deep Convolutional Neural Network)[9]進行特征的自動提取為缺陷檢測任務提供了新的思路。隨著CNN在圖像分類、目標檢測等領域取得了令人矚目的成就，CNN開始應用于鐵路行業的缺陷檢測任務中。在文獻[10-11]相關研究中，深度卷積神經網絡已經被用于車輪狀態的快速自動檢測；結合卷積神經網絡與樸素貝葉斯數據融合技術實現對缺陷視頻的實時缺陷檢測；結合圖像語義分割技術，模型可對多種材料表面實現自動缺陷檢測。目前利用深度方法解決缺陷檢測任務的主流思路是將其看作分類問題或目標檢測問題，分類方法需要對圖像進行分割預處理，適用于部件在圖像中的位置具有規律性，否則將加大預處理工作量；目標檢測方法適用于缺陷差異明顯的情況，當差異較小時，直接利用目標檢測方法效果不佳。同時深度學習技術的特點決定其需要大量帶有標注的數據，使得應用深度學習方法的成本較高。

本文提出將改進的Faster R-CNN串聯單獨訓練的Resnet-101網絡，構建雙通道缺陷檢測框架MCDDF(Multi-channel Defect Detection Framework)，應用于鐵路關鍵部件缺陷檢測任務中，MCDDF的部件檢測通道實現鐵路關鍵部件定位，定位區域圖像進行超分辨率提升后送入缺陷分類通道實現缺陷分類。本文對比分析了特征提取網絡、區域推薦網絡RPN(Regional Proposal Networks)、超分辨率算法等改進策略對MCDDF性能的提升，同時對比了MCDDF與Faster R-CNN在鐵路關鍵部件缺陷檢測任務中的性能差異，結果顯示MCDDF有效解決了將目標檢測方法應用于缺陷檢測任務時，由于多次下采樣導致缺陷特征難以準確分類的現狀，在缺陷特征不明顯及小尺寸缺陷部件環境下具有極佳的檢測性能。

1 數據采集方案

利用TEDS系統在軌底安裝的面陣(圖1(a))和軌側安裝的線陣(圖1(b))組合攝像頭，對CRH380BL型復興號動車組自動采集走行部、制動配件、底架懸吊件、鉤緩連接、車體兩側裙板、轉向架、踏面、輪緣、輪輞等部位圖像。系統選用高速COMS線陣相機加裝紅外濾光片配合近紅外波段大功率一字線型激光光源，解決戶外陽光干擾及LED設備補光不足的問題；采用4K線陣相機拍攝圖像，可完整截取整節車廂圖像；高速線陣相機行頻可達200 kHz，能夠適應最高350 km/h的車速。

(a)車底采集設備 (b)車側采集設備

針對采集數據，建立高鐵關鍵部件缺陷標注數據集與高鐵螺栓部件分類數據集。其中，高鐵關鍵部件缺陷標注數據集用于開展本文提出的缺陷檢測模型訓練使用，涵蓋制動盤、制動閘鉗、牽引機、側懸掛、下懸掛、板螺栓6類部件，圖像分辨率2 048×2 000 px，共3 000張圖片，出于數據差異性考慮，每類部件目標僅標注是否包含缺陷，部件總標注數達到15 000個目標，正負樣本約3∶1，典型缺陷部件如圖2所示。高鐵螺栓分類數據集用于驗證針對不同尺寸部件，MCDDF模型缺陷分類的超分辨率提升效果對分類模型的性能影響，按照螺栓尺寸(大目標：分辨率大于100 px；中目標：分辨率在50～100 px之間；小目標：分辨率小于50 px)及特征分為B1、B2、M1、M2、L1、L2六類，共7 000張圖片，典型螺栓部件如圖3(a)所示，圖3(b)展示螺栓部件來源。訓練集與驗證集劃分比例均為7∶3。

(a)裙板脫落 (b)異物 (c)連接線斷裂

(d)漏油 (e)螺栓丟失 (f)軸簧斷裂

(a)典型螺栓部件

(b)螺栓部件來源

2 MCDDF

為解決將Faster R-CNN方法直接應用于缺陷檢測任務面臨的性能下降問題，MCDDF采用兩通道方式分別實現部件檢測及缺陷分類任務，部件檢測通道以任意分辨率圖像作為輸入，采用ResNet-101作為特征提取網絡的Faster R-CNN主干模型，輸出為部件定位與分類結果。缺陷分類通道以部件檢測通道的輸出信息進行部件圖像裁剪，經超分辨率算法RAISR[12](Rapid and Accurate Super Image Resolution)聚合多種濾波器特征，實現圖像超分辨率重建，豐富細節特征，經單獨訓練的Inception_ResNet_V2[13]網絡進行缺陷分類。結合兩通道輸出在原始圖片上給出缺陷部件的定位及缺陷類別，模型框架如圖4所示。

圖4 MCDDF網絡結構

2.1 部件檢測通道

部件檢測通道借鑒Faster R-CNN[14]模型，由RPN與Fast-RCNN組成。本文在原始Faster R-CNN模型基礎上引入了ResNet-101網絡作為特征提取網絡，借由殘差網絡結構提升特征提取性能；同時提出了一套適用于高鐵關鍵部件檢測的RPN錨點(anchor)推薦及訓練機制。

2.1.1 特征提取

經典的Fast R-CNN算法選用VGG網絡實現特征提取，相比于VGG-16等傳統的層間直接堆疊的平原網絡，層次更深的殘差網絡理論上在每一階段能夠提取到更魯棒的特征，解決梯度消失和梯度爆炸的問題，本文選擇ResNet-101網絡作為特征提取網絡，使用每一階段最后的殘差塊的激活輸出作為特征，將conv2，conv3，conv4，conv5層的輸出定義為{C2，C3，C4，C5}，步長為{4，8，16，32}，殘差網絡的引入能夠為目標檢測任務提取更適宜的特征，深層單元與淺層單元的遞歸關系為

(1)

根據式(1)及鏈式法則，可得殘差網絡的反向傳播公式為

(2)

2.1.2 RPN錨點(anchor)機制

RPN判斷區域是否包含目標及邊界框的回歸依賴一系列的錨點，錨點通過預先定義的多種尺寸及長寬比涵蓋不同的形狀與尺寸。對高鐵部件圖像分析可得，部件尺寸在50～1 500 px之間，長寬比最大可達1∶4(4∶1)，本文設定錨點尺寸為{452，642，1282，2562，5122}，長寬比為{1∶1，1∶2，2∶1，1∶3，3∶1，1∶4，4∶1}，共35種錨點。錨點訓練階段，使用錨點與邊界框的交并比IOU(Intersection-over-Union)作為是否包含目標的評判指標，出于文獻[15]中錨點數量與模型準確性相關性較小及鐵路領域關注漏檢性的考慮，設定IOU大于0.6的錨點為正樣本，IOU小于0.2的錨點為負樣本。

2.2 缺陷分類通道

缺陷分類通道以部件檢測輸出為輸入，該通道由RAISR超分辨率重建網絡及CNN分類網絡構成，從檢測原理角度進行分析，Faster R-CNN對小目標檢測能力較差，同時，當目標類間差異較小時，其分類能力下降明顯。針對此問題，該通道引入RAISR對檢出部件進行兩倍分辨率提升后，送入單獨訓練好的Inception_Resnet_V2缺陷分類網絡，將缺陷檢測任務分解為部件檢測通道與缺陷分類通道的多通道思想，可以有效解決直接利用，Faster R-CNN等目標檢測方法同時實現部件位置檢測與缺陷分類檢測所造成的性能損失。

2.2.1 RAISR

由于利用CNN進行缺陷分類需對圖像進行預處理，以符合CNN輸入分辨率，部件檢測通道輸出的部件圖像尺寸較小，直接基于二線性插值方法進行圖像尺寸處理會對缺陷特征引入過多噪聲，本文引入RAISR算法，實現對缺陷目標圖像的超分辨率圖像轉換。

給定的低分辨率圖像生成對應的高分辨率圖像的原理是將給定的一系列高低分辨率圖像對作為訓練數據，利用學習到的濾波器對訓練數據外的圖像進行濾波操作，得到高分辨率圖像。低分辨率與高分辨率圖像的關系為

z=DSHx

(3)

式中：z∈RM×N為輸入的低分辨率圖像；x∈RMS×NS為對應的高分辨率圖像；H∈RMNS2×MNS2為線性模糊核；DS為衰減矩陣。超分辨率重建即為在已知低分辨率圖像z信息的情況下恢復未知高分辨率圖像x的過程。

RAISR方法首先將低分辨率圖像進行雙線性插值操作，繼而將預訓練好的濾波器應用在圖像塊中，進一步利用哈希方法對圖像塊進行聚類訓練，提升圖像恢復效果。濾波器的訓練過程即為最小化給定高分辨率圖像與濾波器輸出，最小損失函數為

(4)

式中：Ai∈RMN×d2為訓練輸出的高分辨率圖像塊組成的矩陣；h∈Rd2為濾波器；bi∈RM×N為對應的理想高分辨率圖像位置部分的像素點。

RAISR后接的缺陷分類網絡默認輸入圖像尺寸為224×224 px，大于此尺寸的部件無需進行超分辨提升即可送入分類網絡，小于此尺寸的部件應進行超分辨提升以接近此分辨率，考慮到螺栓為高鐵部件中典型的小尺寸部件，在對高鐵螺栓分類數據集進行2倍超分辨提升后，螺栓分類效果如圖5所示。分析發現，對大目標(分辨率大于100 px)及中目標(分辨率50～100 px)而言，分類準確率提升有限(4%左右)，而對于小目標(分辨率小于50 px)，分類準確率提升顯著(18%左右)，分辨率兩倍提升后，Inception_ResNet_V2分類網絡小目標分類準確率可達96.5%，故無需進行更高倍數的分辨率提升。

圖5 RAISR對部件分類效果的影響

基于遷移學習方法對高鐵關鍵部件進行超分辨率提升訓練，2倍超分辨率提升效果如圖6所示。

(a)原圖 (b)RAISR

2.2.2 缺陷分類網絡

在MCDDF訓練階段，根據高鐵關鍵部件缺陷標注數據集標注信息，將裁剪對應的部件及其缺陷類別應用于Inception_Resnet_V2缺陷分類網絡的調參訓練，相關網絡已在ImageNet進行預訓練，提高了網絡收斂能力，在MCDDF測試階段，將經超分辨提升的裁剪圖像塊傳入圖像缺陷分類網絡實現檢出部件的缺陷分類任務。

3 實驗與結果分析

3.1 實驗環境

本實驗在Linux Ubuntu16.04系統環境下基于TensorFlow深度學習框架Object Detection API搭建，GPU使用NVIDIA GeForce GTX 1080TI，內存12 G，訓練樣本為高鐵關鍵部件缺陷標注數據訓練集，共2 100張圖片，圖片分辨率統一為2 048×2 000 px，按7∶3比例劃分訓練集和驗證集。

初始參數設置如下：初始學習率為0.000 2(迭代步數處于10 000～20 000步時，學習率為0.000 02，迭代步數大于20 000步后，學習率設置為0.000 002)，動量為0.9，權重衰減為0.000 1，最大迭代步數為20 000步。訓練過程將輸入圖片固定為1 024×600 px，每張圖片生成300個推薦區域，MCDDF在高鐵關鍵部件缺陷標注數據集的訓練時間為6 h。

3.2 模型分析

針對MCDDF部件檢測通道模型設計了一系列改進方案，簡化起見，本部分僅利用MCDDF部件檢測通道在高鐵關鍵部件缺陷標注數據集中的正樣本數據集進行測試，測試樣本采用高鐵關鍵部件缺陷標注數據集中的1 000張圖片，屏蔽負樣本標注，僅測試正樣本檢出能力。

特征提取網絡：本測試驗證不同的特征提取網絡對部件檢測通道檢測性能的影響，表1展示不同的特征提取網絡在關鍵部件檢測任務性能的影響，隨著深層網絡(Inception-v2)的引入，網絡特征提取的性能相比平原網絡(VGG16)提升明顯，平均精度mAP提升13.6%，在此任務中，ResNet-101取得了最優的檢測效果，而更復雜的Inception-ResNet-v2檢測性能略有降低，說明在小數據集條件下，過于復雜的網絡可能導致訓練不充分的情況。

表1 不同特征提取網絡下的目標檢測性能對比

RPN網絡：本測試驗證前文提出的RPN錨點機制改進方案對部件檢測通道檢測性能的影響，Basenet為上節以ResNet-101為特征提取網絡的檢測模型，按2.1節修改，Net1改進Anchor尺寸為{452，642，1282，2562，5122}，Net2改進Anchor長寬比為{1∶1，1∶2，2∶1，1∶3，3∶1，1∶4，4∶1}。表2為RPN網絡模型改進對部件檢測通道性能的影響，“+”代表在基礎網絡上添加Net1及Net2，結果顯示，通過設定更符合目標數據集的Anchor尺寸、長寬比，可以有效提升檢測性能，該策略在鐵路等特定專業場景具有重要意義。

表2 RPN網絡改進對模型檢測能力的影響

3.3 鐵路關鍵部件缺陷檢測實驗

本測試采取經典的以VGG-16為特征提取網絡的FasterR-CNN目標檢測模型作為對照，驗證本文提出的MCDDF相比傳統方法在缺陷檢測及小目標檢測方面的有效性。測試樣本為高鐵關鍵部件缺陷標注數據測試集，包含900張圖片，測試過程中最小批量為32張，單張圖像測試時間為0.5 s。圖7為MCDDF訓練過程中的分類損失變化情況。

(a)定位損失

(b)分類損失

表3對比了FasterR-CNN方法與采取改進策略的MCDDF缺陷檢測性能，“+”指模型選用表第一列所述的改進策略。結果顯示，對照模型在該檢測任務下的mAP值為0.651，各改進方案對檢測性能的貢獻如下：特征提取網絡模型貢獻為9.98%，RPN改進模型貢獻為2.93%，多通道檢測模型貢獻為3.53%，采用超分辨率策略的MCDDF方法的mAP值為0.792，性能提升21.66%。實驗證明本文提出的MCDDF方法在缺陷檢測任務中表現優異。圖8為高鐵關鍵部件缺陷標注數據集典型測試圖例，其檢測結果能夠代表本文提出的MCDDF方法在小目標缺陷檢測及缺陷部件與正常部件相似性較高情況下的檢測效果，其中紫色框代表檢出的正樣本，其他顏色框代表檢出的缺陷樣本，檢測結果顯示Faster R-CNN對照方法應用于缺陷檢測任務時，雖然正樣本檢出效果尚可，但對含缺陷部件存在大量漏檢的情況。MCDDF未出現漏檢情況，對含缺陷部件特別是小尺寸部件具有更優的檢測效果。

表3 MCDDF模型性能改進對比

(a)對照模型

(b)MCDDF

4 結束語

為解決缺陷檢測業務遇到的實際難題，本文從Faster R-CNN模型改進與缺陷部件超分辨率提升兩個思路進行了相關研究，結合兩者優點，基于將缺陷檢測流程分割成部件檢測與缺陷分類兩通道的思路提出MCDDF方法，經對比實驗，本文提出的方法表現優于目前主流的基于Faster R-CNN進行缺陷檢測的方法。下一階段計劃將多尺度分析方法引入MCDDF檢測流程中，進一步提升小目標檢測水平。