基于Anchors設計和模型遷移的鋼軌內部傷損檢測方法

吳福培，謝曉揚，黃耿楠，吳 濤，李昇平

(1.汕頭大學 工學院，廣東 汕頭 515063；2.廣州特種機電設備檢測研究院，廣東 廣州 510180)

鐵路鋼軌與列車接觸并長期遭受列車的摩擦和沖擊,易產生各種表面和內部傷損,極可能對列車的安全運行帶來隱患[1-3]。當前常用的無損檢測方法主要包括視覺檢測、超聲波檢測和漏磁檢測等[4]。超聲波檢測因具有穿透力強、指向性好和靈敏度高等特點已被廣泛用于鋼軌內部傷損檢測[5]。

當前鋼軌傷損檢測方法分為兩類:一類是利用高速攝像機獲取鋼軌表面圖像,并采用紋理和灰度等方法檢測鋼軌表面傷損[6-7]。基于此類方法,閔永智等[8]設計了鋼軌表面缺陷檢測裝置和提出了基于圖像灰度梯度特征的鋼軌表面缺陷檢測方法,可檢測不同環境的鋼軌疤痕和裂紋傷損,但其缺陷漏檢率和誤檢率分別為5.79%和6.84%。彭方進[9]提出一種高魯棒性的鋼軌表面缺陷檢測算法,對不同拍攝條件下檢測鋼軌表面缺陷的準確率不低于93%,且具有較高的魯棒性。此外,通過考慮鋼軌的特定特征,文獻[10]設計了一種面向背景的缺陷檢測器以檢測鋼軌表面缺陷。試驗結果表明,該方法具有客觀的檢測能力,且可避免外部因素對檢測結果的干擾。盡管上述方法可取得較好的傷損檢測效果,但總體上仍存在準確率較低和泛化能力較差等問題。另一類是利用超聲波探傷儀采集的B型圖像檢測鋼軌內部傷損。該方面研究的文獻相對較少,其研究成果主要體現在一些單位開發的鋼軌探傷系統中。如SPERRY公司的探傷車可對各種類型的鋼軌缺陷進行檢測和分類[11]。美國鐵路協會的超聲波探傷系統可檢測整個鋼軌部分,包括軌頭、腹板和底座[12]。基于對B型圖像中各傷損特征的研究,本文課題組提出一種傷損檢測及其參數學習方法[13]。該方法的檢測準確率高于97%,檢測效果良好。此外,為進一步提高鋼軌內部傷損的智能化檢測,本文課題組曾提出一種基于傷損特征分析的鋼軌傷損智能識別與分類方法[14]。該方法的檢測準確率高于97%,平均檢測時間為0.2 s/幀,可用于實時檢測。盡管該類方法具有高效率和高自動化的特點,但仍存在魯棒性差和受限于特定傷損特征等問題。

綜上所述,準確率較低、泛化能力不足、魯棒性不高和受限于特定傷損特征是當前鋼軌傷損檢測方法面臨的主要問題。隨著深度學習在目標檢測和分類領域的快速發展,上述問題有望得以解決。目前已有基于深度學習的表面缺陷檢測方法成功應用于工業場景中[15]。黃鳳榮等[16]為提高發動機零件表面缺陷的檢測準確率和效率,提出一種基于聚類算法生成Anchors的Faster R-CNN表面缺陷檢測方法,可準確有效地檢測零件的表面缺陷,滿足智能制造的生產需求。為檢測鋼軌表面裂縫,文獻[17]設計了一種基于深度遷移學習的檢測算法,可有效降低圖像噪聲對檢測結果的影響,召回率高,且可檢測大、小尺寸的裂紋。Yang等[18]提出一種基于深度學習的鐵路檢測方法,其精確率和召回率分別可達70%和80%以上,可實現鋼軌接頭或缺陷的良好檢測。此外,文獻[19]提出一種基于貝葉斯CNN和注意力網絡的鋼軌表面缺陷檢測算法,旨在復雜多樣的鋼軌場景下提高缺陷的檢測精度和速度。試驗結果表明,該算法的分割精度可達91.46%,運行時間為0.18 s/幀。

從上述分析可知,深度學習算法可自動獲取圖像中豐富的特征信息,具有檢測準確率高、魯棒性強和泛化能力好等優點,可有效檢測鋼軌傷損。因此,為準確地檢測鋼軌內部傷損,提出一種基于Anchors設計和模型遷移的鋼軌內部傷損檢測方法。首先,采用圖像數據增強技術擴充現有的傷損圖像數據集,避免所提模型發生過擬合。其次,采用K-means聚類算法設計新的Anchors多維度約束,提高傷損的檢測精度。最后,在基于改進Faster R-CNN模型的遷移學習方法和擴充的樣本數據集的基礎上,訓練并檢驗所提的鋼軌傷損檢測模型。

1 鋼軌內部傷損類型及其特征分析

超聲波鋼軌探傷儀檢測鋼軌內部傷損時,其探頭向鋼軌內部發射一定頻率的聲波。聲波在鋼軌內部傳播以檢測內部傷損。當遇到不同阻抗的傷損時,聲波會產生一次反射和二次反射[20]。然后,通過分析反射波的大小、數量和波形,可對各類鋼軌傷損進行成像和顯示[21],成像后的圖像即為B型圖像,見圖1。

圖1 鋼軌內部傷損的B型圖像

B型圖像顯示了傷損在鋼軌內部的水平和深度信息。在使用探傷儀檢測傷損時,不同角度的探頭檢測不同位置的傷損,并采用不同的顏色進行區分。此外,受檢測位置和環境等因素的影響,檢測過程產生的雜波也在B型圖像中顯示。

結合超聲波成像方式、傷損位置、傷損特征和傳統的鋼軌傷損分類方法[22],將鋼軌內部傷損歸類為11種,見表1。

表1 鋼軌內部傷損分類

圖2為各種類型傷損的集合。圖2中標識的傷損序號與表1對應,其中,黑色橢圓內的圖像為各種類型雜波,黃色三角形內的圖像為接頭。由圖2可知,軌頭核傷的成像長短不一,且單獨或成對出現。螺孔下裂圖像位于正常螺孔圖像下方。軌底橫裂圖像的粗細程度和長度均有差異,但以成對形式實現超聲波成像。

圖2 鋼軌內部傷損集合

檢測時,此類傷損圖像主要存在以下檢測難點:受鋼軌表面平滑度和探傷車靈敏度等因素的影響,B型圖像的噪聲無明顯規律,對傷損的檢測帶來干擾;在B型圖像中,不同類型傷損分布在不同區域,易對B型圖像的數據增強引入不確定因素,如使用旋轉方式對B型圖像進行數據增強時,檢測效果可能適得其反;B型圖像中傷損標注誤差大。B型圖像中,通常需要結合多個通道的圖像來判斷傷損的類別。然而,各個通道的圖像形狀并不固定,人工標注邊界框時會產生比普通圖像更大的標注誤差。在深度學習的邊界框回歸階段可能會發生邊界框定位偏離的現象。為此,擬通過提出基于Anchors設計和改進Faster R-CNN模型的遷移學習傷損檢測方法,解決B型圖像中存在的噪聲干擾、傷損分類困難和定位誤差大的問題,提高傷損檢測精度。

2 基于Anchors設計和模型遷移的傷損檢測方法

綜合上述分析可知,鋼軌內部傷損種類多、顏色組成和位置特征差異大。此外,傷損所在的區域僅為整幅圖像極小的一部分。若采用經典Faster R-CNN架構檢測鋼軌傷損,可能存在以下問題:現有的Anchors約束針對原檢測目標設置,無法滿足和應用于復雜多樣的鋼軌內部傷損檢測;僅使用最后一層特征圖檢測傷損,無法有效提取鋼軌傷損的特征信息。由于最后一層特征圖分辨率小且對應原圖的視場范圍較大,易丟失關鍵的細節信息,不利于檢測鋼軌傷損(小目標)。

針對上述問題,提出一種基于Anchors設計的改進Faster R-CNN架構,見圖3,以檢測鋼軌內部傷損。該架構采用ResNet-50[23]為特征提取網絡,并設計新的Anchors約束以檢測鋼軌傷損。首先,將鋼軌內部傷損圖像輸入ResNet-50網絡,結合特征金字塔結構提取不同大小的特征圖并進行融合處理。其次,采用K-means聚類算法設計與鋼軌內部傷損相關的Anchors多維度約束。然后,通過RPN(Region Proposal Network)網絡得出候選區域,并將不同大小的特征圖和候選區域輸入到RoI (Region of Interest) Align中進行區域校準池化。最后,將得到的特征圖送入兩個全連接層進行分類和邊框回歸。

圖3 基于Anchors設計的改進Faster R-CNN架構

2.1 基于K-means聚類算法的Anchors設計

現有的Anchors無法直接用于當前的鋼軌內部傷損數據集,因此,需對Anchors進行重新設計,以適應檢測目標的實時變化。由于人工設計Anchors需要進行大量的統計試驗并進行驗證,且設計不合理易對檢測結果造成較大的標注誤差。為解決上述問題,擬采用K-means聚類算法設計適用于檢測鋼軌內部傷損的Anchors多維度約束。

首先,以交并比為距離度量對數據集中各類型傷損進行聚類。然后,根據聚類結果重新設計Anchors,以更好地檢測鋼軌傷損。度量該距離為

D(x,y)=1-IOU(x,y)

(1)

當使用式(1)作為度量時,標注框與聚類中心越接近,交并比IOU越大,此時距離度量D(x,y)越小,越容易被歸為一類,聚類結果越準確。

結合鋼軌傷損特點和所提改進Faster R-CNN模型的結構特征,并通過試驗測試結果分析,可得聚類中心為5。經過10次聚類分析,對聚類后的Anchors面積進行向上取整后可得圖4。同時,對聚類后的Anchors寬高比進行統計和分析后可得圖5。在此基礎上,設計Anchors的面積取值分別為82、102、152、172和232,且每種面積的Anchor具有0.5∶1、1.8∶1、2.5∶1三種不同的寬高比。

圖5 Anchors寬高比統計

2.2 基于改進Faster R-CNN模型的遷移學習方法

由于ResNet-50特征提取網絡在訓練時需要大量的樣本圖像才能學習到合適的參數權重,而研究中鋼軌內部傷損圖像通常有限,在訓練網絡時參數權重容易過擬合,導致模型訓練不理想。為此,論文擬采用基于改進Faster R-CNN模型的遷移學習方法實現小樣本下鋼軌內部傷損檢測。與經典Faster R-CNN相比,改進Faster R-CNN模型重新設計了新的Anchors約束和分類器,結合了ResNet-50特征提取網絡和特征金字塔,并采用ROI Align操作以最終實現鋼軌傷損檢測。

圖6為基于改進Faster R-CNN模型的遷移學習方法示意。首先,在樣本數據充足的源域上進行預訓練,可得模型A的網絡參數權重。然后,將該參數權重遷移至模型B中。最后,利用數據量有限的目標域對模型B進行訓練。

基于上述分析,提出基于改進Faster R-CNN模型的遷移學習方法,見圖7。首先,采用COCO數據集對模型進行訓練,得到模型的預訓練參數權重。其次,保留模型特征提取層的參數權重。然后,根據鋼軌內部傷損的特點設計新的Anchors多維度約束和分類器。最后,在擴充的傷損圖像數據集上繼續進行訓練,得到鋼軌內部傷損檢測模型。

圖7 基于改進Faster R-CNN模型的遷移學習方法

2.3 模型損失函數和評價指標

2.3.1 損失函數

訓練過程中,為使所提模型正確預測傷損類別和位置,使用多任務損失函數對模型進行訓練,其表達式為

(2)

Lcls(pi,si)=-ln[pisi+(1-si)(1-pi)]

(3)

Lreg(ti,yi)=smoothL1(ti-yi)

(4)

(5)

式中:L({pi},{ti})為RPN的損失函數,用于衡量模型所作出的預測值與真實值之間的偏離程度;Lcls為分類損失,用于衡量模型所作出的類別預測與真實類別之間的偏離程度;Lreg為回歸損失,用于衡量模型預測值與真實值之間距離的偏離程度;i為Anchors索引;pi為第i個Anchors 被預測為真實標簽的概率;si為0或1,當Anchors為正樣本時,si取1;當Anchors為負樣本時,si取0;ti為預測第i個Anchor的邊界框回歸參數;yi為第i個Anchor對應的真實標注框的邊界框回歸參數;Ncls為一個mini-batch中的樣本數量,其值為256;Nreg為Anchors位置的個數;λ為分類和回歸的平衡參數。

2.3.2 評價指標

采用F1-Measure (F1)、召回率和精確率三個指標,以準確和全面地評價所提模型的傷損檢測能力,其表達式為

(6)

(7)

(8)

式中:P為精確率;R為召回率;F1為P和R的調和平均值,F1值可驗證模型對測試集中每個標簽的分類效果,并進一步考慮分類結果中的假陽性和假陰性錯誤;TP(正陽性)為正確識別為傷損的數量;FP(假陽性)為被誤識別為傷損的數量;FN(假陰性)為漏識別的傷損數量。

3 試驗結果與分析

3.1 試驗環境與參數設置

采用的硬件環境主要為:Intel i7-10700K八核處理器,GeForce RTX 2080Ti顯卡。軟件環境主要為:基于64位的Windows10操作系統,基于CUDA10.1和PyCharm的集成開發環境,基于PyTorch1.6的深度學習框架,運行環境為PyThon 3.7。

反復調試參數后,得到最終的超參數設置為:優化器采用隨機梯度下降法(Stochastic Gradient Descent,SGD),優化器的初始學習率設置為0.005,動量為0.9,權值衰減為0.000 5。批量大小設置為4,Epoch設置為30。每次訓練3個Epochs后,學習率將進行衰減,衰減因子為0.33。

3.2 模型訓練與試驗結果分析

在上述試驗環境和超參數設置的基礎上,建立鋼軌內部傷損數據庫。首先,通過數據增強技術使數據庫圖像擴充至1 500張(圖像分辨率均為1 000×400),且每張圖像至少含有一種類型的傷損。需要特別說明的是,本試驗所用原始圖像均基于課題組與合作單位共同研制的鋼軌探傷儀于高速軌道現場和合作單位的試驗線上采集。其次,將該數據庫按照6∶2∶2的比例分別劃分為訓練集、驗證集和測試集。然后,利用標注工具按PASCAL VOC數據集的標注格式對訓練集和驗證集圖像進行標注,生成XML類型的標注文件。最后,將已標注的數據集按圖7所示流程進行訓練。

圖8為訓練時的總損失和學習率變化情況。由圖8可知,訓練共進行了30個Epochs。訓練過程中,所提模型的網絡總損失函數在第15個Epoch之前呈現下降趨勢,15個Epochs之后基本趨于穩定,模型達到收斂。與此同時,模型學習率基本趨于0。

圖8 總損失函數和學習率變化情況

利用已訓練好的模型對測試集的傷損圖像進行檢測,以檢驗模型的性能。檢測結果見圖9。由圖9可知,對于不同類型的鋼軌傷損,模型均能達到良好的檢測效果,可準確地識別出傷損的大小和位置,并具有較高的類別預測能力。進一步地,統計測試集中各類型傷損的檢測結果和分析相關的評價指標,見表2和表3。

表2 各類型傷損的檢測結果統計 個

表3 各類型傷損的評價指標分析 %

圖9 所提模型的傷損檢測結果

從表2可知,測試集中共含有2 660個傷損,其中,所提模型能正確檢測出2 624個傷損,誤將40個非傷損目標識別為傷損,未檢測出36個傷損。基于上述分析,模型整體的平均預測概率可達97%,精確率、召回率和F1均達到99%。另一方面,在檢測單一類型傷損時,精確率最低為97%,最高可達100%;召回率最低為94%,最高可達100%;F1最低為97%,最高可達100%,表明所提模型可有效檢測鋼軌內部各類型傷損,并為鋼軌內部的傷損檢測提供借鑒意義。

然而,所提模型仍存在不足之處。如檢測個別傷損時,將非傷損目標誤識別為傷損的次數較多(如表2中的Li和Hs等),其原因可能是非傷損目標在形狀、位置和顏色等特征上與某類型傷損非常接近,導致在較高的概率上被識別為目標傷損。另一方面,所提模型仍存在傷損漏檢問題,其原因可能是訓練樣本中相關類型傷損的數量不足,導致模型的泛化能力略差,未能識別所有傷損。

與本課題組前期研究所提的傷損檢測方法比較,可得表4和表5。表4中,文獻[13]和文獻[14]所提方法檢測的傷損類型較少,而本文所提方法可檢測鋼軌中常見的11種類型傷損。從表5可知,在檢測更多類型傷損的基礎上,本文方法的精確率和召回率均可達到99%,具備更好的傷損檢測性能。

表4 不同方法的數據分析 個

表5 不同方法的性能對比 %

進一步地,將本文所提方法與文獻[24]中的方法進行對比分析。文獻[24]中的傷損類型與本文相比略有不同。因此,分析后可將傷損歸納為軌頭核傷、螺孔裂紋和軌底裂紋三種類型進行對比,其結果見表6,其中,識別準確率Ts和誤報率Fs的表達式為

表6 本文方法與文獻[24]所提方法的對比 %

(9)

(10)

式中:N為傷損總數。

從表6可知,在同類型傷損中,文獻[24]所提方法的識別準確率低于本文所提方法。本文方法在識別準確率方面優勢明顯。同時,本文所提方法的誤報率低于文獻[24]所提方法,傷損檢測性能更優。

試驗結果與文獻對比分析表明,本文所提方法具有較高的精確率、召回率和F1,可有效檢測鋼軌內部傷損。同時,該方法的識別準確率高,誤報率低,傷損檢測性能更優。

4 結論

為準確檢測鋼軌內部傷損,提出一種基于Anchors設計和模型遷移的傷損檢測方法,得出以下主要結論:

(1)ResNet-50特征提取網絡可從B型圖像中提取豐富的特征信息,并能準確檢測現有的鋼軌內部傷損。

(2)采用K-means聚類算法設計Anchors的多維度約束,可有效解決經典Faster R-CNN對鋼軌內部傷損定位不準確的問題。

(3)引入基于改進Faster R-CNN模型的遷移學習方法,旨在解決訓練樣本少和模型訓練時間較長等問題。試驗結果表明,以小樣本數據集訓練時,所提方法可在較短時間內達到收斂,且具有良好的傷損檢測性能。

(4)試驗結果表明,所提方法在測試集上獲得的精確率、召回率和F1均可達99%,檢驗了該方法的有效性。同時,在檢測單一類型傷損時,該方法的精確率、召回率和F1最高可達100%,具有較高的傷損檢測性能。此外,所提方法的識別準確率高,誤報率低,可為鋼軌內部傷損的智能化檢測提供借鑒。

本文所提方法仍存在傷損漏檢問題,主要原因在于小樣本下模型所學習到的傷損特征未能滿足所有傷損的檢測要求,導致其在工程應用方面仍有不足。如何避免傷損漏檢和進一步提高所提方法的傷損檢測性能,是后續的研究方向。