基于少樣本學習的鋼軌表面缺陷檢測方法

劉俊博，杜馨瑜，王勝春，顧子晨，王 凡，戴 鵬

(1.中國鐵道科學研究院集團有限公司 基礎設施檢測研究所,北京 100081；2.北京鐵科英邁技術有限公司，北京 100081)

近年來，我國鐵路高速化和重載化程度不斷提升，如果線路中鋼軌出現病害，將嚴重影響鐵路運輸安全，因此，亟需研究更高效、更準確的鋼軌表面缺陷檢測方法，為鐵路管理部門制定維修養護計劃提供數據支撐，以保障鐵路運輸安全。

基于機器視覺的無損檢測技術具有成本低、速度快、客觀性強等優點，一直受到學術界和工業界的廣泛關注，已成功應用于高鐵接觸網部件檢測[1]、軌道結構病害識別[2]、鋼軌扣件檢測[3-4]和鋼軌表面缺陷檢測[5-8]等領域。在鋼軌表面缺陷檢測方面，傳統的機器視覺檢測方法可以分為有監督式和無監督式兩類。有監督式方法通常采用滑動窗口從原始鋼軌圖像中提取子區域，然后使用光譜特征[5]、最大穩定極值區域[6]等提取子區域特征，最后，訓練K-近鄰或支撐向量機識別子區域是否存在缺陷。無監督式方法通常采用局部歸一化[7]、邁克爾遜對比度[8]等方法增強原始圖像，然后利用輪廓投影、比例強調最大熵等自動閾值方法定位缺陷區域。然而，上述方法均依賴圖像局部紋理特征，在實際檢測任務中容易受到光照條件、圖像噪聲、軌道環境等因素的干擾，存在魯棒性差的問題。

近年來，Faster-RCNN[9]、SSD[10]、YOLOv3[11]等目標檢測方法在鐵路基礎設施病害檢測任務中得到廣泛應用。得益于深度卷積神經網絡(Deep Convolutional Neural Network,DCNN)強大的學習能力和公開的目標檢測數據集中千萬級的已標注圖像，該類目標檢測方法能夠自動地從大量訓練樣本中學習目標物體潛在的特征模式，極大地提高了目標檢測的魯棒性和檢測速度。然而，現有方法應用于鋼軌表面缺陷檢測任務時仍難以滿足“零漏報、低誤報”的性能需求，其原因主要在于以下3個方面：

(1)缺陷樣本數量少。基于DCNN的目標檢測方法屬于有監督式學習方法，通常分為目標定位和目標分類兩個階段，需要輸入大量已標注數據進行訓練；然而，實際檢測任務中，有缺陷鋼軌圖像的數量相對稀缺，導致無法手動收集和標注足夠的訓練樣本。

(2)不同類別缺陷樣本數量差異大。現有方法訓練目標分類階段時，各類別的訓練樣本數量需要大致平衡；然而，實際檢測任務中，無法保證每類有缺陷鋼軌的圖像樣本數量平衡，導致影響網絡的分類性能。

(3)缺陷區域面積小易漏檢。每幅有缺陷鋼軌圖像一般只包含1～2處缺陷區域，并且缺陷區域面積通常較小；而現有方法對小目標對象的定位精度不足，因此對于小面積的鋼軌表面缺陷區域存在漏檢現象。

針對以上問題，本文通過數據增益、損失函數優化和網絡結構優化3個方面的改進，提出一種基于少樣本學習的鋼軌表面缺陷檢測方法，利用相對少的缺陷樣本實現端到端的鋼軌表面缺陷檢測。基于少樣本學習的鋼軌表面缺陷檢測方法整體流程見圖1。

圖1 基于少樣本學習的鋼軌表面缺陷檢測方法整體流程

首先，設計樣本隨機組合策略，構建鋼軌表面缺陷數據集，將少量已標注的鋼軌圖像隨機拼接，解決有缺陷樣本數量稀缺的問題；然后，提出一種圖像代表性特征學習算法，改進深度網絡的分類損失函數，降低各類別樣本數量不平衡對網絡分類性能的影響；最后，基于多層級特征融合的鋼軌表面缺陷檢測網絡，提升小面積鋼軌缺陷區域的檢測性能。試驗結果表明：該方法在2種鋼軌類型的數據集中均取得最優性能，并在實際線路檢測任務中，檢測率達到100%，能夠滿足鋼軌表面缺陷檢測任務“零漏報、低誤報”的性能需求。

1 鋼軌表面缺陷數據集構建

鋼軌表面缺陷數據集構建包含3個部分：鋼軌圖像提取、鋼軌圖像預處理和樣本隨機組合策略。該方法能夠利用少量已標注的鋼軌圖像快速生成大量的訓練樣本圖像，解決訓練樣本不足的問題。

1.1 鋼軌圖像提取

軌道圖像是利用檢測車的高速線陣相機動態拍攝獲得的，包含鋼軌、鋼軌扣件、軌枕或混凝土基座、道砟，以及其他軌道基礎設施等。為降低不相干物體對檢測結果的影響，需要從原始軌道圖像中提取出鋼軌區域，再針對鋼軌圖像執行表面缺陷檢測。

對每一幀軌道圖像，鋼軌區域具有固定的寬度W和長度L，且必定垂直于圖像的X軸。其中，長度L等于軌道圖像的高度，為840像素；寬度W需要根據鋼軌類型選取，對于60 kg/m鋼軌，W=60像素，對于75 kg/m鋼軌，W=65像素。基于以上先驗知識，首先利用LSD[12]算法檢測圖像中所有的直線；然后，兩兩計算垂直于圖像X軸的直線的間距，如果間距小于θ，則進行合并；最后，找到間距在[W-γ,W+γ]區間的兩條最長直線視為鋼軌區域兩側邊界，即可提取出鋼軌區域圖像。上述θ和γ為預設閾值，是手工選取的經驗參數。

1.2 鋼軌圖像預處理

檢測車通常在夜間天窗時間執行鋼軌病害檢測任務，拍攝軌道的光源強度和角度相對固定。鋼軌中間區域與車輪踏面接觸最頻繁，較為光滑，在圖像中灰度值較高；鋼軌邊緣區域由于存在銹跡和污物，在圖像中灰度值較低；缺陷區域由于凹陷，在圖像中灰度值也較低。因此，可以利用圖像處理方法進一步擴大有缺陷區域與正常區域的像素值差異。

首先，計算鋼軌圖像中各像素值的對數，計算方式為

(1)

然后，進行Z-Score標準化，計算方式為

(2)

最后，將各像素的z值歸一化到[0,255]區間，得到預處理后的鋼軌圖像。鋼軌圖像預處理結果見圖2。

圖2 鋼軌圖像預處理結果

1.3 樣本隨機組合策略

樣本隨機組合策略的具體步驟如下：

Step1以數字表示鋼軌圖像類別：0為“正常鋼軌”；1為“鋼軌掉塊”；2為“鋼軌表面擦傷”；3為“鋼軌表面塌陷”；4為“鋼軌表面有異物”。

Step2各類別的鋼軌圖像數量記為N0、N1、N2、N3、N4，其中N0為最大值。

Step3為每種類別創建一個長度為T×N0的有編號圖像列表，并亂序排列。

Step4循環讀取每種類型列表中的編號i，與此類型的圖像數量取余得到索引值；然后根據索引值找到對應的鋼軌圖像，并隨機執行翻轉、添加噪聲等操作；最后將處理后的鋼軌圖像添加到此類型列表中。

Step5將所有類型的圖像列表合并，并亂序排列，每次讀取T幅鋼軌圖像橫向拼接為一幅訓練樣本圖像，共獲得5×N0幅訓練樣本圖像。

上述步驟中，T為一幅訓練樣本圖像中鋼軌圖像數量，對于60 kg/m鋼軌，T=14，對于75 kg/m鋼軌，T=13。基于本樣本隨機組合策略生成的鋼軌表面缺陷訓練樣本圖像見圖3。

圖3 鋼軌表面缺陷訓練樣本圖像

2 圖像代表性特征學習算法

鋼軌表面缺陷檢測任務中，各類別鋼軌缺陷的訓練樣本數量是不平衡的，影響檢測網絡對鋼軌缺陷類別的分類性能。本節首先深入分析深度網絡的分類原理，然后有針對性地改進分類損失函數，最后給出損失函數優化步驟。

2.1 深度網絡分類原理

現有的基于DCNN的目標檢測方法使用Softmax函數作為目標分類階段的分類器，然后將分類預測結果和真實的類別標簽輸入到交叉熵函數中計算分類損失值，再通過反向傳播算法更新各層網絡的參數。Softmax函數和交叉熵函數聯合稱為Softmax損失函數，對于第i個訓練樣本的特征向量xi和對應的類別標簽yi，Softmax損失函數的定義為

(3)

式中：N為訓練樣本總數；Wj為第j個類別的權重參數向量；bj為第j個類別的偏置向量；M為類別總數。根據余弦距離公式cos(θ)=WTx/W·x,Softmax損失函數可重寫為

(4)

深度網絡的訓練過程實際上是尋找一組權重參數矩陣和偏置向量使所有訓練樣本的整體損失達到最小，即，預測的分類概率值越大，損失值就越小，分類準確率也越高。通過觀察式(4)可知，影響預測分類概率值大小的變量有4個：權重向量Wyi、特征向量xi、特征向量余弦距離cos(θyi)和偏置向量byi。顯然，為提高xi屬于yi類的分類概率值，應該增加Wyi、cos(θyi)、byi的值。然而，當yi類的訓練樣本數量遠大于其他類別的樣本數量時，Wyi和byi也會遠大于其他類別，cos(θyi)的作用會被降低。

此外，低質量的訓練樣本也會導致網絡訓練困難。通常來說，同類別圖像的特征應該非常相似，其特征向量的方向和范數值應該幾乎相同。然而，在實際任務中，訓練樣本的質量很難保證，同類別圖像的特征向量范數xi存在很大差異，其大小與訓練樣本的圖像質量高度相關。

基于以上分析，如果每個類別的權重參數范數Wj相等，且每個訓練樣本的特征向量范數xi相等，則網絡訓練時會更關注于優化不同類別特征向量之間的余弦距離，使不同類別圖像特征之間的距離更大，相同類別圖像特征之間的距離更小，從而學習提取更具代表性的圖像特征。

2.2 改進的分類損失函數

當訓練數據數量不平衡時，如果第j類的樣本數量較多，則第j類對應的Wj、bj也會較大，導致網絡模型的預測結果中圖像屬于第j類的概率較高，因此針對權重參數設置約束損失函數，定義為

(5)

(6)

該損失函數通過約束各類別的權重參數范數等于所有類別權重參數范數的平均值，來降低樣本數量不平衡對網絡分類性能的影響。

當所有類別的權重參數的范數相等時，如果‖xi‖較小，則xi屬于每個類別的預測概率會相似，這也表明xi是圖像分類成功的關鍵因素，因此針對特征向量設置約束損失函數，定義為

(7)

(8)

該損失函數激勵每個訓練樣本特征向量范數盡可能地接近所有訓練樣本特征向量的范數平均值，減少低質量訓練樣本對網絡分類性能的影響。

此外，偏置向量的大小與樣本數量正相關，當訓練集中各類別樣本數量差異大時，會導致樣本數量少的類別置信度低。因此，本文將網絡模型中所有偏置向量初始化為0，并設置其學習率為0。

綜上，改進的分類損失函數形式化為

Lcls=LSoftmax+λLW+βLX

(9)

式中：λ、β為平衡因子，用于控制每個約束損失函數的敏感程度。

2.3 損失函數優化

改進的分類損失函數使用隨機梯度下降法進行優化，梯度

(10)

(11)

為方便書寫，先定義符號公式為

(12)

則式(10)和式(11)中的?LSoftmax/?Wyi和?LSoftmax/?xi可以根據鏈式法則展開為

(13)

(14)

接著，λ?LW/?Wyi和β?LX/?xi的計算公式為

(15)

(16)

最后，

(17)

(18)

3 基于多層級特征融合的鋼軌表面缺陷檢測網絡

鋼軌表面缺陷區域的面積通常較小，現有方法存在漏檢現象。本文提出一種基于多層級特征融合的鋼軌表面缺陷檢測網絡，提升小面積鋼軌缺陷區域的檢測精度。

3.1 網絡架構

現有的基于DCNN的目標檢測方法是利用不同感受野的特征圖獨立地預測目標的邊界框和分類概率值，然后使用非極大值抑制(Non-Maximum Suppression,NMS)算法來篩選最優的檢測結果。然而，淺層特征圖雖包含較多的細節信息，但缺少高層語義信息，預測的邊界框位置較精確，分類概率值較低；深層特征圖的感受野較大，包含豐富的高層語義信息，預測的邊界框分類概率值較高，但位置不精確；使用NMS算法篩選后，分類概率值低但位置精確的邊界框會被舍棄。

為此，本文提出基于多層級特征融合的目標檢測網絡，用于定位和識別鋼軌表面缺陷。其網絡架構見圖4，包括6級特征提取層、3種目標檢測器和1個檢測結果輸出層，共使用55個卷積層和5個最大池化層。

圖4 基于多層級特征融合的鋼軌表面缺陷檢測網絡架構

6級特征提取層中，第1級包含1個3×3×32的卷積層；第2級包含2個1×1×64的卷積層和1個3×3×32的卷積層；第3級包含2個1×1×128的卷積層和2個3×3×64的卷積層；第4級包含2個1×1×256的卷積層和8個3×3×128的卷積層；第5級包含2個1×1×512的卷積層和8個3×3×256的卷積層；第6級包含2個1×1×1024的卷積層和4個3×3×512的卷積層。所有卷積層的步長均為1，特征提取層之間的最大池化層用于降采樣特征圖，其窗口為2×2，步長為2；為防止網絡過擬合，每個卷積層都使用批量歸一化層[13]，并采用Leaky ReLU[14]作為激活函數，以加快網絡收斂速度。

目標檢測器在特征圖上生成6種不同大小的基準定位框，每個基準定位框d使用中心點坐標(dx,dy)和寬高(dw,dh)來表示。基準定位框與真實標注框用于回歸學習邊界框的4個偏移量(px,py,pw,ph)，當輸入的待檢測圖像尺寸為320×320像素時，3個目標檢測器共產生12 600個基準定位框。然而，基準定位框中只有很少數量包含鋼軌缺陷區域，因此，如果基準定位框與任意真實標注框的IoU值大于0.7，則標記該框為有缺陷樣本，并分配對應的真實標注框的標簽。得到有缺陷基準定位框后，根據1∶3的比例從IoU值小于0.7的基準定位框中挑選非缺陷樣本，并分配標簽為正常鋼軌區域。

鋼軌表面缺陷檢測分為以下5個步驟：

Step1待檢測圖像調整至320×320像素。

Step2根據多層級特征融合策略，先分別將第5、6級特征提取層輸出的特征圖進行2倍上采樣，再分別與第4、5級特征提取層輸出的特征圖級聯，最后對3種不同感受野的特征圖分別定義不同的目標檢測器，預測不同大小缺陷區域的邊界框和分類概率值。

(19)

(20)

式中：k為不同感受野的特征圖，k∈[1,2,3]。將特征圖的每個位置對應到原圖的坐標作為基準定位框的中心坐標，即得到每個位置6種基準定位框。

Step4使用目標檢測器預測邊界框偏移量并計算分類特征向量。每個目標檢測器都采用7個卷積層，前6層用于對級聯的多層級特征進行降維和跨通道特征融合，最后1層負責預測每個邊界框偏移量和分類特征向量，其通道數量C=6×4+Classes,即6種不同大小的基準定位框乘以4個偏移量再加類別總數Classes。

Step5測試階段，通過基準定位框與預測的邊界框偏移量得到候選邊界框，將預測的分類特征向量輸入到分類器中計算候選邊界框的分類概率，使用NMS算法篩選最終的鋼軌缺陷區域檢測結果。

3.2 多任務損失函數

本文所提的鋼軌表面缺陷檢測網絡采用多任務損失函數進行端到端的訓練，定義為

L=Lloc+Lcls

(21)

(22)

(23)

(24)

4 試驗驗證

本節試驗使用Opencv3.0、CUDA9.0、Cudnn7.5.1、Pytorch0.4等工具庫實現，計算服務器的硬件采用2顆Intel E5-2697v4 CPU和2塊NVIDIA RTX 2080Ti GPU加速計算卡。

4.1 鋼軌表面缺陷數據集

為評估本文方法對不同鋼軌類型的檢測性能，分別從60、75 kg/m的軌道圖像中提取鋼軌區域圖像，并人工標注缺陷區域位置和類別。鋼軌圖像詳細信息見表1。然后采用本文提出的樣本隨機組合策略，共獲得60 kg/m樣本圖像137 185幅，75 kg/m樣本圖像134 835幅。最后以9∶1的比例將樣本圖像分為訓練集和測試集，用于訓練和測試網絡模型性能。

表1 鋼軌圖像詳細信息 幅

4.2 訓練參數選取

本節實驗使用ResNet-50[15]和原始鋼軌圖像數據搭建圖像分類網絡，以選取合適的訓練參數。平衡因子對深度網絡模型分類性能的影響見圖5。

圖5 平衡因子對深度網絡模型分類準確率的影響

首先，將β固定為0.01，從0到0.015之間選擇λ的值，實驗結果如圖5(a)所示，當λ=0.008時，分類準確率達到最高值。然后，將λ固定為0.008，從0到0.015之間選擇β的值，實驗結果如圖5(b)所示，隨著β從0增加到0.01，分類準確率也隨之上升。實驗結果表明，權重參數約束函數可減少訓練樣本不平衡對分類性能的影響；特征向量約束損失函數可使深度網絡學習到更具代表性的特征，從而提升深度網絡的分類性能。

為更顯著地觀察圖像代表性特征學習算法的作用，本節實驗利用LeNet++[16]提取特征，減少MNIST數據集中5個類別的樣本數量構建不平衡數據集，并分別使用標準Softmax損失函數和本文提出的圖像代表性特征學習算法進行訓練，將學習的特征向量可視化。不平衡數據集特征向量可視化結果見圖6，其中Baseline是指標準Softmax損失函數學習的特征空間分布。實驗結果表明，Baseline結果中每個類別的特征向量呈現不均勻的分布，樣本數量多的類別所占據的特征空間遠遠大于樣本數量少的類別。本文方法結果中，每個類別的特征向量均衡地分布在特征空間中，通過提升β的值，同類別特征向量更加聚集，不同類別的特征向量的間距更大。此現象表明，本文提出的圖像代表性特征學習算法能夠提高特征向量的類內緊密性和類間可分離性，使深度卷積神經網絡學習更具代表性的特征。

圖6 不平衡數據集特征向量可視化結果

4.3 鋼軌表面缺陷檢測對比試驗

本節通過對比試驗的方式評價本文方法對鋼軌表面缺陷的檢測性能，采用精確率、召回率、精確率與召回率的調和平均數F1作為評價指標。對比方法中，MSER+SVM[6]是一種有監督學習的鋼軌表面缺陷檢測方法，MLC+PEME[8]是一種無監督學習的鋼軌表面缺陷檢測方法，Faster-RCNN[9]、SSD[10]、YOLOv3[11]是目前最流行的3種基于DCNN的目標檢測方法。此外，為了驗證本文所提圖像代表性特征學習算法的改進效果，采用標準Softmax損失函數結合本文所提的多層級特征融合網絡(Multi-level Feature Fusion Network,MLFFN)作為對比方法。

訓練過程中采用十折交叉驗證的方式分配訓練集和驗證集的樣本數量，即每輪訓練開始前，從訓練集中隨機抽取十分之一的數據作為驗證集。樣本輸入批量大小設置為128，損失函數平衡因子λ=0.008，β=0.01，動量設置為0.9，權重衰減設置為0.000 5，初始學習率為0.015，訓練周期為60輪。每訓練10輪更改一次輸入圖像的尺寸，從[320，608]區間內隨機選取一個8的倍數的數值作為接下來10輪的輸入圖像尺寸，每訓練20輪次將隨機梯度下降法的學習率調整為當前的0.1倍。訓練完成后，選擇在驗證集上性能最好的參數作為網絡模型最終的參數。對比試驗均在本文方法構建的測試集上進行，試驗結果見表2。

表2 鋼軌表面缺陷檢測方法對比試驗結果

根據表2對比試驗結果可以得出：

(1)基于DCNN的檢測方法的性能遠遠超過傳統機器視覺方法，證明了深度卷積神經網絡的強大學習能力。

(2)得益于多層級圖像特征融合，SSD、YOLOv3、MLFFN+Softmax和本文方法的性能大幅超越了只使用單層級圖像特征進行目標檢測的Faster-RCNN方法。

(3)MLFFN+Softmax方法采用本文所提的多層級特征融合網絡提升了對小面積缺陷區域的檢測性能，在精確率、召回率和F1指標上均高出YOLOv3約0.5%。

(4)本文方法在2種鋼軌類型的數據集上均取得了最優的性能指標，超過MLFFN+Softmax約1.2%～1.6%，表明應用圖像代表性特征學習算法訓練的網絡模型正確檢測的缺陷區域數量增加了約1 200～1 600處，充分證明了本文方法的優越性。

4.4 實際線路檢測對比試驗

為了驗證本文方法在實際檢測任務中的性能，本節采用實際線路中連續100 km的軌道圖像進行對比試驗。軌道圖像共計103 962張，經人工檢查，共存在鋼軌表面缺陷區域89個。實際線路檢測對比試驗結果見表3。

表3 實際線路檢測對比試驗結果

從表3試驗結果可以得出：

(1)Faster-RCNN[9]和SSD[10]的錯誤檢測數量較少，但漏檢的數量分別為15處和8處，影響檢測系統的有效性，威脅鐵路運輸安全。

(2)YOLOv3[11]的檢測率達到了96.63%，但是錯檢數量也較多，增大了人工復核的工作量，導致檢測效率降低。

(3)本文方法不僅能夠檢測到全部的鋼軌缺陷，檢測率達到100%，而且錯檢數量較少，充分證明了本文方法的有效性，能夠滿足鋼軌表面缺陷檢測任務“零漏報、低誤報”的要求。

5 結論

本文提出一種基于少樣本學習的鋼軌表面缺陷檢測方法。該方法首先利用樣本隨機組合策略從少量已標注鋼軌圖像生成大量訓練樣本圖像，從而解決有缺陷鋼軌圖像數量稀缺的問題；然后，利用圖像代表性特征學習算法降低各缺陷類別樣本數量不平衡對深度網絡模型的影響；最后，利用多個層級網絡層中不同尺度的圖像特征進行鋼軌表面缺陷定位和識別，從而實現少樣本條件下鋼軌表面缺陷檢測。本文進行了大量對比試驗，試驗結果證明了本文方法的有效性和實用性。