基于前景分割的扣件狀態識別算法

申瑞超，柴曉冬，李立明，鐘倩文

(上海工程技術大學城市軌道交通學院，上海 201620)

鐵路扣件是鋼軌和軌枕的連接部件，起到固定鋼軌、傳導鋼軌所受外力的作用[1]。鐵路扣件處于失效狀態可能會造成列車脫軌等重大事故[2]。因此，在鐵路安全中對扣件狀態的檢測尤為重要。近年來圖像處理技術發展迅速，使用機器視覺實現鐵路扣件狀態自動化檢測已得到大量應用[3]，如通過對現有圖像特征算子的改進[4]、利用[5]，或將數學原理[6-7]應用到圖像領域中檢測扣件。但真實場景中的扣件圖像背景更為復雜多樣，如圖1(a)、圖1(b)、圖1(d)因線路施工和維護原因造成扣件圖像中包含電纜、鋼板和油污，鐵路沿線的居民和列車乘客丟棄的垃圾可能會造成圖1(c)的情況。傳統方法利用扣件圖像的邊緣特征或梯度特征檢測扣件狀態，圖像背景中的異物會對檢測結果造成較大影響。為消除背景，Hsieh[8]等運用形態學、目標搜索方法找到合適的閾值分割扣件圖像，并將分割特征運用到檢測扣件狀態中。這種利用傳統圖像分割方法去除扣件背景的方法雖然提高了扣件檢測的識別率，但閾值分割的效果受環境光照影響較大，如圖1真實場景中各扣件圖像因天氣或隧道內外光照不同等原因造成圖像亮度變化較大。李永波等[9]提出一種基于機器視覺和模式識別的扣件檢測方法，利用經典特征算子梯度直方特征提取感興趣區域特征，再將特征壓縮后用支持向量機分類扣件圖像。特征算子的應用使得該算法在光照變化較大的情況下具有魯棒性，但其選擇固定感興趣區域提取特征檢測扣件狀態的方法極易受到環境中干擾物的影響，在檢測復雜環境下扣件狀態時有較大偏差。

圖1 復雜場景中的扣件圖像

計算機硬件的發展使得對運算有較大要求的深度學習也應用到扣件狀態檢測中。如趙鑫欣[10]使用AlexNet實現了光照差異和油污環境下的扣件狀態；林菲等[11]利用VGG網絡檢測扣件狀態，提高了扣件檢測精度。但這些均基于扣件圖像的全局特征，容易受到復雜環境的影響。為去除扣件圖像的復雜背景，在此基礎上提高扣件檢測的精度，代先星[12]使用先驗知識將彈條從圖像中分割出來，程思柳[13]利用超像素分割得到扣件區域。

提出一種基于前景分割的方法對扣件狀態進行檢測。如圖2所示，為消除環境因素中背景的影響，將扣件彈條和軌道邊緣部分從圖像中分割出來。全卷積網絡(Fully Convolutional Networks，FCN)[14]是最早應用于圖像分割的深度學習網絡，基于FCN改進的圖像分割算法已大量應用到醫學[15]、農業[16]、工業[17]等方面，金字塔場景分析網絡(Pyramid Scene Parsing Network，PSPNet)[18]是其中較為優秀的圖像分割網絡之一，本次改進了PSPNet的特征提取層，提高了算法的運行速度和分割正確率。為消除環境因素中的光照影響，通過局部二值模式(Local Binary Pattern，LBP)[19]算法計算扣件前景圖的局部紋理特征。最后，將提取的特征輸入支持向量機(Support Vector Machine， SVM)分類。實驗證明，使用提出的方法檢測復雜場景下的鐵路扣件可得到較好效果。

圖2 算法流程

1 基于改進的PSPNet前景分割

選取扣件前景如圖3所示，扣件圖像中的彈條和鋼軌邊沿作為前景，其余為背景。在前景中彈條是面積較大的不規則連續區域，在進行圖像分割時需給圖像中的每個像素指定一個類別標注。全卷積網絡可以分割圖像中的動態對象，實現逐像素分類，但其單一的直線型結構使得對大片連續區域的對象在語義理解上有所缺陷[20]。PSPNet 通過特征提取層和金字塔池化層信息的融合，包含了圖像中的上下文信息，使其在分割較大連續不規則動態對象時更有優勢。

圖3 扣件前景

改進的PSPNet模型的結構如圖4所示，PSPNet可分為特征提取模塊、金字塔池化模塊和輸出模塊。原始PSPNet中使用ResNet提取圖像特征，ResNet可以有較大的深度，能更好的提取圖像深層特征，但冗贅卷積操作使得網絡計算量變大，影響算法效率。為此，采用圖5中的VGG[21]作改進的PSPNet為特征提取層。其中，Conv表示卷積操作，在卷積神經網絡中，通過一定大小的卷積核作用于圖像的一部分區域，獲取這個區域的特征信息，這是卷積神經網絡最具代表的特征。卷積核以特征圖的左上角為起點，以規定步長“滑動”，每次滑動都會做一次卷積操作，最終得到本層的特征圖，這樣會使本層卷積得到的特征圖與上一層的多個特征圖關聯起來。每個卷積核都能提取到圖像信息的一種特征，形成計算機可以識別的特征圖，一個卷積層可以有多個形狀相同的卷積核，這樣可以提取到圖像的多個特征。在進行卷積操作時，同一卷積核在輸入層的同一特征圖中權值相同，這種權值共享方式減少了網絡中的參數，在一定程度上防止網絡的過擬合，減少網絡訓練時間。用三維張量xl∈RHlWlDl表示網絡第l層的輸入，Hl、Wl、Dl分別為該張量的長度、寬度和高度,yi，j，d為該張量第i行，第j列，第d通道的元素。假設該層卷積核的數量為D個，用fl表示，H和W為卷積核大小，卷積操作的公式為

圖4 改進的PSPNet模型結構

圖5 改進的PSPNet特征提取層

(1)

式中，0≤il+1≤Hl， 0≤jl+1≤Wl，0≤d≤D。

ReLU為激活函數，其公式如下

rectifier(x)=max{0，x}

(2)

可知，ReLU函數在x≥0導數為1，x<0導數為0。激活函數是一種非線性映射，可以增強模型的非線性表達能力。在模型利用反饋運算更新參數時，加入激活函數可防止因參數數值過小而導致的梯度消失問題。

Max polling是池化操作，設池化核大小為H×W，池化操作公式為

0≤i≤H，0≤j≤W

(3)

最大池化操作選擇池化核范圍內最大值代表這個區域的特征輸出，因此，池化操作無需學習參數。使用池化層時只需指定池化類型、池化操作的核大小和池化操作的步長。池化層使模型更關注特征本身而不是特征位置；池化層還能有效降低特征維度，進而減小計算量和參數；池化操作在一定程度上也可防止模型過擬合的現象出現。

(4)

改進的PSPNet使用式(4)作為損失函數。式(4)為交叉熵損失，在訓練過程中通過最小化損失函數求解模型。K為像素的種類；y為標簽，若該像素類別為i則yi為1，否則yi為0；pi為網絡輸出，代表該像素點為第i類的概率。

金字塔池化模塊將不同尺寸的特征圖經過金字塔池化后都會轉換為相同大小。將特征圖劃分為n×n個區域，對每個塊用平均池化。為獲得不同尺寸物體的特征，選用4個等級的金字塔。為減小計算量，使用1×1的卷積核對通過金字塔池化得到的特征圖進行降維，一般情況下，若有N級金字塔，則把特征圖的維數降為原來的1/N。

對不同尺度的特征圖通過公式(5)雙線性差值(上采樣或反卷積)使其具有圖4(b)中特征圖的大小，并把這些特征圖連接在一起，這些特征融合為全局先驗。

f(x，y)≈[1-x]×

(5)

式中，x和y為坐標值；f(x，y)為要求的點值，其余為已知坐標點的像素值。

按圖4中改進的PSPNet提取扣件前景流程，輸入鐵路扣件的原始圖像，經過一系列的卷積池化后提取4種尺度的金字塔特征，經過特征融合最后輸出扣件的前景部分。

2 LBP特征提取

LBP是一種用來描述圖像局部紋理特征的算子，它具有旋轉不變性和灰度不變性的優點[21]。設中心坐標為(xC，yC)，以中心坐標為圓心，半徑為R(R>0)的區域稱為中心坐標的鄰域，在其圓周上均勻取Q(Q>0)個采樣點， 則這個半徑為R的鄰域局部紋理特征可表示為

(6)

(7)

式中，tC為中心像素值，tk為第k個采樣點的像素值。每個局部紋理特征M共有2Q種可能。

圖6為半徑為3，取12個采樣點圓形鄰域情況，若采用點的坐標不為整數，則用線性插值法計算該采用點的像素值；若該采樣點超出圖像范圍，則該采樣點的數值為0。圖7(c)、圖7(d)為LBP算法的可視化結果。LBP算法在不同亮度下對鐵路扣件前景圖像的特征提取具有很好的魯棒性。

圖6 Q=12，R=3的圓形鄰域

圖7 LBP算法對不同光照環境下扣件前景處理效果

3 SVM分類

非線性支持向量可以將訓練樣本的特征從原始空間映射到一個更高維的空間，使得樣本在這個空間中線性可分，如果樣本特征在原始空間維數是有限的，即屬性是有限的，那么一定存在一個高維特征空間是樣本可分。令?(x)表示將x映射后的特征向量，WT為參數矩陣的轉置，于是在特征空間中，劃分超平面所對應的模型可表示為

f(x)=WT?(x)+b

(8)

該超平面模型對應的最小化函數為

(9)

其約束條件為

yi=f(Hi)≥1 (i=1，2，…，m)

(10)

式中，Hi為正樣本，共m個特征，在保證正樣本分類正確的前提下使得超平面模型系數的模最小。利用拉格朗日乘子法(Lagrange Multiplier)求解其對偶問題

(11)

求解時，會計算?(xi)T·?(xj)，這是樣本映射到特征空間之后的內積，由于特征空間的維數可能很高，因此直接計算難度很大，這用到高斯核函數

(12)

將LBP算法提取到的扣件前景特征用SVM進行分類，最終實現了扣件狀態的檢測。

4 實驗及分析

實驗涉及的軟硬件平臺及版本信息如表1所示。

表1 實驗軟硬件平臺及版本信息

4.1 前景分割算法實驗分析

前景分割數據集中的所用圖像采集自石家莊鐵路段的SFC型扣件，在前景分割階段選用LabelMe開源圖像標注工具對數據集進行標注。如圖8所示，軌道邊緣由矩形框出輪廓，該矩形框的4個頂點是圖像上軌道區域的邊緣點，用rail表示。彈條部分用密集的點勾勒出輪廓，圖中每個閉合輪廓區域由平均51個點組成，用stripe表示。圖像其余部分為背景。

圖8 數據集樣例

前景分割數據集圖像大小為473pixel×473pixel，共600張，其中，訓練集400張，測試集200張。

文中對扣件前景分割效果使用總體精度(Overall Accuracy，OA)、F1度量(F1-Score)和kappa系數來評估算法。這些評價指標都與混淆矩陣相關。總體精度計算公式為

(13)

式中，tp為測試數據中被正確分類的像素總數；n為測試數據像素的總數；OA為總體精度，即被正確分類的像素占總測試數據像素的比例。

F1度量的計算公式為

(14)

(15)

(16)

式中，Pi為第i類的查準率；Ri為第i類別的查全率；tpi為模型預測的第i類的真正例的像素數；Ki為模型預測的第i類真正例與假正例的和；Ci為測試數據中第i類像素的數量；Cclass為總類別。F1度量結合查準率與查全率，對算法進行整體評價。0≤F1≤1，且F1越接近1，算法效果越好。

kappa系數用來衡量預測結果與標注數據的一致性，計算公式為

(17)

(18)

式中，ni1為標注數據中第i類像素總數；ni2為模型預測的真正例像素數。標注數據和預測結果是兩個評價者，其中，OA為評價者之間相對觀察一致性，pe為偶然一致性的假設概率。如評分者完全一致，則kappa=1，如評分者之間除偶然之外沒有達成一致，kappa=0。

通過本文方法與FCN和原生PSPNet的對比，驗證了本文所用前景分割方法的優越性。其中，FCN的特征提取層為VGG16，PSPNet的特征提取層選用Resnet101，各算法的評價指標如表2所示。

表2 分割算法實驗結果

從實驗結果可知，在整體正確率、F1度量、kappa系數等評價指標中，改進后的PSP算法都取得了較好的效果。這是因為，扣件圖像語義分類相對簡單，且前景為較大連續區域，PSPNet特征提取層較多，學習到了較多噪聲信息，FCN沒有金字塔池化模塊，不能很好地理解較大連續區域的語義信息，而本文方法的特征提取層較為適用這種情況。因為精簡了特征提取層，改進方法的運行速度比原始PSPNet的運行速度有明顯提升，但因本文方法增加了金字塔池化層，所用速度略慢于FCN網絡。

4.2 扣件狀態檢測實驗分析

將扣件分為正常狀態和異常狀態兩類，如圖9所示，異常狀態扣件包括斷裂、彈出等情況。數據集中圖像共600張，其中，正常狀態扣件430張，異常狀態扣件170張。隨機選取400張圖像作為訓練集，200張作為測試集。測試集中正常狀態扣件142張，異常狀態扣件58張。

圖9 扣件狀態

使用式(13)總體精度、式(19)精確率(Precision)、式(20)虛警率(False alarm，FPR)和式(21)漏警率(Missing alarm，FNR)評估扣件狀態檢測算法。

(19)

(20)

(21)

式中，NTP為數據集中正樣本數量；NFP為負樣本被檢測為正樣本的數量；NTN為數據集中負樣本的數量；NFN為正樣本被檢測為負樣本的數量。相同的軟硬件條件和數據集下，將文獻[9]和文獻[11]的算法與本文方法對比。實驗結果如表3所示。

表3 算法分類實驗結果

由實驗數據可知，傳統方法識別復雜環境下扣件狀態有所不足，不能保證很高的正確率；VGG神經網絡相對于傳統方法評價指標得到較大改善，但其基于全局特征的識別方式會受到環境因素的影響；綜合各個評價指標，本文提出的扣件檢測算法精度最高。

表4是對算法魯棒性檢測的可視化效果。可以看出，在環境復雜、亮度變化大的情況下，本文提出的方法仍能正確檢測扣件狀態，具有較強的魯棒性。

表4 魯棒性檢驗

5 結論

通過改進PSPNet的特征提取層，使其在分割圖像中的彈條和鋼軌邊緣等前景部分時性能得到提升，總體精度達97.53%，F1度量為0.973 9，kappa系數為0.967 8，分割200張扣件圖像耗時14.983 5 s。使用改進的PSPNet分割扣件圖像，提取扣件前景，消除了復雜背景對扣件狀態檢測的影響；再通過LBP算法提取前景特征，去除了光照對扣件檢測的影響；最后，使用支持向量機分類，為扣件狀態檢測問題提供了一個新的解決思路。

實驗表明，在測試集中該方法的總體精度為98.50%，精確度為98.60，FPR為3.51%，FPN為0.70%，比其他方法表現更優異；本文方法具有較好的魯棒性，解決了復雜環境下扣件檢測精度不足的問題。