基于YOLO改進算法的軌道扣件狀態檢測研究

王兵水， 鄭樹彬， 李立明， 鐘倩文

(上海工程技術大學 城市軌道交通學院， 上海 201620)

0 引 言

為了能夠及時發現會嚴重影響列車行車安全的隱患，鐵路部門需要定期地對鐵路沿線進行相關巡查，其中重要的一項便是對軌道扣件進行檢測。軌道扣件作為固定鋼軌和軌枕的連接件，扣件狀態的好壞直接影響著行車的安全。但目前國內主要采用人工巡檢的方式，該方式存在的弊端是巡檢效率低下，漏檢率高并且檢測結果與巡檢人員技術熟練程度嚴重正相關。

隨著近年來人工智能研究的日趨深入，作為其應用基礎的圖像檢測技術也獲得飛速發展。代表性成果主要有：通過對含有待檢測目標的圖像利用卷積神經網絡提取目標特征并正確識別出目標的技術，例如人臉識別技術[1]，車牌識別技術等。然而，目前主流的應用在目標檢測方面的智能算法主要有兩類。一類是基于區域的目標檢測算法，主要有Fast R-CNN[2]，Faster R-CNN[3]等,該類算法雖有較高的檢測精度，但是檢測速度較慢。另一類是基于回歸的目標檢測算法，主要有YOLO[4],SSD[5]等，該類算法的特點是采用端到端的檢測，具有較快的檢測速度。基于卷積神經網絡的扣件檢測算法具有廣泛的應用前景和巨大的商業價值。

本文提出一種基于改進YOLO算法的扣件狀態檢測方法，通過對采集到的扣件圖像進行預處理后輸入到改進的YOLO網絡中即可得到標注類別的輸出結果，準確高效。本文改進了傳統的YOLO網絡，增加了Darknet-53基礎網絡。由于拍攝圖像并非處于實驗室環境下，圖像中扣件與背景差異甚小，傳統YOLO網絡對此處理容易丟失特征信息，所以本文進行多尺度的特征融合并且針對不同特征通過賦予不同權重，則可保證特征信息得到充分可靠的呈現。最后仿真對比了在同一數據集下的傳統YOLO與改進YOLO的訓練結果對比性能。結果數據均顯示，改進后的網絡損失值相較之前收斂更快且更低，在檢測速度與精度上都有明顯提升。

1 傳統YOLO算法

軌道扣件狀態檢測的傳統的YOLO算法的核心思想是將從現場通過線陣相機采集回來的扣件圖片作為網絡的輸入，制作對應的數據集后進行訓練，并直接在輸出層進行回歸得到對應的扣件的位置和類別，實現端到端的訓練與檢測工作。對于基于傳統的YOLO算法的扣件狀態檢測系統流程，擬做闡釋解析如下。

(1)將線陣相機拍攝的軌道扣件照片尺寸標準化到448×448。

(2)將標準化后的照片作為YOLO多層網絡結構的輸入，在中間層進行卷積和池化操作。

(3)再經非極大值抑制優化，最終得到檢測結果如圖1所示。

圖1 傳統YOLO算法的扣件狀態檢測流程

傳統的YOLO算法檢測機制是通過將目標檢測轉化為邊框預測和對應類別的概率回歸問題，從而實現了單個卷積神經網絡直接從完整的圖像預測邊框和類別概率[4]。考慮到整個檢測過程只在同一尺度的軌道扣件特征圖上進行，所以容易出現準確率較低的問題。在此基礎上對傳統YOLO算法進行改進，重點從回歸尺度、特征權重并對數據集進行增廣與聚類分析等方面做出改進，從而提高檢測速度與準確性。

2 用于扣件狀態識別的改進YOLO算法模型

2.1 網絡結構的改進

在基于傳統的YOLO網絡的基礎上以Darknet-53為輔助網絡構建YOLO改進算法模型，其網絡結構如圖2所示，將扣件圖像進行放縮為608×608的像素大小作為網絡的輸入，在3個不同尺度內通過卷積的方式實現局部特征的提取。輸出的3個不同大小的特征圖19×19、38×38和76×76分別對應尺度1、尺度2和尺度3。其中，尺度19×19是在輔助基礎網絡之后通過增加一些卷積塊再卷積輸出檢測框信息，尺度38×38是在尺度1的末尾之前的卷積基礎上再引入新的一輪卷積塊并且進行上采樣之后配合Darknet-53網絡的前五層的輸入共同以張量的形式進行最終的卷積輸出檢測框信息，此時尺度增加了1倍，同理尺度76×76輸出檢測框也增加了1倍。然后基于交互層輸出的特征圖進行類別和位置的回歸判斷。使用邏輯回歸來預測每個bounding boxes的對象分數，每個bounding box與ground truth的匹配策略為1∶1，并且每個bounding boxes使用多標簽分類法預測包含的類，避免標簽重疊等問題，采用二元交叉熵進行類別預測來提高準確度[6]。

圖2 用于檢測軌道扣件狀態的改進YOLO算法框架

2.2 邊框檢測的優化

YOLO算法將輸入的軌道扣件照片進行分割為M×M塊，若某個物體的中心落入到某一個網格的內部，則該網格就負責預測該物體。在算法進行訓練和測試的時候，每個格子將會預測N個檢測邊界框以及每個檢測邊界框對應的置信度。以上每個檢測框都包含5個參數，分別為物體中心位置的橫坐標x、縱坐標y、置信度評分Cobject、檢測邊框的高度h和寬度w。有效地降低了傳統YOLO算法中采用固定檢測邊框尺度導致的扣件邊界框回歸錯位的影響。但作為改進的YOLO算法，不同之處在于是以x和y的偏移作為檢測邊框的長寬的線性表達式如式(1)- 式(4)所示：

Rx=Pwtx(P)+Px，

(1)

Ry=Phty(P)+Py，

(2)

Rw=Pwetw(P)，

(3)

Rh=Pheth(P)，

(4)

其中，Rx、Ry、Rw、Rh是真實的在扣件特征圖上的4個位置坐標的估計值；Px、Py表示在特征圖上的預設錨框的中心點坐標值；Pw、Ph表示在特征圖上的預設錨框的寬和高；tx、ty、tw、th代表網絡學習目標。繼而，研究可得邊框信息的橫坐標、縱坐標，寬和高的值求解公式如下：

bx=δ(tx)+cx，

(5)

by=δ(ty)+cy，

(6)

bw=pwetw，

(7)

bh=pheth，

(8)

其中，bx、by、bw、bh即為解得的邊框的信息，同樣tx、ty、tw、th表示網絡學習目標，cx、cy表示邊框坐標的偏移量，預設的錨邊框的寬和高為pw和ph。在此基礎上，置信度和交并比的數學表達式如下：

(9)

(10)

2.3 優化損失函數

傳統YOLO算法只采用單一的均方和誤差函數來作為損失函數，其數學表達式如下：

(11)

綜合考慮以上各損失的貢獻率和在訓練中的權重，改進的YOLO算法的損失函數如下:

(12)

2.4 增加多尺度特征融合

為了使得特征提取得更加全面，一般都采取增加網絡的層數。但是隨著網絡的加深，每一層都會丟失一些信息，到最后一層就會丟掉比較多的信息。Liu等人[7]在European Conference on Computer Vision會議上提出新的目標檢測算法SSD，主要結合了YOLO的端到端的思想和一般卷積神經網絡的候選框的思想，從而引入了新的空間維度來融合不同尺度上特征信息，并作為新的參數傳給最后的預測層，從而解決了網絡層數的增加可能導致信息丟失的問題。

本文改進的YOLO算法模型正是結合該方法將多尺度特征融合進網絡框架中，并經過基礎網絡計算后再添加4個不同大小的卷積塊。具體如圖3所示。

通過在多個不同尺度的特征進行映射后，能夠更好地提取出扣件的特征，還能更好地提取出圖像中實際尺寸過大的目標物體，提升定位的精度和預測的準確性。由圖5可以看到在越大的感受野下，網絡對尺度較小的特征越不敏感[8], 公式如下：

RFn+1=RFn+(kn)×stride_n+1,

(13)

其中，stride_n+1表示第n+1次的卷積移動的步長，RFn+1表示下一層的感受野大小。另外，考慮到拍攝扣件照片時扣件在照片中位置分布的差異性，就要在輸入扣件照片時先進行標準化操作，對應公式可表示為：

圖3 多尺度特征融合效果圖

(14)

通過事先標定7×7×25的特征維度作為第一回合的輸出得到一個7×7×25的張量之后，若在輸出的目標信息檢測中發現訓練階段設定的目標物體，則將此次張量送入下一輪并作為第二回合的輸入，最終經過2次1×1×k的卷積層后再轉入檢測器和分類器判斷階段。分類器使用softmax回歸函數得到的結果作為輸出標定來對結果進行預測。研究可得數學公式為：

(15)

其中，zj表示上一層輸出結果的預測值。

2.5 特征通道分權重

當傳統YOLO網絡的樣本照片中扣件存在有遮擋物干擾或者摻雜有圖像噪聲時，YOLO網絡檢測輸出的置信度較高區域將都集中在特征圖的邊緣位置，從而出現檢測置信度分布的不均衡。雖然已有學者提出通過提高空間的維度從而來提升網絡的性能，但是一味地加深網絡深度，不僅會讓網絡顯得龐大，還會導致網絡的計算速度明顯下降。所以考慮從其它方面來提升網絡的性能，為了保證網絡學習到的是全局特征并且讓置信度值在特征圖中做到均衡分布，參考Hu等人[9]提出的SENet思想，就是通過給不同特征通道賦予不同權重從而保證研究想要的有效的特征圖獲取較大占比的權重，效果差甚至無效的特征圖獲取較小的權重占比。通過該方式可以直觀顯式地建立不同特征通道間的相互依賴關系，從而使模型訓練達到更好的效果。這里，需用到如下數學公式：

(16)

其中，uc表示C經過標準卷積算子Ftr得到的結果，vc是網絡用到的濾波器核心的第c通道的參數。

通道分權重的算法研發思路是將本層的特征作為下一卷積塊的輸入，再分兩條路徑傳遞給下一層，但其中有一條路徑會進行Squeeze操作，其數學公式可寫為：

(17)

這樣一來，就可對上一層傳遞來的參數進行壓縮，得到具有n維的特征向量，從而使其可以感受全局特征。

另一條路徑則要進行Excitation操作，該操作類似于LSTM中的gate機制，旨在保證在經過卷積和激活函數計算后能夠建立各通道間的相關性模型，同時為了讓算法學習不同通道間的交互關系，減少通道間的互斥現象，gate機制中的控制單元采用Sigmoid激活函數。控制單元數學表達式可寫為：

s=Fex(z,W)=σ(W2δ(W1z)).

(18)

其中，δ表示ReLU函數[10]。

考慮到本次訓練數據集的量級可能會發生過擬合的情況，所以后期會對數據集進行增廣操作，用來提升數據集的大小以避免出現過擬合的現象。

3 扣件圖像數據集預處理

3.1 扣件圖像數據集的增廣

本文所有扣件圖像均來自課題組項目的實拍照片，圖像拍攝設備為線陣相機，扣件類型為潘得路扣件。起始數據集包含扣件圖像3 150張，扣件圖像有a,b,c,d四種狀態，如圖4所示。

圖4 數據集中扣件狀態類別

Fig. 4 Fasteners status category in the data set

但在目標檢測中將(a)和(b)統一歸為正常狀態扣件類，標注為“nm”，非正常狀態的被標注為“um_1”與“um_2”兩種。由于軌道扣件絕大部分都是處于正常狀態的，只有很少一部分扣件出現損壞等非正常狀態，所以扣件圖像數據集存在嚴重的類別不平衡問題[11]。

針對這一問題，需要增加非正常狀態下的扣件圖像數量。為此考慮應用圖像數據增廣的方法來達到這一目的。圖像數據增廣是通過對原始的圖像進行一系列無規則的處理，從而產生與原始圖像相似，但又不一樣的新的圖像來擴充數據集。如圖5所示，對非正常狀態扣件進行增廣處理有翻轉、翻轉+偏移、翻轉+縮放+偏移和縮放+偏移。在增廣過程中產生的空白的區域，研究選擇用RGB值均為0的黑色來對增廣后空白區域作填充，使其可能對目標特征產生的影響降到最小。增廣后的數據集由原來的3 150張扣件照片增加到5 300張。

3.2 數據集目標框的聚類分析

傳統的YOLO網絡對目標框的位置并不準確，源于網絡沒有事先對預測框位置做出一定的判斷而是直接采取回歸的方法。基于Faster R-CNN提出的錨的思想，YOLO在此基礎上進行改進，通過K-means聚類的方式對錨框的寬高進行聚類分析得到錨框集合。使用平均交并比作為聚類分析結果的量度，研究推得平均交并比的目標函數表達式如下：

(19)

其中，IIOU(B,C)表示聚類的錨框與簇的中心框的交并比；B表示檢測框中的樣本數；C是簇的中心；nk表示第k個聚類中心的樣本數；k為簇的個數。

基于以上分析對軌道扣件圖像數據集進行聚類運算，設定k=9得到平均交并比(AvgIOU)與k的關系圖如圖6所示。

(a) 原圖像 (b)增廣處理后圖像

圖6 K-means聚類分析結果

隨著k的增加，目標函數的變化逐漸平穩，在k=6時目標函數基本穩定不變，所以錨框數設為6，既能有效減小檢測框的誤差，還能加快損失函數的收斂速度。對應預測框的大小設定為6個聚類中心，參數分別為(20,17)，(10,20)，(22,9)，(19,13)，(21,14)，(18,11)。

4 實驗結果及分析

4.1 訓練過程

本文實驗平臺配置為Windows10操作系統，顯卡是trx2080ti，CPU是i9 9900k，內存16 GB，程序設計語言為Python，使用了Darknet框架。訓練集和測試集分別包含4 200張和1 060張扣件圖像。

由于本文扣件圖像均來自線陣相機拍攝，圖像分辨率很高，研究中即統一將圖像分辨率調為608×608作為網絡輸入分辨率。訓練階段基礎學習率為0.000 01，權重衰減0.000 05，批量大小為64，動量為0.9。在該參數設置下，對比了傳統YOLO與本文使用的改進YOLO的訓練過程中的損失值的變化，結果如圖7所示。

圖7 損失值曲線圖

由圖7中可以看出，隨著迭代次數的增加，兩網絡的損失值均迅速降低，但很明顯改進YOLO的損失值收斂得更低、為0.2左右，但未改進過的損失值明顯高于0.5。因此從損失值上就可直接反映出改進YOLO算法的模型更加理想，檢測準確性和速度更加符合實驗要求。

4.2 測試結果與分析

當進行網絡訓練達30 000次左右時，損失值收斂到0.2左右且穩定，這時將測試集中的圖像傳送至訓練好的網絡中進行測試驗證，選取部分測試結果截圖如圖8所示。

同樣將該測試樣本輸入到未經改進過的網絡中進行測試，得出的結果部分截圖如圖9所示。

(a) 截圖1 (b) 截圖2 (c) 截圖3 (d)截圖4

(a) 截圖1 (b) 截圖2 (c) 截圖3 (d)截圖4

由測試結果可知，經過改進的網絡識別準確度均獲得較大提高，對于有遮擋的道岔區段的扣件識別準確度由83%提高到98%；由圖8(b)和圖9(b)可以看出改進后的網絡目標識別框的位置更加精準；由圖8(a)和圖9(d)可知數據集的增廣使得網絡對非正常狀態的扣件識別準確度由89%提高到96%。為了更好地觀察改進前后的對比，對測試集的結果加以統計，其中涉及的主要參考指標為平均精度值(mAP)，查全率和查準率[12]，對比結果見表1。

表1 性能參數對比

5 結束語

提出一種YOLO改進算法的扣件狀態檢測方法，通過對非正常狀態扣件圖像進行數據增廣操作解決了原數據集類別不平衡問題，利用K-means聚類分析對檢測框進行研究,提高了目標框位置的精度。由于所拍圖像并非實驗室環境下，圖像中扣件與背景差異甚小，傳統YOLO網絡對此處理容易丟失特征信息，所以本文對多尺度的特征進行了有效融合，并且針對不同特征通過賦予不同權重，保證特征信息得到充分可靠的表現。最后通過實驗仿真給出了在同一數據集下的傳統YOLO與改進YOLO的訓練結果對比。數據顯示改進后的網絡損失值相較之前收斂更快且更低，在檢測速度與準確度上都有明顯提升，其中查全率達到95.2%，平均精度值達到96.7。但是仍需指出，該模型都是基于靜態圖像處理的結果，如何對動態扣件視頻進行檢測將是后續的主要研究方向。