基于YOLOv5網(wǎng)絡(luò)模型對(duì)鐵路軌道障礙物檢測與識(shí)別

文/王海軍 何艷 周豪 岳進(jìn)

鐵路運(yùn)輸是我國重要的公共運(yùn)輸方式，保證鐵路軌道處于正常狀態(tài)是至關(guān)重要的。因此基于自建數(shù)據(jù)集，通過YOLOv5網(wǎng)絡(luò)模型實(shí)現(xiàn)對(duì)鐵路軌道的識(shí)別，實(shí)驗(yàn)表明，YOLOv5對(duì)鐵路軌道檢測召回率達(dá)到94.4%，精確率達(dá)到62.7%，mAP達(dá)到93.1%。具有較好的檢測精度，同時(shí)也具有魯棒性。

1.引言

隨著我國經(jīng)濟(jì)發(fā)展，鐵路已成為不可或缺的交通運(yùn)輸方式，保證鐵路在運(yùn)行過程中的安全問題已經(jīng)成為目前關(guān)注的重點(diǎn)[1，2]。我國鐵路具有里程數(shù)長，所處環(huán)境復(fù)雜等特點(diǎn)。采用傳統(tǒng)的人工巡檢方式無法有效及時(shí)發(fā)現(xiàn)鐵路軌道中出現(xiàn)的故障信息，容易出現(xiàn)漏檢的現(xiàn)象。且人工巡檢依賴巡檢人員的經(jīng)驗(yàn)，耗費(fèi)時(shí)間長，物資消耗大，已經(jīng)無法適用于當(dāng)前鐵路的發(fā)展需要[3]。目前采用智能化算法對(duì)鐵路的目標(biāo)檢測成為當(dāng)下的研究熱點(diǎn)。文獻(xiàn)[4]采用圖像處理技術(shù)對(duì)軌道板裂縫進(jìn)行檢測，首先對(duì)圖像預(yù)處理，對(duì)圖像二值化和裂縫合并等操作實(shí)現(xiàn)對(duì)裂縫的定位。文獻(xiàn)[5]針對(duì)軌道扣件中拍攝環(huán)境和條件的干擾采用深度學(xué)習(xí)算法YOLO網(wǎng)絡(luò)對(duì)軌道圖像定位，基本上達(dá)到檢測實(shí)時(shí)性的要求。文獻(xiàn)[5]針對(duì)鋼軌的檢測魯棒性和精度較差的問題，采用Hu不變矩陣實(shí)現(xiàn)對(duì)軌道跟蹤，具有較好的魯棒性。本文采用深度學(xué)習(xí)算法YOLOv5實(shí)現(xiàn)對(duì)鐵路軌道的檢測與定位，通過對(duì)軌道圖像的標(biāo)注訓(xùn)練YOLOv5網(wǎng)絡(luò)，最終在測試集上測試軌道檢測定位效果。

2.YOLOv5網(wǎng)絡(luò)介紹

YOLOv5是YOLO（YouOnlyLookOnce）系列網(wǎng)絡(luò)的延續(xù)，是2020年由UltrayticsLLC公司提出的一種高性能目標(biāo)檢測網(wǎng)絡(luò)，其權(quán)重文件相比于YOLOv4更小，速度更快[7，8]。其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)

在網(wǎng)絡(luò)輸入端通過對(duì)數(shù)據(jù)增強(qiáng)增加網(wǎng)絡(luò)的自適應(yīng)能力，更有效地增加網(wǎng)絡(luò)對(duì)小目標(biāo)的檢測精度。在網(wǎng)絡(luò)輸入之前需要將圖像尺寸固定，本文采用640×640×3的尺寸對(duì)圖像輸入，初始錨 框 采 用[10，13，16,30，33，23]，[30，61，62，45，59，119]，[116，90，156，198，373，326]。在骨干網(wǎng)絡(luò)部分包含有Focus操作，該操作可以將圖像切片為幾個(gè)部分的堆疊，如將640×640×3的圖像可以變?yōu)?20×320×12的特征圖，隨后對(duì)特征圖訓(xùn)練學(xué)習(xí)目標(biāo)特征信息。其中CBL操作由卷積層、歸一化層和Leakyrelu組成，是網(wǎng)絡(luò)中的基本單元。YOLOv5借鑒YOLOV4的思想，采用CSP結(jié)構(gòu)。CSP1_x用于骨干網(wǎng)絡(luò)中，CSP2_x用于頸部網(wǎng)絡(luò)中使用。該結(jié)構(gòu)可以增強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)能力，降低計(jì)算成本同時(shí)也能保持網(wǎng)絡(luò)的輕量性。在網(wǎng)絡(luò)輸出端采用GIOU作為邊界框的損失函數(shù)，如公式（1）所示：

3.實(shí)驗(yàn)及結(jié)果

本實(shí)驗(yàn)在處理器為Intel(R)Core(TM)i3-8100CPU@3.60GHz，運(yùn)行內(nèi)存16G，顯卡為NVIDIA1070TI8G，Python3.7下進(jìn)行。

3.1 圖像標(biāo)注

使用開源軟件labelimg對(duì)采集圖像進(jìn)行標(biāo)注，該軟件支持Window系統(tǒng)和linux系統(tǒng)對(duì)圖像標(biāo)注，如圖2所示，通過人工標(biāo)注方法確定圖像中軌道所在位置信息，并將信息保存為xml格式。

圖2 labelimg標(biāo)注

標(biāo)注后的結(jié)果如圖3所示，在該XML文件中保存有圖像名稱、圖像格式、圖像所在位置、圖像尺寸和標(biāo)注的軌道在圖像中x的最大最小值和y坐標(biāo)下最大最小值。

圖3 標(biāo)注信息

3.2 網(wǎng)絡(luò)訓(xùn)練。網(wǎng)絡(luò)訓(xùn)練階段設(shè)置學(xué)習(xí)率為0.01，衰減系數(shù)為0.0005，迭代次數(shù)為300次，動(dòng)量為0.937。網(wǎng)絡(luò)評(píng)價(jià)指標(biāo)有召回率（Recall）、精確率（Precision）和mAP。其公式如（2）（3）所示，其中TP代表預(yù)測為正類實(shí)際為正類的情況，F(xiàn)N代表實(shí)際為正類而預(yù)測為負(fù)類的情況。

采用tensorbox可以查看網(wǎng)絡(luò)訓(xùn)練情況，本文以300epoch作為完整訓(xùn)練周期。圖4為GIOU_Loss，從圖中可以看到初始訓(xùn)練階段GIOU_Loss值較高，隨著訓(xùn)練次數(shù)的增加GIOU_Loss不斷減小，當(dāng)訓(xùn)練次數(shù)達(dá)到250次時(shí)Loss值逐漸趨于穩(wěn)定，此時(shí)網(wǎng)絡(luò)模型訓(xùn)練基本達(dá)到最優(yōu)，Loss值為0.01182，表明收斂效果較好，訓(xùn)練完成。

圖4 GIOU_Loss

從圖5中可以看到在0~45次時(shí)網(wǎng)絡(luò)mAP處于一個(gè)增幅振蕩的狀態(tài)，說明網(wǎng)絡(luò)此時(shí)并不穩(wěn)定，需要繼續(xù)學(xué)習(xí)增強(qiáng)網(wǎng)絡(luò)的檢測精度。當(dāng)?shù)螖?shù)達(dá)到50次時(shí)，此時(shí)mAP開始趨于穩(wěn)定，并保持在1的附近。當(dāng)訓(xùn)練完成后mAP值為1，表明訓(xùn)練效果顯著，能有效實(shí)現(xiàn)對(duì)鐵路軌道的目標(biāo)檢測。圖6中(a)為訓(xùn)練的精確率，（b）為訓(xùn)練的召回率。從圖中明顯可以看到精確率在訓(xùn)練初始階段處于振蕩上升過程，隨著次數(shù)的增加，精確率隨之變化較小，伴隨著輕微的振蕩，最終在200個(gè)訓(xùn)練周期后趨于穩(wěn)定，穩(wěn)定后精確率保持在0.95附近，表明此時(shí)網(wǎng)絡(luò)模型收斂，具有最佳的精度。在(b)中的召回率中可以看到在前50次迭代中網(wǎng)絡(luò)振蕩較大，不夠穩(wěn)定。50次迭代后召回率趨于穩(wěn)定，并保持在1附近，說明YOLOv5網(wǎng)絡(luò)具有較好的召回率，能夠正確識(shí)別鐵路軌道。

圖5 訓(xùn)練mAP

圖6 精確率與召回率

3.3YOLOv5測試結(jié)果

訓(xùn)練完成后使用test.py文件對(duì)網(wǎng)絡(luò)模型進(jìn)行測試。其實(shí)驗(yàn)結(jié)果如表1所示，從表格中可以看到，網(wǎng)絡(luò)模型中YOLOv5的精確率為62.7%，召回率為94.4%，在IOU為0.5時(shí)mAP為93.1%，具有較高的檢測精度，可以滿足鐵路軌道檢測的要求。

表1 實(shí)驗(yàn)結(jié)果

圖7為網(wǎng)絡(luò)識(shí)別結(jié)果，（a）為未經(jīng)過圖像處理的鐵路軌道圖像，（b）為逆時(shí)針旋轉(zhuǎn)后的鐵路軌道圖像，（c）為順時(shí)針旋轉(zhuǎn)后的鐵路軌道圖像，（d）為圖像縮放后的軌道圖像。從圖像中可以看到無論是旋轉(zhuǎn)還是縮放，訓(xùn)練后的模型都可以實(shí)現(xiàn)對(duì)圖像軌道的識(shí)別，表明模型檢測效果顯著，具有較好的魯棒性。

圖7 網(wǎng)絡(luò)識(shí)別結(jié)果

4.結(jié)論

本文采用YOLOv5模型對(duì)鐵路軌道進(jìn)行識(shí)別，并介紹圖像的標(biāo)注過程，展示訓(xùn)練過程中召回率、精確率和mAP的變化曲線，表明網(wǎng)絡(luò)能較好用于鐵路中軌道的識(shí)別。在測試過程，對(duì)圖像翻轉(zhuǎn)與縮放處理網(wǎng)絡(luò)仍能較好地識(shí)別軌道，表明YOLOv5在鐵路軌道識(shí)別中具有一定的實(shí)用價(jià)值。C