基于改進(jìn)Faster R-CNN的高鐵扣件檢測(cè)算法

裴瑩玲 羅暉 張?jiān)娀? 李佳敏 徐杰

摘要：針對(duì)高鐵無砟軌道中扣件發(fā)生松動(dòng)，導(dǎo)致高鐵扣件發(fā)生偏移或丟失的問題，提出一種基于改進(jìn)Faster R-CNN的高鐵扣件檢測(cè)算法。在特征提取網(wǎng)絡(luò)中引入可變形卷積，構(gòu)建可變形殘差卷積塊，使特征提取過程更加集中于扣件區(qū)域，實(shí)現(xiàn)扣件狀態(tài)的精確提取;并采用Alpha-IoU作為目標(biāo)回歸損失函數(shù)提高高鐵扣件的回歸精度。實(shí)驗(yàn)結(jié)果表明，該算法提高了高鐵扣件的檢測(cè)精度，相比于其他算法，能更準(zhǔn)確地進(jìn)行扣件定位和狀態(tài)檢測(cè)。

關(guān)鍵詞：高鐵扣件檢測(cè);可變形卷積;Faster R-CNN;Alpha-IoU

中圖分類號(hào)：U213;TP39 文獻(xiàn)標(biāo)志碼：A

本文引用格式：裴瑩玲，羅暉，張?jiān)娀郏? 基于改進(jìn)Faster R-CNN的高鐵扣件檢測(cè)算法[J]. 華東交通大學(xué)學(xué)報(bào)，2023，40（1）：75-81.

High-Speed Railway Fastener Detection Algorithm Based on

Improved Faster R-CNN

Pei Yingling1， Luo Hui1， Zhang Shihui1， Li Jiamin1， Xu Jie2

（1.School of Information Engineering， East China Jiaotong University， Nanchang 330013， China;

2. Jiangxi Huitong Technology Development Co.， Ltd.， Nanchang 330013， China）

Abstract：Aiming at deflection or loss of high-speed railway fasteners caused by the loose fasteners in the ballastless track of high-speed railway， this paper proposes a high-speed railway fastener detection algorithm based on improved Faster R-CNN. Deformable convolution was introduced in the feature extraction network to build deformable residual convolution block（DRCB）， which makes the feature extraction process more focused on the fastener region and achieves the accurate extraction of fastener state; and Alpha-IoU was used as the target regression loss function to improve the regression accuracy of high-speed railway fasteners. The experimental results show that the algorithm proposed improves the detection accuracy of high-speed railway fasteners and can perform fastener localization and state detection more accurately than other algorithms.

Key words： fastener state detection; deformable convolution; Faster R-CNN; Alpha-IoU

Citation format：PEI Y L，LUO H，ZHANG S H，et al. High-speed railway fastener detection algorithm based on improved faster R-CNN[J]. Journal of East China Jiaotong University，2023，40（1）：75-81.

高鐵扣件用于連接軌枕和鋼軌，固定鋼軌，為鋼軌提供橫縱向約束，是高鐵重要的組成部分[1]。但由于高鐵運(yùn)行速度快，行車密度大，使高鐵扣件在承受列車荷載的同時(shí)受到連續(xù)沖擊，容易出現(xiàn)偏移和丟失等問題[2]，并直接影響高鐵的安全運(yùn)行，對(duì)高鐵扣件狀態(tài)的檢測(cè)具有十分重要的意義[3]。

目前，采用基于機(jī)器視覺的目標(biāo)檢測(cè)方法相比于傳統(tǒng)的人工巡檢，可以降低高鐵扣件的漏檢率和誤檢率，但無法實(shí)現(xiàn)對(duì)高鐵扣件的準(zhǔn)確、快速檢測(cè)。隨著人工智能技術(shù)的發(fā)展，針對(duì)目標(biāo)檢測(cè)，Girshick等[4]提出了R-CNN網(wǎng)絡(luò)，采用卷積神經(jīng)網(wǎng)絡(luò)來對(duì)目標(biāo)進(jìn)行特征提取，并提出了Fast R-CNN[5]網(wǎng)絡(luò)，再采用Soft-max作為分類器對(duì)目標(biāo)進(jìn)行分類，提高了模型的檢測(cè)精度;Ren等[6]提出了Faster R-CNN，改進(jìn)了Fast R-CNN，采用區(qū)域候選網(wǎng)絡(luò)（region proposal network，RPN）來生成目標(biāo)候選框，提升了檢測(cè)速度，同時(shí)提高了模型的檢測(cè)精度。Li等[7]提出了一種新的基于區(qū)域的Faster R-CNN算法來對(duì)目標(biāo)進(jìn)行檢測(cè)，提高了檢測(cè)精度和檢測(cè)速度。為了實(shí)現(xiàn)鐵路扣件的準(zhǔn)確定位，白堂博等[8]提出了一種基于改進(jìn)Faster R-CNN的扣件定位算法，根據(jù)標(biāo)注數(shù)據(jù)優(yōu)化區(qū)域候選網(wǎng)絡(luò)邊框信息，提高了檢測(cè)精度。

以上方法雖然都可以對(duì)高鐵扣件進(jìn)行檢測(cè)，但針對(duì)高鐵扣件狀態(tài)檢測(cè)的研究并不多。為了應(yīng)對(duì)高鐵扣件的不同形態(tài)特征變化，本文提出了一種基于改進(jìn)Faster R-CNN的高鐵扣件檢測(cè)算法，采用ResNet-101作為特征提取網(wǎng)絡(luò)，同時(shí)引入可變形卷積，構(gòu)建可變形殘差卷積塊（deformable residual convolution block，DRCB），并采用Alpha-IoU作為目標(biāo)回歸損失函數(shù)，進(jìn)一步提高了高鐵扣件狀態(tài)的檢測(cè)精度。

1 Faster R-CNN算法

Faster R-CNN 的網(wǎng)絡(luò)結(jié)構(gòu)包含3個(gè)模塊，分別是特征提取模塊、區(qū)域候選模塊和分類回歸模塊。其中，特征提取模塊通過卷積層對(duì)高鐵扣件進(jìn)行特征的提取，從而獲得相應(yīng)的高鐵扣件特征圖;區(qū)域候選模塊通過RPN網(wǎng)絡(luò)生成大量的候選框，接著采用Soft-max判斷候選框中目標(biāo)的類別，邊框回歸損失函數(shù)對(duì)候選框進(jìn)行修正，從而得到較為精確的高鐵扣件候選區(qū)域;分類回歸模塊采用Soft-max分類器和回歸器進(jìn)一步對(duì)高鐵扣件進(jìn)行狀態(tài)分類和邊框回歸，最后輸出高鐵扣件狀態(tài)和高鐵扣件位置信息。網(wǎng)絡(luò)結(jié)構(gòu)如圖 1 所示。

2 基于可變形卷積的改進(jìn)Faster R-CNN檢測(cè)模型

2.1 改進(jìn)特征提取網(wǎng)絡(luò)

在高鐵扣件狀態(tài)檢測(cè)過程中，卷積神經(jīng)網(wǎng)絡(luò)的深度越深，能夠提取到越多的特征信息，但隨著網(wǎng)絡(luò)層數(shù)的增多，會(huì)造成梯度爆炸或梯度消失等問題，從而降低網(wǎng)絡(luò)的檢測(cè)精度。為了解決這個(gè)問題，特征提取模塊采用了ResNet-101網(wǎng)絡(luò)來對(duì)高鐵扣件進(jìn)行特征提取，通過采用殘差連接的方式，以在保證網(wǎng)絡(luò)深度的同時(shí)，盡可能地避免網(wǎng)絡(luò)性能的惡化。如圖 2 所示，其中：x為輸入;F（x）為3×3卷積后的輸出;H（x）為通過卷積殘首卷積塊后的輸出。

高鐵扣件包括正常、偏移、丟失等不同狀態(tài)，存在不同的形態(tài)，采用標(biāo)準(zhǔn)卷積只能獲取高鐵扣件的部分形態(tài)特征信息。為了解決這個(gè)問題，在特征提取網(wǎng)絡(luò)ResNet-101中引入可變形卷積，構(gòu)建可變形殘差卷積塊，如圖 3 所示。在提取高鐵扣件特征的過程中，通過額外的卷積層去學(xué)習(xí)相應(yīng)位置高鐵扣件的偏移量，以擴(kuò)大感受野，從而獲取更豐富的高鐵扣件形態(tài)特征[9]。

在特征提取模塊中，將最后兩部分殘差卷積塊全部替換為可變形殘差卷積塊。在可變形卷積的計(jì)算過程中，通過對(duì)特征圖上每個(gè)位置增加一個(gè)偏移量Δpn來對(duì)高鐵扣件的特征進(jìn)行學(xué)習(xí)，同時(shí)采用相應(yīng)的偏移權(quán)重Δmn來消除背景噪聲的干擾。假設(shè)采樣域R={（-1，-1），（-1，0），…，（0，1），（1，1）}其輸出為

y（p）=wn x（p+pn+Δpn）Δmn（1）

式中：N為卷積的組合值;pn表示采樣域R中的位置;wn為權(quán)重值。

式中：pi?為真實(shí)樣本的概率。

在未改進(jìn)的Faster R-CNN檢測(cè)模型中， smoothL1作為目標(biāo)回歸損失函數(shù)，只考慮了預(yù)測(cè)邊框和實(shí)際邊框之間的距離，沒有考慮到預(yù)測(cè)邊框和實(shí)際邊框發(fā)生重疊的情況，不利于預(yù)測(cè)邊框的精確回歸。為了解決上述問題，考慮到預(yù)測(cè)邊框和實(shí)際邊框之間不同的重合度，以及預(yù)測(cè)邊框和實(shí)際邊框中心點(diǎn)和對(duì)角線之間的距離，采用Alpha-DIoU損失函數(shù)為目標(biāo)回歸損失函數(shù)Lreg，用于調(diào)整邊界框位置，提高邊界框的回歸精度。

Lreg（ti，ti?）=Lα-DIoU（ti，ti?）（4）

Lα-DIoU=1-IoUα+（5）

IoU=（6）

式中：Lα-DIoU，IoU為中間變量;α為IoU的參量;ti*為第i個(gè)候選框?qū)?yīng)的真實(shí)樣本的邊界框回歸參數(shù);b，bgt為預(yù)測(cè)邊框A和實(shí)際邊框B的中心點(diǎn);ρ為歐氏距離;c為最小外接矩形的對(duì)角線距離;A為預(yù)測(cè)邊框;B為實(shí)際邊框。

3 高鐵扣件數(shù)據(jù)集

3.1 數(shù)據(jù)集采集

本文利用軌道交通基礎(chǔ)設(shè)施性能監(jiān)測(cè)與保障國家重點(diǎn)實(shí)驗(yàn)室的實(shí)驗(yàn)場(chǎng)地采集了1 600張的高鐵扣件狀態(tài)圖像（其中偏移狀態(tài)1 050張，丟失狀態(tài)550張），構(gòu)建了高鐵扣件原始數(shù)據(jù)集。如圖 5 所示。

3.2 數(shù)據(jù)增強(qiáng)和數(shù)據(jù)標(biāo)注

本文采用幾何變換方法來對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，將數(shù)據(jù)集擴(kuò)充至2 616張。同時(shí)采用labelImg來對(duì)數(shù)據(jù)圖像進(jìn)行標(biāo)記。所有圖像均由最小矩形框標(biāo)記，由xml格式保存，它包括方框中最小矩形的4個(gè)坐標(biāo)和目標(biāo)的類別。在訓(xùn)練過程中，隨機(jī)取70%作為訓(xùn)練集，剩下30%作為測(cè)試集。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 實(shí)驗(yàn)平臺(tái)與參數(shù)設(shè)置

本文采用了Pytorch深度學(xué)習(xí)框架對(duì)檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和驗(yàn)證，實(shí)驗(yàn)平臺(tái)參數(shù)如表1所示。網(wǎng)絡(luò)模型訓(xùn)練分為兩個(gè)階段，凍結(jié)訓(xùn)練階段，初始學(xué)習(xí)率設(shè)為0.000 1，解凍訓(xùn)練階段，初始學(xué)習(xí)率設(shè)為0.000 01。

4.2 評(píng)價(jià)指標(biāo)

在對(duì)高鐵扣件的檢測(cè)過程中，檢測(cè)精度PA表示檢測(cè)模型對(duì)于不同高鐵扣件狀態(tài)的識(shí)別程度;平均精度均值PMA反映了檢測(cè)模型對(duì)所有高鐵扣件狀態(tài)的識(shí)別程度;檢測(cè)速度FPS是每秒幀率，反映了每秒鐘可以處理的圖片數(shù)量。計(jì)算如下

PA=p（r）dr（7）

PMA=（8）

其中：p為精確率;r為召回率;N為檢測(cè)類別總數(shù)。

4.3 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證所提算法的先進(jìn)性，本文從3個(gè)方面進(jìn)行了比較實(shí)驗(yàn)。

4.3.1 特征提取網(wǎng)絡(luò)實(shí)驗(yàn)對(duì)比分析

為了驗(yàn)證特征提取網(wǎng)絡(luò)的改進(jìn)有效，采用了3種不同的特征提取網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)對(duì)比分析，分別是ResNet50，ResNet101和引入可變形卷積的ResNet101。在自建的高鐵扣件數(shù)據(jù)集上進(jìn)行訓(xùn)練，對(duì)網(wǎng)絡(luò)模型進(jìn)行評(píng)估。Off為高鐵扣件發(fā)生偏移，Miss為高鐵扣件發(fā)生丟失。檢測(cè)結(jié)果如表2所示。

從表2中可以知道，相比于ResNet50和ResNet101，ResNet101+DCN檢測(cè)精度最高，平均準(zhǔn)確率分別提高了2.03%和0.34%，表明采用ResNet101+DCN作為特征提取網(wǎng)絡(luò)有利于提升Faster R-CNN算法對(duì)高鐵扣件的狀態(tài)檢測(cè)。

4.3.2 損失函數(shù)實(shí)驗(yàn)對(duì)比分析

為了驗(yàn)證回歸損失函數(shù)的改進(jìn)有效，將改進(jìn)回歸損失函數(shù)后的Faster R-CNN算法與改進(jìn)前的Faster R-CNN算法在自建的高鐵扣件數(shù)據(jù)集上進(jìn)行訓(xùn)練，同時(shí)對(duì)網(wǎng)絡(luò)模型進(jìn)行性能對(duì)比評(píng)估。檢測(cè)結(jié)果如表3所示。

從表3中可以知道，相比于原始的Faster R-CNN算法，采用Alpha-DIoU損失函數(shù)作為目標(biāo)回歸損失函數(shù)，平均檢測(cè)準(zhǔn)確率提高了0.7%，表明采用Alpha-IoU損失函數(shù)作為目標(biāo)回歸損失函數(shù)，能夠提升Faster R-CNN算法對(duì)高鐵扣件狀態(tài)的檢測(cè)精度。

4.3.3 與其他算法的實(shí)驗(yàn)對(duì)比分析

采用自建的高鐵扣件數(shù)據(jù)集，通過與不同的目標(biāo)檢測(cè)算法進(jìn)行實(shí)驗(yàn)對(duì)比。其中，SSD算法和YOLOv4算法是具有代表性的單階段目標(biāo)檢測(cè)算法，F(xiàn)aster R-CNN算法是典型的兩階段目標(biāo)檢測(cè)算法，這3種算法有一定的權(quán)威性，可以更好地驗(yàn)證算法的有效性。檢測(cè)效果如表4所示。

從表4中可以知道，在高鐵扣件狀態(tài)的檢測(cè)過程中，基于改進(jìn)Faster R-CNN的高鐵扣件檢測(cè)算法相比于其他算法的檢測(cè)精度最高，檢測(cè)性能最好。圖6為采用改進(jìn)Faster R-CNN的算法得到的高鐵扣件狀態(tài)檢測(cè)實(shí)例。由圖7可以看出，藍(lán)框表示高鐵扣件發(fā)生偏移，紅框表示高鐵框架發(fā)生丟失，改進(jìn)Faster R-CNN的算法在對(duì)高鐵扣件狀態(tài)進(jìn)行檢測(cè)可以得到很高的檢測(cè)精度。

5 結(jié)論

本文采用自建的高鐵扣件數(shù)據(jù)集，對(duì)高鐵扣件的不同狀態(tài)檢測(cè)進(jìn)行了研究，得出以下結(jié)論。

1） 本文提出了基于改進(jìn)Faster R-CNN的高鐵扣件檢測(cè)算法。通過在 Faster-R-CNN 的特征提取網(wǎng)絡(luò)中引入可變形卷積，提高檢測(cè)模型的特征學(xué)習(xí)能力，有效地提高檢測(cè)網(wǎng)絡(luò)對(duì)高鐵扣件不同形態(tài)特征的提取，同時(shí)采用 Alpha-IoU作為目標(biāo)回歸損失函數(shù)，對(duì)損失函數(shù)進(jìn)行了優(yōu)化，提高了檢測(cè)模型的回歸精度。

2） 實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的Faster R-CNN算法對(duì)高鐵扣件偏移狀態(tài)的檢測(cè)精度為99.34%，丟失狀態(tài)的檢測(cè)精度為76.80%，平均精度均值為88.07%，相比于Faster R-CNN算法、SSD算法、YOLOv4算法，改進(jìn)后的Faster R-CNN算法檢測(cè)精度最高。

參考文獻(xiàn)：

[1] YAO D C，SUN Q，YANG J W，et al. Railway fastener fault diagnosis based on generative adversarial network and residual network model[J]. Shock and Vibration，2020（12）：8823050.

[2] BAI T B，YANG J W，XU G Y，et al. An optimized railway fastener detection method based on modified Faster R-CNN[J]. Measurement，2021，182：109742.

[3] PENG Z Y，WANG C，MA Z J，et al. A multi-feature hierarchical locating algorithm for hexagon nut of railway fasteners[J]. IEEE Transactions on Instrumentation and Measurement，2020，69（3）：693-699.

[4] GIRSHICK R，DONAHUE J，DARRELL T，et al. Rich feature hierarchies for accurate object detection and semantic segmentation[J]. Radio Engineering，2021，85（9）：115-126.

[5] GIRSHICK R. Fast R-CNN[J]. Computer Science，2015，34（6）：1440-1448.

[6] REN S，HE K，GIRSHICK R，et al. Faster R-CNN：towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2017，39（6）：1137-1149.

[7] LI Y，ZHANG S，WANG W Q. A lightweight Faster R-CNN for ship detection in SAR images[J]. IEEE Geoscience and

Remote Sensing Letters，2022（19）：1-5.

[8] 白堂博，楊建偉，許貴陽，等. 基于Faster R-CNN的鐵路扣件定位方法研究[J].鐵道科學(xué)與工程學(xué)報(bào)，2021，18（2）：502-508.

BAI T B，YANG J W，XU G Y，et al. Research on the positioning method of railway fasteners based on Faster R-CNN [J]. Journal of Railway Science and Engineering，2021，18（2）：502-508.

[9] LIU T，LUO W，MA L，et al. Coupled network for robust pedestrian detection with gated multi-layer feature extraction and deformable occlusion handling[J]. IEEE Transactions

on Image Processing，2020，30：754-766.

[10] WU K，ZHANG Y，XIE Z，et al. DDFPN：context enhanced network for object detection[J]. Future Generation Computer Systems，2021，124：133-141.

[11] CHEN L，SUN Q S，WANG F. Attention-adaptive and deformable convolutional modules for dynamic scene deblurring[J]. Information Sciences，2020，546：368-377.

[12] FENG H，JIANG Z，XIE F，et al. Automatic fastener classification and defect detection in vision-based railway inspection systems[J]. IEEE Transactions on Instrumentation & Measurement，2014，63（4）：877-888.

[13] GIBERT X，PATEL V M，CHELLAPPA R. Deep multitask learning for railway track inspection[J]. IEEE Transactions on Intelligent Transportation Systems，2017，18（1）：153-164.

[14] LIU J，TENG Y，NI X，et al. A fastener inspection method based on defective sample generation and deep convolutional neural network[J]. IEEE Sensors Journal，2021，21（10）：12179-12188.

[15] OU Y，LUO J，LI B，et al. A classification model of railway fasteners based on computer vision[J]. Neural Computing

and Applications，2019，31（12）：1-13.

[16] GOU H，RAN Z，YANG L，et al. Mapping vertical bridge deformations to track geometry for high-speed railway[J]. Steel and Composite Structures，2019，32（4）：467-478.

[17] REN Y，ZHU C，XIAO S. Deformable Faster R-CNN with aggregating multi-layer features for partially occluded object detection in optical remote sensing images[J]. Remote

Sensing，2018，10（9）：1470.

[18] XU Z，XU X，WANG L，et al. Deformable convnet with aspect ratio constrained nms for object detection in remote sensing imagery[J]. Remote Sensing，2017，9（12）：1312.

[19] ZHU J，F(xiàn)ANG L，GHAMISI P. Deformable convolutional neural networks for hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters，2018，15（8）：1254-1258.

[20] LIU Z，YANG B，DUAN G，et al. Visual defect inspection of metal part surface via deformable convolution and concatenate feature pyramid neural networks[J]. IEEE Transactions on Instrumentation and Measurement，2020，69（12）：9681-9684.

[21] LIU J，HUANG Y，ZOU Q，et al. Learning visual similarity for inspecting defective railway fasteners[J]. IEEE Sensors

Journal，2019，19（16）：6844-6857.