基于YOLO的智能化鐵路貨車搭扣缺陷檢測系統設計與實現

李林俊，張歡，厲偉，李宏林，王亞萍

(1.國能鐵路裝備有限責任公司 生產技術部，北京 100048； 2.南京斯爾默電氣有限公司 智能信息事業部，江蘇 南京 211161)

0 引言

鐵路貨車車輛作為鐵路貨運的主要載體，貨車不同程度的缺陷和損傷會成為鐵路貨車行車的安全隱患，列檢作業是當前保證鐵路安全的一個有效手段。隨著鐵路貨車重載、提速戰略的實施，采用新技術、新設備，全面推廣“科技保安全”理念已成為貨檢作業改革的發展方向[1]。

現有的列檢作業模式以人工作業或人機分工檢查為主，檢車員勞動強度較高，存在一定程度的安全隱患。近年來，以視頻監控、深度學習為代表的新技術在車體識別、車號識別以及安全分析等領域廣泛應用，為鐵路貨運安全管理提供了新的技術基礎。李博等[2]、周雯[3]、林瑛霞[4]將圖像智能識別方法應用于高速鐵路行車安全分析，張超[5]將深度學習方法應用于鐵路貨車類型的識別，雷蕾[6]將圖像識別應用在貨車轉向架識別上。針對貨車車體面積大，缺陷不規則等挑戰，基于YOLO的智能化鐵路貨車搭扣缺陷檢測系統以貨車搭扣缺陷檢測為基礎需求，利用圖像采集技術、深度學習以及物聯網技術，實現車體搭扣缺陷的智能檢測，目的是優化列檢作業模式，降低安全風險，提升作業效率和質量，詮釋“科技保平安”理念，對構建鐵路貨車安全智能保障具有重大意義。

1 研究內容

以國能鐵路裝備有限責任公司肅寧分公司定州西卸貨站為實施對象，設計并實現智能化鐵路貨車搭扣缺陷檢測系統，系統功能架構如圖1所示。

圖1 系統功能架構Fig.1 Functional architecture of system

鐵路貨車搭扣缺陷檢測系統圍繞車體搭扣缺陷檢測需求，在定州西卸貨站出入咽喉區和通信機房部署安裝硬件設備，實現圖像采集、基礎數據管理、智能判別、報警管理、統計分析以及系統管理等功能。

2 總體設計

2.1 邏輯結構

在邏輯上將智能化鐵路貨車搭扣缺陷檢測系統劃分為圖像采集模塊、圖像分析處理單元、數據庫以及人機交互及顯示模塊4部分，系統邏輯結構如圖2所示。其中圖像采集模塊作為基礎部分，由補光光源、圖像采集器及車輪傳感器等設備組成，實現圖像的采集與處理。圖像分析處理單元是系統的業務中心，負責獲取圖像數據的引接、解析、分析以及智能推理等功能。人工交互及顯示模塊主要以缺陷結果展示和處理為主，具體包括基礎數據管理、智能判別、報警管理、統計分析以及系統管理功能。

圖2 系統邏輯結構Fig.2 Logic structure of system

2.2 體系架構

采用分層思想將整個系統劃分為服務對象層、應用服務層、數據資源層、網絡層以及前端設備層，系統架構如圖3所示。其中服務對象層主要是面向鐵路貨運組織的列檢人員，具體包括貨站列檢人員、貨檢管理人員以及各級領導。應用服務層基于裝卸貨站的列檢需求，提供列檢作業的智能檢測服務。數據資源層通過建庫與數據接口的方式實現貨檢數據的存儲、共享以及管理，為應用服務層提供數據支撐。網絡層是數據傳輸的通道，通過無線網絡將前端采集的數據傳輸到數據處理中心，在數據處理中心通過建庫和接口的方式實現數據共享。前端設備層負責貨車車體圖像的采集與處理工作，具體包括圖像采集器、補光光源陣列、車輪傳感器以及車號智能識別裝置等設備。

圖3 系統架構Fig.3 System architecture

2.3 缺陷檢測流程

缺陷檢測業務流程如圖4所示。其中數據采集是利用圖像采集器采集正在行進中的車體圖像并按照預先確定的格式保存在圖像采集主機。通過架設的5G微波網絡將采集的數據傳輸到數據處理中心，在數據處理中心首先進行進出站判斷，若是進站，通過圖像處理系統按照預先選定的搭扣缺陷檢測算法模型進行判別，按照對應的策略進行數據存盤。若是出站，在完成智能判別后，根據對進出站的識別結果進行比對，并生成缺陷報告。

圖4 缺陷檢測業務流程圖Fig.4 Business flow of defect detection

3 系統設計

3.1 缺陷檢測模型

近年來，隨著工業成像、深度學習等領域的新技術層出不窮，基于機器視覺的工業缺陷檢測技術得到了長足的發展。

目前目標檢測算法分為2種框架：一種是以SSD/YOLO為代表的一階段檢測算法(one-stage)[7]，即直接設計一個端到端的提取特征、目標檢測的框架；另一種是以Faster-RCNN為代表的二階段檢測算法(two-stage)[7]，在進行目標識別過程中，首先對區域框進行檢測，產生候選區域，然后對候選區域分類。正是由于2種框架的差異，在性能上也有所不同，前者在算法速度上占優，后者在檢測準確率和定位精度上占優。

該模型基于YOLOv5缺陷檢測模型將YOLO原有的Darknet網絡替換為RepVGG結構，并進行多尺度融合使其速度與精度都得到了極大的提升。YOLOv5與其他的目標檢測算法一樣由輸入、骨干網絡(backbone)、特征融合(neck)、預測(prediction)結構組成[8]，YOLOv5網絡結構如圖5所示。

圖5 YOLOv5網絡結構Fig.5 YOLOv5 network structure

缺陷檢測模塊設計流程如圖6所示，首先對數據進行圖像增強、畸變消除以及圖像對齊/切分等預處理操作，然后按照時間戳辨認進出方向，進行車體編號識別、關鍵區域檢測，通過計算相似位置的關鍵區域的匹配度，進行關鍵區域比對識別，對匹配度大于閾值的區域進行標識，然后依據標識結果與車號、進出方向等關鍵信息進行關聯，最后針對整列貨車進行缺陷報警與缺陷統計。

圖6 缺陷檢測模塊設計流程Fig.6 Defect detection module design

貨車車側搭扣基座在裝卸作業過程中容易造成損壞，其缺陷在車側表面成像中所占的像素面積非常小，在缺陷檢測模塊設計實現時借鑒RepVGG的思想，將原有的3×3conv替換成RepVGG Block，并采用多層融合機制，有效地保留小目標的特征，提高了模型對搭扣及基座小缺陷的檢測能力。同時，由于采用RepVGG作為主干網絡，在訓練過程中，使用的是一個多分支模型，而在部署和推理的時候，轉化為單路的模型，對模型進行裁剪，有效地提高了模型推理的速度。網絡結構如圖7所示。

圖7 網絡結構Fig.7 Network structure

基于YOLOv5目標檢測框架，構建鐵路貨車搭扣缺陷目標檢測模型。在鐵路貨車搭扣缺陷檢測算法設計上，將整個訓練過程分為2個階段。其中，第一個階段基于大量樣本訓練得到一個預訓練模型，第二個階段基于少量樣本對預訓練模型進行模型微調。此外，還添加了2個新的網絡分支，在這個新的網絡分支上應用了新提出的缺陷突顯模塊(Defect Prominence Module，DPM)。DPM利用同一輛車進出站在咽喉區2張車體圖片相減操作，借助無缺陷樣本的特征來加強缺陷區域的特征。由于系統采用線陣相機對車體進行掃描成像，精度達到0.85～1 mm/px，每個搭扣及基座占200個像素，成像和算法相匹配，精度能夠滿足模型檢出的要求。

最后網絡模型利用特征聚合操作來綜合不同分支輸出的特征，進一步提升了缺陷檢測性能。

3.1.1 改進的RepVGG的特征提取主干

缺陷檢測模型將YOLO原有的Darknet網絡替換為RepVGG結構，RepVGG結構由若干個不同尺寸的RepVGG Block組成。其中Block由Conv3x3+bn，Conv1x1+bn，identity分支構成，以上3個分支輸出add-wise后(不改變通道數)再使用ReLu。模型將所有Block分為4個stage，每個stage通過統一縮放[1.5，1.5，1.5，2.75]的經驗寬度設置來確定層寬度。

3.1.2 多尺度融合模塊

在神經網絡下采樣提取特征圖的過程中，根據采樣的不同倍率，可以分為淺層特征和深層特征。其中淺層特征中語義的信息比較少，但是其由于有較高的分辨率，目標位置信息豐富，對于小目標的檢出有較大的作用。而深層特征隨著下采樣或卷積次數增加，感受野逐漸增加，感受野之間重疊區域也不斷增加，此時的像素點代表的信息是一個區域的信息，獲得的是這塊區域或相鄰區域之間的特征信息，相對不夠細粒度，分辨率較低，但語義信息豐富。考慮到搭扣及基座缺陷在車體表面圖像中的像素范圍，將用作缺陷檢測的輸出特征圖設計為3個尺度(19×19、38×38和96×96)。首先，每個尺度下先堆積不同尺度的特征圖；之后，使用卷積核(3×3和1×1)對不同尺度特征圖之間的局部特征進行融合[9]，輸入融合后的特征圖，融合后的特征圖能有效提高車側端缺陷的檢測精度。

3.2 圖像采集處理流程

在對圖像進行分析之前，對數據進行圖像增強、畸變消除以及對齊/切分等預處理工作。

（1）圖像增強。在采集時采用多組相機，按照目標區域分區成像，需要將分區成像拼接成一整幅圖像，算法會對每幅圖像數據進行一個提取比對，達到對圖像增強的效果。

（2）線陣相機畸變消除。采集的車體圖像存在畸變時，圖中各觀測部位形狀都會發生不同程度的形變。圖像畸變校正方法是首先采用基于深度學習的目標檢測算法定位車輛車體，然后根據檢測出的關鍵位置框計算圖形畸變率，確定車輛圖像各部分的畸變率數值，最后基于畸變率數值對圖像各部分進行校正，實現畸變列車圖像的復原。

（3）圖像對齊/切分。由于線陣相機成像的特點，經過畸變消除之后，按照車體高度和寬度的比例，對圖片進行對齊、切分，使得切分之后的每張圖片含1節車廂。

3.3 系統流程及接口設計

鐵路貨車搭扣缺陷檢測系統在物理上分為前端采集設備、數據處理中心和監管中心3部分，系統流程圖如圖8所示。前端采集數據通過無線網絡發送給數據處理中心，數據處理中心將接收到的數據保存本地磁盤，同時推送給算法分析服務進行計算分析工作。算法分析服務開始關鍵區域檢測，然后根據進出站的識別結果進行比對工作，最后對比對結果進行標注。比對結果通過鐵路內網發送監管中心并保存在數據庫中。人機交互及顯示模塊通過數據訪問接口顯示識別結果并關聯貨車基礎信息。

圖8 系統流程圖Fig.8 System flow

3.4 功能設計

3.4.1 圖像采集

圖像采集模塊是系統的基礎部件，由軌旁設備、機房設備2部分組成，圖像采集單元結構圖如圖9所示，其中軌旁設備包括圖像采集器、補光光源陣列、車輛傳感器以及車號智能識別裝置，機房設備包括圖像采集主機、圖像處理主機以及車輪傳感器處理裝置等。在設定好的檢測點，車輪傳感器作為判斷模塊判斷是否有車輛通過，如果有，來車判斷模塊向圖像采集模塊發送開機信號，圖像采集模塊開始采集圖像并將數據保存在圖像采集主機。整個車列通過檢測點后，來車判斷設備判斷該列車已全部通過，發送結束信息給圖像采集模塊，圖像采集模塊停止工作。

圖9 圖像采集單元結構圖Fig.9 Image acquisition unit composition

3.4.2 智能判別

智能判別模塊將服務器接收到的單幀圖像進行一定的預處理，使用缺陷檢測模型對圖像進行卡座檢測，確認搭扣是否正常。如果檢測異常，則標記出異常搭扣邊界框，輸出異常類別信息，并顯示到軟件界面上。

3.4.3 基礎數據管理

通過對基礎數據統一規范的管理構建基礎數據資源目錄，為鐵路貨車車體缺陷檢測識別系統提供數據支撐，具體數據包括作業車輛信息、設備管理以及檢車人員等內容，通過設置作業車輛信息、列檢人員的出勤信息，方便后續車輛報警責任追溯。

3.4.4 報警管理

報警管理是對報警信息進行處理、查詢以及統計，同時支持對報警信息的查看和追溯。報警管理包括報警記錄處理、報警記錄查詢以及報警記錄統計功能。

3.4.5 統計分析

系統根據管理需求提供統計分析功能，方便管理人員進行多維度的統計，對損壞的配件進行成本分析，方便列檢人員上報、回溯、追責。

為方便統計管理，系統自動生成不同維度的統計報表，方便隨時查看；車輛自動檢測結束后，系統自動生成檢測報告，系統支持報表、報告的下載和打印。

3.4.6 系統管理

系統提供自定義配置用戶、組織機構、車體以及裝卸站等基礎信息管理功能。其中用戶管理是對用戶信息、所屬單位以及權限等信息進行管理。組織機構管理對貨場名稱、編號、負責人、員工人數以及上級單位等信息進行維護管理，為貨車車體缺陷檢測識別系統在其他貨場的推廣使用打下基礎。

4 系統實現

4.1 系統架構

系統采用前后端分離的架構模式，系統技術架構如圖10所示，前端采用Vue框架，用Vue整合Echarts，Echarts-gl圖表進行數據展示，后端采用Spring Cloud微服務框架，采用nacos做注冊中心，配置和管理微服務，其中Spring Cloud Gateway 為微服務架構提供一種簡單且有效的 API 路由的管理方式，并基于 Filter 的方式提供網關的基本功能，如統一入口、鑒權校驗、動態路由，減少客戶端與服務端的耦合；服務可以獨立發展，通過網關層來做映射；使用Fegin組件進行微服務之間的遠程調用；使用minio進行對象存儲，適合于存儲大容量非結構化的數據，比如圖片、視頻、日志文件、備份數據和容器/虛擬機鏡像等，而一個對象文件可以是任意大小，從幾 kb 到最大 5 T 不等；Java語言實現后臺邏輯功能開發。采用前后端分離的架構模式可以實現高內聚低耦合，減少后端(應用)服務器的并發/負載壓力，分工明確，一定程度上能提高工作效率。

圖10 系統技術架構圖Fig.10 Technology architecture of system

4.2 功能實現

4.2.1 圖像采集

本次驗證的數據是通過現場臨時架設設備采集的貨車數據，圖像采集器的關鍵參數高速2 K(2048)線掃相機，搭配12 mm鏡頭，輸出.BMP位圖，拍攝距離是3 m，圖像采集數據8趟車，數據量158 GB，有效樣本8 000張。

4.2.2 智能判別

在系統中可視化展示貨車進站、出站圖像以及缺陷識別結果等內容，智能判別系統界面如圖11所示。

圖11 智能判別系統界面Fig.11 Intelligent discrimination interface

4.2.3 基礎數據管理

基礎數據管理包括作業車輛管理以及出勤管理，基礎數據管理操作界面如圖12所示。

圖12 基礎數據管理操作界面Fig.12 Basic data management operation interface

4.2.4 報警管理

報警管理包括查看報警信息記錄、報警記錄查詢以及異常情況處理等內容，報警管理界面如圖13所示。

圖13 報警管理界面Fig.13 Alarm management interface

4.2.5 統計分析

統計分析界面如圖14所示，分為近7日報警次數統計、當日報警類型統計、站內車廂報警統計和7日內人員報警次數統計。

圖14 統計分析界面Fig.14 Statistical analysis interface

4.2.6 系統管理

系統管理界面如圖15所示，具體包括用戶管理、組織機構管理、卸貨站管理和車廂管理。

圖15 系統管理界面Fig.15 System administration interface

4.3 實現成果

本算法的驗證數據集使用高速2 K(2048)線掃相機，搭配12 mm鏡頭，輸出.BMP位圖。現場臨時架設設備，人工采集8 000張圖片，通過系統可以實現自動識別搭扣未扣、搭扣破損，并通過人機交互及顯示模塊展示告警信息。

系統實現效果如圖16所示。

圖16 實現效果Fig.16 Realization effect

5 結束語

針對目前貨車檢測工作效率低、列檢工作強度大等問題，結合國能鐵路裝備有限責任公司肅寧分公司定州西卸貨站的實際需求，以圖像識別技術為核心，結合先進設備和技術[10]設計實現智能化鐵路貨車搭扣缺陷檢測系統，通過深度學習訓練模型自動檢測識別貨車搭扣丟失、搭扣未扣以及搭扣破損等故障。實驗表明，智能化鐵路貨車搭扣缺陷檢測系統的功能完整，滿足鐵路貨車缺陷檢測的要求，為運用鐵路貨車車體缺陷檢測的研究和開發提供了一種新的設計思路。在研究中探索、在應用中總結，下一步仍需根據鐵路貨車列檢場景的檢測需求，不斷完善缺陷檢測模型，提高鐵路貨車列檢管理的智能化水平。