基于改進YOLOv5s 的煤礦機電設備維修指導系統

摘要：針對煤礦機電設備輔助維修中二維碼標注工作量大、通用性低及現有免注冊識別方法實現復雜、難以部署等問題，提出了一種基于改進YOLOv5s 的煤礦機電設備維修指導系統。該系統由設備免注冊識別模塊、故障維修指導模塊、遠程專家接入指導模塊組成。設備免注冊識別模塊通過HoloLens 眼鏡上的攝像頭采集故障設備圖像，并通過改進YOLOv5s 圖像識別算法進行分析和處理，識別出故障設備型號；故障維修指導模塊根據故障設備型號自動匹配調用預設好的混合現實拆裝模型，形成維修指導解決方案；遠程專家接入指導模塊通過音視頻會話、虛擬標注等方式實現遠程專家與現場維修人員的交互。為保證用戶使用混合現實設備時的沉浸感體驗，針對混合現實設備自身算力不足問題，采用ShuffleNetV2 替換YOLOv5s 中的Backbone，得到YOLOv5s?SN2 網絡，從而減少模型參數量，降低計算開銷。實驗結果表明：YOLOv5s?SN2 相較于YOLOv5s 精度略有下降，但每秒浮點運算次數（FLOPS）從16.5×109 下降到7.6×109，參數量從15.6×106 個下降到8.2×106 個；在YOLO 系列模型中，YOLOv5s?SN2 性能最優。以三葉羅茨鼓風機為例驗證系統整體效果，結果表明，YOLOv5s?SN2 可快速識別出電動機型號，調用與之匹配的虛擬模型及維修流程，遠程專家可通過音視頻接入和標注等方法輔助現場工作人員進行機電設備維修。

關鍵詞：煤礦機電設備；輔助維修；免注冊識別；YOLOv5s；混合現實；HoloLens

中圖分類號：TD67 文獻標志碼：A

0 引言

目前煤礦機電設備的維修指導多采用傳統維修技術手冊指導和專家現場指導方式，存在專業維修人員知識儲備不足、專家現場指導周期長等問題。因此，改變現有設備維修模式、提高設備維修效率成為亟待解決的問題。

混合現實（Mixed Reality， MR） [1-3]技術具有虛實融合、實時交互、真實沉浸等特點，能減少人員操作中的潛在錯誤、提高維修作業效率，已成為復雜機電設備維修領域的研究熱點。張旭輝等[4]研發了基于MR 技術的礦用設備輔助維修指導系統，實現了礦用機電設備維修指導和遠程專家協作等功能，有效提高了維修效率和維修人員技術水平。朱金達等[5]利用MR 技術對傳動裝置齒輪箱故障進行維修，驗證了系統空間錨定、輔助維修、遠程指導等關鍵技術的可行性。但上述研究中設備識別均采用二維碼標注方式，需事先部署標志信息和物體的虛擬信息，只能針對特定場景，不具備通用性。 張旭輝等[6]采用三維注冊、虛實映射技術，結合HoloLens 眼鏡實現了一種融合數字孿生與MR 技術的機電設備輔助維修方法，基于自然特征點匹配實現免注冊識別，但該方法較復雜，識別速度較慢，存在累計誤差，易造成目標丟失， 另外基于建筑信息模型（BuildingInformation Modeling， BIM）的MR 模型對真實物體還原度不夠高，拆解流程不夠完備。王崴等[7]通過更快速的區域卷積神經網絡（Faster Region-basedConvolutional Neural Networks，Faster R?CNN）對目標進行遷移學習訓練， 結合HoloLens實現了基于MR 的機電設備智能檢測維修，能快速、高效地完成維修任務，但算法體積過于龐大，不利于輕量化部署，目標識別率也有待提高。

為解決煤礦機電設備輔助維修中二維碼標注工作量大、通用性低及現有免注冊識別方法實現復雜、難以部署等問題，提出了一種基于改進YOLOv5s的煤礦機電設備維修指導系統。融合YOLOv5s 算法、MR 技術、遠程通信接入算法等，實現了基于HoloLens 的設備零件免注冊識別、虛擬模型疊加維修指導和專家遠程指導等功能。

1 系統設計

1.1 系統總體框架

基于改進YOLOv5s 的煤礦機電設備維修指導系統總體框架如圖1 所示。該系統由設備免注冊識別模塊、故障維修指導模塊、遠程專家接入指導模塊組成。設備免注冊識別模塊：在物理維修場景中部署MR 設備?HoloLens 眼鏡，通過眼鏡上的攝像頭采集故障設備圖像，利用眼鏡上加載的改進YOLOv5s[8-9]圖像識別算法進行分析和處理，識別出故障設備型號。故障維修指導模塊：根據故障設備型號自動匹配調用預設好的MR 拆裝模型，形成維修指導解決方案。遠程專家接入指導模塊：遠程專家通過音視頻會話的方式獲取物理維修環境概況，然后結合虛擬標注與現場維修人員進行交互。

1.2 設備免注冊識別模塊設計

YOLOv5 根據網絡深度及寬度可分為YOLOv5s，YOLOv5m， YOLOv5l， YOLOv5x 4 個版本[10-12]。其中YOLOv5s 的深度和寬度最小，使得其計算量及參數量最小， 符合輕量化設計要求， 因此本文采用YOLOv5s 作為基礎模型。

為了保證用戶使用MR 設備時的沉浸感體驗，針對MR 設備自身算力不足的問題，對YOLOv5s進行進一步輕量化處理。常用的輕量化模型主要有MobileNet[13-16]， GhostNet[17]， ShuffleNet[18]等。ShuffleNetV2 在速度和準確性綜合性能上具有較大優勢， 因此， 本文采用ShuffleNetV2 替換YOLOv5s中的Backbone，得到YOLOv5s?SN2 網絡，結構如圖2所示。

具體改進方法如下。

1） 將Backbone 第1 層的 6×6 Conv 替換成 3×3Conv，以減少參數量。

2） 將Backbone 中除3×3 Conv 外的所有Conv和C3 替換為Shuffle?Block 模塊，進一步減少模型參數量，降低計算開銷。

3） 讓head 所有層的輸入輸出通道相等，以提高計算速度，同時使特征更好地傳遞到下一層。

4） 將head 中的C3 替換成深度可分離卷積DWConv，以減少參數量。

5） 將head 中的部分信息融合模塊Concat 替換成ADD。Concat 操作會增加特征通道數，而ADD 操作只會增加特征圖的特征，不會增加通道數，所以用ADD 替換Concat 進行信息融合，減少計算量。

YOLOv5s?SN2 網絡部署及免注冊識別步驟如下。

1） 在Unity 中創建免注冊識別項目并生成通用Windows 平臺（Universal Windows Platform，UWP）應用。將YOLOv5s?SN2 轉成ONNX（Open NeuralNetwork Exchange）格式，ONNX 是一種開放的、跨平臺的深度學習模型表示格式，允許在不同的深度學習框架之間共享和遷移模型。在Unity 中生成腳本，并導入 HoloLens 第三方開發包 MRTK，應用空間映射實現對用戶真實環境的映射。

2） 創建 VideoCapture 對象捕獲攝像頭拍攝到的畫面并進行識別。將攝像頭拍攝到的圖像壓縮為640×640，送入YOLOv5s?SN2 中進行識別。

3） 將識別結果返回HoloLens。經計算處理后，得到 640×640 的帶有預測邊界框和注釋的圖像，先將預測邊界框變換為對應圖像原尺寸大小的預測邊框， 再將處理后的圖像及 2D 坐標數據返回到HoloLens。

4） 通過HoloLens 顯示識別結果?？蛻舳私邮盏綌祿螅瑢?D 坐標系數據進行坐標系轉換，映射到3D 坐標系中，并使用HoloLens 的空間錨定功能使其固定，最后顯示識別結果。

1.3 故障維修指導模塊設計

采用3Dmax 軟件對機電設備進行三維建模，建模步驟如下。

1） 將YOLOv5s?SN2 導出為ONNX 通用模型并導入Unity，結合 Barracuda 框架和YoloRuntime 進行實時推理。

2）獲取HoloLens 攝像頭拍攝畫面，識別后，標注識別目標的位置和類別信息等；采用Socket 將識別出來的信息發送到后端進行匹配調用。

3）后端接收到數據后，調用虛擬模型和腳本打包為AssetBundle 數據包并返回前端， 前端解析AssetBundle 數據包，匹配到相應模型并加載到場景中，從而實現模型的動態加載。

模型下發至HoloLens 后，需對其進行虛實疊加融合，這個過程涉及增強現實的三維注冊技術，其中比較關鍵的一步為空間坐標轉換。在HoloLens中，空間坐標轉換通常涉及從世界坐標系到相機坐標系的轉換[19-20]，以及從相機坐標系到屏幕坐標系的轉換。這些轉換可通過矩陣運算和幾何計算來實現，從而實現虛擬物體的準確定位和對齊。通過準確的空間坐標轉換，HoloLens 可以將虛擬對象與現實世界進行無縫融合[21]。

1.4 遠程專家接入指導模塊設計

利用HoloLens 的深度傳感器實現專家遠程指導維修操作。遠程專家通過電腦端進行遠程標記，在現場端通過HoloLens 顯示屏生成帶有三維空間位置信息的二維標注，包括圈選、框選、箭頭等。遠程專家接入指導模塊結構如圖3 所示。

2 實驗驗證

2.1 數據采集

YOLOv5s 的軟件環境為Pytorch 1.11.0 及torchvision 0.12.0 構建的深度學習框架， 同時采用CUDA 11.3 深度學習庫加速訓練，Python 版本為3.8，操作系統為Windows 10， 顯卡為NVIDIA GeForceMX150。實驗參數設置：學習率為0.001， Epoch 為150，batch-size 為2，訓練集圖像尺寸和測試集圖像尺寸均為640×640，置信度閾值為0.01，使用SGD 優化器，其他為默認值。

以三葉羅茨鼓風機的電動機零件為例自制數據集，對比分析YOLOv5s 輕量化改進效果。在不同的角度及光線下拍攝電動機照片，同時在互聯網上收集電動機圖像一起制作成初始數據集。為了擴充數據集，獲得更好的訓練效果，對數據集圖像進行平移、翻轉、隨機裁剪、對比度變換（模擬現實環境中的光照變化）、縮放變換來進行數據增強，最后通過Labeling 對每張圖像進行標注，并生成對應的標簽信息文件。增強后的數據集按照8∶2 的比例隨機分為訓練集和測試集。

采用平均精度均值（mean Average Precision，mAP）、準確率P、召回率R 作為準確度評價指標，采用每秒浮點運算次數（Floating Point Operations PerSecond，FLOPS）和模型的參數量作為衡量模型復雜度的評價指標。

2.2 輕量化模型對比實驗

選擇輕量化模型MobileNetV3 對YOLOv5s 進行改進， 得到YOLOv5s?MN3， 將其與YOLOv5s 和YOLOv5s?SN2 進行對比， 結果見表1?？煽闯鯵OLOv5s?SN2 的mAP 較YOLOv5s?MN3 高0.025，FLOPS 和參數量略有增高； 與原YOLOv5s 對比，FLOPS 和參數量大幅下降。綜合對比可知，YOLOv5s?SN2 在保證精度的同時降低了模型復雜度，符合本文應用需求。

2.3 不同算法檢測結果對比

為了進一步驗證本文模型的精度和輕量化程度，在相同實驗條件下，選取YOLOv5s， YOLOv5m，YOLOv6， YOLOv7， YOLOv5s?SN2 進行對照實驗，結果見表2?？煽闯鲭m然YOLOv5m 準確率最高，但其模型復雜度高； YOLOv5s?SN2 相較于改進前的YOLOv5s 精度略有下降，但FLOPS 從16.5×109 下降到7.6×109，參數量從15.6×106 個下降到8.2×106 個。綜合精度與速度來看，YOLOv5s?SN2 性能最優。

2.4 系統整體應用效果驗證

系統整體應用效果如圖4 所示。在服務端先將輕量化后的YOLOv5s?SN2 導出為ONNX 模型，將MRTK 工具包導入到 Unity 的3D 項目中，搭建服務器，使客戶端HoloLens 與服務端處于同一局域網下。運行應用程序后，客戶端HoloLens 捕獲畫面，出現綠色小點表示目標中出現電動機，通過YOLOv5s?SN2 快速識別出電動機型號，調用與之匹配的虛擬模型及維修流程，將三維電動機模型注冊到識別出來的真實電動機上。此時操作面板將呈現在HoloLens 佩戴者的視野中，有分解、合并、組裝、重置4 個功能，使用tap 手勢可操作面板上相應的功能。工作人員可清楚地看到電動機內部構造及其各主要部件的名稱。當需要遠程專家指導時調用遠程專家接入指導模塊，專家端可通過視頻看到本地HoloLens 眼鏡中的實時畫面，并可通過圓圈等標注故障位置，幫助現場工作人員解決故障。

3 結論

1） 提出了一種基于改進YOLOv5s 的煤礦機電設備維修指導系統。結合MR 設備HoloLens 眼鏡、改進YOLOv5s 圖像識別算法實現煤礦機電設備免注冊識別，通過故障維修指導模塊和遠程專家接入指導模塊提供維修指導方案。

2） 實驗結果表明： YOLOv5s?SN2 相較于YOLOv5s 精度略有下降，但FLOPS 從16.5×109 下降到7.6×109，參數量從15.6×106 個下降到8.2×106 個；綜合精度與速度來看，在YOLO 系列模型中，YOLOv5s?SN2 性能最優。以三葉羅茨鼓風機為例驗證系統整體效果，結果表明，YOLOv5s?SN2 可快速識別出電動機型號，調用與之匹配的虛擬模型及維修流程，遠程專家可通過音視頻接入和標注等方法輔助現場工作人員進行機電設備維修。

3）下一步擬從以下方面開展研究：通過物理實體設備數據采集，結合深度學習算法對設備可能出現的故障進行預測；將實時數據與數字孿生模型進行融合，在孿生模型中實時展示設備的各類運行參數，通過數字模型驅動物理實體，實現虛實交互。

參考文獻（References）：

孫藝凌. 基于數字孿生與混合現實技術的機電設備輔助維修方法研究[J]. 中國新技術新產品， 2024（2） ：36-38.

[ 1 ]SUN Yiling. Research on auxiliary maintenance methodsfor mechanical and electrical equipment based on digitaltwin and hybrid reality technology[J]. NewTechnologies and New Products of China， 2024（2） ：36-38.

[ 2 ]李喆，陳佳寧，張林鍹. 核電站設備維修中混合現實技術的應用研究[J]. 計算機仿真，2018，35（5）：340-345.

LI Zhe， CHEN Jianing， ZHANG Linxuan. Applicationof mixed reality technology in maintenance of nuclearpower stations[J]. Computer Simulation， 2018， 35（5） ：340-345.

[ 3 ]WOLFARTSBERGER J， ZENISEK J， WILD N. Datadrivenmaintenance： combining predictive maintenanceand mixed reality-supported remote assistance[C]. 10thConference on Learning Factories，Graz，2020：307-312.

[ 4 ]張旭輝，張雨萌，王妙云，等. 基于混合現實的礦用設備維修指導系統[J]. 工礦自動化，2019，45（6）：27-31.

ZHANG Xuhui，ZHANG Yumeng，WANG Miaoyun，etal. Maintenance guidance system of mine-usedequipments based on mixed reality[J]. Industry andMine Automation，2019，45（6）：27-31.

[ 5 ]朱金達，趙永衡. 基于混合現實的自行火炮維修指導系統[J]. 兵器裝備工程學報，2023，44（4）：45-52.

ZHU Jinda，ZHAO Yongheng. Mixed reality-based selfpropelledartillery repair guidance system[J]. Journal ofOrdnance Equipment Engineering，2023，44（4）：45-52.

[ 6 ]張旭輝，張雨萌，王巖，等. 融合數字孿生與混合現實技術的機電設備輔助維修方法[J]. 計算機集成制造系統，2021，27（8）：2187-2195.

ZHANG Xuhui， ZHANG Yumeng， WANG Yan， et al.Auxiliary maintenance method for electromechanicalequipment integrating digital twin and mixed realitytechnology[J]. Computer Integrated ManufacturingSystems，2021，27（8）：2187-2195.

[ 7 ]王崴，洪學峰，雷松貴. 基于MR 的機電裝備智能檢測維修[J]. 圖學學報，2022，43（1）：141-148.

WANG Wei，HONG Xuefeng，LEI Songgui. Intelligentinspection and maintenance of mechanical and electricalequipment based on MR[J]. Journal of Graphics，2022，43（1）：141-148.

[ 8 ] REDMON J，DIVVALA S，GIRSHICK R， et al. You only look once： unified， real-time object detection[C].IEEE Conference on Computer Vision and PatternRecognition，Las Vegas，2016：779-788.

[ 9 ]REDMON J， FARHADI A. YOLO9000： better， faster，stronger[C]. IEEE Conference on Computer Vision andPattern Recognition，Honolulu，2017：7263-7271.

[10]REDMON J， FARHADI A. YOLOv3： an incrementalimprovement[EB/OL]. [2024-03-05]. https：//arxiv.org/abs/1804.02767.

[11]LIU Wei， ANGUELOV D， ERHAN D， et al. SSD：single shot multiBox detector[C]. The 14th EuropeanConference on Computer Vision， Amsterdam， 2016：21-37.

[12]BOCHKOVSKIY A，WANG C Y， LIAO H. YOLOv4：optimal speed and accuracy of object detection[EB/OL].[2024-03-05]. https：//arxiv.org/abs/2004.10934.

[13]CHEN H-Y， SU C-Y. An enhanced hybridMobileNet[C]. The 9th International Conference onAwareness Science and Technology， Fukuoka， 2018：308-312.

[14]HOWARD A， SANDLER M， CHEN Bo， et al.Searching for MobileNetV3[C]. IEEE/CVFInternational Conference on Computer Vision， Seoul，2019：1314-1324.

[15]HOWARD A G， ZHU Menglong， CHEN Bo， et al.Mobilenets： efficient convolutional neural networks formobile vision applications[EB/OL]. [2024-03-05].https：//arxiv.org/abs/1704.04861.

[16]SANDLER M， HOWARD A， ZHU Menglong， et al.MobileNetV2： inverted residuals and linearbottlenecks[EB/OL]. [2024-03-05]. http：//arxiv.org/pdf/1801.04381.pdf.

[17]HAN Kai， WANG Yunhe， TIAN Qi， et al. Ghostnet：more features from cheap operations[C]. IEEE/CVFConference on Computer Vision and PatternRecognition，Seattle，2020：1580-1589.

[18]ZHANG Xiangyu，ZHOU Xinyu， LIN Mengxiao， et al.ShuffleNet： an extremely efficient convolutional neuralnetwork for mobile devices[C]. IEEE/CVF Conferenceon Computer Vision and Pattern Recognition，Salt LakeCity，2018：6848-6856.

[19]劉慧杰，陳強. 基于ORB 特征的改進RGB?D 視覺里程計[J]. 制造業自動化，2022，44（7）：56-59，106.

LIU Huijie， CHEN Qiang. Improved RGB-D visualodometer based on ORB feature[J]. ManufacturingAutomation，2022，44（7）：56-59，106.

[20]FAN Y C，HAN H，TANG Y L，et al. Dynamic objectselimination in SLAM based on image fusion[J]. PatternRecognition Letters，2018，13（2）：56-59.

[21]NEWCOMBE R A， IZADI S， HILLIGES O， el al.KinectFusion： Real-time dense surface mapping andtracking[C]. The 10th IEEE International Symposiumon Mixed and Augmented Reality， Basel， 2011：127-136.

基金項目：山東省自然科學基金項目（ZR2021MF026）。