智能選矸機器人的煤矸石圖像識別系統設計

韓 龍，唐凌翔，王順葵，張仁斌

（黑龍江科技大學 電氣與控制工程學院，黑龍江 哈爾濱）

引言

目前，我國90%以上的塊煤選矸環節主要采用人工分選方式，人工選矸勞動強度大，現場粉塵濃度高，嚴重影響選矸工人的身心健康。2019 年7 月，黑龍江省出臺《“數字龍江”發展規劃（2019-2025 年）》，提出推進智慧礦山建設，著力推動“機器換人”，大幅減少井下礦工數量，實現開采智能化、生產自動化和管理信息化，提高礦山生產效率。

智能選矸機器人可替代人工選矸，有效提高選矸效率和分選質量。煤矸石圖像識別是智能選矸機器人重要的組成部分，它設計好與壞關系著煤矸石動態識別準確率。國內學者對煤矸石圖像識別方法和硬件實現做了大量的研究，馬憲民等在研究煤和矸石分選時，通過實際的煤矸石灰度圖像的均值和方差與標準閾值相比較，實現煤和矸石識別[1]。吳開興等結合了小波變換與灰度共生矩陣進行煤矸石紋理特征的提取，采用支持向量機算法實現煤矸石分類[2-3]。但煤矸石圖像灰度和紋理特征的識別方法存在準確度較低、提取參數多、實時處理效率不高等問題。隨著人工智能技術快速發展，基于卷積神經網絡的圖像識別算法取代了傳統圖像識別方法，并提升了圖像識別的精確度和魯棒性。趙學軍等采用YOLOv3 目標檢測模型實時精準地檢測出煤與矸石混合體中的矸石，為提高煤炭質量改進分揀效率提供有效保障[4]。蔡秀凡等利用改進的YOLOv4 能夠對小塊煤矸石檢測，同時也能夠提高目標檢測模型的整體檢測精度，準確率可達94%以上[5]。王仁寶等采用高性能的TMS320DM642 作為煤矸石圖像識別系統的硬件核心，提高了運算速度，并結合改進的邊緣檢測算法，實現了煤塊和矸石的實時自動分選[6]。

目前煤礦采用DSP 及STM32 等嵌入式設備的圖像處理能力較低，無法部署較大規模的圖像識別模型。為保證系統實用性和提高煤矸石圖像識別準確率，本文采用圖像處理算力高的Jetson TX2 和YOLOX 模型設計了智能選矸機器人的煤矸石圖像識別系統。

1 系統的總體設計方案

煤矸石圖像識別系統由攝像頭、嵌入式設備、輸入設備、顯示屏和下位機5 部分組成，系統的結構框圖見圖1。

圖1 煤矸石圖像識別系統結構框圖

首先通過輸入設備設置系統參數，然后攝像頭對煤矸石圖像進行采集并將信息傳遞給嵌入式設備，嵌入式設備對煤矸石圖像信息進行識別處理，將標注識別率的煤和矸石信息在顯示屏上顯示，最后通過串口通訊將矸石的粒度大小和位置等信息發送給下位機。

2 系統硬件及軟件設計

2.1 系統硬件電路

系統利用HD1313 攝像頭對煤矸石圖像進行采集，攝像頭分辨率為1280*720P，幀率為30 幀，免驅協議為USB2.0 通訊協議；采集的煤矸石圖像傳送給英偉達公司Jetson TX2 嵌入式設備，Jetson TX2 上加載和運行預先訓練好的YOLOX 模型對信息進行識別。識別結果通過HDMI 通訊接口在7 英寸顯示屏顯示，同時將矸石的粒度和位置信息通過RS232 串口通訊傳送給下位機的微處理器。系統硬件電路見圖2。

圖2 系統硬件電路

2.2 系統軟件設計

在Jetson Tx2 運行YOLOX 模型并經Tensorrt 加速，在Deepstream 框架下測試運行，并適配ROS 操作系統話題消息接口。系統軟件設計分為預處理、模型訓練、模型部署輸出和下位機處理4 個階段。煤矸石圖像識別軟件流程見圖3。

圖3 煤矸石圖像識別軟件流程

對煤與矸石圖像進行篩選及整理得到可用的數據集，并按訓練集、驗證集和測試集進行劃分，將最終的數據集整理后加載進訓練模型中。然后執行訓練模型腳本，在訓練腳本內部，測試集不斷地優化訓練得到的模型參數，并且訓練完成后最終得到Pth 后綴的PyTorch 模型，為了進一步增加視覺識別的幀率和準確度，需要轉為TensorRT 模型。PyTorch 模型無法直接轉化為TensorRT 模型，先將PyTorch 模型轉化為Wts文件，再將Wts 文件轉化為TensorRT 模型。攝像頭獲取視頻送入Deepstream 的解析器，通過H264parse 插件對視頻進行解析，并用Decoder 插件進行加速解碼，用Streammux 插件進行排隊合并，然后輸入目標識別器。視頻信息經YOLOX 模型識別后，將識別的煤與矸石信息在系統的顯示器上顯示。上位機Jetson Tx2 的ROS 通過串口通信將煤與矸石的信息發送給下位機STM32F103 RCt6，STM32F103 RCt6 對串口數據包進行解析并執行相應動作。

3 實驗測試結果分析

在 PyTorch 框 架 下 將 YOLOX 與 YOLOv5、YOLOv4 模型進行比較，根據mAP@0.5（平均準確率均值）評價指標判斷幾種模型對于煤矸石圖像的識別效果。矸石和煤的樣本圖像經過預處理之后共5 000張圖片，其中煤樣本3 000 張，矸石樣本2 000 張。使用labelimg 標注軟件對數據集內圖片進行標注，實驗的軟硬件環境見表1。

表1 實驗的軟硬件環境

訓練模型設置相關的網絡參數，學習率設為0.01，分辨率設為648*512，批處理尺寸設置為128，實驗的Epoch 設置為100，記錄實驗數據，整理得到各模型訓練精度曲線變化情況見圖4。

圖4 三種模型訓練精度對比圖

從圖4 訓練結果可以看出，經過100 個Epoch 的循環之后，三個模型的精度逐漸趨于穩定，均達到了0.9 左右。其中YOLOX 精度最高，YOLOv4 精度最低。可見YOLOX 模型進行煤矸石圖像識別總體效果好。

本文設計的煤矸石圖像識別系統實物見圖5，在Jetson TX2 上部署訓練好的YOLOX 模型進行測試，實時煤矸石識別結果見圖6。

圖5 煤矸石圖像識別系統

圖6 煤與矸石圖像識別結果

4 結論

本文采用英偉達公司Jetson TX2 嵌入式設備和YOLOX 模型設計了一種智能選矸機器人的煤矸石圖像識別系統，實現了圖像采集、實時數據處理和煤與矸石的識別功能。實驗結果表明，本文采用的YOLOX模型對煤矸石識別精度高于YOLOv5 和YOLOv4 模型，提高了系統的識別準確率；采用Jetson TX2 增強了系統的圖像處理能力，降低了系統成本，并滿足了工作的實時性要求，該系統在煤矸石圖像識別方面具有良好的性能。