數字孿生驅動的巷道自動成形截割虛擬調試方法研究

摘要：針對目前巷道自動成形截割控制調試周期長、調試成本大、安全風險大、成形質量難以評價等問題，提出了一種數字孿生驅動的巷道自動成形截割虛擬調試方法。采用基于即時外觀建圖（RTAP?MAP）技術重建巷道三維環(huán)境，構建掘進機控制系統模型，形成虛擬調試環(huán)境，并利用虛擬傳感器技術實現物理空間到虛擬環(huán)境狀態(tài)的精準映射。針對難以量化評估斷面成形質量的問題，確立了巷道自動成形截割性能評價方法，以斷面成形截割控制過程在數據傳輸中心的記錄為基礎，主要對斷面成形精度、截割效率與油缸開關次數、硬巖切割調整、超挖欠挖4 個評價指標進行計算，從而為深度學習算法的迭代優(yōu)化提供精準反饋信號，并提出了一種融合強化學習的自動截割控制策略，以提高自動化作業(yè)的適應性和精確度。為驗證該虛擬調試方法的有效性和準確性，搭建了掘進機自動控制實驗平臺，并將虛擬調試系統應用于掘進巷道成形截割自動控制程序中。虛擬仿真結果表明：① 被調試軟件在控制關鍵點位處的X，Y，Z 軸定位誤差的最大值分別為74.8，72.93，123.67 mm，說明虛擬調試方法的定位精度達到性能要求。② 虛擬樣機與物理樣機軌跡基本一致，說明該調試方法實現了對物理空間的映射。應用結果表明：① 強化學習控制器在虛擬掘進測試中適應了復雜環(huán)境，將虛擬傳感器輸入有效轉換為精準控制指令，驗證了模擬?現實遷移訓練的可行性。通過處理掘進精度和避免超欠挖的實時反饋，控制器學習并優(yōu)化了策略。② 優(yōu)化后的斷面成形截割控制性能得到了提升，根據數據庫中控制量時間戳的記錄，用時126 s，較優(yōu)化前耗時減少了8 s。③ 優(yōu)化后截割部末端軌跡跟蹤最大誤差為6.0 mm，較優(yōu)化前降低了0.3 mm，避免了截割軌跡抖動導致的欠挖，同時使得軌跡和斷面更加平滑。

關鍵詞：巷道自動成形截割；數字孿生；虛擬調試；虛擬傳感器；虛實坐標轉換

中圖分類號：TD67 文獻標志碼：A

0 引言

煤礦井下采掘作業(yè)智能化是煤炭行業(yè)的發(fā)展戰(zhàn)略和必由之路[1-2]。巷道斷面成形截割控制技術面臨諸多挑戰(zhàn)，采掘系統實際部署和生產作業(yè)過程中需充分調試，以保證軟件控制邏輯正確。井下復雜環(huán)境使得掘進裝備智能化管控系統調試低效且調試故障不易排除[3] ，具體表現在以下方面：① 工作環(huán)境存在高濃度粉塵與水霧，構成了極為惡劣的操作條件，進行硬件故障排除與軟件修改時，因防爆安全準則及生產安全規(guī)定，需開蓋作業(yè)，經常不得不上升至地面進行處理。② 井下設備調試過程通常需多次往返才能完成，調試周期長，嚴重影響生產效率。③ 現有調試方法對系統硬件依賴度高，部署時需要停止工作面生產，調試成本大。④ 實際調試時，難以量化評估斷面成形質量，故障問題的判斷高度依賴經驗，對調試人員技術要求高。因此，改進調試方法是解決上述問題的關鍵，也是煤礦智能化建設的必由之路。

近年來，數字孿生（Digital Twin， DT）技術飛速發(fā)展，該技術結合虛擬現實、三維重建技術，可應對煤礦井下惡劣環(huán)境下智能化改造的需求[4]。李娟莉等[5]設計了基于DT 的綜采工作面虛擬服務系統，可對記憶截割、自動截割等綜采工藝進行預仿真。張旭輝等[6]提出了基于近端策略優(yōu)化（Proximal PolicyOptimization，PPO）的掘進機器人避障及路徑規(guī)劃方法，采用自適應的控制策略，應對多變的地下環(huán)境和巷道中的不確定障礙物，探索煤礦掘進巷道復雜環(huán)境下路徑規(guī)劃問題。現有的掘進工作面智能化改造中，通過結合DT 技術可進行數據的分析、仿真和預測等操作[7]，實現對物理對象的優(yōu)化和決策[8-9]，但系統在井下惡劣環(huán)境中的布置與調試，仍需停止生產，調試周期較長，且存在安全風險。

近年來，虛擬調試為解決實際工程問題提供了更直觀、靈活的手段[10-11]，降低了工業(yè)生產的調試成本[12-15]。因此，本文提出了一種DT 驅動的巷道自動成形截割虛擬調試方法。首先，通過交互式建模技術對掘進裝備及巷道進行精細建模，并在虛擬調試平臺上動態(tài)展示其內部結構與運行狀態(tài)，同時設計仿真虛擬傳感器并預設控制數據接口，破解虛擬調試中的平臺同步閉環(huán)控制問題。然后，研究斷面成形截割自動控制策略，將控制邏輯納入虛擬調試方法仿真范疇，并根據斷面成形截割性能關鍵因素對控制性能進行評價。最后，搭建虛擬調試平臺，結合物理空間設備進行實驗驗證。

1 巷道自動成形截割虛擬調試系統總體設計

1.1 需求分析

巷道自動成形截割虛擬調試系統應具備以下功能：① 巷道模型應反映巷道工況細節(jié)，并動態(tài)模擬掘進過程中巷道與掘進裝備交互產生的變化[16-17]。② 建立DT 模型，支持用戶根據實際需求設計和導入自定義的三維模型。③ 配置虛擬傳感器與通信模塊，實現與被調試軟件的狀態(tài)參數、控制指令交互，實現虛擬設備閉環(huán)控制。④ 監(jiān)測巷道斷面成形質量，記錄和處理相關問題數據，提供截割控制性能評價作為被調試程序修改依據，為機器學習模型提供獎懲系數。⑤ 設計友好的人機交互界面，利用DT平臺三維可視化監(jiān)控截割進程。⑥ 針對具體被調試程序，通過試錯排除漏洞，以驗證其控制邏輯正確性；通過性能測試驗證其穩(wěn)定性及可靠性。

1.2 總體方案

巷道自動成形截割虛擬調試系統包含虛擬調試環(huán)境、截割狀態(tài)監(jiān)測與人機交互、數據傳輸中心、記錄與評價4 個模塊，旨在對目標調試軟件進行全面的虛擬調試，其總體方案如圖1 所示。控制量由目標調試軟件通過數據傳輸中心下發(fā)，驅動虛擬調試環(huán)境中的虛擬樣機；虛擬傳感器采集交互狀態(tài)并將狀態(tài)數據反饋至數據傳輸中心，在人機交互端集成顯示的同時，記錄與評價模塊監(jiān)測并評估控制流程。

目標調試軟件包含傳統控制策略和智能截割技術2 種。傳統控制策略使用PID 等方法進行掘進機控制；智能截割技術涵蓋了利用監(jiān)督學習、無監(jiān)督學習、強化學習等多種方法開發(fā)的智能化掘進軟件。

虛擬調試環(huán)境模塊是對物理空間精準的數字化動態(tài)映射[18-20]，通過整合掘進裝備虛擬樣機三維模型與數字煤層的三維重建模型構建而成。通過在虛擬空間中建立掘進巷道，實現掘進裝備與煤層的實時交互，構成了虛擬調試的基礎。

截割狀態(tài)監(jiān)測與人機交互模塊通過集成孿生數據并進行分析，實現三維掘進狀態(tài)監(jiān)測、碰撞預警、異常行為報警與人工干預等功能，能夠在虛擬空間中更加直觀地反映掘進進程與調試效果。

數據傳輸中心模塊采用消息隊列遙測傳輸（Message Queuing Telemetry Transport， MQTT） 作為系統分布式通信方法，以MySQL 作為數據存儲端對斷面成形過程進行記錄。

記錄與評價模塊結合數據庫記錄與參數評估，對目標調試軟件暴露的問題進行分析，為工程師提供改進依據，為機器學習算法提供獎懲系數。

2 虛擬調試環(huán)境DT 模型構建

借助Unity3D 建立交互式巷道模型、掘進裝備工業(yè)控制模型，搭建虛擬調試環(huán)境。

2.1 虛擬巷道重建方法

基于不同煤礦的巷道布置圖及井下實際場景，利用RGBD 深度相機實現環(huán)境特征提取。在此基礎上，應用基于即時外觀建圖（Real Time Appearance-Based Mapping， RTAB?MAP）技術構建如圖2（a）所示的巷道三維稠密點云地圖。結合二維巷道布置圖的關鍵參數，在Unity3D 平臺建立如圖2（b）所示的巷道網格化3D 可交互模型。針對構建的每個空間網格，依據其中包含的點云分類，結合網格坐標判斷其是否屬于障礙物、地面或其他類型，隨后為網格添加標簽。開始具體調試任務時，用戶需輸入目標巷道參數并導入點云數據，虛擬調試環(huán)境模塊將結合碰撞事件監(jiān)測，自動利用Instantiate 組件批量生成與管理煤巖塊，以煤巖塊形成的網格化巷道（圖2（c））為掘進機控制模型運行提供高度交互的虛擬巷道環(huán)境。

采用上述網格劃分的三維重建方法反映巷道的形狀細節(jié)，為斷面成形過程提供交互式的動態(tài)仿真，但對計算資源要求較高。為提高流暢度，同時使用分塊加載、面剔除和對象池等3 種方法降低硬件需求，對大型場景中虛擬調試平臺的流暢性進行優(yōu)化[21]。將預制體煤巖組成的煤壁劃分為多個區(qū)域，當掘進機截割臂靠近時，只加載這個區(qū)域的煤壁，離開該區(qū)域時，則使用SetActive（false）功能卸載該區(qū)域方塊，降低場景內同時存在的物體數量，從而降低內存占用率；借助Unity3D 剔除（Backface Culling）功能自動剔除物體背面，并根據預制體煤巖間相對關系刪除所有被遮擋面（Occlusion Culling），降低同時渲染的物體數量，節(jié)省渲染資源并提高性能；采用Unity3D對象池組件，在腳本中創(chuàng)建List來管理預制體煤巖的創(chuàng)建和銷毀，通過相同物體重復利用，避免頻繁實例化和銷毀物體，降低內存開銷并提高性能。

2.2 掘進機控制模型構建

為建立掘進裝備DT 模型，仿真功能完整的運動機構，復現掘進機靜態(tài)特性，需要機身相關數據，尤其是掘進機相關傳感器、液壓缸、履帶、截割臂和截割頭尺寸等。使用C#編程限制自由度，模擬多種運動控制模式，并分別綁定模型關節(jié)，以使運動仿真效果盡可能接近真實掘進機。其他結構則盡可能簡化，并刪除重疊面。上述掘進機及其他掘進裝備虛擬模型在Unity3D 內保存為預制體，構成井下設備庫，方便在不同的調試項目中使用。

2.2.1 掘進裝備位姿描述與坐標轉換

虛擬空間和物理空間的坐標描述存在差異，為使物理空間中的設備在虛擬空間同步映射，需進行不同笛卡爾坐標系之間的虛實轉換。

四元數是表示三維空間旋轉的一種有效方式，相比旋轉矩陣更加緊湊且計算效率更高。從物理空間中的一點ρ（Xw，Yw，Zw）到虛擬空間中的一點ρ′ （X0，Y0，Z0）進行坐標轉換。假設一個四元數q=（w， x， y， z）表示從物理空間到虛擬空間的旋轉，其中w為實部，x ，y， z為虛部，且滿足w2 + x2 +y2 +z2 = 1。

首先，將四元數轉換為對應的旋轉矩陣R：

然后，將物理空間中的點ρ（Xw，Yw，Zw）通過旋轉矩陣進行轉換得到新的坐標：

式中（X′，Y′，Z′）為旋轉后的臨時坐標。

最后， 將旋轉后的臨時坐標加上平移向量（tx，ty，tz），得到最終的虛擬空間坐標：

2.2.2 截割部正運動學求解

在巷道掘進中，截割部執(zhí)行斷面成形截割任務，其核心運動方式涉及水平旋轉與垂直升降。截割部核心組成部分包括回轉臺、截割臂和截割頭。為了精確設定截割臂各關節(jié)的運動參照框架， 采用D?H（Denavit-Hartenberg）參數法建立關節(jié)坐標系，進而求解截割臂的正運動學與逆運動學方程。掘進機截割部具體參數見表1，其中為連桿偏距， 為連桿關節(jié)位置，01，12，23，34 為兩關節(jié)間連桿， 為連桿長度， 為連桿扭角， 為關節(jié)轉角，c1，c2，c3 為組成連桿的關節(jié)的長度。表1 中關節(jié)位置對應的虛擬空間坐標系如圖3 所示。

連桿變換矩陣通用表達式為

將4 個連桿的變換矩陣依次相乘，可得到每個關節(jié)的連桿變換矩陣，并計算出截割部末端執(zhí)行器相對于基坐標系的轉換矩陣，該矩陣描述了末端執(zhí)行器的位置和姿態(tài)：

04T =10T·21T ·32T ·43T （5）

根據D?H 參數，可以計算每個關節(jié)的連桿變換矩陣，代入式（5）得

式（6）中，矩陣前3 列描述截割頭姿態(tài)，第4 列描述截割頭點位。

根據虛實坐標轉換得到截割頭位姿與巷道的相對位置，建立了截割臂與當前有限元仿真斷面的交互模型，將場景數據從視體映射到屏幕坐標系，完成模型渲染。此外，以運動學分析為基礎，為掘進機截割部的幾何模型添加腳本約束，仿真重力、關節(jié)組件和油缸鉸接組件等物理特性，用以模擬虛擬空間的真實物理行為，從而建立掘進機的控制模型。

3 DT 驅動的虛擬調試策略

通過數據傳輸中心實現閉環(huán)調試的數據交互，提供輸入、輸出的同時，全程記錄自動控制流程并進行截割控制性能評價。

3.1 虛擬傳感器構建

虛擬調試過程中涉及雙向數據交換。一方面，被調試程序發(fā)出控制指令，通過數據傳輸中心驅動數字孿生模型。將所有通信模塊接入服務器后，Unity平臺代替PLC 接收并解析程序輸出的JSON 格式指令，并使用運動仿真腳本控制虛擬掘進裝備。另一方面，虛擬調試系統通過虛擬傳感器生成詳盡的仿真反饋信息，并將其返回至被測控制軟件，這些虛擬傳感器包含虛擬相機、虛擬拉繩傳感器、虛擬慣性導航等。

截割部姿態(tài)數據是通過Transform 組件仿真的虛擬拉繩、傾角傳感器數據。慣性導航和全站儀等經典定位方法經由虛實坐標轉換，將機身定位數據映射至被調試軟件所需的坐標系，確保被調試軟件能夠解析定位數據，并加入隨機噪聲，以模仿現實中的信號干擾和測量偏差。

現有的機身視覺定位方法以巷道中的激光束為特征，通過空間矩陣變換求解掘進機的位姿信息。在對視覺定位模塊（圖4（a））進行調試的過程中，使用虛擬相機作為被調試軟件定位系統的輸入源。該方法綜合了虛擬調試環(huán)境中的仿真工業(yè)相機、巷道環(huán)境和三激光標靶3 項關鍵要素，重現工業(yè)相機在實體空間中捕捉圖像的情景，從而將仿真圖像傳輸至被調試軟件，以便進行特征識別與提取。利用Physical Camera 仿真物理相機采集圖像（圖4（b））并添加圖像噪聲，設置相機仿真參數與位姿；通過調整虛擬調試環(huán)境中的光照與輸出圖像噪聲，模擬不同巷道光照、粉塵環(huán)境下的視覺定位效果；通過調整虛擬調試環(huán)境中的激光合作標靶位置，模擬并驗證巷道環(huán)境中合作標靶的點線特征遮擋狀態(tài)，為視覺定位系統在真實巷道的布置提供參數（包括三激光標靶安裝位置、相機安裝高度及部分相機外部參數）設置依據。

為精確驗證并持續(xù)提升定位方案的效果，采取集成驗證與優(yōu)化的策略，即在虛擬調試環(huán)境中，將相機的真實位姿與視覺算法解算出的位置信息進行對比。在調試過程中，該策略不僅能夠揭示視覺定位系統在復雜環(huán)境下的性能表現，還可通過分析兩者間的偏差，識別定位算法的潛在改進空間。基于上述對比分析，對視覺定位程序進行調整和優(yōu)化，確保其在各種條件下都能提供準確、可靠的定位服務。

為降低虛擬傳感器的數據通信延時，采集到的高清圖像由文件流管理。數據傳輸中心利用C#語言編程實現通信，為了提高兼容性和通信效率，預留了Modbus 和MQTT 2 種通信接口， 控制流程相關數據同步存儲在MySQL 數據庫中。被調試軟件從輸入接口獲取監(jiān)測圖像信息，同步進行圖像處理與解算。

3.2 斷面成形截割性能評價方法

針對難以量化評估斷面成形質量的問題，以成形截割控制過程在數據傳輸中心的記錄為基礎，主要對斷面成形精度、截割效率與油缸開關次數、硬巖切割調整、超挖欠挖4 個評價指標進行計算。

1） 斷面成形精度。衡量截割頭軌跡在控制過程中與預定軌跡之間的差異，以評估斷面成形精度。通過在虛擬調試系統中運行目標程序來收集數據，根據預設的截割路徑，自動選取并記錄關鍵測量點位。

假設理想測量點為Pl （ f1，u1， v1），實際測量點為P′l （ f2，u2， v2）， 其中l(wèi)=1，2，…，n， n為測量點的總數，（ f1， u1， v1），（ f2，u2， v2）分別為P1和P'1的坐標；實際測量點是截割軌跡的離散點，來自虛擬調試過程中收集的截割頭實際位置（Transform）組件數據，理想測量點是規(guī)劃路徑中的對應離散點。

計算每個理想測量點與其對應實際測量點之間的歐氏距離Dl。

計算所有測量點之間距離差異的平均值并作為斷面成形精度的評價指標。

式中：Eprecision為斷面成形精度；γprecision為精度評價系數；S precision為精度指標縮放系數。

2） 截割效率與油缸開關次數。為提高斷面成形效率，需降低單次截割的耗時；為保障設備壽命，需降低單次斷面成形的油缸開關次數。因此需要記錄給定斷面面積下成形截割所需的時間，并評估油缸在整個控制流程中的開關頻率與理想狀況下頻率的差距。

通過讀取數據庫記錄的控制量，分析截割頭運動和油缸開關的操作數據，結合截割頭直徑Mch、斷面面積比例βratio和完成斷面成形所需的時間h，計算截割效率F。

式中：S r為效率指標縮放系； S pump為油泵開關頻率指標縮放系數；Npump為油缸開關次數。

3） 硬巖切割調整。評估控制系統是根據不同的工況調整截割臂和截割頭的轉速，不對矸石、黃鐵礦勉強截割，以保證切削效率和生產安全。

截割頭油泵開啟狀態(tài)下，數據庫同步記錄截割臂轉速、截割頭轉速、切割電流的變化，以及軌跡是否調整，斷面成形完成后，讀取在硬巖碰撞檢測時的數據庫記錄，并通過判斷有無截割調整，計算二值變量Cadjust，其中Cadjust = 1表示有調整，Cadjust = 0表示無調整。截割調整的評價系數為

式中：j 為出現硬巖碰撞的次數；Nadjust為出現硬巖碰撞的總次數。

4） 單次斷面成形過程中的超挖、欠挖體積。通過統計List中斷面、四周煤壁小方塊碰撞（Collider）事件變化數量，計算得到超挖體積Vovercut和欠挖體積Vundercut，Vovercut代表斷面成形過程中因挖掘過界而額外移除的煤巖體積，Vundercut代表實際去除的體積比設計要求小的部分。以超挖、欠挖體積衡量其對整體成形質量的影響。通過將超挖和欠挖事件的碰撞體積轉化為評價系數γcollide，在調試過程中促進模型學習，從而避免超挖、欠挖。

γcollide = -（S overVovercut +S underVundercut） （13）

式中：S over為超挖指標縮放系數；S under為欠挖指標縮放系數。

綜合斷面成形精度、截割效率與油缸開關次數、硬巖切割調整、超挖欠挖評估指標，采用映射后加權求和的方式，將各個評價因子納入總體評價系數γtotal范疇。一方面，針對傳統控制算法，將γtotal提供給調試工程師，針對調試目的在交互界面中顯示數據，為調試人員提供直觀的3D 可視化基礎，以便進行決策 [21]。在平臺的UI 界面中還集成了控制按鈕，便于手動點擊控制掘進裝備進行驗證。另一方面，對于智能截割技術的機器算法，將γtotal作為獎懲系數反饋給模型，進行二次強化學習訓練。

3.3 成形截割控制的二次強化學習訓練

將掘進狀態(tài)監(jiān)測與被調試軟件控制策略納入調試仿真范疇[22]，對現有掘進巷道成形截割自動控制方法進行控制狀態(tài)解析，主要包括移機控制與截割臂控制，從而實現對強化學習模型的二次訓練。

現有掘進巷道成形截割自動控制邏輯中，單次斷面成形工藝主要由自動移機、截割軌跡規(guī)劃、自動截割3 個部分組成。

1） 移機過程中，主要對左右履帶進行控制以改變機身位姿。結合巷道數據計算目標機身位姿，并根據橫向移機距離選擇不同路徑。

2） 到達目標狀態(tài)后，結合巷道與截割頭、機身相對位置關系進行截割頭軌跡規(guī)劃。巷道截割斷面可以呈梯形、矩形、拱形等形狀。以矩形巷道斷面為例，采用先水平后垂直的循環(huán)截割方式，從斷面的最下方開始截割，截割頭按照規(guī)劃路線順次向上運動，最后進行刷幫，以完成一次斷面截割。

3） 使用強化學習模型進行軌跡跟蹤控制，以慣性導航、視覺傳感器采集的機身位姿數據及拉繩、傾角傳感器采集的截割部姿態(tài)作為輸入，以掘進機各個關節(jié)液壓缸控制量作為輸出，各模塊之間采用MQTT 通信構成閉環(huán)控制系統。

為解決上述控制方法中強化學習算法在特定場景下的性能差異，使用γtotal作為獎懲系數引導模型優(yōu)化。

結合虛擬調試技術與深度強化學習方法、模擬到現實（Sim?to?real）遷移訓練思想，通過搭建虛擬調試環(huán)境，縮小二次訓練過程中模擬和現實的差距。以深度強化學習PPO 算法的二次強化學習訓練（圖5）過程為例，通過在虛擬調試平臺的不同環(huán)境重復運行被調試軟件，增加模型魯棒性與對具體巷道環(huán)境的適用性。訓練過程中，虛擬傳感器監(jiān)測環(huán)境與裝備狀態(tài)，將信息傳輸至決策層。決策層中，16 維狀態(tài)空間指導神經網絡輸出3 維動作空間。在虛擬環(huán)境中下列觀測值均被納入16 維狀態(tài)空間的定義，由虛擬傳感器統一觀測：當前回轉角度與角速度；抬升角度與角速度；截割臂伸縮速度；截割臂末端與目標點位的相對位置3 維矢量；目標點對應回轉、抬升角與當前狀態(tài)的差值；機身航向、俯仰、抬升角及在虛擬空間中的X，Y，Z 坐標。3 維動作空間被定義為回轉臺回轉角和搖臂抬升角的連續(xù)速度控制，以及搖臂伸縮速度控制。動作空間的決策結果由控制層執(zhí)行，并在虛擬調試環(huán)境控制裝備與巷道進行交互，完成斷面成形的截割任務。性能評估時，根據執(zhí)行記錄更新狀態(tài)和截割性能評價，反饋至決策層。計算得到的獎懲系數與狀態(tài)空間、動作空間共同組成新的經驗。模型利用經驗更新Critic（價值函數） ?Actor（概率分布），多次迭代上述步驟以優(yōu)化策略，訓練過程沿用原有超參數。

根據total所提供的條件與獎勵值，獲取與環(huán)境交互后的反饋信號，通過回合制更新方法累積獎勵來學習正確的策略，并跟蹤一條累積獎勵值最大的軌跡。每回合的訓練即為單次斷面成形進程，當斷面成形失敗或在規(guī)定步長內未達到目標點時，結束當前回合的訓練。

在虛擬調試環(huán)境中，以虛擬傳感器的形式建立機身、截割部狀態(tài)的16 維狀態(tài)空間監(jiān)測作為程序輸入，建立履帶、截割部5 維動作空間映射程序輸出。

在虛擬調試環(huán)境中，通過截割頭與斷面的碰撞檢測算法對巷道產生破碎仿真，掘進機進尺量隨之發(fā)生改變。虛擬調試平臺同步記錄截割過程中的控制量、狀態(tài)量及煤巖網格狀態(tài)，計算獎懲系數并反饋至被調試軟件。

以針對降低油缸開關次數的具體任務為例，進行二次強化學習訓練時，通過控制γtotal權重削減了其他扣分項的獎懲系數，模型在虛擬調試環(huán)境中得以充分適應新的控制性能評價標準。截割性能優(yōu)化二次強化學習結果如圖6 所示，已收斂的模型在經歷震蕩后，獎勵值穩(wěn)定在了較高水平，表征強化學習后的截割過程更加平滑。

4 實驗驗證

為了驗證本文所提出的虛擬調試方法在實際應用中的有效性和準確性，搭建了掘進機自動控制實驗平臺，并將虛擬調試系統應用于掘進巷道成形截割自動控制程序。測試內容主要包括虛擬仿真效果測試及應用效果驗證2 個部分。

4.1 虛擬仿真效果測試

采用虛實結合方式驗證虛擬調試系統和被測軟件，效果如圖7 所示。物理空間中的驗證平臺是由1 200×1 500 mm 的巷道模型、懸臂式掘進機、數字全站儀、捷聯慣導、傾角傳感器和旋轉編碼器組成的截割部姿態(tài)測量系統。實驗中借助Kinetic2 相機，采用RTAB?MAP 方法獲取點云數據，并建立掘進裝備模型，構建虛擬調試環(huán)境。

1） 基于虛擬傳感器的機身定位仿真測試。為驗證虛擬相機作為輸入時的5 線視覺三點定位方法，分析了被調試程序在控制關鍵點位處的X，Y，Z 坐標值，結果見表2，其中虛擬傳感器定位數據來自被調試程序視覺定位模塊的位姿解算，為測試該程序在惡劣環(huán)境下的視覺定位性能，在虛擬相機圖像添加了噪聲；將來自Transform 組件記錄的相機坐標作為真實坐標進行對比。

經過調試優(yōu)化相機與標靶安裝位置，采集到的圖像由數據傳輸中心發(fā)送至被調試軟件，并從激光標靶成功提取出了特征點、線，其特征清晰，無相互遮擋，說明激光標靶與相機布置合理。接收圖像信息后，被調試軟件反饋了位姿解算結果，由表2 可看出， X， Y，Z 軸定位誤差的最大值分別為74.8， 72.93，123.67 mm，說明虛擬調試系統的定位精度滿足性能要求。

2） 截割部仿真效果測試。為了對比機器人在虛實空間中的位姿數據，對掘進機截割臂俯仰角進行分析。在物理樣機運動過程中，首先通過截割部姿態(tài)測量系統實時監(jiān)測各個關節(jié)位移數據，然后將數據通過MQTT 通信協議傳輸至上位機虛擬平臺，最后按照點表進行數據解析，在數據庫中存儲鍵名及對應鍵值。

以程序運行1 幀為采樣周期，采集單次斷面成形過程中搖臂關鍵數據進行虛實對比， 如圖8 所示。可看出虛擬樣機與物理樣機軌跡基本一致，而虛實同動是截割部虛擬調試有效性的前提，說明調試平臺實現了對物理空間映射，同時證明被調試軟件的控制邏輯基本正確。

4.2 應用效果驗證

對于深度強化學習控制算法模塊，利用獎懲系數反饋方法， 計算被調試程序的深度強化學習PPO 控制模型獎勵值，在單次斷面成形完成后經由Unity 與Python 預留通信接口反饋給模型，針對具體巷道環(huán)境進行二次強化學習訓練；對于采用傳統控制策略的模塊，在驗證其穩(wěn)定性和可靠性的同時，提供數據分析作為依據，進而主動優(yōu)化被調試軟件，實現對整個控制系統效能與魯棒性的提升。

通過驅動虛擬空間模型進行斷面成形，對超挖、欠挖、碰撞、停滯、控制數據抖動等異常狀態(tài)進行報警與數據記錄， 同時監(jiān)測斷面成形過程， 如圖9所示。

非全斷面單次成形過程中，被調試軟件對斷面成形截割的控制效果與設計基本期望一致，驗證了現有控制程序設計的合理性。通過融合傳統的獎懲機制與從虛擬調試中獲得的性能評價指標，設計了一個復合型的獎勵信號，并以此為目標引導模型優(yōu)化過程。被調試軟件中強化學習模型的優(yōu)化效果如圖10 所示。可看出獎勵值在初始波動后逐漸趨向穩(wěn)定，直觀反映出模型在新的優(yōu)化目標指引下逐步收斂至更優(yōu)策略。同時，模型的損失函數曲線未出現顯著上升趨勢，不僅證實了算法優(yōu)化的高效與穩(wěn)健，還有效避免了過擬合的風險。這說明強化學習控制器在虛擬掘進測試中適應了復雜環(huán)境，將傳感器輸入有效轉換為精準控制指令，驗證了模擬?現實遷移訓練的可行性。通過處理掘進精度和避免超挖欠挖的實時反饋，控制器學習并優(yōu)化了策略。實驗也驗證了控制器學習復雜任務及動態(tài)調整策略的能力。

調試過程中，被調試程序通過單次“S”型軌跡規(guī)劃與跟蹤，完成了斷面成形截割，為進一步分析上述二次強化學習訓練過程對軌跡跟蹤控制器精度的優(yōu)化效果，對比訓練前后的關鍵點位跟蹤控制精度，如圖11 所示，其中目標點軌跡來自程序規(guī)劃的截割點位，末端軌跡來自角度編碼器與傾角傳感器解算得到的截割頭末端點位。可看出優(yōu)化后的斷面成形截割控制性能得到了提升，根據數據庫中控制量時間戳的記錄，用時126 s，較優(yōu)化前耗時減少了8 s。

優(yōu)化后截割頭位置誤差如圖12 所示，可看出優(yōu)化后截割部末端軌跡跟蹤最大誤差為6.0 mm，較優(yōu)化前降低了0.3 mm，避免了截割軌跡抖動導致的欠挖，同時使得軌跡和斷面更加平滑。

測試結果表明，優(yōu)化后的斷面成形效果滿足掘進工作面巷道掘進質量要求，虛擬調試系統可作為優(yōu)化被調試程序的基礎，實現對現有斷面成形截割控制模型的二次強化學習訓練。

5 結論

1） 針對井下掘進裝備斷面成形截割控制過程中的調試難題，提出了一種掘進巷道自動成形截割虛擬調試方法，研發(fā)了DT 驅動的虛擬調試系統。

2） 針對現有DT 系統對巷道細節(jié)、斷面成形過程交互仿真缺失的問題，基于RTAB?MAP 方法構建了可交互巷道三維模型，通過虛擬空間的掘進機聯動方法，實現了設備與巷道虛擬仿真模型的動態(tài)編程，并結合虛擬傳感器建立了掘進巷道虛擬調試環(huán)境。

3） 針對現有調試方法對故障問題的判斷高度依賴經驗、未經調試的強化學習程序無法充分適應復雜井下環(huán)境的問題，提出截割性能評價方法，結合虛擬調試環(huán)境，實現對巷道成形截割控制程序模擬?現實遷移的二次強化學習訓練，將性能評價指標作為二次強化學習訓練的獎懲系數，通過“探索?試錯”獎懲機制，實現了截割軌跡優(yōu)化，提高了斷面成形截割控制系統的性能和魯棒性。

4） 搭建掘進機虛擬調試系統實驗平臺，完成虛擬調試性能評估，調試后的“S”型軌跡截割用時126 s，截割部末端軌跡跟蹤最大誤差為6.0 mm，且降低了超挖、欠挖風險。結果表明該方法在很大程度上提高了巷道成形自動控制程序的研發(fā)效率，提供了一種低成本的煤礦井下設備控制試錯方法。

參考文獻（References）：

[ 1 ]王國法，趙國瑞，任懷偉. 智慧煤礦與智能化開采關鍵核心技術分析[J]. 煤炭學報，2019，44（1）：34-41.

WANG Guofa，ZHAO Guorui，REN Huaiwei. Analysison key technologies of intelligent coal mine andintelligent mining[J]. Journal of China Coal Society，2019，44（1）：34-41.

[ 2 ]王虹，王步康，張小峰，等. 煤礦智能快掘關鍵技術與工程實踐[J]. 煤炭學報，2021，46（7）：2068-2083.

WANG Hong， WANG Bukang， ZHANG Xiaofeng， etal. Key technology and engineering practice ofintelligent rapid heading in coal mine[J]. Journal ofChina Coal Society，2021，46（7）：2068-2083.

[ 3 ]王國法，張建中，薛國華，等. 煤礦回采工作面智能地質保障技術進展與思考[J]. 煤田地質與勘探，2023，51（2）：12-26.

WANG Guofa，ZHANG Jianzhong，XUE Guohua，et al.Progress and reflection of intelligent geologicalguarantee technology in coal mining face[J]. CoalGeology & Exploration，2023，51（2）：12-26.

[ 4 ]王妙云，張旭輝，馬宏偉，等. 遠程控制綜采設備碰撞檢測與預警方法[J]. 煤炭科學技術，2021，49（9）：110-116.

WANG Miaoyun，ZHANG Xuhui，MA Hongwei，et al.Collision detection and pre-warning method for remotelycontrolled fully-mechanized mining equipment[J]. CoalScience and Technology，2021，49（9）：110-116.

[ 5 ]李娟莉，沈宏達，謝嘉成，等. 基于數字孿生的綜采工作面工業(yè)虛擬服務系統[J]. 計算機集成制造系統，2021，27（2）：445-455.

LI Juanli， SHEN Hongda， XIE Jiacheng， et al.Development of industrial virtual service system for fully mechanized mining face based on digital twin[J].Computer Integrated Manufacturing Systems， 2021，27（2）：445-455.

[ 6 ]張旭輝，呂欣媛，王甜，等. 數字孿生驅動的掘進機器人決策控制系統研究[J]. 煤炭科學技術， 2022，50（7）：36-49.

ZHANG Xuhui， LYU Xinyuan， WANG Tian， et al.Research on decision control system of tunneling robotdriven by digital twin[J]. Coal Science andTechnology，2022，50（7）：36-49.

[ 7 ]毛清華，陳磊，閆昱州，等. 煤礦懸臂式掘進機截割頭位置精確控制方法[J]. 煤炭學報，2017，42（增刊2）：562-567.

MAO Qinghua，CHEN Lei，YAN Yuzhou，et al. Precisecontrol method of cutting head position of coal minecantilever roadheader[J]. Journal of China CoalSociety，2017，42（S2）：562-567.

[ 8 ]BAE H，KIM G，KIM J，et al. Multi-robot path planningmethod using reinforcement learning[J]. AppliedSciences，2019，9（15）. DOI： 10.3390/app9153057.

[ 9 ]NIEMANN J. Development of a reconfigurableassembly system with enhanced control capabilities andvirtual commissioning[D]. Bloemfontein： CentralUniversity of Technology，Free State，2013.

[10]謝苗，李曉婧，劉治翔. 基于PID 的掘進機橫擺速度智能控制[J]. 機械設計與研究，2019，35（1）：125-127，132.

XIE Miao， LI Xiaojing， LIU Zhixiang. The intelligentcontrol of roadheaders yaw velocity is established basedon neural network PID control method[J]. MachineDesign & Research，2019，35（1）：125-127，132.

[11]胡興濤，朱濤，蘇繼敏，等. 煤礦巷道智能化掘進感知關鍵技術[J]. 煤炭學報，2021，46（7）：2123-2135.

HU Xingtao，ZHU Tao，SU Jimin，et al. Key technologyof intelligent drivage perception in coal mineroadway[J]. Journal of China Coal Society， 2021，46（7）：2123-2135.

[12]陸新時，馬嵩華，胡天亮. 基于數字孿生的力能控制式壓力機虛擬調試[J]. 小型微型計算機系統， 2022，43（7）：1356-1361.

LU Xinshi， MA Songhua， HU Tianliang. Virtualcommissioning of force-power controlled press machinebased on digital twin[J]. Journal of Chinese ComputerSystems，2022，43（7）：1356-1361.

[13]馬飛，代錕，孫巍偉. 基于數字孿生的物流揀選虛擬調試系統設計[J]. 機床與液壓，2023，51（16）：95-100.

MA Fei， DAI Kun， SUN Weiwei. Design of virtualdebugging system for logistics picking based on digitaltwin[J]. Machine Tool & Hydraulics， 2023， 51（16） ：95-100.

[14]楊春雨，張鑫. 煤礦機器人環(huán)境感知與路徑規(guī)劃關鍵技術[J]. 煤炭學報，2022，47（7）：2844-2872.

YANG Chunyu，ZHANG Xin. Key technologies of coalmine robots for environment perception and pathplanning[J]. Journal of China Coal Society， 2022，47（7）：2844-2872.

[15]張旭輝，趙建勛，張超，等. 懸臂式掘進機視覺伺服截割控制系統研究[J]. 煤炭科學技術，2022，50（2）：263-270.

ZHANG Xuhui， ZHAO Jianxun， ZHANG Chao， et al.Study on visual servo control system for cutting ofcantilever roadheader[J]. Coal Science andTechnology，2022，50（2）：263-270.

[16]高赟，成哲. 虛擬調試技術在某車間輸送系統的應用[J]. 工業(yè)控制計算機，2023，36（6）：28-29.

GAO Yun， CHENG Zhe. Application of virtualcommissioning technology in conveyor system of ashop[J]. Industrial Control Computer，2023，36（6）：28-29.

[17]KLOSOWSKI J T，HELD M，MITCHELL J S B，et al.Efficient collision detection using bounding volumehierarchies of k-DOPs[J]. IEEE Transactions onVisualization and Computer Graphics，1998，4（1）：21-36.

[18]王丹. 縱軸式硬巖掘進機截割機構的力學性能與參數優(yōu)化[D]. 阜新：遼寧工程技術大學，2009.

WANG Dan. The mechanical property and parameteroptimization for cutting mechanism of vertical axis hardrock roadheader[D]. Fuxin： Liaoning TechnicalUniversity，2009.

[19]JAIN A， VERA D A， HARRISON R. Virtualcommissioning of modular automation systems[J].IFAC Proceedings Volumes，2010，43（4）：72-77.

[20]陶飛，張賀，戚慶林，等. 數字孿生模型構建理論及應用[J]. 計算機集成制造系統，2021，27（1）：1-15.

TAO Fei， ZHANG He， QI Qinglin， et al. Theory ofdigital twin modeling and its application[J]. ComputerIntegrated Manufacturing Systems，2021，27（1）：1-15.

[21]ENVER A T. I/O virtualization for commissioning：US11435728[P]. 2022-09-06.

[22]馬宏偉，張璞，毛清華，等. 基于捷聯慣導和里程計的井下機器人定位方法研究[J]. 工礦自動化， 2019，45（4）：35-42.

MA Hongwei， ZHANG Pu， MAO Qinghua， et al.Research on positioning method of underground robotbased on strapdown inertial navigation and odometer[J].Industry and Mine Automation，2019，45（4）：35-42.

基金項目：國家自然科學基金青年項目（52104166）。