采煤機數字孿生導航截割運動規劃理論與方法
2024-12-31 00:00:00苗丙葛世榮
工礦自動化 2024年8期
【編者按】礦山智能開采是煤礦安全高效生產的重要手段，已成為我國煤炭開采技術的發展方向。智能開采控制技術是指利用現代信息技術、自動化技術和智能控制技術，對煤礦開采過程中的各個環節進行智能化改造和優化，以實現全過程、全方位的自動化、智能化和數字化管理。為介紹和推動智能開采控制技術在礦山的應用，交流相關理論方法和研究成果，《工礦自動化》編輯部于2024年第8期組織出版“礦山智能開采控制技術”專題。在專題出刊之際，衷心感謝各位專家學者的大力支持！
文章編號：1671?251X（2024）08?0001?13 DOI：10.13272/j.issn.1671-251x.2024070063
關鍵詞：數字孿生智采工作面；采煤機自主導航截割；采煤機數字孿生導航截割；運動規劃；動態導航地圖
中圖分類號：TD632 文獻標志碼：A
0引言
煤礦智能化建設對于推動煤炭產業的轉型升級和實現高質量發展具有重要意義[1-3]。截至2024 年4 月底，全國已建成智能化采煤工作面1922個，智能化掘進工作面2154個?！秶夷茉淳株P于進一步加快煤礦智能化建設促進煤炭高質量發展的通知》要求大型煤礦加速實現采掘系統全面智能化。同時《煤礦智能化標準體系建設指南》提出建立數字孿生系統標準，涵蓋參考架構、信息模型、設備模型、數據接口及全礦井數字孿生服務應用等標準。
2014年，葛世榮在主持的國家重點基礎研究發展計劃（973計劃）項目中首次提出了基于煤層地理信息系統的采煤機自主導航截割技術[4]，標志著采煤機截割控制理念進入新階段。該技術利用詳細的煤層探測地圖進行截割運動規劃，并采用導航控制技術實現采煤機的無人截割操作，有效應對煤層變化帶來的挑戰，實時調整截割路徑，確保操作的自主性。2020 年， 葛世榮指出數字孿生智采工作面（Digital Twin Smart Mining Workface，DTSMW）[5-7]是一個數據三維可視化、人機交互強、全流程自優化的高逼真采煤工作面三維鏡像場景。該系統實現了數字孿生體與物理實體間的雙向通信和信息交互，全面感知井下無人化綜采工作面的物理空間，實時監控生產過程及性能，并進行虛擬場景的三維可視化再現，顯著提升煤礦綜采工作面的智能化水平[8]。
本文基于采煤機自主導航截割技術和DTSMW，提出采煤機數字孿生導航截割運動規劃理論與方法。采用數字孿生技術創建物理實體的虛擬模型，并在物理世界與數字世界之間實現雙向映射、動態交互和實時連接。采煤機數字孿生導航截割運動規劃理論與方法主要包括數字孿生理論、采煤機截割狀態數字孿生、動態導航地圖數字孿生及基于數字孿生的深度強化學習運動規劃，如圖1 所示。
數字孿生理論的深入研究包括智采工作面物理場景、數字孿生模型構建理論及數字孿生驅動、交互、演化理論3個方面。智采工作面物理場景的研究分為智采工作面組成要素和裝備環境約束關系[7]，為數字孿生模型的構建提供堅實基礎。數字孿生模型構建理論包含物理實體、孿生模型及數據模型。數字孿生驅動、交互、演化理論分為孿生驅動運行機制、虛實交互邏輯、數字孿生系統演化。
以數字孿生理論為支撐構建采煤機數字孿生導航截割運動規劃系統。結合數字孿生模型和實時傳感器數據，對采煤機的截割狀態進行數字孿生，創建一張能夠動態更新的精細化煤層導航地圖，提供實時、準確的導航路徑信息，并建立一個基于數字孿生的強化學習環境，實現物理與虛擬模型的交互，利用強化學習優化算法進行采煤機的數字孿生導航截割運動規劃。
1數字孿生模型構建理論
智采裝備數字孿生模型的構建是數字孿生技術的基礎和關鍵環節。因此，針對不同類型的智采裝備及其具體的應用需求，分析并構建包含相關模型信息的數字孿生模型[9-10]。MGDT = （PE; MDT;DBDT）
智采裝備數字孿生（MG Digital Twin，MGDT）包括物理實體模型（Physical Entity Model，PE）、孿生模型（Digital Twin Model， MDT） 、數據模型（DigitalTwin DataBase， DBDT） ， 即。
1.1智采裝備物理實體模型PE
PE是指對現實世界智采裝備功能和傳感器感知的虛擬表示， 包括MG 物理功能模型（PhysicalFunction Model， MGPFM） 和MG 物理傳感器模型（Physical Sensor Model， MGPSM） ，即PE=（MGPFM，MGPSM）。
采煤機是工作面智采裝備的核心。采煤機的MGPFM 由滾筒、搖臂、截割電動機、牽引行走部、控制箱、高壓箱等部分組成，可分為電氣、液壓、機械部分。采煤機的MGPSM 主要包括狀態感知、位置及姿態感知和截割狀態感知[7]。
1.2智采裝備孿生模型MDT
MDT= （M3dGM，Mmech）MDT 是實現數字孿生各項功能的基礎核心組件，包括三維幾何模型（Three Dimensional GeometricalModel， M3dGM） 和機理模型（Mechanical Model，Mmech），即。邏輯結構如圖2 所示。
以采煤機為例，M3dGM 模型是基于SolidWorks機械設計的三維模型，包含了裝備的幾何形狀信息。采用基于物理的渲染技術（Physically-BasedRendering， PBR） 對導入3DMAX 軟件后采煤機的SolidWorks 模型進行處理。采煤機整機經過PBR 渲染，對采煤機的顏色、粗糙度、高光屬性等分別進行處理，使采煤機展現出更真實的感覺。Mmech 是根據特定系統對象或過程的明確因果關系和內部交互作用機制機理建立起來的數學計算模型，分為物理模型（Physical Mechanical Model， MmechP） 、行為模型（Behavioral Mechanical Model， MmechB） 、知識模型（Knowledge Mechanical Model， MmechK） 3個部分，即Mmech = （MmechP，MmechB，MmechK）。
MmechP作為采煤機數字孿生導航截割運動規劃場景中的重要部分，在幾何模型的基礎上構建，結合了實際物理環境中的物理屬性、物理約束及物理外部載荷。該模型通常利用離散元（Discrete ElementMethod，DEM） 、有限元分析（Finite Element Method，FEM）軟件創建，是數字孿生模型的核心組成之一。MmechP 結合DEM，FEM 理論，能夠便捷地生成大量仿真數據，這些數據為采煤機導航截割運動規劃提供了基礎。通過對智采裝備仿真數據與智采工作面物理環境中裝備的傳感系統采集數據進行比較和校準，可以增強數字孿生模型的精度和對物理現實的再現還原能力。
MmechB利用物理機理描述并預測PE 在特定時空環境及外部動態因素影響下的行為。該模型涵蓋了PE 隨時空條件演化的行為和性能的變化，以及對智采工作面環境動態變化的響應能力。MmechB 是基于質量平衡方程、能量平衡方程、動量平衡方程及電氣基本定律等而獲得對象或過程的數學模型（常見的有力學模型、動力學模型、振動模型、載荷模型、疲勞模型、控制模型），為理解和預測智采裝備行為提供了重要手段。
MmechK 包含基礎規則模型和生成知識模型?；A規則模型基于歷史數據、專家經驗、行業規范與標準，形成一套既定且持續完善的知識規則機制。生成知識模型隨時間發展能夠自我更新與調整規則和知識，這部分主要依賴于機器學習算法，這些算法利用數據整合和挖掘功能，形成新的知識規則，從而增強模型的智能化分析、預測和控制能力。這種結構不僅確保了MmechK 的適應性，還提升了其決策的準確性和效率。
1.3智采裝備數據模型DBDT
DBDT融合了多模態、多維度數據，構成以時間及模型為索引的綜合數據平臺，包括PE 數據、MDT 數據、數模融合生成數據和知識數據。DBDT是數字孿生系統的核心動力，主要承擔全系統數據的整合、決策支持及優化預測功能。DBDT作為整個數字孿生體系的數據匯聚點，負責數據的集中存儲和備份。通過提供這些服務，DBDT為系統的應用功能提供了堅實的數據基礎，確保了系統的高效運行和信息的準確處理。DBDT分為原始數據（Primary Data）和生成數據（Generate Data）2類。這種分類結構不僅清晰地界定了數據的來源和功能，也為數據處理和應用提供了明確的框架。原始數據分為物理實體數據（PhysicalDBDT， DBDTP） 、數字孿生模型數據（Twins DBDT，DBDTT） 及原始知識數據（Knowledge DBDT，DBDTK） 。生成數據包括數模融合生成數據（Integrated DBDT，DBDTI）和生成知識數據（GenerateKnowledge DBDT，DBDTGK），即DBDT=（DBDTP，DBDTT，DBDTK，DBDTI，DBDTGK）。DBDT 的邏輯關系如圖3 所示。
DBDTP是指通過數字線程從采煤機導航截割過程中的智能采掘設備采集獲取的傳感器數據，包括采煤截割過程的狀態感知數據、設備性能感知數據、環境參數感知數據、突發擾動感知數據，是原始數據中的基礎底層數據。
DBDTT包含物理過程模型數據、驅動因素模型數據、環境擾動模型數據、運行機制模型數據、行為仿真數據、過程驗證數據、過程仿真數據，以及評估、分析、預測仿真數據。DBDTT代表從虛擬模型中提取的一系列仿真數據。雖然仿真數據準確性不如現實中的物理數據，但其主要優勢在于可以提供大量的樣本。此外，某些在實際環境中難以達到的工況或無法獲得的數據，可以通過DBDTT中的特定需求仿真數據進行補充。因此，在原始數據類別中，DBDTT構成了一個關鍵的數據源，使孿生模型在數據不足的情況下仍能維持其功能和效率。
DBDTK來源于煤礦行業經驗、生產歷史統計數據、煤礦專家知識庫及煤礦管理人員的邏輯推理。雖然這些數據因其主觀性帶來不穩定性和不確定性，但它們在補充數據結構的缺陷與空白方面表現出顯著的效用。因此，數字孿生系統通過其自適應性能，逐步對這類數據進行學習和演化處理，使其成為原始數據中的第3 類重要數據資源。這種處理方式極大地增強了系統的靈活性和應對復雜情況的能力。DBDTK 包含算法功能型服務數據、模型功能型服務數據、數據處理方法、行業標準、規則約束。
DBDTI和DBDTGK涵蓋轉換數據、預處理數據、分類數據、關聯數據和集成數據等多種形式，均是通過人工智能算法對原始數據進行深度挖掘后生成的。這些數據具備更高的觀察維度和更強的綜合性。在知識模型的指導及系統自我調整的作用下，這些數據逐漸構建出強大的決策支持和預測分析能力。在數字孿生體系中，這種數據不僅實現了價值增長，還促進了信息共享，提升了整個系統的效率和智能水平。
2數字孿生驅動交互演化理論
2.1數字孿生驅動運行機制
通過數字孿生技術有效地實施采煤機導航截割運動規劃的關鍵在于深入理解數字孿生的核心驅動機制[11]。本文將這些核心驅動機制劃分為MDT 模型驅動、DBDT數據驅動和服務驅動3 類，如圖4所示。三者構成了數字孿生運行自下而上的整體驅動機制，模型、數據、服務遞進式的關系驅動采煤機運動規劃的運行。
針對采煤機數字孿生導航截割運動規劃，將問題分為截割狀態數字孿生、動態導航地圖構建及基于強化學習的動態規劃。在以服務為導向的牽引下，MDT 模型驅動與DBDT 數據驅動將進行有效協同，應對采煤機數字孿生導航和截割運動規劃的3 個問題。
MDT 模型驅動是數字孿生的基礎驅動力，因此強調了模型高質量和高還原度的重要性。數字孿生的模型包括幾何模型、物理模型、行為模型及知識模型等，這些模型不僅提供了對物理對象的高精度刻畫，而且增強了系統的適應能力。
DBDT 數據驅動由各類目標數據的感知獲取、網絡傳輸、數據集融合和數據存儲管理等主要環節構成。在數字孿生的架構中，系統通過對大量的數據交互、歷史數據和預測數據進行深入分析和綜合處理，有效地解決服務驅動提出的問題。
數字孿生導航截割規劃是一個虛實交互循環迭代的過程，如圖5 所示。以采煤機導航截割運動規劃為對象， 將閉環管理邏輯設計為全面感知（Perception） 、融合分析（Analysis）、優化預測（Prediction）、規劃控制（Planning Control）4個部分。這4個部分相互依賴形成一個閉環系統，從而提升導航和截割任務的效率和精確性。
全面感知階段包括物理現實感知、孿生模型感知、仿真環境感知及孿生環境感知。目標是通過物理和數字孿生模型獲取盡可能全面的數據，以支持后續的分析和決策過程。
融合分析階段包括異常數據處理、融合算法構建、特征指標設計及主成分分析。目標是處理、整合及提煉收集的多源數據信息。
優化預測階段包括智能算法構建、計算模型訓練、預測模型評估及性能指標評價。目標是通過智能機器學習算法和模型來預測未來狀態，并優化系統性能，同時通過模型評估和性能指標評價提高預測的準確性。
規劃控制階段包括物理引擎設計、強化學習構建、策略梯度優化、價值函數優化。目標是將這些預測結果應用于實際操作，通過物理引擎的設計和強化學習技術優化決策過程，確保任務執行的高效性和精確性。
2.2數字孿生交互演化邏輯
在智采工作面物理空間，采煤機通過實時感知截割狀態并根據環境地質體的變化進行自主決策，以控制自身執行截割任務。在智采工作面孿生空間，采煤機智能體Agent實時感知數字孿生環境，并在自我組織、自我學習和自我優化的基礎上進行導航狀態解析和決策評估，實現安全高效的智能化決策。這種物理空間與數字孿生空間交互邏輯模式有效地增強了采煤機導航截割系統的整體性能和動態適應性[12]。利用數字孿生技術，采煤機的數字孿生導航截割運動規劃通過構建數據與模型的多維對應關系，實現了虛擬與現實間的交互與迭代優化，顯著提高了規劃效率與成效，如圖6 所示。
物理空間的采煤機導航截割基于感知自動化技術構建，描述了一個具備“自動感知、自動決策、自動執行”功能的感知智能運行過程。在物理空間中，“自動決策”功能是采煤機記憶截割運動決策的核心，也是感知智能化水平的關鍵體現。首先，通過實時傳感器數據采集獲取物理采煤機在智采工作面的運行狀態，實現對工作面環境的“自動感知”。其次，利用記憶截割映射技術將物理采煤機的運行狀態即時映射到記憶截割模型中，支持“自動決策”過程。然后，“自動決策”機制在記憶模型中處理數據并輸出實時導航結果，這些結果轉換為設備控制指令，通過記憶模擬控制實際設備，為“自動執行”階段提供必要的控制指令。最后，采煤機控制系統硬件將這些指令下發到相應的設備執行器，實現導航截割全過程的閉環反饋控制，確保物理采煤機的實時、準確運行，完成記憶截割任務的整個流程。這一系列步驟保證了采煤機導航的實時性和準確性。
在智采工作面孿生空間，數字孿生智采工作面為采煤機數字孿生導航截割運動規劃提供了核心支撐，并實現了從感知智能到認知智能的轉變，增強了整體決策與執行的智能化程度。數字孿生智采工作面基于采煤機智能體Agent 系統，具備“自主推演、自主學習、自主優化”的認知智能過程，突出智能體Agent 的自適應能力。
在數字孿生智采工作面的執行邏輯中，采煤機智能體Agent利用數字孿生的交互通信技術在數字孿生環境中工作，完成導航截割運動規劃任務，實現系統的“自主推演”。為提升智能體Agent 的決策性能，通過虛實映射技術驅動數字孿生采煤機在虛擬智采工作面運行，為智能體Agent 的訓練與學習提供仿真實環境支持。同時，使用人工智能強化學習算法，實現智能體Agent 的“自主學習”。為應對動態變化的智采工作面環境，智能體Agent系統利用智能算法和虛擬采煤機模型，通過持續的虛實交互改變虛擬環境，迭代優化采煤機的決策能力，增強導航系統的自適應性和整體性能。這一層邏輯確保了導航系統能有效適應環境變化，提高操作效率和精確性。
智采工作面采煤機數字孿生導航截割運動規劃依托數字孿生技術，通過實時數據感知、數字孿生模型與歷史數據綜合，精確刻畫物理采煤機當前狀態和變化趨勢，使智能體Agent 能高效地進行實時導航規劃決策。采煤機智能體Agent 利用數字孿生技術不斷與環境進行交互，通過強化學習智能算法來優化策略，提升導航決策能力。這一過程實現了煤礦數字孿生智采工作面系統從L1 虛擬模型階段到L2 基礎數字孿生階段，最終成功達到L3 自適應數字孿生階段[7]。
3采煤機數字孿生導航截割運動規劃系統構建
采煤機數字孿生導航截割運動規劃系統是以導航截割運動規劃為問題需求導向的集成數字孿生操作環境，實現物理空間與孿生空間的有效融合與交互?；趯底謱\生特性的分析，本研究探討了采煤機導航截割數字孿生構建的關鍵技術和運動規劃決策服務，系統架構包括物理感知層、綜合數據層、數模融合分析層及數字孿生服務層，如圖7所示。系統整合了現實中的采煤機導航截割過程、數字孿生模型組成的場景、數字孿生數據模型和面向功能的應用層。通過數字化手段將現實中的采煤機導航截割過程復制到數字孿生操作環境中，通過系統內各模塊的調用實現數據的自適應融合、智能分析和最優規劃。
3.1物理感知層
在數字孿生架構中，物理感知層負責收集物理實體的實時數據，這是整個系統運作的基礎。物理感知層需要對接交互的系統包括綜采工作面地質系統和智采工作面裝備狀態監控系統。通過安裝在物理設備上的各類傳感器與測量設備（如溫度、壓力和位置傳感器等）持續采集關鍵數據。這些數據在經過初步處理后，通過網絡層送往上層進行更深入的分析與應用。采用邊緣計算對數據進行初步分析，以減輕綜合數據層的數據處理壓力。
在采煤機數字孿生導航截割運動規劃系統中，采煤機既是生產設備，也集成了眾多傳感器、邊緣數據處理裝置和電控裝置，使以采煤機為核心的智采工作面裝備狀態監控系統不僅具備態勢綜合感知、數據融合計算功能，還擁有優化控制功能，成為一個綜合性的智能系統。這些系統構成了物理感知層?？紤]到各智能體分布在不同的子系統中，需要有效互動以確保互聯互通和互操作性，構建數字線程成為了物理感知層的核心任務。通過建立統一的數字線程，可以解決不同感知設備產生的多源異構數據交互問題，并在語義層面確保設備間的互聯互通。
3.2綜合數據層
構建采煤機數字孿生導航截割運動規劃系統依賴于大量數據的收集與處理，以確保數據模型的完整性。在物理實體層面，通過傳感器及其他感知設備采集智采裝備的實時運行狀態，采用信號轉換器將這些狀態轉換為數字信號進行傳輸。綜合數據層的任務是對這些海量的數據進行有效處理，提取出有價值的信息。智采工作面中的數據處理（Ptid）通常包括數據預處理（Dp） 、數據融合（Df） 、數據挖掘（Dm） 、數據應用（Da） 和數據管理（DMgt） ， 即Ptid =（DMgt;Dp;Df ;Dm;Da），供上層智能應用使用。此外，在數據傳輸過程中需考慮數據的安全性、實時性和完整性。
DBDT中的動態數據即智采裝備在測試和使用過程中收集的大量數據，包括地理信息數據、三維模型數據、算法模型數據、傳感器數據、系統運行數據、設備固有信息數據、虛擬實體數據和物理實體數據等。動態數據具有龐大的數據量、統一的數據結構、持續的數據添加及每個數據點的明確時間戳等特點，以實現對物理實體的高保真映射。
綜合數據層建立的數據模型必須符合：① 能快速寫入以匹配傳感器的采集頻率。② 通過適當的壓縮方法實現高效存儲，以減少存儲需求。③ 實現實時狀態映射，確保對物理空間的精準反映，以更好地支持數模融合分析層的需求。
3.3 數模融合分析層
數模融合分析層為采煤機數字孿生導航截割運動規劃系統的核心部分，涵蓋模型的構建、展示、同步、管理、校驗、組裝及融合7個關鍵環節[9]。由于采煤機的功能與結構復雜性，單一的機理模型難以全面描述其特性。通過創建幾何模型、物理模型、行為模型、數據驅動模型和知識模型，實現不同領域、多維度的融合，以更精確地刻畫采煤機的特性和功能。幾何模型展示采煤機的機械結構特征，并通過可視化技術進行直觀呈現。物理模型涵蓋巖石力學、齒輪動力學、電機學等領域。行為模型描述采煤機在動態場景下的行為演化。數據驅動模型依據人工智能算法對歷史數據進行分析，從數據角度解讀采煤機的行為。知識模型整合了采煤機全生命周期內的專業知識，用于支持智能決策過程。
智采工作面地質體模型與采煤機機理模型通過連接實時數據與模擬仿真進行更新，并利用數字線程支撐采煤機導航截割算法及控制模型。通過實時采集智采裝備傳感數據，可以反映設備的即時狀態和環境條件，這對系統的即時反饋和動態調控非常關鍵。
采煤機導航截割算法及控制模型結合傳感器數據和滾筒截割載荷模型，可以預測和分析截割部件在當前作業中所承受的力學載荷。截割部機電耦合模型將機械動力學行為與電氣系統性能進行集成分析，這種機電一體化的分析方法可以進一步提高采煤機的截割性能和能效。截割狀態識別與軌跡跟蹤技術利用機器學習技術分析傳感器數據，以識別設備的截割狀態，并根據預設或實時生成的軌跡進行精準導引。截割路徑及運動規劃算法用于計算最優的截割路徑和相應的設備運動策略。導航地圖修正算法則能夠實時更新和修正內部導航地圖，通過分析傳感器和外部數據源收集的信息來糾正地圖誤差，確保導航的準確性。
3.4數字孿生服務層
在采煤機數字孿生導航截割運動規劃系統中，數字孿生服務層主要提供采煤機截割狀態數字孿生、動態導航地圖數字孿生、數字孿生強化學習環境和強化學習運動規劃關鍵功能。這些功能在邏輯上形成遞進關系，相互銜接以提升系統的整體性能和效率。
3.4.1采煤機截割狀態數字孿生
采煤機截割狀態數字孿生是指利用數字孿生模型來創建一個采煤機截割過程的虛擬副本，用于在數字空間模擬、分析和優化采煤機的截割操作。采煤機的截割原理涵蓋地質、機械和電氣等多個領域。采煤機截割部機電耦合動力學模型包括截割電動機動態模型、齒輪系動力學模型[13]、截齒滾筒載荷[14-15]等。為了能準確地進行采煤機截割狀態數字孿生，建立相應的機理模型后還需要通過物理截割試驗[16-17]對機理模型進行試驗驗證，采煤機截割狀態數字孿生如圖8 所示。其中， λ 為感應電動勢；Te 為電磁轉矩；Tm 為截割電動機負載轉矩；TL 為滾筒扭矩；Σ 為滾筒上所有截齒受力F 的矢量和；定子三相軸線分別標記為A，B，C；轉子三相軸線分別標記為a，b，c；uA，uB， uC為定子側各相電壓；ua， ub，uc 為轉子側各相電壓；iA，iB，iC為定子電流；φg 為第g 個截齒的位置角；ω 為滾筒角速度；V 為滾筒速度；h 為滾筒截割厚度；Fi 為截齒截割載荷；Fj 為截齒截割法向載荷； Fk 為截齒截割側向載荷； d 為截割厚度；Vi 為截齒運行速度。
3.4.2動態導航地圖數字孿生
煤層初始三維模型的構建是一個由點到線再到面最后生成體的過程，如圖9所示。
首先，根據地面鉆孔數據、巷道揭露素描等數據（包括地質鉆探數據、運輸和通風巷道煤層數據、工作面煤層數據及煤層異構體數據），通過樣條曲線插值方法生成線模型（如區域頂板曲線、區域底板曲線及頂底煤層曲線）。然后，通過Kriging 曲面插值方法，生成工作面頂底板的不規則三角網絡（TriangulatedIrregular Network，TIN）面模型。最后，利用這些數據創建煤層初始三維模型。
神東某礦22214工作面煤層初始三維模型如圖10 所示， Xn， Yn， Zn 為導航坐標系（Navigation Coordinate System， NCS）n的三軸方向。
由于靜態地質數據構建的煤層初始三維模型精度不足，無法為采煤機截割運動規劃提供有效的地質導航。為提高截割路徑的精度，將煤層初始三維模型數據與采煤機的截割軌跡及生產揭露數據相融合，提出了動態導航地圖數字孿生方法，如圖11所示。
首先， 對生成的動態導航地圖沿工作面方向Yn和工作面推進方向Xn 進行地質體切片，如圖12所示。然后，根據形態相似性和共面性測量方法進行分層聚類[18]。最后，結合地質體切片數據及采煤機單次最大臥底量及生產工藝約束進行采煤機的截割路徑規劃[19]，如圖13 所示，其中Δγ 為采煤機橫滾角，Δf為下切深度，Δh為底板階梯高差。
3.4.3數字孿生強化學習環境構建
深度強化學習通過結合深度學習和強化學習原理，使機器人系統能夠在復雜的環境中學習最優的行動策略[20-21]。適用于采煤機導航截割運動規劃的深度強化學習算法需具備處理多維狀態空間和連續輸出的能力，如圖14所示。其中S為狀態空間；P為動作空間；R為獎勵，rt為即時獎勵函數，用于計算在t時間刻智能體給定狀態st下執行動作pt后，在t+1時間刻智能體預期從環境獲得的獎勵。
在強化學習中，環境直接影響了智能體的學習過程、策略選擇及最終性能。ML?Agents是一個利用Unity3D開發的開源框架，專為在虛擬環境中培訓智能體以完成多樣化的任務而設計。ML?Agents框架實現與外部環境的通信主要依賴于網絡協議，其中Python環境作為客戶端，而ML?Agents軟件扮演服務器角色， 二者通過套接字進行雙向通信， 如圖15所示。
在Unity3D中將全面且準確的動態地圖與裝備模型一同融入數字孿生環境，實現生產過程中所有元素的數字孿生化。通過數字孿生環境，對采煤機進行強化學習運動規劃，從而為實際生產提供更有效的指導。關鍵是利用虛擬現實引擎Unity3D構建強化學習環境，其中包括數字孿生的采煤機、刮板輸送機和液壓支架在三維煤層模型上的集成，總體研究框架如圖16 所示。
在Unity3D環境中，為實現模型受到重力的作用，對模型加入Rigidbody 組件及正確配置其屬性，如圖17 所示。數字孿生采煤機、刮板輸送機和液壓支架在重力作用下下落，并在接觸到虛擬復雜煤層底板后自適應地貼合上去。
將面模型轉換為體模型后，可以對生成的數據進行排序并存入數據庫，如圖18所示。當采煤機運行至特定位置時，可通過腳本提取這些數據，并實現對智采工作面煤層頂板輪廓位置的精確提取。
以采煤機的位置為索引，提取煤巖的屬性信息，并根據已建立的載荷模型，計算滾筒在行進方向上的截割阻力和滾筒扭矩。定義ShearerScript類，通過AddForce和AddTorque方法，分別將力和扭矩施加到滾筒對象上，從而精確模擬采煤機的截割運動，相關代碼見表1。
3.4.4強化學習運動規劃
在構建的數字孿生環境中，將深度Q 網絡?歸一化優勢函數（Deep Q-Network with Normalized AdvantageFunctions，DQN?NAF）與深度確定性策略梯度（Deep Deterministic Policy Gradient，DDPG）算法應用于采煤機運動規劃任務。在采煤機導航截割數字孿生深度強化學習運動規劃任務中，強化學習智能體控制數字孿生采煤機沿刮板輸送機運動到達目標區域。采煤機的牽引截割任務如圖19所示。
實際煤礦工作環境下，采煤機自身姿態隨煤層底板起伏而發生變化，需要調節左右截割部油缸使前后滾筒邊沿到達頂底板目標位置的一定范圍內。采煤機截割滾筒頂底板跟蹤任務環境如圖20所示。
訓練環境配置如下： 處理器為13代Intel?Core? i7?13700KF，主頻為3.40 GHz，配備NVIDIAGeForce RTX 3090獨立顯卡。通過Anaconda3創建Python 環境， 并安裝ML?Agents 軟件包。使用TensorBoard 2.11.2進行可視化。構建四場景加速模型訓練，如圖21所示，訓練結果如圖22 所示?？煽闯霾捎肈QN?NAF 和DDPG 2種深度強化學習算法對采煤機進行訓練后均取得了較好的效果。當訓練迭代步數超過120×103后，2種算法對于運動規劃任務都達到收斂。
DQN?NAF 和DDPG 的累計獎勵、價值函數更新的平均損失及策略損失函數的平均幅度曲線如圖23 所示。累計獎勵是指智能體在一段時間內獲得的總獎勵，用于衡量智能體在特定任務中的表現。價值函數更新的平均損失是評估學習算法在更新價值函數時預測準確性的指標，此損失基于價值預測與實際獲得的回報之間的差異進行計算，用于調整算法以更準確地預測未來回報。策略損失函數用于優化智能體的行為或決策規則，其平均幅度表示在更新策略時損失函數的平均變化量。從圖23可看出DQN?NAF 在累計獎勵上較DDPG 表現更優，這表明其在任務完成中的效率更高；DQN?NAF的平均損失低于DDPG， 表明其預測準確性更高；DDPG 算法在訓練過程中顯示出較大的波動性，表現出一定的不穩定性，并需要多次迭代才能收斂至較好的結果。說明在采煤機運動規劃任務中，DQN?NAF算法性能更優。
4結論
1）為提高采煤工作面的智能化水平，深入探討了采煤機數字孿生導航截割運動規劃的理論與方法，提出了一套完整的數字孿生理論和系統構建方法。①數字孿生理論研究。涉及智采工作面的物理場景、數字孿生模型的構建理論及數字孿生驅動交互與系統演化機制。② 數字孿生導航截割運動規劃系統構建。基于數字孿生理論，建立了采煤機數字孿生導航截割運動規劃系統。該系統集成了物理感知層、綜合數據層和數模融合分析層，實現了采煤機截割狀態的數字孿生、動態導航地圖的數字孿生及基于數字孿生的強化學習環境構建和運動規劃。③ 深度強化學習算法的應用。利用ML?Agents 構建了數字孿生環境，該環境集成了動態導航地圖和數字孿生采煤機、刮板輸送機和液壓支架，并利用物理引擎實現了采煤機截割狀態的數字孿生。
2） 比較了DQN?NAF和DDPG 2種深度強化學習算法在采煤機運動規劃任務中的應用效果。研究結果顯示，DQN?NAF算法在處理數字孿生運動規劃任務時展現了更佳的效果和穩定性。
