智能開采裝備全位姿測量及虛擬仿真控制技術

任懷偉，趙國瑞，周 杰，文治國，丁 艷，李帥帥

(1.天地科技股份有限公司 開采設計事業部，北京 100013; 2.煤炭科學研究總院 開采研究分院,北京 100013; 3.北京理工大學 宇航學院,北京 100081)

煤炭經過幾十年的持續大規模開發，淺部資源越來越少，開采深度不斷增加。深部開采面臨高地壓、高地溫及復雜地質條件等多因素制約[1]，作為井工開采核心作業系統的工作面綜采成套裝備(液壓支架、采煤機、刮板輸送機、轉載機及超前支護裝備等)，處于圍巖變形、礦壓沖擊的動態變化環境中，原本隊列整齊、協調一致的設備群會隨頂底板及煤層條件隨機傾斜、錯動，無法保持正常的空間位姿和力學狀態。例如，中煤新集口孜東礦為千米深井軟巖條件，直接頂為泥巖和砂質泥巖復合巖層，圍巖變形嚴重、礦壓顯現頻繁，這種條件下裝備位姿及受力變化極不規律。

現有的自動化開采裝備系統難以適應大幅動態變化的應用環境。圍繞這一難題，專家學者開展了大量研究，提出了很多新理論、新技術。王國法率先提出工作面綜采裝備群組自適應協同控制是突破復雜地質條件工作面自動連續開采的核心技術[2-8]。然而，綜采裝備群協同動作多、準確性及響應速度要求高，自適應控制面臨以下3方面難題:

(1)裝備群位姿監測問題。實現深部復雜條件下的綜采成套裝備工藝自動化、運動協同聯動首先要全面、實時、準確的感知每一臺裝備的空間位姿，從而確定其當前狀態值與期望值的偏差，給出控制策略和控制參數值[9]。目前針對“三機”設備位姿狀態測量主要有慣性測量、非接觸感應測量及視覺測量等方法。慣性測量是指利用慣性元件測得的三軸加速度和三軸角速度信息，并結合設備初始位姿信息，經過積分運算獲取設備的位置和姿態數據。采煤機姿態、液壓支架傾角、刮板輸送機直線度(LASC系統)等都是采用該類方法[10-13];非接觸感應測量是利用超聲波反射、紅外對射、激光傳感器等獲取采煤機與液壓支架、液壓支架之間等相互位置關系[14-16];視覺測量是近年來提出的井下信息采集新方法，借鑒視覺測量系統在工業領域的應用，由單參數測量到多參數測量，為解決刮板運輸機直線度測量與調直、液壓支架空間位姿實時監測等難題提供了技術途徑[17-18]。目前綜采裝備位姿監測的數據是局部、零散和相對的，無法全面描述復雜條件下的裝備狀況。

(2)綜采工作面裝備位姿一體化描述及驅動關系建模問題。工作面裝備之間的各種位姿關系目前還只能依靠多個獨立的監測系統分別獲取，沒有在一個系統中實現同步測量[19]。裝備之間在進行協調聯動控制時不能基于同一基準的空間位姿數據[20]。現有基于局部參數的動作觸發無法支持復雜地質條件下開采所需的裝備頻繁、準確、動態的運動控制需求。因此，必須建立綜采裝備整體坐標系和一體化描述及驅動模型，全面描述設備之間的全空間位姿，為自適應協同控制提供基礎數據和控制依據。

(3)基于真實數據驅動的虛擬現實控制技術。綜采裝備群自適應協同控制需要對感知到的數據進行分析計算、預測仿真和控制規劃，因而依托工業仿真與可視化技術的虛擬現實技術變得極為重要[21]。該技術可將物理空間中的實體映射為對應的信息空間虛擬對象，并通過真實數據驅動、智能分析、實時交互等實現對生產場景的虛擬仿真和裝備決策控制。基于真實數據驅動的虛擬現實技術在先進智能制造領域被稱為數字孿生(或數字雙胞胎)技術，是未來工業發展的關鍵技術，已經應用于機械裝備制造[22]、產品設計[23]、自動化生產線開發[24]等多個領域。煤炭行業也為引入該技術開展了大量的研究工作，提出了一種基于數字孿生的綜采工作面生產系統設計與運行模式[25-26]。設計了基于Unity3D的綜采工作面全景虛擬現實漫游系統，并實現了綜采設備的三維虛擬展示和運動仿真模擬[27]。雖然這些研究在三維建模、環境仿真等方面取得了進展，但還缺乏數據深入分析、運動關系約束、雙向數據驅動等方面的深入研究，因而并未形成真正驅動煤礦實際運行的生產力。

筆者提出了全位姿測量及虛擬仿真控制的智能開采模式，在綜采裝備群位姿監測、一體化描述及驅動關系建模和虛擬現實技術方面展開深入研究。提出融合視覺的工作面綜采裝備全位姿多參數測量技術，給出綜采裝備群統一坐標描述及驅動模型，開發基于Unity3D的綜采虛擬仿真系統，為突破工作面綜采裝備群自適應協同控制技術、解決復雜地質條件下工作面自動連續開采難題提供技術手段。

1 復雜條件智能開采模式及關鍵技術

在煤層賦存較好的簡單條件工作面，綜采裝備群在自動化系統控制下即可實現較高的生產效率，工人作業環境及勞動強度得到有效保障和明顯改善。從裝備群系統運行方式及開采模式的角度，簡單條件下的開采工藝、裝備及控制程序配置都是相對固定的。通過設定應對不同情況的開采工藝、結構及程序雖然可提高系統適應性，但并不能應對較大的開采條件變化。因此，簡單條件自動化更多的還是工人體力的延伸和替代，開采模式還處于“人-機”二元架構。

對于復雜地質條件而言，煤層賦存變化大、開采過程中突發影響因素多，自動化系統無法單獨連續運行，必須隨時人工干預才能完成開采工藝過程。這種方式不但開采效率低，而且人工控制的穩定性及作業安全性難以保證。因此，迫切需要創新復雜地質條件下的自適應開采技術，將工人的環境感知、分析計算及決策能力融入到自動控制系統中，形成一個能夠自主決策的智能化運行體系，從而與動態變化的開采環境自動適應，實現復雜煤層條件的安全高效開采。自適應的智能化運行系統能夠替代一部分人的大腦功能(基于虛擬仿真系統實現)，與反向控制(神經網絡)、環境裝備(軀干)共同組成一個完整的“三元體系”，形成復雜地質條件智能開采的運行模式，如圖1所示。

智能開采模式與自動開采模式最大的不同在于具有智能決策能力，而這種能力的實現并不是在系統中預設更多的解決方案，而是使系統擁有自主分析、推理和預測功能，然后才可以做出判斷和決策。類似于人腦，在做決定之前也是先對即將發生的狀況進行預演，分析可能的結果，并做出最終決策。“環境裝備-仿真模擬-反向控制”(Surrounding-Virtual-Control,SVC)三元體系的智能決策過程為:

環境裝備感知:獲取工作面地質條件、礦壓等環境參數，裝備運行狀態、設備性能、突發擾動等動態數據;驅動仿真模型實現三維場景鏡像。

仿真模擬計算:將工作面綜采裝備運行過程的空間位姿和圍巖地質參數、礦壓數據融合在一起，沿時間維度形成裝備運行的空間場模型及應力場模型，兩場數據疊加得出某一時刻圍巖形態、工作面采高及裝備直線度、仰俯角度等狀態，并判斷是否正常。

反向優化控制:基于恢復正常狀態、提升裝備運行效率和適應性目標，優化計算得出下一開采循環液壓支架支護阻力、最佳移架時間、采煤機割煤速度和采高、護幫板收放時間、頂板下沉量、刮板輸送機推移距離和上竄下滑量等運行控制參數;且每一截割循環完成后，均根據生成的實際數據自動重新修正后續模型和更新預測計算數據，保證預設控制和實際地質條件的吻合度，提升工作面運行質量。

為支撐SVC智能決策過程，給出融合視覺的裝備全位姿監測、工作面裝備位姿一體化描述及驅動關系建模、基于Unity3D的綜采虛擬仿真控制3項關鍵技術。復雜開采條件下智能開采關鍵技術架構如圖2所示，對于工作面開采來說，獲知裝備空間位姿數據是最為主要的，位姿測量可同時為虛擬仿真系統和分析計算提供數據。分析計算得出的結果和控制指令可通過數據接口傳輸給虛擬仿真系統的反向控制模塊，優化和更新控制參數以適應復雜地質條件。裝備位姿一體化描述及驅動建模為虛擬模型的運動仿真和分析計算提供支持。

圖2 復雜開采條件下智能開采關鍵技術架構Fig.2 Key technologies framework of smart mining under complex conditions

(1)融合視覺的裝備全位姿監測。

由于頂板破碎、底板松軟、煤壁片幫、礦壓顯現、煤層變化等地質條件變化嚴重影響著裝備的空間位姿、運行狀態及參數。如不能獲取裝備群空間全位姿參數，則無法驅動虛擬模型實時、準確模擬工作面裝備實際運動狀況。為此，建立融合視覺的裝備全位姿監測系統，將現有測量技術與視覺掃描、圖像識別技術[28]融合，實現井下復雜條件下采煤機、刮板輸送機和液壓支架位姿狀態的實時、精確、穩定測量。

(2)裝備位姿一體化描述及驅動關系建模。

綜采工作面裝備群的虛擬仿真模型需放在統一的空間下進行顯示和數據處理，因此后臺的空間坐標系及驅動模型也需要統一設置并實現一體化關聯建模。在裝備全位姿測量系統基礎上，在工作面空間設置統一的全局坐標系，將測量等得到的局部角度、距離、姿態數據等轉換到全局坐標系下進行計算;同時，裝備之間存在的空間關聯關系也采用數學模型進行一體化描述。另外，設備在偏離自身正常空間位置和姿態后，會和相鄰設備產生新的約束及驅動關系，這些關系既是位置的函數，也是時間的函數，同樣需要建立全面統一的時空模型來描述。

(3)基于Unity3D的綜采虛擬仿真控制技術。

虛擬仿真不是簡單的三維顯示，而是分析計算、推理決策的依據和載體。現有虛擬仿真系統雖然在顯示上能夠滿足需要，但在實時數據處理、分析計算及模擬、反向數據驅動等方面還缺乏深入研究。基于Unity3D的綜采虛擬仿真控制技術在實現三維建模、運動仿真的基礎上，就是要解決與實際數據接口、分析計算及控制鏈路生成問題，實現開采裝備的狀態監控和過程優化反向控制，形成數據交互、虛實鏡像、閉環反饋的智能開采支撐技術。

2 融合視覺的綜采裝備群全位姿多參數測量

綜采裝備群全位姿測量是虛擬仿真系統能否發揮作用的關鍵。以往的測量方法都是針對單一設備或者設備間的單一尺寸(角度)參數，沒有建立成套裝備完整的全空間位姿參數感知系統，因而無法同時獲取并準確描述某一時刻綜采裝備群的空間全貌。

2.1 工作面綜采裝備群全位姿參數

工作面綜采裝備全位姿測量是指通過位移傳感器、傾角傳感器、慣導、視覺等技術在一個測量系統下同時獲取能夠描述裝備群空間位姿參數的最小數據集。通過分析裝備之間的空間約束關系、位姿參數關聯關系等，給出了包括15個參數的綜采裝備群全位姿參數集。通過這15個參數可描述工作面裝備群在任意時刻的空間狀態，如圖3所示。

圖3 綜采裝備全位姿示意Fig.3 Full position and orientation diagram of longwall mining equipment

綜采裝備群全位姿參數集Pmq包含了采煤機、刮板輸送機和液壓支架自身的位姿參數及其相對位姿參數，其數學表達式為

Pmq={(Si|i=1～4),(Hj|j=5～9),

(Ck|k=10～12),(Rm|m=13～15)}

(1)

式中，Si為采煤機4個位姿參數，包括3個轉動傾角和搖臂高度;Hj為5個液壓支架位姿參數，包括底座繞Y軸傾角(與水平面夾角)，頂梁傾角(與水平面夾角)，支架高度，推移距離，護幫狀態;Ck為3個刮板輸送機位姿參數，包括水平彎曲(XOY平面內偏移基準線距離)，底板起伏(繞Y軸旋轉)，扭轉角度;Rm為設備間3個相對位姿，包括采煤機滾筒和支架護幫板距離，采煤機距刮板輸送機機頭距離，刮板輸送機中部槽與支架推桿的夾角。

由于不同設備的位姿有其自身的特點，同時獲取上述15個參數需要合理布置各類傳感器的位置和數量，測量精度也要能夠滿足控制需求，下面給出融合視覺的綜采裝備全位姿測量方案。

2.2 融合視覺的綜采裝備群全位姿測量方案

融合視覺的綜采裝備全位姿測量方案如圖4所示。安裝在采煤機上的慣導系統測量其沿3個軸的轉動角度S1，S2和S3，高精度軸編碼器測量搖臂轉動角度S4;行走輪軸編碼器測量采煤機行走位移R14;在液壓支架頂梁、連桿和底座上安裝傾角傳感器，測量支架整體姿態H5和H6，并計算支架高度H7;在支架推移千斤頂上安裝位移傳感器測量推移距離H8，在刮板輸送機上安裝光纖光柵測彎裝置監測水平彎曲度C10[29];C11和C12由S1，S3和H5融合計算得出;采煤機和支架之間的距離R13、刮板輸送機和支架之間的角度R15以及護幫板狀態H9可由視覺傳感器采集的圖像進行分析計算。這些傳感器先經過各自解算模塊得出精確可靠數值，再發送至統一的全位姿融合解算系統中，并連接至虛擬仿真模型。

圖4 綜采裝備全位姿測量方案Fig.4 Full position measurement scheme for longwall mining equipment

視覺測量受井下黑暗、粉塵等條件限制，測量效果依賴于攝像頭位置、角度及數量。以端頭液壓支架為基準布設視覺測量裝置，且每隔5～10架布置1個，用于測量液壓支架護幫板狀態、采煤機與液壓支架的相對位姿、液壓支架與刮板輸送機的相對位姿，并且通過多視覺測量裝置的融合還可以測量工作面的直線度。視覺測量裝置由其安裝所在的支架位姿監測裝置校正。在采煤機上安裝慣導系統，結合采煤機自帶的軸編碼器也可以實現采煤機的位姿測量和刮板輸送機的直線度測量，在有視覺測量融合糾正的情況下可以降低慣導系統的精度要求和矯正時間。上述測量方案一方面解決了相對位姿測量難題，另一方面大幅減少傳感器的用量，同時做了適量的測量數據冗余，大幅提高了測量系統可靠性。

2.3 基于設備特征點的視覺測量方法

將視覺測量原點定在工作面端頭，每隔5～10架布置一個視覺測量裝置，如圖5所示。

圖5 視覺測量裝置布置示意Fig.5 Schematic layout of visual measuring device

用于綜采裝備的測量時首先通過圖像識別出不同的綜采裝備，然后提取能夠解算姿態的設備特征點，例如支架頂梁、掩護梁平衡千斤頂鉸點，采煤機滾筒中心等。通過計算特征點間距離和偏斜角度即可得出相應的位姿結果。視覺測量系統有單目視覺測量、雙目視覺測量和多目視覺測量，這里以單目視覺測量為例建立其測量模型，如圖6所示。

圖6 單目視覺測量模型Fig.6 Single eye visual measurement model

圖7 PQ投影Fig.7 PQ projection

攝像頭安裝在點O處，高度為h。如圖7所示，其中，θ1為攝像頭視線中軸與水平方向的夾角;θ2為攝像頭視線中軸與垂直地面方向的夾角;α為攝像頭視窗最左側與最右側之間的夾角;β為攝像頭視窗最上端與最下端之間的夾角，單目相機獲取的為橫向像素為a、垂直像素為b的視覺圖像;O為視覺測量原點;P，Q為固定的測量特征點;M，N為P，Q兩點在單目相機成像單元上的對應點。根據單目攝像頭的成像原理，自圖像頂端起垂直方向上第m個像素與第m+1個像素間的實際投影距離y[m]為

(2)

式中，m=0,1,2，…，a-1。

同理可得水平方向上第n個像素與第n+1個像素間的實際投影距離x[m]為

(3)

式中，n=0,1,2，…，b-1。

設P，Q兩點在相機中對應點M，N的坐標值分別為(i，s)和(j，t)，則P，Q垂直投影長度l1為

(4)

P,Q水平投影長度l2為

(5)

可求得PQ的長度l為

(6)

P，Q與水平面的夾角φ為

(7)

同理,可求得設備在其他各方向上的姿態角。

結合綜采設備特征點的識別，可依據以上方法解算出綜采設備的姿態角和相對位置關系，實現綜采裝備單一傳感器多位姿參量的測量。

3 綜采裝備群位姿一體化描述及驅動關系建模

3.1 工作面三機全局坐標系及局部坐標系

工作面全局坐標系應該能夠簡單、便捷、惟一的描述和計算綜采裝備在空間的任何姿態。如圖8所示，這里提出一種全局坐標系的建立方式，以工作面底板平面、轉載機長度方向豎向中心對稱平面和刮板輸送機中心對稱平面構成統一坐標系的基準平面;其中，3個平面交點為坐標原點O，以工作面長度方向為X軸正方向，工作面推進方向為Y軸正方向，垂直向上方向為Z軸正方向。

為將傳感器測量得到的局部相對位姿關系在全局坐標系中描述，首先在裝備上建立局部坐標系，再將局部坐標系下的位置信息轉化到全局坐標系下:

(1)液壓支架局部坐標系。以液壓支架與刮板輸送機連接十字頭的中心交點為液壓支架局部坐標系坐標原點Ohj，以平行于底板、穿過液壓支架局部坐標系原點的平面作為底平面，以支架底座寬度方向為X軸方向，以支架底座長度方向為Y軸方向，垂直向上方向為Z軸正方向。

(2)采煤機局部坐標系:以采煤機幾何中心為局部坐標系坐標原點Os，以所述采煤機機身長度方向為X軸方向，以工作面采煤推進方向為Y軸正方向，以垂直向上方向為Z軸正方向。

(3)刮板輸送機局部坐標系:以中部槽長度方向中心平面、液壓支架與刮板輸送機連接十字頭中心交點并與中部槽底板平行的平面和中部槽垂直方向中心平面為3個基準平面，以3面交點為刮板輸送機局部坐標系坐標原點。以工作面走向長度方向為X軸正方向，工作面推進方向為Y軸正方向，垂直向上方向為Z軸正方向。其中每個工作面包含多個液壓支架，每個刮板輸送機包含多節溜槽，每個液壓支架和刮板輸送機溜槽對應一個局部坐標系。

3.2 坐標系轉換及驅動關系建模

3.2.1局部坐標系統與全局坐標系轉換

(8)

(9)

繞X，Y，Z軸旋轉矩陣Rx(α′)，Ry(β′)，Rz(γ)可表示為

(10)

(11)

(12)

故計算可得方向余弦矩陣的表達式為

(13)

方向余弦矩陣中各元素均會隨著設備移動而變化，全位姿監測系統得出的數據均可通過上述方法實時轉換為統一的空間位姿數據，從而驅動虛擬仿真系統中設備模型的每一個運動單元。采煤機和每個液壓支架均需通過坐標系變換計算和確定自身在某一時刻的位姿。由于液壓支架數量多，且在推進過程中涉及收護幫板、降柱、調架、升柱、推移等過程，因此液壓支架不僅在工作面中的位置及整體位姿在不斷變化，其內部結構的相互位置關系也會發生變化，需要較多傳感器進行監測，坐標轉換和計算量較大。

3.2.2采煤機位姿驅動關系建模

采煤機是工作面關鍵裝備，其空間位姿十分重要，直接關系到工作面頂底板形態及割煤質量。由于采煤機沿刮板輸送機行走，故其空間位姿與刮板輸送機位姿直接關聯。目前采煤機位姿雖然可以通過慣導系統直接求出，但需要對加速度傳感器進行兩次積分，對加速度傳感器的精度要求較高;而且在實際工作過程中，采煤機開機時需要對慣導進行較長時間的初始化來確定采煤機的初始位姿，從而影響工作面生產。為解決這一問題，在虛擬仿真系統中可通過采煤機和刮板輸送機之間的接觸和驅動關系計算出采煤機在各個方向上的位置和角度。

如圖9所示[27,30]，設采煤機運行一段時間后位于刮板輸送機第n節中部槽上，其一端支撐滑靴左端位于中部槽P點處，O1為支撐滑靴特征點，則根據幾何關系，可計算得到支撐滑靴特征點的坐標(xB2,yB2,zB2)[27]為

其中，βi，βn分別為第i節和第n節刮板輸送機中部槽與全局坐標系X軸夾角;γi，γn分別為第i節和第n節刮板輸送機中部槽與全局坐標系Y軸夾角;Lc為每節中部槽長度;Ln為支撐滑靴端點至第n節中部槽起點處距離;θ為支撐滑靴端點至關鍵點連線與地面夾角;L1為支撐滑靴端點至關鍵點之間的距離，夾角與距離由滑靴型號確定，為已知量。采煤機在運行過程中可由紅外傳感器確定支撐滑靴X坐標，從而通過式(14)確定滑靴關鍵點在全局坐標系下其Y軸及Z軸坐標。由于采煤機機身與支撐滑靴為固連關系，故可通過采煤機出廠時尺寸確定在采煤機局部坐標系下支撐滑靴關鍵點的坐標。

圖9 支撐滑靴與刮板輸送機中部槽位置關系Fig.9 Position between of the slipper and the middle slot of conveyor

設采煤機機身及2個支撐滑靴關鍵點在采煤機局部坐標系下的坐標分別為(XA1，YA1，ZA1),(XA2，YA2，ZA2),(XA3，YA3，ZA3),在全局坐標系下的坐標分別為(XB1，YB1，ZB1),(XB2，YB2，ZB2),(XB3，YB3，ZB3)。為計算方便，可在三維空間中將局部坐標系到全局坐標系的變換關系分解為移動和旋轉兩個矩陣，則對于采煤機機身任一點，存在以下轉換關系:

(15)

其中，移動矩陣可由采煤機局部坐標系在全局坐標系下的坐標確定，因此求解該變換關系，只需要求解旋轉矩陣R即可。為求解旋轉矩陣R，可構造反對稱矩陣A:

(16)

可設旋轉矩陣R為

(17)

式中，I為3×3的單位矩陣。

將其中一個滑靴關鍵點代入式(15)并使其與采煤機局部坐標系原點相減可得

(18)

其中，XA1,YA1,ZA1分別為在采煤機局部坐標系下該支撐滑靴關鍵點的坐標;XB1,YB1,ZB1分別為在全局坐標系下該支撐滑靴關鍵點坐標。類似地，將另一支撐滑靴關鍵點坐標代入式(15)，可得

(19)

將式(18)，(19)分別代入式(16)，(17)展開計算，可得

(20)

將a1，a2，a3代入式(16)，(17)即可計算得到旋轉矩陣。通過該方法得到的旋轉矩陣可與通過慣導系統直接測量采煤機機身的偏轉角度得到的旋轉矩陣進行對比，若二者不一致，可對兩種方法設定置信度，提高監測精度。此外，采煤機慣導設備發生故障時，也可通過這種方法對采煤機的位姿進行監測。

3.2.3刮板輸送機三維空間彎曲姿態建模

在全局坐標系中，刮板輸送機中部槽的分布狀態如圖10所示。

圖10 刮板輸送機三維空間彎曲形態Fig.10 Space bending trend of the scraper conveyor

每節中部槽的長度Lc由刮板輸送機的型號確定，每節中部槽與各坐標軸夾角αn,βn,γn可由對應中部槽上的液壓支架底座傾角傳感器測量得到，則可得到刮板輸送機空間分段函數為

(21)

其中，xn,yn,zn分別為第n節中部槽在末端在X，Y，Z軸上投影的坐標，其值可通過式(22)計算得到

(22)

刮板輸送機在綜采工作面可視為柔性體，通過式(21)，(22)可確定在全局坐標系下每節刮板輸送機中部槽的空間坐標分布，將坐標數據輸入虛擬仿真系統中便可實現刮板輸送機的空間位姿重現。

4 基于Unity3D的綜采裝備虛擬仿真系統

在基于Unity3D的三維引擎實現綜采裝備三維建模、運動仿真、與煤層信息交互等方面目前已經開展了深入的研究，并取得顯著進展[21,23,25-32]。依前所述，本文主要解決與實際數據接口、分析推理及反向控制鏈路生成問題。在已有技術基礎上建立井下工作場景、裝備、工藝流程的虛擬建模，實現井下綜采裝備開采過程的動態仿真。通過數據接口與基于全位姿測量系統融合，全面獲取實際工況下裝備位姿信息，基于坐標變換和驅動模型實現對綜采裝備的分析計算和模擬優化，通過反向控制鏈路實現對裝備虛擬模型和實際裝備體的閉環控制。

綜采裝備虛擬仿真系統采用模塊化思想開發設計，系統組成框圖如圖11所示，整個系統分為視景仿真與運動仿真、場景生成、數據接口和分析計算及模擬優化控制4個主要模塊。

視景仿真與運動仿真模塊通過數據接口采集模型數據，對工作面綜采裝備狀態進行重構，包含液壓支架、刮板輸送機、采煤機單機運動模型，完成設備的運動過程模擬，并將設備模型傳入仿真場景中，進行設備間的協同仿真。場景生成模塊通過數據接口采集環境數據，對井下三維環境進行重構，包含工作面頂底板、煤壁等關鍵參數，經工作環境模擬及觀測視點設置，將重構的場景數據傳入仿真場景中。上述2個模塊的數據在仿真場景中融合，在分析計算及模擬優化控制模塊的支持下生成某一時刻綜采工作面實際狀態數據，基于消除誤差、提升裝備運行效率和適應性目標，優化計算得出下一開采循環控制參數。最后通過反向鏈路傳回仿真模塊完成圖形界面顯示，并對工作面裝備實現反向控制。

圖11 綜采裝備虛擬仿真系統架構Fig.11 Architecture of virtual simulation system for longwall mining equipment

4.1 視景仿真與運動仿真

4.1.1綜采裝備和場景模型建立

利用Creo,Solidworks,UG等三維軟件完成綜采裝備三維建模并導入Unity3D。在Unity3D中對不同模型、不同部件進行父子關系約束，建立坐標系及碰撞運動規則，完成工作面綜采裝備虛擬仿真模型的建立。通過Unity3D軟件場景生成模塊，利用Line Renderer線渲染器及Mesh網格組件完成工作面圍巖環境的構建[21]。本文搭建的工作面綜采裝備虛擬仿真系統如圖12所示。

圖12 工作面綜采裝備虛擬仿真系統Fig.12 Virtual system of longwall mining equipment in mining face

4.1.2單機裝備及裝備群協同運動仿真

在完成單機裝備建模、通訊接口、運動約束的基礎上，依據裝備位姿一體化描述及驅動關系模型，利用C#語言編寫綜采裝備群協同運動關系腳本，滿足裝備實際運行時的邏輯關系，并實現裝備反向控制。

(1)液壓支架運動仿真

液壓支架的運動仿真狀態主要包括:收護幫板、降柱、移架、升柱、伸護幫板、推溜。升、降柱過程中液壓支架整體做協同運動[30-31]。液壓支架模型運動通過HydropressActivity腳本控制，首先建立各個動作的子函數HydropressUP()，HydropressDown()，HydropressUnfold()等，運用條件判斷語句將各個動作函數連接起來。在控制仿真過程中，通過輸入指令控制函數執行[33]。經過運行測試，液壓支架的仿真模擬狀態均可實現。圖13為伸護幫板和推溜狀態。

圖13 液壓支架虛擬仿真控制Fig.13 Virtual simulation and control of hydraulic support

(2)采煤機運動仿真

采煤機單機運動過程主要包括:滾筒切割煤層、采煤機直線運動、搖臂旋轉、采煤機在巷道端點的轉向、采煤機切割深度推進。按照采煤機的機身、搖臂和滾筒的不同運動方式將其劃分為3個節點層次，其中機身為父節點，搖臂為一級子節點，滾筒作為二級子節點。根據采煤機控制的邏輯創建節點樹，操作父節點時帶動其各個子節點，各子節點操作都相對于父節點。采煤機的運動仿真通過CoalMachineMove腳本控制，對于采煤機各部件的移動和旋轉，通過調用Transform引擎組件的平移Translate()與旋轉Rotate()成員函數實現。采煤機左行割煤和右行割煤控制如圖14所示。

(3)刮板輸送機運動仿真

采用分段建立的方式將刮板輸送機模型加載到仿真系統中。刮板輸送機沿走向推移過程的運動仿真通過ConveyorActivity腳本控制，輸送煤塊的運動過程仿真通過腳本ChainActivity控制。在液壓支架推溜過程中，刮板輸送機以液壓支架為支點進行前移，在不同液壓支架推移油缸時間差作用下刮板輸送機成近似彎曲狀態,如圖15所示。

(4)綜采裝備群協同運動仿真

在單機裝備運動仿真的基礎上進行綜采裝備群協同運動仿真，場景中每個模型和每個模型零部件都是獨立的，它們之間的運動需要建立父子關系和運動驅動方程來實現。裝備群協同仿真流程如圖16所示。

圖16 綜采裝備群協同運動仿真流程Fig.16 Flow chart of collaborative movement simulation for mining equipment

4.2 實時數據通訊接口

虛擬仿真系統與全位姿監測系統、礦壓監測分析系統等設置實時通訊的底層數據接口，以實現綜采裝備實際運行狀態再現。該數據接口可基于ODBC協議實現與系統關聯數據庫的動態交互，提供按數據結構打包、解析以及結構與變量映射轉換功能，滿足異構數據的交互需求;同時數據接口兼容Profibus,CAN,Modbus,RS232/485等現場總線通訊協議，數據接口外部參數與虛擬仿真模型驅動因子一一對應。接口設置了數據存儲處理單元，對接收到的外部數據信息進行處理，過濾偏差較大且不滿足實際工況的數據，存儲可靠數據，便于進行裝備運行狀態推演計算、驅動虛擬模型運動，此外可生成歷史數據變動趨勢、設備關鍵參數時移曲線等數據分析圖表，實現基于外部系統真實數據驅動的裝備與環境狀態實時動態監測。

4.3 分析計算及模擬優化

分析計算及模擬優化是系統后臺運行服務的核心，也是進行智能決策的關鍵。綜采裝備運行參數的決策需要在裝備位姿與受力狀態融合分析計算的基礎上做出，因此重點是建立裝備在不同情況下的融合計算模型。裝備分析計算及模擬優化模塊在實際工況感知數據的基礎上，建立一般條件下的裝備空間位姿和受力狀態耦合數學模型，通過融合解算可得出任一時刻裝備的穩定性和力學狀態。

例如，通過受力分析和應用力(矩)平衡原理，可建立液壓支架單元頂梁載荷、支架-煤巖摩擦因數、支架結構參數及工作面傾角之間的統一數學模型，如圖17所示，可采用式(23)表示

Qesinθcosφ+Gasinθcosφ+f2Qsinθcosθcosφ+

QcosφcosθLQO2+GcosφcosθLGO2+f2Qcosφcosθh=

Qsinφcosθh+Gsinφcosθhg+

sinφcosθRLRO2+Rcsinθ

∑Fy=0,(Q+G)cosφcosθ=R

∑Fx=0,(Q+G)(sinφ+sinθ)=

f1(sinφ+sinθ)+f2Qcosαcosθ

∑Fz=0,(Q+G)(sinφ+sinθ)=

f1cosθR+f2Qcosφcosθ

(23)

其中，Q為液壓支架所受頂板壓力;G為液壓支架重力;f2為液壓支架頂梁與頂板之間摩擦因數;f1為液壓支架底座與底板之間摩擦因數;R為底板對液壓支架支撐力;e為液壓支架頂梁載荷作用點與底座原點水平距離;a為液壓支架質心與底座原點水平距離;LQO2為液壓支架頂梁載荷作用點與底座原點水平距離;LGO2為液壓支架質心與底座原點水平距離;LRO2為底板支撐力作用點與底座原點水平距離;h為液壓支架頂梁距底座高度;hg為液壓支架重心高度;φ為液壓支架頂梁仰角;θ為液壓支架底座與水平夾角;∑Fy，∑Fx，∑Fz分別為y軸、x軸、z軸的合力。

圖17 綜采裝備分析計算及模擬優化Fig.17 Analysis calculation and simulation optimization of longwall mining equipment

利用上述數學模型可計算支架是否處于壓力可控區或姿態失穩區，并結合具體調整目標確定出模型中的力學參數取值，給出決定該取值一組最佳的控制參數，包括液壓支架支護阻力、最佳移架時間、頂板下沉量等。類似的，可計算得出充分滿足現場復雜地質條件下裝備自動運行需求的控制參數集。這些參數在實際運行之前傳回視景仿真與運動仿真模塊中模擬效果。若運行結果與優化預期不符則重新進入參數優化計算過程，直至達到預期的控制效果，從而避免沖突、有潛在風險的開采工藝。

4.4 反向閉環控制

分析計算及模擬優化得到的綜采裝備運行參數通過網絡傳輸至采煤工作面的回采巷道集控中心主機，并通過井下環網傳輸至綜采裝備控制器(基于PLC，ARM或DSP架構)。綜采裝備控制器對接收到的控制信號進行判別，若控制參數不符合當前綜采裝備控制器的工作條件，則向虛擬仿真系統發出反饋信號，請求重新計算控制參數。控制參數經裝備自身控制系統確認后通過現場總線通訊協傳輸至綜采裝備執行機構，執行虛擬仿真系統所產生的控制命令。

虛擬仿真系統基于可靠的數據鏈路和控制邏輯與外界控制系統進行數據交互，執行自動化控制。同時，仿真系統通過數據接口實時獲取當前工作循環中綜采裝備與環境狀態監測變量的動態數據，利用數據分析處理單元完成數據的提取、篩選和結構化。

上述基于Unity3D的綜采裝備虛擬仿真系統模塊支撐了與外部數據通信、仿真場景與綜采裝備運行狀態的實時映射，實現了基于真實數據驅動的反向控制，形成數據交互、虛實鏡像、閉環反饋的復雜條件智能化開采技術路徑。

5 虛擬仿真控制系統開發及試驗驗證

中煤新集口孜東礦140502工作面是“十三五”國家重點研發計劃課題“千米深井超長工作面圍巖自適應智能控制開采技術”的示范工作面。目前，該工作面已經開始掘進，綜采成套裝備已基本制造完成，預計于2020年9月開始開采。該煤層賦存條件較為復雜，埋深1 000 m，平均厚度6.56 m，平均傾角14°，局部20°，俯采最大角度17°。從該礦已經開采的121304工作面(工作面長350 m)設備運行情況來看，受破碎頂板、礦山壓力、圍巖變形等條件的影響，裝備空間位姿與正常狀態偏離，液壓支架扭轉、刮板輸送機彎曲和底板起伏嚴重(圖18)，需要人工不停的控制調整，給工作面正常生產和安全性造成很大影響。

圖18 口孜東礦121304工作面設備運行情況Fig.18 Mining equipment working in Kouzidong Coal Mine

140502工作面是5號煤的首采工作面，從目前已經揭露的煤層條件判斷，與121304工作面條件類似。因此，為更好的控制新工作面裝備運行狀態、避免裝備再次出現較大的位姿偏離，研發了復雜條件下智能開采裝備全位姿測量及虛擬仿真控制系統。140502工作面主要綜采裝備參數見表1。

表1 140502工作面綜采裝備參數
Table 1 140502 longwall mining face equipment parameter

序號設備名稱參考型號1中部支架ZZ18000/33/72D過渡支架ZZG18000/29/60D2采煤機SL10003刮板輸送機SGZ1250/3×10004轉載機SZZ1350/7005破碎機PCM400

復雜條件下智能開采裝備全位姿測量及虛擬仿真控制系統基于上述設備參數和140502工作面地質條件參數構建;包括全位姿測量系統、圍巖礦壓分析模塊、視覺測量模塊和控制決策模塊，如圖19所示。

該系統在實驗室建立了全位姿測量系統樣機，研制了四目視覺測量裝置并進行了井下試驗，如圖20所示，同時識別監測護幫板角度、采煤機滾筒位置等信息。識別檢測的支架數大于5架，圖像解算時間小于0.5 s，支架頂梁測量角度誤差在0.4°～1.2°。系統仿真運行過程在實驗室進行，礦壓分析模塊同步加載現場采集的實測礦壓數據，全面模擬設備響應情況。決策控制系統可根據運行狀態、工藝需求、分析和預測結果做出響應。虛擬仿真系統同時也是實時數據驅動的三維操控平臺，可將控制命令傳輸至設備控制器，反向驅動實際物理裝備適應工作面工況條件。

圖19 復雜條件下智能開采裝備全位姿測量及虛擬仿真控制系統Fig.19 All position and orientation measurement and virtual simulation system for smart mining equipment under complex conditions

圖20 視覺測量系統井下試驗Fig.20 Visual measure system test in mine

目前，該系統完成了整體構建，在實驗室完成了系統數據獲取、遠程通信、協議互通和雙向驅動等試驗。三維虛擬模型可根據采集的數據實時驅動采煤機滾筒旋轉、搖臂達到指定位置并沿刮板輸送機運移割煤，液壓支架根據采煤機位置依序執行收護幫板、擦頂移架、伸護幫板、推溜等動作，刮板輸送機隨支架推溜動作呈現正確彎曲狀態;頂板、煤壁隨液壓支架和采煤機的持續推進實現連續垮落。融合視覺的全位姿測量模塊完成了井下測試。待綜采裝備具備安裝條件后，隨即開展井下試驗，對整個系統的功能、可靠性和穩定性進行全面驗證。

6 結 論

(1)提出融合視覺的工作面綜采裝備全位姿多參數測量技術。針對現有測量系統單一、位姿參數不全面的問題，通過位移傳感器、傾角傳感器、慣導、視覺等技術在1個測量系統下同時獲取能夠描述裝備群空間位姿的15個參數，建立融合視覺的綜采裝備群全位姿測量方案，合理布置各類傳感器的位置和數量，同時獲取綜采裝備群空間位姿的多個參數。

(2)給出綜采裝備群統一坐標描述及驅動模型。為能夠簡單、便捷、唯一的描述和計算裝備在三維空間的任何姿態，建立特定的全局和局部坐標系，全面描述綜采裝備群整體空間位姿狀態;建立了采煤機和刮板輸送機的位姿驅動關系模型和刮板輸送機三維空間彎曲姿態模型，為在虛擬仿真系統中實現綜采裝備空間位姿重現提供技術支撐。

(3)開發基于Unity3D的綜采虛擬仿真控制系統。建立井下特定工作場景、裝備、工藝流程的虛擬模型，設置可與全位姿測量系統通信的底層數據接口，驅動單機裝備及裝備群協同運動仿真，滿足裝備實際運行邏輯關系，決策控制模塊實現綜采裝備反向控制。

經過實驗室和井下測試，全位姿測量及虛擬仿真控制系統可以實現工作面裝備協同運動仿真，基于真實數據驅動的工作面設備狀態展示，具有對工作面裝備運行狀態實時監測和反向控制能力。本文的研究為提升綜采智能化系統的外部環境自適應能力、解決復雜地質條件工作面自動連續開采難題提供了有效的支撐技術手段。