煤礦掘進機器人虛擬仿真與遠程控制系統

張旭輝， 陳利， 馬宏偉， 毛清華， 杜昱陽， 趙友軍

(1.西安科技大學 機械工程學院， 陜西 西安 710054； 2.西安煤礦機械有限公司， 陜西 西安 710032)

經驗交流

煤礦掘進機器人虛擬仿真與遠程控制系統

張旭輝1,2， 陳利1， 馬宏偉1， 毛清華1， 杜昱陽1， 趙友軍2

(1.西安科技大學 機械工程學院， 陜西 西安 710054； 2.西安煤礦機械有限公司， 陜西 西安 710032)

針對現有掘進機視頻監控和遙測遙控等監控方式存在圖像不清晰、無法真實反映掘進機位姿和工況狀態等問題，提出了一種煤礦掘進機器人虛擬仿真與遠程控制系統，介紹了系統方案設計，對掘進機器人改進設計、虛擬仿真遠程監控平臺、掘進機器人控制模型等關鍵技術進行了研究。該系統利用虛擬現實技術有機整合井下操作人員、掘進機器人和井下環境信息，以掘進機器人自動掘進和遠程人工干預為目的，實現了掘進過程的運動控制和巷道成型掘進控制功能。實驗結果驗證了該系統的有效性和良好的控制性能。

煤炭開采； 綜掘工作面； 掘進機器人； 自動掘進； 巷道自動成型控制； 虛擬現實

0 引言

傳統煤礦巷道掘進設備的自動化、智能化程度較低，依靠操作人員實現截割斷面成型控制和掘進機位姿調整，會產生截割斷面超挖、欠挖多發等問題，且掘進效率低下，致使采掘失衡，嚴重影響了煤礦井下開采的組織節拍。目前井下掘進機監控方式主要包括視頻監控和遙測遙控。由于煤礦井下環境復雜、粉塵較多，導致這2種方式的監控圖像不清晰，監控人員無法得到真實的掘進機位姿和工況等信息。綜掘工作面自動化程度已成為制約煤礦安全高效生產的關鍵環節[1]。高效自動掘進設備是近年的研究熱點，國內研究機構和學者在掘進機自動控制方面的研究成果顯著。中國礦業大學吳淼教授主持完成國家高技術研究發展計劃(863計劃)項目“掘進機遠程控制技術及監測系統”，在懸臂式掘進機近點遙控、井下遙控、地面監測和自動截割成型控制等方面取得了較大進展[2]。神華集團有限責任公司研發出全斷面煤巷快速自動化掘進系統及關鍵裝備，成功實現最高月進尺超過4 000 m的目標。上述2種巷道成型控制方案和實現方式不同，均有效地提高了掘進系統的自動化水平。通過吸收國內外成熟先進的自動化和信息化技術，國內學者對掘進機定位導向等全過程進行了數字化表達，以實現無人作業目標[3]。筆者在參考文獻[4]中提出借助虛擬現實技術輔助決策掘進機等煤礦井下設備的遠程控制，將群機器人理念用于煤礦綜采、綜掘工程應用，并建立了一系列實驗平臺，系統地進行研究，實現了控制人員、掘進機器人、井下巷道環境信息的良好交互，為操作者提供了良好的遠程人工干預決策支持。

本文設計了一種煤礦掘進機器人虛擬仿真與遠程控制系統，可有效提高掘進機器人自動掘進和成型掘進的能力；利用虛擬現實技術，構建了一種浸入感強、交互性好的掘進機器人遠程監控平臺，完成掘進機器人的自動掘進和遠程人為干預，使自動掘進工作安全、高效進行，實現不同斷面形狀巷道的少人甚至無人掘進。

1 系統組成及工作原理

基于虛擬現實技術的煤礦掘進機器人虛擬仿真與遠程控制系統由虛擬操控平臺、虛擬現實遠程監控平臺、掘進機器人、機身傳感器和機載控制器組成，如圖1所示。虛擬操控平臺由操控臺、數據庫、虛擬現實數據接口和高速數據采集卡組成，以實現掘進機器人遠程控制命令的發送。虛擬現實遠程監控平臺由虛擬掘進機器人與綜掘場景模型、燈光、相機和人機交互界面組成，實現掘進機器人工作狀態的真實再現和數據監測功能。掘進機器人是一種可編程的高自動化掘進機，為了執行不同的掘進任務而具有可用電腦改變和可編程動作的能力。機身傳感器用于測量掘進機器人位姿工況信息，為掘進機器人的定位和掘進提供依據。機載控制器完成掘進機器人本地控制、掘進機器人主要部件工況參數的預處理和特征提取。

圖1 系統組成及工作原理

虛擬操控平臺發送控制指令，控制信號由高速數據采集卡和虛擬現實數據接口進行采集并分類存入數據庫。在虛擬現實遠程監控平臺中，Quest 3D虛擬現實軟件程序讀取數據庫中的控制指令，將其通過通信總線發送給掘進機器人機載控制器，以驅動井下掘進機器人運動。同時，虛擬操控平臺控制指令驅動虛擬掘進機器人運動，實現虛擬掘進機器人與井下掘進機器人同步動作。掘進作業時，虛擬現實遠程監控平臺按照巷道界面和截割頭尺寸等編制截割軌跡，對截割頭控制量進行解算，求解出各連桿關節變量，確定各液壓缸伸縮量。虛擬現實遠程監控平臺將各液壓缸伸縮量控制指令發送給掘進機器人機載控制器和虛擬現實遠程監控平臺中的虛擬掘進機器人，實現掘進機器人的自動控制。機載控制器采集掘進機器人位姿和工況狀態數據，對數據進行處理后通過通信總線發給虛擬現實遠程監控平臺，利用數據庫對各類傳感器和捷聯慣導系統[5]數據進行歸檔整理、存儲。虛擬現實遠程監控平臺實時讀取并處理數據庫中存儲的掘進機器人位姿工況數據，以此修正井下掘進機器人的位姿，顯示掘進機器人的真實運行狀態，為掘進機器人遠程監控提供決策依據。

2 掘進機器人改進設計

為了適應自動化掘進控制，對傳統的掘進機器人結構進行改進，并安裝了掘進機器人定位、位姿和工況檢測方面的傳感器。

現有掘進機器人行走裝置由2臺液壓電動機驅動，通過減速機、驅動鏈輪及履帶實現行走，但這種結構使得掘進機器人左右轉向困難。本文參考全向輪機器人[6]結構設計，將全方位移動機構引入掘進機器人行走裝置，改善掘進機器人的左右轉向能力。

掘進機器人機身傳感器包括位姿檢測傳感器和工況狀態檢測傳感器。位姿檢測傳感器包括超聲測距傳感器、油缸行程傳感器、絕對編碼器、捷聯慣導系統。工況狀態檢測傳感器包括壓力傳感器、流量傳感器、溫度傳感器。其中，超聲測距傳感器安裝在機身四周，用于測量掘進機器人與巷道前后左右的距離；捷聯慣導系統安裝在掘進機器人機身，用于測量機身X，Y，Z軸方向的角速度和加速度。

3 掘進機器人虛擬現實遠程監控平臺設計

基于Quest 3D 虛擬現實軟件開發的掘進機器人虛擬現實遠程監控平臺主要包括掘進機器人三維模型、虛擬掘進機器人與綜掘場景、掘進機器人動作程序、數據存儲與動態修正、人機交互界面、綜掘場景漫游，如圖2所示。

圖2 掘進機器人虛擬現實遠程監控平臺

3.1 掘進機器人三維模型

掘進機器人三維模型用于在虛擬現實環境中構建虛擬掘進機器人作為虛擬現實環境的控制對象，為展現真實掘進機器人的位姿狀態提供基礎。系統為兼顧模型數量、系統完整性和模型渲染速度，對掘進機器人的組成進行了簡化，簡化后掘進機器人的結構可完全真實反映井下掘進機器人的動作。Quest 3D 虛擬現實軟件可支持SolidWorks,3DS MAX,MAYA等主流建模軟件。本文采用SolidWorks建模軟件，以真實的掘進機器人尺寸建立模型，保存為.stl格式文件，再將其以快速焊接的方式導入3DS MAX軟件中進行渲染、貼圖及坐標軸調整，完成后導出為.X格式文件。

3.2 虛擬掘進機器人與綜掘場景

虛擬掘進機器人與綜掘場景以真實展現井下真實綜掘環境為目的，可提高操作人員對井下真實情況的認知程度。將掘進機器人與綜掘場景的.X格式文件分別導入Quest 3D軟件中。在3D Render模塊的第1個通道下添加相機，用于觀察綜掘工作面。在掘進機器人搖臂和后支撐處添加燈光，用于在掘進過程中照明。在Channel Graph模式下將掘進機器人各部件之間綁定父子關系，以保證掘進機器人的整體動作與各部件動作互不影響。在Animation模式下，按照真實掘進機器人的裝配關系和綜掘場景布置，對掘進機器人各部件和場景模型的位置姿態進行調整，完成掘進機器人與綜掘場景的耦合。

3.3 掘進機器人動作程序

掘進機器人動作程序是根據真實掘進機器人的動作和控制方式，使用Quest 3D軟件編寫相應控制程序，使掘進機器人在虛擬操控平臺的控制下完成各項掘進動作，這是虛擬掘進機器人動作的核心。在Quest 3D軟件中，每個部件均對應一個3D Object模塊，每個3D Object模塊下均有Motion模塊，該模塊可實現部件的移動、旋轉、縮放功能。利用左側Templates窗口中Logic下的If,Trigger,User Input等邏輯命令模塊完成掘進機器人控制邏輯編程。3.4 數據存儲與動態修正

數據存儲與動態修正是利用Quest 3D軟件和數據庫進行傳感器數據的大量存儲和讀取，憑借傳感器數據實現掘進機器人位姿的自動調整。虛擬操控平臺上的按鍵信息通過虛擬現實接口存入數據庫中指定表格的相應位置。機載控制器采集的掘進機器人機身工況位姿傳感器數據通過通信總線存入Array數組中，再存入數據庫。Quest 3D軟件程序對數據庫中的位姿工況數據進行判斷，得出掘進機器人的預期位姿工況數據與實際掘進機器人位姿工況數據的差值，并將該差值進行顯示和存儲。系統自動發送相應控制指令對掘進機器人的位姿進行調整，實現掘進機器人位姿自動調整。

3.5 人機交互界面

人機交互界面用于顯示掘進機器人工況參數、工作狀態和故障報警，為遠程操作人員提供數據參考。人機交互界面如圖3所示。工況參數顯示通過顯示窗口顯示截割頭轉數、耙爪轉數、截割高度等參數值。工作狀態顯示通過Quest 3D軟件中GUI模塊實現，可通過ChannelSwitch來切換不同方位的相機,實現綜掘工作面不同角度的觀察，還可通過界面上的Button顯示掘進機器人搖臂等的工作狀態。故障報警是當工況參數超過警戒值時發出報警聲，使掘進機器人停止作業。

圖3 虛擬現實遠程監控平臺人機交互界面

3.6 綜掘場景漫游

綜掘場景漫游是在場景中添加行走相機，使用虛擬操控平臺控制行走相機，使得操作人員可以第一視角觀察綜掘工作面情況。具體實現時，使用Walkthrough Camera實現綜掘場景漫游。先將巷道模型的快捷方式添加到Walkthrough Camera模塊的CollisionObject下，為行走相機指定碰撞物體，使行走相機不會穿出巷道。然后設置行走相機的初始位置。在Animation模式與Camera View視角下，通過虛擬操控平臺可控制行走相機前后左右行走，便于操作人員進行巡檢。

4 掘進機器人控制模型建立

為了達到掘進機器人按照預先設定的軌跡自動掘進的目的，設計了掘進機器人控制流程，如圖4所示。首先根據巷道成型要求設計截割工藝路線，確定截割軌跡。然后根據截割點的位置和掘進機器人的位姿，通過建立截割頭控制量解算模型得出掘進機器人控制量，利用得到的控制量對掘進機器人進行截割控制。最后利用掘進機器人機身傳感器檢測掘進機器人運動后的位姿信息，經截割頭位姿解算確定截割軌跡并進行顯示，以驗證截割軌跡是否正確。

圖4 掘進機器人控制流程

4.1 坐標系統定義

由于綜掘工作面采用相對定位法，需要定義6個坐標系，即掘進機器人機體坐標系OsXsYsZs、巷道斷面坐標系OdXdYdZd、巷道坐標系OxXxYxZx,搖臂坐標系OyXyYyZy,截割頭坐標系OjXjYjZj、回轉臺坐標系OhXhYhZh，如圖5所示。

圖5 掘進機器人及各連桿坐標系統

4.2 掘進機器人運動學分析與建模

掘進機器人運動學包括截割頭運動學和機體運動學。截割頭運動學描述截割頭相對于掘進機器人機體的位姿關系，是截割斷面控制與監測的依據。機體運動學描述掘進機器人機體相對于作業巷道的位姿關系，是掘進機器人定位和巷道成型控制的依據。

4.2.1 截割頭運動學

截割頭運動學分為截割頭實際位姿解算和截割頭控制量解算。

(1) 截割頭實際位姿解算是將各連桿的關節變量轉換到截割頭的位姿坐標，以表示掘進機器人的截割頭相對掘進機器人機體的位置和姿態。

經計算，得截割頭相對于機體坐標系OsXsYsZs的齊次變換矩陣為

(1)

截割頭中心點Oj相對于掘進機器人機體坐標系的坐標為

(2)

式中：d1為X方向截割頭中心點Oj與搖臂中心點Oy間的距離；d2為X方向搖臂中心點Oy與回轉臺中心點Oh間的距離；d3為X方向回轉臺中心點Oh與機體中心點Os間的距離；h1為Z方向截割頭中心點Oj與搖臂中心點Oy間的距離；h2為Z方向回轉臺中心點Oh與機體中心點Os間的距離；θ1為回轉臺坐標系OhXhYhZh繞機體坐標系OsXsYsZs中Z軸的旋轉角；θ2為搖臂坐標系OyXyYyZy繞回轉臺坐標系OhXhYhZh中Z軸的旋轉角。

若已知各連桿的結構參數d1，d2，d3，h1，h2和旋轉角θ1，θ2，即可得到截割頭中心點Oj在機體坐標系中的位置。再通過機體坐標系與巷道坐標系的轉換，即可求出截割頭中心點在巷道坐標系的位置。在截割頭完成斷面截割后，即可確定截割斷面在巷道中的位置，并進一步確認巷道中心線的方向。

(2) 截割頭控制量解算是已知截割頭的目標點坐標，求解各連桿的關節變量，是掘進機器人路徑規劃與截割斷面成型控制的基礎。本文采用機器人學[7-8]知識進行求解，可將式(1)寫為

(3)

令式(1)第1行第2列的元素與式(3)第1行第2列的元素對應相等、式(1)第2行第2列的元素與式(3)第2行第2列的元素對應相等， 可得

(4)

式(4)中，sx，sy，nz，az均為已知量，因此可根據截割頭的位姿數據得出關節變量θ1，θ2。

4.2.2 機體運動學

掘進機器人姿態以橫滾角α(機體繞Xs軸的旋轉角度)、仰俯角β(機體繞Ys軸的旋轉角度)和偏轉角γ(機體繞Zs軸的旋轉角度)來表示。為了使掘進機器人按照預先設定的軌跡自動掘進，可通過坐標變換矩陣計算出掘進機器人機體相對于巷道坐標系的位姿關系。

機體坐標系sT相對于巷道坐標系cT可表示為

(5)

機身傳感器安裝在機體上的位置是已知的，則cT為已知量，傳感器測得的掘進機器人機體相對于測量坐標系的位置記為(dx,dy,dz)，掘進機器人機體繞測量坐標系3個軸的相對姿態角為(α，β，γ)。掘進機器人機體相對測量坐標系的齊次變換矩陣為

(6)

將式(6)代入式(5)即可得到掘進機器人機體運動學方程。根據掘進機器人機身傳感器測得的數據，結合掘進機器人運動學，可得出掘進機器人在巷道中的位置和姿態。

5 系統實驗

為了驗證煤礦掘進機器人虛擬仿真與遠程控制系統的各項功能及各個模塊的有效性，在實驗室環境下，搭建了掘進機器人試驗平臺及虛擬現實遠程監控平臺，如圖6所示，進行聯合調試并運行。

實驗結果顯示，虛擬現實遠程監控平臺對掘進機器人的動作控制方便快捷；通過控制模型對掘進機器人進行截割控制，虛擬掘進機器人位置與掘進機器人在實驗室實際位置基本一致；虛擬現實遠程監控平臺對掘進機器人傳感器數據的接收快捷、處理快速、顯示準確。

1-虛擬現實遠程監控平臺；2-機載控制器存放柜；3-掘進機器人模型

6 結語

針對當前煤礦采掘遠程控制和智能化方面的需求，介紹了一種煤礦掘進機器人虛擬仿真與遠程控制系統。在對掘進機器人和巷道環境分析的基礎上，建立了掘進機器人虛擬控制模型、運動控制模型、虛擬現實遠程監控平臺、虛擬操控平臺，并對基于虛擬現實技術的掘進機器人遠程監控平臺的功能進行了詳細介紹。煤礦掘進機器人虛擬仿真與遠程控制系統能夠實時顯示掘進機器人的工作位姿狀態和工作參數，根據機身傳感器數據下達動作命令，實現掘進機器人自動掘進功能，提高了掘進機器人在巷道中的定位和自動掘進能力，促進了綜掘工作面智能化發展。

[1] 王學成,張維果,劉英林.懸臂式掘進機現狀及發展淺析[J].煤礦機械,2010,31(8):1-3.

[2] 田劼,王紅堯,吳淼.掘進自動截割成形控制系統動態特性分析[J].工礦自動化,2015,41(6):40-44.

[3] 丁震.我國煤巷掘進裝備現狀及發展趨勢[J].工礦自動化,2014,40(4):23-27.

[4] 張旭輝,馬宏偉,王天龍，等.一種掘進機遠程控制系統及方法：CN103867205A[P].2014-06-18.

[5] 楊海,李威,羅成名，等.基于捷聯慣導的采煤機定位定姿技術實驗研究[J].煤炭學報,2014,39(12):2550-2556.

[6] 李文學,饒運清,戚得眾，等.全向輪機器人路徑規劃與導航系統設計[J].機械設計與制造,2014(12):18-22.

[7] 蔡自興.機器人學[M].北京：清華大學出版社，2009.

[8] 陳鵬,劉璐,余飛,等.一種仿人機械臂的運動學逆解的幾何求解方法[J].機器人,2012,34(2):211-216.

Virtual simulation and remote control system for coal mine roadheader robot

ZHANG Xuhui1,2, CHEN Li1, MA Hongwei1, MAO Qinghua1, DU Yuyang1, ZHAO Youjun2

(1.School of Mechanical Engineering, Xi'an University of Science and Technology, Xi'an 710054, China;2.Xi'an Coal Mining Machinery Co., Ltd., Xi'an 710032, China)

For problems that existing roadheader monitoring methods of video monitoring and telemetering had unclear monitoring images and cannot show pose and working conditions of roadheader, a virtual simulation and remote control system for coal mine roadheader robot was proposed. Design scheme of the system was introduced, and key technologies were researched including improvement of roadheader robot, remote control platform based on virtual reality and control model of roadheader robot. The system integrates underground miners, roadheader robot and underground environment information by use of virtual reality technology, and realizes functions of motion control of excavation process and mine roadway excavation control, which takes automatic tunneling of roadheader and remote intervention by human. The experimental result shows validity and good control performance of the system.

coal mining; mechanized excavation face; roadheader robot; automatic tunneling; roadway excavation control; virtual reality

2016-08-17；

2016-10-20；責任編輯：李明。

中國博士后科學基金面上資助項目(2015M582692);陜西省工業化信息化深度融合重點示范項目(2015KTCXSF-10-3);西安市產學研協同創新計劃資助項目(CXY1519-4)。

張旭輝(1972-)，男，陜西鳳翔人，教授，博士，研究方向為智能檢測與控制、工業機器人，E-mail：zhangxh@xust.edu.cn。

1671-251X(2016)12-0078-06

10.13272/j.issn.1671-251x.2016.12.017

TD633.2

A

時間：2016-12-01 10:54

http://www.cnki.net/kcms/detail/32.1627.TP.20161201.1054.017.html

張旭輝，陳利，馬宏偉，等.煤礦掘進機器人虛擬仿真與遠程控制系統[J].工礦自動化，2016,42(12)：78-83.