基于不同虛擬技術的掘進機培訓方案對比研究

謝澤浩，周明全，陳 超，姚 凡

（華北科技學院， 北京東燕郊 065201）

0 引言

通過虛擬現實技術對場景進行仿真的成本低，效率高，沉浸感強，是目前最常用的仿真技術［1-9］。

國內學者在虛擬仿真方面進行了深入研究，多數集中在監控監測和逃生預測上。 陽煤集團的張謙文最終實現了井下掘進機無人化控制［10］。夏麗珍提出了一種虛擬現實煤礦逃生系統，其目的在于研究并模擬災害發生時工人逃生的運動軌跡［11］。

還有學者在虛擬技術與其他產業結合的綜合監測上展開研究。 張志超，劉守瑞等人設計了一種基于虛擬現實的變電站監測方法，目的在于監測變電站信息，能夠準確發現變電站中的故障問題［12］；趙靜，閆春雨等人提出了一種基于虛擬現實的農田監測機器人方案，其最終結果表明，農田監測機器人可以有效獲取田間環境數據，并自主行走和采集［13］。

部分研究學者在虛擬技術和培訓教學的結合使用上進行了研究。 如唐琳瑤，祁神軍等人將虛擬現實技術應用于教育行業，其結果說明虛擬現實技術在教育行業有著應用前景［14］，這給虛擬掘進機培訓方案提供了思路；郭昊宇對虛擬現實技術在民用航空器執照培訓進行了可行性分析，得出了虛擬現實技術在航空培訓中可行的結論［15］，而掘進機培訓與航空培訓具有很多的相似點，所以將虛擬現實技術應用在掘進機培訓上同樣存在可能；謝歌，仝曉陽等人將虛擬技術與應急演練培訓結合，其目的在于提高巡檢人員對應急事件的處理能力［16］；李迎千，謝健前等人通過研究傳統的地鐵培訓模式，提出了一種結合虛擬現實技術的新型培訓方案，得出了虛擬培訓周期短，成本低，效果好，受訓員工素質高的結論。

1 不同虛擬技術下的掘進機培訓方案

1.1 僅使用虛擬現實技術的掘進機培訓方案

純虛擬現實培訓方案，是學員只需佩戴虛擬現實頭戴顯示設備即可開始培訓的方案。 學員在開始培訓前需要佩戴Quest 設備，手持Quest 手柄。 在培訓時，按照語音要求進行操作，然后使用Quest 手柄發射的射線在給出的兩個選項中進行選擇，培訓結束后給出總評分。 本方案由射線交互模塊和虛擬現實模塊構成。

1.1.1 射線交互模塊

虛擬現實交互需要使用手柄，通過Quest 手柄發射射線與場景中的模型進行交互。 使用虛擬現實開發工具包實現射線交互，Quest 手柄按鈕有相應的代碼值，當按鈕按下時，會調用代碼值對應的功能函數。 在掘進機控制面板上放置八個按鈕，當學員按下扳機鍵后檢查與當前射線碰撞的按鈕標簽，觸發按鈕相應功能。 在掘進機控制臺上放置六個搖桿，當射線與搖桿交互并且學員按下扳機鍵時，搖桿向Quest 手柄方向移動，從而控制掘進機位移。

1.1.2 虛擬現實模塊

本方案的底層實現如圖1 所示，使用三維建模技術對掘進機進行建模，使用開源插件為Unity提供虛擬技術支持，利用虛擬現實開發工具包實現掘進機培訓流程，使用Meta 的軟件開發工具包實現掘進機小溜子噴霧，切割頭啟動，蟹爪啟動，急停等功能，手部追蹤模塊會實時顯示Quest 手柄在培訓場景中的位置。 使用Platform 開發包后培訓場景將支持在Quest 設備上進行部署。

圖1 僅使用虛擬現實技術的底層實現

1.2 僅使用混合現實技術的掘進機培訓方案

純混合現實培訓方案，是學員只需佩戴混合現實頭戴顯示設備即可開始培訓的方案。 學員在開始培訓前需要佩戴Meta 頭戴顯示設備。 在培訓時，學員按照語音要求進行操作，然后使用手部在給出的兩個選項中進行觸摸選擇，培訓結束后給出總評分。 本方案由手勢交互模塊和混合現實模塊構成。

1.2.1 手勢交互模塊

混合現實設備不同于虛擬現實設備，不需要使用手柄交互，可通過手勢直接與混合現實場景中的模型進行交互。 通過混合現實開發工具包添加混合現實支持，在掘進機場景中部署混合交互組件來增加手勢支持。 在需要被交互的八個按鈕和六個搖桿上放置按壓檢測腳本。 學員可以通過手勢直接操作場景中的按鈕和搖桿，從而控制掘進機做出相應操作。

1.2.2 混合現實模塊

本方案的底層實現如圖2 所示，使用三維建模技術對掘進機進行重建，使用開源插件為Unity提供虛擬技術支持，使用混合現實開發工具包實現小溜子噴霧，切割頭啟動，蟹爪啟動，急停，全斷面噴霧等八個按鈕功能，實現掘進機前后和切割頭上下左右移動這六個搖桿功能，并部署在混合現實頭戴顯示設備中。

圖2 僅使用混合現實技術的底層實現

1.3 物理實體與虛擬現實技術結合的掘進機培訓方案

在僅使用虛擬現實技術的培訓方案中，需要使用Quest 手柄與虛擬場景進行射線交互。 物理實體與虛擬現實技術結合的培訓方案，指的是在虛擬現實場景中利用真實的、物理存在的操縱手柄和控制面板來操縱掘進機的一種方案。 本培訓方案是在純虛擬現實方案的基礎上進行的改進，在原有的虛擬現實模塊，射線交互模塊上新增物理實體模塊、評分模塊和姿態識別模塊。

受訓人員在培訓前需要正確佩戴好虛擬現實頭戴顯示設備，認真閱讀操作要領，按照語音提示操作物理實體模塊中的矩陣鍵盤和控制搖桿，隨后使用Quest 手柄在給出的兩個選項中選擇正確選項。 培訓過程中，姿態識別模塊會識別受訓人員的身體姿態動作，若在培訓過程中有抽煙等違規操作，會直接中止培訓，并給出錯誤評分。 評分系統會記錄培訓中錯誤選項評分和姿態識別模塊給出的錯誤姿態評分，在培訓結束后給出受訓人員的總評分。 培訓完成后可自由操控掘進機，并完成采煤模擬作業。

1.4 物理實體與混合現實技術結合的掘進機培訓方案

在僅使用混合現實技術的培訓方案中，需要使用人體手部與虛擬場景進行手勢交互。 物理實體與混合現實技術結合的培訓方案，指的是在混合現實場景中利用真實的、物理存在的操縱手柄和控制面板來控制掘進機的一種方案。 本培訓方案是在純混合現實方案的基礎上進行的改進，在原有的混合現實模塊，手勢交互模塊上新增物理實體模塊、評分模塊和姿態識別模塊，模塊關系如圖3 所示。

圖3 模塊關系圖

1.4.1 物理實體模塊

為了充分模擬掘進機操縱環境，使用六個物理搖桿通過USB 串口連接至PC 服務器，服務器接收并處理物理搖桿的角度信息，再通過網絡通信發送給掘進機培訓場景中的網絡通信服務器，通信模塊將角度信息實時同步到虛擬掘進機的搖桿元素上，從而實現真實物理搖桿直接控制虛擬掘進機的操作。

使用八個矩陣按鈕模擬掘進機控制面板，矩陣鍵盤通過串口連接PC 服務器，服務器接收矩陣鍵盤發送的按鈕值，再通過網絡通信發送給掘進機培訓場景中的網絡通信服務器，通信服務器通過按鈕值找到相應的按鈕并調用其功能，從而讓真實矩陣鍵盤代替虛擬控制面板。

1.4.2 評分模塊

姿態識別模塊將姿態識別評分通過網絡通信發送給掘進機培訓場景中的網絡通信服務器，然后轉發給評分模塊。 當受訓人員在給出的兩個選項中做出選擇后，評分模塊會自動記錄錯誤選擇評分。 評分模塊將收集到的錯誤姿態評分和錯誤選項評分，按照一定的權重比值匯總，最終得出總評分并顯示在受訓人員的顯示設備上。

1.4.3 姿態識別模塊

姿態識別模塊的作用是監測受訓人員在培訓過程中的姿態動作。 首先利用深度攝像頭對培訓流程中的給定動作拍照，對圖像數據進行預處理和清洗，去除噪音和無用信息后保留有效的人體姿態數據，收集人體動作數據并創建數據集。 使用深度學習訓練數據得到動作模型。 當培訓時，使用遠程攝像頭對受訓人員進行實時動作監測，根據監測情況給出動作姿態評分。 若動作標準規范，則給出高評分；若動作錯誤甚至違規，給出低評分。

2 不同培訓方案之間的對比

2.1 培訓方案對比指標

（1） 場景的真實性：真實性用于衡量虛擬培訓場景對真實教學環境的還原程度。 還原程度越好，培訓場景的真實性越高。

（2） 培訓效率的高低：培訓效率用于衡量培訓周期的長短，培訓效率越高，相同培訓質量下花費的時間越少。

（3） 培訓方式的合理性：培訓方式的合理性是指教學過程是否存在事實依據，教學結果在真實掘進機上是否適用。 若不適用，則說明該培訓方案不合理。

（4） 培訓結果的可靠性：可靠性指的是培訓內容是可信賴的，與真實掘進機的培訓結果是一致的。 培訓結束后的學員應具有操作真實掘進機的能力。

（5） 交互的流暢性：學員與虛擬掘進機的交互是學員進行課堂學習，課堂實踐的重要手段。不自然地交互會導致培訓結果與預期不符，進而影響培訓效果。

2.2 場景的真實性對比

四種培訓方案采用相同的三維建模技術構建虛擬掘進機，所以場景的真實性只受頭戴顯示設備的影響。 虛擬現實技術使用的Quest 頭戴顯示設備，混合現實技術使用的是Meta 頭戴顯示設備。 Quest 設備不受外部光照影響，成像效果較好，場景真實性強。 Meta 設備在強光環境下，成像效果較差，虛擬場景微弱不易觀察。 而在黑暗環境下，存在定位空間點失敗的情況，無法啟動培訓場景。 只有在弱光環境下，才有較好成像效果。所以在真實性上，采用虛擬現實方案的要優于混合現實方案。

2.3 方案的效率對比

僅使用虛擬現實技術的方案中，培訓全程使用Quest 手柄與選項進行交互，而在僅使用混合現實技術的方案中，直接使用手部進行交互即可，效率更高。 在與物理實體結合使用的方案中，虛擬現實技術方案需要反復摘下頭戴顯示設備觀察物理搖桿和矩陣按鈕的位置，培訓效率最低。 所以，僅使用混合現實技術的方案效率最高，物理實體與混合現實結合的方案效率偏高，僅使用虛擬現實技術的方案效率中等，物理實體與虛擬現實結合的方案效率最低。

2.4 方式的合理性對比

僅使用虛擬現實技術的方案中利用Quest 手柄與虛擬掘進機搖桿交互，間接操控掘進機，與真實掘進機的操作不一致，合理性較差。 僅使用混合現實技術的方案中使用手部直接操控掘進機，與真實掘進機操作一致，較為合理。 而兩種使用物理實體的方案都是手部直接與真實物理搖桿交互，合理性最強。

2.5 結果的可靠性對比

僅使用虛擬現實技術的方案培訓出的學員與真實掘進機的培訓結果相差較大，不易上手真實掘進機，結果的可靠性較差。 僅使用混合現實技術的方案與真實掘進機操作方法幾乎一致，具備操作真實掘進機的能力，可靠性較強。 使用物理實體與虛擬現實結合的方案，由于培訓過程中不能準確找到物理實體的位置，與實際情況不符，可靠性較差。 使用物理實體與混合現實結合的方案，擁有真實的操作環境，與真實掘進機培訓結果最吻合，可靠性最強。

2.6 交互的流暢性對比

僅使用虛擬現實技術的方案全程使用Quest手柄進行交互，雖然不具備真實的操作手感，但是可以快速完成培訓全部操作，流暢性較強。 僅使用混合現實技術的方案全程使用手部進行交互，流暢性較強。 使用物理實體與虛擬現實技術結合的方案中，由于佩戴Quest 頭戴顯示設備后無法看到物理搖桿和矩陣鍵盤，導致需要反復確定物理實體的位置，流暢性最差。 使用物理實體與混合現實技術結合的方案解決了無法看到物理實體的問題，既有逼真的掘進機場景，又有真實的操作環境，流暢性最強。

3 對比驗證實驗

3.1 實驗設計

本次實驗采用層次分析法（ Analytic Hierarchy Process），這是一種定性和定量相結合的，層次化的分析方法，可以分別計算出各級指標的權重［17］。 利用層次分析可以得出培訓方案對比實驗中真實性、效率性、合理性、可靠性、流暢性的具體權重值。

實驗安排二十人輪流體驗四種培訓方案。 培訓人員在培訓結束后，需要按照培訓方案的五個對比指標分別進行評分，即每人需要給出20 組評分，總計400 組評分數據。 下表為實驗數據單元，橫向為方案的五項技術評價指標，縱向為四種培訓方案，最后一列給出滿意度。

表1 實驗數據單元

培訓方案的滿意度計算公式如下：

式中，Sij代表第i 個人在第j 個指標的得分情況；m＝20，代表20 個實驗人數；n ＝5，代表5 個對比指標；fj代表第j 個指標的權重，權重值取層次分析的結果；rij代表用戶在該指標上給出的評分；Si代表該培訓方案的總體得分，結果僅保留小數點后兩位。

表2 層次分析結果

表3 一致性檢驗結果匯總

3.2 權重數據來源

在構建成對比較矩陣時，如果將所有指標同時進行比較，則得出的結果是定性數據，不具有準確性和可靠性，所以專家需要將指標進行兩兩對比，以此來擺脫不同指標的諸多不相關因素的影響，并根據兩者之間的重要性給出評分。 將數據進行層次分析，得到結果見表2。

通常情況下CR 值越小，則說明判斷矩陣一致性越好，一般情況下CR 值小于0.1，則判斷矩陣滿足一致性檢驗，本次針對5 階判斷矩陣計算得到CI值為0.046，針對RI 值查表為1.120，因此計算得到CR 值為0.041＜0.1，意味著本次研究判斷矩陣滿足一致性檢驗，計算所得權重具有一致性。

最終評分結果如圖4 所示。

圖4 實驗結果

3.3 試驗結果分析

在實驗結果中，僅使用虛擬現實技術方案的平均分為5.78，僅使用混合現實技術方案的平均分為6.73，使用物理實體與虛擬現實技術結合方案的平均分為6.45，使用物理實體與混合現實技術結合方案的平均分為7.48，使用物理實體與混合現實結合的方案為四個方案中的最高分，即物理實體與混合現實結合的方案為最佳掘進機培訓方案。

在物理實體與混合現實技術結合的方案中，混合現實虛實結合的特性使得人們可以通過Meta 頭戴顯示設備直接看到硬件實體，既具有逼真的掘進機場景，又有真實的操作環境，還具有流暢的交互性，是效率最高，培訓質量最好的培訓方案。

4 結論

（1） 該研究對僅使用虛擬現實技術的方案、僅使用混合現實技術的方案、物理實體與虛擬現實結合的方案、物理實體與混合現實結合的方案這四種方案進行詳細介紹，并且在基礎培訓上進行了創新型改造，添加了姿態識別，評分統計等功能。

（2） 本文從真實性、效率性、可靠性、合理性，流暢性這五項技術指標對四種培訓方案進行對比，并對方案的優劣點進行詳細論述。

（3） 本文利用層次分析法設計驗證實驗，通過數據分析最終得出物理實體與混合現實結合的方案的最優方案的結論。