基于混合現(xiàn)實技術構建排爆訓練平臺的研究

孫博祥 武警部隊特種警察學院

引言

排爆是指專業(yè)排爆人員對所有爆炸物或疑似爆炸物的識別、轉(zhuǎn)移、拆解、摧毀或銷毀，使其失去爆炸性能的行為，簡述為排除爆炸物。排爆是軍警部隊擔負的一項特殊任務，使命光榮、責任重大、危險性高，并且危險性是即時的、致命的。在排爆過程中，判斷錯誤或操作失誤導致的后果是不可逆的，更是不可重復和彌補的，因此有必要對排爆人員進行接近于實戰(zhàn)的訓練，采取相應的訓練，避免或減少排爆人員因訓練不到位而造成的錯誤與失誤，達到成功排爆的預期目的。計算機科學技術和虛擬技術為安全排爆和訓練提供了更多新的技術和方法。這不僅確保了訓練排爆技能，還保證了參訓人員的安全，同時解決了排爆訓練中的實踐操作訓練難實施等諸多難題。

一、混合現(xiàn)實技術解決排爆訓練難題

目前，排爆訓練的裝備器材運用，以實裝操作為主要方法，包括手工拆除爆炸物，主要爆炸物實物組件和雷管、炸藥替代物進行模擬爆炸物制作和拆除訓練。該方式存在裝備器材磨損快、經(jīng)費保障困難等問題，尤其手工拆除爆炸物訓練，進入模擬實戰(zhàn)階段，運用點火頭代替電雷管，適量火藥代替炸藥，具有一定的危險性。

混合現(xiàn)實技術（MR）可以將圖形化顯示與虛擬能效數(shù)據(jù)完美結合。目前，混合現(xiàn)實技術在虛擬仿真訓練上有著較為成熟的技術應用。混合現(xiàn)實技術，通過為用戶提供圖像、聲音、特效等方式模擬真實環(huán)境，同時結合空中鼠標、手勢識別及力反饋設備，能夠有效地克服時間因素以及空間因素的限制與約束，使得虛擬空間和現(xiàn)實空間得到有效的融合，用自然的方式與虛擬環(huán)境進行交互操作，擁有很強的身臨其境感，改變了過去排爆人員除了親身經(jīng)歷，就只能間接了解環(huán)境的模式，從而有效的擴展了其認知手段和領域。

?

將混合現(xiàn)實技術應用到排爆訓練中，可有效消除安全隱患，沉浸式的體驗培訓也可大大提升訓練效率，能夠更好的解決排爆學習及實際操作訓練，并降低訓練成本。此外，該技術的應用還可以避免排爆裝備器材操作以及手工拆除爆炸物訓練，豐富排爆不同環(huán)境場景適應性訓練，進行排爆行動組織指揮訓練，開展排爆模擬演練，在訓練中建立排爆人員的綜合技能數(shù)據(jù)，并針對弱項強化練習，在實戰(zhàn)場景下引導經(jīng)驗不足者進行排爆訓練，并開展綜合能力評估。

二、整體設計

基于混合現(xiàn)實技術的爆炸物拆除訓練平臺，通過為用戶提供圖像、聲音、特效等方式模擬真實環(huán)境，使得虛擬空間和現(xiàn)實空間得到有效的融合，用戶由此擁有很強的身臨其境感。使用者可通過MR眼鏡來觀察設置好的虛擬場景，該場景可以根據(jù)訓練需要設置，并且單人設備設定了通訊功能。單人眼鏡中看到的畫面除了真實的物體以外，還有由電腦計算渲染出來的高清晰度、大視場角的虛擬場景內(nèi)容，并為用戶提供了帶跟蹤的手持式手柄，可用于與虛擬環(huán)境物體進行交互。該系統(tǒng)集成了顯示、跟蹤、交互、計算等多種設備，可以極大提升訓練的逼真度和訓練效果。

（一）具備功能

1.排爆數(shù)據(jù)庫

根據(jù)可提供的爆炸物資料，使用3DMAX對每個爆炸物建立三維模型，導出FBX（第一次使用應該寫出全名）文件。對每個爆炸物建立電子數(shù)據(jù)檔案，應當包括可提供資料里的所有數(shù)據(jù)項（如型號、尺寸、引爆方式、拆解步驟等）。根據(jù)上述資料的數(shù)據(jù)量，建立對應規(guī)模的數(shù)據(jù)庫以及排爆設備和排爆人員相應的數(shù)據(jù)庫。

2.虛擬仿真教學導航系統(tǒng)

將3DMAX導出的FBX文件導入Unity，建立素材文檔。設計教學關卡或教學視頻，具體形式待定。為了讓使用者查看和了解每種爆炸物，教學內(nèi)容應當涉及爆炸物的所有數(shù)據(jù)項。

3.爆炸物在線識別與實訓系統(tǒng)

獲取若干爆炸物模型的圖片。利用基于神經(jīng)網(wǎng)絡的物體識別算法（Resnet50/ Fusion Net等）訓練物體識別模型。構建接近真實場景的1:1實訓場景，用來練習和測試排爆技能。

4.MR交互

使用者佩戴設備即可以MR方式體驗虛擬仿真系統(tǒng)，具體API參考Unity支持的MR硬件。

（二）系統(tǒng)構建

系統(tǒng)構建包括：（1）建立爆炸物的三維模型和資料的數(shù)據(jù)庫；（2）利用MR眼鏡自帶相機獲取爆炸物圖像；（3）通過模型識別出對應的爆炸物模型，并以此從數(shù)據(jù)庫中獲取對應爆炸物的信息；（4）利用硬件的投影技術，配以交互UI界面，使用者能夠完成對排爆的教學體驗和實訓體驗。

（三）所需軟件

需要VS2019、Unity、3DMAX及支持SQL語句的數(shù)據(jù)庫。軟件開發(fā)環(huán)境具體包括：

（1）三維建模工具使用Autodesk公司開發(fā)的3DMAX，可導出模型用于后續(xù)工作；（2）混合現(xiàn)實中的虛擬環(huán)境搭建使用業(yè)界領先的Unity引擎，可提供實時逼真的顯示效果；（3）建立聯(lián)網(wǎng)數(shù)據(jù)庫，支持SQL語句查詢；（4）軟件開發(fā)IDE，如VS2019，支持分模塊協(xié)同開發(fā)等。

（四）所需硬件

硬件包括MR顯示設備和電腦兩部分。其中，MR顯示系統(tǒng)是用來實時刷新、繪制和顯示混合現(xiàn)實中的虛擬對抗場景，并且與處理器進行實時數(shù)據(jù)交換，根據(jù)自帶攝像頭獲取爆炸物圖像來判斷爆炸物的位置和種類。電腦是用來計算爆炸物數(shù)據(jù)和使用者操作，根據(jù)爆炸物位置和具體的操作，實時計算爆炸物的變化，判斷使用者對爆炸物的操作，及時傳遞給系統(tǒng)進行渲染。

三、平臺構建步驟

（一）基礎數(shù)據(jù)層構建

主要工作是資料錄入和基礎功能模塊的搭建，即構建一個排爆訓練平臺的原型系統(tǒng)。

1.資料準備

根據(jù)初期的設計文檔準備各種資料，包括爆炸物資料、排爆工具和防護裝備資料、排爆相關人員資料、排爆工作教學資料等。

2.錄入爆炸物信息

根據(jù)可提供的爆炸物資料，掃描爆炸物內(nèi)部結構，使用3DMAX對每個爆炸物建立三維模型，導出FBX文件。對每個爆炸物建立電子數(shù)據(jù)檔案，應當包括可提供資料里的所有數(shù)據(jù)項，包括型號、尺寸、引爆方式，拆解流程圖和演示視頻等。

按上述步驟，對常用排爆設備進行建模，包括設備名稱、所屬單位、生產(chǎn)商、使用方法等，并能按排爆類型、設備名稱等對設備進行條件及組合查詢。

4.錄入人員信息

采集排爆人員信息或與已有人員管理數(shù)據(jù)庫建立關聯(lián)。人員管理模塊能添加、更新、刪除相關信息，包括姓名、性別、年齡、住址、所屬單位（相應部門）、聯(lián)系電話等，并能按所屬單位進行查詢。

根據(jù)以上資料的數(shù)據(jù)量，建立對應規(guī)模的數(shù)據(jù)庫。數(shù)據(jù)庫應當能添加、更新、刪除各種數(shù)據(jù)項。可根據(jù)數(shù)據(jù)庫的數(shù)據(jù)量決定是否需要服務器。

（二）構建教學虛擬仿真場景

主要工作是構建虛擬仿真教學導航系統(tǒng)。

1.資源管理

將3DMAX導出的FBX文件導入Unity，建立素材文檔，應當包括排爆相關的視頻資源、音頻資源、文本資源等。

閱讀的概念沒有疑議，而涉及“淺閱讀”，關鍵在于一個“淺”字，這個淺字應該定義于閱讀的主體、客體，速度還是目的？我們可以做個具體的對比分析。

2.設計教學關卡，完善教學視頻

為了讓使用者查看和了解每種爆炸物,教學內(nèi)容應當涉及爆炸物的所有數(shù)據(jù)項，并對常見排爆設備設置相應教學內(nèi)容和考核內(nèi)容，確保使用者能夠搭配設備完成排爆工作。

3.設計教學模式下的交互UI界面

包括查看教學內(nèi)容，拖拽移動虛擬排爆工具對教學關卡中的爆炸物進行實驗等。

4.教學模式下的MR交互

綁定MR眼鏡，使用者佩戴設備即可以MR方式體驗虛擬仿真系統(tǒng)，具體API參考Unity支持的MR硬件。

（三）構建實訓虛擬仿真場景

主要工作是構建爆炸物在線識別與實訓系統(tǒng)。

1.數(shù)據(jù)采集及預處理

獲取海量的真實爆炸物圖片，采用自動標注結合人工篩選的方式，對數(shù)據(jù)進行清洗，并標注出訓練模型所使用的數(shù)據(jù)集，同時將真實爆炸物進行三維建模，形成三維特征數(shù)據(jù)庫。

2.模型訓練與識別

圖片式識別基于神經(jīng)網(wǎng)絡的物體識別算法（Resnet50/Fusion Net）構建訓練物體識別模型。實際物體的整體識別利用OPENCV圖形圖像特征點識別法進行AI智能識別。

3.設計實訓模式下的交互UI界面

包括爆炸物的三維模型和資料中的所有數(shù)據(jù)項，根據(jù)提示完成爆炸物拆除。

四、混合現(xiàn)實排爆訓練平臺的特點

基于混合現(xiàn)實技術的排爆訓練平臺有如下幾方面特點：

1.系統(tǒng)構建的訓練場景逼真且沉浸感強

系統(tǒng)使用3D建模，用粒子特效和動畫等還原爆炸物引爆等場景，給使用者一個逼真的工作場景和視聽體驗。

2.系統(tǒng)提高了訓練的效率和安全性

真實場景往往受限于天氣、場地等外部因素。而該平臺可以通過仿真模擬出可反復訓練的環(huán)境場景，針對不同要求建設不同場景，并配有評分測驗系統(tǒng)，大大提高了訓練效率。另外，由于是仿真場景，會在暴露安全問題的同時降低危險的發(fā)生，減少因失誤造成的經(jīng)濟損失或人員傷亡。

3.系統(tǒng)支持多人聯(lián)機協(xié)同訓練

可以通過硬件設備進行單人訓練、多人交互訓練和在線教學，最大程度地還原真實訓練場景。

4.系統(tǒng)可擴展性強

可根據(jù)實際需求分批擴展相關功能，對系統(tǒng)進行升級和二次開發(fā)。

5.完整的數(shù)據(jù)庫

該系統(tǒng)具有針對爆炸物的數(shù)據(jù)庫包括爆炸物的 3D 模型、尺寸、引爆方法等資料和拆解流程圖。同時與人員管理數(shù)據(jù)庫聯(lián)動，實現(xiàn)管理與訓練一體化。

6.模塊化教學

針對不同類型的爆炸物，建立排爆工具集和專門的排爆訓練場，還原排爆成功和失敗的場景。

7.交互設計

將拆解流程圖與教學模塊結合，可以跟隨拆解引導動畫一步步完成排爆工作。

8.設計隨機場景

通過一系列挑戰(zhàn)強化使用者的排爆技能，完成對排爆技能的測試。

五、平臺效果

訓練平臺分為桌面操作平臺和MR操作平臺。桌面操作平臺需根據(jù)賬號密碼登錄，教員和學員的權限不同，可操作界面也不同。教員端的主要功能有選擇場景、評分系統(tǒng)、統(tǒng)計結果和數(shù)據(jù)資源管理，學員端的主要功能有爆炸物展示、設備使用、操作實踐和訓練測試。

MR操作平臺與MR設備搭配使用，將實際場景與虛擬界面疊加顯示。主要功能有爆炸物資料、拆解引導、組裝引導、錄制視頻、模型庫及系統(tǒng)設置。

經(jīng)測試，整套訓練平臺可支持至少50人同時在線進行單人訓練和在線教學，多人交互訓練支持每組4人的訓練。平臺可供排爆任務常見的場景，包括大中小型廣場、機場、火車站、地鐵站、公交車站、加油站、加氣站、重要單位（如領事館）附近、大中小型商場、居民區(qū)附近等。平臺提供可供操作的爆炸物種類有定時、遙控、感應、松發(fā)、壓發(fā)、拉發(fā)、反平衡等。

使用該平臺進行訓練，學員在學習和訓練中將接受更多新事物、新技術，更愿意主動學習并探索新的訓練學習方式。使用虛擬訓練課程，幾乎沒有任何訓練危險，學員有充分的時間和精力做好專業(yè)技能的學習和訓練，結合MR的操作引導，能夠大大提高完成任務的成功率和安全性。同時，虛擬訓練課程中的場景、裝備、爆炸物等還能夠反復使用，學員能夠通過反復動手實踐提高自己對理論知識的理解和對知識的掌握程度，訓練能夠達到隨時隨地進行，既便利又能帶來更好的訓練效果。通過跟蹤每個學員的訓練考核評估結果，能及時了解學員們對訓練內(nèi)容的掌握情況，也便于教員和各級領導把握學員訓練的節(jié)奏。

六、結語

隨著虛擬技術和傳感器技術的發(fā)展，混合現(xiàn)實技術能夠模擬各種環(huán)境，生成各種爆炸物，進行各類排爆裝備操作訓練和手工拆除爆炸物訓練。該技術在排爆訓練平臺中的應用，能夠較好解決實裝訓練帶來的安全、損耗和經(jīng)費問題，實現(xiàn)科技支撐任務、技術服務作戰(zhàn)的目的。