基于虛擬現實的沉浸式虛擬協同培訓系統設計

劉 濤，蔡 杰

（中國船舶集團有限公司第七一三研究所，河南鄭州 450015）

0 引言

近年來，隨著我國海軍力量建設的不斷增強，各種新型的艦船、艦載設備和武器系統陸續交付使用，呈現出數量大、范圍廣、型號多等特點。在大批次、多型號的艦載武器交付部隊的同時，僅僅是做好了萬里長征第一步，隨之而來的是部隊如何進行裝備的使用操作、維護保養、故障維修等問題，要做到會用、會保、會修，這樣才能發揮裝備的性能，使裝備保持戰斗力。在當前的國內外形勢下，多頻次、高強度用裝備訓練成為一種常態，為保證裝備功能、性能發揮和戰斗力有效形成，裝備的日常訓練及訓練效果的重要性越來越突出。長期以來，各類裝備的培訓都以理論學習和實裝操作為主[1]。理論培訓多以使用說明書、圖冊為主，手段單一、低效、交互性差；實裝操作對裝備和材料損耗大，訓練成本高，操作風險大，且受時間和環境的限制。在裝備的操作、維修等環節，需要多人協同作業，相互之間的協作能力差，配合不默契。在目前的培訓方式下，培訓效果不理想。同時，部隊一線作戰人員存在著流動性大、換崗調動頻繁等問題，在該形勢下，如何快速的使學員掌握裝備，使裝備快速形成并保持戰斗力十分重要。

虛擬現實技術具有良好的經濟型、可控性、安全性、靈活性、便利性等特點，而且不受空間、場地、天氣的限制[2-3]。利用虛擬現實進行將虛擬現實培訓技術引入到培訓中，能較好的解決武器裝備在培訓中存在的問題，充分調動學員學習的積極性和主動性，提升學員之間的相互協作能力，達到以練促訓、以訓促戰的目的。

針對以上問題，以某型艦載武器裝備為研究對象，基于虛擬現實技術，構建一種沉浸式虛擬協同培訓系統，從而解決裝備在培訓中存在的戰訓矛盾、交互性差、訓練成本高，操作風險大等問題，使戰士的日常訓練不再受空間、時間、環境和裝備限制，讓訓練更加有效、考核更加科學、效果更加顯著，掌握裝備操作技能、協作能力，使得裝備真正保持戰斗力。

1 總體方案設計

Unity 3D 是由Unity Technologies 公司開發的專業跨平臺游戲開發及虛擬現實引擎[4]，具有用戶界面直觀、文件格式豐富、跨平臺性好、靈活性強、性能高等特點，支持多種腳本開發語言和多種平臺發布[5]。

數據庫（Database）是按照數據結構來組織、存儲和管理數據的倉庫，進行數據結構的管理、分析和鏈接，具有數據的共享和集中控制，減少數據的冗余度，保持數據的獨立性、可維護性以及故障恢復等特點[6]。目前數據庫管理軟件主要有SQL Server、Access、Oracle、MySQL 等，其中，MySQL 以其開源性、體積小、速度快、高效性、便捷性等特點得到廣泛的應用。綜合以上特點，采用MySQL 進行數據管理。

通過以上分析，針對設計的沉浸式虛擬協同培訓系統的應用需求，采用虛擬現實技術、分布式交互技術、數據庫管理技術，開展沉浸式虛擬培訓系統開發技術研究，重點研究裝備虛擬培訓仿真架構技術、裝備虛擬培訓仿真系統建模技術、基于VR（Virtual Reality，虛擬現實）的虛擬訓練交互技術。以某型艦載武器裝備為對象，通過Unity 3D 開發引擎進行虛擬培訓系統的開發工作，實現裝備在使用和維修中的教學、訓練等功能；并通過網絡通信技術上使多用戶之間數據互聯互通，實現多人虛擬系統交互功能；利用MySQL 數據庫進行培訓要素綜合管理；使用VR 硬件設備進行虛擬培訓，總體方案設計如圖1 所示。

圖1 總體方案設計

1.1 系統結構框架設計

系統架構是整個虛擬培訓系統的核心，體現在數據來源、方案規劃、VR 仿真、裝備聯調和數據與接口管理方面。系統采用模塊化設計思想，模塊之間耦合度低，便于后續擴展維護。采用MVC 三層結構設計模式，軟件程序代碼重復利用率高[7]。總體的結構框架如圖2 所示。

圖2 系統結構框架

（1）數據層。數據層是整個系統的基礎，根據不同數據類型、管理需求、組織維護等要求，采用MySQL 數據庫對人員信息庫、裝備信息庫、故障信息庫、維修方案庫和教學管理庫進行培訓要素管理，完成系統基礎數據表設計。

（2）運行基礎平臺層。運行基礎平臺層主要提供裝備虛擬仿真技術軟件平臺的底層支持平臺和硬件支持平臺，提供相應數據接口，采用目前采用的.NetFrame 框架，基于Unity3D 三維引擎開發技術，實現虛擬現實技術展現。VR 平臺主要包括頭盔類設備、定位類設備、動作捕捉類、力反饋類設備等相關設備及接口開發。主要實現方法是利用.NetFrame 框架作為底層及數據訪問層進行科學化管理；基于Unity3D 的開發引擎平臺，建立相關三維仿真場景，模擬相關裝備的作業動作，通過三維建模工具創建相應的武器裝備虛擬模型，利用網絡化服務進行裝備模型驅動，以VR 相關硬件設備進行整個裝備維修保障作業仿真的三維動態展示。

（3）業務層。業務層是整個系統的核心功能，主要針對裝備維修數據維護、教學管理、訓練管理、考核管理、協同管理等方面進行系統整體架構設計。實現裝備模擬維修、訓練、考核的規范化與科學化。

1.2 功能模塊設計

設計的沉浸式虛擬協同培訓系統，其培訓內容涵蓋該型裝備的整個培訓過程，包括理論培訓、實操培訓和維修培訓，同時輔之以語音、問題等交互元素對學員進行操作注意事項或錯誤事項提示，實現學員對裝備的規范化操作。在學員完成系統培訓后進行相應的課程考核，記錄相應成績并進行綜合評判。主要包括UI、基本功能、多人協同等功能模塊。主要模塊如圖3 所示。

圖3 主要模塊

（1）UI 模塊。使用Unity 3D 開發引擎中的UGUI 模塊進行用戶界面制作和功能開發，實現主界面和各分界面之間的頁面切換功能；點擊Button、Toggle 等UI 元素實現軟件功能的調整和選取功能；實現多個虛擬場景之間的切換功能；實現培訓過程中向學員顯示操作提示信息等培訓系統與用戶之間的交互等功能。

（2）基本功能模塊。主要包括虛擬培訓系統基本的功能模塊，如教學管理、訓練管理和維修管理，以及各個功能模塊包含的基本內容，涵蓋武器裝備培訓的全過程。模塊功能組成如圖4所示。

圖4 模塊功能組成

2 系統實現

2.1 數據庫設計

根據培訓系統的功能要求進行系統核心數據表設計，利用MySQL 數據庫實現數據表的創建工作，核心數據表舉例見表1。

表1 核心數據表舉例

以學員信息表、成績信息表和裝備屬性信息為例，描述信息表中相應的字段名、字段類型、約束類型及含義描述。學員信息表記錄學員的登陸名、登陸密碼及學習時長，完成系統登陸時的身份驗證功能，并根據學員的登陸名將其在進行培訓考核的理論分數、實操分數、維修分數進行記錄，為學員水平的綜合評定進行數據積累。學員信息表見表2，成績信息表見表3。

表2 學員信息表

表3 成績信息表

2.2 功能實現

2.2.1 教學管理

教學管理模塊主要包括登陸系統、理論學習等6 個分模塊，主要功能及實現方式如下：

（1）登陸系統。采用Unity 3D 中的UGUI 組件并結合MySQL數據庫技術進行登陸系統設計，實現培訓系統的受訓人員范圍掌控和保障培訓系統安全的同時，能夠記錄受訓人員的培訓學習情況。

（2）理論學習和考核。采用Unity 3D 中的UGUI 組件將該型裝備的說明書、原理圖、實物圖等培訓資料進行電子化顯示，實現基礎原理理論學習、查詢功能。為實現對學員理論學習的實際掌握程度的把握，依據相關考試項目的相關規定，采用Unity 3D 中的Toogle、Input Field 等UI 控件進行理論考核。

（3）成績查詢及教學計劃。采用MySQL 數據庫技術記錄學員在理論知識、裝備操作以及維修保障方面的培訓成績，采用Unity 3D 中的Button、Text 等UI 控件查詢學員成績并顯示結果，根據學員培訓的綜合情況查漏補缺制定專項教學計劃。

2.2.2 訓練管理

訓練管理模塊主要為學員提供裝備操作方面的運行環境，依據裝備的實操培訓和考核的流程進行，包括演示模式、訓練模式、考核模式、考核評估等4 個分模塊，主要功能及實現方式如下：

（1）演示模式。針對裝備的動態原理圖、工作過程、操作過程，構建生動逼真的二維、三維場景進行直觀展現，同時借助三維動畫、聲音、文本等多媒體技術的展現形式加深學習印象提升培訓效果。此外，為便于學員針對關鍵操作流程進行選擇性、重復性學習，提升學習效率，在該模塊具備演示流程的播放、快播、慢播、暫停、回放等功能，系統采用Unity3D 中的DOTween 工具插件進行功能開發。功能控制表見表4。

表4 功能控制表

（2）訓練模式。在該模式下，學員可在虛擬場景中行走并自行操控虛擬場景中的工具、零件、按鈕等對象，進行裝備的操作或拆裝訓練。分別創建了操作流程控制類（StatusRecord_Controller）和操作提示信息類（PromptMessage_Controller），訓練流程如圖5 所示，通過Int 值進行步驟檢索，判斷學員操作步驟的正確性，并根據訓練情況進行操作事項提醒。學員進行具體操作時，控制類會首先判斷是否滿足觸發條件，當條件滿足時，學員才可進行該步驟的操作；當條件不滿足時，信息類會彈出操作錯誤和正確操作步驟，通過反復的訓練進而規范學員對裝備的操作流程，固化操作方法，實現裝備的訓練功能。

圖5 訓練流程

（3）考核模式。為考核學員的實際掌握程度，在訓練模式的基礎上，將取消操作提示信息類（PromptMessage_Controller），由學員進行自行操作。同時取消操作流程控制類（Status－Record_Controller），并針對裝備的各個操作過程分別計以分值，根據學員的具體操作情況進行分數統計，實現單機考核。

（4）考核評估。根據學員單機考核的情況，從操作的正確性、操作時間等方面進行整體評估。將裝備使用操作等方面需要學員掌握的技能進行低、中、高分級劃分，對學員的培訓情況進行等級劃分，判斷學員技能的盲點或薄弱環節，有針對性的進行補充學習提醒。

2.2.3 維修管理

維修管理模塊主要為學員提供有關裝備的故障維修操作方面的培訓，并進行裝備的排故考核，包括演示模式、訓練模式、考核模式、考核評估等4 個分模塊，綜合提升學員從故障現象入手判斷并排除故障的能力。維修管理模塊的實現原理與訓練管理模塊一致，其原理不再進行詳細說明。

2.3 多人協同訓練設計

在虛擬訓練環境中，各個虛擬對象進行裝備的虛擬操作。通過協同技術實現整個場景中的維修、訓練操作同步，并且在場景中解決虛擬對象、虛擬裝備、虛擬工具等虛擬實體的實時狀態、操作姿態等特性傳輸問題。

在裝備典型結構的訓練環境中，多人協作維修訓練功能主要體現在協同環境下的數據實時同步實現方面。而協同環境主要是指定物體或對象間的信息交互的基礎，數據是指不同對象在三維場景中方位信息（視圖的相對坐標和世界絕對坐標）、運動信息（靜態和動態）和相關聯屬性（規則狀態），其中涉及武器裝備資源數據較多，實時性要求高，另外，在三維場景下，三維數據的幀速率對網絡要求較高。基于以上需求，采用Smart－FoxServer 網絡服務引擎進行培訓系統中的協同作業模塊的開發工作，該網絡服務引擎支持包括Unity 在內的多個平臺，易用且高效。通過網絡服務架構的公共API（Public API）可實現自定義的客戶端和服務器端間的數據安全通信的功能。多人協同訓練設計如圖6 所示。

圖6 多人協同訓練設計

3 系統測試

通過使用HTC Vive 等VR 硬件設備連接本系統進行系統測試，主要測試情況如下：系統登錄如圖7 所示，操作訓練如圖8 所示，操作提醒如圖9 所示，參考結果如圖10 所示。

圖7 系統登錄

圖8 操作訓練

圖9 操作提醒

圖10 考核結果

4 結束語

基于虛擬現實技術，使用Unity 3D 引擎、MySQL 數據庫等工具平臺，設計開發了某型艦載武器裝備沉浸式虛擬協同培訓系統，通過系統測試表明，能夠滿足裝備在使用和維修方面進行訓練和考核的要求，在降低裝備訓練成本和風險的同時，能夠提升訓練效率和相互協同作業的能力，能有效提高培訓的效率，對其他武器裝備具有重要的推廣價值。