軍事裝備虛擬維修訓練系統設計*

姚 愷 黃少羅 王晉生

（1.陸軍工程大學石家莊校區 石家莊 050000）（2.陸軍步兵學院石家莊校區 石家莊 050000）

1 引言

目前，我軍正處于基本實現機械化、信息化不斷深入的關鍵階段，在此形勢下，武器裝備信息度、集成度、復雜度都明顯增加，同時也對維修人員的維修能力提出了更高的要求。因而，在裝備維修工作中，了解武器裝備構成，熟悉其運行原理，提高維修保障人員維修水平成為維持裝備良好的戰技性能、提升單裝作戰能力的重要影響因素［1］。面對裝備內部大量的零部件以及相互間的復雜約束關系，常規去情況下，維修保障人員依靠隨裝出廠的維修手冊以及個人的修理經驗開展裝備維修工作，但裝備故障存在耦合性，任何載體資料都不能盡述全部故障［2］。在此基礎上，提出基于混合現實理論的裝備虛擬維修訓練系統框架。

2 維修訓練系統框架設計

2.1 混合現實理論

根據虛擬環境與真實環境的交互層級，虛擬現實技術分為虛擬現實（VR）、增強現實（AR）和混合現實（MR）三類。虛擬現實是完全的數字虛擬世界，所有操作皆通過虛擬指令或操作完成，不會與真實世界產生交互；增強現實是將簡單的2D圖片或文字疊加至真實環境，也是在真實環境基礎上增加部分虛擬環境的做法，同樣無法與真實世界產生交互；混合現實處于虛擬現實和增強現實之間，它是計算機、人、真實環境的交互混合仿真系統，具有沉浸感強、實時交互的特點。1996年加拿大學者Milgram提出的“虛擬-現實連續體”（Virtuality Continuum）框架很好地定義了混合現實，這也是學術界普遍認可的一種定義方式，如圖1所示［3］。

圖1 虛擬-現實連續體框架

在上述框架中，數字世界和實體世界分處連續體兩個極端，分別代表純粹的虛擬世界和真實世界，混合現實是數字世界和真實世界之間的混沌區域，換言之，混合現實并沒有嚴格的界定，應用技術更靠近虛擬世界為增強虛擬（AV），反之更靠近真實世界則為增強現實（AR）。

2.2 維修訓練系統功能結構

如圖2所示，虛擬維修系統主要由跟蹤注冊、人機交互、數據管理和引導信息4個模塊組成［4］，基本思路是用裝備的數字模型替代實體模型，用基于虛擬技術開展的維修訓練代替實裝維修訓練。其中，跟蹤注冊模塊采集維修人員頭部位姿信息，融合虛擬設備信息并清晰的呈現在屏顯界面；人機交互模塊采用語音、手勢以及觸控筆等交互方式使得系統準確理解維修意圖并做出及時正確的反饋；數據管理模塊用于存儲用戶信息、維修數據等；引導信息模塊融合維修人員操作指令及維修數據資料后形成維修引導式信息，經過渲染后呈現在維修人員視野中。

圖2 虛擬維修系統功能模塊組成

針對上文虛擬維修系統的功能要求，筆者設計了基于混合現實技術的維修系統體系結構［5］，如圖3所示。

圖3 維修系統體系結構

硬件層：系統以高性能計算機工作站為仿真主機，以微軟Windows xp操作系統為客戶端系統，包含實現人機交互所需各類硬件設備。

軟件層：維修系統采用3Dmax軟件進行場景建模，使用unity引擎驅動場景，實現語音、手勢以及觸控指令的輸入和反饋，跟蹤、確定維修人員在虛擬場景中位置，存儲大量維修文本資料、維修模型資料以及拆裝序列信息等數據。

應用層：系統具備維修訓練、維修引導兩大功能模塊。

用戶層：維修人員訓練過程引導、提示，反饋結果通過操作界面呈現在用戶面前。

3 系統組成模塊設計

3.1 混合注冊模塊

跟蹤注冊技術準確定位實體世界中的目標模型，并將虛擬系統生成的數字物體穩定、真實地融入實體環境中，是混合現實技術的核心［6］。常用的跟蹤注冊技術為同步定位和建圖技術（SLAM），理論思想是基于計算機視覺的注冊算法與基于硬件傳感器的注冊算法相結合，如圖4所示，基本框架包括傳感器、前端、后端、回環檢測和建圖5部分內容。

圖4 SLAM系統組成

傳感器讀取相機圖像信息并進行預處理；前端視覺里程計預估相鄰圖像間的圖像采集器的運動；后端接收攝像機位置和在不同時間測量的循環檢測的信息，并為獲取布局一致的軌跡和地圖進行非線性優化；回環檢測主要判斷相機是不是經過當前位置，并消除累計誤差；建圖即根據估計的軌跡建立地圖。除傳感器數據可以通過相機攝像頭采集，其余內容均通過算法在PC端完成。

3.2 人機交互模塊

考慮到維修系統的實用性以及經濟性，系統設計兩種工作模式，分別為維修訓練模式和維修引導模式［7］。日常虛擬環境下的維修訓練采用第一種工作模式，主要借助觸控筆在多點式觸控屏幕上完成交互操作，系統采集操作指令并通過聲音、震動、文字等方式予以反饋；故障現象不明導致無法做出正確維修決策的情況下采用第二種工作模式，前端視覺傳感器自動識別故障部件，維修人員利用語音、手勢與后臺數據庫產生交互，利用故障推理技術選擇合適的排除方法，技術允許的情況下，也可遠程連接相關專業維修人員進行遠程維修引導。

3.2.1 觸控筆交互

觸控交互指令基于射線碰撞監測原理產生，以觸控筆為媒介進行交互，維修人員通過觸控筆前端的射線選擇物體或部件，當射線碰撞虛擬環境并產生碰撞，維修人員通過長按相應的按鈕實現虛擬環境的選擇、縮放，圖5為觸控筆的外觀示意圖［8］。

圖5 觸控筆外觀示意圖

3.2.2 語音交互信

準確辨識維修人員話音內容是有效交互的前提和關鍵，本質是基于語音特性參數的模式識別，即模式匹配原理。換言之，通過學習，系統可以根據特定的模式對輸入的語音進行歸類，然后根據特定的匹配模式找到最佳匹配結果［9］。如圖6是基于模式匹配原理的話音辨識系統框圖。

圖6 話音辨識系統框圖

現有語音識別功能多數利用特定平臺API實現，必須依賴網絡進行，且識別并不是很好。因此，正文采用微軟自帶的Microsoft Speech SDK實現話音辨識，預先制定8條指令，包括：開始維修、光標上（下、左、右）移、上一步、下一步、提示、連接后臺、確認、返回。系統采集維修人員語音指令信息，確認開始維修后，自動識別故障設備，彈出故障列表，維修人員通過上述指令進入特定故障維修引導界面。

3.2.3 手勢交互信息

通常，維修環境存在大量噪音干擾，導致系統無法檢測到維修人員語音指令，此時應將指令方式自動切換至手勢指令輸入。筆者設計采取視覺融合慣性的方法識別維修人員的手勢。建立手勢指令樣本集，提取并處理樣本集特征，通過訓練建立手勢庫；將監測到的維修人員手勢與訓練結果進行比對，判斷識別出的最可能的手勢并輸出指令結果，圖7為手勢識別流程框圖。

圖7 手勢識別流程

基于Hololens核心手勢，設計虛擬維修常見的手勢指令，包括：選擇、放大（縮小）、移動等常見手勢。圖8為放大（縮小）的手勢變化，正向為縮小手勢，反向為放大手勢。

圖8 放大（縮小）手勢變化

3.3 引導信息模塊

維修引導模式下，綜合考慮成像效果、佩戴舒適感以及經濟性等因素，引導信息模塊硬件采用光學透視型頭戴顯示器Hololens作為混合現實顯示設備，軟件通過在Windows環境下運行OSG（Open-SceneGraph）框架渲染語音、文字、圖像等引導信息并完成輸出。維修訓練模式下，通過立體投影或分屏技術，將維修人員的虛擬交互過程投影到其他3D/2D顯示設備中，便于開展演示互動分享。

3.4 數據管理模塊

虛擬維修系統的數據庫資料包含維修文本資料和維修模型資料。維修文本資料根據不同型號裝備可進行補充完善，按照故障類型、對象信息、維修流程、注意事項等進行分層分類管理。維修模型資料包含維修對象3D模型、維修工具3D模型、環境模型、紋路和貼圖等數據。

圖9 引導信息生成原理框圖

虛擬系統不僅可以針對特定型號裝備進行虛擬維修訓練，也可在緊急情況下實現引導式維修，因此對3D模型進行有效組織管理至關重要。維修過程本質是維修人員拆卸與裝配目標對象的過程，在建模中則應重點考慮零部件間的拆裝信息關系，確保相互之間能夠精準匹配。基于此，本文構建層次化的拆裝關系模型，包含零件信息、拆裝序列、拆裝路徑和拆裝約束4個方面的信息［10］。表1為各要素包含的相關拆裝信息。

表1 拆裝模型要素信息表

4 目標拆卸技術分析

拆卸與裝配是裝備維修過程中的重要環節，裝配可以看作是拆卸的逆過程，此環節對拆卸進行研究。根據目標的分解程度，拆卸可以分成完全拆卸和目標拆卸。具體來說，完全拆卸是將具體裝備或單體設備分解至獨立不可拆解的零件為止，主要應用于結構原理研究；目標拆卸是在明確拆卸目標的基礎上，解除目標零件的所有約束，按拆卸序列逐步拆解，最后完成拆卸目標的過程，主要用于具體零件的更換或維修［11］。基層級換件維修的過程即為目標拆卸的應用過程。因此，研究維修訓練重在對研究對象進行目標拆卸建模研究。

4.1 目標拆卸基本原理

利用圖論進行目標拆卸序列規劃的基本原理是：首先，根據目標對象部件的定向連接圖，計算其完整的剖面集矩陣。然后，從矩陣中提取連續字符的行以分離圖形，并計算分段圖形的秩。如果秩只是減少1，則對應于行的邊緣是組合的定向切割集。每個這樣的部件切割集將定向部件的原始連接圖形分成兩個子圖，所有部件裝配序列就都可以循環分割得到［12］。

假定目標部件的連接關系為

公式中，V表示包含在目標組件中的一組可移除零件，E表示被移除的目標零件之間的一組關聯連接。如果集合L可以分成兩個對應聯通的子圖，存在：

且滿足：

目標拆卸的割集合Ecut可以表示為

根據上述拆卸原理，目標組件的限制部分可以被逐一釋放，并且兼顧單次拆卸和步驟最少原則，這樣，就可以獲得定向圖表示的拆卸目標序列。

4.2 軸承架拆卸序列生成

以軍事裝備中常見傳動齒輪軸承架為例，圖10為軸承架三維模型零件編號圖。按照上文所述拆卸原理，運用目標拆卸約束解除法，獲得拆卸序列對應的與或分割有向圖，見圖11。

圖10 軸承架三維模型零件編號圖

分析虛擬拆卸結果，該傳統齒輪軸承拆卸序列編號如圖12所示。整個拆卸序列生成10個割集Ecut，按照拆卸約束解除規則，10個割集對應10個拆卸步驟。在目標拆卸中，沒有發生零件碰撞和穿透，沒有破壞性拆卸，拆卸步驟少，拆卸效果好，符合實際拆卸要求。

圖11 軸承架有向拆卸分割圖

圖12 軸承要拆卸序列

5 結語

本文提出基于混合現實理論的軍事裝備虛擬維修訓練系統設計方法，能夠同時滿足日常維修訓練、突發情況下引導維修的需求。系統采用桌面顯示和頭戴顯示兩者模式，通過語音、手勢指令實現了維修人員能與虛擬維修環境的有效交互，運行平臺技術成熟，二次開發成本低，開發周期短，對不同類型裝備的虛擬維修訓練、虛擬操作訓練系統的開發具有借鑒指導意義。