混合現實軍事裝備維修系統綜述

王 崴，雷松貴，劉海平，李淘金，瞿 玨，邱 盎

(空軍工程大學防空反導學院，西安，710051)

隨著軍事科技日益先進和戰場環境日益復雜，軍事裝備維修面臨巨大的挑戰，軍隊迫切需要解決傳統的維修與教學訓練方式所存在的成本高、危險大、效率低等問題。混合現實(Mixed Reality，MR)具有虛實場景結合、實時自然交互、真實沉浸感[1]的技術特點，支持半實物訓練、無實物訓練和內部結構可視化，有效解決了上述問題。本文整理近年來國內外MR軍事裝備維修的應用及其關鍵技術，指出了存在的問題與發展趨勢。

1 混合現實維修概述

1.1 MR概念

Milgram和Kishino[2]提出的現實-虛擬連續體框架明確了MR的定義，如圖1所示。

圖1 現實-虛擬連續體

在此框架中，真實環境與虛擬環境被放在二維連續體兩端，現實與虛擬在兩端點間不同程度地結合在一起。在應用中如果真實物體的比例高于虛擬物體，則可以歸類為增強現實(Augmented Reality,AR)；若虛擬物體占主導地位，則可以歸類為增強虛擬(Augmented Virtuality,AV)，兩者共同構成MR。

1.2 MR維修系統結構

MR維修系統一般可以分為人機交互、跟蹤注冊、數據管理、虛實融合4個模塊[3]，如圖2所示。

圖2 MR維修系統結構

人機交互模塊能夠使系統理解用戶意圖并且做出正確的響應；跟蹤注冊模塊能夠獲取用戶的位姿信息以及維修對象的圖形信息，使虛擬物體穩定地在用戶視野中顯示；虛實融合模塊負責處理交互指令，結合數據庫生成圖片、文字、動畫等引導信息，并且渲染在用戶的視野中；數據管理模塊用于管理用戶信息和維修信息。

1.3 混合現實維修關鍵技術

MR維修系統的關鍵技術主要包含顯示技術、跟蹤注冊技術、人機交互技術以及故障推理技術。

1.3.1 顯示技術

顯示技術是MR的基礎，通過MR顯示設備，用戶能便捷地觀看到虛實融合的場景。頭戴顯示設備(Head-Mounted Display，HMD)方便攜帶、沉浸感強，在MR維修系統中使用最廣泛。根據顯示原理可將其分為視頻透視型(Video See-Through，VST)和光學透視型(Optical See-Through，OST)2種[4]。前者將攝像頭采集到的真實場景視頻與計算機生成的虛擬物體在屏幕上合成虛實融合的視頻。后者則是將真實場景的實時畫面與虛擬物體在成像平面上合成虛實融合的實時影像。OST顯示設備佩戴舒適、不易產生3D眩暈、交互自然，在MR維修系統中使用最多，常用的設備如圖3所示。

圖3 4種MR顯示設備

OST顯示設備主要由微型顯示器和光學元件組成，其中光學元件主要包括Birdbath、蟲眼、光波導等。Birdbath和蟲眼光學元件都是將微型顯示器的光線投射到分光鏡上，從分光鏡上反射的光線與透射的真實世界光線融合進入人眼，從而形成虛實融合視野，此類設備有聯想Mirage AR、Ned Glass、Meta 2等。光波導則是利用第一全息光柵的衍射效應使經過準直的微型顯示器光線滿足全反射條件在基板中向前傳播，當光線到達第二全息光柵時全反射條件被破壞，光線進入人眼成像[5]，如圖4所示。光波導元件尺寸小、清晰度高、不易產生重影，是當前MR顯示設備的研究前沿，代表設備有Hololens、Magic Leap One等。

圖4 光波導原理

1.3.2 跟蹤注冊技術

跟蹤注冊技術是MR的核心技術，它在現實世界中準確定位虛擬物體，使計算機生成的虛擬物體能夠穩定融入到真實空間中。基于視覺的跟蹤注冊方法在MR維修系統中應用最多，根據先驗知識的類型可分為基于先驗知識(標志物、自然特征、模型)和視覺同步定位與建圖(Visual Simultaneous Localization and Mapping，VSLAM)2類。

基于先驗知識的方法通過計算機對相機采集到的真實場景先驗知識(標志物、自然特征、模型)進行處理來獲取特征信息，并通過特征信息對比計算相機位姿，然后進行變換坐標，最終將虛擬物體準確地疊加在真實場景中，流程如圖5所示。此類方法實現相對簡單、效果較好，但在先驗知識無法獲取或獲取不完整時會導致跟蹤注冊失敗。

圖5 基于先驗知識的跟蹤注冊流程

與前者不同，VSLAM技術無需先驗知識，搭載特定傳感器的主體通過自身的運動就可以確定環境模型[6]。VSLAM框架主要包含5個部分：傳感器數據獲取、前端處理、后端處理、回環檢測和建圖。前端即視覺里程計通過攝像機獲取到的信息估算相機的運動和局部地圖的雛形。回環檢測判斷攝像機是否經過已到達過的位置，檢查到回環則將信息提供給后端。后端負責對前端和回環檢測數據進行優化和降噪。建圖即根據軌跡建立任務需要的地圖。VSLAM跟蹤注冊效果穩定、抗干擾，但是涉及的算法多且需密切配合，是一個復雜的系統工程。

1.3.3 人機交互技術

人機交互技術讓用戶能夠自然高效地與虛實融合內容進行交互。在MR維修中最常使用的交互技術有手勢、語音和交互式電子手冊(Interactive Electronic Technical Manual，IETM)。

MR手勢交互按照輸入設備的不同可分為基于傳感器和基于視覺2種[7]。前者采用傳感器不斷獲取人手節點特征的三維坐標，從而計算出人手的空間位置及運動軌跡信息，最終完成手勢的識別。該方法能夠直接獲取手勢信息，識別準確率高，但需要額外設備支持。后者則利用攝像頭采集手勢圖像，通過計算機處理分析，最終識別手勢。該方法交互自然，不會影響用戶的正常操作，但算法較為復雜，識別率和實時性相對較差。

MR語音交互主要可分為語音識別、語義理解和語音輸出3個子系統。其中語音識別系統將輸入的聲音轉換為音素，采用語音特征模型進行分割，然后進行識別；語義理解系統將語音識別的結果進行修正并組合成符合語法結構和語言習慣的詞語和句子；語音輸出系統結合數據庫進行語音反饋[8]。

IETM將傳統的紙質技術手冊轉化為文字、圖片、多媒體等形式，按照標準格式統一集成在計算機系統中[9]。MR維修系統中的IETM主要提供圖紙、模型、動畫等信息給用戶[10]，用戶通過手勢語音等交互方式與系統進行溝通，如圖6所示。

圖6 交互式電子技術手冊

1.3.4 故障推理技術

故障推理技術是MR維修系統準確提供指導信息的關鍵。它主要依靠專家系統，通過模擬專家的思維方式，以人工智能技術和計算技術為基礎，知識庫和推理機為核心，對設備故障進行診斷[9]。按照知識結構和推理方式，專家系統主要分為基于規則、基于案例、基于神經網絡、基于模糊推理以及融合多種推理方式的專家系統。

傳統基于規則和基于案例的方法在處理小規模和復雜程度低的問題時效果良好，但是無法解決大批量復雜問題。基于模糊推理的專家系統引入隸屬函數的概念，模糊邏輯，適合處理不確定信息和不完整信息，缺點是知識獲取困難，學習能力差。基于神經網絡的方法實現了并行推理和自適應學習，克服了傳統專家系統知識獲取難、推理速度慢的缺點，適合處理訓練樣本充足的領域，但對樣本集要求較高，沒有增量學習能力，也無法解釋推理過程。目前故障推理專家系統正朝著數據挖掘、多信息融合、多系統互補、智能推理方法等方向發展。

2 混合現實維修應用

隨著關鍵技術的發展，MR已經被應用于航天航空、船舶、汽車、通信等軍事相關領域的維修以及相關人員培訓中。

2.1 教學培訓

MR維修訓練以低成本、低風險、不受氣候和場地限制、不受軍事裝備占用限制等獨特優勢受到了各國軍方的重視。歐盟WEKIT項目[11]采用“幽靈軌跡”來記錄專家的位置運動與聲音解釋，以“全息幽靈”的形式手把手指導新手完成飛行前維護、國際空間站復制模塊中臨時載物架的安裝等任務，如圖7所示。

圖7 WEKIT項目

波蘭空軍技術學院開發了基于MR的地空導彈故障診斷模擬器和虛擬指控臺，通過HMD以聲音指令、文本說明、三維動畫等形式訓練部隊執行診斷程序和選定作戰行動，有效解決了無法使用實裝訓練的問題[12]。美國Lockheed Martian公司將MR技術運用于F-22和F-35的制造與維修中，在工程師視野中顯示螺栓、電纜等零部件的效果圖與編號，替代了傳統紙質說明書，使工程師的工作效率提高了30%、裝配準確率提高了96%。另外該公司通過Hololens眼鏡與相關軟件配合，使新鉆孔工藝的培訓時間由8 h縮短到45 min，將NASA“獵戶座”航天器鉆孔、面板插入等操作耗時由6周縮短到2周左右[13]。

與歐美軍事強國對比，國內關于MR軍事裝備維修的研究還比較分散，還處于原理與方法的探索階段。國內蘇群星等[14]為大型復雜軍事裝備設計了虛擬維修系統，對虛擬樣機建立與虛擬維修流程進行研究，采用維修知識描述網MKDN對維修知識進行描述，系統功能在某型導彈裝備虛擬維修訓練中得到了驗證；方傳磊等[15]在此基礎上開發了導彈裝備虛擬維修訓練系統通用平臺，使用EON studio開發了面向某裝備的原型系統，使用ACESS進行數據管理，實現了教學演示與自主訓練功能；張王衛等[16]開發了面向軍事裝備維修的虛擬拆卸系統，對建模、拆卸序列和路徑規劃等關鍵技術進行了研究，系統成功應用于某型裝備傳動箱的拆卸維修訓練；楊鵬等[17]基于虛實結合的思想設計了半實物防空導彈武器系統全任務維修訓練模擬器，并提出了將維修訓練融入操作訓練的模式，通過動態設置故障突出實戰化要求；劉桂峰等[18]提出了基于Vega Prime的交互式實時虛擬維修系統，成功應用于某型艦艇減搖鰭虛擬維修中。梅朝等[19]基于Unity 3D設計了軍事裝備虛擬維修訓練系統，通過層次分析法和GAHP法對學員訓練效果進行全面評價，并在傳統系統的基礎上增加了半實物排障模塊，進一步豐富了系統功能。

2.2 戰場搶修

在現代化戰爭中，軍事裝備故障時有發生，MR維修系統提供了全新的戰場保障手段。美國空軍的ARMAR項目旨在提高軍事裝備維修水平，采用了機會控制的交互策略，即在操作人員觸摸到維修對象時，系統能夠識別位置標識物，調出當前維修對象的虛擬菜單，提示操作人員使用手勢選擇操作流程。基于該項目研究人員開發了美海軍陸戰隊裝甲運輸車LAV-25AI炮塔MR維修原型系統[20]。借助該系統機械師能夠在狹窄的裝甲車轉塔內完成安裝和拆卸緊固件、指示燈以及連接電纜等18個野外條件下的常見任務，如圖8所示。美軍開發的Adroit AR系統[21]可以掃描并識別維修目標，與遠程數據中心通信，接受必要的數據和指令，可視化坦克內部結構，提供動畫、語音形式的操作指引，協助戰場維修小組在極度緊張的戰斗環境中完成MIA2主戰坦克的搶修。

圖8 ARMAR項目

意大利空軍利用Hololens開發了用于維修C4I系統的應用[22]，專家通過專用網絡對維修人員進行遠程指導，如圖9所示。西班牙空軍與空客合作開發了基于無人機和MR技術的軍用飛機檢查技術。搭載在無人機上的高清相機能夠在數小時內掃描待檢修的飛機外部，并傳輸到HMD上顯示，幫助維修人員快速識別故障并執行維修操作[13]。

圖9 意大利空軍使用MR維修C4I系統

白柯萌等[23]設計了一種多傳感器式誘導維修系統，采用基于PST跟蹤儀和三軸陀螺儀、地磁感應計、加速度計的多傳感器系統實現了穩定的跟蹤，采用OSG進行圖形開發，使用自制HMD進行增強顯示。實驗表明在更換某型裝備電磁鐵的任務中(如圖10)，使用該系統指導維修所用時間較傳統紙質手冊和手持終端分別減少36.9%和20.4%。

圖10 多傳感器誘導維修系統

崔波等[3]設計了混合現實軍事裝備誘導維修系統，并且成功應用于軍用汽車發動機的維修實際中。該系統采用模塊化設計，便于維護與升級；采用語音和手勢實現了多通道人機交互；采用數據管理模塊對維修文檔進行標準化集中管理。基于此框架使用Ned Glass開發的誘導維修系統已經應用到了液壓設備的維修中，如圖11所示。羅又文等[24]為系統設計了基于Faster R-CNN的進程識別自動交互方法，利用神經網絡自動識別維修過程中拆卸下的零件，從而判斷步驟是否正確，實驗表明該交互方法使系統交互平均時間由語音的0.6 s和手勢的1.1 s降至0.3 s。

圖11 MR誘導維修系統

胡江南等[25]提出了軍事裝備遠程虛擬故障診斷支援系統，通過北斗衛星通訊系統傳輸故障信息，采用MR技術進行遠程故障診斷，并能根據戰場實時態勢調度保障力量，開辟了作戰保障的新途徑。

2.3 智能維修

隨著軍事裝備技術含量的不斷提升，傳統MR維修系統漸漸無法滿足日常訓練與維修任務，智能維修系統是未來保障工作的迫切需要，研究者們正朝此方向探索。法國米蘭理工大學的Aransyah等[26]將計算機維修管理軟件(Computerized Maintenance Management Software，CMMS)集成在MR維修系統中，系統通過Hololens上的攝像頭檢測附加在設備上的標志，從而識別機器ID，接著自動調取CMMS數據庫中該設備的信息提供指導，如圖12。當發生故障時，用戶通過語音輸入故障名稱，系統將可能的原因顯示在操作者視野中，用戶逐一排查，檢查到原因后，系統自動調取說明文本和視頻指導用戶進行維修操作。新西蘭坎特伯雷大學的Westerfield等[27]將MR與智能輔導系統(Intelligent Tutoring Systems，ITS)進行結合，通過ITS自適應指導手工裝配任務的培訓，系統功能在計算機主板裝配中得到了驗證。

圖12 集成CMMS的MR維修系統

Sun等[28]提出了一種應用在MR裝配中的智能交互系統。該系統設計了一種內含多個振動傳感器的立體標志物模塊，虛擬零件覆蓋在標志物上，當發生碰撞時模塊會產生振動提示操作者進行糾正。與之類似，德國的Webel等[29]將腕部觸覺傳感器應用于MR維修培訓中，在不妨礙用戶自主探索的同時提供更直接的反饋，如圖13所示。德國漢堡科技大學的Eschen等[30]嘗試將MR應用于飛機發動機燃燒室的故障檢查，通過提高裂紋可視化水平來進行判斷。當前的MR智能維修系統都處于原型階段，僅能實現故障診斷與人機交互的初步智能化，還沒有實現智能故障識別。

圖13 MR觸覺交互

3 存在的問題與解決思路

根據現有的研究進展分析MR軍事裝備維修系統中存在的主要問題，并給出具體的解決思路。

1)系統實用性問題：現有系統架構與系統功能性方面存在著較大的不足，可提供維修指導的故障數量十分有限，功能限制在單一的維修訓練、原理演示、誘導維修中，系統集成度不高。深層次原因是軍事裝備設計資料庫、模型數據庫、故障數據庫等關鍵信息的收集整理不到位，維修系統的開發者往往需要逆向建模和收集故障。對此解決思路是開發者與軍事裝備的設計生產工業部門、部隊使用者建立聯系，使用統一的格式對上述信息進行收集整理，系統功能集成模型靜態展示、原理動畫演示、故障維修練習、現場故障搶修、訓練成績量化考核于一體，為軍事裝備全壽命周期服務。

2)顯示設備問題：一是與單兵軍事裝備結合不緊密，無法在戰場環境中很好地保護士兵；二是弱化了士兵對真實環境的感知能力；三是使用溫度、續航時間、視野范圍等性能參數無法適應嚴峻的戰場環境。對此，解決方法是將MR顯示設備與戰術頭盔通過模塊外掛、導軌安裝、直接集成等形式進行結合；采用單眼顯示、不使用時將顯示設備向側面或者向上折疊的方式來最大限度減少虛擬物體對士兵環境感知能力的干擾；與工業部門深度合作，定制專用顯示設備，在戰場環境測試中不斷改進。

3)跟蹤注冊問題：一是基于視覺的跟蹤注冊技術在戶外易受到光照、油污、灰塵等環境條件的干擾；二是士兵經常需要快速旋轉和移動頭部，導致跟蹤目標的丟失。對此，解決思路是預先剔除不穩定因素或者采用多種方法取長補短；開發適應戶外環境條件的大場景跟蹤注冊方法；提升硬件傳感器的精度與穩定性；使用相關濾波算法和深度學習技術進一步提高實時性和魯棒性。

4)人機交互問題：一是常用的手勢和語音交互方式在戰場中會因為噪音和雙手占用變得無效；二是現有系統缺少力反饋，在安裝零件、擰緊螺栓等情況下無法提示該使用多大的力量；三是系統中大量的信息顯示與高度緊張的戰場環境增加了認知負荷，可能導致士兵的思維混亂[22]。對此解決思路是采用深度學習技術提高現有交互方式的準確率與魯棒性；研究眼動、觸覺和肌電、腦電、表情等生理信號交互方法，并將它們有機結合以實現多通道交互；結合力傳感器與觸覺傳感器來建立力反饋機制，通過手部的振動更直觀地指導士兵；通過腦電、瞳孔變化等生理信號測量認知負荷，在負荷過大時采用自適應人機界面方法減少顯示信息量、增大顯示文字，最終降低認知負荷。

4 加強我軍混合現實軍事裝備維修系統應用建設的措施建議

根據MR相關技術的發展現狀，可以總結出MR軍事裝備維修系統的未來發展趨勢：①智能化：主要體現在故障現象識別智能化、故障推理專家系統智能化、維修信息顯示智能化、維修過程記錄智能化等方面；②標準化：設立專門機構建立統一的硬件和軟件標準并進行推廣，降低開發與學習成本，便于技術交流與發展；③模塊化：包含硬件和軟件的模塊化，系統升級或修改系統內容時僅對對應模塊進行操作，系統故障時更換上相關模塊的冗余備份，實現快速維修，進一步提高系統可靠性。

我軍對系統的運用與歐美軍隊相比還存在較大的差距，為了避免差距被拉大，本文提出以下建議：①引入有實力的地方企業和高校院所參與系統開發，實現深層次軍民融合；②推動系統走出實驗室，應用于部隊維修實戰，根據部隊反饋進行針對性改進；③推進系統硬件和軟件國產化進程，替換大量使用的國外產品(如Unity引擎、3DMAX軟件、Hololens眼鏡等)，避免被歐美國家技術封鎖，在系統未來發展中掌握主動權；④與北斗系統、5G技術等我國優勢技術融合，實現范圍更廣、延遲更低、貼近實戰的分布式軍事裝備保障體系。盡管當前MR軍事裝備維修系統還存在許多問題，但是隨著相關技術的發展，未來成熟的系統仍是值得期待的。