增強現實與數字孿生混合驅動的航天復雜裝備維修輔助技術研究

鐘珂珂 洪海波 宋 倩 郭 宇 魏士松

1.上海航天精密機械研究所；2.南京航空航天大學

裝備維修保障是部隊戰斗力生成、保持、增強及再生的重要手段，直接影響著作戰的進程與結局。隨著航天裝備信息化、集成化、綜合一體化程度大幅提升，列裝型號種類多、裝備模塊可視化程度低、戰時保障前后端銜接不足、人員訓練量化評估考核手段缺乏、維修大數據難以挖掘和復用等突出矛盾已成為制約武器裝備戰時快速保障能力構建的重大瓶頸。原有基于機械化裝備維修特點與規律的維修保障方式已經難以適應未來信息化戰爭條件下裝備維修的需求。

增強現實（AR）是利用可視化技術和虛實配準技術，通過在現實場景中融合虛擬場景信息，為用戶提供一種身臨其境的“虛實結合”環境和更加直觀靈活的操作方式[1]。數字孿生（DT）以數據與模型的集成融合為核心，通過在數字空間實時構建物理對象的精準數字化映射，實現全流程的閉環優化。在航空維修領域，美國波音公司率先將增強現實技術應用于飛機制造中的電力線纜連接和接線器裝配，完成了世界上第一套實用化的增強現實系統；美國洛克希德·馬丁公司將這一技術應用于F-22 和F-35 戰斗機的制造與維修中，在工程師視野中顯示螺栓、電纜等零部件的效果圖與編號，替代了傳統紙質說明書，使工程師的工作效率提高了30%，裝配準確率提高了96%[2]。

隨著新一代信息技術的發展，增強現實、數字孿生、人工智能等新技術與傳統國防工業進行了深度融合，已經成為催化航天復雜裝備保障能力實現“飛躍”的重要途徑。本文通過系統剖析新形勢下航天復雜裝備維修保障瓶頸，從數據、診斷、誘導、協作、考評等方面切入，提出一種基于增強現實技術、數字孿生內核驅動的典型武器裝備維修保障與人員訓練系統框架，結合功能模塊介紹與原型系統展示，闡述航天復雜裝備維修輔助平臺開發的集成要點與應用的初步成效。

一、當前航天復雜裝備維修保障面臨的挑戰

隨著新軍事戰爭形態和聯合指揮體制的確立，裝備保障能力的生成模式發生了深刻變化，對裝備維修保障信息化建設提出了更高要求。航天復雜裝備作為“高精尖”機電一體化產品，其維修保障流程復雜、涉及領域多、難度大，目前，維修保障模式存在以下瓶頸問題。

一是原理復雜，故障影響因素多，故障現象、原因及維修措施等數據及知識積累不足，故障難以準確定位，診斷周期長[3]；二是航天復雜裝備結構復雜、裝配精密，維修規范性要求高，裝備模塊及維修過程直觀顯示程度低，維修效率低，難保證一次合格；三是裝備部署范圍大、疆域廣，傳統“保姆式維修”效率低，軍地協同遠程故障診斷及維修輔助手段欠缺，戰時保障前后端銜接不足；四是維修能力評價方法及標準體系尚未建立，人員維修訓練量化評估開展不便，難以支撐武器裝備維修保障能力的快速提升。

二、基于增強現實的航天復雜裝備輔助維修系統整體技術框架

基于增強現實的航天復雜裝備輔助維修系統整體技術框架如圖1 所示。

圖1 基于增強現實的航天復雜裝備輔助維修系統整體技術框架

一是構建航天復雜裝備多要素孿生模型，形成適用于多種型號、維修流程誘導、協同維修的模塊化精確數字孿生模型構建方案，為航天復雜裝備維修指導和維修訓練提供精確模型支撐。

二是形成航天復雜裝備故障在線診斷與維修策略匹配機制，通過航天復雜裝備故障維修觸發—航天復雜裝備故障根源定位—航天復雜裝備維修方案獲取的故障在線診斷路徑，對維修過程知識進行綁定，構建航天復雜裝備維修三維案例庫，支撐航天復雜裝備維修引導。

三是解決航天復雜裝備維修流程誘導難題，形成位姿跟蹤注冊、維修指令虛實融合、維修防錯檢測的解決方案，降低維修錯誤率，提高維修效率和質量；同時開展航天復雜裝備遠程協同維修，形成遠程協同系統體系框架和遠程專家實時空間標注解決方案，實現遠程高質量協同維修和知識沉淀[4]。

四是滿足航天復雜裝備維修定量考核評估，從維修考核評估方法、維修考核機制、綜合維修能力評估等方面，構建一套維修人員考核方法和評估體系，解決航天復雜裝備維修人員訓練量化評估開展不便的難題。

五是實現增強現實的航天復雜裝備數字化維修輔助系統集成，實現“故障在線診斷”“維修流程誘導”“協同維修支持”“維修能力評估”“維修大數據管理”等5 個關鍵模塊的有機融合。

三、基于增強現實的航天復雜裝備輔助維修系統關鍵技術途徑

1. 面向故障維修的數字孿生模型構建

面向航天復雜裝備故障維修的數字孿生模型構建可以分成異構模型構建、模型集成、模型實時可視化3 個部分。

首先，基于Unity 3D/復雜事件處理（CEP）/自動化標識語言（AutomationML）等工具方法分別完成航天復雜裝備幾何、邏輯與數據模型的高保真構建，如圖2 所示。解決航天復雜裝備故障維修過程中用于模塊直觀顯示的三維模型問題，從而為后續用于航天復雜裝備故障維修流程誘導和遠程協同維修提供模型基礎。

圖2 航天復雜裝備高保真孿生基礎模型構建

其次，將本體與幾何、邏輯、數據元模型進行結合，構造各元模型元素與本體概念間的語義匹配與映射，形成基于本體的語義知識庫，實現異構模型間信息共享和交互[5]，從整體上打通所有異構模型的集成問題，如圖3 所示。

圖3 基于本體的航天復雜裝備孿生模型關聯與映射

最后，結合航天復雜裝備實際維修過程的實時信息，通過孿生模型對實際維修部分進行實時可視化顯示，從而實現航天復雜裝備整個維修過程的透明化。

2. 大數據驅動的航天復雜裝備故障在線診斷與維修決策

大數據驅動的航天裝備故障在線診斷與維修策略研究可以分為案例知識庫構建、故障在線診斷/根源分析/策略匹配、案例知識庫更新3 部分，從整體上形成知識庫構建、知識庫應用、知識庫更新的技術路線，如圖4 所示。

圖4 故障在線診斷與維修策略匹配

面向構建完善的案例知識庫目標，通過檢測設備和維修過程記錄獲取面向航天復雜裝備維修的多源數據，采用數據融合技術提煉知識，并構建三維故障診斷/溯源/維修策略模型庫，綁定維修過程知識，形成完整的維修案例知識庫。

在航天裝備故障診斷環節，以案例知識庫和現場狀態數據為基礎，從故障診斷—故障根源定位—故障維修方案3 個維度分析，采用語義推理技術，實現故障類型的確定和維修策略的制定[6]。

動態完善三維案例知識庫是確保診斷精準性的必要基礎，隨著時間的推移，維修知識不斷積累，將新增診斷案例知識和維修策略知識融合至三維案例知識庫，從而提高故障維修質量。

3.面向過程的增強現實維修流程誘導與遠程協同

通過面向復雜維修場景的位姿跟蹤、基于情景感知的維修指令虛實融合交互、基于時序信息的維修質量檢測等模塊，形成“以人為中心”的維修流程誘導，如圖5 所示。

圖5 增強環境下的航天復雜裝備維修流程誘導

基于孿生模型與事件匹配的裝備維修實時可視化仿真[7]成為維修流程誘導、遠程協同維修等過程中信息交互的基礎。從數字孿生模型中獲取可以裁剪的誘導信息，通過基于視覺的位姿跟蹤注冊，獲取目標對象和增強現實頭盔的三維位姿[8]；通過情景感知和手勢指令、語音指令、眼動跟蹤等輸入手段減輕用戶的交互壓力，根據相機和慣性測量單元（IMU）信息進行深度信息重建[9]，呈現高逼真度的誘導指令。

在維修質量檢測環節，從航天復雜裝備的三維裝配模型的配合關系出發，構建基于YOLO 算法的目標檢測算法[10]，對維修零件的位姿進行檢測，快速發現漏裝、錯裝、出現多余物、間隙過大等問題，減少維修完成后的檢測耗時和返工率。

一線維修人員遇到無法解決的問題時，通過增強現實設備將語音描述信息和現場畫面傳給遠程的專家，通過基于即時定位與地圖構建（SLAM）的三維空間標注方法，將二維標注信息轉換為三維模式[11]，實現標注信息的三維精準化展示。

4. 基于多維信息的維修過程定量考核與維修能力評估

針對航天復雜裝備維修過程存在諸多模糊性、隨機性，以及客觀評判性差的特點，構建基于層次分析法的維修定量考核評估體系，如圖6 所示。

圖6 基于多維信息的維修定量考核評估

通過力反饋手套、增強現實系統和數字孿生系統的交互反饋，建立一種基于虛實反饋信息的維修考核機制[12]，該機制由虛擬維修考核和實操維修考核兩部分組成，為維修人員綜合能力評估提供數據來源。基于TabNET 神經網絡強大的非線性逼近能力[13]，克服維修中的主觀因素的影響，構建綜合維修能力評估模型，提高評估的準確度。

四、航天復雜裝備輔助維修系統原型系統構建

整個原型系統分為業務功能層、應用服務層、數據層和設備層。業務功能層重點圍繞實際訓練的科目，按照典型場景進行聚類部署，以單人增強現實維修操作為客戶端，依托應用服務層的相關服務，將數據層的多項數據結合實物展示進行內容呈現及管理[14]；應用服務層主要基于微服務框架，將本系統常用的業務功能組件進行耦合，形成各功能獨立并具備訪問接口的微服務；數據層主要保存建模場景、孿生模型、人員能力、訓練規則、故障數據、個性化評估等數據，為業務功能層提供數據支撐[15]；設備層為訓練系統的人機交互窗口，為訓練中的交互、顯示、系統運行提供軟硬件支撐。

五、結束語

增強現實與數字孿生混合驅動的航天復雜裝備維修技術是將增強現實的人機交互優勢與數字孿生的數據模型優勢進行了充分融合[16]，通過一種基于孿生模型與事件匹配的維修實時可視化仿真方法，將維修活動的變化以空間或時間敏感的形式反映在虛擬空間中，采用“條件—事件—行為”路徑來實現事件驅動的智能維修流程。本文闡述的航天復雜裝備維修輔助系統具備故障在線診斷、維修流程實時誘導、遠程協作維修指導、維修定量評估與考評、維修大數據集成等功能，為實現靠前保障、快速保障目標，縮短故障診斷時間，彌補戰場陣地與后方維修技術保障之間的鴻溝，解決面向多型號、高難度、強協同的裝備維修保障快速響應難題，提升我軍裝備信息化、智能化維修能力提供了可行的技術路徑和工程實現手段。