增強現實在裝甲裝備基層級維修中的應用

張 雷，馬金盾，郭理彬，張 杰

(陸軍裝甲兵學院 兵器與控制系， 北京 100072)

裝甲裝備作為地面突擊力量的主要組成部分，其組成系統多，系統組成單元之間電氣信號連接復雜，基層級維修過程中需要測試的信號數量大、類型雜，維修和故障診斷人員無法完全記住所有技術資料和操作流程，維修難度較大。長期以來，基層裝甲部隊通常利用裝備維修教材、便攜式維修檢測設備(Portable Maintenance Aids,PMA)[1]等資源開展裝甲裝備維修工作，而目前裝備信息化程度不斷加深，現有的維修技術、保障設備已經難以滿足新裝備的維修保障需求，急需在裝甲裝備維修領域引入新興技術。隨著計算機視覺、圖像處理等技術的發展，增強現實(Augmented Reality，AR)[2]技術應運而生，AR技術最早是在1994年由Paul Milgram和Fumio Kishino給出明確定義，是指在真實場景中疊加虛擬模型或信息，實現虛擬場景與真實場景的精確融合，以加強人們對真實場景的感知和處理，近年來取得了很大的發展。AR技術的出現給復雜的裝備維修帶來了生機，產生了維修引導[3-4]的新概念。增強現實維修引導系統[5]是利用AR技術對維修過程中所用到的檢測數據、操作步驟、技術資料等復雜、多樣化信息進行實時的“增強”顯示，以實現輔助維修人員進行故障檢測和維修操作的目的，從而大幅度提高維修的效率。目前基于AR技術的可穿戴式引導維修是國內外大型機電設備的主流維修方式，諸如波音公司、哥倫比亞大學[6]、浙江大學[7]、南京航空航天大學[8]、空軍工程大學[9]等多家軍內外單位都對增強現實維修引導系統及其關鍵性技術做了一系列的研究，并且取得了很好的成果，而國內對裝甲裝備維修引導系統的研究較少。因此本文提出了一種基于增強現實的裝甲裝備基層級維修引導系統設計方案，以坦克火控系統為研究對象，通過系統詳細設計，系統移植調試，驗證了該系統在基層火控系統維修中的可行性和實用性。

1 可穿戴式維修引導系統功能分析與總體設計

1.1 系統功能分析

目前，我軍主流的PMA設備雖然能夠為維修人員提供故障診斷與預測、維修任務管理、技術文檔查詢等功能，但是也具有很多問題[10]。當前裝甲裝備維修使用的PMA設備大小與尺寸不等，有的設備重達十幾公斤,不能被稱為真正的“便攜式”設備。在維修時維修人員需要攜帶笨重的、非可穿戴式的維修設備進入裝備內部進行操作，而多數測試設備測試手段有限，是面向某個特定部件的測試設備，且技術資料不全，因此還需維修人員攜帶其他各式維修工具和測試儀器往返待修裝備和維修工間，由于PMA設備與裝備系統間的信號傳輸采用的有線連接的方式，因此每次更換測試設備都需要進行線纜的連接，又加重了維修人員的操作負擔，嚴重阻礙了維修保障效率的提升。此外PMA設備采用的觸屏與按鍵的操作方式在占用雙手的同時也不方便調用各類信息，無法兼顧維修操作和資料查詢。

反觀國外，以增強現實為基礎的維修引導系統已經廣泛應用在裝備維修設備中，極大地提高了維修的便利性和準確性。2007年美國的增強現實維護修理(Augmented Reality For Maintenance And Repair，ARMAR)[11]研究計劃研發的原型系統具有虛擬維修培訓、真實環境操作維修、監控維修進度和增強現實引導維修等多種功能，并且創新性地采用機會控制的人機交互策略，此原型系統在面向LAV-25A1式裝甲運輸車炮塔維修中得到了成功應用[12]。2015年，美國國防部組建的數字化制造和創新機構，將基于AR和可穿戴設備的生產車間布局作為研究的重點，該研究計劃不僅可以實現傳統的AR輔助維修，而且可以實現異地多人實時交互，實現了信息的實時共享。同年微軟公司的Hololens眼鏡一經發布就獲得了美國國家航天局(National Aeronautics and Space Administration，NASA)的青睞，成為Sidekick項目的核心工具[13]，隨著SpaceX公司的太空飛船進入太空。此眼鏡具有遠程專家功能，地面操作者可以實時獲得航天員視角，然后在航天員眼前提供注釋和圖示，具有很高的輔助性。

為了使維修檢測設備更好地實現裝備維修功能，綜合分析國內外研究現狀，面向裝甲裝備火控系統的可穿戴式增強現實維修引導系統應具備以下功能：

a) 具有電氣信號采集、無線傳輸功能；

b) 具有故障診斷操作引導、維修操作培訓功能、現場離線維修操作引導功能和遠程實時交互指導多重功能；

c) 具有手勢、語音等自然的人機交互能力；

d) 具有開放性，方便升級和更新；

e) 系統設備整體體積小、重量輕，具有可穿戴式性。

1.2 系統總體框架

裝甲裝備可穿戴式增強現實維修引導系統采用模塊化和開放化的設計原則，系統整體包含用戶層、界面層、功能層和基礎層4個層級，系統總體層級結構如圖1所示。

圖1 增強現實維修引導系統總體層級結構框圖

基礎層是系統各功能模塊實現的基礎，包含硬件單元和軟件單元兩部分。其中硬件單元包括攜行具、AR眼鏡主機(包含攝像機、人機交互模塊、信息處理單元)、便攜式無線維修檢測適配器、藍牙式萬用表及其他附件5個部分構成。設備攜行具是系統設備的載體，采用便于穿戴的對開馬甲方案，利用“身體總線”和“身體網絡”，將各個硬件設備合理的分布在人體結構中，腹部兩側放置便攜式無線維修檢測適配器和藍牙萬用表，胸部分別放置AR主機和移動電源，腰部兩側放置萬用表線、相關檢測電纜以及拆裝工具，維修時維修人員可以穿著此馬甲進入坦克進行維修，方便快捷。AR眼鏡主機是目前增強現實系統實現的主要載體，它可實現對維修環境信息的采集、處理以及維修檢測引導信息的顯示，是高集成度的可穿戴設備。可穿戴式無線維修檢測適配器是被測部件/信號與故障診斷模塊之間的橋梁，用來實現將裝甲裝備部件測試口信號通過無線傳輸的方式傳輸到AR眼鏡的處理單元中來輔助故障診斷，可以減少維修人員的測試操作次數，解決現場空間小測試操作不便的問題。藍牙式萬用表是對維修檢測適配器的補充，實現對非測試口的信號進行測試，也以無線傳輸的方式將測試結果傳輸到AR眼鏡的處理單元來輔助故障診斷。其他附件包括移動電源、通用拆裝工具、專用工具、萬用表筆、探頭等配合檢修的工具配件，當AR眼鏡電量不足時，則可用攜帶的移動電源對AR眼鏡進行充電，保證系統的正常運行。軟件單元負責調用硬件單元的相關信息進行算法的開發和應用，主要包含增強現實模塊、故障診斷模塊和維修引導信息模塊。其中增強現實模塊是整個系統的核心，是實現診斷引導、維修引導信息疊加的核心模塊。包含三維注冊、虛實融合和人機交互3個模塊，三維注冊用來實現虛擬引導信息和現實維修環境的幾何一致性，即隨著用戶視角和移動的變化，實時計算出虛擬場景在該視角下的投影坐標，實現在真實場景中的準確融合。虛實融合模塊主要保證虛擬引導信息的真實感，通過對光照一致性計算、遮擋處理、紋理制作來實現“以假亂真”的效果。人機交互模塊主要實現對虛擬信息的交互控制，目前主要使用的有手勢交互、眼動交互、語音交互等新型交互方式。軟件單元的故障診斷模塊主要是確定故障診斷流程以及對故障的位置進行判斷和確定，以故障樹為總體診斷流程框架，配合萬用表以及信息采集卡的數據進行綜合判斷從而輸出維修目標。維修引導信息模塊是指對維修所需的技術資料進行系統地描述與建模，包括從故障測試到維修過程中所涉及的圖形、文字、視頻、標記、動畫、虛擬樣機等形式不同的所有操作步驟細節信息，同時還包括對信息的分類，當確定故障目標后對維修資料的快速查找和確定。

功能層是系統應具有的基本功能，包括維修培訓、故障檢測引導、現場離線維修引導和遠程實時交互指導四個功能，功能層的所有功能都是針對裝甲裝備多系統的。

界面層用來對系統整體進行封裝，按照系統的功能和基礎層流程設計良好的用戶顯示操作界面，主要包括系統登錄界面、功能選擇界面、分系統子界面、維修目標選擇界面、維修信息查詢界面。

用戶層是面向用戶使用的層級，主要包括幫助和用戶數據記錄兩部分，幫助模塊主要包括系統的介紹、操作方法以及相關注意事項，用戶數據記錄模塊包括對不同用戶的使用數據的保存和查看。

1.3 基礎層工作流程

基礎層是整個系統功能實現的關鍵，不同的功能實現將調用不同的基礎單元，基礎層信息傳輸流程如圖2所示。

圖2 維修引導系統基礎層信息傳輸流程框圖

當維修人員佩戴AR眼鏡進入維修引導系統后，通過手勢、語音等交互命令進行功能選擇，當選擇故障檢測引導功能時，使用交互命令驅動交互模塊使系統首先進入故障診斷模塊，故障診斷模塊將故障檢測流程引導信息發送至增強現實模塊，增強現實模塊從AR眼鏡獲得場景數據，通過三維注冊，真實感渲染將虛擬的注冊信息準確發送至AR眼鏡進行實時的呈現，以輔助維修人員進行故障檢測。當需要調用藍牙信號采集卡數據和萬用表數據時，通過交互命令將測得的實時數據通過藍牙無線傳輸至AR眼鏡主機進行顯示，結束一次操作后，再次通過交互命令進入故障診斷模塊進行下一次操作引導，直至獲得故障目標，也就是維修目標。從而完成維修檢測引導。

當知道維修目標時，維修人員直接選擇進入現場離線維修功能，通過交互命令直接進入信息檢索模塊，檢索關于維修目標的所有維修資料，通過交互命令選擇所需維修的故障點相關維修操作資料，然后將操作引導信息傳入增強現實模塊，在AR眼鏡主機實時顯示，當結束一次操作后，通過交互命令再以相同的步驟進行下一次引導，直至維修結束。

當系統無法診斷出故障信息或信息檢索模塊未檢索到故障點的維修資料時，則選擇進入遠程實時交互指導功能，通過網絡向遠程專家發送幫助請求，系統將遠程傳來的檢測和維修操作指導意見顯示在AR眼鏡端，一步步輔助維修人員完成維修操作。

當進入維修培訓功能時，首先通過交互命令調用故障診斷模塊、維修引導信息模塊、增強現實模塊進行故障目標檢測，得到維修目標，然后進入信息檢索模塊、維修引導信息模塊、增強現實模塊進行維修操作引導，直至維修培訓完畢。

2 基礎層詳細設計

2.1 三維跟蹤注冊模塊

三維跟蹤注冊是基礎層最關鍵的一環。在維修檢測過程中，要求三維注冊模塊實現虛擬引導信息與維修目標在世界坐標系下的位置和姿態相對保持不變。要實現此要求，首先需要對虛擬信息位姿進行初始化，然后再對攝像機位姿進行跟蹤求解，進而通過坐標變化得到實時的虛擬信息位姿，從而保證虛擬信息和真實目標的幾何一致性，達到指導維修的目的。本系統采用基于模板匹配的LINE-MOD[14]算法和ORB-SLAM2[15]來實現精確的三維注冊。LINE-MOD算法是一種使用快速模板匹配、針對弱紋理物體的識別和檢測方法，適合紋理單一的裝甲裝備系統部件識別。基于視覺SLAM(Visual Simultaneous Localization And Mapping，VSLAM)技術的攝像機位姿跟蹤算法在靜態場景中效果極好，并且不需要預先布置場景，其中基于特征點的算法發展比較成熟，是目前使用較廣的位姿跟蹤估計算法，2016年Mur-Artal等[15]提出的ORB-SLAM2是目前SLAM算法中非常完善且易用的算法之一，極其適合AR/VR的應用。

2.1.1虛擬信息位姿初始化

在計算機視覺中，通常采用第一幀圖像下的攝像機位置作為世界坐標系原點，初始化虛擬信息的位姿也就是確定在此世界坐標系下的各維修目標的三維坐標。由相機投影模型可知像素坐標與三維坐標的變換關系為

s1p1=KP

(1)

其中：s1為點P的深度值；K為相機內參矩陣；p1和P分別為該點的像素坐標和三維坐標，相機的內參可以通過提前對相機標定確定，像素點的深度值可以通過深度相機獲得，因此虛擬信息位姿初始化關鍵核心是通過檢測與識別得到圖像坐標系下的目標位置。

本系統采用基于模板匹配的LINE-MOD算法在圖像中進行維修目標的檢測，確定其在圖像中的位置，進而得到它的三維坐標，并以檢測到維修目標圖像時的攝像機位置作為系統的世界坐標系原點，將此圖像作為進入SLAM模塊的第一幀圖像。由于實際裝甲裝備中各部件的位置相對固定，因此只需進行一次識別，然后通過測量就能得到其他部件的三維坐標。

它將RGB圖像的主梯度方向和深度圖像的法向量方向結合作為特征子，首先采集待檢測目標圖像，提取特征子模板：

T=({Om}m∈M,P)

(2)

式中：O為模板特征，表示RGB圖形中的梯度方向或深度圖像中的法向量方向；P為參考圖像中特征所在位置r的集合。之后網格化待檢測圖像，通過檢測窗口滑移進行模板匹配，以提高匹配速度。提取待匹配圖像I在位置t處的特征，與模板作相似性比較：

(3)

式(3)中：

fm(Om(r),Im(t))=|rad(Om(r))-rad(Im(t))|表示待匹配圖像I在位置t的特征方向弧度與參考圖像O在位置r處的弧度差的絕對值。

當εs(I,T,c)高于閡值γ時，認為該模板被匹配上，畫出檢測結果的包圍盒，將包圍盒的幾何中心作為維修目標中心點的二維坐標，通過P=K-1·s1p1得到維修目標中心點的三維坐標，進而得到所有部件的三維坐標。以坦克操縱臺為例進行驗證，實現了對操縱臺的檢測，檢測流程如圖3所示。

圖3 操縱臺檢測識別流程示意圖

2.1.2基于ORB-SLAM2的攝像機位姿估計

攝像機的位姿估計是對每一幀圖像下的攝像機旋轉矩陣和平移矩陣進行估計。本系統采用ORB-SLAM2特征點算法的來實現對攝像機位姿的跟蹤估計。ORB-SLAM2系統流程如圖4所示。

圖4 ORB-SLAM2系統流程框圖

ORB-SLAM2對光照、動態物體不敏感，可在CPU上直接運行，包含單目、雙目和RGB-D相機實現方案，還包含跟蹤、局部建圖和回環檢測3個平行線程。如圖4所示，系統首先進行跟蹤線程，接收檢測到維修目標后的RGB圖像，尋找幀圖像的ORB特征，利用尺度金字塔和灰度質心法使特征具有尺度和旋轉不變性，通過候選關鍵點搜索和比例閾值篩選縮小匹配范圍，之后進行匹配剔除誤匹配，得到正確匹配關系的特征點，然后通過對極幾何進行運動估計，求解變換矩陣后運用BA算法最小化重投影誤差，進行跟蹤和定位每幀的相機。同時還建立局部地圖，運用局部的BA算法設置局部地圖并且優化。而且還可通過回環檢測執行位姿圖的優化來更正累計漂移誤差。在位姿優化之后，會啟動第四個線程來執行全局的BA算法，來計算整個系統最優結構和運動的結果，當跟蹤失敗后，會啟動位置識別模塊，進行重新定位。在坦克內部環境使用此方法進行攝像機位姿估計，效果較好。

2.2 故障診斷模塊

2.2.1裝甲裝備系統故障樹

本系統采用基于故障樹分析的方法來實現故障流程的梳理，故障樹分析法[16]是以設備故障點為起點，逐層分析設備產生故障的原因，用“邏輯與”和“邏輯或”將故障現象和各級故障原因連接而成的因果關系圖分析法。故障樹由頂事件，中間事件和底事件組成，頂事件是故障現象，中間事件為故障現象判斷，底部事件為故障原因。明確故障樹頂事件是合理推算的關鍵，合理的頂事件能夠保證順利推理到導致其發生的故障底事件。

對于裝甲裝備系統來說，系統整體結構及工作原理非常復雜，因此首先通過查看相應資料和詢問專業人士對裝甲裝備系統裝置進行結構、功能層次分解，了解系統及分系統的工作原理，然后確定裝甲裝備故障集，明確典型故障現象，最后對故障影響關系進行分析，確定故障之間的邏輯關系，將存在的邏輯關系事件用與門、或門連接起來。以火控系統為例，建立坦克火控系統啟動故障樹。由于坦克火控系統啟動時各部件會按照一定的順序上電工作，具有明顯的聲音信息，并且各部件有明顯的指示燈亮滅，因此選擇2、5、6號部件上電聲音以及1、3部件上的指示燈亮滅作為故障樹的頂事件，進行故障原因的推理。坦克火控系統啟動過程部分故障樹如圖5所示，其中藍色為頂事件，紅色和白色為中間事件，黃色為底事件。

圖5 火控系統啟動故障樹示意圖

2.2.2可穿戴式維修檢測適配器設計

本系統選擇藍牙作為可穿戴式維修檢測適配器的無線通信方式，并且針對裝甲裝備測試口信號設計了一套藍牙采集信號卡。藍牙技術具有抗干擾能力強，安全性能好，軟硬件實現簡單的特點，適用于噪聲大的裝甲裝備維修環境。此板卡從裝甲裝備部件測試口取26V電作為供電電源，采用ALTERA公司的FPGA作為中央處理器，選用AD7687作為AD采集芯片，選擇HC-02作為藍牙串口模塊，對采集卡的復位電路、時鐘電路、JTAG電路、RAM擴展電路、Boot啟動引導電路、電源電路、ADC接口電路、藍牙接口電路分別進行設計，同時對采集卡的軟件單元進行設計，最終實現了對3路交流±36 V@400 Hz、3路直流0～150 V和30路直流±30 V的信號采集，在坦克實車上成功實現了對炮控箱測試口信號的采集與傳輸。其硬件結構如圖6所示。

圖6 藍牙采集卡硬件結構框圖

2.3 維修引導信息模塊

維修引導信息模塊主要是用來存儲包括二維的文字、圖片、視頻輔助引導信息和三維的虛擬模型引導信息。二維維修引導信息主要包括火控系統部件名稱、檢測維修操作步驟和工具等基礎信息，三維的虛擬模型引導信息主要包括火控系統部件模型，維修檢測的操作動畫等三維模型信息，二維的維修信息可直接在Unity3D中以貼圖方式進行渲染，三維模型信息則需要首先利用3D MAX對裝甲裝備系統各部件進行建模，重點對裝甲裝備的故障點進行從內部到外部的精確建模，同時還包含對這些故障位置的維修動畫制作，然后將建好的模型與信息分類存儲，再導入unity3D中進行使用。建立的坦克火控系統操縱臺模型如圖7所示。

圖7 坦克火控系統操縱臺模型示意圖

3 實驗驗證

系統的硬件環境為HoloLens眼鏡、JABE-36B藍牙萬用表、惠普 Z8 G4 Workstation計算機等，編程開發環境為Unity 3D、3D MAX、Open CV4.0、Visual Studio2017。其中HoloLens眼鏡是系統的實現載體，具有眼動、語音、手勢的交互方法。首先在計算機上利用Unity 3D和VS 2017進行系統的開發，而后再移植到HoloLens眼鏡進行測試。系統相關硬件設備如圖8所示。

圖8 系統相關硬件設備

對于“2號部件工作，1號部件SA1指示燈未亮”故障現象的故障檢測引導信息顯示流程如下，維修人員通過語音或手勢交互命令進入系統的檢測模塊，系統通過三維注冊模塊得到維修信息的精確位置，系統將第一個中間事件的虛擬信息“SX8-29接口的電壓是否為26V”顯示在3號部件右側位置，并用虛擬箭頭指引維修人員將視角移動到3號部件位置，而后系統將通過藍牙接收的電壓值顯示在當前界面中，維修人員判斷后通過語音交互或手勢交互選擇“是”或“否”，若“是”則將“1號部件HL1燈或與3號部件連接線纜故障”的診斷信息顯示在界面中，并用虛擬箭頭指引維修人員將視角移動到1號部件前；若“否”，系統將“SX8-30接口的電壓是否為26V”顯示在3號部件右側位置，系統再次調用藍牙接收電壓值，維修人員通過交互命令進行選擇，若“否”，則將“固定器24SB或與③連接電纜故障”診斷信息顯示在界面中，并用虛擬箭頭指引維修人員將視角移動到固定器位置，若“是”則再進行下一步判斷，直至進行到故障樹終點，找出故障。實驗結果表明：該系統能夠完成維修過程中的引導。

4 結論

1) 本文設計的增強現實維修引導系統一定程度上實現了增強現實技術與裝甲裝備維修保障工作的結合，具有較高的實用價值。

2) 系統具備較強的開放性和通用性，能夠實現對不同對象和任務的誘導維修。基本實現了“以人為中心”的維修，為解決戰場快速搶修問題提供了思維和途徑，在提高我國軍用裝備維修性、保障性方面具有價值，但此系統對部件的識別能力弱，三維注冊還不夠準確，系統整體延遲較大，還需要進一步完善和提高。