增強現實裝備維修引導系統研究綜述

馬金盾，張 雷，郭理彬，張 杰

(陸軍裝甲兵學院 兵器與控制系，北京 100072)

隨著計算機視覺、圖像處理等技術的發展，增強現實(Augmented Reality，AR)技術應運而生。AR技術最早是在1994年由Paul Milgram和Fumio Kishino給出明確定義[1]，是指在真實場景中疊加虛擬模型或信息，實現虛擬場景與真實場景的精確融合，以加強人們對真實場景的感知和處理，目前已廣泛應用在醫療[2-3]、工業[4-5]、教育[6]和軍事[7]等領域。AR技術的出現給復雜的裝備維修帶來了生機，產生了維修引導的新概念，目前基于AR技術的引導維修是國內外大型設備的主流維修方式。諸如麻省理工、波音公司、浙江大學等多家單位都對增強現實維修引導系統及其關鍵性技術做了一系列的研究，并且取得了很好的成果。此外，同時定位與地圖構建(Simultaneous Localization And Mapping，SLAM)技術在近幾年取得了成熟的發展，并且視覺SLAM(Visual SLAM，VSLAM)技術以其硬件成本低廉(只需要一個普通攝像頭)、小場景范圍內精度較高、無需預先布置場景等優勢，成為現在一個采用較多的增強現實定位技術[8-9]，能夠實現真正意義上的無標志跟蹤注冊。本文主要對增強現實維修引導系統及其關鍵技術的研究進展進行了闡述，重點對VSALM技術的發展作了總結，最后對目前存在的問題和發展趨勢作了深刻的分析，希望能對AR技術應用在維修方面的研究提供參考。

1 增強現實維修引導系統研究進展

增強現實維修引導系統是指針對復雜大型機電系統的維修引導培訓系統，它是利用AR技術對維修過程中所用到的檢測數據、操作步驟等復雜、多樣化信息進行“增強”顯示，以實現輔助維修人員進行故障檢測和維修操作的目的[10]。該系統主要包括故障檢測、維修培訓、現場離線輔助維修和遠程實時指導維修等功能，實現該系統的主要技術包括增強現實技術(跟蹤注冊技術、真實感繪制技術、交互顯示技術)，交互式電子技術手冊(Interactive Electronic Technical Manual,IETM)技術和故障輔助推理技術等等，該系統盡可能地實現了虛擬引導信息、檢測數據與真實維修空間之間的完美對接，大幅度提高了維修的效率。增強現實系統如圖1所示。

圖1 增強現實維修系統框圖

1.1 國外研究進展

AR技術自提出以來受到了世界上多家研究團隊的廣泛關注與研究，國外對AR技術在工業維修方面的應用研究起步較早，多家科研單位都進行了深入的研究，取得了一系列的成果，歐美等發達國家在這一領域的發展代表了當今世界的先進水平。

1.1.1美國的研究進展

美國是最早進行該研究的國家之一。1990年，波音公司的Tom Caudell[11]和他的同事率先利用AR技術來改善飛機制造過程中的輔助布線系統，這是增強現實這個詞的首次提出，之后波音公司開始將增強現實應用到輔助維修領域。他們研究了用于指導技術人員維護航天電器系統的維修引導系統，此系統應用在DART510航空發動機的維修過程中[12]，其維修時間與之前相比縮短了56%。同期哥倫比亞大學也進行了一系列研究，到了1993年，Steve Feiner教授[13]的科研團隊研發出了基于知識的增強現實維修助手(Knowledge-based Augmented Reality for Maintenance Assistance，KARMA)系統，該系統是一個基于標識的增強現實系統，他使用虛實配準技術將虛擬的技術說明和真實的激光打印機進行圖像融合，技術人員會在頭戴顯示器(Head Mount Display，HDM)顯示的說明信息下工作，此系統可以很方便地幫助使用該產品的用戶維護激光打印機。由于AR技術在民用維修領域的突出表現，美國軍方對該技術也有了高度的關注。2007年8月，美國空軍聯合空軍研究實驗室、戰斗人員準備研究部、哥倫比亞大學啟動了增強現實維護修理(Augmented Reality For Maintenance And Repair，ARMAR)研究計劃[14]，旨在提升裝備維護和維修訓練的效果。模塊化的設計思路是該計劃研發的原型系統的一個創新點，所以該系統無需修改整個系統框架和維修流程就可以實現流程升級。人機交互方式中的機會控制(Opportunistic Controls,OC)策略是該系統的又一創新之處，當操作人員觸摸到被維修對象時，系統通過手勢匹配、手勢分析和標志物識別等技術調出被維修對象的虛擬維修菜單觸摸界面，通過手指觸摸虛擬界面來選擇相應的維修流程。此外該系統還可以監控用戶的維修進度，在適當的時機自動地為用戶提供在當前進度下的維修操作步驟、所用工具、圖像、音頻和視頻等各種虛擬信息，這是此系統的第三大創新點。2009年，哥倫比亞大學基于此項研究完成了面向LAV-25A1式裝甲運輸車炮塔維修的輔助原型系統的設計[15]，此系統得到了成功應用，極大地提升了美軍士兵的維修水平。2015年，美國國防部組建的數字化制造和創新機構，將基于AR和可穿戴設備的生產車間布局作為研究的重點[16]。該研究不僅可以實現傳統的AR輔助維修，而且創新性地實現了異地多人實時交互，它通過互聯網技術將遠程云端的模型、設計圖紙、實物及專家維修方案等信息實時共享，這是增強現實維修引導系統功能的又一重大突破。目前AR技術的研究越來越深入，Google、Microsoft、Magic Leap等多家公司都應用SALM技術研發了輕量級的AR眼鏡，為增強現實維修引導系統的實現提供了新的解決方案。此類眼鏡啟動后可以利用自身攝像機(單目、深度相機)自動地實時定位自身位姿并且構建所處環境地圖，能夠實時為虛擬場景的融合提供精確的坐標信息，極大地提高了用戶的沉浸感。2015年，微軟公司的Hololens眼鏡一經發布就獲得了美國國家航天局的青睞，成為Sidekick項目的核心工具，隨著Space X公司的太空飛船進入太空。現在波音公司的工人在飛機電力線纜的裝配中，已經應用到了新型的Google AR眼鏡，Ford、Tesla等公司也在汽車制造中的部件裝配等方面應用了輕量化的AR眼鏡，都取得了很好的效果。

1.1.2其他國家的研究進展

歐盟對AR維修引導技術的研究也取得了突破性的進展。2003年，由德國主導的研發團隊成功開發了Arvika系統[17]和Starmate系統[18]，其成功應用完美地揭示了AR技術在大型復雜機電系統的安裝、維修領域的巨大應用價值。2017年，意大利的Univet公司發布了Univet 5.0增強現實眼鏡，此眼鏡的一大特點是鏡片可以快速替換，能夠有效防止機械沖擊損壞鏡片。目前Audi、BMW等公司已經將AR眼鏡成功應用于汽車維修和裝配工作中。

2013年，新加坡國立大學的Zhu等[19]開發了可編程環境感知增強現實系統(Authorable Context-awareaugmented Reality System,ACARS)。ACARS系統的提出將維修人員的專業水平、現實場景中的實時維修狀態以及系統顯示的虛擬維修信息內容有機結合起來，允許專業維修人員根據現場維修場景對該系統提供的維修內容進行實時修改(這些維修內容由設計者提供)，提升了系統的完善和更新速度。ACARS系統的提出擴大了增強現實維修引導系統的功能范圍，給增強現實維修引導系統的發展帶來了新的啟示。此外，2016年日本航空公司與Microsoft合作，也研究實現了面向發動機機械師和飛行員的AR訓練系統。

1.2 國內研究進展

國內AR技術雖然起步較晚，但目前在大眾應用和工業生產、維修領域都取得了不錯的研究成果。

2000年，國內開始進行了AR領域的最早研究。北京理工大學的王涌天帶領的研發團隊成功實現了將AR技術應用到圓明園景觀的數字重現[20,23]，效果非常逼真，除此之外他們還對AR關鍵技術之一的三維注冊算法進行了研究與改進。2007年，國內的AR技術開始在工業生產領域得到應用，主要集中在航空制造、維修方面，目前已經擴展到汽車等其他工業領域。目前國內的研究主要集中在諸如南京航空航天大學[10]、北京郵電大學[21]、浙江大學[22]、北京理工大學[20,23]、中科院自動化所等高等科研院校和研究所，現已取得了喜人的研究成果。南京航天航空大學主要針對基于AR的民用航空器維修展開了一系列深入的研究，包括維修引導系統的組成、構建和交互方式等方面，還開展了基于視覺跟蹤的AR電子知識技術手冊的研究，較為突出的是民航學院的左洪福教授團隊，實現了許多基于AR的飛機維修引導應用系統。華中科技大學的徐遲主要針對AR系統實現過程中三維物體識別和注冊的實時性問題進行了研究[25-26]，提出了適用于高噪聲環境下使用和計算資源有限的移動設備使用的注冊識別算法。2017年，浙江大學的李佳寧對VSLAM技術在AR系統中的運用進行了深入的研究[27]。他創新性地提出了一種基于Frame-to-Model的SLAM技術框架，并在本框架的基礎上結合RGB-D相機開發實現了一套使用者直接手指觸控的AR人機交互系統，與現有交互系統相比該系統實時性有了很大提升。與此同時空軍工程大學的防空反導學院利用基于紅外高亮標識點的PST跟蹤儀和AR頭盔，結合語音和手勢識別，成功研發了一套基于多傳感器融合式的增強現實維修引導系統[28]，此系統還創新性地構建了數據分布式處理和無線通信網絡模塊，極大地增強了系統的適用性和實用性，能使維修人員的維修效率更加高效。

目前國內基于AR技術的維修引導系統及其相關技術的研究正處于如火如荼、攻堅克難的關鍵時期，各個研究團隊都結合新興的圖像學技術進行著深入的研究。

2 關鍵技術

增強現實維修引導系統的關鍵技術主要包括增強現實技術(三維跟蹤注冊技術、真實感繪制技術、交互和顯示技術)、交互式電子技術手冊(IETM)技術和故障輔助推理技術，他們相互支撐，缺一不可。其中AR技術中的三維跟蹤注冊技術是保證系統實現的關鍵。

2.1 三維跟蹤注冊技術

雖然面向維修引導的AR系統目前已經取得了長足的發展，但做為其技術核心的跟蹤注冊技術一直限制著AR系統的發展。三維跟蹤注冊技術是保證AR系統幾何一致性的關鍵，它是指如何實現將虛擬物體捆綁到現實環境的坐標系中，并且隨著視角變換還能實時準確融合到真實場景中。由于具有攝像頭的移動設備的普及和計算能力的進步，基于視覺傳感器(攝像機)的注冊方法受到了高度重視和發展，此類方法按照算法原理不同主要分為基于平面標志、基于無標志和基于三維物體，3種位姿跟蹤和估計方法。

基于平面標志的注冊方法是AR中最早實用化和商業化的技術，主要面向大眾應用，其中最有代表性的研究成果之一是采用人工標志的ARToolkit[29]，此開源工具采用對比度高的黑白二色構成的圖案(人工制造，預放置在場景中)來進行跟蹤，主要包括獲取灰度圖、預處理、快速識別和丟棄4個步驟，最后計算標志位姿匹配圖像。人工標志雖然具有穩定的定位效果，但黑白圖案往往對環境造成“污染”，而基于自然標志的定位算法較好地解決了這一問題，主要采用具有豐富特征的自然圖像作為標志，主要包括特征點提取、特點匹配和單應性矩陣計算等3個步驟，被蘋果公司收購的德國Metaio公司開發的Metaio AR SDK[30]、高通公司收購的 Vuforia[31]發布的SDK都采用了這種方法，有著不錯的跟蹤注冊效果。雖然這兩種方法都可以滿足實時、穩定、魯棒的三維空間注冊，但具有很大的局限性，就是當視角離開預設的標志，就不能進行跟蹤注冊。

2007年，由Klein等[32]提出的PTAM算法，為這一問題的解決帶來了福音，具有無標志注冊跟蹤里程碑式的意義。無標志的跟蹤注冊是指通過對攝像機拍攝的連續視頻圖像幀進行處理得到攝像機位姿來實現虛擬物體的注冊過程，一般都采用SLAM技術來實現，主要用來實現靜態場景中的跟蹤注冊。2015年，Mur-Artal等[33]對PTAM中的各個模塊進行了改進和完善，基于PTAM框架提出了完整的ORB-SLAM系統[33]并開放了源代碼，成為SLAM發展的又一里程碑，隨后各個科研團隊對SLAM的關注度急劇提高，近幾年的研究成果也極其豐厚。雖然SLAM技術最早是面向機器人領域的，但目前已被廣泛應用在AR領域中，被稱為未來真正實現增強現實系統三維注冊模塊的關鍵技術，讓人耳目一新的HoloLens就是采用了基于單目和RGB-D的SLAM算法來實現虛擬界面的良好顯示。本文將在下一節對此技術的發展進行具體介紹。

與SLAM技術不同，基于三維物體的注冊方法主要是面對運動場景使用的，主要是對三維實物進行檢測、識別和跟蹤。當前主要的檢測識別方法是基于模板匹配的方法，基本思想是在模板上提取物體邊緣的方向，而后在待檢測圖像上進行物體檢測識別，隨著深度學習的發展，也出現了不少利用卷積神經網絡學習圖像較高層次特征來進行物體檢測和識別的方法，分類能力較強。跟蹤模塊主要是采用基于特征點的方法和基于模型的方法兩種，前者與特征法的SLAM原理類似，后者主要是通過與預知物體的三維模型進行對比來確定位姿關系的。此方法通常作為增強現實維修引導系統中跟蹤模塊的初始化算法，在得到維修對象初始化位置后，在針對相應的場景選擇對應的位姿估計算法，靜態場景則采用VSALM技術，動態場景繼續使用基于三維物體的方法進行位姿估計。

2.2 真實感繪制技術

目前國內外多家機構對VSLAM技術已經進行了十幾年的研究，逐漸形成了一個較為成熟的技術框架，現有的VSLAM結構如圖2所示，主要包含輸入端，視覺里程計(跟蹤位姿求解)，回環檢測，后端優化，構建地圖和重定位6個模塊。各種不同的VSLAM系統則是在每個模塊各自采用了不同的實現方法，VSLAM的實現方式主要分為基于濾波器和基于非線性優化兩種類型。21世紀前，SLAM的狀態估計主要采用濾波的方法，通常用擴展卡爾曼濾波器(Extended Kalman Filter,EKF)來實現。2007年，Davison[34]提出了具有代表性的Mono SLAM，它是第一個基于EKF實現的單目VSALM系統，雖然初步解決了實時的問題，能夠在線創建稀疏地圖，但是EKF將非線性估計當做線性估計來近似處理，所以導致誤差累積，無法保證全局最優，長時間就會極大地影響系統精度，因此之后的很多研究人員針對此問題進行了研究與改進，例如Mourikis等提出了MSCKF，此算法創新性地引入了硬件設備數據，即慣性測量單元(IMU)數據，作為狀態輸入，并用滑動窗口的辦法減小了誤差的傳遞。

圖2 VSLAM結構框圖

現在SLAM系統多采用基于非線性優化的方式進行實現，它是將所有狀態當做變量，把運動方程和觀測方程當作變量間的約束，并構造誤差函數，通過最小化所有誤差的平方和來有效抑制誤差。2007年，Klein等[32]提出的PTAM(Parallel Tracking and Mapping)SLAM框架是首個采用非線性優化方法進行后端運算的系統，此外該系統還首次提出了前端和后端兩個過程并行的SLAM框架，保證了系統的實時性，至今此方式依然被主流的VSLAM框架所沿用。但由于此系統缺乏閉環檢測機制，地圖初始化需要人工參與，所以僅在小范圍場景有較好應用。2015年，Mur-Artal等在PTAM的基礎上，結合Galvez的閉環檢測方法[35]和Strasdat的大尺度環境的局部相互可見地圖的思想[36]，研究了ORB-SLAM系統并開放了源代碼，此系統能夠在小尺度和大尺度、室內和室外環境實時地完成位姿確定和稀疏地圖構建，具有重定位和閉環檢測功能，并且初始化不需要人為干預，采用追蹤、局部建圖和回環檢測三線程并行框架，全程使用ORB特征，在保證較好的跟蹤和匹配效果的同時實時性也得到了極大提高。2016年，Mur-Artal又公布了最新的研究成果ORB-SLAM2[37]，它適用于單目、雙目、RGB-D三種相機，具有很好的泛用性，可在CPU上直接運行。ORB-SLAM2是目前SALM系統中非常完善且易用的算法之一，極其適合AR/VR的應用。相比于基于特征點的ORB-SLAM算法，基于直接法的DTAM[38]創新性地提出了不提取特征點而是通過最小化兩幀圖像的像素誤差來估計位姿，利用單目攝像機借助GPU加速實現了稠密的直接法視覺里程計，2014年Engel等提出的LSD-SLAM[39]僅關注圖像中梯度較大的區域進行像素誤差最小化，實現了半稠密的地圖構建，減少了計算量，有效提高了算法在移動AR平臺的可應用性。同年，Forster等提出了一種半直接法的視覺里程計(SVO)[40]，此方法創新性地將特征法和直接法結合，跟蹤關鍵點，不考慮描述子，運行速度非常快，但主要是面向無人機航拍，此系統沒有閉環功能，也沒有重定位和建圖功能。此方法雖然不適合于AR領域，但對于未來SLAM技術的創新發展具有較好的啟示意義。在2010年微軟推出能夠獲取深度圖的RGB-D相機之后，創新了稠密地圖重建的方式，并且較好地解決了單目相機估計是存在的尺度漂移問題，因此極大地促進了RGB-D SLAM的發展[41-44]。目前國外比較著名的RGB-D SLAM研究團隊有華盛頓大學的機器人實驗室，該實驗室對計算機視覺以及基于RGB-D的SLAM與三維重建進行研究，突出的研究成果有RGB-D SALM系統以及柔性重建算法等等[43]；還有德國慕尼黑工業大學的計算機視覺組，他們對基于直接法的SLAM有著很透徹的研究，主要貢獻包括早期的基于RGB-D攝像機的稠密算法、半稠密LSD-SLAM算法以及2016年完善的DSO算法等等[44]。

國內的SLAM技術相比之下起步較晚，但也有著非常不錯的成果。浙江大學CAD&CG國家重點實驗室的章國鋒研發團隊對面向AR的單目視覺慣性SLAM算法進行研究[45]，實現了RD-SLAM等一系列SLAM系統，此外還構建了一個新的移動端單目視覺慣性數據集以及面向增強現實的評測標準，為SLAM算法在AR上的評測提供了標準。中國科學院自動化研究所國家重點實驗室的吳毅紅研究了一種新的基于圓形的特征SLAM算法[46]，達到了速度和精度都可以兼顧的目的，在公開數據庫上與SVO、ORB-SLAM2相比都得到了優越的性能。

隨著近幾年深度學習的發展與成熟，現在SLAM技術框架的各個模塊正在應用深度學習[37]，SLAM的發展也迸發出新的活力，同時未來實現增強現實系統的高精度三維注冊跟蹤也有了更好、更新的解決方案。

2.3 顯示和交互技術

顯示技術和交互技術也是增強現實維修引導系統的重要組成部分。目前增強現實的顯示設備可分為頭戴式顯示設備、移動手持顯示設備和空間增強設備3種[38]。頭戴式顯示設備由于其較強的沉浸感和便攜性，是目前增強維修引導系統采用的主要顯示設備，主要分為光學穿透式和視頻穿透式兩種設備，前者是通過將虛擬物體放置到現實場景中來進行增強顯示的，而后者是將虛擬景象疊加到現實場景的視頻中，將視頻呈現用戶眼前以達到增強的效果，目前已經有多家公司推出多種產品。Microsoft公司于2015年發布了HoloLens[39]，此眼鏡屬于光學穿透式設備，它使用全息技術，將虛擬信息投射成全息影像，實現具有較好沉浸感的虛實融合，并且集成了CPU和GPU，可以獨立地實現與現實世界的交互，2019年它的升級版HoloLens2也成功發布。國內的影創公司在2016年也發布了類似的Halo mini全息光學穿透式頭盔，但效果與HoloLens相比還存在一定的距離。芬蘭的Varjo公司則開發了XR-1視頻穿透式頭盔，它集成了眼動追蹤控制技術并且超低延遲，是目前較好的視頻穿透式眼鏡設備。除此之外，Google公司、Meta公司、Magic Leap公司都發布了各具特色的增強現實眼鏡，為增強現實的顯示問題提供了多樣的可行性方案。

近年來，增強現實維修系統的人機交互方式也有了很大變化，涌現出了大量的模型、算法和工具，已經實現了從鍵盤、鼠標等單一通道交互轉向一些更貼近用戶習慣的基于語音、觸控、眼動、手勢和實物的多通道混合交互方式[50]。Microsoft公司的HoloLens、Meta公司的Meta2等產品都能夠獲取用戶的手勢信息，允許用戶使用手勢進行交互，Magic Leap公司的推出的Magic Leap One專門在眼鏡內安裝了可以追蹤眼球的傳感器，利用眼動技術達到控制計算機的目的。這些新興的交互方式具有成本低、簡單、自然，貼近人類自然習慣的特點，是目前人機交互研究的重點和熱點。

2.4 交互式電子手冊技術

快速準確的維修信息是增強現實維修引導系統實現的前提，交互式電子技術手冊(IETM)能夠將維修所需的技術資料按照統一的標準格式存儲在數據庫中，將雜亂的信息管理起來，具有較好的智能性和交互能力[51]。當維修人員或增強現實維修引導系統進行信息檢索時，能夠保證以最優的方式將維修所需的諸如文字、圖像、視頻和技術圖紙等多種樣式的信息數據呈現出來。目前對此技術的研究已經相對成熟，用戶可直接對此技術的研究成果進行應用。

2.5 故障輔助推理技術

故障輔助推理技術是連接故障現象和裝備信息數據庫的紐帶，是實現正確提取的關鍵，是維修工作的首要任務。故障推理技術的發展主要可以分為以下3個階段[52]。第一階段產生于19世紀末，主要依靠專家和維修人員的經驗和極其簡單的儀表進行故障推理工作；第二階段產生于20世紀60年代的美國，是以傳感器技術為手段，以信號分析為基礎的系統輸入輸出信號處理推理法；始于20世紀80年代的智能推理方法是以專家系統、神經網絡、模糊邏輯、遺傳算法等智能算法為基礎的，其中專家系統作為基于知識的智能推理領域的一個重要分支深受研究者的追捧，現形成了基于規則產生式、基于神經網絡、基于故障樹、基于模糊推理分析以及融合多個不同專家系統推理結果等多種形式的故障推理專家系統。不同的專家系統具有不同的特點，例如產生式規則表現形式簡單，推理速度快，但存在對多故障問題診斷效果不好的問題；而基于神經網絡的專家系統雖然診斷速度快、精度高，但對樣本的依賴大，在工程運用中困難較大。所以未來的推理技術發展需要重視多種信息的融合和多域敏感特征的提取，將不同智能技術進行更深層次的融合，充分發揮混合智能故障推理技術的優勢，有效解決裝備故障的推理與診斷問題。

3 問題與發展趨勢

增強現實維修引導系統雖然進行了近30年的研究，但仍然在系統普適性、實時性、魯棒性和交互性這四大方面存在很多問題，并且隨著包括光學、圖像學等技術的發展，系統的性能還有很大的提升空間。

1) 實時性

實時性是AR維修系統的關鍵評價指標，維修開始的關鍵是知道故障在哪，然后調出維修所需的相關信息，在這個過程中想要用AR來進行輔助，幫助缺乏經驗的維修人員更快更安全地進行維修，所以影響AR維修系統實時性的因素主要分為兩方面，一個是故障診斷推理，另一個是增強“顯示”的跟蹤注冊。采用專家系統進行故障推理能夠快速定位故障位置，實時性和準確性效果較好，而視覺SLAM的跟蹤方法大都采用并行的系統框架，系統的實時性得到了很大的改善，但實時性仍有很大提升空間，主要提升點在位姿估計的BA優化和重定位，BA優化將所有的狀態點地圖點在一起進行優化，隨著時間的累積計算量越來越大，怎么充分地利用局部優化和全局優化可以保證既不損失精度又能節省時間，或者探索新的優化方法(例如章國鋒研究團隊提出的分段BA優化)是未來提升跟蹤注冊實時性的關鍵之一。而增強現實系統的用戶會經常快速移動或旋轉頭部，從而導致跟蹤極易丟失，重定位模塊頻繁啟動，所以怎么在建好的地圖庫中進行圖像的快速搜索匹配是提升實時性的又一關鍵之處，近年來，深度學習在圖像檢測和匹配中發揮了極大作用，所以結合深度學習進行特征提取匹配圖像是未來重定位技術發展的重要方向，也是提升實時性的關鍵所在。

2) 魯棒性

系統魯棒性的主要影響因素是增強現實模塊中的跟蹤注冊技術，現有的視覺SLAM最大的局限在于過于依賴圖像特征，本質上是采用了過于底層的局部特征(點特征)，在特征不夠豐富的情況下，僅從圖像無法恢復出相機運動，而直接法恢復相機位姿雖然不需要提取特征，但構建稠密地圖帶來的大量計算量對系統的實時性帶來了很大影響。所以未來希望利用邊緣、平面甚至是物體等更為高層的圖像信息，緩解特征點依賴的問題，提高系統魯棒性，或者結合特征法和直接法來進行優勢互補，同時也希望通過融合其他傳感器來得到緩解。由于各類傳感器既有優勢又有其自身固有的局限性(例如低成本的IMU很容易造成誤差累積，深度傳感器容易受太陽光的影響但包含深度信息)。因此，如何將各種傳感器有機融合起來，是實現魯棒跟蹤定位的一個發展趨勢。

3) 交互性

盡管增強現實系統的人機交互近年來取得了很大的進步，但仍存在著交互通道少、真實度不高、用戶接受度低等問題，目前AR系統的交互信息獲取主要是通過跟蹤頭部和手部，忽略了其他感知信息的獲取通道；并且現在的交互工具(AR眼鏡)重量較大，需要經過繁瑣的校準流程，使用起來較為困難。這些都制約了AR系統的發展和應用，在未來，要使得增強現實系統變得更為高效易用，必須解決好上述問題。在交互技術方面，必須提高虛擬物體在真實世界的位置、大小和運動匹配的精確度，必須提高顯示呈現系統的分辨率、對比度，增加可視范圍；必須拓展增強現實交互通道，利用肢體運動感知、生理計算、腦機接口等新型感知技術擴寬系統對用戶狀態和行為的感知能力，必須提高系統在不同交互場景、用戶、上下文和多通道信息融合中交互意圖的理解能力，實現增強現實系統的自然交互。

4) 普適性

目前的增強現實維修引導系統大多功能單一，有的只能進行維修引導，有的只能進行操作訓練和知識培訓，有的系統缺乏開放性，不能進行實時更新和完善且不能進行遠程實時交互。因此未來的的增強現實引導維修系統在整體上必須采用模塊化和開放性的設計思路，維修流程升級和更新只需要修改相關的維修模塊，而不修改整個系統框架和維修流程；維修系統不僅僅是被動的“只讀”系統，操作人員也不再是傳統的信息接收者，系統可以將虛擬維修信息的內容與操作人員的專業水平和實際場景中的維修狀態結合起來，允許操作人員根據實際維修場景對系統的維修內容進行修改，使系統的交互性和可操作性更加突出。總而言之，未來的增強現實維修引導系統將綜合運用諸如HoloLens眼鏡、手勢交互和VSLAM等技術和設備，將同時具有離線維修引導、遠程實時交互指導、操作培訓以及用戶實時更新系統等功能，使此系統能夠從事更加復雜的維修任務，能夠應用于更多的場景和任務。

4 結論

增強現實維修引導系統已經成為目前大型復雜機電裝備維修的主流方式，我國對于增強現實的研究還處于起步階段，隨著相應的硬件設備、軟件平臺的不斷出現和理論體系的建立發展，增強現實技術在裝備維修領域的廣泛應用會成為必然趨勢。本文對基于增強現實的智能維修系統相關技術及最新發展趨勢進行了分析介紹，未來的增強現實維修引導系統關鍵技術的發展空間很大，需要進行不斷的研究和創新。