增強現實在航空裝備艦基修理中的應用

摘" 要：針對航空裝備艦基修理過程中時間緊、難度大和人員培養慢等問題，基于增強現實技術設計開發AR輔助維修引導系統。以移動智能終端為硬件平臺，利用ORB-SLAM2方法實現運動跟蹤，結合觸摸屏技術、語音識別、震動反饋實現人機交互，并以某型光電雷達的電子部件拆卸步驟為例，進行功能驗證。分析結果發現，系統在縮短維修時間和減少差錯次數方面表現較好，能夠為航空裝備艦基修理能力的生成起到一定的促進作用。

關鍵詞：增強現實；航空裝備；艦基修理；人機交互；運動跟蹤

中圖分類號：TP391" " " 文獻標志碼：A" " " " " 文章編號：2095-2945（2025）05-0027-05

Abstract： To address the challenges of limited time， complexity， and slow personnel trainning in the ship-based repair of aviation equipment， an AR-assisted maintenance guidance system is developed based on augmented reality technology. Taking a mobile smart terminal as a hardware platform， the ORB-SLAM2 method is used to achieve motion tracking， based on touch screen technology， voice recognition， and vibration feedback to achieve human-computer interaction， and taking the dismantling steps of electronic components of a certain type of optoelectronic radar as an example to perform functional verification. The analysis results show that the system performs well in shortening maintenance time and reducing the number of errors， and can play a certain role in promoting the generation of ship-based repair capabilities of aviation equipment.

Keywords： augmented reality; aviation equipment; ship-based repair; human-computer interaction; motion tracking

作為航母戰斗力生產的關鍵，如何保持艦載機在駐艦期間的狀態完好已經成為航空裝備維修保障領域的重要課題之一。傳統陸基維修保障模式采用三級維修體制，而對于執行遠海任務的艦載機，在駐艦期間更加依賴艦基修理力量[1]。而且遠海條件下，能夠用于維修保障的資源有限，空間局限，技術受限，加之可能出現的疑難故障、戰場搶修、復雜工藝等情況，使裝備修理的難度直線上升。這事實上也對維修保障人員能力水平和維修手段方法提出了更高的要求。但目前維修能力與保障需求之間還存在差距，具體表現有人員培養周期長；技術要求高；維修易出錯。常規的維修方法依靠查閱使用說明書、電子手冊、故障匯編等技術資料，但大多效率不高，無法滿足艦基修理的現實需求。

近年來，基于增強現實（Augmented Reality，AR）的輔助維修技術逐漸被運用在復雜裝備的維修工作中。通過計算機[2]對虛擬的圖形數據進行實時處理，再與真實場景相匹配。維修人員通過屏幕既能觀察現實世界，又能掌握虛擬的維修信息，起到了信息增強的效果。國外團隊對于增強現實技術的研究起步較早，1968年，美國哈佛大學研發的The Sword of Damocles系統第一次使用光學透視頭戴式顯示器，展示了在真實世界中疊加虛擬物體的畫面。1990年，美國波音公司研究員Tom Caudell在美國達拉斯召開的SIGGRAPH會議上，明確提出了增強現實這個概念，隨后在制造DART510型航空發動機過程中，利用AR技術輔助飛機的裝配工作，能夠節省56%的維修時間[3]。2015年，NASA嘗試將AR技術用于宇航員的空間站修理能力訓練，成果降低了學習成本[4]。目前國內AR技術研究也取得一定成果，2017年李佳寧[5]團隊著重研究了AR系統中的VSLAM關鍵技術。2023年崔海清等[6]基于HoloLens增強現實眼鏡開發了維修指導系統。這些研究成果證明，AR技術在輔助維修方面潛力巨大。但是目前應用的案例大多針對工業生產領域和部分傳統軍事裝備，應用于艦基修理方面的研究較少。本文以某型光電雷達艦基修理為例，嘗試將增強現實技術與艦基修理相結合，設計開發AR輔助維修引導系統。通過虛實結合的方式，可為維修人員面對復雜、緊急的維修任務時提供輔助引導，從而提高維修效率。

1" 系統設計

1.1" 總體思路

AR輔助維修引導系統采用模塊化設計，總體包含運動跟蹤模塊、數字資源管理模塊、人機交互模塊和數據存儲模塊4個模塊。

運動跟蹤模塊：運動跟蹤是不斷跟蹤增強現實設備的位置和姿態，其是虛實模型與現實場景結合的基礎，是影響使用者增強現實觀感最關鍵的因素。該模塊可持續跟蹤設備相對于周圍環境的位置和姿態變化軌跡，負責建立虛擬世界與真實事件的統一幾何空間。

數字資源管理模塊：數字資源是以增強現實形式展現的虛擬場景，是輔助維修的重要信息，包括文字、視頻、語音和3D模型等。該模塊負責將不同格式的數據進行統一管理，按照不同的維修階段呈現對應的維修信息。

人機交互模塊：人機交互是維修人員對虛擬維修信息的交互控制。傳統的交互方式是采用鼠標和鍵盤輸入指令，增強現實技術更加注重交互的視、聽、觸覺體驗，除了構建可漫游的虛擬場景，還能對場景進行編輯，交互的方式有手勢、觸摸屏、語音和震動反饋等。

數據存儲模塊：數據存儲是將每次維修的相關數據進行記錄，包括設備編號、維修日期、維修情況等等。這類數據是重要的維修輔助資料，分類存儲在系統本地，還可以通過數據傳輸共享至其他終端。維修人員可以通過查詢數據快速掌握待修設備的履歷記錄，同時還能進行故障統計分析，為預防性維修提供參考。

1.2" 框架設計

針對某型光電雷達艦基修理的檢查和維修兩方面的需求，本文設計了AR輔助維修引導系統的框架結構，如圖1所示。

用戶層是維修人員直接操作的界面，主要展示各項功能，要求簡潔、美觀、易用。通過點擊、滑動屏幕或者用語音等方式，控制系統完成不同功能，界面呈現相應維修信息。

業務層是系統的主要功能，按照需求劃分為4個部分：信息查詢允許維修人員通過編號查詢光電雷達的基本信息，初步掌握設備基本情況、維修歷史等，功能類似電子履歷本；日常檢查是在接收光電雷達以后，按照系統提供的操作清單，逐項檢查待修光電雷達的狀態；維修引導是系統的核心功能，根據故障現象選擇對應檢查的部位，系統能夠以增強現實的方式顯示維修信息；日志記錄是在維修結束以后，將排故的具體情況記錄在案，便于后期故障數據分析。

工具層為業務層各項功能提供軟件支撐，涉及數字資源管理、交互控制和數據庫操作。

服務層是系統各項功能實現的基礎，負責提供底層服務，例如運動跟蹤的算法、圖像渲染的標準圖形庫、傳感器的信號輸出等，該層更加貼近設備硬件。

2" 系統實現

2.1" 功能模塊交聯關系

從艦基修理的實際應用場景出發，考慮到設備便攜性要求，開發平臺選用華為移動智能終端，運行環境為HarmonyOS系統。為避免可能出現的電子干擾、電磁壓制等特殊情況的影響，系統設計了離線單機獨立運行的模式，不依賴遠程支援。系統各個模塊之間的相互關系如圖2所示。

2.2" 底層技術

2.2.1" 運動跟蹤

增強現實對運動跟蹤要求很高，包括準確性、實時性、魯棒性和可移動性等，優秀的運動跟蹤能力是增強現實沉浸感的關鍵。目前增強現實完成運動跟蹤可以采用光學、慣性和混合測量等[7]。本系統采用ORB-SLAM2實現運動跟蹤，基于PTAM框架，在無標志場景中根據攝像頭拍攝的視頻實時計算移動智能終端姿態。由于ORB-SLAM2能夠處理環境光線影響，經過跟蹤、建圖和回環檢測3個程序，其環境適應性較好。

2.2.2" 人機交互

1）本系統硬件平臺集成有電容式觸摸屏，因此觸摸屏技術作為主要的交互手段。用戶通過觸摸屏選取興趣點，配合點擊、輸入、滑動等操作，實現控制系統進行工作的目的。此外基于觸摸屏的命中檢測是人機交互的重要部分。將屏幕中的興趣點映射到現實空間中的興趣點，命中檢測可使維修人員通過點擊屏幕選取現實空間中的興趣點，從而實現與虛擬物體的交互操作。

2）為輔助觸摸屏操作，增加語音識別功能。目前有多款成熟的語音交互技術解決方案，如Google語音識別、百度語音識別、科大訊飛語音識別等。從離線運行的需求考慮，本系統采用了科大訊飛語音識別方案?？拼笥嶏w語音交互技術包括語音識別、自然語言處理和語音合成等，在人工智能技術的推動下，語言交互技術的準確性和響應速度有了質的飛躍。

3）觸覺反饋技術能通過作用力和振動等增加使用者的觸感，是智能設備交互中一種重要的反饋形式。借助本系統硬件平臺集成的震動馬達實現震動觸覺反饋。目的是在虛擬場景中營造“真實”的體驗感，能夠更有效地增強現實。利用觸覺反饋充分調動人的感官，在視覺或聽覺受到干擾時，能夠有效幫助使用者獲取信息。

2.2.3" 虛實結合

虛擬場景的構建需要借助三維圖形繪制技術，借助于高性能計算機已經可以渲染出清晰、逼真的虛擬環境。目前主流的三維圖形繪制技術有多個方案可選，結合本系統的開發平臺，需要考慮移動智能終端硬件計算能力。OpenGL ES是針對嵌入式、移動平臺設計開發的標準三維圖形標準，具有開發、靈活、跨平臺等優點。本系統采用OpenGL ES繪制虛擬場景，著重解決繪制的真實感問題，即如何保持虛擬物體與真實環境的一致性。從兩方面考慮：一是幾何一致性問題，虛擬物體與真實環境之間要考慮遮擋關系[8]；二是光照一致性問題，虛擬物體要呈現正確的光照效果，確保明暗效果與現實物體保持同步。

2.2.4" 電子手冊

除了基礎的運動跟蹤和顯示處理等技術，與維修相關的需重點考慮的問題是修理工藝問題。復雜裝備的修理包括分解、清洗、檢查、修理、裝配、調試和質量檢驗等流程，其中涉及大量的維修信息。對維修信息的組織管理和展現形式是增強現實維修的重要一環。目前基于電子信息技術開發的交互式電子手冊，在裝備維修領域應用較多，其可以將文字、圖片或者視頻等信息統一保存和管理，并提供維修數據的快速查詢，但無法主動根據當前維修步驟自動給出操作提示。因此，需要對傳統交互式電子手冊技術重新設計，使其與增強現實修理過程進行耦合。本系統基于鴻蒙系統開發數字資源管理模塊，用于統一存儲和管理維修相關信息。

3" 應用與效果評價

3.1" 應用步驟

系統以某型光電雷達整體組件中的電子部件拆卸為例進行功能驗證。電子部件是光電雷達整體組件的重要組成部分，能夠根據探測器的測量信號計算目標的方位和俯仰坐標，其與整體組件之間共有3種連接關系：通過螺絲進行固定連接；通過搭鐵線進行搭鐵連接；通過插頭插座進行電氣連接。組成結構如圖3所示。

本次任務為拆卸電子部件，點擊維修引導系統首先進行環境掃描。按照維修信息的指引，拆卸遵循三解除原則。第一步，解除外圍。使用一字解刀擰下固定螺絲，取下搭鐵線。第二步，解除連接。用手握住插頭，逆時針擰松并取下插頭。第三步，解除固定。使用十字解刀，沿對角方向依次擰下固定螺絲，取下電子部件。維修引導信息及提示信息同步顯示在屏幕中，效果如圖5所示。

3.2" 效果評價

為了檢驗AR輔助維修引導系統在提升維修效率方面的有效性，分別從維修工廠和基層單位選取6名維修人員進行測試，其中入職1年以下和1年以上各3名。將12名測試人員按照入職年限分為2組，入職1年以下的為A組，入職1年以上的為B組。操作中分別使用紙質維修工卡和AR輔助維修引導系統，以電子部件拆卸為例，記錄維修時間和差錯次數[9]，結果見表1和表2。

另外，參考趙守偉等[2]提出的評價方法，從滿意度、直觀度、舒適度3個方面對系統進行了主觀評價。評價分數針對5級態度“很滿意”“滿意”“一般”“不滿意”“很不滿意”，分別賦分5、4、3、2、1，最終2種維修輔助方式平均分比較，見表3。

根據維修結果，A組使用AR輔助維修引導系統以后，維修時間縮短了10.9%，差錯次數減小了45.4%。B組維修時間縮短了4.2%，差錯次數減小了25.4%。這說明AR輔助維修引導系統能夠在一定程度上縮短維修時間并有效降低差錯次數，而且在入職年限較短的維修人員中表現更加明顯。同時通過對比2種方式主觀評價指標，可以看出使用AR輔助維修引導系統進行維修，更加直觀和舒適。

4" 結束語

本文從艦基修理的需求出發，設計并實現了AR輔助維修引導系統。系統通過虛實結合的方式，可為維修人員提供一種新的輔助維修途徑。從實驗驗證的結果分析，一方面系統初步實現了縮短維修時間目的，同時能夠有效降低維修差錯次數；另一方面，借助增強現實技術，維修引導信息能夠直觀展示，減輕了維修人員認知負荷。因此系統適用于復雜裝備緊急條件下的維修，對于艦基修理能力的生成具有促進作用。但目前系統只設計開發了離線工作模式，在故障智能診斷方面能力不足，還需結合人工智能算法進一步開發和完善。

參考文獻：

[1] 張帥，糜玉林，孫媛，等．基于備件短缺數的艦載機修理級別分析[J]．電光與控制，2015，22（7）：115-119.

[2] 趙守偉，王凱，張勇，等．增強現實輔助維修系統的評價方法研究[J]．火炮發射與控制學報，2016，37（2）：82-87．

[3] TECCHIA F．Fundamentals of wearable computers and augmented reality，second edition[J]．Presonce： Virtual and Augmented Reality，2016，25（1）：78-79．

[4] 靳冬冬，王崴，劉曉衛，等．增強現實誘導維修在外軍的發展現狀和趨勢[J]．現代防御技術，2014，42（6）：134-139．

[5] 李佳寧．基于RGB-D攝像機的增強現實系統關鍵技術研究[D]．杭州：浙江大學，2017．

[6] 崔海青，張旭鵬，詹湘琳，等．基于HoloLens的飛機維修遠程指導系統[J].計算機測量與控制，2023，31（5）：214-220.

[7] 張雷，馬金盾，郭理彬，等．增強現實在裝甲裝備基層級維修中的應用[J]．兵器裝備工程學報，2020，41（12）：268-274．

[8] 鄭毅．增強現實虛實遮擋方法評述與展望[J]．系統仿真學報，2014，26（1）：1-10．

[9] 白柯萌，王崴，瞿玨，等．多傳感器式誘導維修系統的設計與實現[J]．火力與指揮控制，2017，42（2）：102-108．