VR/AR/MR 技術在飛機裝配制造領域的應用與發展

仲小慧 劉義明 高培軼

（ 航空工業西安飛機工業（ 集團）有限責任公司，陜西 西安710089）

1 虛擬現實/增強現實/混合現實概述

隨著計算機及通信技術的高速發展， 虛擬現實技術（ Virtual Reality，VR）和增強現實技術（ AugmentReality，AR）已經開始應用于飛機裝配。 使用VR 技術，能夠建立一個全三維的虛擬環境，使用AR 技術可以將虛擬信息疊加到現實場景中， 綜合運用了AR 和VR 的混合現實技術（ Mixed Reality，MR）所建立的虛擬環境可以提供更集中、更全面的裝配信息，同時建模量也大大減少。基于MR 技術的虛擬裝配系統可以對裝配所需的大量信息進行統一、 集中的管理，可以大大縮短飛機裝配前置時間，減少資源浪費并能夠降低成本。 將虛擬環境和真實環境相匹配并融合，對工作人員而言，拓展了信息獲取的渠道和范圍，加強了對重要信息的感知能力，同時也降低了對工作人員視覺空間能力的要求；對裝配工作而言，可以有效的減少人為因素造成故障拒收，大大縮短飛機裝配時間，極大的提高裝配效率和質量。

1.1 虛擬現實技術

虛擬現實（ Virtual Reality，簡稱VR）技術，虛擬現實是利用高性能計算機系統通過虛擬現實產生器(VR Engine)重構一個3D 虛擬的數字化世界，借助近眼顯示、感知交互、渲染處理、網絡傳輸和內容制造等新一代信息通信技術， 通過多種傳感和體感終端控制設備，如頭戴式顯示器、運動追蹤器等與3D 虛擬世界中的虛擬人和事物進行交互。 立足身臨其境的沉浸體驗，為用戶提供了一種全新人機交互方式。 通俗點說，就是可以讓人身臨其境，仿佛進入一個真實的夢境。 由于當前技術限制，VR 還處于部分沉浸階段，現在戴上VR 設備去體驗，你是清晰的知道身體處于現實世界，感受都是模擬出來的。 理想的VR，進入之后，你是分不清虛擬和現實的。 隨著5G 技術的到來， 更高容量帶寬和更高速的傳輸效率，使得大數據量的云計算數據可以和VR 設備進行實時的數據交互，目前可以預見在不久的將來在VR、AR 游戲、視頻/影片觀看、商業培訓、在線設計和在線展示、工業制造、醫療教學、教育培訓等領域等一系列細分行業的發展讓VR/AR 行業進入落地階段。

1.2 增強現實技術

增強現實(Augmented Reality，簡稱AR)技術，是在虛擬現實技術基礎上發展而來， 是一種計算機生成的數字內容與現實世界實時融合結合的技術。其與虛擬現實（ VR）技術有著明顯的不同，將用戶完全沉浸在合成環境中， 使用戶可以看到疊加在現實真實空間上的增強了的三維虛擬對象世界。

AR 系統必須滿足以下三個特征：

它結合了真實和虛擬內容

該系統是交互式的，可以實時執行

虛擬內容已在現實世界中注冊

先前的研究表明，AR 技術可以應用于廣泛的領域包括教育，醫學，工程，軍事和娛樂。 例如虛擬可以將地圖覆蓋在現實世界上，以幫助人們在現實世界中導航， 醫學圖像可以出現在真實的患者身上，建筑師可以看到虛擬建筑物在建造之前就位。

1.3 混合現實技術

混合現實(Mixed Reality，簡稱MR)包括增強現實和增強虛擬，AR 和VR 都是更廣泛的現實- 虛擬連續性的一部分，稱為“ 混合現實”（ MR），20 世紀90 年代初， 米爾格拉姆和基希諾提出Mixed Reality，簡稱MR 一詞，他們認為，混合現實環境是“ 將現實世界和虛擬世界的對象， 在虛擬連續體極值之間的任何位置的環境一起呈現在一個顯示器中。 ”混合現實技術可以增強用戶對現實世界的感知和互動。

1.4 相關硬件和軟件系統關鍵技術

混合現實應用需要準確了解相機的相對位置和場景。 當它們中的任何一個移動時， 這意味著實時跟蹤所有定義攝像機相對于場景的位置和方向的六個自由度， 或等效地對象相對于相機的3D 位移。 許多技術試圖實現這一目標：跟蹤技術：如何實現虛擬圖像的穩健而準確的覆蓋在現實世界中；顯示技術：用于AR 的頭戴式，手持式和投影顯示器，增強現實頭戴式顯示器、基于投影儀的增強、基于手機的增強現實；移動增強現實：使用移動計算機開發AR 應用程序可以在戶外使用；交互技術：與AR 內容交互的方法新穎的增強現實應用。

2 VR/AR/MR 技術在飛機裝配制造領域應用發展

VR/AR/MR 飛機裝配制造領域，都有三種驅動力,分別為降低成本，加快流程和提高質量，這將導致引入新技術。 如果一個可以在正確的時間將適當的信息帶到正確的位置， 所有三個力量得以解決。 在幾乎所有情況下，VR/AR/MR 技術似乎都是理想的選擇。其可以為飛機裝配制造脈動生產線提供準確有用和最新的制造信息，可以顯著縮短生產節拍時間，減少培訓工作，減少故障，降低制造成本。

2.1 VR/AR/MR 相關技術在飛機裝配制造業的應用主要包括虛擬研發設計調試、虛擬制造裝配、設備維護檢修質量控制、飛機裝配制造模擬考核驗證培訓等， 相關技術已經在大型裝備的制造中實現初步應用。 中國商飛在大客（ C919）模擬測試飛行控制中心，運用虛擬現實技術能大幅提升產品性能的精準性， 使用機載測試系統的地面驗證平臺來監控和分析飛行參數， 以確保飛行前和實際飛行中飛機相關參數的準確性和正確性； 空中客車公司將Microsoft MR 設備導入飛行員程序后，設計項目在虛擬空間中實驗的運行時間至少節約了80%， 在德國STADE 的空客工廠里生產A350XWB 機身總裝，已經成功應用一種“ MR”投影技術，有效的提高機身隔框、長桁、剪切角片及系統支架的精確定位；波音運用三維模型仿真技術進行波音777 外形和結構設計等等； 接線圖附圖對于每架要建造的飛機來說都是獨一無二的。 因此，線束需要根據車間中大型面板上顯示，預先在車間中配置數量龐大的計劃。 使用光學透視頭戴式顯示器，顯示接線路徑，以完成成捆的手動操作，可將計劃直接添加到面板上。 對線束作業流程進行提示及裝配正確性進行核驗(見圖1)。

圖1 管線輔助安裝

羅爾斯- 羅伊斯通過虛擬現實技術在線進行實時數據傳輸與分析，采用虛擬現實投影技術和運動捕捉系統，查看發動機細節，突破時間、空間的限制，實現虛擬指導和現實操作相結合全流程檢測； 空客公司為A350XWB 開發了世界第一個混合現實實訓平臺進行飛機裝配制造模擬考核驗證等教學工作， 利用增強現實的交互性及可實時執行性，避免實操驗證風險、降低培訓模擬成本。 以上所有實例可以統一稱為航空工業VR/AR/MR 應用， 可以預見在不久的將來，隨著航空產業制造技術能力提升，VR/AR/MR 應用是一種理所當然的選擇。

2.2 近年來，手機已發展成為增強現實的理想平臺（ AR）。 當前一代的智能手機具有視網膜顯示屏，集成4K 攝像頭，高性能移動處理器，甚至已經集成專用的移動3D 圖形芯片，其已經具備強大運算顯示平臺。 重要的是要進行研究最適合手機和用戶界面的AR應用程序類型開發這些應用程序的準則，目前手機已經成為AR 應用程序的主要平臺之一， 各種APP 應用已經廣泛的出現在我們的日常生活，特別是5G 技術的發展和普及，移動大數據和云計算中心可以實時進行交互數據交互反饋，在不久未來，用于飛機裝配輔助的智能手機專用VR/AR/MR 程序一定能夠普及。

3 結論（ 結束語）和建議

我國的飛機裝配制造行業中， 相關VR/AR/MR 技術應用與國外其他飛機制造商相比， 在應用的場景及相關技術采用方面存在較大差距，VR/AR/MR 技術領域的創新很少，但是該技術在廣泛的工業應用中具有巨大的潛力，對用戶來說，使用VR 可以有效的降低運營成本，提高生產效率，具有實實在在的利益。 隨著各項技術研發及算法優化迭代日益成熟，在未來的十年中，飛機裝配制造行業VR/AR/MR 技術必將取得長足的發展。