基于HoloLens的民航發動機混合現實交互演示系統開發

馮丹琳

摘要：基于HoloLens實現發動機模型的混合現實交互演示，進而直觀形象的對發動機結構、原理有更清楚的了解。通過三維建模軟件對某型民航發動機模型進行輕量化處理，通過虛擬現實引擎對HoloLens進行開發。首先搭建HoloLens開發環境，然后對輕量化處理后的模型添加動畫效果，然后把具有動畫效果的發動機模型發布到HoloLens中，最后實現發動機模型與現實場景的交互演示。此方法對混合現實交互演示系統的開發設計具有重要參考意義，此系統可用于教學及相關培訓，具有重要的實用價值。

關鍵詞：發動機模型;輕量化;混合現實;HoloLens

中圖分類號：TP391 文獻標識碼：A 文章編號：1007-9416（2018）11-0152-03

0 引言

近年來，混合現實（MR）技術是學術界的一個熱點，將成為下一個重大通用計算平臺。隨著信息技術的發展，這些先進技術手段將逐步融入人們的生活，被越來越多的行業機構和企業用來改善生產和生活，未來幾年將會實現飛速發展。它是在虛擬現實技術基礎之上發展起來的一種新技術，也被稱為增強現實（AR）。將計算機生成的虛擬環境、模型等信息疊加到真實場景中，實現對現實的增強，增加了體驗者對現實環境的感知[1]。HoloLens是微軟公司開發的一款頭戴式增強現實裝置，采用特殊定制的全息處理單元，能夠在現實場景中顯示全息圖像的設備，而且可以完全獨立使用，同時無需線纜連接、同步電腦或智能手機，實現對周邊環境的快速掃描和空間匹配。這就確保了在真實世界表面放置或展現全息圖形內容的準確性。另外，HoloLens平臺操作系統是基于Windows10定制的，降低了研發成本，同時也提高了開發效率[2-4]。

發動機作為飛機的核心部件，具有重要的研究價值。通過三維建模軟件3DSMax對建立的發動機模型進行輕量化處理，使得模型能夠加載到虛擬現實引擎Unity中。在Unity中配置HoloLens開發的場景，然后對輕量化后的模型進行動畫效果程序的設計，實現發動機虛化模型的縮放、移動、旋轉、漫游等效果。最后把具有動畫效果的模型發布到HoloLens中，實現發動機模型的交互演示。對混合現實交互演示系統的開發設計具有重要參考意義，同時可應用于教學及相關培訓，具有重要實際應用價值。

1 混合現實交互技術

1.1 用戶界面

混合現實的用戶界面正在向高效、自然的方向發展。在MR中使用較多的用戶界面形態包括：實物用戶界面（TUI）、觸控用戶界面、三維用戶界面（3DUI）、多通道用戶界面和混合用戶界面。

目前，TUI是MR領域應用得最多的交互方式，它是直接使用現實世界中的物體與計算機進行交互[5]，這種方式比較自然。觸控用戶界面是在圖形用戶界面的基礎上，主要以觸覺感知作為交互技術，例如手機、平板電腦等，都是用手通過屏幕與虛實物體交互。3DUI是在一個虛擬或現實的三維空間中與計算機進行交互，是由虛擬現實技術衍生而來的交互技術，可以在純虛擬環境中觀察世界、地形漫游、搜索與導航等。多通道用戶界面是通過多種通道與計算機進行交互，輸入方式有文字、語音、手勢、視覺、聽覺、嗅覺等。混合用戶界面通過多種不同的交互設備進行交互[6]，交互平臺更加靈活和多樣化。

1.2 交互技術

混合現實中人機交互主要是實現用戶自然高效地與虛實混合的內容進行交互，交互技術主要有手勢識別技術、語音和聲音交互技術、觸覺反饋技術、眼動跟蹤技術、生理計算技術等等。

手勢識別技術是應用較多的交互方式，按照輸入設備的不同，分為基于傳感器和基于計算機視覺兩種，可直接用手操作MR中的物體。語音交互是重要的交互方式，語音識別可以直接或作為額外的輸入通道感知交互信息。觸覺反饋技術是通過產生的力學信號反饋信息，通過觸摸的方式感知實際或虛擬的力學信號。眼動跟蹤技術通過眼睛注視的方向體現感興趣的區域以及用戶的心理和生理狀態，通過眼睛注視進行的交互是較快的人機交互方式。生理計算是建立人類生理信息和計算機系統之間的接口的技術[7-9]。

2 開發實現

HoloLens是微軟首個不受線纜限制的全息計算機設備，能夠與數字內容更好的進行交互，并與周圍真實環境中的全息影像互動。HoloLens對新一代的人機交互體驗指明了方向，它可以代替大部分需要人與人之間進行實地交流的場景。首先通過三維建模軟件對發動機模型進行精簡面等輕量化處理，然后利用虛擬現實引擎添加動畫效果，把處理好的發動機模型加載到Hololens中。使得HoloLens體驗者能夠看到由他自己周圍的現實世界和系統提供的全息影像組合而成的景象，進行交互演示。開發過程如圖1所示。

2.1 發動機模型輕量化

三維發動機模型是由多種信息有機地構成，其信息量大，造成模型對計算機性能要求很高，顯示速度慢，不能直接加載到Hololens中去。為了解決這個問題，將建好的發動機模型平滑的加載到HoloLens中，可以對原始模型采取輕量化操作，過濾冗余信息，保留發動機模型必要的產品結構和顯示信息等，并對數據進行簡化和壓縮。

模型輕量化采用細節層次技術，包括生成、選擇及切換三個主要部分。將發動機模型設定不同的顯示精度和顯示細節，根據觀察者視點與發動機模型之間的距離來使用不同的顯示精度，以此達到快速交互模型的目的。3DSMax的操作環境如圖2所示。

發動機模型面數的輕量化包括模型面的精簡、刪除。模型片面的精簡通過降低模型的段數來降低模型的面數，柱面通過降低高度段數和截面的精簡達到面數的精簡，曲線形狀模型面數的精簡通過調整材質的偏移值、角度等的參數，適度減少形狀步幅和路徑步幅參數，完成曲線形狀模型面的精簡。刪除發動機模型面包括刪除發動機模型之間的重疊面，刪除發動機模型底部看不見的面，刪除物體之間相交的面。

2.2 基于Unity的HoloLens開發

在Unity中對HoloLens開發之前，需要配置相應的環境、資源加載。開發過程包括場景搭建，程序設計，發布輸出。首先載入的開發工具包提供了封裝好的常用的組件及腳本，HoloLens的主要交互方式為凝視、語音、和手勢，構成了HoloLens的基本輸入。然后設置當前場景，加載模型，Unity支持幾乎所有的主流三維文件格式，把從3DSMax導出文件到項目工程資源文件夾后，Unity會立即刷新該資源，并將變化應用于整個項目。為模型添加剛體，使得凝視、語音、手勢等觸發讓模型感知。設計縮放、移動、旋轉等程序，加載到Unity的發動機模型上，使得模型具有相應的屬性。發布輸出時，進行相關的發布設置，選擇發布平臺，這里選擇遠程計算機，即HoloLens，并確定與計算機在同一個局域網內，最后調試程序，發布到HoloLens中。以移動的設計為例進行具體分析，開始移動前，保存發動機模型的原始位置，獲取拖拽的總偏移量，設置發動機模型新的位置，手勢移動事件處理接口，該事件會將返回自拖拽開始的總位移量。Unity中的開發環境如圖3所示。

對發動機模型集成凝視、手勢和語音三大特性，當攝像機凝視在全息對象時，表面出現可視化凝視組件，當手勢被識別到時，會出現圓心或手指，然后添加事件響應，完成發動機的響應工作。可在Unity模式下運行調試，觀察整個項目的運行結果，一切正常，即可發布到PC平臺或Hololens中。在Unity中的視覺效果如圖4所示。

3 結語

通過3DSMax三維建模軟件對發動機模型處理，采用細節層次技術對原始模型采取輕量化操作，過濾冗余信息，保留發動機模型必要的產品結構和顯示信息。在Unity3D中進行開發環境的搭建，發動機模型的導入，程序設計、調試等操作。進行了發動機模型的縮放、移動、旋轉的程序設計，分別通過凝視、手勢的操作實現。完成了整個項目的運行，運行結果符合正常效果，最后發布到Hololens中，實現了發動機模型混合現實交互演示。開發設計過程對混合現實交互演示系統的研究具有重要參考意義，開發的交互演示系統可應用于教學及相關培訓方面，具有重要的實用價值。

參考文獻

[1]趙文靜，曹忠.基于增強現實的移動學習海外案例分析[J].現代教育技術，2017，27（3）：20-26.

[2]余艷紅.增強現實技術的研究現狀及發展趨勢[J].湖南大眾傳媒職業技術學院學報，2016，16（1）：55-57.

[3]金榮深.基于HoLoLens的飛行仿真輔助視景系統設計[J].工業設計，2018（6）.

[4]劉向群，郭雪峰，鐘威等. VR/AR/MR開發實踐——基于Unity與UE4引擎[M].機械工業出版社，2017.

[5]呂春花，張鳳軍，武匯岳等.基于TUI的場景規劃系統中的交互技術[J].計算機輔助設計與圖形學學報，2009，21（1）：112-119.

[6]Zhou F， Duh H B L，Billinghurst M. Trends in augmented reality tracking， interaction and display： a review of ten years of ISMAR[C] //Proceedings of the 7th IEEE/ACM International Symposium on Mixed and Augmented Reality. Los Alamitos：IEEE Computer Society Press，2008：193-202.

[7]王西穎，戴國忠.面向虛擬現實的層次化交互手勢建模與理解方法[J].計算機輔助設計與圖形學學報，2007，19（10）：1334-1341.

[8]Irawati S，Green S， Billinghurst M，et al."Move the couch where？"： developing an augmented reality multimodal interface[C] //Proceedings of IEEE/ACM International Symposium on Mixed and Augmented Reality. Los Alamitos： IEEE Computer Society Press， 2006：183-186.

[9]Hayward V，Astley O R，Cruz-Hernandez M，et al.Haptic interfaces and devices[J].Sensor Review，2004，24（1）：16-29.

Development of Mixed Reality Interactive Demonstration System for Civil Aviation Engine Based on HoloLens

FENG Dan-lin

（College of Electronic Information and Automation， Civil Avation University of China， Tianjin? 300300）

Abstract：Based on the implementation of the mixed reality interactive demonstration of the engine model by HoloLens， the engine structure and principle can be more clearly understood visually. Through 3D modeling software， a certain type of light weight is made on civil aviation engine model， to develop the HoloLens by virtual reality engine. The first is to set up HoloLens development environment， and the second is to add animation effects to treated model， and the third is to release the finished engine model to HoloLens， the last is to realize the interactive demonstration between engine model and real scene. This method has important reference significance for the development and design of mixed reality interactive demonstration system， which can be used in teaching and related training， and has important practical value.

Key words：engine model; light weight; mixed reality; holoLens