應用VR及AR技術的虛擬仿真實驗設計與實現

張濟麟，張艷鵬

?

應用VR及AR技術的虛擬仿真實驗設計與實現

張濟麟1，張艷鵬2

（1. 哈爾濱理工大學電氣與電子工程學院，遼寧 哈爾濱 150080； 2. 哈爾濱理工大學計算機科學與技術學院，遼寧 哈爾濱 150080）

原有2D虛擬實驗教學系統存在實驗效果不夠形象、人機交互方式單一、系統不夠智能的缺點。原有3D虛擬實驗系統存在開發成本高、材質渲染失真、無法跨平臺運行等不足。基于以上不足，本文應用VR及AR技術，引入高效的Unity3D游戲引擎，以大學工科專業的電工電子實驗為實例，設計研發一套3D虛擬電工電子實驗系統。該系統具有逼真的實驗環境、多樣化的人機交互方式、智能的檢錯評分算法以及支持多平臺運行的優點。最后評估了系統的性能參數，驗證了其良好的實用性。

虛擬現實；增強現實；虛擬仿真實驗

0 引言

虛擬實驗室的概念最早由美國弗吉尼亞大學的威廉·沃爾夫教授于1989年提出。目前，虛擬實驗在物理、化學、醫學等多個領域都有所應用[1-2]。首先，虛擬實驗可讓實驗人員更安全、更高效地完成現實實驗的操作；其次，虛擬實驗室的規劃與實現較之真實實驗室更加快速、廉價；再次，虛擬實驗可有效地解決實驗室師資短缺問題。

國內外都在致力于虛擬實驗產品的研究與開發，許多高校都開發了自己的虛擬實驗室，如Wake Forest大學的CircuitMaker、MIT的iLab[3]、大連理工大學的虛擬精餾實驗室[4]、中國地質大學的虛擬物理實驗室等。從目前的研發狀況來看，已有的虛擬實驗系統以二維人機界面為主，這類虛擬實驗可演示實驗的基本原理，但存在著實驗效果不夠形象、人機交互方式單一、實驗系統不夠智能的缺點；現有的3D虛擬實驗系統，又存在著系統研發成本高、虛擬材質渲染不夠逼真等不足，且大多不支持跨平臺運行。

為了解決上述存在的問題，推動虛擬實驗的發展，本文提出了一套完整可行的3D虛擬實驗系統設計框架。通過此框架實現的虛擬電工電子實驗系統，具有高度逼真的3D虛擬環境和沉浸式的操作界面[5]，能夠智能地提示實驗過程中錯誤的操作，計算出準確的實驗成績。系統的開發成本低廉，硬件平臺部分僅需要普通個人計算機(PC)和Android系統移動設備；軟件平臺部分則采用游戲引擎Unity3D并結合AR SDK進行3D虛擬環境搭建與邏輯功能實現。該設計框架同樣適用與化學、光學、力學以及數學等多學科的虛擬實驗項目開發。

本文第二節介紹了Unity3D游戲引擎的特性；第三節描述了系統架構與主要功能；第四節給出了系統關鍵部分的技術細節；第五節評估了系統的主要性能參數；第六節對全文進行了總結。

1 Unity3D的引入

Unity3D是由美國Unity Technologies公司開發的一款輕量級3D游戲引擎，具備跨平臺發布、高效能優化、高性價比以及AAA級的3D畫面渲染效果等特點，是目前最著名的虛擬現實系統開發工具之一[6]。

Unity3D底層渲染支持DirectX和OpenGL專業圖形API，具有強大的3D畫面渲染能力。其先進的遮擋剔除(Occlusion Culling)技術、細節層級顯示技術(LOD)以及多線程渲染管道技術，為高質量的3D虛擬環境提供性能保障。

在NVIDIA PhysX專業物理引擎的支持下，開發者可以模擬剛體、柔體、關節等物理效果。此外，Unity3D高性能的燈光系統，動態實時陰影、HDR技術以及鏡頭特效，可以滿足對真實實驗的各種模擬需求。例如各類光線效果、重力效果、爆破效果、齒輪傳動和線路連接方式等。

2 3D虛擬電工電子實驗系統描述

2.1 設計框架

圖1為3D虛擬實驗系統研發的總體設計框架，自下而上分別為：真實實驗的基本原理、系統核心技術支持、開發環境、AR SDK、運行平臺以及具體的3D虛擬實驗系統。其中，實驗基本原理、VR技術與AR技術作為虛擬實驗系統的核心支持，提供設計向導與技術路線；Unity3D與3ds Max作為開發平臺，結合AR SDK，實現系統邏輯功能與3D模型的設計制作，系統可在PC、移動設備以及Web上運行。

框架采用經典的設計模式MVC（Model-View-Controller），它將整個系統開發劃分為三大模塊：模型組件、視圖組件和控制器組件[7]。模型組件是視圖組件與控制器組件之間的通信橋梁，控制器發出的具體操作信息會被傳送到模型組件中，模型組件經過一系列的邏輯計算將相關信息發送到視圖組件，由視圖組件接收消息并最終展示給用戶。

圖1 基于Unity3D與AR的虛擬實驗系統總體設計框架

此設計框架具有通用與靈活性，不僅適用于本文提出的虛擬電工電子實驗系統，同樣適用于化學、光學、力學和數學等多學科的虛擬實驗設計。

2.2 主要功能

本文提出的3D虛擬電工電子實驗系統整體架構目前包含四個子系統，分別是三個虛擬電工電子實驗和一個支持AR人機交互的器材瀏覽庫。

三個虛擬實驗采用了統一的實現方式，主要模塊包括：實驗原理介紹、教學模式、練習模式與考試模式。實驗原理介紹提供對所做實驗的理論基礎講解；教學模式使學生可以在3D虛擬實驗環境中，分步驟地觀看正確的實驗操作演示，并能觀察到正確的實驗效果；練習模式同樣基于3D虛擬實驗環境，學生學習實驗基本原理與觀看正確實驗步驟之后，可在練習模式中自主地選擇實驗器材，進行虛擬實驗操作，系統會智能地檢測出實驗過程中錯誤的操作，并給予正確操作的提示。三個虛擬實驗均可在PC、Web以及Android系統移動設備上運行。

支持AR顯示的器材瀏覽庫為用戶提供了一種新穎的人機交互方式。用戶使用手機的攝像頭識別預定義圖片后，即可在相應圖片上顯示逼真的3D器材模型及其參數介紹。這種AR人機交互的器材瀏覽庫，加強了用戶體驗度，也降低了實驗對真實器材的損耗。

3 關鍵技術實現與性能優化

3.1 3D模型渲染

采用專業模型制作軟件設計與構建虛擬實驗系統所有的3D模型。在3ds Max中按照真實實驗器材的比例，對模型進行調整，統一軸心與質心位置，制作出三維結構與真實器材一致的精細模型。

為了保證虛擬實驗環境的高度真實感，在3D器材結構仿真的同時，還要對器材的材質進行渲染。材質是指物體的材料、質感，即物體本身的材料屬性與紋理[8]。材質渲染的步驟為建立不同材質的Shader腳本編程，模型貼圖（Texture）的制作，材質球（Materials）的合成。

Shader腳本負責產生不同效果的材質，編程使用ShaderLab語言；Texture用于材質紋理的顯示，主要包括紋理貼圖、法線貼圖、立方體貼圖和高光貼圖，通過3ds Max制作完成；材質球是Shader腳本與Texture的載體，最終將Material附著到對應的模型上，使虛擬實驗環境達到逼真的效果。圖2展示了使用Material渲染后的部分3D模型。

圖2 渲染后的3D器材模型

3.2 智能檢錯與評分機制

為了加強虛擬實驗系統的實用性與智能性，設計了一套智能檢錯與評分機制，并在系統的練習模式與考試模式中加以實現。本文的虛擬實驗系統的最終評分主要由器材與連線這兩個因素決定，圖3為智能檢錯與評分機制的設計框架，框架由兩個模塊組成，分別是實驗操作檢測模塊與實驗評分模塊。

圖3 檢錯與評分機制設計框架

實驗評分模塊的設計，可由參與實驗教學的教師提供評分標準，保證其靈活性與準確性。考慮到電工電子實驗的特點，正確的導線連接是其關鍵考核因素，因此連線部分占據總分的70%，實驗器材選擇占據30%，評分標準如公式1所示，其中W表示標準導線數，w表示用戶連對的導線數，A表示標準器材數，a表示用戶選對的器材數。

3.3 支持AR交互的器材庫

支持AR人機交互虛擬器材庫的瀏覽，主要通過Unity3D結合Vuforia的方式實現。Vuforia[9]AR SDK是由高通（Qualcomm）公司開發的基于標識物（Maker-based）的增強現實專業開發包，它與Unity3D完全兼容。它為Unity3D添加視覺檢測與跟蹤算法，幫助開發者便捷地創建支持AR的應用或游戲。如圖4所示，實現支持AR人機交互器材庫，可以分為三部分：

準備階段。通過Vuforia分析預定義的圖像標識特征點，訓練獲得的特征點信息并保存到dat文件中，Vuforia提取圖像邊緣變化作為特征點，用戶可以自定義創建豐富多樣的圖像標識；

運行階段。Vuforia從dat文件中讀取事先保存的特征點信息，同時在移動設備攝像頭獲取的RGB格式視頻數據流中檢測這些特征點，并對其進行特征點匹配，獲取視頻中圖像標識的位置、形狀信息；

圖4 支持AR交互的器材庫實現框架

匹配階段。如果采集到的視頻數據流特征點與預定義圖像標識的特征點匹配成功，則更新應用邏輯，Vuforia根據圖像標識在視頻中的狀態計算出移動設備攝像頭與圖像標識之間的相對位置，并在標識的中心建立目標坐標系（object coordinate system, OCS），在Unity3D中設定的3D器材模型將被繪制在該目標坐標系下，最終系統將3D模型與攝像頭獲取的視頻疊加地顯示在移動設備屏幕上。

3.4 系統性能優化

考慮到不同硬件設備的圖形處理性能各有高低，為了保證虛擬實驗系統在較低配置設備上也能流暢地運行，對系統作了GPU與CPU的渲染性能優化，分別從優化3D器材模型和降低運行場景繪制調用(Draw Call, DC)兩方面進行優化。

Unity3D中的模型以FBX格式保存，由網格（Mesh）組成的，每個網格均由頂點（Vertex）和三角面（Triangle）構成，過多的點面會使顯卡計算量增大造成相當大的開銷。例如一個標準立方體的網格，具有24個頂點和12個三角面。優化模型幾何體有兩個基本規則：如果不是必須，不使用過多的三角面；保持UV貼圖接縫和硬邊盡可能的少。因此，使用3ds Max制作模型時，在保證模型外觀逼真的前提下，盡量減少其點面數；在Unity3D中，使用場景優化工具Cruncher進一步對點面數進行優化。大約每1500至4000個三角面構成一個網格，優化渲染性能最合適。

4 系統運行效果與性能評估

3D虛擬電工電子實驗系統的研發基于Unity3D游戲引擎，主要使用C#與JavaScript語言，借助Vuforia開發包實現AR人機交互操作。運行虛擬實驗系統的PC機配置如下，CPU：Intel(R) Core(TM) i5-3470 K Processor 3.4GHz；RAM：3.47 GB；Graphics Card：NVIDIA GeForce GTX 670，操作系統為32位Windows 7旗艦版。運行本系統的手機配置如下，CPU：Snapdragon 600 1.7 GHz；RAM：2 GB；Graphics Card：Adreno 320，操作系統為Android 4.1.0。

圖5為虛擬汽車燈照明電路實驗在PC機上的運行效果：圖(a)表示，如果導線連接正確，相應的車燈就可照明；圖(b)表示，提交實驗結果獲得的得分，黃色導線作為正確連線提示。圖6為系統在手機上的運行效果。

在研發過程中對系統進行了大量的性能優化工作，表1統計了“練習模式”下，系統優化后的主要性能參數數值。由表可以看出，經過減少3D模型點面數與降低Draw Call調用，系統的性能得到了顯著提升。在PC與手機上的游戲幀數(FPS)分別為98.0幀/秒和70.0幀/秒，超過了30.0幀/秒的流暢運行標準，達到良好運行的效果。

圖5 系統在PC上的運行效果

圖6 系統在手機上的運行效果

表1 優化后系統主要性能參數

Tab.1 Main performance parameters of the optimized system

5 結論

基于Unity3D游戲引擎與增強現實技術開發的虛擬實驗系統，可同時跨平臺發布，其逼真的3D實驗環境與友好的用戶操作界面，準確而形象地展示了實驗原理；結合功能強大的Vuforia AR SDK，將Unity3D中的3D仿真模型與真實環境完美融合，實現了更自然的AR人機交互體驗。

該虛擬仿真實驗系統可跨平臺發布，其逼真的3D環境與友好的用戶操作界面，準確而形象地展示了教育游戲的優點；結合功能強大的Android SDK，將Unity3D中的3D仿真模型與Android平臺完美融合，實現了Android手機上的運行。

本文只介紹了部分電工電子實驗的實例，但底層的虛擬實驗系統設計框架，可以用于更多學科的虛擬實驗研發。與傳統虛擬實驗系統相比，基于Unity3D與AR技術的虛擬實驗系統不僅提供逼真的3D畫面，且可在PC、移動設備和Web網頁多平臺上運行，有效地減少了用戶在空間與時間上所受的限制，用戶可更靈活自主地進行實驗操作；其支持AR人機交互的特色優勢，使用戶在卡片上即可全方位觀察高度仿真的3D器材模型。這種逼真、高效，且具有通用性的虛擬實驗系統，目前已經具備了投入實際教學的條件。此外，隨著類似Google Glass的AR人機交互產品的流行普及，它有望成為各類虛擬實驗研發的新趨勢。

[1] Geiger C, Stoecklein J, Klompmaker F,. Development of an augmented reality game by extendinga 3D authoring system[C]. Proceedings of the international conference on Advances in computer entertainment technology. Austria: ACM, 2007: 230-231.

[2] Morales C, Martínez-Hernández K, Weaver G,. Immersive chemistry video game[C].ACM SIGGRAPH. USA: ACM, 2006: 50.

[3] Harward V J, del Alamo J A, Lerman S R,. The iLab shared architecture: A Web Services infrastructure to build communities of Internet accessible laboratories[J]. Proceedings of the IEEE(S0018-9219), 2008, 96(6): 931-950.

[4] 康譯友. 三維交互虛擬精餾實驗室的構建技術研究[D]. 大連: 大連理工大學, 2010.

[5] Piekarski W, Thomas B H. Interactive augmented reality techniques for construction at a distance of 3d geometry[C]. Proceedings of the workshop on Virtual environments. Switzerland: ACM, 2003: 19-28.

[6] Wang S, Mao Z, Zeng C,. A new method of virtual reality based on Unity3D[C]. Geoinformatics, 2010 18th International Conference on. China: IEEE, 2010: 1-5.

[7] 宣雨松. Unity3D游戲開發[M]. 第1版. 北京. 人民郵電出版社, 2012.

[8] 朱柱. 基于Unity3D的虛擬實驗系統設計與應用研究[D]. 武漢: 華中師范大學, 2012.

[9] Cheng Xiao. Implementation of Mobile Augmented Reality Based on Vuforia and Rawajali. IEEE Beijing Section. Proceedings of 2014 IEEE 5th International Conference on Software Engineering and Service Science[C]. IEEE Beijing Section:,2014: 4.

Design and Implementation of Virtual Simulation Experiment by Using VR and AR Technology

ZHANG Ji-lin1, ZHANG Yan-peng2

(1. School of Electrical and Electronic Engineering, Harbin University of Science and Technology, Harbin, 150080, China; 2. School of Computer Science and Technology, Harbin University of Science and Technology, Harbin, 150080, China)

The original 2D virtual experiment teaching system has the shortcomings of insufficient experimental image, single human-computer interaction mode, and insufficient system intelligence. The original 3D virtual experiment system has numerous disadvantages, such as high cost of the development, the distortion of texture rendering and non-cross-platform operation, etc. Based on the above deficiencies, this paper use VR and AR technology, the introduction of an efficient Unity3D game engine, taking the electrical and electronic experiments of university engineering as an example, designs and develops a 3D virtual electrical and electronic experiment system. The system has the advantages of realistic experimental environment, diversified human-computer interaction modes, intelligent error detection scoring algorithms, and support for multi-platform operation. Finally, the performance parameters of the system were evaluated to verify its good practicality.

Virtual reality; Augmented reality; Virtual simulation experiment

TP311

A

10.3969/j.issn.1003-6970.2018.08.042

張濟麟(1997-)，男，本科學生，主要研究領域為虛擬現實、增強現實、虛擬實驗；張艷鵬(1987-)，男，助教，哈爾濱理工大學計算機學院、虛擬仿真實驗中心教師，助教，主要研究領域為虛擬現實、增強現實及計算機視覺。

本文著錄格式：張濟麟，張艷鵬. 應用VR及AR技術的虛擬仿真實驗設計與實現[J]. 軟件，2018，39（8）：202-206