頭盔式沉浸式虛擬現(xiàn)實技術(shù)的變電站仿真培訓(xùn)系統(tǒng)設(shè)計與實現(xiàn)

江龍，張德剛，李澤河，王國平，王達達，曹俊豪，譚武光

（1. 云南電網(wǎng)有限責任公司教育評價中心，昆明 650011；2. 北京科東電力控制系統(tǒng)有限責任公司，北京 100192）

0 前言

變電站仿真培訓(xùn)系統(tǒng)在提高受訓(xùn)人員的日常監(jiān)視、正常操作、異常與事故處理技能等方面發(fā)揮著不可取代的作用[1-6]。隨著沉浸式虛擬現(xiàn)實仿真技術(shù)的迅速發(fā)展，大量消費級虛擬現(xiàn)實硬件設(shè)備不斷推出[7-10]，如Oculus Rift虛擬現(xiàn)實頭盔[11]、VΙVEKinect體感設(shè)備[12]。沉浸式虛擬現(xiàn)實仿真技術(shù)主要是通過各種硬件，如立體投影、頭盔顯示器等設(shè)備，把視覺、聽覺和其他感覺封閉起來，提供一個新的、虛擬的感覺空間，本文設(shè)計的變電站仿真培訓(xùn)系統(tǒng)，以沉浸式虛擬現(xiàn)實技術(shù)為基礎(chǔ)，配合虛擬現(xiàn)實頭盔、位置跟蹤器、動作捕捉器等交互設(shè)備，從視覺、聽覺和交互方式等方面為變電站運行人員構(gòu)建更加逼真的沉浸式變電站虛擬環(huán)境。

1 系統(tǒng)總體設(shè)計

1.1 硬件系統(tǒng)

本系統(tǒng)在網(wǎng)絡(luò)結(jié)構(gòu)上采用以太網(wǎng)組網(wǎng)，通信采用TCP/ΙP協(xié)議，硬件采用高性能圖形工作站，安裝Windows7 專業(yè)版操作系統(tǒng)，開發(fā)軟件采用Unity3D和VC，系統(tǒng)應(yīng)用分布采用教員遠程配置的方式，使得系統(tǒng)擴充升級方便，便于學(xué)習(xí)使用。硬件系統(tǒng)結(jié)構(gòu)見圖1。

圖1 仿真培訓(xùn)系統(tǒng)硬件結(jié)構(gòu)

每個培訓(xùn)硬件單元包括1個虛擬現(xiàn)實頭盔、1套位置追蹤器、1臺動作捕捉器、2臺計算機。虛擬現(xiàn)實頭盔是沉浸式虛擬現(xiàn)實的必備設(shè)備，虛擬現(xiàn)實頭盔通過立體顯示系統(tǒng)，將三維場景由 2D 顯示模式呈現(xiàn)為具有景深的 3D 顯示模式，將體驗者整體視覺環(huán)境包圍在起來，融入在整體虛擬世界之中，增強真實感；位置追蹤器通過采集培訓(xùn)人員頭部位置感應(yīng)點的空間數(shù)據(jù)并通過開發(fā)接口傳遞給系統(tǒng)，系統(tǒng)計算出相應(yīng)的頭部空間姿態(tài)，從而更新虛擬顯示頭盔的左右眼屏幕的三維圖像實現(xiàn)視景隨頭部運動而變化；系統(tǒng)通過動作捕捉器的人機接口獲取培訓(xùn)人員的人體運動數(shù)據(jù)，然后將記錄到的運動數(shù)據(jù)映射到虛擬場景中的虛擬人，以驅(qū)動虛擬人在虛擬場景中做出和培訓(xùn)人員相符合的肢體動作，從而實現(xiàn)與虛擬場景的交互；運行三維變電站監(jiān)控培訓(xùn)仿真系統(tǒng)的計算器通過連接虛擬現(xiàn)實頭盔、位置跟蹤器和動作捕捉器，實現(xiàn)基于沉浸式視覺效果和自然人機交互技術(shù)的變電站監(jiān)控仿真培訓(xùn)；運行電網(wǎng)仿真系統(tǒng)和變電站機理仿真的計算機通過網(wǎng)絡(luò)和運行三維變電站監(jiān)控培訓(xùn)仿真系統(tǒng)進行通訊，實現(xiàn)反映現(xiàn)場模擬操作的培訓(xùn)仿真功能。

1.2 軟件系統(tǒng)

本仿真培訓(xùn)系統(tǒng)是一套高交互性分布式仿真培訓(xùn)系統(tǒng)[13]按照功能劃分為五層，包括系統(tǒng)層、工具層、模型層、應(yīng)用層、接口層和設(shè)備層。軟件系統(tǒng)的整體結(jié)構(gòu)如圖2所示。

圖2 仿真培訓(xùn)系統(tǒng)軟件結(jié)構(gòu)

1）系統(tǒng)層為系統(tǒng)開發(fā)所需的底層開發(fā)工具和引擎，三維虛擬現(xiàn)實相關(guān)的子系統(tǒng)基于三維圖形引擎開發(fā)，其他應(yīng)用基于常用軟件開發(fā)工具，如微軟Visual Studio和跨平臺開發(fā)工具Qt等。

2）工具層為系統(tǒng)仿真建模的工具軟件，包括三維建模平臺、電網(wǎng)建模工具和變電站機理建模工具。在三維仿真建模中，研究開發(fā)可視化組件化建模工具，為變電站中的各種一二次設(shè)備開發(fā)成一個個獨立的、可復(fù)用的仿真組件，將仿真組件像“搭積木”似的裝配成完整的變電站仿真三維場景；在電網(wǎng)建模上，研究開發(fā)全圖形畫面編輯器[14]，并吸收CAD的某些特點、提供可以公用的基本圖形原語，使用圖形原語可以編輯和生成可復(fù)用的圖形元素。利用這些基本圖形原語和用戶自定義的圖形元素，用戶可以方便快速編輯和生成自己所需的各種畫面，如單線圖和系統(tǒng)圖等；變電站機理建模工具以可視化編輯的方式實現(xiàn)為變電站一二次設(shè)備可視化綁定機理仿真參數(shù)和標識信息。

3）模型層為系統(tǒng)運行所需要的模型數(shù)據(jù)，包括變電三維場景模型、虛擬人模型、電網(wǎng)模型和變電站機理模型。

4）應(yīng)用層包括沉浸式三維變電站仿真系統(tǒng)、電網(wǎng)仿真系統(tǒng)和變電站機理仿真系統(tǒng)；沉浸式三維變電站仿真系統(tǒng)實現(xiàn)基于沉浸式虛擬現(xiàn)實和人機自然交互方式的變電站一二次設(shè)備巡視、監(jiān)視、操作處理，支持變電站巡視、監(jiān)視、正常操作及異常、事故分析處理技能的學(xué)習(xí)、操練及考評等功能；電網(wǎng)仿真系統(tǒng)通過潮流計算，實現(xiàn)變電站仿真所需要的一次設(shè)備有功、無功、電流、電壓等遙測量以及斷路器與刀閘狀態(tài)的遙信量發(fā)送給變電站機理仿真模塊，并接收邏輯仿真模塊發(fā)送的斷路器、刀閘等設(shè)備操作仿真事件并進行仿真處理。變電站機理仿真系統(tǒng)通過接收電網(wǎng)、監(jiān)控及變電站設(shè)備的操作等信息，依照實際的控制、保護策略實現(xiàn)保護設(shè)備的動作、調(diào)整模擬，并將相關(guān)信息反饋至電網(wǎng)仿真和三維變電站場景。

5）接口層為沉浸式三維變電仿真系統(tǒng)提供沉浸式虛擬現(xiàn)實交互設(shè)備的訪問與控制，實現(xiàn)為虛擬現(xiàn)實頭盔輸出左右眼三維圖像、采集頭部運動數(shù)據(jù)和人體全身運動數(shù)據(jù)并驅(qū)動虛擬人與虛擬場景交互。

2 關(guān)鍵技術(shù)實現(xiàn)

2.1 變電設(shè)備場景的雙眼立體顯示

虛擬現(xiàn)實頭盔的雙眼立體顯示是通過左右眼屏幕分別顯示左右眼的圖像，人眼獲取這種帶有差異的信息后在腦海中產(chǎn)生立體感。本系統(tǒng)通過在三維場景中建立兩個虛擬相機分別對應(yīng)左右眼視點，通過將左右眼對應(yīng)虛擬相機的三維場景圖像同步輸出到虛擬現(xiàn)實頭盔的左右眼屏幕實現(xiàn)雙眼立體成像；同時本系統(tǒng)通過研究三維立體顯示原理，計算出左右眼虛擬相機的位置和姿態(tài)，實現(xiàn)優(yōu)化的三維立體顯示效果。

2.2 設(shè)備場景的快速渲染技術(shù)

系統(tǒng)采用下列方法來降低場景的復(fù)雜度以優(yōu)化三維場景的實時動態(tài)運行效率。

1）在保證物理模型的視覺效果不失真的前提下，盡量用面片數(shù)量少的模型和采用紋理貼圖的方式對物體進行建模，并使用貼圖烘焙技術(shù)減少為表現(xiàn)光照效果所需要的 CPU 計算時間，以降低系統(tǒng)實時渲染的內(nèi)存開銷和CPU計算時間。

2）采用場景分塊方法，把復(fù)雜變電場景劃分為多個相互之間不可見的子場景，系統(tǒng)大量減少在任意時刻需要顯示的多邊形數(shù)目，從而降低場景的復(fù)雜度。

3）層次細節(jié)模型技術(shù)，對場景中的同一個物體，在近距離觀察使用面片數(shù)比較多的精細模型，而在遠距離觀察時使用面片數(shù)比較少的粗糙模型。這樣就實現(xiàn)了在保證比較真實的視覺效果的前提下，同時提高了復(fù)雜場景的生成和顯示速度。三維引擎中將 LOD功能封裝在LOD類型的節(jié)點中，可以方便的實現(xiàn)基于視點距離和投影面積的LOD模型調(diào)度算法。

2.3 基于動作捕捉的虛擬交互技術(shù)

1）虛擬人建模：系統(tǒng)采用3DSMAX對虛擬人模型進行建模，根據(jù)人體骨骼結(jié)構(gòu)，在3DSMAX中構(gòu)建虛擬人模型。為了逼真模擬虛擬人的外觀形象和運動過程，研究采用多層次模型的方式實現(xiàn)虛擬人，虛擬人的模型包括骨骼層、皮膚層和外表層，其中骨骼層用于控制虛擬人肢體運動的姿態(tài)和動作過程，皮膚層采用動態(tài)表面貼圖的方式表示包裹在骨骼層外部的人體表面皮膚，外表層表示虛擬人身體上的服裝，三個層次具有運動層次的關(guān)聯(lián)關(guān)系，當人體骨骼層發(fā)生運動時，附著在之上的皮膚層和外表層會發(fā)生表面形變。結(jié)構(gòu)如圖3。

圖3 虛擬人結(jié)構(gòu)

2）虛擬人的運動控制

系統(tǒng)的基于動作捕捉的虛擬人交互過程包括仿真系統(tǒng)運動通過體感動作捕捉系統(tǒng)獲取培訓(xùn)人員的人體運動數(shù)據(jù)，然后將記錄到的運動數(shù)據(jù)映射到虛擬場景中的虛擬人，以驅(qū)動虛擬人在虛擬場景中做出和培訓(xùn)人員相符合的肢體動作。

動作捕捉系統(tǒng)獲取的原始運動數(shù)據(jù)為具有大量的冗余信息的運動數(shù)據(jù)，為了能夠正確驅(qū)動虛擬人的運動，仿真系統(tǒng)首先對運動數(shù)據(jù)進行數(shù)據(jù)除噪和消除冗余，并從大量的運動數(shù)據(jù)中提取出可以正確反映虛擬人完整運動過程的運動數(shù)據(jù)，然后將處理好的數(shù)據(jù)根據(jù)虛擬人模型進行映射處理，并最終實現(xiàn)運動數(shù)據(jù)對虛擬人的驅(qū)動。

系統(tǒng)在沉浸式虛擬變電站交互方式實現(xiàn)提供“學(xué)習(xí)、練習(xí)和考核”三種模式，學(xué)習(xí)模式為設(shè)備原理和結(jié)構(gòu)展示講解，練習(xí)模式為指引性培訓(xùn)和關(guān)鍵點講解，考核模式要求對學(xué)員的操作行為進行分析評價。

4 結(jié)束語

頭盔式沉浸式仿真培訓(xùn)系統(tǒng)在虛擬現(xiàn)實的基礎(chǔ)上增加了虛擬現(xiàn)實頭盔的雙眼立體影像輸出和基于動作捕捉的體感交互技術(shù)，解決了原系統(tǒng)用戶現(xiàn)場感缺乏和用戶體驗的不足的缺點。與傳統(tǒng)的仿真系統(tǒng)相比，具有高度的實時性和沉浸感、良好的系統(tǒng)集成和開發(fā)性以及交互的多樣性等優(yōu)點，不但使用戶有身臨其境的沉浸感，而且可以通過肢體而動作直接與虛擬環(huán)境進行交互，用戶通過這種交互方式可以感知和響應(yīng)虛擬環(huán)境，改變了參與者僅僅作為單純接受者的被動狀態(tài)，可有效提高電網(wǎng)運行生產(chǎn)人員專業(yè)技能培訓(xùn)效率，縮短培訓(xùn)周期，提高培訓(xùn)質(zhì)量。