基于VR設(shè)備的跌落式熔斷器操作虛擬實訓(xùn)系統(tǒng)設(shè)計

陳麗丹, 張 哲, 梁豐驛, 劉蘊樟

(華南理工大學(xué)廣州學(xué)院 電氣工程學(xué)院, 廣東 廣州 510800)

虛擬仿真技術(shù)探索與實踐

基于VR設(shè)備的跌落式熔斷器操作虛擬實訓(xùn)系統(tǒng)設(shè)計

陳麗丹, 張 哲, 梁豐驛, 劉蘊樟

(華南理工大學(xué)廣州學(xué)院 電氣工程學(xué)院, 廣東 廣州 510800)

針對電工進網(wǎng)作業(yè)許可考證實操項目“跌落式熔斷器的拉合操作”,利用3ds Max完成電力實訓(xùn)現(xiàn)場場景搭建,基于Unity游戲引擎進行腳本開發(fā),使用穿戴式HTC vive手柄結(jié)合頭戴式顯示器進行虛擬實訓(xùn)操作。系統(tǒng)包括實訓(xùn)介紹、設(shè)備學(xué)習(xí)、實操訓(xùn)練和考核4部分,并通過渲染、交互、控制和操作4個模塊實現(xiàn)。該虛擬實訓(xùn)系統(tǒng)具有良好的現(xiàn)場沉浸感、可操作性、人機交互等特點,豐富了電力實訓(xùn)教學(xué)和培訓(xùn)方式。

虛擬現(xiàn)實； 3ds Max； Unity3d； HTC vive； 實訓(xùn)教學(xué)

目前,高校電力專業(yè)學(xué)生實訓(xùn)和電力公司員工技能培訓(xùn)主要采用理論講解和實際操作相結(jié)合的方式,這種方式受到實訓(xùn)場地、設(shè)備和時間的限制,所以實訓(xùn)人員數(shù)量受限、受訓(xùn)者操作機會少,且存在人員和設(shè)備的安全隱患[1]。虛擬現(xiàn)實(virtual reality,VR)技術(shù)的發(fā)展為電力專業(yè)學(xué)生實訓(xùn)提供了新的途徑。近年來,VR技術(shù)已被應(yīng)用到軍事、醫(yī)學(xué)、石油、航空、建筑、房地產(chǎn)、影視等眾多領(lǐng)域中,在電力行業(yè)的應(yīng)用同樣備受關(guān)注[2-5]。一些高校將VR技術(shù)應(yīng)用于數(shù)字電路實驗、船舶輔機拆裝訓(xùn)練、測量實驗等實驗實訓(xùn)教學(xué)中并取得了一定成效[6-8],但其輸入設(shè)備普遍采用鼠標(biāo)、鍵盤和觸屏,顯示設(shè)備為顯示器、投影儀等,局限于桌面式平面虛擬化,用戶參與感、體驗感、沉浸感不強。

筆者基于VR設(shè)備開發(fā)了跌落式熔斷器操作虛擬實訓(xùn)系統(tǒng)。該系統(tǒng)通過3ds Max軟件建立拉合跌落式熔斷器虛擬實訓(xùn)設(shè)備和場景三維模型,生成.fbx格式文件導(dǎo)入Unity3d引擎進行交互設(shè)計與制作,利用NGUI控件完成實訓(xùn)系統(tǒng)UI界面和控件設(shè)計與制作,并通過HTC vive虛擬現(xiàn)實頭戴式顯示器(VR頭顯)結(jié)合HTC手柄實現(xiàn)沉浸式拉合跌落式熔斷器的操作。該系統(tǒng)的創(chuàng)新點包括:(1)采用市場主流的頭盔式顯示器替代傳統(tǒng)的顯示設(shè)備,使用戶身臨其境地沉浸于三維虛擬實訓(xùn)現(xiàn)場；(2)編輯腳本控制手柄,實現(xiàn)虛擬場景中設(shè)備的操控,具有更好的人機交互性能,提高了用戶的體驗效果；(3)不僅能進行虛擬操作訓(xùn)練,還能以音頻、動畫、視頻展示方式學(xué)習(xí)基本知識理論,同時能完成實訓(xùn)內(nèi)容的考核。

1 拉合跌落式熔斷器虛擬實訓(xùn)系統(tǒng)概述

1.1 系統(tǒng)功能

拉合跌落式熔斷器是配電網(wǎng)電力現(xiàn)場一項操作頻繁的項目,在高校電力專業(yè)實訓(xùn)環(huán)節(jié)開設(shè),電力企業(yè)員工培訓(xùn)也有該操作項目。筆者開發(fā)的拉合跌落式熔斷器虛擬實訓(xùn)系統(tǒng)的使用對象為高校電力專業(yè)學(xué)生、企業(yè)的一線電工及電工進網(wǎng)作業(yè)許可考證的學(xué)員,他們通過實訓(xùn)熟悉跌落式熔斷器的基本結(jié)構(gòu),掌握拉合跌落式熔斷器的基本操作技能。另外,為減少實訓(xùn)教師的重復(fù)性指導(dǎo),系統(tǒng)還具有自主學(xué)習(xí)、自主考核功能。基于VR設(shè)備的跌落式熔斷器操作虛擬實訓(xùn)系統(tǒng)功能模塊如圖1所示。

圖1 基于VR設(shè)備的跌落式熔斷器操作虛擬實訓(xùn)系統(tǒng)

其中,實訓(xùn)介紹模塊以文字界面和音頻講解同步呈現(xiàn)；設(shè)備學(xué)習(xí)模塊主要以演示功能呈現(xiàn),結(jié)構(gòu)分解是用動畫演示跌落式熔斷器的結(jié)構(gòu),真人示范指虛擬系統(tǒng)提供提前錄制的真人示范操作的視頻；實操訓(xùn)練模塊是虛擬現(xiàn)實人機交互的核心部分,不僅可以進行無限次數(shù)的拉合操作訓(xùn)練,還可以進行拉閘和合閘操作的順序練習(xí),系統(tǒng)設(shè)置報錯和提醒功能；自主考核模塊包括判斷題和單項選擇題兩種題型,用戶通過做題鞏固操作順序、操作注意事項等基本知識。

1.2 虛擬實訓(xùn)系統(tǒng)搭建

跌落式熔斷器拉合操作虛擬實訓(xùn)系統(tǒng)的搭建包括2部分:一是建立能夠使用戶在實訓(xùn)時產(chǎn)生沉浸感的三維場景模型,二是系統(tǒng)功能的實現(xiàn)。其中場景建模階段又分為數(shù)據(jù)收集、模型建立和整體集成3個階段(見圖2)。

圖2 拉合跌落式熔斷器虛擬實訓(xùn)系統(tǒng)搭建過程

1.3 系統(tǒng)的軟硬件基礎(chǔ)

跌落式熔斷器操作虛擬實訓(xùn)系統(tǒng)基于HTC vive設(shè)備和Unity3d引擎平臺開發(fā)實現(xiàn)。HTC vive是目前優(yōu)秀的穿戴式虛擬現(xiàn)實設(shè)備之一,其硬件部分包括VR頭顯、Lighthouse定位器以及交互手柄[9]。相比傳統(tǒng)的鍵盤、鼠標(biāo)或觸摸屏等虛擬現(xiàn)實輸入設(shè)備操作,采用HTC vive特制的手柄設(shè)備結(jié)合VR頭顯,用戶便能通過肢體動作同虛擬場景中的電力設(shè)備及其他物體(包括UI界面)進行交互,使用戶產(chǎn)生現(xiàn)場操作的感覺,增強了實訓(xùn)的趣味性。

在系統(tǒng)的設(shè)計中,HTC vive用作開發(fā)過程中虛擬現(xiàn)實顯示設(shè)備和與虛擬場景交互的硬件,Unity3d則作為整合場景模型、腳本、控制模塊等的一個綜合軟件平臺,并采用NGUI插件進行系統(tǒng)界面的設(shè)計。系統(tǒng)主機配置為:Nvidia GeForce GTX 1070顯卡,Intel core i5-4590處理器,HDMI 1.4視頻輸出,USB 3.0端口,Windows 10操作系統(tǒng)。

1.4 系統(tǒng)框架模塊

為實現(xiàn)虛擬電力實訓(xùn)現(xiàn)場在HTC vive頭顯中顯示并實現(xiàn)響應(yīng)漫游、操作等功能,將系統(tǒng)框架分成4個模塊:

(1) 渲染模塊:用于將虛擬場景渲染至HTC vive的頭顯中,追蹤用戶頭部的位姿并及時更新虛擬攝像機的位姿；

(2) 交互模塊:主要功能為獲取手柄的位姿以及為手柄的各個按鍵添加各種功能；

(3) 控制模塊:主要分為控制臺和懸浮兩部分,包含除虛擬操作外的所有其他操作,包括一、二、三級選單的切換,聲音的播放,視頻的播放,定點傳送,顯示問題以及回答問題等部分；

(4) 操作模塊:指碰撞檢測及連桿運動,主要是實現(xiàn)熔斷器的拉合操作及其跌落式運動,分為斷電(拉閘)操作和送電(合閘)操作兩種。

2 系統(tǒng)關(guān)鍵技術(shù)實現(xiàn)

2.1 電力設(shè)備及場景的建模

本文選用3ds Max三維建模軟件進行設(shè)備和場景的建模,建模流程如圖3所示。

圖3 虛擬實訓(xùn)場景建模流程

首先,采集實訓(xùn)現(xiàn)場數(shù)據(jù)(包括設(shè)備和現(xiàn)場的技術(shù)、尺寸參數(shù)),用于建立線框模型,并現(xiàn)場取景拍照用于紋理、材質(zhì)的制作。

其次,根據(jù)規(guī)格尺寸建立電力設(shè)備、輔材和建筑結(jié)構(gòu)的三維模型,對輪廓比較規(guī)則的墻壁、天花板等建筑結(jié)構(gòu)采用多邊形建模(polygon建模)方法；制作輪廓相對復(fù)雜又不規(guī)則的跌落式熔斷器和絕緣操作桿模型則采用曲面建模(NURBS建模)方法。

第三,檢查模型、材質(zhì)、貼圖等各類元素準(zhǔn)確無誤后,采用烘焙工具“Rendering | Render To Texture”命令對虛擬場景進行烘焙。

最后,選擇.fbx格式文件保存并導(dǎo)入Unity3d軟件中,對導(dǎo)入的模型進行場景優(yōu)化,調(diào)整導(dǎo)入過程中出錯的材質(zhì)貼圖,優(yōu)化背景環(huán)境等。

圖4為主要虛擬電力設(shè)備的3D效果圖。

圖4 虛擬電力設(shè)備3D效果

2.2 交互功能的實現(xiàn)

此模塊主要功能是獲取手柄的位姿和為手柄的各個按鍵添加功能:

(1) 左手輪盤鍵:瞬移功能；

(2) 右手輪盤鍵:點擊選單功能；

(3) 右手選單鍵:打開選單功能；

(4) 雙手拾取鍵:抓取物體功能；

(5) 雙手扳機鍵:觸發(fā)按鈕功能。

使用SteamVR Plugin中的[CameraRig]組件具體實現(xiàn),該組件已包含了手柄的模型,并使用以下腳本實現(xiàn)交互功能:

(1) VRTK_Interact Grab:獲取抓取物體的能力；

(2) VRTK_Interact Touch:獲取通過觸摸物體觸發(fā)某些事件的能力；

(3) VRTK_Interact Use:獲取使用物體的能力,通過扣動扳機鍵啟用按鈕；

(4) VRTK_Bezier Pointer:獲得傳送能力,按圓盤鍵使之從手柄發(fā)射出一道貝塞爾曲線,松開圓盤鍵即可傳送至曲線末端的位置；

(5) VRTK_Simple Pointer:獲得遠程點擊觸發(fā)按鈕的能力；

(6) menu:獲得呼出懸浮選單能力。

以抓取動作為例。在虛擬場景中,用戶抓取和釋放絕緣操作桿的動作,是利用Lighthouse的跟蹤數(shù)據(jù)來驅(qū)動手柄的位置信息,然后進行手柄模型與絕緣操作桿發(fā)生碰撞的檢測。若發(fā)生碰撞并且符合抓取的條件則抓取物體,再將絕緣操作桿與手柄進行相關(guān)的綁定(采用碰撞點為結(jié)合點的綁定方式),實現(xiàn)絕緣操作桿跟隨手部運動而運動。

2.3 虛擬界面設(shè)計

利用Unity3d提供的NGUI插件制作拉合跌落式熔斷器實訓(xùn)系統(tǒng)的界面。系統(tǒng)選單界面采用控制臺選單和懸浮式設(shè)計,使用HTC右手交互手柄上的選單鍵,呼出和關(guān)閉懸浮選單。利用Widget Tool創(chuàng)建按鈕等控件,再利用NGUI的監(jiān)聽方法來實現(xiàn)按鈕的響應(yīng)。需先給按鈕添加Event Listener組件,然后利用OnClick函數(shù)進行響應(yīng)。系統(tǒng)交互界面如圖5所示。

圖5 拉合跌落式熔斷器虛擬實訓(xùn)系統(tǒng)交互界面

2.4 漫游(瞬移)功能的實現(xiàn)

用戶在虛擬場景中的運動,一是自主漫游,主要是基于Lighthouse限定區(qū)域的運動定位；二是因虛擬實訓(xùn)場景空間大,需基于貝塞爾曲線的位置傳送(瞬移)。

前者,使用SteamVR Plugin中的預(yù)制體實現(xiàn)。將SteamVR Plugin中Prefabs中[CameraRig]組件拖曳至場景中,并將場景的主攝像機刪除,即可實現(xiàn)渲染以及自動跟蹤位姿,使用腳本VRTK_Height Adjust Teleport讓攝像機獲得自適應(yīng)高度的能力。

后者,虛擬場景中用戶瞬移因Lighthouse運動跟蹤定位技術(shù)受場地限制,故以基于貝塞爾曲線的位置傳送交互方式來實現(xiàn)用戶的大范圍活動,增強系統(tǒng)的體驗效果。BezierPointer.cs從控制手柄發(fā)射一條二階貝塞爾曲線,通過與可交互的地板(box collider)發(fā)生碰撞,獲取碰撞點的位置信息,然后HeightTeleport.cs獲取碰撞點的空間位置坐標(biāo)并傳送至該點。在控制器的object上添加發(fā)射射線的腳本,在整個虛擬角色模型添加高度和位置的腳本。

2.5 拉合動作的實現(xiàn)

跌落式熔斷器的拉合操作及其跌落式運動的實現(xiàn),分為斷電操作和送電操作兩種情形。斷電操作初始狀態(tài)為熔斷器與觸頭相連,根據(jù)電力操作規(guī)定先斷開中間相(見圖6(a)),再斷開左右相；送電操作初始狀態(tài)為熔斷器為跌落狀態(tài),正確操作邏輯為先閉合左右相,再閉合中間相。

以斷電操作為例,使用腳本restore控制斷電操作場景中間相的熔斷器的運動與碰撞,綁定到中間相熔斷器對應(yīng)的幾何組件xzt上。檢測勾桿是否與勾環(huán)接觸,若接觸,則在鉤環(huán)中心處生成一個關(guān)節(jié)連接鉤環(huán)與操作桿,實現(xiàn)上鉤狀態(tài)。上鉤完成后,調(diào)用腳本restoreshock_l中的函數(shù)StartCoroutine,使左手柄持續(xù)震動以指示上鉤狀態(tài),并將中間相熔斷器高亮顯示。該腳本同時用于檢測操作桿與鉤環(huán)是否分離,若是,調(diào)用腳本restoreshock_r中的函數(shù)StartCoroutine與Invoke,使右手柄震動0.3 s，以指示熔斷器與觸頭分離,并播放斷開音效。

使用腳本restore_l控制斷電操作場景左邊相的熔斷器的運動與碰撞,綁定到左邊相熔斷器對應(yīng)的幾何組件xzt_l上。檢測操作桿是否與勾環(huán)接觸,若均接觸,再檢測腳本restore中的restore.flag1是否為true。若是,即表明中間相未操作,將高亮顯示中間相(見圖6(b)),并且播放操作錯誤音頻；若否,則按restore相同步驟實現(xiàn)斷電操作。

使用腳本restore_r控制斷電操作場景右邊相的熔斷器的運動與碰撞,綁定到右邊相熔斷器對應(yīng)的幾何組件xzt_r上。以下與restore_l功能相同。

圖6 斷電操作場景

3 結(jié)語

本文使用3ds Max建模技術(shù)創(chuàng)建跌落式熔斷器、絕緣操作桿等電力設(shè)備和建筑結(jié)構(gòu)的高品質(zhì)模型,實現(xiàn)了電力實訓(xùn)現(xiàn)場的三維場景逼真呈現(xiàn),使用戶能夠在虛擬場景中進行沉浸式漫游和跌落式熔斷器的拉合操作訓(xùn)練,還能在虛擬系統(tǒng)里觀看動畫和真人操作示范,同時能夠完成知識點的考核。該實訓(xùn)系統(tǒng)沉浸感強、界面友好、功能豐富、使用簡單、安全性好,為電力員工操作訓(xùn)練提供平臺,在電力人員培訓(xùn)、電力公司和電力類院校的崗前和專業(yè)技能培訓(xùn)方面有良好的應(yīng)用前景。

References)

[1] 丁曉.基于虛擬現(xiàn)實技術(shù)的電力技能實訓(xùn)體系研究[J].供用電,2016(11):80-83.

[2] 肖迪.基于虛擬現(xiàn)實技術(shù)的電能計量實訓(xùn)仿真研究[D].武漢:華中科技大學(xué),2013.

[3] Overbye T J. Visualizing the electric grid for power management and marketing[J].Electric & light power,2002,38(10):24-27.

[4] 陳永波.沉浸式變電站仿真培訓(xùn)系統(tǒng)的設(shè)計與實現(xiàn)[J].電網(wǎng)技術(shù),2015,39(7):2034-2039.

[5] 陳海波,鄭健,費瑞軼,等.虛擬現(xiàn)實技術(shù)在電力系統(tǒng)中的典型應(yīng)用[J].電網(wǎng)與清潔能源,2016,32(2):20-25.

[6] 王開宇,李安琪,馬馳,等.基于仿真技術(shù)的數(shù)字電路3D虛擬實驗室的設(shè)計[J].實驗技術(shù)與管理,2017,34(2):11-15.

[7] 王昊,曾鴻,倪文利,等.基于虛擬現(xiàn)實的船舶輔機設(shè)備拆裝訓(xùn)練系統(tǒng)[J].江蘇科技大學(xué)學(xué)報(自然科學(xué)版),2017,31(1):44-48.

[8] 周敏,范沖.基于Unity3d的虛擬測量實驗設(shè)計與初步實現(xiàn)[J].測繪與空間地理信息,2016,39(1):179-181.

[9] 龔文飛.基于HTC VIVE的虛擬現(xiàn)實心理沙盤游戲設(shè)計及研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2016.

Design of virtual training system for drop-out fuse operation based on VR devices

Chen Lidan, Zhang Zhe, Liang Fengyi, Liu Yunzhang

(School of Electrical Engineering, Guangzhou College of South China University of Technology, Guangzhou 510800, China)

According to the practical item of electricians’ permit examination for power grid operation, i.e., “Pull-close operation of drop-out fuse,” the power practical training scene is set up by using the 3DS Max. The script development is carried out based on the Unity game engine, and with a wearable HTC vive handle and a head-mounted display, the virtual training operation is conduced. The system includes the following four parts: training introduction, equipment learning, practical operation training and examination, which is realized by the four modules of rendering, interaction, control and operation. This virtual training system has the characteristics of field immersion, operability, human-computer interaction, etc., which has enriched the practical training teaching and training methods for electric power.

virtual reality; 3ds Max; Unity3d; HTC vive; practical training teaching

TP391.9;G642.0

: A

: 1002-4956(2017)09-0109-04

10.16791/j.cnki.sjg.2017.09.027

2017-03-18

中央高校基本科研基金項目(x2zdD2154920)；廣東大學(xué)生科技創(chuàng)新培育專項資金項目(pdjh2017b0963)；廣東省特色重點學(xué)科建設(shè)項目(XZD13001)

陳麗丹(1981—),女,浙江浦江,在讀博士研究生,副教授,主要研究方向為電力系統(tǒng)規(guī)劃與運行、電氣工程教學(xué).

E-mail:chenld@gcu.edu.cn