集成AR和Kinect技術(shù)的電力培訓系統(tǒng)研究

宋力王 劉晨

摘 要：電力行業(yè)技術(shù)密集、安全風險高，電力培訓是提高作業(yè)人員素質(zhì)，保證電力系統(tǒng)安全穩(wěn)定運行的重要手段之一。提出一種集成AR和Kinect技術(shù)的電力培訓系統(tǒng)，采用Kinect與裸眼3D顯示結(jié)合的交互方式。通過Kinect識別受訓人員的操作手勢和聲音命令，形成良好的人際互動AR環(huán)境，實現(xiàn)受訓人員的學習、操作培訓和操作考核；充分利用裸眼3D實時渲染技術(shù)，突破了傳統(tǒng)裸眼3D只能播放視頻的局限性，實現(xiàn)電力培訓系統(tǒng)實操體驗、模擬危險、事故分析等。

關(guān)鍵詞：裸眼AR；Kinect交互；實時渲染；電力培訓

1 引言

由于電力行業(yè)的結(jié)構(gòu)復雜、技術(shù)密集、安全風險高等特點，實操培訓具有一定的風險，對學員的專業(yè)技術(shù)技能要求高，可能造成難以挽回的損失。因此，一種安全高效的實操仿真培訓方法是電力部門關(guān)注的重點。

魯強等[1]在電力仿真培訓系統(tǒng)中引入虛擬現(xiàn)實技術(shù)（Virtual Reality，VR）降低了硬件投資，增強了培訓效果。朱紅青等[2]開發(fā)了礦井火災救援VR培訓系統(tǒng)，提高救護隊的井下應急救災處理能力。增強現(xiàn)實技術(shù)（Augmented Reality，AR）避免對現(xiàn)實世界大量重構(gòu)和渲染的復雜過程，可以實現(xiàn)虛擬環(huán)境與現(xiàn)實世界互相嵌入，并進行人機互動[3，4]。

然而，目前的AR培訓系統(tǒng)中，大部分都不具備相應的體感交互，未能實現(xiàn)完善和真實的虛擬現(xiàn)實體驗[5，6]。因此本文提出一種基于AR技術(shù)的電力場景培訓系統(tǒng)，借助AR技術(shù)和Kinect技術(shù)自動識別操作者動作，并智能監(jiān)督操作人員按規(guī)程、按步驟完成工作，提高電力技術(shù)人員的業(yè)務水平。

2 AR技術(shù)概述

AR技術(shù)由1990年左右提出，包括3個主要特征：虛實結(jié)合、即時互動和三維匹配。AR技術(shù)為工業(yè)維修培訓的可視化等諸多領(lǐng)域提供一種新的“沉浸”學習工具，具有很大的發(fā)展空間。

輸入圖像經(jīng)過處理建立實景模型，依照幾何一致性將生成的虛擬對象嵌入實景環(huán)境中，形成虛實融合的增強現(xiàn)實環(huán)境；顯示系統(tǒng)顯示實景環(huán)境，操作者通過交互設(shè)備與實景環(huán)境進行人機互動。

2.1 場景建模

傳統(tǒng)AR培訓系統(tǒng)需要佩戴專業(yè)的眼鏡才能夠使用，而長時間佩戴容易讓人產(chǎn)生惡心、頭暈等癥狀，特別是對于戴有近視鏡的觀眾使用起來更不方便，本系統(tǒng)采用裸眼3D技術(shù)實現(xiàn)場景建模顯示[7]。

真空斷路器是切合電路的主要設(shè)備。正常工作時根據(jù)電網(wǎng)運行需要，將一部分電氣設(shè)備或線路投入或退出運行，當電氣設(shè)備或線路發(fā)生故障時，通過保護裝置作用于斷路器，將故障部分從電網(wǎng)中切除，使電網(wǎng)無故障部分正常運行。

2.2 Kinect體感交互

基于深度圖的體感交互，以視頻圖像和深度圖作為輸入數(shù)據(jù)，研究體感手勢特征、手勢跟蹤等。其中微軟公司推出了Kinect體感設(shè)備成果最為顯著。Kinect不需要使用任何控制器，它依靠相機捕捉三維空間中人體的運動。

骨骼是攝像頭采集到用戶肢體當前動作形態(tài)的計算機表達，人體骨骼由多個關(guān)節(jié)組成，每個關(guān)節(jié)點都包含了位置、旋轉(zhuǎn)及其它信息。在培訓系統(tǒng)中的互動設(shè)計中利用了Kinect設(shè)置的骨骼節(jié)點，對培訓人員的動作信息進行描述。

該斷路器帶上PT電源，在桿上安裝簡易控制器，控制器上有分合閘信號等，實現(xiàn)就地操作。Kinect體感設(shè)備通過骨骼關(guān)節(jié)點識別操作者的操作行為，并輸入到反饋系統(tǒng)中。

3 人機交互技術(shù)

體感技術(shù)，簡單來說就是使人能與機器交互，人們可以很直接地使用肢體動作，無需使用額外的操作設(shè)備，便可讓其與周圍環(huán)境進行互動。

（1）激光定位技術(shù)。優(yōu)勢在于定位精度高，反應速度極快，但穩(wěn)定性和耐用性較差。

（2）紅外光學定位技術(shù)。具有高定位精度，低延遲率，但成本較高，需要安裝足夠數(shù)量的攝像頭。

（3）基于慣性的定位技術(shù)。受環(huán)境影響較小，，但需要穿戴，可能會影響操作者正常工作。

（4）可見光定位技術(shù)。相比上述3種技術(shù)，可見光定位技術(shù)成本低，靈敏度高，穩(wěn)定性和耐用性強，是最容易普及的一種定位方案。

4 電力仿真培訓典型案例

“沉浸式真空斷路器操作AR仿真實操培訓系統(tǒng)”緊密結(jié)合電力部門培訓需求，通過研究基于Unity3D的高壓設(shè)備場景仿真技術(shù)、Kinect體感交互技術(shù)和電力仿真技術(shù)等，從視覺、聽覺和交互方式等方面構(gòu)建高度逼真的沉浸式操作環(huán)節(jié)。

培訓系統(tǒng)包括培訓系統(tǒng)包括中央處理模塊、三維建模模塊、渲染模塊、操作工藝模塊、Kinect交互模塊，如圖1所示。中央處理模塊負責各模塊間的數(shù)據(jù)信息和指令傳遞；操作工藝模塊存儲操作工藝，可向電力技術(shù)人員展示相關(guān)元件工藝標準；考核模式按對考生的操作步驟進行評分。三維建模模塊實現(xiàn)真空斷路器建模；渲染模塊對三維模型渲染和裸眼3D顯示；Kinect交互模塊采集并處理操作者的手臂和手指動作。

5 反饋設(shè)計

AR+電力培訓中還可以設(shè)置考核模式，可以將學員的操作按照標準化的規(guī)則進行考核（圖2）。對于檢修人員，系統(tǒng)會通過設(shè)置某一設(shè)備故障，讓操作者針對該故障進行檢修操作，按標準化檢修流程對考生的操作步驟進行評分。

6 結(jié)論

提出一種基于AR和Kinect技術(shù)的電力培訓系統(tǒng)，不但可以實現(xiàn)真空斷路器設(shè)備的三維重建，形象地反應設(shè)備的事故狀態(tài)及其動作過程，還支持在虛擬場景中操作、巡視、事故訓練等，增強了培訓的趣味性和實效性，具備廣闊的應用前景。

參考文獻：

[1] 魯強，孔英會，賈俊敏. VR技術(shù)及其在電力仿真培訓系統(tǒng)中的應用[J]. 湖南電力，2004（1）：36～39.

[2] 朱紅青，秦曉峰，楊成軼等.基于Virtools的礦井火災救援VR培訓系統(tǒng)開發(fā)[J].礦業(yè)研究與開發(fā)，2014（4）：95～98.

[3] 馮曉偉.增強現(xiàn)實工業(yè)培訓系統(tǒng)研究[D].華東師范大學，2012.

[4] 謝維兵，敬勇，劉敏等.增強現(xiàn)實（AR）技術(shù)在電網(wǎng)培訓中的運用[J]. 重慶電力高等專科學校學報，2018（1）.

[5] 鄧麗，魯琛瑤，邵宇鷹等.增強現(xiàn)實技術(shù)在電力系統(tǒng)故障源標識中的應用[C].中國仿真大會，2014.

[6] 薛江，李軍鋒，何雙伯等.增強現(xiàn)實在電網(wǎng)仿真培訓和工作輔助的應用[J].科技與創(chuàng)新，2017（21）：149～150.

[7] 歐陽俊林.裸眼3D顯示技術(shù)研究[J].計算機光盤軟件與應用，2012（19）：86～87.