集成AR和Kinect技術的電力培訓系統研究

宋力王 劉晨

摘 要：電力行業技術密集、安全風險高，電力培訓是提高作業人員素質，保證電力系統安全穩定運行的重要手段之一。提出一種集成AR和Kinect技術的電力培訓系統，采用Kinect與裸眼3D顯示結合的交互方式。通過Kinect識別受訓人員的操作手勢和聲音命令，形成良好的人際互動AR環境，實現受訓人員的學習、操作培訓和操作考核；充分利用裸眼3D實時渲染技術，突破了傳統裸眼3D只能播放視頻的局限性，實現電力培訓系統實操體驗、模擬危險、事故分析等。

關鍵詞：裸眼AR；Kinect交互；實時渲染；電力培訓

1 引言

由于電力行業的結構復雜、技術密集、安全風險高等特點，實操培訓具有一定的風險，對學員的專業技術技能要求高，可能造成難以挽回的損失。因此，一種安全高效的實操仿真培訓方法是電力部門關注的重點。

魯強等[1]在電力仿真培訓系統中引入虛擬現實技術（Virtual Reality，VR）降低了硬件投資，增強了培訓效果。朱紅青等[2]開發了礦井火災救援VR培訓系統，提高救護隊的井下應急救災處理能力。增強現實技術（Augmented Reality，AR）避免對現實世界大量重構和渲染的復雜過程，可以實現虛擬環境與現實世界互相嵌入，并進行人機互動[3，4]。

然而，目前的AR培訓系統中，大部分都不具備相應的體感交互，未能實現完善和真實的虛擬現實體驗[5，6]。因此本文提出一種基于AR技術的電力場景培訓系統，借助AR技術和Kinect技術自動識別操作者動作，并智能監督操作人員按規程、按步驟完成工作，提高電力技術人員的業務水平。

2 AR技術概述

AR技術由1990年左右提出，包括3個主要特征：虛實結合、即時互動和三維匹配。AR技術為工業維修培訓的可視化等諸多領域提供一種新的“沉浸”學習工具，具有很大的發展空間。

輸入圖像經過處理建立實景模型，依照幾何一致性將生成的虛擬對象嵌入實景環境中，形成虛實融合的增強現實環境；顯示系統顯示實景環境，操作者通過交互設備與實景環境進行人機互動。

2.1 場景建模

傳統AR培訓系統需要佩戴專業的眼鏡才能夠使用，而長時間佩戴容易讓人產生惡心、頭暈等癥狀，特別是對于戴有近視鏡的觀眾使用起來更不方便，本系統采用裸眼3D技術實現場景建模顯示[7]。

真空斷路器是切合電路的主要設備。正常工作時根據電網運行需要，將一部分電氣設備或線路投入或退出運行，當電氣設備或線路發生故障時，通過保護裝置作用于斷路器，將故障部分從電網中切除，使電網無故障部分正常運行。

2.2 Kinect體感交互

基于深度圖的體感交互，以視頻圖像和深度圖作為輸入數據，研究體感手勢特征、手勢跟蹤等。其中微軟公司推出了Kinect體感設備成果最為顯著。Kinect不需要使用任何控制器，它依靠相機捕捉三維空間中人體的運動。

骨骼是攝像頭采集到用戶肢體當前動作形態的計算機表達，人體骨骼由多個關節組成，每個關節點都包含了位置、旋轉及其它信息。在培訓系統中的互動設計中利用了Kinect設置的骨骼節點，對培訓人員的動作信息進行描述。

該斷路器帶上PT電源，在桿上安裝簡易控制器，控制器上有分合閘信號等，實現就地操作。Kinect體感設備通過骨骼關節點識別操作者的操作行為，并輸入到反饋系統中。

3 人機交互技術

體感技術，簡單來說就是使人能與機器交互，人們可以很直接地使用肢體動作，無需使用額外的操作設備，便可讓其與周圍環境進行互動。

（1）激光定位技術。優勢在于定位精度高，反應速度極快，但穩定性和耐用性較差。

（2）紅外光學定位技術。具有高定位精度，低延遲率，但成本較高，需要安裝足夠數量的攝像頭。

（3）基于慣性的定位技術。受環境影響較小，，但需要穿戴，可能會影響操作者正常工作。

（4）可見光定位技術。相比上述3種技術，可見光定位技術成本低，靈敏度高，穩定性和耐用性強，是最容易普及的一種定位方案。

4 電力仿真培訓典型案例

“沉浸式真空斷路器操作AR仿真實操培訓系統”緊密結合電力部門培訓需求，通過研究基于Unity3D的高壓設備場景仿真技術、Kinect體感交互技術和電力仿真技術等，從視覺、聽覺和交互方式等方面構建高度逼真的沉浸式操作環節。

培訓系統包括培訓系統包括中央處理模塊、三維建模模塊、渲染模塊、操作工藝模塊、Kinect交互模塊，如圖1所示。中央處理模塊負責各模塊間的數據信息和指令傳遞；操作工藝模塊存儲操作工藝，可向電力技術人員展示相關元件工藝標準；考核模式按對考生的操作步驟進行評分。三維建模模塊實現真空斷路器建模；渲染模塊對三維模型渲染和裸眼3D顯示；Kinect交互模塊采集并處理操作者的手臂和手指動作。

5 反饋設計

AR+電力培訓中還可以設置考核模式，可以將學員的操作按照標準化的規則進行考核（圖2）。對于檢修人員，系統會通過設置某一設備故障，讓操作者針對該故障進行檢修操作，按標準化檢修流程對考生的操作步驟進行評分。

6 結論

提出一種基于AR和Kinect技術的電力培訓系統，不但可以實現真空斷路器設備的三維重建，形象地反應設備的事故狀態及其動作過程，還支持在虛擬場景中操作、巡視、事故訓練等，增強了培訓的趣味性和實效性，具備廣闊的應用前景。

參考文獻：

[1] 魯強，孔英會，賈俊敏. VR技術及其在電力仿真培訓系統中的應用[J]. 湖南電力，2004（1）：36～39.

[2] 朱紅青，秦曉峰，楊成軼等.基于Virtools的礦井火災救援VR培訓系統開發[J].礦業研究與開發，2014（4）：95～98.

[3] 馮曉偉.增強現實工業培訓系統研究[D].華東師范大學，2012.

[4] 謝維兵，敬勇，劉敏等.增強現實（AR）技術在電網培訓中的運用[J]. 重慶電力高等專科學校學報，2018（1）.

[5] 鄧麗，魯琛瑤，邵宇鷹等.增強現實技術在電力系統故障源標識中的應用[C].中國仿真大會，2014.

[6] 薛江，李軍鋒，何雙伯等.增強現實在電網仿真培訓和工作輔助的應用[J].科技與創新，2017（21）：149～150.

[7] 歐陽俊林.裸眼3D顯示技術研究[J].計算機光盤軟件與應用，2012（19）：86～87.