VR技術在變電站仿真培訓系統中的應用研究

王 磊，楊國練，陳 維，牟旭東，王瑞強

(1.國網甘肅省電力有限公司培訓中心，甘肅 蘭州 730070；2.國網甘肅省電力有限公司設備管理部，甘肅 蘭州 730900；3.國網甘肅省電力有限公司天水供電公司，甘肅 天水 741099)

0 引言

隨著計算機技術和仿真技術逐漸發展成熟，虛擬現實(virtual reality，VR)技術也帶動諸多行業快速進步[1]。相關研究在各行各業也取得了巨大的成績。其中，沉浸式仿真技術的研究較為深入且貢獻較為突出[2]。其通過多種硬件設備和軟件系統的結合，使得參與者完全融入逼真、交互式的虛擬場景[3]。與此同時，在培訓現代變電站工作人員中，變電站沉浸式仿真培訓系統起到無可替代的重要作用[4-5]。但目前國內外有關330 kV變電站沉浸式仿真培訓系統的研究相對較少，面臨較多的難題。鑒于此，本文在前人的經驗和成果的基礎上，利用多通道視頻輸出技術和Kinect體感的交互虛擬技術，構建一種體驗感和互動性更強的沉浸式仿真培訓系統。該研究結果能為后續變電站沉浸式仿真培訓系統的開發提供參考。

1 變電站沉浸式仿真培訓關鍵技術

1.1 沉浸式系統需求設計

變電站沉浸式仿真培訓系統中，硬件部分實現虛擬場景的立體聲音效果和視覺效果，軟件部分實現變電站的場景仿真，從而達到虛擬實境的效果。沉浸式仿真培訓系統如圖1所示。

圖1 沉浸式仿真培訓系統

沉浸式仿真培訓系統由Kinect體感捕捉交互系統、教員管理系統、變電站綜自系統仿真、變電站電網仿真、沉浸式變電站場景仿真、變電站運行邏輯仿真六大模塊組成。所有模塊通過仿真運行支撐平臺完成交互信息、同步時間、控制協調等過程[3,6]。變電站電網仿真模塊能達到電網短期、中長期過程的一體化仿真，將一次設備有功、無功等遙測量以及刀閘狀態、斷路器的遙信量傳輸給變電站運行邏輯仿真模塊，同時接收來自變電站運行邏輯仿真模塊的信息。沉浸式變電站場景仿真的引擎開發為Unity3D。該引擎將變電站三維圖像通過多通道輸出技術輸出到大型3D弧幕，使用模型和場景編輯器構建變電站設備和場景模型，然后通過體感交互式設備接收實時數據，并將數據經過人體骨骼運動數據解析轉變為虛擬場景中的虛擬角色行為[7-10]。

變電站運行邏輯仿真是在電網一次設備提供信息的前提下，對繼電保護自動裝置、直流系統、交流系統、防誤系統等的邏輯行為進行模擬；同時，把二次回路和一、二次設備的仿真結果傳輸至場景和自動化綜合仿真的2個模塊，并作出相應的就地操作、遙調、遙控等指令[11-12]。變電站綜自系統仿真模塊的主要功能是模仿變電站監控系統的功能。Kinect體感捕捉交互系統通過Kinect體感交互技術實現精準捕獲，分析所有人員的局部和全身肢體動作信息，然后將結果傳輸至虛擬場景并促發虛擬個體和虛擬場景之間的互動，通過手勢和三維設備的精準碰撞檢測來判斷學員的動作，最后將動作時間提交給變電站進行邏輯仿真。教員管理系統模塊的功能是控制、監視、管理培訓全過程。

軟件系統邏輯關系如圖2所示。

圖2 軟件系統邏輯關系圖

硬件系統包括網絡交換機、工作站、Kinect傳感器、大型立體弧幕+3D互動投影結構。大型立體弧幕+3D互動投影由2組共6臺3D互動投影組成，功能是分別接收主圖形工作站輸出的不同視頻信號。通過視頻融合器協同處理后，投影儀將獲取的三維場景圖像輸送至立體弧幕中。接著，學員通過3D眼鏡即可沉浸在模擬的變電站場景中，感受變電站中一、二次設備的異常、正常、故障情況，思考相應的解決途徑，同時也可操作、處理事故，檢查、巡視虛擬設備。圖形工作站的功能有以下3個方面：①分配沉浸式變電站仿真培訓軟件系統，從而達到培訓仿真的目的；②接收和處理多通道輸出的2組視頻信號，從而達到模擬左右眼視頻輸出的效果；③通過USB數據接口連接工作站和Kinect設備，從而達到體感交互虛擬場景的目的。從工作站的功能可以視為主工作站的功能。當主工作站出現故障時，從工作站立即進入工作狀態。

1.2 虛擬現實關鍵技術

此次研究利用多通道視頻輸出技術、Kinect體感交互虛擬技術和體態識別的場景漫游技術，構建一種體驗感和互動性更強的沉浸式仿真培訓系統。投影式沉浸式虛擬現實系統的基礎是多通道視頻輸出技術。研究通過在計算機DirectX圖像引擎和仿真應用程序兩者間連接3D轉換接口程序，實現多通道視頻輸出技術。如果仿真軟件通過計算機DirectX圖像引擎進行圖像描繪，3D轉換接口將會得到所描繪的圖像數據，同時把圖像調整為具有3D效果的左右兩側數據。隨后通過3D轉換接口程序，將左右兩側數據分別輸送至兩個投影機上，以此模擬人左右兩眼的輸出，進而得到3D立體成像效果。Kinect體感交互的虛擬人驅動技術是指精準捕獲學員的局部和全身肢體運動情況，然后實時跟蹤捕獲到的六自由度位置信息，接著通過數據接口軟件實時將跟蹤信息傳遞給沉浸式變電站場景仿真軟件，從而實現逼真的動作仿真。數據實時捕捉是利用骨骼追蹤控制技術處理由Kinect傳感器得到的景深數據，從而實現人體骨骼關節點的跟蹤，進而實時控制虛擬人的相應骨骼節點。骨骼數據源于Microsoft Kinect SDK開發包的SkeletonStream流。研究從SkeletonStream流獲取骨骼數據，每一幀數據包括骨骼對象的相應集合。其中，每個骨骼對象所包含的信息為骨骼關節的數據和位置，每個關節均有且只有一個標記號和3D向量數據。因此骨骼關節點的追蹤信息可以被獲取，從而保證使用者的動作和虛擬模型的運動軌跡相同。Microsoft Kinect SDK能夠實現20個主要關節點的動態跟蹤，但仍然不能識別更為精細的動作。

本研究實現體感交互技術的方式為識別樣本和實時數據捕捉。其中，在人體動作手勢識別方面，采用動態時間規整(dynamic time warping,DTW)算法。

該算法本質是模板匹配算法，其具體識別、檢測步驟如下所示。首先，設置參考模板，也就是標準手勢從開始到結束期間的所有3D深度數據，可以用R={R(1),R(2),...,R(M)}表示。第m幀手勢模擬特征數據用R(m)表示，m=1,2,...,M。R(1)表示受試動作起點的數據，R(M)表示受試動作終點的數據。需要分析的手勢動作數據用T={T(1),T(2),...,T(N)}表示。第n幀的分析手勢特征數據用T(n)表示，n=1,2,...,N。T(1)表示手勢起點的數據，T(N)表示手勢終點的數據。通過計算兩者的距離得到相似度情況。若距離越大，則相似度越低；反之，則相似度越高。為了計算相似度，需要知道相應幀序號。2幀特征矢量間的距離用d[T(n),R(m)]表示。可以看出，距離函數的值為實際距離度量。設置特征向量的獲取方式為每秒30幀。通過類比分析特征數據和模板，即可以根據兩者的相似度獲取動作手勢的參考模板，進一步促發虛擬人做出相應的手勢動作。因此,該方法能夠對學員的細微動作進行較為精準的識別。

動作和漫游任務相關性如表1所示。

表1 動作和漫游任務相關性

變電站培訓要求控制虛擬人在一、二次設備區間的漫游操作，但動作驅動不能滿足虛擬人的所有漫游操作。本文引入體態識別的場景漫游技術控制虛擬人的轉向和漫游。虛擬人物可以實現實時跟蹤學員的轉向、行走等體態動作。該技術分析、識別人體骨骼圖像幀數據并獲得虛擬人物的驅動指令。假設需要作出虛擬人的行走指令，具體操作步驟如下所示。

①得到人物的骨骼數據，并對骨骼數據進行分析。

②處理骨骼數據，并得到虛擬人的動作指令。結合表1所示漫游指令和動作特征的相關性，在行走畫面分析的基礎上，完成行走控制任務、實現漫游控制。轉向控制可以分為2種情況，分別是靜止狀態和動態過程中的轉向。為了達到理想的控制效果、正確區分2種狀態下的轉向，需要控制人物的轉向速度和連續性，將虛擬人物作為中心，轉向速度設置為每幀5°。

2 變電站沉浸式仿真培訓系統分析

2.1 虛擬仿真效果分析

研究通過分塊的方式構建虛擬變電站，完成建模后再進行場景組合。多通道輸出技術需結合多臺投影儀共同輸出完成試驗展示。

多通道視頻輸出效果和場景漫游效果如圖3所示。由圖3(a)可知，左右兩邊圖像模仿人的左右兩眼，畫面具有非常高的立體感，帶給參與人員極高的參與感。虛擬人向前行進和向右轉彎的場景漫游效果如圖3(b)所示。所設計的變電站仿真培訓系統能夠實現一、二次設備的漫游仿真，逼真顯示虛擬人物的轉動和漫游。結合虛擬變電站效果圖可以看出，所構建的變電站沉浸式仿真培訓系統逼真且清晰。

圖3 多通道視頻輸出效果和場景漫游效果

兩種仿真培訓系統優劣對比如表2所示。在體驗感和沉浸感方面，沉浸式仿真培訓系統都強得多。在實時性和開發性方面，原有仿真培訓系統也不如沉浸式仿真培訓系統。原有仿真培訓系統在系統集成方面效果較好，但是它并不具有交互多樣性。由表2可知，沉浸式仿真培訓系統性能更優，更加適用于當前我國變電站仿真培訓系統。

表2 兩種仿真培訓系統優劣對比

2.2 識別率效果分析

由于捕捉范圍對人體動作識別率的影響極大，首先設置0.5～2.0 mm、2.0～3.5 mm、3.5～5.0 mm這3種捕捉范圍內的識別率情況。人體動作識別準確率對比如圖4所示。

圖4 人體動作識別準確率對比

圖4中，動作1～8分別為原地踏步、后退一步、左臂與肩平齊、右臂與肩平齊、左手朝胸部揮、向上方揮手、向前揮手、手握拳。捕捉范圍為5.0～2.0 mm時，動作1～動作8的識別準確率為96%、94%、94%、93%、98%、92%、94%、81%。在捕捉范圍為3.5～5.0 mm時，相比較于0.5～2.0 mm捕捉范圍的準確率，8種動作的識別準確率均有所提高，提高幅度約為1%。在捕捉范圍為2.0～3.5 mm時，8種動作的準確率均比0.5～2.0 mm捕捉范圍的識別準確率更低。綜上分析，Kinect體態識別技術的最佳捕捉范圍為2.0～3.5 mm。

研究選取不同身高、體重、性別的試驗人員，人數總計為60人，抽取200次數據結果。人體動作識別準確率統計結果如圖5所示。

圖5 人體動作識別準確率統計結果

圖5中，動作1～動作8分別為原地踏步、后退一步、左臂與肩平齊、右臂與肩平齊、左手朝胸部揮、向上方揮手、向前揮手、手握拳。在采集到的200個樣本中，動作1～動作8的樣本數量分別為24、26、30、30、32、16、24、18，相應的識別準確率分別為95%、93%、93%、92%、97%、91%、93%、80%。從整體來看，左手朝胸部揮動作的識別準確率最高，而手握拳的識別準確率最低。

3 結論

針對目前變電站仿真培訓系統存在體驗感不足、交互性低等現狀，本研究利用虛擬現實技術，提出一種新的沉浸式培訓系統設計方案。該方案利用多通道視頻輸出技術和Kinect體感的交互虛擬技術，構建了一種體驗感和互動性更強的沉浸式仿真培訓系統。對比不同捕捉范圍的識別準確率，確定Kinect體態識別技術的最佳捕捉范圍為2.0～3.5 mm。原地踏步、后退一步、左臂與肩平齊、右臂與肩平齊、左手朝胸部揮、向上方揮手、向前揮手、手握拳的識別準確率分別為96%、94%、94%、93%、98%、92%、94%、81%。200次抽樣數據中，左手朝胸部揮動作和手握拳動作的識別準確率分別是最高和最低的。

通過對原有仿真培訓系統和沉浸式仿真培訓性能的對比分析可知，變電站沉浸式仿真培訓系統的交互多樣性更強、實時性更高、體驗感更強、系統集成開發功能更優。由于現有Kinect體感交互技術在識別虛擬人物轉向方面還存在一些缺陷，因此識別的速度和精度還需要進一步提高。這也是未來需要突破的方向。