沉浸式虛擬環境在水電仿真培訓系統中的應用研究

張衛君，邱 洋，薛 飛

（北京中水科水電科技開發有限公司，北京100038）

0 引言

隨著仿真建模技術、虛擬現實技術、網絡技術、仿真支撐平臺技術的發展，水電仿真技術也在不斷進步并廣泛應用到水電技術人員培訓考核鑒定與仿真研究中[1-3]。水電仿真培訓技術的發展經歷了基于實物模型的仿真系統、仿真機+盤臺設備仿真系統、全數字仿真培訓系統3個不同階段，當前，隨著沉浸式虛擬現實技術的飛速發展，水電仿真培訓已進入到沉浸式三維虛擬現實仿真培訓技術階段。將虛擬現實技術應用于水電仿真培訓，利用計算機模擬產生一個三維空間的虛擬水電廠，提供受訓學員關于電廠空間、環境特效、作業操作、設備控制等的模擬，讓學員如同身臨其境一般，提高培訓的生動性、真實性、有效性[4]。

虛擬現實技術涵蓋了桌面VR、沉浸式VR及增強現實（AR）。本文研究內容是在OTS2000虛擬現實水電仿真培訓系統研究及成功應用的基礎上，將多通道投影技術、基于MEMS傳感器的人體動作捕捉及虛擬人驅動技術、虛擬現實引擎技術應用到水電仿真培訓中，構建一套沉浸式水電站虛擬環境，即沉浸式VR技術在OTS2000系統中的應用研究。通過創造個性化的虛擬培訓環境及VR的交互式學習培訓方式，可以實現趣味性與挑戰性并存的境界，參與者可完全投入其中。

1 沉浸式環境硬件配置

沉浸式水電廠運行仿真培訓系統硬件結構配置如圖1，由立體弧形幕、3通道三維投影儀、穿戴式人體動作捕捉設備、3 D立體眼鏡、圖形工作站、信號采集工作站和交換機組成。

圖1 硬件系統配置

圖形工作站運行虛擬現實引擎，生成三維立體場景信號，經融合軟件進行邊緣融合、曲面校正后，由圖形卡同步輸出3路視頻信號給投影儀，投射至大型立體弧形幕中。立體視頻輸出信號由虛擬現實引擎控制左右眼視角信號實現，參與者通過佩戴快閃式立體3 D眼鏡，沉浸在高度逼真的水電站場景中，體驗水電站水機、電氣設備的正常、異常、事故狀態及其動作過程，進行設備虛擬巡視、檢查、漫游、操作及事故處理。

采用基于MEMS的慣性運動捕捉系統，實現人體運動數據采集。動捕節點利用9軸運動傳感器進行姿態計算，計算出的數據通過無線通信方式傳送給數據采集板，數據采集板與主機之間通過串口方式連接。通過實時捕捉和樣本識別來驅動虛擬人與虛擬場景的互動，參與人員通過虛擬人與虛擬的設備及場景的交互，還需要進行精確碰撞檢測并結合手勢判斷來實現。

2 系統體系結構

沉浸式虛擬現實平臺仿真功能實現基于OTS2000仿真系統，虛擬現實平臺負責三維場景管理與顯示、三維交互、沉浸式交互設備接口，并與OTS2000系統的一體化接口實現互聯與互操作。Simu3D虛擬現實平臺體系結構圖如圖2所示[4]。

圖2 Simu3D虛擬現實平臺體系結構圖

3 關鍵技術研究

3.1 虛擬人的行為仿真

虛擬人行為仿真包括虛擬人體模型的構建、人的動作過程仿真、語言交流和面部表情等的仿真。在水電運行虛擬環境中的虛擬人行為主要有巡視行為和操作行為，巡視行為如站立、行走、蹲下等，操作行為如閥門、按鈕、把手、開關等操作。利用運動捕捉系統獲取的實訓人員軌跡數據，對虛擬人相應關節進行驅動，通過對虛擬人關節的動作控制實現虛擬人動作，從而實現實訓人員在虛擬水電運行場景中的各種運動及操作模擬（圖3）。

3.2 水電運行場景中的人體動作識別

沉浸式水電站場景中的人體動作識別包括人體靜態姿勢識別和人體動作序列識別。運動捕捉系統實時采集各關節點運動數據，根據采集到的數據對肢體動作進行識別，如手部運動主要是指左右手的向左向右揮動、向前伸出、向上舉起等。我們通過這些手勢動作來和應用程序進行交互，比如完成旋轉、點擊、調取菜單、確認等，識別流程如圖4所示。

圖3 虛擬人行為仿真

圖4 人體動作識別流程

在水電運行場景中，動作大都是手臂和腿的運動，因此將手臂和腿作為特征提取的主要關節。根據手臂的坐標、歐拉角和腿的歐拉角判斷出動作所屬區域，將樣本進行分層訓練。根據人體骨骼特征提取出上身關節對應的4維骨骼特征數據和6個關節在全局坐標系下的三維坐標值以及4組歐拉角，一共使用34個特征描述人體關節的運動信息，采用主成分分析法對數據降維，求解特征值和特征向量。

3.3 水電運行操作動作的語義映射

在沉浸式水電運行仿真系統中，通過運動捕捉系統獲取的低延遲、高精確度的關節運動數據，需要經過動作識別，辨識為水電運行現場工作中的巡視、操作、驗電、設置圍欄、掛牌等操作。典型人體動作庫中包含幾百種人體動作，為了提高人機交互的實時性，我們不需要辨識全部的人體動作，而是選取典型操作定義一組人體交互的語義，辨識這些語義對應的動作即可。我們預先定義沉浸式虛擬環境中的各種操作模式下的語義動作如下頁表1。

我們通過設計一種支持優先級混合的動作編排方法，能使虛擬人的動作控制更加靈活。多個動作同時發生時，設定每個動作權重來控制關鍵幀動畫變形系數，以實現不同優先級動作的同時渲染。在層次化骨骼建模方法的基礎上，建立動作關節點和骨骼模型相對應的肢體關聯關系，設定關節的變形權重，通過對發生位移的關節點位置進行加權求和，從而計算出多個動作發生時關節點的新位置，實現多個動作的關鍵幀同時變形的效果。

表1 虛擬人動作語義表

4 結束語

沉浸式虛擬環境水電仿真培訓系統是在OTS2000三維虛擬現實仿真培訓系統基礎上增加多通道三維立體投影系統和人體動作捕捉設備，使受訓者能完全置身于一個虛擬化的水電運行環境之中并與之交互，讓學員如同身臨其境一般，提高培訓的生動性、真實性、有效性。

本文研究的沉浸式虛擬平臺已成功開發并應用于中國水科院自動化仿真實驗室虛擬現實項目建設，其關鍵技術的研究成果和設備配置可推廣應用于水電仿真培訓建設項目中。