虛擬現實系統中人機交互技術研究

摘要：本文論述了虛擬現實訓練系統中基于手勢的人機交互，結合使用數據手套和位置跟蹤設備，確定現實世界中手的姿勢和位置，驅動虛擬手實施交互操作。組合神經網絡和邏輯，分別識別靜態手勢和動態命令，建立針對性的操作命令。

關鍵詞：虛擬現實;訓練系統;基于手勢;人機交互

本文研究了虛擬現實訓練系統中基于手勢的人機交互，將交互的主要過程表現出來。利用位置跟蹤數據，驅動虛擬手在虛擬空間進行運動，利用神經網絡確定具體的手勢，受訓者獲取操作命令之后，利用人機交互技術，可以順利操縱虛擬訓練環境，可以獲得良好的訓練。

1.虛擬現實訓練系統中基于手勢的人機交互和配置

虛擬現實訓練系統中基于手勢的人機交互，利用人的手勢發送計算機指令，可以實現虛擬環境交互。設置位置跟蹤器，利用發射裝置實時跟東接收器的位置變化，接收器和發射裝置要相距8英尺。利用立體頭盔顯示器，其中包括一套光學系統和兩個液晶顯示器，交替切換計算機的圖像，并且向雙眼傳遞，立體現實虛擬世界。利用機械方法，首先在頭部固定頭盔顯示器，其次固定置跟蹤器的接收器，確定頭部位置是否發生變化，以此為基礎更改虛擬場景，提高虛擬場景和實際場景的一致性。

數據手套當中包括18傳感器，不同的傳感器復雜不同的部位，每個傳感器都發揮著重要的作用。通過18個傳感器可以確定手的姿勢，在數據手套上設置跟蹤器，負責測量手的空間位置。

2.虛擬現實訓練系統中基于手勢的人機交互的過程和技術

2.1交互過程

在虛擬現實訓練系統當中，利用基于基于手勢的人機交互需要有效落實相關步驟，首先要求受訓者將手套固定好，根據不同的受訓者特點，進一步調整手套的相關數據，標準化處理數據手段討的傳感器，這樣有利于精確控制虛擬手。虛擬手工作過程中，需要發揮手套傳感器的作用，操作模型的手指和手掌等部位驅動虛擬手運動，利用位置跟蹤器，確定虛擬空間中虛擬手的位置，這樣可以協調受訓者現實手和虛擬動作。通過手勢識別，可以確定受訓者的手勢，這樣有利于明確受訓者的操作目的，建立操作指令。當正確的識別手勢之后，可以操作虛擬物體和部件，在虛擬環境當中設置三維手模型，結合虛擬操作訓練要求定義手勢，確定手勢命令。

2.2建模

實施虛擬訓練，需要建設虛擬空間的三維虛擬手模型。在建模過程中，可以分解手為手掌和手指兩個部分，再分解手指為指段，其中大拇指為兩段，其他手指為三段。每個部位利用不同的幾何體表示，如果需要改變具體手勢，就要改變數據手套的手指和關節，完成運動動作。要注意的是，虛擬手套手指段的操作并不是隨意的，需要始終圍繞關節點運動，因此需要約束各個手指的空間。結合運動約束條件，建立數據手套指段的坐標系，需要在一定程度上限制指段的運動，控制器自由度，這樣可以保障整體運動效果。

2.3校正數據手套

在出廠之前需要校準數據手套，在校準過程中，需要確定數據手套的動態范圍，計算傳感器的動態范圍和最大值和最小值。不同傳感器的動態范圍都是不同的，再加上每個受訓者的手也是不同的，因此需要轉化傳感器的原始數據，確定各個手指的彎曲角度和相鄰手指的張幅。受訓者戴上數據手套之后，需要調整手套的數據，提高傳感器輸出值的準確性，控制虛擬手的屈伸和張開等動作。在校正數據手套的過程中，根據不同的受訓者，確定不同的手勢運動范圍，具體到手指的彎曲角度，實現傳感器動態范圍的規格化，提升虛擬手驅動過程的精確性。

2.4驅動虛擬手

驅動虛擬手，主要是利用手部位置跟蹤器和各個傳感器，操作虛擬手運動，在運動過程中，虛擬手姿勢和用戶手姿勢要始終保持一致。通過控制數據手套的傳感器，實現虛擬手各個手指的屈伸和手掌傾斜，利用位置跟蹤數據控制虛擬手的空間位置。結合手模型的結構和約束條件，手指運動都是圍繞手掌進行運動的，通過手掌帶動其他手指進行運動，如果手掌不動，利用手掌的平移和旋轉，手指也隨隨之發生運動。結合數據手套各個傳感器的數據，可以實時改變收支的去審核手掌彎曲等，保證虛擬手姿勢和訓練人員的姿勢保持一致性。

虛擬場景主要是利用六自由度，利用位置跟蹤器可以確定實體的六自由度位置，在數據手套上固定位置跟蹤器的接收器，確定訓練人員手的六自由度空間位置，在虛擬空間中映射此位置，這樣有利于靈活改變虛擬手的位置，如果訓練人員位置發生改變，那么虛擬手也會隨之發生改變。

要想識別手勢，需要轉變空間手勢為計算機執行，這樣有利于確定用戶的手勢，確定用戶手勢意圖，建立針對性的操作命令。受訓者戴上數據手套之后，完成相應的動作，數據手套的傳感器可以傳送不同的數據，計算機通過數據數據映射，確定手勢。

2.5交互事件的研究

在以往的交互中，參與性不強，通過虛擬現實技術在通過交互探索方案的構建，可更好的選擇場景設備進行交互，以保證交互檢驗的合理性，全面提升交互時間處理的有效性，各系統交互事件的項目研究提供參考。通常狀況下，在交互事件項目確定中，具體的檢測方法包括：第一，人員作業設備的交互事件。通過接觸物體操作，應該保證動作以及實際情況的適應性，展現各個設備部件以及交互的核心價值。第二，在操作人員抓取物體交互事件的監測中，應該通過物體添加throwable腳本進行數據的選擇。第三，在腳本迫使Unity強制增加的狀況下，應該保證各個執行腳本組件的科學性，避免編譯錯誤現象的發生。

例如，在數據編譯中，編譯過程如下：

[Require Component（typeof（Interactable））]

[Require Component （typeof（Rigidbody）]

[Require Component （typeof（Velocity Estimator））

3.結束語

在虛擬操作當中，動態手勢占據不可代替的地位，但是當前動態手勢技術還不夠完善，還無法準別識別復雜的動態手勢，通過本文論述虛擬現實訓練系統中基于手勢的人機交互，對于相關研究提供理論基礎，在今后發展過程中，需要加強研究，提高基于手勢的人機交互技術的發展水平。

參考文獻：

[1]朱柳梅，于佳佳，李青.康復訓練虛擬現實系統在乳腺癌患者術后康復鍛煉中的應用[J].齊魯護理雜志，2019，25（18）：99-102.

[2]楊杏萍，陳卓銘，高照.基于守門員虛擬現實游戲的腦卒中后上肢運動訓練系統的應用設計[J].康復學報，2019，29（04）：61-66+78.

[3]李力，唐昊霞.基于虛擬現實技術的產鉗操作模擬訓練系統的研究和設計[J].科技與創新，2019（07）：146-148.

作者簡介：

方浩（1976-），男，本科， 工程師，主要從事電力信息化管理及配網自動化管理工作。

（貴州電網有限責任公司貴陽供電局，貴州 貴陽 550000）