視景仿真中虛擬手的人機交互技術研究

韓睿

摘 要：隨著社會的快速發展，各種新型科技不斷涌現，虛擬現實技術誕生。視景仿真技術是虛擬現實技術的重要組成部分，也是虛擬現實的重要手段。它可以通過計算機虛擬現實環境，給人多種感官反饋，讓人不受時間與空間的約束，自由體驗。它以仿真為最終目的，通過計算機生成虛擬圖像，形成逼真的三維世界，并仿真人的視覺與聽覺等感官。目前，視景仿真技術已經成功應用于諸多領域，如娛樂游戲、醫療、軍事、模擬訓練等。因此，本文重點研究了視景仿真中虛擬手的人機交互技術。

關鍵詞：視景仿真;虛擬手;人機交互技術

中圖分類號：TP391.9文獻標識碼：A文章編號：1003-5168（2020）17-0016-03

Research on Human-computer Interaction Technology of Virtual Hand in Visual Simulation

HAN Rui

（Nanjing Vocational Institute of Transport Technollogy，Nanjing Jiangsu 211188）

Abstract： With the rapid development of society， various new technologies are emerging， and virtual reality technology is born. Visual simulation technology is an important part of virtual reality technology and an important means of virtual reality. It can give people a variety of sensory feedback through the computer virtual reality environment， allowing people to experience freely without the constraints of time and space. It takes simulation as the ultimate goal， generates virtual images through the computer to form a realistic three-dimensional world， and simulates human senses such as vision and hearing. At present， visual simulation technology has been successfully applied in many fields， such as entertainment games， medical， military， simulation training and so on. Therefore， this paper focused on the human-computer interaction technology of virtual hands in visual simulation.

Keywords： visual simulation;virtual hand;human-computer interaction technology

虛擬手是虛擬現實技術的重要組成部分，也是虛擬現實技術在人機交互中的具體應用手段。對虛擬手進行深入研究，可以有效地促進虛擬現實技術的快速發展。本文研究了視景仿真中虛擬手的人機交互技術，以虛擬手作為切入點，基于C++與Vega的仿真視景環境，將虛擬手作為虛擬環境中人手的替代物，把現實中人手的操作信息與指令信息傳遞到虛擬場景中，使得虛擬手可以做到與人相同的操作，進行實時的交互操作。這種方法可以使得用戶具有較大的真實感和沉浸感。

1 發展現狀

1.1 視景仿真技術的發展現狀

視景仿真技術就是讓用戶在真實的世界中與計算機所建立的三維模型進行可控制的交互操作，同時在三維模型中進行交互或漫游，感受在真實世界中難以獲得的各種體驗，它成功實現了三維空間信息的可視化。信息合成技術、多媒體技術、計算機技術等諸多高新技術的綜合運用實現了視景仿真，交互性、真實性與沉浸性是視景仿真技術的三大鮮明特征。

美國是視景仿真技術的誕生地，20世紀60年代，美國發布了一項名為“傳感仿真器”的自主發明，它是第一個可以通過虛擬環境進行現實仿真的設備，成為視景仿真技術的雛形。隨著科技的迅速發展，視景仿真軟件與硬件應運而生，許多實用、新穎的設備持續輸入市場，人機交互系統不斷創新，使得視景仿真技術獲得極大的進步。

視景仿真技術可以促進諸多行業發展，起初用于軍事，目前其已經滲透到醫療衛生、維修、游戲以及操作訓練等領域。隨著虛擬現實技術的不斷發展，其必將擁有更為廣闊的發展空間。

1.2 虛擬手交互技術發展現狀

虛擬手成功地提高了交互的可操作性，強調通過人手與虛擬環境進行交互，通過相應設備進行實時控制，用戶可以通過手直接探索虛擬環境或者操作虛擬環境中的物品。其間，虛擬手的交互便利性與精準性都時刻影響著用戶的真實體驗。虛擬手的交互涉及技術范圍較廣，如建模技術、位置跟蹤技術、手勢動作采集技術等。隨著科技的日益發展，虛擬手在制造、娛樂、實驗等領域必將擁有一片屬于自己的天地。

2 虛擬手人機交互系統

2.1 虛擬手交互模型

想要進行虛擬手人工交互分析，人們就必須首先建立用戶與計算機交互模型，以便更好地理解較為復雜的交互行為。在虛擬手交互過程中，最少有兩個參與者，即系統與用戶。所以，人機界面要在兩者之間準確且快速地進行翻譯，使得人機交互成功。人機界面包括輸入與輸出設備，作為人與計算機交互的媒介。

在用戶與虛擬手交互的過程中，首先用戶需要輸入動作信息，然后計算機通過人機界面翻譯的計算機執行語言來操作虛擬手，同時通過輸出語言將虛擬手的操作過程顯示給用戶，最后用戶根據虛擬手動作進行交互操作評價，確定系統是否達到預期的交互目標。

2.2 虛擬手交互運動控制系統

虛擬手何時開始或停止動作都是由用戶在整個交互過程中進行控制的。當然，相對于整個系統進程而言，并不是所有系統進程都由用戶來進行操作控制，用戶主要操作是對計算機無法確定的步驟進行控制，而對于那些可以確定的操作，可通過計算機來完成。

系統交互后，用戶反饋主要由系統反饋控制系統來完成，用戶實時參與控制仿真系統的運行，主要任務是進行操作、明確操作目標與流程，發出相應的任務指令，根據系統回饋給用戶的視覺等信息，調整自身動作。這就是反饋控制系統在整個控制仿真系統中的表達方式。

用戶通過對虛擬手進行控制，可以時刻掌握系統當前的狀態，根據預期的任務進行虛擬手操作，輸出信號后反饋到輸入端進行對比，最后參考與修正過去的偏差來預測未來走勢，有效控制整個系統的進程，得到最高質量的交互結果。

3 虛擬手交互操作技術

通過虛擬手進行交互操作，用戶可以控制虛擬場景的物體，獲得較強的沉浸感。人們要深入研究虛擬手交互技術，了解虛擬手操作虛擬物體的流程。

3.1 虛擬手操作的交互任務

3.1.1 行進。行進是通過用戶與目標的交互完成的。常見方法有沿路徑移動、牽引移動、用戶身體移動和場景移動等。每種方法都可以采用多種交互技術來完成。其中，沿路徑移動是指用戶預先設定好路線進行移動，可以轉換視角，但是不能離開預先設定的路線;相比沿路徑移動，牽引移動受到的限制要小，用戶體驗是好像自己被牽著在虛擬環境中移動，速度由拖拽體決定而不是用戶自身;場景移動是指用戶無法移動，但是可以靈活操控自己的視角，場景圍繞用戶移動而不是用戶在虛擬場景中移動。

3.1.2 選擇與操控。虛擬交互系統遵循先選擇后操控的規律，兩種操作經常成對出現。當開始操作包含選擇操作時，選擇與操控就可以同時進行。任務結構劃分為選擇、操作與釋放，人們可以清晰了解選擇與操控的流程[1]。

3.2 碰撞檢測及碰撞響應

碰撞檢測是利用虛擬手操作與移動虛擬世界中物品的重要前提。為了提高用戶的沉浸效果，保持視景環境的真實性，人們需要對碰撞進行及時檢測，計算碰撞后發生的反應，及時更新結果，否則會出現穿透模型的情況，影響客戶體驗。例如，當用戶在虛擬環境中伸手拿一個杯子時，系統要先檢測到虛擬手與杯子之間發生碰撞接觸，然后才可以將杯子拿起來。其間需要解決兩個問題，一是要檢測到碰撞的發生和碰撞發生的位置，二是要明確發生碰撞后的進一步反應。碰撞反應計算依賴碰撞檢測系統，所以碰撞檢測系統在虛擬環境中是必不可少的存在。

3.2.1 碰撞檢測。碰撞檢測系統根據場景內各個模型之間是否在某一時刻發生干涉，判斷是否發生碰撞反應。從幾何角度來看，碰撞檢測可以分為二維平面檢測和三維空間檢測，二維平面檢測比較簡單，已經擁有成熟的檢測算法，而三維空間檢測要復雜得多。虛擬仿真系統主要需要解決碰撞試驗精準性與實時性的矛盾[2]。

3.2.2 碰撞反應。碰撞場合比較依賴虛擬環境中的具體場景，根據場景不同，進行不同的反應，其與碰撞檢測緊密相連，主要任務是調節經歷碰撞后的對象所對應的行為。與物理引擎相比，Vega的碰撞檢測功能有很大的不同，Vega只能檢測是否發生碰撞，而碰撞后該怎么辦、物品會發生何種變化完全依靠編寫的程序來完成。物理引擎不僅可以檢測碰撞，還可以負責檢測到碰撞后發生的一系列后果。

在虛擬手移動物體的過程中，虛擬手與物體發生碰撞并被檢測到后，該物品就自動被定義為虛擬手的子對象，固化物品與虛擬手的相對坐標，使得物品與虛擬手的坐標相對距離不發生改變。這樣一來，用戶就能利用虛擬手抓住物體并進行移動操作，達到虛擬交互操作的目的。

3.3 虛擬手對虛擬物體的操作

在日常生活中，人操作物品的方式有很多，如托舉、抓握等，這些操作與物體的形狀、大小、質量等有著密切的關聯。人手是存在彈性的，在與物體發生接觸后會產生形變，具體的變形狀態與物體的形狀、質量等有關，不同物體產生的形狀均不同。本文只研究虛擬手對物品的抓握動作，認為虛擬手與物體均為剛體。虛擬手的操作過程分為四個步驟。

3.3.1 操作虛擬手靠近虛擬物體。用戶通過位置跟蹤器所提供的虛擬手，捕捉現實中人手的位置，利用虛擬手靠近操作目標。

3.3.2 操作虛擬手準備移動虛擬物體。數據手套可以檢測人手各個手指的數據，在虛擬手向物品靠近的過程中，調整各個手勢關節的彎曲與收展程度，改變虛擬手的形態，最終形成一個抓握的形態。

3.3.3 使用虛擬手操作物體。經過之前的兩個步驟，已經調整好姿勢與位置，使虛擬手環繞在虛擬物品的表面。緩慢調整虛擬手的位置，使得虛擬手與虛擬物體發生碰撞，如未發生碰撞，則需要繼續調整位置，直到發生碰撞。然后，檢測當前情況是否滿足抓取條件，如果能夠滿足抓取條件，則集訓進行抓取操作，如未滿足抓取條件，則可以繼續調整虛擬手的位置及姿態，直到滿足為止。

3.3.4 操作虛擬手進行物品的移動或旋轉。一旦虛擬手確定具備抓取條件，進行抓取，則系統自動固化虛擬手與虛擬物品的坐標系，將兩者數據結構融為一體，將虛擬物品作為虛擬手的子節點，跟隨虛擬手進行共同移動與旋轉操作。在進行移動操作時，用戶在現實空間中應盡量保持手的姿態不發生任何改變，以免影響抓握手勢而改變虛擬手操作[3]。

3.3.5 操作虛擬手釋放虛擬物品。完成虛擬手對物品的移動操作后，要將虛擬物品放置在一個位置，通過調整數據手套和虛擬手動作，使其不滿足抓取手勢，這樣兩者之間的坐標固化關系隨之解除，虛擬物品不再跟隨虛擬手移動，這時虛擬手也就成功釋放虛擬物品。

4 結語

人手作為人機交互過程中最為靈敏的器官之一，通過手勢進行人機交互，極大地提高了交互的逼真性與自然性。虛擬手作為人機交互的重要組成部分，也是虛擬現實技術在交互系統中的具體應用方式之一，對于虛擬現實技術的日后發展有極其重要的意義。

參考文獻：

[1]王曉媛，田浩，王長波.虛擬手自然抓取動作生成研究[J].計算機輔助設計與圖形學學報，2020（3）：1-8.

[2]耿宏，文飛.面向機務虛擬維修訓練的虛擬手操作設計[J].計算機工程與科學，2019（7）：1279-1284.

[3]姚壽文，胡子然，王瑀，等.面向虛擬維修的多點碰撞虛擬手研究[J].重慶理工大學學報（自然科學），2019（6）：45-52.