基于U3D的人物重定位技術

趙崇博 邢世林 馮奕銘 甄潤佳 郭慶

摘? 要：虛擬維修在航空培訓領域被廣泛應用，隨之出現了某單一設備弊端突出等問題。虛擬維修重定位技術的研究是為了解決虛擬維修系統在實際應用中存在的人體模型飄移，靈敏度低，人體動作存在時延等問題所導致的低浸入感的弊端。本次研究將通過結合光學動作捕捉系統和慣性動作捕捉系統兩種不同的動作捕捉技術，同時利用光學高位置定位精度及慣性高轉角測量精度的特點，生成系統而全面可行的低成本、高可靠性多系統融合的混合式解決方案。最終，建立一個虛擬維修場景加以驗證。

關鍵詞：虛擬現實? 慣性傳感器? 運動重定向? 動作捕捉

中圖分類號：TP317 ? ? ? ? ? 文獻標識碼：A 文章編號：1674-098X（2020）07（c）-0004-03

Abstract： Virtual maintenance is widely used in the field of aviation training. The research of virtual maintenance repositioning technology is to solve the disadvantages of low immersion caused by drifting， low sensitivity and delay of human body movement in the practical application of virtual maintenance system. This research will combine the two different motion capture technologies of optical motion capture system and inertial motion capture system， and at the same time make use of the characteristics of optical high position positioning accuracy and inertial high angle measurement accuracy to generate a comprehensive and feasible hybrid solution with low cost and high reliability of multi-system fusion. Finally， a virtual maintenance scenario is established for verification.

Key Words： Virtual reality;Inertial sensor;Motion redirection;Motion capture

虛擬現實技術 （VR技術） 是模擬人在自然環境中的視、聽、觸等人類感官，將現實中的各類感覺高度還原。目前，作為體感交互主流的慣捕系統（下文簡稱“慣捕”），基于人體工程學各部位的六自由度信息捕獲，實時展現人體運動姿態。此系統不易受外部環境影響，性價比高，但飄移誤差較大，靈敏度低。而VR技術主要應用的光捕系統（下文簡稱“光捕”）在靈敏度，漂移誤差，動作時延等方面都要優于慣捕系統，但也存在易受場地環境影響的問題。此次研究將兩項技術結合使用，實現更好的VR浸入式體驗。

1? 實驗系統總體框架

VR技術綜合了多種先進的技術，能夠為人們創造一個仿真的虛擬環境， 帶給使用者高度的真實感和沉浸感[1-2]。本系統采用3dsMAX為虛擬場景和三維模型的建模工具，以Unity3D虛擬仿真軟件作為虛擬現實開發引擎，Perception Neuron體感設備作為捕捉用戶動作信息的采集器，Microsoft Visual Studio2018為程序開發整合平臺，HTC vive作為用戶浸入體驗窗口和用戶頭部轉角信息采集器，開發了基于U3D的人物重定位虛擬仿真系統。通過建模、虛擬環境建模、動捕數據與虛擬人物骨骼的綁定、光捕對慣捕的綁定和算法優化4個階段完成[3]。有效避免光捕受信號遮擋造成數據間斷以及運動捕捉系統在實時驅動過程中受到外界干擾會產生噪聲數據所帶來的影響[4]。

2? 虛擬現實中人物重定位的三維建模

2.1 人物建模

在3dsMAX三維建模軟件中進行對人物模型的構建，為虛擬維修場景提供代替操作者的角色。相比于Perception Neuron工程包本身自帶的機器人，更具有真實性。構建多邊形立體或多邊形平面，通過指令調節物體形狀以及比例關系。在接近人體形狀的條件下，盡量做到模型線條的均勻，減少分叉。為后期骨骼的綁定以及模型的渲染做準備。

2.2 虛擬人物模型的骨骼建模及綁定

在3dsMAX軟件的控制面板中創建基本人物骨架，然后調整骨架的比例關系使其更加接近人體骨架。比較Neuron的骨骼結構，在控制面板中對身體各個結構的關節數進行增刪，使其與Neuron動捕數據相匹配。然后進行蒙皮操作，通過調整骨架的大小，反復操作確保其各個關節完全匹配。

2.3 維修廠虛擬場景的三維建模

基于Unity3D的游戲開發平臺，并以自身對于民用航空發動機工程的認識為基礎，仿造cfm56-7發動機，利用CATIA三維建模軟件構建航空發動機模型。并給予其合適的貼圖、渲染以及比例關系，從而提高發動機模型整體的逼真度。利用3dsMAX三維建模軟件對廠房以及飛機駕駛艙進行構建。注意模型的類型應與Unity3D兼容。按照實際大修廠房內部的布局，將模型（如大修廠房、飛機、維修工具箱、梯子、貨架等）導入Unity3D工程的場景中進行擺放。

3? 光捕校準慣捕的具體實施方案

3.1 原理及優缺點

HTC光捕定位原理：

由兩個形成對角的定位基站，其中每個基站中都有可以繞兩個軸旋轉的紅外發射器陣列，兩個轉軸以10ms的相位差交替工作，發射紅外線掃描空間。HTC光捕頭盔和定位器中有大量的紅外線接收器。基站閃光后重置所有設備的時間，通過設備中各個紅外線接收器接受信號的時間來解算位置信息。

光捕定位的優點是解算效率高，由于紅外發射器激光掃描空間周期很短，所以誤差很小。缺點是需要使用空間比較空曠，如果障礙物多，會影響光信號傳播，則需加裝多個基站。

慣捕定位原理：

慣捕設備利用的是慣性陀螺儀的原理，各根節點分別直接測取轉角（rotation）信息，根據轉角變化率 得到加速度，進而積分得到速度和位置（position）信息。因為位置信息是通過積分得出的，所以存在系統積累的誤差，這個誤差會隨使用時間的增長而增加。但由于慣性定位使用陀螺儀工作，所以對工作環境的要求不如光學定位苛刻。

在慣捕的全身定位中，依據根節點的位置，建立相對極坐標系，根據末端節點的陀螺儀，計算末端節點相對于根節點的相對角度。將肢體每段的長度給予固定值，即末端節點相對于根節點（hip）的相對距離;進而推算出根節點的空間位置坐標。總之，整個人體骨架是一個以ROOT（hip）為根的樹，每個骨架節點都有一個以自己為坐標原點的局部坐標系[5]。

運動捕捉利用傳感器采集到的真人運動數據驅動和控制虛擬人，效果逼真， 能生成許多復雜運動。但其不足之處是：虛擬人與真人外形和身高不匹配;真人運動受傳感器和電纜限制;放置在皮膚和衣服上的標志及傳感器的移動會影響數據的準確性等，這些都會導致虛擬人產生不自然的動作[6]。

3.2 虛擬與現實間對象映射

在實現光捕校準慣捕之前，需要具體了解現實中HTC光捕頭盔、HTC光捕定位器、光捕定位基站、諾亦騰慣捕穿戴設備在unity工程中對應的虛擬對象。諾亦騰動捕設備的每個慣性傳感器都叫做“Neuron（神經元）”，負責測量位置數據、旋轉方向和加速度數據，測量到的數據流會被傳輸到Hub主節點中進行處理，然后連接到電腦端Axis Neuron動作捕捉軟件中。經處理的浮點型二進制數的骨骼節點數據將會以BVH數據幀的方式在當地網絡上進行廣播。

unity工程中用steamVR資源包提供的camera對象讀取HTC光捕頭盔返回的位置坐標和相對轉角。諾亦騰資源包中的robot對象的根節點反映了其他各個節點相對根節點的轉角和根節點本身的相對位置坐標。由于慣捕的位置坐標會隨時間“漂移”（位置的積累誤差），但各個子節點相對根節點的相對轉角隨時間不會有“漂移”。所以整體構思是，把光學捕捉的位置坐標返回值賦給工程中諾亦騰慣捕robot的根節點而保留諾亦騰robot各個子節點和根節點的相對轉角。

3.3 實施方案

首先，根據慣捕“定位精度差，轉角精度高”的特點，保留全部節點的轉角信息，去掉根節點的位置信息。我們編寫follow腳本，將操作人腰間佩戴的光捕定位器的位置坐標賦值給諾亦騰robot的根節點。這樣就消除了慣捕帶來的漂移誤差。

其次，由于需要HTC的光捕頭盔和諾亦騰慣捕穿戴設備結合，如果將諾亦騰robot頭部和光捕camera直接綁定，同時讀取光捕頭盔的位置坐標和諾亦騰robot的根節點位置坐標（由光捕定位器提供），會造成“身首異處”的現象，這是由于頭和身體同時定位會打破robot整體的相對位置關系。所以我們提出一個解決方案：通過屏蔽HTC的位置移動腳本midden腳本使其跟隨robot頭部移動。再屏蔽諾亦騰頭部模型的轉角腳本，改用follow腳本使其轉角跟隨HTC頭盔。這樣不但使HTC光捕頭盔能正常使用，而且還保證了工程中人物模型的完整性。最終達到整體上光捕校準慣捕的目的。

3.4 項目成果和具體效果

在完成基礎步驟和優化方案后，操作人可以在頭戴設備中，看到自己的全身模型，并且長時間使用設備也不會使人物模型的位置發生漂移。在此基礎上，可以有效地完成虛擬維修教學的任務。

4? 結語

基于虛擬維修中人物重定位技術，針對工業領域虛擬仿真實驗室中人物的視覺與現實的偏差進行研究，使得光學動作捕捉系統和慣性動作捕捉系統在U3D這個強大開源兼容的底層系統中得到融合，將多組設備二次開發，突出各自優勢。解決了在單一技術中出現的漂移誤差較大，靈敏度低等問題，同時又能解決用戶體驗感差，眩暈感強烈的問題。從而在使用過程中能夠達到更好的沉浸效果。該技術的突破了原有的單一設備的局限性，使得虛擬仿真技術更加成熟，仿真效果得到提升。

參考文獻

[1] 劉敏.渦扇發動機控制系統故障診斷與容錯控制研究[D].大連：大連理工大學，2019.

[2] 楊姣.基于Unity3D的航空發動機虛擬現實設計與研究[D].成都：西華大學，2018.

[3] 吳予忠，張渝舜，趙新宇，等.基于Unity3D的航空發動機虛擬維修仿真系統的開發[J].科技創新導報，2018，15（10）：15-16.

[4] 劉闖.七自由度上肢外骨骼機械臂的控制策略研究[D].北京：北京郵電大學，2019.

[5] 王玉琦.空間雙臂機器人捕獲自旋目標的協調操作柔順控制研究[D].北京：北京郵電大學，2019.

[6] 于富洋.裝備虛擬維修過程建模和仿真研究及應用[D].北京：北京理工大學，2016.