基于Jack平臺的虛擬維修仿真及動作捕捉驅動

黃一峰+陸詩楠+吳予忠+王娜+何曦

摘 要：隨著虛擬現實技術的發展，虛擬維修在工業設備保障領域越來越受到重視。該文將基于一款國際上廣泛認可的人機功效評估平臺——Jack平臺，以民用航空器使用環境為背景，進行虛擬維修仿真作業。此處，我們將對航空發動機電子樣機的起動機維護項目進行虛擬仿真，并在此基礎上，輔之動作捕捉設備，頭戴式虛擬現實顯示設備，進行動作捕捉數據的骨骼驅動。

關鍵詞：虛擬維修 Jack平臺 動作捕捉 虛擬現實

中圖分類號：TP39 文獻標識碼：A 文章編號：1674-098X（2017）02（c）-0145-06

Abstract：With the development of virtual reality technology， virtual maintenance in the field of industrial equipment support more and more attention. This article will be based on an internationally recognized human-machine efficiency evaluation platform--Jack， to the civil aircraft environment for the background， the virtual maintenance simulation operations. Here， we will be on the aero engine electronic prototype of the starter maintenance project virtual simulation， and on this basis， supplemented by the motion capture device， head-mounted virtual reality display device， the motion capture data of bone-driven.

Key Words：Virtual maintenance；Jack； Motion Capture；Virtual Reality

從目前航空器等工程機械的發展境況來看，維修成為在研發能力已有保障的前提下，限制工程機械廣泛、高效應用的短板。該類產品的高成本性及整體與部分的緊密聯系性，是對維修性驗證技術的極大需求。因此，文中技術的應用，可減少設計階段的迭代次數，提高維修性。而且，維修手冊的編制也可由該項目的支持更加具有實用性。同時，Jack平臺的開放性，虛擬現實設備的普及化，計算機技術的進步，為該項目的實施提供了可行性。

文章主要從兩個方面進行闡述，第一個是基于Jack平臺的虛擬維修的仿真作業（起動機維護項目的虛擬仿真）；第二個就是輔之動作捕捉設備，通過對穿戴人員的動作采集，實時地傳入計算機并進行數據處理，然后導入Jack平臺中，骨骼綁定驅動平臺中的虛擬人進行運動，并將所見視野再實時傳出來。

1 平臺介紹

該部分主要介紹人機功效評估平臺Jack和動作捕捉設備（Neuron）。

1.1 Jack平臺

JackTM是一個人體建模與仿真以及人機工效評價軟件解決方案，幫助各行業的組織提高產品設計的工效學因素和改進車間的任務。JackTM最初是由賓夕法尼亞大學的人體模型和模擬中心（Center for Human Modeling and Simulation at the University of Pennsylvania） 開發，目前是西門子PLM旗下的軟件解決方案一員。如圖1所示，使用Jack可以：

（1）建立一個虛擬的環境；

（2）創建一個虛擬人；

（3）定義人體形狀和生理參數；

（4）把人加入虛擬環境中；

（5）給虛擬人指派任務；

（6）分析虛擬人體如何執行任務；

（7）對于虛擬人進行工效學評價；

（8）支持多種虛擬現實外設。

1.2 動作捕捉設備（Neuron）

Neuron動捕系統是一款輕便、靈活的高性能動作捕捉系統。這個高度模塊化的系統基于Neuron傳感器：全世界最小的，集成了加速度計、陀螺儀以及磁力計的慣性測量傳感器節點。這套系統的強大之處不僅僅是因為這枚性能優秀的超小型傳感器，還在于Neuron研發團隊對于數據融合、人體動力學和物理法則的深刻理解讓捕捉流暢、自然與低延遲的人體動作成為可能（見圖2）。

2 基于Jack平臺的虛擬仿真

2.1 仿真環境創建

Jack三維仿真環境的創建主要是通過向場景中導入實體來實現的。Jack軟件自身就提供了豐富的實體數據庫，用戶可以直接在實體數據庫中尋找自己需要的實體工具，通過導入實體命令將實體導入指定的環境，并通過移動實體到合適的位置以創建符合用戶需求的三維仿真環境。

2.2 仿真制作工具

Animation和TSB是Jack軟件提供的兩種仿真動畫制作工具，這兩個工具在使用上和輸出上各有自己的優勢和特點。Animation工具可以控制虛擬人的頭部、眼睛、軀干、骨盆、質心、手臂、手、腳的動作，而且各部位的動作可以同時進行，并且指定時間間隔。TSB工具即人物仿真創建工具，與Animation相比，TSB創建任務流程更加方便，TSB工具中包含虛擬人和實體工具的基本運動模型。

2.3 起動機簡介

起動機驅動發動機，用于發動機的起動和運行過程中。它是通過將氣體的壓力能轉變為機械能實現對發動機的驅動。

2.4 維修任務描述

起動機位于發動機的左前部，擁有兩個端口，一個是進氣端，為起動機供氣，驅動起動機工作，另一個端口為輸出端，帶動發動機工作，驅動發動機。在起動機外側的后端下部，安裝有磁堵，在拆起動機前，需要先拆下磁堵，放出起動機殼體中殘存的的滑油（見圖3）。

2.5 起動機拆卸任務分解

該任務由human和human0兩個虛擬人共同完成，為了提高效率，對兩個人的工作進行分工，共同完成任務。

我們將任務分成3個階段：

（1）放泄滑油，human拆下磁堵，human0使用集油盆接滑油。

（2）拆卸起動機與其他部位的連接，human 使用扳手拆下連接卡環，human0用雙手穩定起動機。

（3）拆下起動機，human0拆下起動機并加上堵塞，human為供氣管加上堵塞。

2.6 仿真任務

對于任務的仿真，根據分解的仿真流程，編輯出每一個時間段的工作姿勢，將工作姿勢賦予相應的工作時間，就可以得到一段段的仿真片段，將每個仿真片段進行拼接，得到每個工作階段的仿真動畫，再將各個階段的仿真動畫進行調整拼接，就可以得到一個完整任務的仿真動畫，因為每一段的小片段都可以進行單獨編輯，所以當某些動作姿態不協調或者不合理時，就可以對單個片段進行修改，再進行重新拼接，這樣就可以很大程度上減輕工作量。

在創建仿真動畫的過程中將Animation、TSB和channel交替混合使用，可以減輕工作量，加快進度，并且能提高仿真的精準性和真實性。例如在進行抓取動作時，將抓取動作分為抓取前動作和抓取后動作，抓取前的動作可以使用TSB或Animation工具進行動作設計，在使用TSB工具時可以直接將仿真動畫保存為channel文件或者將仿真動畫轉換為Animation動畫再將其保存成channel文件，即制作完成抓取動作的仿真（見圖4、圖5）。

3 基于Jack平臺的動作捕捉驅動

Jack平臺自身是支持動捕設備的驅動的，但是由于骨骼匹配的問題，使得一些主流的動捕設備或者主流的動作捕捉數據格式并不能原生支持。在此，我們通過自己的算法對獲取的動捕數據進行處理，然后進行導入驅動。

3.1 操作流程

具體操作流程見圖6。

3.2 數據通訊端口的準備工作

3.2.1 動作捕捉設備

首先，要把動作捕捉設備的配套軟件中的數據輸出端口打開，后文會講到具體數據格式的使用，考慮到數據處理的對比和優化，在此選擇全部打開（見圖7）。

3.2.2 Jack平臺的Mocap Communication Port

如圖8所示，我們選用默認的端口號4085即可，然后點擊“Start Server”。

3.3 啟動前準備

系統啟動前還需要對設備連通性檢查、初始姿態的校準，以及Jack虛擬環境中虛擬人的布置和檢查。在這里，主要取決于所采用的動作捕捉設備廠商的要求。在完成啟動前的準備，就可以進行動捕驅動任務了。

3.4 動作捕捉數據的處理

3.4.1 骨骼轉換問題

前文有提到，Jack所采用的骨骼結構和我們現采用的動捕設備的骨骼結構是不一樣的。前者主要是基于賓夕法尼亞人體建模中心所研究出來的人機工程模型，而后者為標準的BVH骨骼模型。

通俗來講，就是Jack骨骼更像是一個人，完全基于人的機理所搭建的一個骨骼模型，其受到一些人體生理功能的約束，比如各軀干、肢體的旋轉和位移角度都是有限制的；而BVH骨骼模型可以看成是一個機器人，并沒有太多的約束限制。

除此之外，兩種骨骼的差別還在于關節點的不同。此處列出骨骼編號對照表（見表1）。

按照此骨骼編號對照表，寫出相應的算法進行數據的處理。

3.4.2 動捕數據的格式

通過一定的實驗，我們發現采用BVH數據流的處理方案累計誤差較大，Jack中的虛擬人關節扭曲較明顯，檢查研究后發現，算法不是主要問題，而在數據流的降噪上可能有一定的欠缺，而這部分屬于動捕設備的內部處理，所以研究后決定，采用中間級數據（Calculation Data）進行處理。

All the data types：

World coordinate displacement：X（X、Y、Z），unit is meter.

World coordinate displacement：V（X、Y、Z），unit is meter per second. World Coordinate modules posture data：Q（W、X、Y、Z）.

Module coordinate accelerated speed：A（X、Y、Z），unit is g.

Module coordinate accelerated speed：M（X、Y、Z），unit is radian per second.

圖9為編寫完成的數據處理及發送軟件。

3.5 Jack平臺中的骨骼驅動

驅動Jack人物模型需要輸入20個關節點的位置和角度坐標。

如表2所示：按順序開啟系統后，我們啟動編寫好的數據處理及發送軟件，然后將處理好的數據發送到Jack平臺中。添加虛擬人，并進行骨骼綁定，然后就可以成功驅動Jack平臺中的虛擬人進行運動了。

骨骼綁定時，打開Motion Capture選項中的Tracking Setup，選取虛擬人Hunman和骨骼數據CaucMan，然后進行骨骼綁定（見圖10、圖11）。

3.6 視野返回目標對象

為了達到虛擬現實的體驗效果，我們需要把被驅動的虛擬人所看到的視野返回到穿戴人員的眼鏡中。此處我們使用Jack平臺中的模擬左右眼視窗的功能，然后對視窗的景深等圖像參數進行一定的調整后，分別發送到目標對象佩戴的眼鏡中，以此達到完整的虛擬維修體驗效果。

4 結語

在項目開展過程中，遇到不少問題。比如無線數據傳輸問題，骨骼點的轉換問題，數據處理帶來的延遲問題，尤其是在中間級數據（Calculated Data）類型的選取和換算問題上，經過反復試驗和優化，最后選取以世界絕對坐標（Global Position）為主的數據進行轉換、計算來獲得最終所需的結果數據。相比于動捕驅動，傳統的虛擬維修仿真從技術難度上講相對要容易一些，但其獨立于動捕驅動的優點在于該作業仿真可以進行維修性評價分析，從未對維修作業決策提供很好的參考。

參考文獻

[1] 王異香.基于虛擬維修仿真的人機工效分析研究[D].南京航空航天大學，2007.

[2] 王海燕.虛擬現實環境下動作分析與人因工效評價方法研究[D].浙江理工大學，2014.

[3] 劉毅，劉佳.維修技術發展綜述[J].計算機輔助設計與圖形學學報，2009（11）：1519-1534.

[4] 陳萌，陳立平.基于人機工效學的人體建模和運動仿真[J].機械科學與技術，2001（4）：597-599.