基于無線慣性傳感器的人體動作捕捉系統(tǒng)

張洪超 史衛(wèi)亞 趙建偉

摘要：動作捕捉是一種記錄或描繪人體及其他物體動作的技術(shù)，廣泛應(yīng)用于各個領(lǐng)域，包括影視游戲作品創(chuàng)作、體育動作分析、醫(yī)療康復(fù)等領(lǐng)域。本文使用九軸慣性傳感器，測量表演者的運(yùn)動加速度、方位、傾斜角等參數(shù)，然后使用數(shù)據(jù)融合算法生成四元數(shù)，并計算慣性傳感節(jié)點(diǎn)在空間中的三維動作信息，并使用Zigbee無線協(xié)議將采集的數(shù)據(jù)發(fā)到計算機(jī)端。最后將四元數(shù)與3D虛擬人體的骨骼綁定后實(shí)現(xiàn)人體動作捕捉。人體動作捕捉系統(tǒng)實(shí)現(xiàn)了基于慣性傳感器節(jié)點(diǎn)對人體動作數(shù)據(jù)的采集、數(shù)據(jù)融合以及數(shù)據(jù)傳輸，最終在虛擬人體模型上實(shí)時呈現(xiàn)的過程。

關(guān)鍵詞：慣性傳感器；動作捕捉；Zigbee網(wǎng)絡(luò)；實(shí)時動畫；人體模型

中圖分類號：P315.69 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2019）05-0257-04

Human Motion Capture System based on Wireless Inertial Sensor

ZHANG Hong-chao， SHI Wei-ya， ZHAO Jian-wei

（College of Information Science and Engineering， Henan University of Technology， Zhengzhou 410001， China）

Abstract： Motion capture is a technique for recording or depicting the movements of the human body and other objects. It is widely used in various fields， including film and television game creation， sports action analysis， and medical rehabilitation. This paper uses a nine-axis inertial sensor to measure the motion acceleration， azimuth， tilt angle and other parameters of the performer. Then use the data fusion algorithm to generate the quaternion， then calculate the three-dimensional motion information of the inertial sensing node in space and send the collected data to the computer using the Zigbee wireless protocol. Finally， the quaternion is bound to the skeleton of the 3D virtual character to realize the human body motion capture. The human motion capture system realizes the process of real-time rendering on the virtual human body model based on the acquisition， data fusion and data transmission of the human motion data by the inertial sensor node.

Key words： Inertial Sensor； Motion Capture； Zigbee Network； Real-time Animation； Human Model

1 引言

動作捕捉是利用機(jī)械裝置、光學(xué)或傳感器等設(shè)備獲取人體或其他物體運(yùn)動數(shù)據(jù)，并將這些運(yùn)動姿態(tài)重現(xiàn)的技術(shù)[1]。從技術(shù)的角度來說，運(yùn)動捕捉的實(shí)質(zhì)就是要測量、跟蹤、記錄物體在三維空間中的運(yùn)動軌跡[2]。人體動作捕捉技術(shù)常被應(yīng)用于電影、動漫、游戲的制作中，還可以應(yīng)到醫(yī)療診斷、姿態(tài)矯正、醫(yī)療康復(fù)輔助、動作分析和動作識別等方面。同時，人體動作捕捉技術(shù)能夠?yàn)檐娛绿峁┨摂M仿真環(huán)境。

主流的光學(xué)動作捕捉系統(tǒng)是在表演者身上指定的位置貼多個光標(biāo)點(diǎn)，然后使用高速攝像機(jī)來捕捉光標(biāo)點(diǎn)的位移，再將捕捉到的數(shù)據(jù)傳輸?shù)接嬎銠C(jī)上，根據(jù)捕捉到的動作數(shù)據(jù)進(jìn)行后期處理，最終完成動作捕捉的全過程。但是光學(xué)動作捕捉有自身的不足，例如光學(xué)動捕的整套設(shè)備易受遮擋或光干擾的影響，給后期處理工作帶來很多麻煩，對于一些遮擋嚴(yán)重的動作來說，光學(xué)動作捕捉無法精確的還原，例如多人互動、擁抱以及扭打等動作[3]。而基于慣性傳感器系統(tǒng)的動作捕捉技術(shù)大大改善了這一現(xiàn)狀，慣性動捕系統(tǒng)采集到的信號量少，便于實(shí)時完成姿態(tài)跟蹤任務(wù)，解算得到的姿態(tài)信息范圍大、靈敏度高、動態(tài)性能好[4]。對捕捉環(huán)境適應(yīng)性高，不受光照、背景等外界環(huán)境干擾，并且不存在光學(xué)動捕的遮擋問題，可以準(zhǔn)確實(shí)時地還原如下蹲、擁抱、扭打等動作。

2 動作捕捉系統(tǒng)

基于慣性傳感器人體運(yùn)動捕獲和再現(xiàn)系統(tǒng)包括動作捕捉、動作數(shù)據(jù)處理和動作重現(xiàn)三個模塊[5]。動作捕獲模塊通過傳感器采集人體每段肢體的運(yùn)動參數(shù)，該動作參數(shù)包含三維加速度、角速度和磁場信息[6]；信息處理是對獲取的動作參數(shù)進(jìn)行分析和處理，將其轉(zhuǎn)化為人體模型相應(yīng)骨骼和關(guān)節(jié)的局部運(yùn)動參數(shù)；動作再現(xiàn)是根據(jù)獲得的模型運(yùn)動參數(shù)對人體運(yùn)動進(jìn)行實(shí)時模擬[7]。在該系統(tǒng)中，首先需要把指定傳感器固定在人體指定的各個肢體關(guān)節(jié)上，當(dāng)肢體運(yùn)動時傳感器就捕獲這段肢體的三維加速度、角速度和磁場數(shù)據(jù)；再把獲取的信息通過無線傳輸協(xié)議以幀的形式發(fā)送到計算機(jī)端，然后采用卡爾曼濾波對獲取的運(yùn)動信息進(jìn)行去噪和融合[8]，從而獲得四元數(shù)數(shù)據(jù)；最后把四元數(shù)數(shù)據(jù)輸入運(yùn)動再現(xiàn)模塊，運(yùn)動重現(xiàn)模塊把四元數(shù)數(shù)據(jù)轉(zhuǎn)換成旋轉(zhuǎn)角度輸入人體模型[9]，實(shí)現(xiàn)人體動作重現(xiàn)。

根據(jù)人體每塊骨骼都是獨(dú)立存在并且相互作用的，所以其自身的運(yùn)動屬性受到關(guān)節(jié)的約束，而且人體的運(yùn)動動作是由幾個關(guān)鍵骨骼組成的，因此在運(yùn)動過程中不需要考慮影響較小的那部分骨骼[10]。人體骨骼模型采用樹狀層次結(jié)構(gòu)，整個骨骼樹是由一個根節(jié)點(diǎn)和若干個構(gòu)成父子關(guān)系的葉子節(jié)點(diǎn)組成，人體在運(yùn)動過程中可以把肢體的每一個動作，看作是該肢體相對于父節(jié)點(diǎn)骨骼的運(yùn)動[11]。由于髖關(guān)節(jié)活動范圍比較小，所以被選為整個骨骼樹的根節(jié)點(diǎn)如圖1所示。

人體全身關(guān)節(jié)主要包括七大關(guān)節(jié)：頸關(guān)節(jié)、膝關(guān)節(jié)、踝關(guān)節(jié)、肘關(guān)節(jié)、腕關(guān)節(jié)、髖關(guān)節(jié)和肩關(guān)節(jié)[12]。各種關(guān)節(jié)的運(yùn)動方式眾多且各不相同，大致可以分為屈伸、移動、收展、環(huán)轉(zhuǎn)和旋轉(zhuǎn)等六種，不同類型的關(guān)節(jié)具有不同的運(yùn)動自由度，因此關(guān)節(jié)也具有不同的轉(zhuǎn)動角度范圍。

雖然人體每個關(guān)節(jié)的活動范圍有限，但是人體能做出的動作是無限多個的。通過對連接骨骼樹中每個骨骼的每一個關(guān)節(jié)的活動范圍和活動角度限定，可以判斷捕捉到的人體動作數(shù)據(jù)是否符合人體正常的運(yùn)動，如表1所示。

表演者在動作捕捉前需要將傳感器節(jié)點(diǎn)綁定到身體上指定的部位，例如大臂、小臂、手、大腿、小腿、腳、頭部和腰部等關(guān)鍵部位。具體哪些部位綁定傳感器節(jié)點(diǎn)以及綁定多少，可以根據(jù)需要采集哪些部位的動作來確定，當(dāng)然增加傳感器節(jié)點(diǎn)的數(shù)量可以提高動作的精度。

3 動作捕捉

傳感器節(jié)點(diǎn)主要由慣性傳感器模塊和Zigbee無線網(wǎng)絡(luò)傳輸模塊這兩部分組成，IMU慣性傳感器由三維加速度計、三維磁力計及三維陀螺儀三種微型傳感器芯片組成[13]，傳感器實(shí)物如圖2所示。

傳感節(jié)點(diǎn)主要負(fù)責(zé)采集加速度數(shù)據(jù)、角速度數(shù)據(jù)和磁場數(shù)據(jù)，并對這些數(shù)據(jù)進(jìn)行處理，計算出各個節(jié)點(diǎn)的姿態(tài)數(shù)據(jù)，傳感器節(jié)點(diǎn)通過ZigBee模塊以無線的方式與連接在計算機(jī)上的匯聚節(jié)點(diǎn)進(jìn)行數(shù)據(jù)傳輸[14]。表演者只需要將傳感節(jié)點(diǎn)固定在身體指定關(guān)節(jié)就可以實(shí)現(xiàn)動作數(shù)據(jù)捕捉。慣性式傳感器硬件部分主要由微處理器、動作采集傳感器、供電單元和數(shù)據(jù)傳輸單元組合，基本結(jié)構(gòu)如圖3所示。

4 動作數(shù)據(jù)處理

慣性傳感器中三維加速度計是測量傳感器坐標(biāo)下的重力向量，用來確定相對于水平面的方向，三維磁力計測量得到傳感器坐標(biāo)下的磁場強(qiáng)度向量，用于確定垂直軸上的旋轉(zhuǎn)，三維陀螺儀測量角速度，通過積分可以得到角度[15]。但是加速度計和磁力計都會受到環(huán)境的干擾，角速度在積分的過程中也會引入隨時間增長的漂移，為了解決這些問題需要將這三種數(shù)據(jù)進(jìn)行融合。通過三維加速度計和三維磁磁力計融合計算得到的四元數(shù)作為觀測量與角速度積分得到的四元數(shù)相融合。三維磁力計的干擾不會影響橫滾角和俯仰角的估計[16]；對于運(yùn)動加速度的干擾，這里通過使用自適應(yīng)調(diào)整濾波器中的觀測噪聲協(xié)方差矩陣來抵消。

這里采用自使用Kalman濾波的姿態(tài)估計算法（AKF）[17]來根據(jù)重力加速度、磁場強(qiáng)度和角速度計算得到四元數(shù)。根據(jù)慣例，將地球坐標(biāo)系xeyeze設(shè)定為North-East-Down（NED）坐標(biāo)系，其中xe指向北，ye指向東，ze指向下。通過依次繞著3個軸旋轉(zhuǎn)一定角度，表演者可以被安置在空間中的任意方向上。AKF會分別給出對應(yīng)的四元數(shù)，然后融合成最終的一個四元數(shù)。該算法設(shè)計簡單，適用于實(shí)時計算，具體步驟在文獻(xiàn)[17]中有詳細(xì)給出。

5 動作重現(xiàn)

Unity3D擁有方便操作的設(shè)計環(huán)境、方便快捷的設(shè)計流程和簡單操作的場景編輯器，最主要的時能夠很好地支持3D模型文件，節(jié)省了創(chuàng)建3D場景的時間。慣性傳感器實(shí)時捕捉的人體動作原始數(shù)據(jù)，經(jīng)過信息處理模塊預(yù)處理后，輸入虛擬人體模型的運(yùn)動參數(shù)是四元數(shù)數(shù)據(jù)，四元數(shù)數(shù)據(jù)在骨骼管道中轉(zhuǎn)換成角度旋轉(zhuǎn)參數(shù)信息[18]。

人體動作的實(shí)時重現(xiàn)，其實(shí)就是虛擬人體模型相對于初始坐標(biāo)的變換。Unity3D提供了非常豐富的坐標(biāo)轉(zhuǎn)換方法，從而大大簡化了坐標(biāo)變換等復(fù)雜數(shù)據(jù)處理。在對人體動作捕捉時，首先需要根據(jù)傳感器的編號對應(yīng)關(guān)節(jié)的位置，然后人體保持T字形靜止進(jìn)行校準(zhǔn)，如圖4所示，最后啟動軟件就可以實(shí)現(xiàn)人體動作捕捉。

6 結(jié)論

本文基于慣性傳感器系統(tǒng)實(shí)現(xiàn)了對人體動作的捕捉和實(shí)時重現(xiàn)。根據(jù)實(shí)驗(yàn)結(jié)果，使用無線慣性傳感器可以實(shí)現(xiàn)人體動作精確及時的捕捉，達(dá)到了預(yù)期的結(jié)果。

但是，目前該系統(tǒng)只能捕捉站在原地運(yùn)動的動作，不能實(shí)現(xiàn)虛擬角色的位移。下一步將融合UWB室內(nèi)定位模塊，提供比較精確的人體運(yùn)動位移。

參考文獻(xiàn)：

[1] WITTMANN F，LAMBERCY O，GONZENBACH R R，et a1.Assessment-driven Arm Therapy at Home Using an IMU-based Virtual Reality System[C].Rehabilitation Robotics（ICORR），2015IEEE International Conference on，Singapore，2015

[2] 劉莉琛.一種基于慣性傳感器網(wǎng)絡(luò)的動作捕捉系統(tǒng)的實(shí)現(xiàn)[J].科技風(fēng).2018.4

[3] 劉劍鋒.虛擬環(huán)境下幾種三維交互技術(shù)的研究[D].杭 州：浙江大學(xué)，2010.

[4] LYMPOURIDES V， ARVIND D K， PARKER M. Fully wireless， full body 3-D motion capture for improvisational performances [C] In Proceedings of the Workshop on Whole Body Interaction. Boston， USA： ACM，2009：221-233.

[5] SKAGUCHI T， SATO K， INOKUCHI S. Human Motion Capture by Integration Gyroscopes and Accelerometers [C] IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems. Washington， USA： IEEE，1996：470-475.

[6] 秦永元. 慣性導(dǎo)航[M]. 北京：科學(xué)出版社，2006.

[7] 陳義新 人體動作捕捉系統(tǒng)軟件設(shè)計[D] 大連理工大學(xué)，2017.

[8] 陳鑫磊 辛?xí)詫?黃鑫 IIR數(shù)字濾波器設(shè)計與FPGA實(shí)現(xiàn)[J]. 微處理機(jī)，2018，1.

[9] 陳偉. 基于四元數(shù)和卡爾曼濾波的姿態(tài)角估計算法研究與應(yīng)用[D]. 秦皇島： 燕山大學(xué)，2015.

[10] C. Sminchisescu. Estimation Algorithms for Ambiguous Visual Models-Three Dimensional Human Modeling and Motion Reconstruction in Monocular Video Sequences ， Institute National Polytechnique de Grenoble（INRIA）， Jury 2002P李春霞，楊克儉，李波.人體骨架模型的建立及 IK 問題的一種解決方式[J].武漢理工大學(xué)學(xué)報，2003，27（6）：815-818.

[11] 李春霞，楊克儉，李波.人體骨架模型的建立及 IK 問題的一種解決方式[J].武漢理工大學(xué)學(xué)報，2003，27（6）：815-818

[12] 高帆.人體運(yùn)動信息檢測技術(shù)[J].科學(xué)時報，2001（6）：1-2.

[13] X. Yun， E. R. Bachmann. Design， implementation， and experimental results of a quaternion-based Kalman filter for human body motion tracking[J]. IEEE Transactions on Robotics， 2006， 22（6）： 1216-2227.

[14] 吳濤， 白茹， 朱禮堯，等. 基于卡爾曼濾波的航姿參考系統(tǒng)設(shè)計[J]. 傳感技術(shù)學(xué)報， 2016，29（4）： 532-534.

[15] S. Sun， X. Meng， L. Ji， J. Wu， and W. Wong， Adaptive sensor data fusion in motion capture[C]， In Proc. 13th Int. Conf. Inf. Fusion， Edinburgh， U.K.， 2010：1-8.

[16] Li Y， Dempster A， Li B， et al. A low-cost attitude heading reference system by combination of GPS and magnetometers and MEMS inertial sensors for mobile applications[J]. Journal of Global Positioning Systems， 2006， 5 （1/2）： 88-95

[17] 陳 江，孫撾巖，吳健康 多微型傳感器自適應(yīng)信息融合姿態(tài)估計方法[J]. 計算機(jī)研究與發(fā)展，2010（47）：235—240.

[18] 謝西昊. 基于MEMS的載體運(yùn)動解算及其實(shí)時仿真[D]. 哈爾濱工程大學(xué)， 2013.

【通聯(lián)編輯：梁書】