網絡化手勢運動跟蹤系統設計*

陳鵬展， 李　杰, 羅　漫

(華東交通大學 電氣與電子工程學院，江西 南昌 330013)

?

網絡化手勢運動跟蹤系統設計*

陳鵬展， 李杰, 羅漫

(華東交通大學 電氣與電子工程學院，江西 南昌 330013)

摘要:設計了一種基于微機電慣性傳感器的數據手套。根據慣性導航和剛體動力學原理，構建了基于微型傳感器的體感網絡，并通過多傳感器數據的融合解算以獲取運動姿態信息，實現對手指各關節運動數據的捕獲。結合計算機圖形技術構建三維虛擬手捕獲系統進行性能對比評估，實驗結果表明：所設計的系統具有良好的穩定性和適應性，能夠對手運動信息進行實時有效地捕獲。

關鍵詞：運動捕獲； 慣性導航； 剛體動力學； 慣性傳感器

0引言

手勢作為日常生活中人們廣泛使用的一種自然而直觀、易于學習和高效的交流方式，有很強的表意能力，伴隨虛擬現實技術的發展，虛擬手成為了一種新的人機接口應用，利用高效的數據手套可以有效地捕獲手勢動作參數，實時獲取手部動作的信息，可在人機交互過程中完成操作和交流等功能，有效地拓寬了人機交互通道，在體育、醫學、軍事等方面有著廣闊的應用前景[1]。

手勢動作測量系統在工程和科學技術領域常用的檢測系統主要有光學式[2,3]和機械式[4]兩大類。光學式對背景、光線等外部環境依賴性強；機械式設計結構復雜，成本昂貴,且使用存在不便。

MEMS慣性傳感器可實現對運動信息的檢測，為手勢動作信息的捕獲帶來了新的基礎工具和應用環境[5～7]，具有結構設計簡單，價格低廉，安裝和使用便捷等優點，且不受光線影響。

本文針對現有技術中存在的不足，提出了一種基于慣性傳感器的數據手套實現方案，利用安裝在手套內部的微慣性傳感器來組成傳感器網絡，根據慣性導航和剛體動力學原理[8]對各節點采集的數據進行姿態融合計算，并通過計算機圖形技術構建虛擬手模型，將解算的結果映射到模型中對應的關節處，完成數據驅動，以便實時捕捉和還原手勢的動作信息。

1數據手套系統結構

數據手套可實時有效地捕獲手勢的動作，并以姿態信息對其各關節進行表示，主要由安裝在手套內部的多個微慣性傳感器和嵌入式中央處理器構成。這些慣性傳感器合理地布局于手套相關的運動部位，通過數據計算可以得出對應手關節的姿態信息，并結合計算機虛擬手模型精確地還原使用者手勢的運動情況。

1.1數據手套模型與映射

人手是一個多關節相連結構，由4個手指、1個大拇指和手掌構成，因此，手勢的動作變化可以通過各指段和關節的空間姿態信息來描述。

參照人手生物學模型的通用標準，定義了如圖1所示虛擬手模型，其中，MP為手指的基部，除去拇指外，PIP和DIP分別為手指的中間關節處和末端關節處，大拇指則單獨設置中間關節為TP,并以手掌為基點，鏈接5個手指，每個手指以各子關節點線性分布鏈接(MP→PIP→DIP)，從而組成以手掌為基點，各手指為分支的一個樹形數據結構，其樹中的各節點匹配對應的關節，且相互間具有運動關聯特性。

圖1　手部模型Fig 1　Hand model

將手部關節骨骼之間的運動特性看成是剛體和相應指段組合而成的關聯樹型結構，將慣性傳感器安裝在手套內部對應的手關節部位，并使各關節點的姿態解算信息與手模型樹形結構中的節點進行綁定，將真實手和虛擬手之間的驅動關系進行數據映射。

1.2硬件設計

手勢的運動信息主要由手關節在空間中的姿態、位置的變化來體現，而空間姿態和位置主要通過運動中的姿態角來闡述，姿態角最終能夠通過加速度、角速度和地磁儀數據融合計算得到。基于以上關系，本系統主要通過檢測手勢運動過程中特征部位的加速度、角速度、磁力信息及姿態角來對手勢的運動姿態進行估算。

MPU9150是一種集成了加速度傳感器、陀螺儀傳感器和磁力傳感器的九軸MEMS傳感器芯片，具有體積小、重量輕和可靠性好等特點，且可以通過內置的DMP 數字處理引擎減少復雜的融合演算數據﹑感測器同步化和姿勢感應等帶來的負荷，能夠較為準確地詮釋運動過程中的加速度、角速度和磁力信息的變化。

同時，姿態采集系統需要選擇合適的運算處理核心。Nordic推出的nRF51822不僅擁有BLE 4.0低功耗藍牙模塊，而且集成了32位高速運算處理內核Cortex—M0，具備標準通信接口和低功耗等特點。

數據手套姿態采集系統由1個處理控制單元和多個傳感器組成，以MPU9150為信息的采集節點，nRF51822為數據處理和收發單元，人手主要關節的運動信息通過MPU9150傳感器進行測量，經過數據預處理和多傳感數據融合計算后傳遞給計算機中的虛擬手軟件捕捉系統，以使其準確地還原操作者的手勢運動。系統框圖如圖2所示。

圖2　系統框圖Fig 2　Block diagram of system

1.3數據手套信號流程

在系統運行過程中，利用MPU9150傳感模塊采集各手關節運動過程中的加速度、角速度和磁場信息，通過I2C接口與NRF51822模塊進行通信，信號經過數據濾波和姿態的融合解算處理后，借助NRF51822內部集成的低功耗藍牙4.0通信模塊傳遞給遠程PC虛擬手模型測試環境中，以實時還原出手勢運動信息的直觀顯示。信號流程如圖3。

圖3　信號流程Fig 3　Signal process

2手勢姿態解算

在手姿態信息的計算過程中，用四元數對姿態角進行表示，其計算時間短，精度高，表示簡便，且可對方向余弦矩陣和歐拉角等常規姿態角表示方法進行相互轉換。

2.1手姿態的解算策略

陀螺儀傳感器分別測量載體沿X,Y和Z坐標系方向的角速度，具有良好的動態響應性能，通過采集該角速度信息，并結合采樣時間進行積分，算出傳感器的姿態，并用四元數進行表示，如式(1)

(1)

考慮到聯合計算的時間和結果精確性，采用FQA四元數分解算法[9]對多傳感器數據進行融合計算，該方法可以很好地濾除外界磁場干擾對解算結果的影響，并且在解算過程中簡化了三角函數值的直接計算，有效提升了計算的速度和系統響應性。FQA算法對應用環境的要求為載體無線性加速度和外界磁場干擾，因此,在進行傳感器數據融合時加入如下約束：

約束1：加速度和磁力傳感器的數據超過預設定的閾值時，即載體加速度或外界磁干擾大時，將不進入姿態信息融合解算，以陀螺儀數據解算為準。

約束2：在相反情況下，將3只傳感器的數據進行協同融合，更準確地描述姿態信息。

2.2傳感器的校準

1) 陀螺儀的校準：在對手勢運動數據采集中陀螺儀的校準主要是去除傳感器的零偏，以降低因陀螺儀漂移而產生的隨機干擾，即檢測值減去靜止時所求偏移量即可，其偏移量的求法如下：首先將MPU9150傳感器水平靜止放置，將模塊反面水平朝下，此時只有+Z軸方向受重力的影響，并記錄一定采樣時間內X,Y,Z軸的輸出，并通過均值運算得到每軸角速度的偏移。

2) 磁力計的校準：當使用環境中存在著干擾磁場時，磁力計所檢測到的磁場數據為外界干擾磁場數據和地磁場數據之和，本系統中通過計算大量采樣數據中的磁場強度求得偏移，并以此對檢測數據進行校準。

3) 加速度計預處理：在加速度信號處理中，選擇限幅濾波和滑動加權平均濾波的方法進行數據預處理，以降低因抖動而引起的干擾，同時剔除外界可能突發的脈沖干擾。

2.3傳感器信號漂移補償

在傳感器靜止時，陀螺儀輸出角度信息包括了常值漂移誤差和白噪聲干擾等，因積分時間不能無限小，單一依靠陀螺儀傳感器計算姿態信息會造成計算結果隨時間出現線性漂移和誤差較大等情況，如圖4所示。

圖4　融合前姿態變化Fig 4　Attitude change before fusion

因此，結合加速度傳感器和磁力傳感器來對姿態信息進行修正和聯合解算，有效地對漂移進行補償，避免了因單一角速度數據隨時間積分帶來的誤差累積。在系統中加速度傳感器測量載體沿空間坐標系的加速度，主要感知載體水平方向的傾斜，用于修正陀螺儀所計算載體在俯仰(pitch)和滾動(roll)方向的偏移，磁力傳感器測量載體所處環境的三維地磁強度，用于提供對載體航向角(yaw)的初始對準和修正所計算航向角的線性漂移，如圖5所示。

圖5　融合后姿態變換Fig 5　Attitude change after fusion

3實驗驗證

3.1單關節捕捉精度評估

將兩段剛體支架通過微型電機進行連接，控制電機轉動模擬手指單關節運動，為了對整個系統的性能進行評估，實驗分為靜態測試和動態測試。

1)靜態測試:將傳感器固定在一支架上，控制其繞另一支架停放不同的角度，通過對解算的姿態信息和真實轉動的角度進行靜態定姿對比，以評估定姿解算精度性能，如表1所示。

表1　靜態測試結果

2)動態測試：通過變換傳感器的安置方向和控制電機的運轉速度，達到通過控制支架轉動模擬關節運動的全姿態信息，觀察對比控制轉速結果和傳感器的解算結果，圖6為對比結果。

圖6　動態角度對比Fig 6　Comparison of dynamic angle

3.2系統評估

為了對整個系統進行性能捕捉評估，本文在VS2012開發環境下，結合3DS MAX軟件和OpenGL圖形庫技術，構建了三維虛擬手模型運動捕捉顯示窗口，對真實手部運動過程進行實時還原，該窗口通過接收傳感器解算的姿態信息對模型進行數據驅動，刷新頻率為50 Hz，能較準確地對真實手運動進行跟蹤和捕捉，以中指運動和手部握拳為參考姿態，進行測試，捕捉效果如圖7、圖8所示。

圖7　中指運動過程捕捉效果Fig 7　Motion process capture effect of middle finger

圖8　單手逐漸握拳的捕捉效果Fig 8　Capture effect of single-hand make fist gradually

4結束語

本文基于微慣性傳感器實現了手部運動信息捕獲的數據手套設計，利用慣性導航算法進行多傳感器多數據的融合處理，通過樹型層次化建模方法構建了一種數據驅動的三維虛擬手關節模型，并使用解算的姿態信息進行真實手部運動狀態的實時跟蹤與還原。本文的設計思想可為今后數據手套研究和設計提供新的借鑒思路，具有一定的創新性和應用價值。

參考文獻:

[1]陳浩磊,鄒湘軍,陳燕.虛擬現實技術的最新發展與展望[J].中國科技論文,2011(1):1-5.

[2]劉曉平,張靜,曹力,等.基于計算機視覺的虛擬手的實現[J].工程圖學學報,2007(4)：30-35.

[3]劉澤華.基于MEMS傳感器群的人體運動捕獲[J].傳感器與微系統,2012,31(9):18-21.

[4]相瑞排,石廣田,李帥.機械式運動捕捉系統應用中的若干問題研究[J].蘭州交通大學學報,2013(4)：44-47.

[5]Mannini A,Sabtini A M.Machine learning methods for classifying human physical activity from on-body accelerometers[J].Sensors,2010,10(2):1154-1175.

[6]李國峰,王錦,張勇,等.基于MEMS加速度傳感器的智能輸入系統[J].傳感技術學報,2009,22(5):643-646.

[7]Schlomer T,Poppinga B,Henze N,et al.Gesture recognition with a wii controller[C∥Proceedings of the 2nd International Confe-rence on Tangible and Embedded Interaction,New York:ACM,2008:11-14.

[8]張榮輝，賈宏光，陳濤，等.基于四元數法的捷聯式慣性導航系統的姿態解算[J].光學精密工程，2008,16(10)：1963-1970.

[9]Yun Xiaoping,Bachmann E R,Mc Ghee R B.A simplified quaternion-based algorithm for orientation estimation from earth gravity and magnetic field measurements[J].IEEE Trans on Instrumentation and Measurement,2008,57(3):638-650.

Design of hand motion tracking system based on sensor network*

CHEN Peng-zhan, LI Jie, LUO Man

(College of Electrical and Electronic Engineering,East China Jiaotong University,Nanchang,330013,China)

Abstract:A data glove based on MEMS inertial sensors is designed.According to inertial navigation and rigid body dynamics theory,somatosensory network based on micro-sensor is constructed and obtain motion gesture information through fusion of multi-sensor data,realize data capture of finger movement of each joint.A kind of 3D virtual hand capture systems based on computer graphics technology is constructed to evaluate performance contrast.Experimental results show that the system has good stability and adaptability,which can effectively capture motion information of fingers in real time.

Key words:motion capture; inertial navigation; rigid-body dynamics； inertial sensor

DOI:10.13873/J.1000—9787(2016)02—0067—04

收稿日期：2015—05—15

*基金項目：國家自然科學基金資助項目(61164011)；江西省自然科學基金資助項目(20114BAB201023)

中圖分類號：TP 391

文獻標識碼：A

文章編號：1000—9787(2016)02—0067—04

作者簡介:

陳鵬展(1975-)，男，湖北武穴人，博士，副教授，主要研究方向為人機交互、動作捕捉、現場總線。