使用簡易深度成像設備的高爾夫揮桿動態(tài)貝葉斯網絡三維重建

呂東岳 黃志蓓 陶冠宏 俞能海 吳健康

?

使用簡易深度成像設備的高爾夫揮桿動態(tài)貝葉斯網絡三維重建

呂東岳①黃志蓓*②陶冠宏②俞能海①吳健康②

①(中國科學院電子學研究所 北京 100190)②(中國科學院大學 北京 100049)

基于簡易深度成像設備的動作捕捉系統(tǒng)因其與傳統(tǒng)設備相比更加廉價且易于使用而倍受關注。然而，此類設備圖像分辨率很低，肢體間互相遮擋，缺乏3維動作重建的基本數據條件。該文融合人體關節(jié)點父子關系與關節(jié)點在運動中的多階馬爾可夫性，提出一個描述人體關節(jié)點空間關系與動態(tài)特性的動態(tài)貝葉斯網絡(DBN)模型，基于該DBN模型并利用高爾夫揮桿運動的相似性，構建了一種高爾夫揮桿3維重建系統(tǒng)DBN-Motion(DBN-based Motion reconstruction system)，使用簡易深度成像設備Kinect，有效地解決了肢體遮擋的問題，實現了高爾夫揮桿動作的捕獲和3維重建。實驗結果表明，該系統(tǒng)能夠在重建精度上媲美商用光學動作捕捉系統(tǒng)。

信號處理；高爾夫揮桿重建；動態(tài)貝葉斯網絡模型；深度成像設備

1 引言

近年來，傳統(tǒng)的高爾夫培訓方式逐漸被利用動作捕捉設備逐步糾正揮桿動作的教學模式所取代。動作捕捉設備主要分為兩大類[1]：光學動作捕捉設備[2,3]與可穿戴式微傳感器動作捕捉設備[4,5]。前者需要在被捕捉者的肢體上附著主動式或被動式的標記，通過固定布置在使用者周圍的高速攝像頭捕捉標記的位置，通過標記的位置得到人體主要關節(jié)點的位置從而實現動作的捕捉與重建；后者則需要將一系列的微傳感器節(jié)點(每個節(jié)點包含有加速度與磁傳感器等設備)附著在使用者肢體上，通過分析傳感器數據得到人體主要關節(jié)點的位置。雖然上述兩類設備在研究與培訓領域取得了較多的成果，但是這并不能掩蓋它們本身所固有的缺陷：光學動作捕捉設備需要一處固定的環(huán)境，事先架設并且對設備進行調試，而且一旦設備的位置發(fā)生變化就需要重新調試；可穿戴式動作捕捉設備雖然對環(huán)境的適應性比光學設備強，但是穿戴式傳感器節(jié)點會令使用者感到不適，影響揮桿時的發(fā)揮；同時，兩種設備的價格都非常昂貴，系統(tǒng)架構十分復雜。

快速發(fā)展的深度成像技術為解決上述兩種動作捕捉設備的固有缺陷帶來了希望。已有學者采用簡易深度成像設備進行3維動作的捕捉研究并取得了一定的成果。但是，簡易深度成像設備的分辨率、幀率以及深度測量的精度還有待提高；同時，深度成像設備存在肢體遮擋問題[7]。為了解決上述問題并將簡易深度成像設備運用于高爾夫揮桿研究領域，研究者們提出了一些專門用于高爾夫揮桿運動的算法。文獻[11,12]提出一種利用深度成像設備給揮桿者的揮桿進行打分與評級的算法，在揮桿時捕捉揮桿者在3維空間中的骨架位置，運用序列相關模型對揮桿動作打分評級；文獻[13]利用深度成像設備捕捉揮桿動作并識別了6種常見的揮桿錯誤；文獻[14]嘗試解決遮擋問題，提出了一種基于模板的算法來學習與糾正原始深度成像設備輸出的人體關節(jié)點信息。上述算法在改進深度成像設備獲取的原始失真揮桿動作中做出了一定的貢獻，但是遮擋問題依然未能很好地得到解決。

為了更好地解決遮擋問題，提升深度成像設備對高爾夫揮桿捕捉與重建的精度，本文建立了一個用于描述人體關節(jié)點空間關系與動態(tài)特性的動態(tài)貝葉斯網絡(Dynamic Bayesian Network,DBN)模型，通過融合人體關節(jié)點父子關系，關節(jié)點在運動中的多階馬爾可夫性以及人體關節(jié)點在揮桿運動中的相似性，該DBN模型改善了低分辨率深度圖像信息下?lián)]桿重建的精度，有效解決了關節(jié)點之間因為運動造成的相互遮擋問題；基于該DBN模型構建了一種可移動、非接觸式的揮桿3維重建系統(tǒng)DBN-Motion(DBN-based Motion reconstruction system)，并將其得到的高爾夫揮桿重建結果與商用光學動作捕捉系統(tǒng)MAT-T[15]得到的結果進行了對比實驗。實驗結果表明，DBN- Motion系統(tǒng)能夠得到媲美于MAT-T系統(tǒng)的重建結果。

本文第2節(jié)介紹DBN-Motion系統(tǒng)的架構并詳細介紹了作為其核心的DBN模型；第3節(jié)為實驗與對比結果；第4節(jié)為結論與展望。

2 系統(tǒng)架構與DBN模型

2.1系統(tǒng)架構

DBN-Motion系統(tǒng)包含3個部分：揮桿數據獲取、揮桿數據處理以及揮桿重建，如圖1所示。作為一種簡易深度成像設備，Kinect擁有最全面的軟件支持，并且能夠很好地克服傳統(tǒng)動作捕捉設備的缺陷[16]，其對場地及周邊電磁環(huán)境幾乎沒有任何要求，能夠滿足在任何室內環(huán)境中使用，這種優(yōu)勢是本系統(tǒng)可移動性的基礎。本系統(tǒng)采用Kinect作為動作捕捉設備，RGBD數據(彩色與深度信息)通過OpenNI平臺[17]轉換為揮桿運動數據；系統(tǒng)的第2部分通過DBN模型修正第1部分獲得的原始運動數據；系統(tǒng)的第3部分使用修正后的運動數據在4個視角下(斜上、正視、側視與俯視)繪制重建整個揮桿過程。

圖1 DBN-Motion系統(tǒng)架構

2.2 揮桿數據處理：DBN模型

2.2.1揮桿過程的相似性 揮桿過程定義為從上桿開始直到跟隨階段的一個特殊姿勢(雙臂自由揮動至大致與地面平行)為止。由于高爾夫揮桿有固定技術動作[18]，所以不同的揮桿者的揮桿過程具有相似性。揮桿過程的相似性體現在兩個方面：

(1)空間運動相似性：在不受干擾自由揮桿時，不同的揮桿者每一次揮桿過程中人體關節(jié)點的相對運動是相似的；

(2)時間比例相似性：對不同的揮桿者，揮桿過程的4個組成部分(持桿、上桿、下桿以及跟隨)在整個揮桿過程中所占的時間比例是相似的。

利用上述兩種相似性建模時，空間運動相似性體現在對不同的揮桿者在建模時可以采用相似的模型結構；時間比例相似性體現在對不同揮桿者的不同時長的揮桿過程進行了歸一化，可以采用相似的模型參數來描述不同揮桿者的運動，同時模型參數的訓練也可以采用更加廣泛的數據，模型在不同揮桿者之間的魯棒性也更加出色。

2.2.2 DBN模型 本文在人體骨架模型的基礎上，將用來描述人體運動的15個關節(jié)點分為5條互相獨立的鏈，由此形成的描述人體關節(jié)點關系的樹狀結構如圖2所示。通過對15個主要關節(jié)點進行建模并獲得位置信息，能夠準確地將整個人體的動作完整地進行重建。在建模過程中，由于5條關節(jié)點鏈的結構相似，對其中一條鏈建立的模型表示亦可以應用到其他4條鏈上，區(qū)別僅在于模型參數的不同。

圖2 人體關節(jié)點樹狀結構

在構建模型的過程中，使用下列的5個符號來表示模型中的狀態(tài)、觀測等要素：為鏈上的第個關節(jié)點在時刻在其父節(jié)點坐標系下的位置(關節(jié)點的相對位置)；為鏈上的第個關節(jié)點在時刻在大地坐標系下的位置(關節(jié)點的絕對位置)；為一條鏈上的第個關節(jié)點在時刻在大地坐標系下的位置的觀測值(原始觀測信息)；為用于描述關節(jié)點動態(tài)特性的多階馬爾可夫鏈的階數；為一條鏈中包含的關節(jié)點總數。

描述整條關節(jié)點鏈中關節(jié)點運動的DBN模型如圖3所示。為了不影響模型的可讀性，在描述關節(jié)點自身動態(tài)特性時只在根節(jié)點處體現了多階馬爾科夫鏈結構。

圖3 DBN模型結構

為了在失真的原始數據的基礎上獲得精度比較滿意的正常數據，需要尋找能夠讓關節(jié)點在時刻的絕對位置后驗概率最大化的的位置。當運動過程持續(xù)時間為時，關節(jié)點鏈中共有個關節(jié)點，關節(jié)點處所有節(jié)點的聯(lián)合概率密度分布可以看成由時刻關節(jié)點鏈中第個關節(jié)點擴充而來：

模型中條件概率密度均假設服從高斯分布。高斯分布的選擇不僅簡化了參數訓練的復雜度，而且通過后續(xù)的實驗章節(jié)中與現有的光學動作捕捉系統(tǒng)獲得的結果進行的對比實驗，從一個側面印證了其符合高爾夫揮桿實際的正確性。

關節(jié)點的相對運動采用的是多階馬爾科夫鏈模型，在確定模型階數時使用了文獻[14]中提出的“平均關節(jié)點誤差和”(mean value of sum of Joint Errors, msJE)作為評判依據：

圖4 msJE的變化與動態(tài)模型階數的關系

3 實驗結果與討論

3.1 實驗準備

MAT-T系統(tǒng)對架設的環(huán)境有嚴格的要求，需要將6臺采樣率為180 Hz的攝像裝置以一定的高度環(huán)繞架設在揮桿區(qū)域周圍，揮桿者全身佩戴標定點，通過攝像裝置捕捉標定點在整個揮桿過程中的變化，從而獲得人體揮桿時的運動數據；DBN-Motion系統(tǒng)架設時，Kinect擺放在距離揮桿者2.5 m左右、離地面1 m左右的位置，保證揮桿者的整個揮桿動作能完整地被其捕捉。

實驗中邀請了5位不同的揮桿者，每人做6次完整的揮桿，兩套系統(tǒng)同時捕捉揮桿者的動作，采用離線處理獲得揮桿運動數據以作比較。在整個實驗過程中，5位揮桿者的揮桿數據輪流作為測試數據，學習與重建的過程在揮桿者的揮桿數據之間輪流進行，確保每位揮桿者的每一次揮桿數據都有與之對應的重建結果。實驗中考慮整個揮桿過程中人體運動最為劇烈的關節(jié)點(即雙肩、雙肘與雙手)，具體實現上，選擇手部關節(jié)點位置、肩寬與臂長(包括左上臂、左前臂、右上臂與右前臂)等5段肢體長度以及全身關節(jié)點的差異來進行比較。

對于全身關節(jié)點位置的差異，除了可以使用式(5)定義的msJE作為對比標準外，其均值(mean value of msJE, mmsJE)也可以用作對比標準。

3.2與MAT-T系統(tǒng)的對比

由于本系統(tǒng)采用的簡易深度成像設備Kinect的采樣率(30 Hz)與MAT-T系統(tǒng)中的攝像裝置不具有可比性，所以在實驗過程中的對比均采用對應采樣時刻的數據。圖5展示了兩套系統(tǒng)獲得的其中一位揮桿者手部關節(jié)點位置的對比結果。圖中，,,分別表示3維空間的3個分量，即大地坐標系下的寬、高與深度。

圖5 揮桿者手部關節(jié)點位置對比

從圖5的對比結果可以看出，DBN-Motion系統(tǒng)的手部關節(jié)點重建結果與MAT-T的結果在大部分揮桿過程中僅有細微的差異，即使存在明顯差異也基本處于揮桿過程的收尾階段(跟隨階段)，此時由于擊球動作已經結束，揮桿相似性的體現不如前3個階段。總之，在手部關節(jié)點位置信息獲取精度上，DBN-Motion系統(tǒng)的重建結果與MAT-T的結果之間是具有可比性的。值得注意的是，DBN- Motion系統(tǒng)的重建結果是基于采用其他揮桿者揮桿數據學習得到的模型得出的，這也從一個側面印證了揮桿運動中相似性的存在。

兩套系統(tǒng)獲得的5位揮桿者的肢體長度的比較見表1，表中揮桿者的肢體長度均為在整個揮桿過程中的均值。

表1兩套系統(tǒng)下?lián)]桿者肢體長度比較

與MAT-T的結果相比，DBN-Motion系統(tǒng)重建的5段肢體段的長度基本上只有細微的差異，但是在肩寬數據中有兩位揮桿者的數據差異非常大(大于10%)。在MAT-T系統(tǒng)中，標定點在肩部容易產生位移，從而造成肩部關節(jié)點位置信息產生誤差[19]，直觀上反映即為肩寬不穩(wěn)定。而在實際的揮桿動作中，揮桿者在整個過程中并不會做出對肩寬產生影響的動作。為了說明MAT-T系統(tǒng)獲得的肩寬數據并不穩(wěn)定，圖6顯示了其中一位揮桿者肩寬數據隨時間變化的比較結果，為了突出DBN- Motion系統(tǒng)對原始關節(jié)點位置輸出的修正效果，原始Kinect估計得出的肩寬數據也一并進行了比較。DBN-Motion系統(tǒng)獲得的重建結果的波動性十分微小，MAT-T系統(tǒng)獲得的結果在肩寬數據上的波動性大于DBN-Motion系統(tǒng)獲得的重建結果，據此可以認為產生肩寬數據明顯差異的主要原因為動作捕捉時標定點產生的位移。同時可以看到，原始Kinect獲得的肩寬數據波動十分劇烈，說明了DBN- Motion系統(tǒng)對于原始觀測數據的修正能力。

圖6 揮桿者揮桿過程中肩寬數據的對比

通過與現有的光學動作捕捉系統(tǒng)(MAT-T)進行比較，本系統(tǒng)的核心，即用于描述全身關節(jié)點運動的DBN模型對深度成像設備估計的揮桿修正效果以及對關節(jié)點劇烈運動、遮擋的魯棒性是顯而易見的，使用簡易深度成像設備對高爾夫揮桿這一行為進行重建是完全可行的。揮桿中運動最為劇烈的6個關節(jié)點的重建結果兩套系統(tǒng)雖然仍有一定的差異，但已經具有可比性，如此的對比結果也從一個側面印證了之前提出的模型條件概率密度高斯分布假設的正確性。相對于原始Kinect深度數據直接通過OpenNI平臺估計得出的結果，DBN-Motion系統(tǒng)的輸出精度有了很大的提高。同時，在DBN模型建模的過程中并未對任何關節(jié)點的運動做出限制，由此不難得出本系統(tǒng)同樣適用于描述其他具有規(guī)律性的運動行為的結論。

4 結束語

本文使用簡易深度成像設備構建了一種與傳統(tǒng)動作捕捉設備不同的可移動、非接觸式的高爾夫揮桿重建系統(tǒng)DBN-Motion，其核心是一種能夠用于描述人體全身關節(jié)點運動位置信息的DBN模型。實驗結果表明，該系統(tǒng)能夠有效修正現有的簡易深度成像系統(tǒng)(例如Kinect)獲得的人體關節(jié)點位置信息；在與光學動作捕捉系統(tǒng)MAT-T獲取的關節(jié)點位置信息的比較中，在對應采樣時刻處的重建結果非常接近，肢體段長度的差異也很小，而且克服了后者肩部寬度容易受手臂扭曲導致的標定點移位造成的影響。不僅如此，該系統(tǒng)在建模的過程中并未對任何關節(jié)點的運動做出限制，可以適用于描述其他具有規(guī)律性的運動行為。

今后隨著技術的進步，DBN-Motion系統(tǒng)在升級硬件設備后獲得的重建結果的幀數以及精度也會隨之上升。另外，今后的研究工作還將著眼于更加精細的人體揮桿運動描述(例如增加腕部關節(jié)點與脊柱關節(jié)點，嘗試獲取完整的桿頭軌跡)與其他規(guī)律性的運動行為的描述與重建。

參考文獻

[1] Zhou H and Hu H. Human motion tracking for rehabilitationa survey[J]., 2008, 3(1): 1-18.

[2] Noiumkar Sand Tirakoat S. Use of optical motion capture in sports science: a case study of golf swing[C]. 2013 International Conference on Informatics and Creative Multimedia (ICICM), Kuala Lumpur, 2013: 310-313.

[3] Holte M B, Chakraborty B, Gonzalez J,.. A local 3-D motion descriptor for multi-view human action recognition from 4-D spatio-temporal interest points[J].,2012, 6(5): 553-565.

[4] Nam C N K, Kang H J, and Suh Y S. Golf swing motion tracking using inertial sensors and a stereo camera[J]., 2014, 63(4): 943-952.

[5] Chun S, Kang D, Choi H R,.. A sensor-aided self coaching model for uncocking improvement in golf swing[J]., 2014, 72(1): 253-279.

[6] Livingston M A, Sebastian J, Ai Z,.. Performance measurements for the microsoft kinect skeleton[C]. 2012 IEEE Virtual Reality Short Papers and Posters (VRW), Costa Mesa, CA, 2012: 119-120.

[7] Shum H P, Ho E S, Jiang Y,.. Real-time posture reconstruction for Microsoft Kinect[J]., 2013, 43(5): 1357-1369.

[8] Rosado J, Silva F, Santos V,.. Reproduction of human arm movements using kinect-based motion capture data[C]. 2013 IEEE International Conference on Robotics and Biomimetics (ROBIO), Shenzhen, 2013: 885-890.

[9] Xiang C, Hsu H H, Hwang W Y,.. Comparing real-time human motion capture system using inertial sensors with microsoft kinect[C]. 2014 7th International Conference on Ubi-Media Computing and Workshops (UMEDIA), Ulaanbaatar, 2014: 53-58.

[10] Kao W C, Hsu S C, and Huang C L. Human upper-body motion capturing using kinect[C]. 2014 International Conference on Audio, Language and Image Processing (ICALIP), Shanghai, 2014: 245-250.

[11] Zhang L, Hsieh J C, Ting T T,.. A kinect based golf swing score and grade system using GMM and SVM[C]. 2012 5th International Congress on Image and Signal Processing (CISP), Chongqing, 2012: 711-715.

[12] Zhang L, Hsieh J C, and Wang J. A kinect-based golf swing classification system using HMM and Neuro-Fuzzy[C]. 2012 International Conference on Computer Science and Information Processing (CSIP), Xi,an, 2012: 1163-1166.

[13] Lin Y H, Huang S Y, Huang S Y,.. A kinect-based system for golf beginners’ training[J]., 2013, 253(1): 121-129.

[14] Shen W, Deng K, Bai X,.. Exemplar-based human action pose correction and tagging[C]. 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Providence, USA, 2012: 1784-1791.

[15] TaylorMade Performance Lab. Mat-t System[OL].http:// tmpl.taylormadegolf.com/mat-t-system, 2013.8.

[16] Smisek J, Jancosek M, and Pajdla T. 3D with kinect[C]. 2011 IEEE International Conference on Computer Vision Workshops (ICCV Workshops), Barcelona, 2011: 1154-1160.

[17] OpenNI Organization. Introducing OpenNI[OL].http://www. openni.org/images/stories/pdf/OpenNI_UserGuide.pdf.,

2013. 8.

[18] Arvind Dand Bates A. The speckled golfer[C]. The ICST 3rd International Conference on Body Area Networks, Tempe, Arizona, 2008: 1-7.

[19] McGuan S P. Achieving commercial success with biomechanics simulation[C]. 20 International Symposium on Biomechanics in Sports, Cáceres, Spain, 2002: 20, 451-460.

Dynamic Bayesian Network Model Based Golf Swing 3D Reconstruction Using Simple Depth Imaging Device

Lü Dong-yue①Huang Zhi-pei②Tao Guan-hong②Yu Neng-hai①Wu Jian-kang②

① (,,100190,)②(,100049,)

The simple depth imaging device gains more and more attention because of its lower cost and easy- to-use property compared with traditional motion capture systems. However, this kind of devices lack the basic data condition of 3D motion reconstruction due to low resolution, occlusions, and mixing up of body parts. In this paper, a Dynamic Bayesian Network (DBN) model is proposed to describe the spatial and temporal characteristics of human body joints. The model is based on fusion of the parent-child characteristics of joints and multi-order Markov property of joint during motion. A golf swing capture and reconstruction system DBN-Motion (DBN-based Motion reconstruction system), is presented based on the DBN model and the similarity of swing with a simple depth imaging device, Kinect, as capturing device. The proposed system effectively solves the problem of occlusions and mixing up of body parts, and successfully captures and reconstructs golf swing in 3D space. Experimental results prove that the proposed system can achieve comparable reconstruction accuracy to the commercial optical motion caption system.

Signal processing; Golf swing reconstruction; Dynamic Bayesian Network (DBN) model; Depth imaging device

TP391

A

1009-5896(2015)09-2076-06

10.11999/JEIT150165

黃志蓓 zhphuang@gmail.com

2015-01-29收到，2015-05-11改回，2015-06-26網絡優(yōu)先出版

國家自然科學基金(61431017)和科技部國際科技合作專項(2012DFG11820)資助課題

呂東岳： 男，1986年生，博士生，研究方向為信號與信息處理.

黃志蓓： 女，1973年生，副教授，研究方向為傳感網絡.

陶冠宏： 男，1986年生，博士生，研究方向為信號與信息處理.