基于關節角度和DTW的太極拳視頻配準方法

葉松濤　文雪琴

摘? ?要：太極拳視頻配準是實現太極拳線上教學的首要問題。為實現太極拳視頻的自動配準，提出了一種基于關節角度和DTW算法的太極拳視頻配準方法。該方法主要利用人體關節角度消除太極拳視頻背景的干擾和不同太極拳視頻中人體大小不同的影響，并利用動態時間規整（DTW）算法對不同時間點的視頻幀進行配準。在該方法中，首先計算出練習者動作視頻中關節角度的時間序列，并使用指數平滑法消除時間序列中存在的誤差;然后利用上下幀之間的人體關節角度差分割時間序列;最后利用DTW算法求分割后得到的時間序列與標準動作視頻中對應的時間序列之間的距離，即可得到練習者與標準動作之間的匹配度。實驗結果表明：該方法中的指數平滑法對太極拳視頻配準的精度有較大影響，以及如果用歐幾里得距離替換DTW算法將會較大的降低配準精度。并且該方法在太極拳視頻配準上與基于SIFT特征的方法相比，配準精度更高，達到81.21%。

關鍵詞：太極拳;視頻配準;時間序列;動態時間規整;指數平滑法

中圖分類號：TP391.41? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼：A

TaiChi Video Registration Method Based on Joint Angle and DTW

YE Song-tao？覮，WEN Xue-Qin

（School of Computer Science，Xiangtan University，Xiangtan，Hunan 411105，China）

Abstract：TaiChi video registration is the primary problem in the online teaching of TaiChi. In order to realize the automatic registration of TaiChi video，a TaiChi video registration method based on joint angle and DTW algorithm is proposed. The method mainly uses the human joint angle to eliminate the interference of the TaiChi video background and the different human body size in different TaiChi videos，and uses the DTW algorithm to register the video frames at different time points. In this method，the time series of the joint angle in the exercise video of the practitioner is first calculated，and the error existing in the time series is eliminated by exponential smoothing;then the time series is segmented by the angle difference of the human joint between the upper and lower frames;Dynamic Time Warping（DTW） algorithm obtains the distance between the time series obtained after the segmentation and the corresponding time series in the standard action video，and the matching degree between the practitioner and the standard action can be obtained. The experimental results show that the exponential smoothing method in this method has a great influence on the accuracy of Tai Chi video registration，and if the DTW algorithm is replaced by Euclidean distance，the registration accuracy will be greatly reduced.Moreover，compared with the method based on SIFT feature，the method has higher registration accuracy of 81.21% in Tai Chi video registration.

Key words：Tai Chi;video registration;time series;dynamic time warping;exponential smoothing

太極拳線上教學工作將可以推進太極拳在全球的傳播，其中進行太極拳視頻配準是實現太極拳線上教學工作的首要任務。

目前的視頻配準方法主要基于圖像配準，并且圖像配準方法主要基于灰度信息、優化策略和特征進行配準。其中基于灰度信息的配準算法實現簡單，但計算量巨大，對于復雜的太極拳視頻圖像配準效果不理想;基于優化策略的配準算法可以對待搜尋區域的所有點進行搜尋，但太極拳視頻圖像中除了人其余位置的像素點皆為干擾，用該算法將計算量大，還容易被誤導;基于特征的配準算法盡管效果較好，但在提取太極拳視頻圖像的特征點時，容易被視頻中的背景干擾，提取出與人無關的特征。

從上述可以看出，將目前基于圖像配準的視頻配準方法應用到太極拳視頻是不適用的。太極拳視頻在進行配準時，需要克服以下3個問題：

（1）兩個太極拳視頻中的背景很可能不一樣，在進行視頻配準時，不可能跟蹤顏色和紋理變化[1];

（2）目前大多數方法使用幀間差異進行視頻分

割[2]-[3]，但是太極拳視頻幀差異小;

（3）太極拳視頻中隨時間變化的動作快慢不同，直接將對應時間點的視頻幀進行配準將產生較大誤差。

為了解決上述描述的3個問題，提出了一種基于關節角度和DTW的太極拳視頻配準方法。該方法主要分為以下3個部分：

1）通過OpenPose提取18個關節的坐標，并利用關節坐標求得18個關節之間的角度，制作成關節的角度時間序列，再利用指數平滑法修改時間序列中的突變值，通過該步驟解決了上述的問題（1），消除了視頻背景的影響;

2）使用不同視頻幀之間的關節角度差對視頻

幀進行聚類，將視頻分割成小視頻，該步驟解決了上述的問題（2），分割視頻幀差異小的太極拳視頻;

3）通過DTW算法求得分割后的練習者視頻

與標準動作視頻的關節角度時間序列之間的距離，并將該距離總和作為判斷視頻配準的依據，該步驟解決了上述的問題（3），不同太極拳視頻中動作快慢不一樣。

1? ?太極拳視頻配準方法

針對太極拳視頻，提出了一種基于關節角度和DTW算法的太極拳視頻配準方法，該方法的主要步驟如圖1所示。

在圖1中的6個步驟分別表示為：

Step1：輸入練習者的太極拳視頻;

圖1? ?太極拳視頻配準的主要步驟

Step2：利用OpenPose提取出關節坐標，并利用關節坐標制作出關節角度的時間序列;

Step3：利用指數平滑法調整關節的角度時間序列;

Step4：分割調整過的關節角度時間序列，得到關節的角度時間序列集;

Step5：利用DTW算法分別計算分割后的練習者視頻與標準動作視頻的關節角度時間序列集合之間的距離di;

Step6：將得到的距離總和，并利用公式（1）求得最后分數s。

s = 1 - ■? ? ? ? （1）

其中，m為關節角度時間序列集合的個數，Di為練習者與標準動作的第i個關節角度時間序列之間最大的距離。

1.1? ?制作關節角度時間序列

在介紹如何制作關節角度的時間序列之前，先解釋一下關節角度的時間序列。時間序列主要是記錄一個或多個屬性在一段時間內發生變化時的值，其中關節角度時間序列是指每個時間點對應于視頻的幀，并且時間序列中的值是人體關節角度。

因為人體關節的角度不會被背景和人像大小影響，更能減少動作匹配時的誤差，因此本文將關節角度作為太極拳視頻配準的依據。制作關節角度時間序列的總體步驟如：

1）提取視頻中隨時間變化的關節坐標;

2）利用坐標計算關節的角度，并為每個關節制作一個角度時間序列;

3）利用指數平滑法消除關節角度的時間序列中的突變值，使其變得更準確。

本文所用的關節坐標提取模型為OpenPose[4]，OpenPose的骨架提取技術已經較為成熟，所提取出的骨架效果如圖2所示。

圖2? ?骨架效果圖

接下來利用關節坐標計算每一幀的關節角度。首先，確定求角度的基線，由于左臀部和右臀部之間的連線在太極拳視頻中相對于其他關節變化較小，因此將左右臀部之間的連線作為基線，然后計算基線和其余關節之間的角度，求得每一幀的關節角度。具體步驟如下所示：

1）首先確定以左右臀部的連線為基線，并利用左臀部的坐標（x1，y1）和右臀部的坐標（x2，y2）計算連線的距離a，計算公式為：

a = ■

2）然后計算剩余的16個關節與左右臀部之間的距離。假設該關節的坐標（x3，y3），則該關節與左臀部的距離為：b = ■，該關節與右臀部的距離為：c = ■;

3）最后計算該關節與基線的角度。利用上述求出的a，b，c可求出角度θ，計算公式為：

θ = cos-1（■）

利用上述可計算出視頻幀中的16個關節的角度時間序列A = {{？墜ij}n? ?j=1}16j=1，其中i表示第i個視頻幀，j表示第j個關節，16個關節中不包括基線的兩端左右臀部。

在太極拳動作視頻中，關節角度的變化是平滑的，而OpenPose模型所提取的關節坐標并不能完全正確，有時候關節被擋住使得不能被識別。為了消除這種誤差對結果的影響，使用了指數平滑法（ES），消除角度時間序列中突變的值。

ES是利用過去數據的加權平均進行預測[5]。這種方法給相對更近一些的數據以較大的權重，而較遠數據的權重則小一些，因為，較近的數據對將來的影響比較遠的數據對將來的影響大一些。

利用ES消除角度時間序列中突變值的具體步驟為：首先，找到角度時間序列中突變值的位置;然后利用指數平滑法用該位置之前的角度值預測該位置的值;最后，用預測出的值取代突變值，得到平滑的角度時間序列A′ = {{？墜′ij}n? ?j=1}16j=1，其中i表示第i個視頻幀，j表示第j個關節，？墜′表示調整后的角度值。如圖3所示，展示了利用ES消除突變值的效果，其中圖3 （a）是使用ES之前的角度時間序列圖，而圖3（b）是使用之后的角度時間序列圖。從圖3中可以看出，圖3（b）中的角度時間序列消除了圖3（a）中時間點60-80之間的突變值，因此利用ES可以有效的解決OpenPose關節識別誤差的問題。

圖3? ?消除突變值前后的關節角度的時間序列對比圖

1.2? ?分割關節角度時間序列

目前關于視頻配準問題已經有了大量研究，但是大分布都關注在視頻幀之間的差異，而沒有關注視頻幀的內容。由于本文針對的是太極拳視頻，如果僅利用視頻幀之間的差異進行視頻幀配準，而不關注視頻幀的內容，將會被視頻中的背景誤導，從而忽略了太極拳視頻中的重點：人體動作。

因此在分割視頻幀時，關注到了太極拳視頻中重要的內容-人物動作中的關節角度。分割太極拳視頻幀最主要的是找到動作之間的轉折點，而動作之間的轉折點需要滿足以下兩個條件：

1）動作轉折點所在位置為波峰或波谷，即在上一個角度差與下一個角度差的積為負數的位置;

2）動作轉折點前后的角度差要大于一定閾值，此條件可排除小的動作幅度。

根據上述描述，提出了一種針對太極拳視頻的視頻幀分割方法。方法步驟為：首先，利用角度時間序列計算出上一幀與下一幀之間的角度差;然后，找到滿足上一個角度差與下一個角度差之間的積為負數的位置;最后，在找到的位置中，計算前后的角度差，如果大于閾值，則該位置為分割點，否則，不是分割點，并在分割點處將時間序列分割，得到時間序列的集合β = {？墜′1，？墜′2，…，？墜′n}，其中n為分割后的時間序列的個數。

如圖4所示，利用上述分割視頻幀的方法可以在左手腕關節的角度時間序列中找到A和B兩個分割點，并分割成如圖5中（a）（b）（c）所示的時間序列圖。圖4的角度變化過程和分割點的確定可由圖6的動作分解過程解釋。圖4中的左手腕角度時間序列在位置A之前的時間點對應為圖6（a）到圖6（b）的過程，此時左手腕的角度只有較小變化;在位置A到位置B之間的時間點對應為圖6（b）到圖6（c）的過程，此時左手腕的角度逐漸增大;在位置B之后的時間點對應為圖6（c）到圖6（d）的過程，此時左手腕的角度逐漸減小。

LWrist（before）

time

圖4? ?左手腕關節的角度時間序列圖

圖5? ?分割后的左手腕關節的角度時間序列

圖6? ?動作分解圖

1.3? ?進行DTW匹配

通過上述方法已經得到分割后的關節角度時間序列，接下來將計算分割好的練習者與標準動作的關節角度時間序列集之間的距離。用于評估時間序列之間相似性的最廣泛使用的距離函數是歐幾里得距離和DTW算法。在文獻[6]中還有其他求時間序列之間相似性的方法。然而歐幾里得距離和其他方法需要兩個視頻在同一時間點上動作的高度對應，不然在計算時容易產生誤差。而在計算兩個太極拳視頻的時間序列的相似性時，并不能保證在同一個時間點上動作的高度對應，因此選用DTW，DTW允許縮放和移動時間軸以更恰當地計算相似性。

DTW（Dynamic Time Warping）的概念最開始被引入到語音識別領域[7]，以解決時間上不靈活性的問題。DTW距離通過允許拉伸和擠壓時間來計算兩個時間序列的最佳對齊序列。這種靈活性使得DTW在語音識別之外的許多應用領域可被采用和適應，其中文獻[8]和文獻[9]介紹了在圖像序列和視頻上的適用性。

利用DTW求解時間序列之間的距離的主要原理是利用動態規劃思想，并結合歐幾里得距離求解。利用公式（2）（3）（4）可求得時間序列X和Y之間距離，其中i表示X中的i坐標，j表示Y中的坐標，Dist（i，j）表示求i與j之間的歐幾里得距離。

利用上述步驟可求得分割后的時間序列與對應的標準動作的時間序列之間的距離di，并利用公式（1）求得練習者最后的評分s。

2? ?實? ?驗

2.1? ?實驗設備

表1? ?運行環境

運行環境：除了OpenPose模型是在GPU上運行，其余運行環境羅列在表1中。

2.2? ?實驗數據和評估方法

為了驗證本文提出的太極拳視頻方法的可靠性，特意找來了段位一到段位六的一百二十六位太極拳運動員，拍攝了陳氏太極拳老架一路中一到六式的視頻。如果提出的太極拳視頻配準方法給這些視頻評的分與段位相符，則表示本文的動作匹配方法是可靠的。

為了評估提出的太極拳視頻配準方法，設計了一種評估方式。評估的主要步驟為：首先，從6個段位中，分別隨機抽取4個人，利用視頻配準方法給這24個人打分;然后，將不同段位的人進行排列組合，此時會有4096種不同的組合方式，將這4096種組合方式進行排序，得到段位排序的字符串;最后，利用編輯距離[10]計算排序后的第i個字符串與正確的段位排序字符串之間的距離di，利用公式acc = ■求得匹配的準確度。

2.3? ?實驗對比和結果分析

由于視頻配準方法目前所用的方法大多為基于圖像配準，并且圖像配準的主要方法有基于灰度信息，優化策略和特征等。其中，基于灰度信息的圖像配準方法是對小形變圖像進行高精度配準，但是不同太極拳視頻圖像之間有較大差異，因此基于灰度信息對太極拳視頻圖像配準可明顯看出不適應，在實驗對比上將排除該方法。基于優化策略的圖像配準是通過尋找使相似度達到最大值的變換參數，從而配準圖像，但是太極拳視頻圖像中除人以外的背景為干擾，如果使用優化策略將會誤導配準結果，因此在實驗對比上也排除該方法。基于特征的圖像配準主要通過從圖像中提取一部分點或線，使用的信息較少，應用到太極拳視頻圖像中，有不確定性，因此將該方法與本文的方法作對比。

基于特征的圖像配準方法，主要有基于SIFT和SURF特征的方法，其中Mikolajczyk和Schmid[11]通過對比SIFT、PCA-SIFT、Steerable Filter、Moment Invariants 等數十種特征點比較之后，指出SIFT特征仍是目前最為有效的特征檢測算子。

為了驗證方法的有效性，共做了三組對比。一組是本文的方法與基于SIFT特征的方法作對比，一組是本文的方法中有和無ES作對比，最后一組為DTW算法與歐幾里得距離作對比。將不同的方法利用上述描述的評估方法進行評估，得到這些方法的準確度。其對比的結果如表2所示。從表2中可以看出，本文的方法明顯優于基于SIFT特征的方法，并且添加了指數平滑法增加了結果的準確性，所用的DTW算法也明顯優于歐幾里得距離。

表2? ?實驗對比評分

3? ?結? ?論

通過分析太極拳視頻配準上的難點，描述了用現有方法無法實現太極拳視頻配準的高精度。因此提出了一種基于關節角度和DTW的太極拳視頻配準方法，解決了太極拳視頻配準的難點。從實驗結果也可以看出，本文提出的太極拳視頻配準方法與基于圖像的視頻配準方法相比，有較高的精度。

參考文獻

[1]? ? SHAN C . Video search and mining[C]// Springer Publishing Company，Incorporated，2010.

[2]? ? PIRAMANAYAGAM S ，SABER E ，CAHILL N D ，et al. Shot boundary detection and label propagation for spatio-temporal video segmentation[C]// Image Processing：Machine Vision Applications VIII. International Society for Optics and Photonics，2015.

[3]? ? JIANG H，ZHANG G，WANG H，et al. Spatio-temporal video segmentation of static scenes and its applications[J]. IEEE Trans on Multimedia，2015，17（1）：3—15.

[4]? ? CAO Z，SIMON T，WEI S，et al. Realtime multi-person 2D pose estimation using part affinity fields[C]// Proc of 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu：IEEE Press，2017：1302—1310.

[5]? ? BROWN R G . Exponential smoothing[M]. Encyclopedia of Operations Research and Management Science. Springer US，2013.

[6]? ? HUI D，GOCE T，PETER S，el al. Querying and mining of time series data：experimental comparison of representations and distance measures[C]// Proc of the VLDB Endow. VLDB Endowment Press，2008：1542—1552.

[7]? ? BERNDT D J，CLIFFORD J. Using dynamic time warping to find patterns in time series[C]// In Proc of the 3rd International Conference on Knowledge Discovery and Data Mining （AAAIWS'94）. Seattle：AAAI Press，1994：359—370.

[8]? ? CHEN A P，LIN S F，CHENG Y C. Time registration of two image sequences by dynamic time warping[C]//Procof IEEE International Conference on Networking，Sensing and Control. Taiwan：IEEE Press，2004：418—423.

[9]? ? ASSENT I ，KREMER H. Robust adaptable video copy detection[C]// Proc of the 11th International Symposium on Advances in Spatial and Temporal Databases. Aalborg：Springer-Verlag Press，2009：380—385.

[10]? GAO X，XIAO B，TAO D，et al. A survey of graph edit distance[J]. Pattern Analysis and Applications，2010，13（1）：113—129.

[11]? MIKOLAJCZYK K，SCHMID C.A performance evaluation of local descriptors[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（10）：1615—1630.