基于深度學習和動態時間規整的人體運動檢索

楚超勤,肖秦琨,高 嵩

(西安工業大學 電子信息工程學院，陜西 西安 710032)

0 引 言

近年來，隨著創新科技的發展，計算機動畫在各種應用中日益普及[1-8]。人體運動編輯對計算機動畫制作尤為重要，在動畫制作領域，很多企業公司對制作非常逼真的人類動畫產生了極大的需求。現在市場上已經有很多方法來產生人體運動數據。運動捕獲(MoCap)是一種眾所周知的獲取運動數據的方法，因此運動捕獲設備的應用價值也越來越突出，推動了大規模人體和物體運動數據庫的發展[8-9]。然而，隨著各種運動數據的增長，檢索能滿足特定要求的動畫運動是一件困難的事情。因此，運動檢索技術成為近年來在運動捕捉動畫領域的研究重點。

目前已經提出了一些運動檢索方法，其中許多創新方法是在現有的音頻檢索方法上加以拓展應用，如所熟知的動態時間規整(dynamic time warping，DTW)[10]。然而，因為這種類型的數據的屬性和參數數據量很大，所以單一使用DTW方法對運動捕獲數據的檢索效率低。為了支持索引和提高DTW的檢索性能，提出一種基于均勻縮放(uniform scaling，US)的算法[11]。然而，基于均勻縮放的方法通常具有較高的計算成本。基于DTW方法和典型相關分析(canonical correlation analysis，CCA)擴展方法，被稱為廣義的典型時間規整(generalized canonical time warping，GCTW)，這種方法被用于調整多模態序列[12]。除了基于DTW的方法，其他方法是尋求邏輯上類似的運動匹配。例如，用于呈現運動的模板技術，以及使用模板匹配的運動搜索[13]。此外，提出使用幾何特征構建索引樹，使用聚類和分割，然后根據峰值點進行動作匹配[14]。然而，這些方法都不能很好地區分緊密匹配的運動。

文中利用給定查詢的運動序列，從運動數據庫檢索非常相似的運動。如上所述，基于DTW的檢索方法的表現比統計匹配方法有更好的性能，但檢索效率較低，因此提出將基于深度學習和動態時間規整的人體運動檢索方法，以提高運動匹配的性能和效率。然后，基于優化的代表性識別特征通常比原始無序描述符具有更好的性能，使用模糊聚類將冗余姿態描述符轉換成判別描述符[15]。最后通過實驗對該算法進行驗證。

1 檢索算法

1.1 算法概述

提出算法的圖解說明如圖1所示，其中算法分為兩個階段：系統學習和運動檢索。

圖1 算法說明

在系統學習階段，首先由相互間可分辨的運動集合構建運動數據庫，其次通過聚類方法獲取代表性幀圖像，進而基于代表幀圖像集合訓練自動編碼器模型，使用已經獲取的編碼器模型提取運動幀圖像的特征；在運動檢索階段，基于上述步驟獲取查詢運動關鍵幀圖像，進而應用自動編碼器提取每一幀圖像特征，應用曼哈頓動態規劃算法計算待查詢運動與運動數據庫運動之間的相似度距離，排序輸出檢索結果。

1.2 系統學習

(1)基于聚類獲取代表性的幀。系統學習的關鍵一步是獲取基于聚類的代表性框架。給定運動序列{Fi}i=1:n，其中n是幀數，使用模糊c-均值(fuzzy c-means，FCM)聚類方法生成代表性幀。為了計算兩幀之間的距離，使用四元數[15]來呈現身體姿態。設Fi為第i幀中的運動描述符，F1和F2之間的距離計算公式如下：

d(F1,F2)=(F1-F2)(F1-F2)T

(1)

如果使用聚類方法來生成c個聚類中心，則選擇距離聚類中心最短距離的一些幀作為代表幀，然后代表幀可以表示為RF={rfk}k=1:c，其中rfk對應于第k個聚類中心。因此可以使用FCM聚類對代表性幀進行提取。

圖2(a)顯示了代表性幀的第一主成分，對于圖2(b)中的運動序列，在卡納基梅隆大學CMU數據庫中對應于“01-01.bvh”，從所有運動視頻幀中找到20個聚類中心，不同的聚類數據用不同的顏色表示。為了便于展示，原始特征(84維四元數矢量)使用主成分分析(principal component analysis，PCA)來縮小維數，只保留第一和第二主要分量。圖2(b)顯示了與聚類中心對應的代表幀。

1.3 使用自動編碼器提取運動特征

自動編碼器可以看作是神經網絡。使用自動編碼器可以減小輸入數據的維數，并將重構的信號作為輸出。在深層網絡中，自動編碼器始終作為自動學習對象特征的良好模式，其在無監督的學習機制環境下訓練，這一訓練過程是必不可少的。自動編碼器由編碼器和解碼器組成。

(a)運動特征的第一主要部分

(b)20個代表性框架對應于20個中心

假設自動編碼器的輸入為x，首先，該編碼器將原始信號x映射到特征信號z[16]：

z(e)=h(e)(W(e)x+b(e))

(2)

其中，“(e)”是指神經網絡編碼層；h(e)是傳遞函數；W(e)是加權矩陣；b(e)是偏置向量。

(3)

其中，“(d)”是指第d網絡層；h(d)是解碼器的傳遞函數；W(d)是權重矩陣；b(d)是偏置向量。

(4)

代價函數E由3部分組成，第1部分是均方誤差，第2部分是L2正則化，第3部分是稀疏正則化，L2正則化系數為λ，稀疏正則化系數為β。

如果將L2正則化：

(5)

其中，L,n,k分別是訓練數據中的隱層數、觀測數和變量數。

通常添加一個正則化來激勵稀疏項，如果將第i個神經元激活估量定義為[17]：

(6)

接下來，利用Kullback Leibler發散呈現稀疏正則化[17-18]：

(7)

1.4 運動檢索

(8)

(9)

此外，RFX和RFY之間的最佳規整路徑是在所有可能的規整路徑中具有最小總成本的規整路徑p*。然后定義RFX和RFY之間的MDDP距離是p*的總成本：

dMDDP(RFX,RFY)=Cp*(RFX,RFY)

(10)

為了確定最優路徑p*，使用動態規劃，根據文獻[6]，有以下定理：

定理1：累積成本矩陣D滿足：

(11)

根據定理1，最終優化MDDP的距離是：

dMDDP(RFX,RFY)=Cp*(RFX,RFY)=D(n,m)

(12)

文中選擇曼哈頓距離作為本地成本測量，與使用歐幾里德距離作為本地成本測量的傳統DTW算法相比，提出的檢索方式[6]具有更好的性能，接下來的實驗將會對此進行驗證。基于兩個關鍵步驟，代表幀提取和相似性距離匹配，可以根據相似距離順序獲得檢索結果。

2 實 驗

實驗選擇使用HDM5運動數據庫[9]，從數據庫中獲得3 000個不同的動作片段，將3 000個運動片段分類到100個運動集合中。得到30個隨機選擇的運動集合，其中每個集合包括10個運動。實驗的測試環境是在具有奔騰6 GHz CPU和2 GB RAM的電腦上進行評估。

由于每個原始動作通常包含不止一個活動，為了獲得準確的測試結果，這些片段被分割成由單個活動組成的基本運動序列。為了與提出的方法進行比較，也實施了DTW方法和US方法。測試目的是根據給定的查詢運動序列從運動數據庫中搜索最佳匹配的運動序列。

自動編碼器深度學習神經網絡模型[19]由四個模塊構成，即輸入端信號是1 600維的向量組，對輸入的數據進行編碼的編碼器模塊，對編碼后的數據進行重構的解碼器模塊以及輸出模塊。每一單個運動姿勢的圖像是40*40像素的尺寸大小，構成1 600維的向量，這一運動序列存儲在向量組中，經過深度學習網絡預處理把原運動序列降至100維。

為計算30種運動集合的平均精度值，同時采用了Deep-DTW、Quat-DTW和Deep-US方法。運動序列不同檢索精度的對比如圖3所示，圖3代表了數據庫中的一個運動動作：clap5Resp。

圖3 運動序列檢索精度的對比

圖4是運動序列檢索精度仿真結果，對應于圖3一樣的運動，并將所有查詢的運動序列的精度值進行平均，得到運動類別的平均值，檢索精度使用PR(precision-recall)曲線圖進行評估：

(13)

(14)

其中，#retrieved是檢索到的運動序列的數量；#relevant是相關運動序列的數量。

圖4 PR曲線檢索精度仿真結果

從圖4可以看到，使用Deep-DTW方法對序列進行檢索[20-25]，精度都高于其他兩種方法。說明使用Deep-DTW方法對序列進行檢索較其他檢索方法性能好。

3 結束語

提出一種基于深度學習和動態時間規劃相結合的運動檢索算法。針對運動數據庫中的運動序列，首先利用模糊聚類獲取運動代表性幀及其對應的權重值，進而建立關鍵幀圖像集合。基于深度學習，通過對圖像集合學習來訓練自動編碼器，運用訓練的自動編碼器提取各個關鍵幀運動姿態特征，建立運動特征數據庫。為了計算相似度距離，在運動檢索方法中，針對待查詢運動序列，使用訓練獲取的自動編碼器對每一關鍵幀圖片提取特征，進而使用基于曼哈頓距離的動態規劃方法計算待查詢運動與數據庫中運動的相似度，并根據相似度量值對檢索結果進行排序。實驗結果證明，該方法具有很好的精確性和有效性。

參考文獻：

[1] XIAO Jun，TANG Zhangpeng， FENG Yinfu,et al.Sketchbased human motion retrieval via selected 2D geometric posture descriptor[J].Signal Processing，2015，113:1-8.

[2] WANG Pengjie，LAU R W H，PAN Zhigeng,et al.An Eigen-based motion retrieval method for real-time animation[J].Computers & Graphics，2014，38:255-267.

[3] LI Meng，LEUNG H，LIU Zhiguang,et al.3D human motion retrieval using graph kernels based on adaptive graph construction[J].Computers & Graphics，2016，54:104-112.

[4] MüLLER M，RODER T,CLAUSEN M.Efficient content-based retrieval of motion capture data[J].ACM Transactions on Graphics，2005，24(3):677-685.

[5] MüLLER M,BAAK A,SEIDEL H P.Efficient and robust annotation of motion capture data[C]//ACM SIGGRAPH/Eurographics symposium on computer animation.New Orleans：ACM,2009:17-26.

[6] KRUGER B，TAUTGES J，WEBER A，et al.Fast local and global similarity searches in large motion capture databases[C]//Proceedings of the 2010 ACM SIGGRAPH/Eurographics symposium on computer animation.Madrid，Spain:ACM，2010:1-10.

[7] VOGELE A，KRUGER B，KLEIN R.Efficient unsupervised temporal segmentation of human motion[C]//Proceedings of the ACM SIGGRAPH/Eurographics symposium on computer animation.Copenhagen,Denmark:ACM,2015:167-176.

[8] MULLER M,RODER T,CLAUSEN M,et al.Documentation mocap database HDM05[R].[s.l.]:[s.n.],2007.

[9] Graphics Lab.Motion capture database[EB/OL].2012.http://mocap.cs.cmu.edu/.

[10] KEIGH E，RATANAMAHATANA C A.Exact indexing of dynamic time warping[J].Knowledge & Information Systems，2005，7(3):358-386.

[11] KAPADIA M，CHIANG I K，THOMAS T，et al.Efficient motion retrieval in large motion databases[C]//ACM SIGGRAPH symposium on interactive 3d graphics and games.Orlando,Florida:ACM，2013:19-28.

[12] ZHOU Feng.Generalized time warping for multimodal alignment of human motion[C]//IEEE conference on computer vision and pattern recognition.[s.l.]:IEEE，2012:1282-1289.

[13] BAAK A，MüLLER M,SEIDEL H P.An efficient algorithm for keyframe-based motion retrieval in the presence of temporal deformations[C]//ACM international conference on multimedia information retrieval.Vancouver,British Columbia,Canada:ACM，2008:451-458.

[14] CHEN Cheng，ZHUANG Yueting，NIE Feiping,et al.Learning a 3D human pose distance metric from geometric pose descriptor[J].IEEE Transactions on Visualization & Computer Graphics，2011,17(11):1676-1689.

[15] ZHOU Feng，TORRE F D L，HODGINS J K.Hierarchical aligned cluster analysis for temporal clustering of human motion[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2012，35(3):582-596.

[16] ZHAN Xiwu，HOUSER P R，WALKER J P,et al.A method for retrieving high-resolution surface soil moisture from hydros L-band radiometer and radar observations[J].IEEE Transactions on Geoscience & Remote Sensing，2006，44(6):1534-1544.

[17] KOVAR L，GLEICHER M.Automated extraction and parameterization of motions in large data sets[J]. ACM Transactions on Graphics,2004,23(3):559-568.

[18] SALTON G,MCGILL M J.Introduction to modern information retrieval[M].New York:McGrawHill，1983.

[19] 尹 征，唐春暉，張軒雄.基于改進型稀疏自動編碼器的圖像識別[J].電子科技,2016,29(1):124-127.

[20] 肖秦琨,李俊芳,肖秦漢.基于四元數描述和EMD的人體運動捕獲數據檢索[J].計算機技術與發展,2014,24(3):90-93.

[21] 呂 剛,郝 平,盛建榮.一種改進的深度神經網絡在小圖像分類中的應用研究[J].計算機應用與軟件,2014,31(4):182-184.

[22] 楊 濤.運動捕獲數據關鍵幀提取及檢索研究[D].杭州:浙江大學,2006.

[23] 李 婷.基于運動捕獲數據的人體運動編輯技術研究[D].武漢:華中科技大學,2008.

[24] 鄭啟財.基于深度學習的圖像檢索技術的研究[D].福州:福建師范大學,2015.

[25] 連荷清.人體運動捕獲數據的檢索方法研究[D].南京:南京理工大學,2013.