運動捕捉人工智能系統在速滑項目中的應用

張馬森， 曲毅， 崔婧， 劉卉

(1.北京體育大學運動人體科學學院， 北京 100084； 2.大連銳動科技有限公司， 大連 116033； 3.北京體育大學中國運動與健康研究院， 北京 100084)

速度滑冰是以技術為核心的競速類項目。動作技術是決定速度滑冰運動員競技能力和能否取得優(yōu)異成績的重要因素。科學合理的動作技術對提高輸出功率、減小前進阻力至關重要。比較不同速度滑冰運動員動作技術的差異，確定動作技術特征規(guī)律對指導運動訓練具有較大的理論和實踐價值。使用錄像與影像解析的方法，采集和解析速度滑冰運動員在訓練或比賽時的動作特征數據，可以為分析速度滑冰運動員的動作技術提供科學定量的運動學數據。

人工解析影像是非實驗室條件下，尤其是正式比賽中獲得動作特征數據唯一可行的方法。獲得人體運動過程中關節(jié)點的坐標，并計算運動學指標，是獲得動作技術特征數據的基礎。但攝像機拍到的是連續(xù)多幀畫面，為了從畫面中提取人體關節(jié)點的坐標信息，需要專業(yè)研究人員對影像進行逐幀、逐點的解析，任務重，反饋慢，嚴重制約了對運動員動作技術的分析診斷[1-2]。采用二維拍攝的方法雖然降低工作量，但平面數據對速度滑冰運動員的滑行技術、蹬冰技術描述不全面、不準確[3]。

近年來，基于計算機視覺的無標記人體運動捕捉系統使得在非實驗室條件下的動作分析成為可能。但是傳統的機器學習算法對原始運動學數據的處理能力有限，而深度學習的出現使得計算機視覺領域取得了突破性的進步[4-5]。基于深度學習在物體檢測、識別領域的良好結果，有學者提出了基于跨層網絡的危險品X射線圖像自動識別方法，檢測精度和效率更高[4]。在無人機識別領域，孫顥洋等通過深度卷積神經網絡對空中無人機進行實時識別，利用長短期記憶網絡對飛行映射軌跡進行檢測，從而實現了對無人機的自動識別和軌跡預測[6]。針對高分辨圖像下檢測效果差、效率低等問題，朱雅喬等[7]提出了一種基于LDCF-ResNet50的深度學習模型檢測方法，使得對行人檢測的精度提高17.77%。除此之外，深度學習技術在人體行為識別[8]、機器人自定位[9]、廢棄物分類[10]、目標檢測[11]、影像密集匹配[12]等領域也具有廣泛的應用。

為克服人工解析影像獲取人體動作特征數據的局限性，北京體育大學聯合大連銳動科技有限公司研發(fā)了一套基于計算機視覺深度學習技術的人體運動自動捕捉人工智能系統，通過攝像機獲取比賽時的運動特征影像，依托深度學習算法建立的人體姿勢的神經網絡模型，確定人體關節(jié)點的位置。該系統使用4 000余套由專業(yè)研究人員人工解析的人體運動學數據集進行深度學習訓練，使其能夠自動識別解析運動時的人體關節(jié)點，獲得每個關節(jié)點的二維像素坐標[13-14]。該系統已應用于標槍、鐵餅運動員的動作技術分析[14-15]， 但拍攝速度滑冰運動員的完整步態(tài)周期所需要的拍攝范圍要遠大于投擲項目，至少需要覆蓋14 m×8 m×2 m的空間范圍[16]，隨著拍攝范圍的擴大，運動員在拍攝畫面中的比例縮小，將降低解析獲得的人體關節(jié)點三維坐標的精度，因此該系統應用于大范圍運動場景的有效性還有待驗證。

在速度滑冰項目中，中國極少數運動員不斷在國際大賽滑出佳績，但其他運動員卻沒有突破性的提高，運動員的動作技術差異可能導致其運動表現受到限制，而頂尖運動員可能不適合大樣本的統計分析。對中國頂尖的速度滑冰運動員進行個性化分析，可能更有助于他們提升運動表現并在國際比賽中獲得獎牌[17]。

本文研究的目的是比較人體運動自動捕捉人工智能系統在大范圍運動場景下自動解析的人體關節(jié)點三維坐標-時間曲線與專業(yè)研究人員人工解析的人體關節(jié)點三維坐標-時間曲線的相似性和差異，以驗證該系統快速、精確獲得人體關節(jié)點三維坐標的有效性，并將其應用于速度滑冰項目中，對頂尖運動員的動作技術進行分析診斷，確定影響頂尖運動員運動表現的技術特征。本文研究擬驗證以下假設：①人體運動自動捕捉人工智能系統自動解析的人體關節(jié)點三維坐標-時間曲線與人工解析的人體關節(jié)點三維坐標-時間曲線的多重相關系數大于0.90，差值的平均值小于0.025 m；②2020年全國速度滑冰錦標賽男子1 500 m項目的冠軍和亞軍均具有影響其運動表現的動作技術特征。

1 研究方法

1.1 測試對象

驗證人體運動自動捕捉人工智能系統有效性的測試對象為10名國家一級以上水平的速度滑冰運動員，使用這些運動員在模擬比賽時的運動學數據。人體運動自動捕捉人工智能系統在速度滑冰項目中應用的測試對象為2020年全國速度滑冰錦標賽男子1 500 m項目的冠、亞軍，比賽成績及每圈時間如表1所示。

表1 冠、亞軍的比賽成績及每圈時間

1.2 人體運動自動捕捉人工智能系統

北京體育大學聯合大連銳動科技有限公司研發(fā)的人體運動自動捕捉人工智能系統，是基于計算機視覺深度學習技術建立人體運動自動跟蹤和姿勢估計的神經網絡模型[14,18]。該系統使用了光流跟蹤技術，減小了運動造成的影像模糊和背景干擾等因素對計算機系統跟蹤運動人體的干擾。在準確捕捉到運動人體后，該系統應用卷積神經網絡方法，通過使用大量已解析好的訓練數據集進行深度學習并訓練生成估算人體姿勢的神經網絡模型，建立關節(jié)點在人體外輪廓內的位置概率分布圖，使人體姿勢估算神經網絡模型能夠識別不同運動中的人體關節(jié)點，自動讀取關節(jié)點的像素坐標[14]。在采集到關節(jié)點三維坐標數據后，利用模型驅動的計算功能，自動計算人體運動學數據。

1.3 數據采集

采用三維定點拍攝的方法獲取10名速度滑冰運動員模擬比賽時的運動特征影像。使用2臺分辨率為1 920×1 080的高清晰度攝像機(SONY FDR-AX700，SONY 公司，日本)拍攝運動員在直道滑行時的動作技術。1臺攝像機放置于直道前方外側，另1臺攝像機放置于直道前方內側，2臺攝像機主光軸的夾角約為90°，拍攝頻率為60 Hz/s，快門速度為1/500 s，手動對焦。正式測試前，在跑道上放置4根標定桿，將每根標定桿上的6個小球作為標定小球，構成約14 m × 8 m × 2.5 m的標定空間(圖1)，測量4串小球在地面投影點之間的距離。在標定空間中心處放置5個標志點(G0～G4)以建立大地坐標系，X軸指向前進方向，Y軸指向跑道左側，Z軸指向上方。標定完成后，移除所有的標定設置。隨后對每名運動員的滑跑動作進行拍攝。采用同樣的方法拍攝2020年全國速度滑冰錦標賽男子1 500 m比賽中運動員的直道動作技術。使用國際滑冰聯盟(International Skating Union)認可的電子計時系統記錄運動員每圈的時間，精度為0.001 s。

圖1 標定設置Fig.1 Calibration setting

1.4 數據處理及分析

使用人體運動自動捕捉人工智能系統對模擬比賽視頻進行自動解析，獲得2臺攝像機中人體21個關節(jié)點的二維坐標，使用直接線性轉換(direct linear transformation)方法將解析數據合成大地坐標系下的三維坐標，使用 Butterworth 低通濾波方法對解析的三維坐標-時間曲線進行濾波處理，截斷頻率為10 Hz。此外，由專業(yè)研究人員對獲得的原始影像進行人工逐幀、逐點的解析，獲得人體21個關節(jié)點的三維坐標-時間曲線。計算自動解析的人體關節(jié)點三維坐標-時間曲線和人工解析的人體關節(jié)點三維坐標-時間曲線的多重相關系數和差值的平均值。計算方法參考文獻[19-20]。

使用人體運動自動捕捉人工智能系統對錦標賽視頻進行自動解析，獲得21個關節(jié)點的三維坐標，計算運動特征數據。其中，蹬冰角指的是右側冰刀離地前一時刻右腿(髖-踝關節(jié)中心點連線)與地面的夾角，膝后角指的是右腿單支撐中期右側髖、膝、踝關節(jié)中心點的夾角，軀干角指的右腿單支撐中期軀干(左、右肩中點與左、右髖中點連線)與水平面的夾角。

2 結果

2.1 人體運動自動捕捉人工智能系統有效性的驗證

對訓練環(huán)境下10名速度滑冰運動員的錄像分別進行自動解析和人工解析，自動解析的人體關節(jié)點三維坐標-時間曲線與人工解析的人體關節(jié)點三維坐標-時間曲線的相關系數均大于0.90，90%的自動解析曲線與對應的人工解析曲線的相關系數大于0.95。除右肘X坐標、左腕XY坐標、左手XYZ坐標外，其他關節(jié)點的自動解析曲線與人工解析曲線的差值小于 0.025 m(表2)。

表2 自動解析與人工解析的人體關節(jié)點三維坐標- 時間曲線的相關系數與差值

2.2 人體運動自動捕捉人工智能系統在速度滑冰項目中的應用

對2020年全國速度滑冰錦標賽的兩名頂尖運動員的錄像進行自動解析。結果顯示，冠軍第1圈的速度慢于亞軍。冠、亞軍的速度差異主要發(fā)生在比賽中、后程，冠軍降速的幅度較小。冠、亞軍蹬冰角的差異主要發(fā)生在比賽中、后程，冠軍的蹬冰角較小，蹬冰角差異的變化趨勢與速度基本一致。滑行姿態(tài)方面，冠軍的膝后角小于亞軍，軀干角大于亞軍，但整體上差異較小，并且差異的變化趨勢與速度不一致(圖2)。

圖2 冠、亞軍每圈的速度和動作特征Fig.2 Skating speed and kinematic characteristics of each circle of champion and runner-up

3 討論

3.1 人體運動自動捕捉人工智能系統有效性的驗證

研究結果部分支持第一個假設。人體運動自動捕捉人工智能系統自動解析的人體關節(jié)點三維坐標-時間曲線與專業(yè)研究人員人工解析的人體關節(jié)點三維坐標-時間曲線的相關系數均大0.90，90%的自動解析曲線與相應的人工解析曲線的相關系數大于0.95。人體關節(jié)點的自動解析曲線與人工解析曲線相似度越高，由此計算得到的速度-時間曲線及人體關節(jié)三維角度相似度越高。相關系數低于0.95的全部是人體關節(jié)點的Z坐標，這可能與運動員的蹲屈姿勢有關。速度滑冰項目中，運動員在垂直方向上的運動幅度小于左右方向及前進方向，多重相關系數是2組數據的差異與數據變化量的比值[14]，2組數據差異相似的情況下，數據變化量越小，多重相關系數越低。

研究結果還顯示，除右肘X坐標、左腕XY坐標、左手XYZ坐標外，其余人體關節(jié)點的自動解析曲線與人工解析曲線的差值小于0. 025 m，進一步支持了人體運動自動捕捉人工智能系統的有效性。檢查數據發(fā)現，差異較大的是上肢關節(jié)點。9名運動員在滑行過程中左手背在身后，左臂運動幅度較小。此外，兩臺攝像機放置于運動員的側前方，左側前臂幾乎被全程遮擋，右臂在擺臂時也會發(fā)生不同程度的遮擋，導致自動解析的坐標數據出現較大誤差，這可能是本研究中自動解析的上肢關節(jié)點三維坐標-時間曲線與人工解析的上肢關節(jié)點三維坐標-時間曲線差異較大的原因，而基于實踐和文獻可知，在中、長距離速度滑冰項目中，運動員往往單擺臂或背手滑行，上肢運動不是中、長距離項目的核心技術[16]。綜上可得，這些結果支持了人體運動自動捕捉人工智能系統在大范圍運動場景下獲得人體運動學數據的有效性。今后應增加攝像機數量及更新算法，進一步提高自動解析人體關節(jié)點三維坐標的精度。

3.2 人體運動自動捕捉人工智能系統在速度滑冰項目中的應用

研究結果部分支持第二個假設。冠、亞軍的速度差異主要發(fā)生在比賽中、后程，亞軍第1圈的速度較快，但后程降速明顯，可能是因為出發(fā)節(jié)奏相對較快使得體能消耗過多、代謝產物堆積及內穩(wěn)態(tài)紊亂[21]，導致比賽中、后程的速度與冠軍差距較大，提示運動員應平穩(wěn)出發(fā)，以推遲疲勞的產生或降低疲勞的影響，從而提高比賽成績[22]。冠、亞軍蹬冰角的差異也發(fā)生在比賽中、后程，冠軍的蹬冰角較小，并且差異的變化趨勢與速度基本一致。冠軍依靠較強的身體素質和精湛的動作技術，始終維持較高的加速度，一定程度上避免了后程降速嚴重的問題，也進一步提示耐力素質和蹬冰動作對中、后程加速能力及提高比賽成績的重要性[23]。速度滑冰運動員滑跑時的動力主要來源于強有力的蹬冰動作，更準確地講來源于每次蹬冰時的輸出功率[24]。有研究表明，在影響輸出功率的因素中，蹬冰角的相關性最大(r=-0.963，p<0.01)[25]，蹬冰角每降低1°，速度增加0.011 m/s。Noordhof等[3]甚至提出在國際比賽中能夠根據蹬冰角的大小區(qū)分運動員的競技水平。本文研究中，冠軍的蹬冰角小于世界級運動員[3]，進一步證實了蹬冰角的重要性。蹬冰角客觀反映速度滑冰動作中蹬冰技術的細節(jié)和實效，在一定范圍內，蹬冰角越小，蹬冰肌肉做功的動作幅度增加，使得蹬冰越充分，帶動身體迅速提高速度，從而大幅度提高比賽成績。

雖然冠軍的蹬冰角較小，但自由滑行時的蹲屈姿勢并未更低。傳統觀點認為，較小的蹬冰角和較低的蹲屈姿勢有助于增大推進力，減少阻力。本文研究中，冠軍的膝后角小于亞軍，軀干角大于亞軍，但整體上差異較小，并且差異的變化趨勢與速度不一致。速度滑冰成績取決于輸出功率和克服阻力功率的差值。速度滑冰運動員的機械能除了產生向前推進的動力，主要用于克服阻力，其中空氣阻力占80%[26]。空氣阻力取決于身體正迎風面積和滑行速度，身體正迎風面積取決于運動員的滑行姿態(tài)，即運動員的下肢蹲屈程度和軀干前傾幅度。在自由滑行階段，較小的膝后角既有利于降低空氣阻力，又有利于增加蹬冰時的伸膝幅度，提高蹬冰效果[26]。保持軀干的平穩(wěn)同樣是維持身體平衡、減小空氣阻力的關鍵，但也有研究認為軀干角的變化不是滑冰技術的核心問題[27]。本文研究認為，雖然自由滑行時較大的軀干角會增加空氣阻力和能量消耗，但有利于呼吸系統、血液循環(huán)系統和內臟器官活動，同時蹬冰起始時刻軀干位置較高，有效增加蹬冰時間和幅度，從而提高推進力和蹬冰效果，可能彌補甚至超越對成績的不利影響。Clap冰刀也是通過增加蹬冰幅度，從而提高蹬冰效果，使世界紀錄頻頻被打破[25]。但從整體上看，冠軍與亞軍的膝后角、軀干角差異較小，并且差異的變化趨勢與速度不一致，提示滑行姿態(tài)可能不是影響頂尖運動員成績差異的主要原因。

綜上可得，頂尖運動員的成績差異主要來源于蹬冰動作。本文研究基于冠軍的動作特征推測，采用下肢蹲屈姿勢較低、軀干前傾幅度較小(膝后角較小，軀干角較大)的滑行姿態(tài)和強有力的蹬冰動作可能有助于提升運動表現。基于本文研究的結果，建議冠軍應適度提高出發(fā)速度，建議亞軍應適度降低出發(fā)速度，降低蹬冰角，但這些建議均需要干預效果的驗證。今后應進一步探究降低蹬冰角所必備的身體機能、身體素質和技術特點，探究不同出發(fā)策略、不同蹬冰動作和滑行姿態(tài)對成績的影響。

本文研究是對頂尖運動員的動作技術診斷，研究結果可能不適用于其他運動員。而真正的頂尖運動員是特殊的，他們在堅持技術標準的前提下，與個人特點結合形成個性化的技術風格，大樣本的統計分析可能并不適合真正的冠軍。在備戰(zhàn)冬奧會精兵-沖刺的關鍵階段，聚焦重點隊員，在科技支撐、技術診斷等方面給予重點支持，有助于中國優(yōu)勢項目運動員在北京冬奧會上獲得更多的金牌和獎牌[15,17,28]。

4 結論

人體運動自動捕捉人工智能系統能夠在大范圍運動場景下快速、精準地獲得人體關節(jié)點三維坐標數據，提供速度滑冰運動員的生物力學參數和效果指標。該系統解決了非實驗室條件下不在運動員身上粘貼反光點同樣可獲得運動學數據的問題，同時無需人工逐幀、逐點的識別解析，極大地降低了工作量，提高了動作技術分析的效率。將該系統應用于速度滑冰運動員的動作技術分析，得出頂尖運動員的成績差異主要來自蹬冰效果的不同，提示運動員應著重改善蹬冰動作，提高蹬冰效率。

今后應不斷更新算法，完善數據同步、數據精度、個性化指標計算等方面的功能，進一步提高針對大范圍運動場景，或存在遮擋、陰影時的數據精度，從而實現動作技術信息的更快速、更精準的反饋；應大量測試和采集中國優(yōu)秀速度滑冰運動員的動作技術特征，進行橫向和縱向比較；應借助中國舉辦國際比賽的機會采集和借鑒國際頂尖運動員的動作技術特征，為制定科學有效的訓練方案提供依據。