基于關鍵幀的上肢運動評價方法研究

毛堃 吳小敏

摘 要：Kinect V2能夠對人體上肢的骨骼實現穩定且準確的識別，因此，許多學者都將其應用于上肢運動康復的評價領域。為提高Kinect V2對于上肢運動的匹配速率，提出了一種基于關鍵幀的快速評價方法。通過提取整個動作序列中骨骼點的三維坐標極值，并記錄對應的幀ID，從而生成新的骨骼序列，最終采用動態時間規整（DTW）對動作進行匹配。為驗證該評價方法的有效性，對健康的志愿者進行了試驗，試驗結果表明，該方法具有較高的匹配效率。

關鍵詞：Kinect V2;上肢康復;關鍵幀;動態時間規整（DTW）

0 引言

隨著傳感器技術和數據分析技術的飛速發展，智能運動評價系統已經得到了廣泛應用，其在康復領域的應用價值也得到了學者們的廣泛認可。近年來，國內外各研究機構和學者針對康復運動研制了各種智能評價系統，對于上肢康復運動數據的采集方式目前主要有兩大類，一類是以加速度傳感器為代表的慣性傳感器，另一類則是以Kinect為代表的視覺傳感器[1]。

Kinect由于其在人體骨骼識別方面優越的性能以及無須額外佩戴的便捷性，在許多學者關于康復訓練和康復評價的研究中得到應用。白敬等人[2]提出了一種基于工作空間測量的居家腦卒中患者上肢偏癱康復訓練評估系統，實現患者居家康復訓練與評估。該系統通過Kinect V1對患者上肢的運動數據進行采集，計算出對應的水平角和高度角，從而分析出對應的患者上肢可到達的工作空間相對表面積，并基于DTW算法計算患者上肢的水平角和高度角與標準動作之間的距離，但是并沒有針對關節角度計算出的距離做進一步評價準確性的對比研究。Scano[3]基于Kinect V2對上肢運動的關節角度進行識別，并對完成特定動作時的最大角度值進行方差分析，從而實現對患者康復運動狀態的評價。李志成等人[4]開發出面向患者的個性化上肢訓練系統，該系統通過Kinect采集運動數據，利用xml存儲康復訓練方案與虛擬場景，實現了個性化的主動式上肢康復訓練。北京工業大學的李俊[5]設計了基于Kinect的上肢康復訓練系統，搭建了基于B/S架構的數據管理系統網站，可在Web端對康復數據進行查看和操作，并通過添加閾值限定條件對傳統的DTW算法進行改進，從而降低計算量。

雖然上述學者實現了將Kinect應用于上肢康復運動評價，并具有較好的匹配精度，但是在匹配效率上仍然有很大的提升空間。因此，本文提出了基于關鍵幀的匹配方法，從而在保證原有匹配精度水平的前提下，能夠獲得較好的匹配速度。

1 關鍵幀的提取

關鍵幀的提取是指從整個運動視頻序列中提取最關鍵的視頻幀，利用這些關鍵幀與標準模版進行匹配，從而達到快速評價的目的。為了能夠降低關鍵幀提取的難度，本文提出一種基于極大值和極小值的關鍵幀提取方法，整個關鍵幀提取的具體流程圖如圖1所示。

1.1? ? 骨骼點坐標獲取

Kinect V2是一種集合了彩色攝像頭、深度攝像頭和紅外傳感器的融合式體感傳感器，其能夠實現對于傳感器前0.5～4.5 m距離的人體的穩定識別和跟蹤，最多可同時支持識別6個人，每個人的識別信息包括人體的25個骨骼點。其中，對于單側上肢可以識別出肩膀、肘部、腕部、手部、大拇指和指尖。

對于本文所研究的上肢運動，只需要提取上肢骨骼數據點。Kinect V2的骨骼數據輸出形式是每秒30幀，因此，為了使數據具有唯一性，必須對每一幀的數據進行幀ID的編號。每一個骨骼點的坐標數據又可以分為X軸、Y軸和Z軸3個軸的坐標值，其中X軸方向是以傳感器中心點為坐標原點，相對傳感器向左;Y軸方向是坐標原點向上;Z軸方向則是坐標原點向前。通過對骨骼幀函數的調用，就可實現骨骼點三維坐標的讀取。

1.2? ? 極大值和極小值的獲取

通過Kinect V2實時采集上肢的肘關節和腕關節的三維坐標X、Y、Z，在采集的同時，通過定義極大值數組和極小值數組來緩存對應肘關節和腕關節的X、Y、Z坐標數據和對應的幀ID。在采集到新的一幀骨骼數據時，將新的數據與緩存數據進行數值的比較。如果新的數據更大，則更新對應的極大值;如果新的數據更小，則更新對應的極小值，從而對X、Y、Z坐標值進行排序，并記錄對應的極大值和極小值所在的幀ID。

在采集動作結束后，基于上述緩存的幀ID和幀數據重新生成新的骨骼運動序列。接著，將新序列與模版進行DTW匹配，最終實現運動數據與模版數據的快速匹配評價。

2 試驗研究

本次試驗的平臺為基于Kinect V2的人體上肢動作識別系統，本系統的數據顯示界面如圖2所示。

2.1? ? 試驗平臺簡介

為了更直觀地觀察骨骼點的識別情況，可通過按鈕實現視頻流與骨骼數據的疊加顯示;此外，還加入了肘關節、肩關節和腕關節的角度實時顯示。

在數據呈現方面，增加了骨骼數據顯示界面，通過手動輸入對應的志愿者ID，以表格形式輸出顯示運動數據，除了骨骼點的坐標數據外，還包括試驗日期、試驗時間、試驗次數ID以及試驗幀數ID，從而使得整個數據庫的每一條數據可以唯一溯源。

2.2? ? 試驗及結果分析

試驗對象為一名健康的志愿者，男性，年齡19歲，身高176 mm，上肢關節都能正常運動。試驗的動作為“右手觸碰鼻子”，具體的試驗步驟如下：

首先，演示者以3 s勻速完成該動作，并保存骨骼數據;接著，志愿者采用3種不同的方式完成“右手觸碰鼻子”這一動作。

動作一：在對標準動作要求并不知情的前提下，完成觸碰鼻子的動作;

動作二：在得知部分動作要領的情況下，完成觸碰鼻子的動作;

動作三：在志愿者得知全部動作要領后，完成觸碰鼻子的動作。