基于Kinect V2的上肢康復運動評價系統研究

毛堃

摘 要：我國每年發生腦卒中的病人就高達200萬，其中大部分存在不同程度的偏癱。數量龐大的偏癱待康復的患者對現有的醫療體系造成了巨大的壓力，而現有的上肢康復訓練主要還是一對一的訓練模式，指標量化程度低，評價主觀性較強，因此，急需一種更為高效的訓練模式和評價方法。本文提出一種基于Kinect V2的上肢康復運動評價系統。該系統采用卡爾曼濾波對骨骼數據進行濾波，使用C#實現人機交互界面，并搭建出基于SQL Server的運動數據庫，最終通過動態時間規整算法實現對上肢康復運動的評價。

關鍵詞：Kinect V2;上肢康復;卡爾曼濾波;動態時間規整

中圖分類號：TP391.41;TH789 文獻標識碼：A 文章編號：1003-5168（2020）25-0009-04

Abstract： In China， there are 2 million stroke patients every year， and most of them have different degree of hemiplegic. The hospital have huge pressure to deal with these mass number of stroke patients. Meanwhile， recent rehabilitation training is mainly one-to-one mode， where index has low quantization and assessment is strong subjective. Therefore， a more efficient rehabilitation training mode and assessment is needed. In this paper， a rehabilitation assessment system based on Kinect V2 for upper limb was proposed. In this system， the bones data is filtered by Kalman filter， HMI is realized with C#， and movement database is established based on SQL Server. Finally， rehabilitation assessment for upper limb is achieved by applying Dynamic Time Warping （DTW） algorithm.

Keyword： Kinect V2;upper limb rehabilitation;Kalman filter;DTW

1 研究背景

根據統計，我國每年發生腦中風病人達200萬，發病率高達120/10萬。現幸存中風病人 700 萬，其中450萬病人不同程度喪失勞動力和生活不能自理，致殘率高達75%，其中偏癱最為常見[1]。醫學證明，除了藥物治療之外，運動康復訓練對于偏癱患者的康復具有至關重要的作用。然而，康復訓練是一個長期的過程。而目前的上肢康復訓練主要還是醫師與患者一對一的訓練模式，但由于專業的康復醫護人員與患者數量嚴重不匹配，康復訓練過于單調枯燥，康復動作評價仍然存在一定的主觀性，因此，急需一種更為高效的訓練模式和評價方法。

隨著軟件技術的飛速發展，虛擬現實技術已日趨成熟，被廣泛應用于游戲、工程制造、航空航天和醫療領域，而其在醫療康復中的應用價值已經得到了學者們的廣泛認可，并進行了一系列的實驗與研究。意大利貝加莫大學的Vitali等人基于Kinect開發了用于上肢康復訓練的評估軟件，由于肩膀運動過程中肩關節的運動中心位置可能發生位移，因此，采用iPi Soft Studio對肩關節做無標記運動捕捉，從而實現Kinect對肩關節旋轉中心識別的偏差進行修正[2]。美國卡內基梅隆大學的Min Hun Lee等人開發了基于Kinect的運動康復評價系統。該系統采用機器學習算法對運動數據進行評價。研究者還通過對11名健康志愿者和15名偏癱患者進行實驗，驗證了該系統的有效性[3]。華東理工的蔣婷婷實現了基于虛擬環境的上肢主動康復控制系統，用于中風病人的康復訓練，論證了虛擬現實系統有助于提高患者在訓練過程中的積極性，對中風病人的上肢康復訓練是有效的[4]。

雖然上述基于Kinect上肢康復訓練系統已經能實現對患者上肢康復運動進行簡單評價，但是由于現有的Kinect輸出的骨骼信號仍然存在噪點，特別是當骨骼數據出現較大偏差時，傳統的濾波算法在對其進行濾波時跟蹤性能較差。因此，本文采用卡爾曼濾波算法，實現對于上肢的穩定識別，并最終通過動態時間規整算法實現對上肢康復運動的評價。

2 系統總體設計

本系統采用Kinect V2體感傳感器，一方面可以對康復專家的標準上肢康復動作進行識別和錄制;另一方面，對患者的上肢康復訓練動作進行識別，PC電腦將康復專家和患者的骨骼數據通過動畫的方式在人機交互界面中顯示出來，同時，將骨骼數據實時保存到SQL Server數據庫中，并最終根據患者和專家之間的動作匹配度給出患者本次的運動評價，本系統的控制框圖如圖1所示。

本系統采用的是微軟公司推出的Kinect第二代體感傳感器（Kinect V2），目前廣泛應用于消費娛樂電子市場。該傳感器由一個分辨率為1 920×1 080的彩色攝像頭、深度傳感器（包括紅外發射器和接收器）和麥克風陣列等部件組成，能快速實現對人體骨骼的識別以及定位，并支持每秒30幀的數據輸出。其中，每一幀中的數據中可以最大同時輸出6個人的骨骼數據，包括每個人25個關節點的三維坐標數據。與此同時，Kinect V2具有較大的識別距離，最大和最小識別距離分別為4.5 m和0.5 m，傳感器感知視野水平角度最大為70°，垂直角度最大為60°。Kinect V2較大的可識別角度/距離和強大的骨骼識別能力為本系統的運動識別提供了硬件保障。

3 系統軟件設計

3.1 卡爾曼濾波

卡爾曼濾波算法是一種利用觀測值和估計值對真實的數據值進行估計修正的過程，在對動態的數據處理方面，具有較好的濾波效果和預測效果，因此，廣泛應用于航空、雷達跟蹤等領域。卡爾曼濾波算法的核心公式為：

式中，[xk]表示[k]時刻的先驗狀態估計值，即根據[k-1]時刻的最優估計所預測得的[k]時刻的結果;[xk-1]和[xk]分別表示為第[k-1]時刻和[k]時刻的后驗狀態估計值，即最優估計值;[Pk]表示[k]時刻的先驗狀態估計值的協方差，即[xk]的協方差;[Pk-1]和[Pk]分別表示[k-1]時刻和[k]時刻的后驗狀態估計值的協方差，即[xk-1]和[xk]的協方差;[H]表示狀態變量到測量的轉換矩陣;[zk]表示測量值;[Kk]表示濾波增益矩陣;[A]表示狀態轉移矩陣;[Q]表示系統的協方差;[R]表示噪聲協方差;[B]表示輸入轉換為狀態的矩陣。

本系統采用卡爾曼濾波對來自于Kinect V2的骨骼三維坐標數據進行濾波，特別是對于由服裝衣著造成的關節點識別錯誤造成的噪聲數據的濾波，從而實現對真實骨骼數據的穩定跟蹤，保證了后續的運動匹配和評價的準確性。

3.2 人機交互界面設計

本系統使用Visual Studio 2017對人機交互界面進行基于C#的編程，使醫生和患者在使用本系統時有較好的用戶體驗。本系統的人機交互界面如圖2所示。

本系統的人機交互界面實現了從Kinect V2骨骼數據的讀取和三維骨骼視圖顯示、數據庫的連接和讀取顯示、專家標準動作的錄制、患者康復的運動評價等，具有界面友好、操作方便和運行流暢的優點。

3.3 數據庫的搭建

本系統采用SQL Server搭建出上肢康復運動評價系統的數據庫，用于醫生/患者的基本信息、專家的上肢標準動作數據、患者的上肢康復運動數據等的存儲和讀取。其中的運動數據表中，保存了所有上肢關節的三維坐標及關節的角度值，方便后期實現運動的快速重現以及數據的分析和處理。

3.4 運動匹配與評價

在患者上肢康復運動完成后，系統自動將動作數據與存儲在數據庫中的專家標準動作運動數據進行匹配。由于患者上肢各部位的尺寸與專家存在差異，而且完成整套動作中的時間也很難保持一致，采用傳統的歐式距離模板匹配法很難實現動作評價，因此，本系統采用能對兩個數據進行拉伸和收縮以進行最佳匹配的動態時間規整（Dynamic Time Warping，DTW）算法進行患者上肢運動數據與標準動作之間的匹配。

本系統將患者上肢的肘關節、肩關節和腕關節的三維坐標作為DTW算法匹配的基礎數據，通過對三個關節的DTW距離值進行累加，從而得到最終整個上肢的DTW距離值。根據DTW距離值的大小對患者上肢康復運動的標準程度進行評價打分，醫生可以基于該系統的評價分數對患者的康復狀態進行有效評估，從而對患者進行下一階段更為合適的康復運動訓練。

4 系統驗證

為了驗證本上肢康復運動評價系統的有效性，以一個正常人進行一次左手碰頭的動作進行實驗。

在Kinect V2的濾波方面，實驗數據表明，經過卡爾曼濾波后，人體上肢的骨骼運動數據變得更為穩定。以肘部的[X]軸坐標值為例，一次左手碰頭的動作持續時間約8 s，具體的數據波形如圖3所示。

波形圖中的灰色曲線為未經過濾波的原始數據，而黑色曲線為經過卡爾曼濾波后的數據。從圖3中可以看出，在骨骼數據出現突變時，本系統可以對其進行有效濾波，并能快速對動作進行跟蹤。

在對于上肢康復運動評價方面，測試者分別通過以下三種動作來模仿標準動作。

動作1：動作緩慢，但是與標準動作保持一致。

動作2：與標準動作在位置和速度上保持高度一致。

動作3：與標準動作在位置和速度方面都有較大差異。

本系統自動將上述測試者的上肢運動數據與事先錄制好的標準模板數據進行匹配，得到最終的DTW距離值分別為20.05、12.13、39.51。

從上述匹配結果可以看出：距離值最大的是動作3，匹配度最低;距離值最小是動作2，匹配度最高;而動作1的距離值居中，匹配度居中。這證明了本系統對動作識別和評價的有效性。

5 結語

本文基于Kinect體感傳感器搭建了一種上肢康復運動評價系統，通過非接觸式的方式對上肢運動進行識別，采用卡爾曼濾波算法對來自Kinect的骨骼數據進行濾波，并利用DTW算法實現運動匹配。實驗結果表明，本文所搭建的基于Kinect的上肢康復運動評價系統能實現對上肢運動的穩定識別和運動評價，并具有成本低、精度高、操作簡單和攜帶方便等優點，使得醫護人員可以對上肢康復運動進行標準化評價，提高評價效率。

參考文獻：

[1] Coker R H，Deutz N E，Schutzler S，et al. Nutritional supplementation with essential amino acids and phytosterols may reduce risk for metabolic syndrome and cardiovascular disease in overweight individuals with mild hyperlipidemia[J]. Journal of Endocrinology Diabetes & Obesity，2015（2）：1069.

[2]Vitali A ， Regazzoni D ， Rizzi C ， et al. Neuro-cognitive Rehabilitation： Design of VR Serious Games for Patients with Severe Memory Loss[C]// CAD'20. 2020.

[3] Lee Min Hun， Siewiorek Daniel P， Smailagic Asim， et al. Learning to assess the quality of stroke rehabilitation exercises [C].//24th ACM International Conference on Intelligent User Interfaces. Marina del Ray， United states： Association for Computing Machinery， 2019.

[4]蔣婷婷.基于虛擬環境的中風病人上肢康復主動控制系統研究[D].上海：華東理工大學，2017.