基于Kinect和虛擬現實康復訓練系統設計與實現

徐衛偉,程 鵬,李艷君

北京體育大學,北京 100084

隨著人口老齡化水平的加劇，高血壓、腦卒中、老年癡呆等心血管疾病發病率逐年升高，統計結果表明，70%～85%的腦卒中患者會伴隨產生一定程度的運動障礙，嚴重影響患者的生活質量[1,2]。大量研究結果表明，大量重復性和高密度性的康復訓練可以使得患者的身體功能得到最大限度的恢復，改善患者的生活質量，提高其生活、工作和學習能力[3]。傳統的康復訓練方法主要采用輔助按摩的方式進行，要求在專業地點進行，訓練治療過程單調乏味，而且存在訓練效果和訓練強度無法準確評價的缺點。為了克服傳統康復訓練方法的缺點，將Kinect和虛擬現實結合起來，開發出一種基于Kinect和虛擬現實的康復訓練系統，實現患者在家或者社區里就能進行康復訓練，同時提高訓練效果并對訓練效果進行評估，為患者的下一步康復治療提供決策依據。

1 康復訓練系統設計

1.1 系統構成

圖1 基于Kinect和虛擬現實的康復訓練系統Fig.1 Rehabilitation training system based on Kinect and virtual reality

基于Kinect和虛擬現實的康復訓練系統組成模塊如圖1所示，主要包括如下模塊[4]：

（1）傳感器數據采集模塊：負責數據采集和數據轉換功能；

（2）后臺實時數據處理模塊：負責數據處理、數據存儲和數據輸出等功能；

（3）虛擬老師標準動作模型庫模塊：負責指導患者訓練動作的示范、選擇和訓練模式的選擇等功能；

（4）患者動態形象虛擬化模塊：負責患者訓練動作的虛擬化等功能；

（5）網絡交流模塊：負責患者訓練數據對的加載和上傳、醫生下載訓練數據。

該系統主要功能結構如圖2所示。

圖2 系統結構功能圖Fig.2 Function of the system structure

1.2 開發平臺

該系統軟件基于Visual Studio 2015環境開發[5]，傳感器[6]采用Kinect for Windows SDK V1.6，患者訓練端采用Windows窗體應用程序，網絡服務端和客戶端采用ASP.NET Web應用程序[7]。圖3所示表示不同訓練場景圖。

圖3 訓練場景圖Fig.3 Training scene

1.3 網絡設計

康復訓練系統的網絡交流模塊主要分為患者登錄客戶端和醫生登錄客戶端，基于VS2015的ASP.NET實現設計。主要功能包括患者可以瀏覽醫生的反饋信息和相關網站，醫生根據患者編號提交訓練信息、評價和建議。

2 模塊設計

2.1 傳感器數據采集模塊

Kinect傳感器通過黑白光譜的方式來感知環境，通過生成深度圖像流[8]，實現周圍環境的3D模型復現。通過Kinect傳感器可以得到20點二維人體骨架投影如圖4所示。通過骨架投影信息可以提取人體運動特征和姿態特征。

圖4 二維人體骨架投影圖Fig.42D projection of the human body skeletons

2.2 后臺實時數據處理模塊

通過Kinect傳感器采集患者訓練數據并進行預處理，之后系統將對患者的運動數據進行實時自動評分，通過計算相應關節連線的夾角，提取關鍵動作并進行評分。

2.3 標準動作模型庫模塊

該系統用戶訓練模式包括標準模式和高級模式，其中標準模式包含4個動作，動作順序和數量不能刪減；高級模式包括5個動作，動作順序和數量可以自定義設置。用戶訓練時，可以根據虛擬老師動作進行訓練，系統將用戶的動作和虛擬老師動作進行對比并評分，訓練結束后，給出綜合評價，并為患者下一步康復訓練提供相應的建議和意見。

2.4 患者動態形象虛擬化模塊

康復訓練系統通過Kinect傳感器每秒采集30幀數據，并將患者進行虛擬化映射——動態實時火柴人[9,10]，其映射結果如圖5所示，系統根據用戶和虛擬老師之間的差異進行動態調整。

圖5 Kinect人體虛擬化節點Fig.5 Kinect human virtualization nodes

2.5 網絡交流模塊

網絡交流模塊基于VS2015的ASP.NET實現設計。主要功能包括患者可以瀏覽醫生的反饋信息和相關網站，醫生根據患者編號提交訓練信息、評價和建議，患者登錄客戶端如圖6所示

圖6 患者登錄客戶端界面Fig.6 Interface of patient login

3 系統實現

該訓練軟件系統主要采用模塊設計[11]，主機程序包括主程序、Kinect初始化、圖像識別、串口通信等，基于VS2015和Kinect for Windows SDK V1.6，系統程序流程如圖7所示。

圖7 系統程序流程圖Fig.7 Flow chart of the system programs

Kinect將采集到的患者訓練圖像信息（動作特征和姿態特征）傳送給上位機[12]，上位機經過圖像處理和虛擬化映射后識別出人體動作并輸出結果。

虛擬老師和患者訓練實時對比圖，其中，圖8左圖表示虛擬老師肘關節屈曲動作引導，圖8右圖為患者的虛擬化火柴人。大量實驗結果表明，該康復訓練系統可以使得患者的身體功能得到最大限度的恢復，改善患者的生活質量，提高其生活、工作和學習能力

圖8 虛擬老師和患者訓練實時對比圖Fig.8 Real-time comparison of virtual teacher and patient training

4 結 論

為了克服傳統康復訓練方法的缺點，將Kinect和虛擬現實結合起來，開發出一種基于Kinect和虛擬現實的康復訓練系統，實現患者在家或者社區里就能進行康復訓練，同時提高訓練效果并對訓練效果進行評估，為患者的下一步康復治療提供決策依據。