基于Kinect的上肢康復訓練系統(tǒng)設計與實現

李源 常慶麗 劉浩林

摘 要：【目的】解決中風、腦血栓等疾病造成的肢體損傷在后期康復訓練中，采用傳統(tǒng)康復訓練需要康復醫(yī)師全程參與的局限性?！痉椒ā繉inect與Unity3D相結合，構建了一套上肢康復訓練系統(tǒng)，實現對患者信息管理、訓練設置、康復訓練、康復訓練結果查詢等功能。Kinect負責采集患者肢體運動狀態(tài)信息；Unity3D作為系統(tǒng)開發(fā)工具，實現對患者信息管理，同時也是康復訓練游戲的開發(fā)工具。系統(tǒng)采用SQLite數據庫并部署在騰訊云服務器上?！窘Y果】該系統(tǒng)提供的多個簡單、趣味、易操作的游戲能極大地提高患者康復訓練的積極性和主動性，從而達到患者康復訓練的效果。【結論】該系統(tǒng)對上肢運動障礙患者的康復訓練具有積極的應用價值。

關鍵詞：Kinect；Unity3D；康復訓練

中圖分類號：TP3；TM623.1? 文獻標志碼：A???? 文章編號：1003-5168（2024）08-0036-04

DOI：10.19968/j.cnki.hnkj.1003-5168.2024.08.007

Design and Implementation of Upper Limb Rehabilitation Training

System Based on Kinect

LI Yuan CHANG Qingli LIU Haolin

（School of Computer Science and Information Engineering， Anyang Institute of Technology， Anyang 455000， China）

Abstract： [Purposes] In order to solve the limitations of the traditional rehabilitation training in the late rehabilitation training for the limb injury caused by stroke， cerebral thrombosis and other diseases， the full participation of rehabilitation doctors is required. [Methods] In this paper， Kinect and Unity3D are combined to build a set of upper limb rehabilitation training system， which realized the functions of patient information management， training setting， rehabilitation training and querying rehabilitation training results. Kinect is responsible for collecting the information of patients' limb movement status， and Unity3D， as a system development tool， realizes the management of patient information and is also a development tool for rehabilitation training games. The system adopts SQLite database and deploys it on Tencent cloud server. [Findings] A number of games that are simple， interesting and easy to operate provided by the system can greatly improve the enthusiasm and initiative of patients' health training， so as to achieve the effect of rehabilitation training for patients. [Conclusions] The system has positive application value for rehabilitation training of patients with upper limb movement disorders.

Keywords： Kincect; Unity3D; rehabilitation training

0 引言

隨著社會的發(fā)展，人們的生活方式愈加多樣，生活質量不斷提高。但由于交通事故、中風、腦血栓等造成的肢體損傷也越來越普遍。統(tǒng)計結果表明，70%～85%的此類患者會伴隨一定程度的肢體功能障礙甚至缺失，嚴重影響患者的生活質量，同時也給患者家庭帶來了沉重負擔。研究表明，大量重復的肢體康復訓練能幫助患者改善身體機能、最大限度地恢復患者的肢體運動功能，從而提高患者的生活質量［1-2］。

為了改進傳統(tǒng)康復訓練存在的不足，本研究通過結合Kinect與計算機虛擬實現技術，開發(fā)一套基于Kinect的上肢康復訓練系統(tǒng)，實現患者在社區(qū)或家里都能進行康復訓練。借助該上肢康復訓練系統(tǒng)，康復醫(yī)師僅需為患者制定合理的康復訓練計劃并簡單指導患者進行康復訓練即可，從而減輕康復醫(yī)師的勞動強度。患者也可以根據自己的實際情況進行的針對性康復訓練，使患者從傳統(tǒng)康復訓練中的被動者變?yōu)橹鲃诱摺?/p>

Kinect具備強大的識別和提取用戶身上特征點并進行后續(xù)動作骨架追蹤的功能，因此可以使用Kinect作為信息采集傳感器。開發(fā)人員不必自行分析人體骨架節(jié)點信息，可以將主要精力投入到體感界面的設計。Kinect廣泛應用于體感游戲的人體動作數據采集［3-4］，但隨著Kinect應用推廣，Kinect的應用也延伸到舞蹈和體育的輔助教學中［5-7］。為了將Kinect應用于醫(yī)療康復領域，科研人員進行了大量的研究工作，且取得了一系列成果［8-10］。本研究以Kinect為患者肢體信息采集傳感器、Unity3D為開發(fā)工具、SQLite為數據庫設計開發(fā)了一套上肢康復訓練系統(tǒng)，實現對患者信息管理、康復訓練等功能。該系統(tǒng)的應用，不僅能減輕康復醫(yī)師的工作量，同時也能讓患者在康復訓練過程中獲得更好的體驗。

1 康復訓練系統(tǒng)的設計

1.1 系統(tǒng)設計

本研究設計的康復訓練系統(tǒng)框架結構如圖1所示，系統(tǒng)主要包括患者信息管理、訓練設置、康復訓練、訓練結果查詢等模塊。其中患者信息管理模塊包括患者信息注冊、修改、查詢、登錄等功能；訓練設置模塊包括設置訓練肢體（左肢/右肢）、訓練難度（簡單/一般/困難）、訓練時間等功能；康復訓練模塊包括4個可供選擇的康復訓練小游戲（切水果/煎雞蛋/插墻/太空大戰(zhàn)）；訓練結果查詢模塊包括按患者姓名或編號查詢康復訓練的結果。

1.2 Kinect人體骨骼信息提取

本研究所采用的人體骨骼信息采集傳感器為微軟公司開發(fā)設計的Kinect型號為Kinect for XBox One，實物如圖2所示。Kinect for XBox One是Kinect for XBox的升級版，相較于上一代產品，新一代產品不僅外觀設計不同，而且在性能、精準度、識別手指運動、識別面部表情等方面均有很大提升。

Kinect能夠同時追蹤6個人形物體，但最多只能選擇優(yōu)先進入Kinect視野的前2位進行詳細的姿態(tài)和骨骼點的三維坐標信息計算；其余4位最多僅傳回其質心位置。Kinect for Windows SDK開放了人體重要的20個關節(jié)點信息，人體20個骨骼點示意如圖3所示?；貍鹘o應用程序的數據對象以骨骼幀形式提供。

在SDK中，每個骨骼點用Joint類型表示，20個骨骼點組成基于Joint類型的每一幀數據集合。Joint類型包含JointType、Position、TrackingState 3個屬性信息，其中JointType是類型為枚舉型的骨骼點類型，列舉了20個骨骼點的特定名稱；Position是類型為SkeletonPoint的骨骼點位置信息，SkeletonPoint是一個包含X，Y，Z三個數據成員的結構體，用以存儲骨骼點的三維坐標信息；TrackingState也是一種類型為枚舉型的骨骼點類型，表示骨骼點的追蹤狀態(tài)。Tracked、NotTracked、Inferred分別表示骨骼點“正確捕捉到”“沒有捕捉到”“不確定”三種追蹤狀態(tài)。

1.3 彩色圖像

Kinect的彩色圖像流由KinectSensor對象的ColorStream屬性提供，在使用彩色圖像流前需要調用其Enable方法啟動彩色圖像流。Kinect傳回的彩色圖像分為4種：①GRB格式，也是Kinect默認傳回的圖像格式；②YUV、Raw YUV格式，要傳回此格式的圖像需要應用程序在開啟彩色圖像流時進行特別指定；③RAW Bayer格式；④Infared格式，紅外線灰階圖像，由紅外線攝像機所拍攝的紅外線圖像。

2 康復訓練系統(tǒng)主界面設計

本研究的康復訓練系統(tǒng)主界面設計采用Unity3D（版本為2021.3.26）為開發(fā)工具，C#為開發(fā)語言，數據庫采用SQLite數據庫并部署在騰訊云服務器上。數據庫主要包含患者信息表（paint_info）和康復訓練信息表（train_info）。

系統(tǒng)UI界面元素采用Unity3D系統(tǒng)自帶的UGUI設計，系統(tǒng)主界面包含“患者信息管理”“訓練設置”“康復訓練”“訓練信息查詢”“退出”等功能按鈕。在系統(tǒng)主界面（MenuUI）對象上掛載系統(tǒng)主界面管理腳本（MainManage.cs），MainManage.cs的Start（）函數實現監(jiān)聽每個功能按鈕是否被按下并做出對應處理。按鈕的監(jiān)聽函數為Button對象的onClick屬性中AddListener（）方法，AddListener（）方法可以接收一個Lambda表達式作為方法的實際參數。

3 Unity3D與Kinect結合

3.1 在Unity3D中使用Kinect

在Unity3D中使用Kinect，需要先下載并安裝Kinect SDK 2.0驅動，再下載kinect for unity3d插件包并把該插件包導入Unity3D新建的上肢康復訓練系統(tǒng)工程中。kinect for unity3d插件包中KinectManager.cs和KinectGestures.cs兩個腳本是最核心的部分，負責Kinect與Unity3D的交互。在場景中新建一個空物體并命名為KinectController，然后把插件中主要的腳本掛載到該物體上，這樣在Unity3D中即可正常使用Kinect。以上肢康復訓練系統(tǒng)中游戲1（切水果游戲）為例，介紹Kinect與康復游戲的交互過程。

3.2 在游戲界面中顯示玩家灰階圖像

實現游戲背景圖中實時顯示玩家灰階圖像，首先，需要在游戲場景中添加一個命名為PlayerImage、類型為RawImage的UI物體對象；其次，在控制玩家的腳本PayerControl.cs中定義一個類型為RawImage的變量PlayerRawImage，并把物體對象PlayerImage拖拽到變量PlayerRawImag中；再次，將KinectManager中ComputerUserMap屬性值設置為User Texture，并勾選Compute User Map；最后，在Update函數中添加代碼。

if（KinectManager.Instance.IsInitialized（））

｛

if（PlayerRawImag.texture == null）

｛

Texture2D _texture = KinectManager.Instance.GetUsersLblTex（）；

PlayerRawImag.texture = _texture；

｝

｝

IsInitialized（）函數返回的是Kinect設備是否完成初始化的Boolean類型值；GetUsersLblTex（）函數返回的是Kinect設備檢測到的深度圖像數據。

3.3 判定玩家交互意圖

Kinect前方出現多人時，可能導致應用程序在執(zhí)行命令時出現異常，這就需要判定處于Kinect傳感器視野內的玩家是否具有與應用程序進行交互的意圖。有兩種方式可以判定玩家交互意圖，方式1，讓玩家做出特定動作；方式2，讓玩家向Kinect發(fā)出語音命令。由于方式2受距離、方言、識別發(fā)聲玩家等因素影響，成功率較低，于是本研究采用方式1。

KinectManager中定義了一個類型為Gestures的變量playerCalibrationPose，Gestures是在KinectGestures.cs腳本中聲明的枚舉類型，Gestures中枚舉了各種人體的激活動作，如“RaiseRightHand”“RaiseLeftHand”“Tpose”分別表示“抬起右手高于肩膀”“抬起左手高于肩膀”“T姿勢”等人體動作。本系統(tǒng)中設置playerCalibrationPose值為“Tpose”，即當應用程序檢測到Kinect傳感器視野內的玩家做出“T姿勢”并保持1.5秒以上，則確定該玩家可與應用程序進行交互如圖4所示。

3.4 生成手指運動軌跡

在游戲場景中添加一個組件類型為Effects的Trail，并命名為Knife，根據需要設置Knife包含的組件拖尾渲染器（TrailRenderer）的屬性值。先在PayerControl腳本中確定一個Knife類型的對象knifeObj，把組件Knife拖拽到knifeObj上；接著在PayerControl腳本的Update函數中調用KinectManager腳本中的GetJointKinectPosition函數，獲取Kinect識別到當前正與應用程序交互的玩家手中的世界坐標handPos；然后調用自定義函數CalculateCoordinates把handPos坐標轉換為二維屏幕坐標handSenPos；最后執(zhí)行如下代碼，即可實現隨著上肢帶動手的運動，從而在游戲場景中出現刀痕拖尾的效果如圖5所示。

knifeObj.GetComponent（）。anchoredPosition = handSenPos

4 結論

本研究把Kinect傳感器與Unity3D游戲引擎技術相結合，設計一套上肢康復訓練系統(tǒng)并實現了其功能。該系統(tǒng)以Unity3D游戲引擎為開發(fā)工具，實現患者信息管理、訓練設置、康復訓練、康復訓練結果查詢等功能，在康復訓練模塊提供了4款簡單、趣味、易操作的小游戲，讓患者在愉快的游戲中，達到康復訓練的效果。

參考文獻：

［1］王靜，馬景全，陳長香，等.體感游戲Kinect改善腦卒中患者執(zhí)行功能的效果研究［J］.中國康復醫(yī)學雜志，2014，29（8）：748-751.

［2］王尚書，陳長香，張衛(wèi)紅，等.互動體感游戲對腦卒中患者運動和平衡功能的康復效果［J］.中國康復理論與實踐，2013，19（7）：658-661.

［3］劉晉鋼，劉衛(wèi)斌，劉晉霞.Kinect與Unity3D數據整合技術在體感游戲中的應用研究［J］.電腦開發(fā)與應用，2014，27（11）：7-11，14.

［4］張帥，周恒杰，張琳濤.基于Unity3D和Kinect的體感跑酷游戲開發(fā)關鍵技術設計與實現［J］.三明學院學報，2015，32（6）：32-36.

［5］朱依晨，李御之，田豐.基于Kinect的舞蹈教學系統(tǒng)的設計與實現［J］.工業(yè)控制計算機，2022，35（4）：107-109.

［6］黃攀，張宇.基于Kinect的舞蹈動作姿勢輔助識別系統(tǒng)設計［J］.自動化與儀器儀表，2022（9）：136-142.

［7］閔亞榮，牟莉.基于多個Kinect的體育輔助訓練系統(tǒng)的研究［J］.電子設計工程，2021，29（18）：115-120.

［8］程楊，唐堯.基于Kinect的運動訓練輔助決策支持系統(tǒng)設計［J］.現代電子技術，2021，44（24）：123-126.

［9］千承輝，張昕昊，陶錦，等.基于Kinect的康復訓練系統(tǒng)設計與研究［J］.吉林大學學報（信息科學版），2020，38（1）：92-98.

［10］楊海清，錢濤.基于Kinect的動態(tài)姿勢識別方法在醫(yī)療康復中的應用［J］.電子技術應用，2020，46（12）：94-96，102.

（欄目編輯：孫 焱）

收稿日期：2023-09-22

基金項目：安陽市科技攻關項目“基于Kinect的上肢康復訓練與評估系統(tǒng)的研究”（2022C01SF111）。

作者簡介：李源（1981—），男，碩士，副教授，研究方向：康復機器人、人工智能；常慶麗（1986—），女，碩士，講師，研究方向：信息系統(tǒng)；劉浩林（2002—），男，本科生，研究方向：計算機網絡、信息系統(tǒng)。