一種基于Kinect的兒童康復(fù)訓練及評價系統(tǒng)

阮士峰 孫振浩 孟瑤瑤 袁 緒

（1.安陽工學院，河南 安陽 455000；2.武漢科技大學，湖北 武漢 430081）

在醫(yī)學康復(fù)領(lǐng)域，醫(yī)療康復(fù)中心采用以人工評估為主、智能器械訓練為輔的康復(fù)模式。其中，醫(yī)護人員進行評估多采用一對一康復(fù)訓練模式，整個康復(fù)周期內(nèi)都需要同一位醫(yī)生進行評估，否則評估結(jié)果會出現(xiàn)較大偏差。這無疑是待康復(fù)患者的最佳康復(fù)模式，但是需要占用較多的醫(yī)療資源。因此，該文提出一種基于Kinect 的康復(fù)訓練系統(tǒng)，該系統(tǒng)利用外部機械電子器材對患者康復(fù)過程的動作引導、數(shù)據(jù)采集和康復(fù)情況進行評估。

在待康復(fù)患者中，兒童特有的病種包括發(fā)育遲緩、腦外傷、自閉癥、臂叢神經(jīng)損傷、斜頸以及脊柱側(cè)彎等。在康復(fù)訓練過程中，兒童的注意力十分容易轉(zhuǎn)移，家長和治療師要有足夠的耐心。因此，該文采用Kinect 以及3D Unity的多元化開發(fā)方式設(shè)計了1 套便于居家訓練的康復(fù)評估交互系統(tǒng)，讓兒童更自由地接受康復(fù)醫(yī)療服務(wù)。同時，該系統(tǒng)采用游戲框架模式為待康復(fù)患者帶來豐富多元的娛樂元素，可以提高兒童康復(fù)訓練的效果。

1 康復(fù)訓練系統(tǒng)

康復(fù)評價系統(tǒng)結(jié)構(gòu)框圖如圖1 所示。該系統(tǒng)采用傳統(tǒng)的計算機網(wǎng)絡(luò)邏輯層結(jié)構(gòu)，設(shè)計集硬件層、數(shù)據(jù)層、應(yīng)用層以及業(yè)務(wù)層于一體。硬件層主要包括網(wǎng)絡(luò)設(shè)施、Kinect 設(shè)備、外連接電子屏幕以及邊緣計算機設(shè)備。在邊緣計算機中完成網(wǎng)絡(luò)連接、數(shù)據(jù)通信任務(wù)，將獲取的體感數(shù)據(jù)與標準量化數(shù)據(jù)進行比對，并通過網(wǎng)絡(luò)將結(jié)果反饋給醫(yī)生和患者家屬。

圖1 康復(fù)評價系統(tǒng)結(jié)構(gòu)框圖

1.1 訓練模塊

該模塊依托基于體感的空間成像技術(shù)，可以完成肢體的多角度測量和校準工作。在康復(fù)訓練過程中，患者根據(jù)自身訓練的部位，有針對性地設(shè)定特定游戲動作，達到游戲與康復(fù)訓練同步的效果。醫(yī)學康復(fù)訓練講究適量、適度刺激，功能性訓練以及個體參與等原則[1]，針對不同人群制定個性化方案。該系統(tǒng)設(shè)計了多個年齡層面的康復(fù)訓練界面。體感互動能脫離實體人群來實現(xiàn)人機交互的高度現(xiàn)實感，在患有自閉癥的兒童中具有天然的科技優(yōu)勢[2]。

為了避免過多使用外部康復(fù)器械帶來的不便，基于人機交互的Kinect 設(shè)備給患者提供了更通俗易懂的操作方式。特別是針對低年齡段的兒童，降低對操作方式的過高要求，向患者呈現(xiàn)一個健康、快樂的康復(fù)訓練環(huán)境。體感康復(fù)訓練系統(tǒng)是擁有多元化模塊的訓練系統(tǒng)，該系統(tǒng)將康復(fù)訓練與康復(fù)評價結(jié)合，可以充當智能醫(yī)師，完成動作評價，給出進階康復(fù)的內(nèi)容，并實時評估患者的康復(fù)進度，及時有效地提供康復(fù)幫助。

該系統(tǒng)基于Kinect 設(shè)計了水果大亂戰(zhàn)、看圖說話以及滑雪大冒險等游戲，涵蓋上肢訓練、下肢訓練以及指關(guān)節(jié)訓練等方面（如圖2 所示）。該系統(tǒng)還為康復(fù)訓練游戲設(shè)定了游戲娛樂、基礎(chǔ)訓練以及進階訓練等多個模式，可以滿足兒童患者訓練過程中的個性化需求。

圖2 康復(fù)訓練操作界面

1.2 數(shù)據(jù)管理及分析模塊

基于Kinect 的數(shù)據(jù)形式均為視覺骨架信息，包括視頻的幀間信息、目標的空間信息以及目標的平面信息。在視覺骨架提取層采用OpenPose[3]，這類模型可以獲得高精度的骨架位置信息，通過骨架關(guān)鍵節(jié)點對人體的動作識別、面部表情識別以及指關(guān)節(jié)動態(tài)識別等運動類姿態(tài)進行評估。在同一場景下，可以實現(xiàn)基于單目標或者多目標的姿態(tài)識別評估，具有極高的識別效果和魯棒性。該網(wǎng)絡(luò)框架提出部位親和域（Part-Affinity-Fields，PAF）[4]，在該策略下圖像中的每個像素點均代表2D 平面向量，在場景中人體運動的骨架節(jié)點具備了位置和方向信息。網(wǎng)絡(luò)分上、下2 個分支，分別預(yù)測關(guān)鍵點熱力圖和PAF 圖。每個分支都有t個階段，表示越來越精細，每個階段都會對特征地圖（Feature Maps）進行融合（如圖3 所示）。

圖3 OpenPose 網(wǎng)絡(luò)結(jié)構(gòu)圖

在訓練過程中，康復(fù)系統(tǒng)會提供標準的姿態(tài)模板，患者在規(guī)定的時間和區(qū)域內(nèi)完成指定動作或者任務(wù)。后臺系統(tǒng)基于患者運動軌跡數(shù)據(jù)和健康人群的動態(tài)數(shù)據(jù)完成擬合分析過程。在該過程中，噪聲與硬件問題的干擾導致骨骼信息出現(xiàn)非連貫情況，數(shù)據(jù)接收端出現(xiàn)極端的跳變現(xiàn)象。因此，通過標準化的人體關(guān)節(jié)節(jié)點三維坐標對各幀數(shù)據(jù)間位置進行平滑處理，從而解決骨骼節(jié)點抖動的問題。為了達到數(shù)據(jù)評測低誤差的要求，康復(fù)評價系統(tǒng)采用改進的K-means 算法[5]進行動作評估。康復(fù)過程中，1 套連續(xù)動作過程需要涉及多個關(guān)節(jié)活動度的變化序列，通過平滑數(shù)據(jù)的均值效果對該動作的距離進行測量。根據(jù)康復(fù)過程的肢體動作節(jié)點序列與標準動作庫的節(jié)點序列的綜合距離，將評價等級分為不合格、合格、良好以及優(yōu)秀。

2 試驗結(jié)果與分析

2.1 試驗相關(guān)環(huán)境

硬件環(huán)境：Kinect2.0 傳感器，Cortex-A78 處理器，GPU算力40TOPS。

軟件環(huán)境：Ubuntu18.04、Python3.8。

2.2 數(shù)據(jù)處理

試驗以英偉達的Jetson Orin Nano 為系統(tǒng)平臺，基于Ubuntu 搭建了康復(fù)訓練及評價系統(tǒng)。標準數(shù)據(jù)庫數(shù)據(jù)來源于醫(yī)院康復(fù)醫(yī)生錄制的標準數(shù)據(jù)。每套動作選取20 個人的錄制數(shù)據(jù)，按照優(yōu)秀、良好、合格和不合格對20×4×10個試驗測評數(shù)據(jù)進行劃分。通過DTW 算法[6]求取試驗數(shù)據(jù)與標準數(shù)據(jù)的空間距離，將不合格的聚類中心作為負樣本區(qū)域，選取標簽為合格的試驗數(shù)據(jù)最長距離作為合理區(qū)域的下限邊界E。聚類前將0-E空間等值劃分，分割節(jié)點為A和B，大于E值的區(qū)域為動作未達標區(qū)域。將上述被采用的數(shù)據(jù)按照標簽進行K-means 聚類分析，由于分割節(jié)點只有A和B，因此采用K為2 的聚類計算，如公式（1）所示。

式中：Cj為區(qū)域內(nèi)的重心點；N為聚類區(qū)域內(nèi)的樣本個數(shù)；di為樣本到節(jié)點的距離。

在K-means 劃分的評測邊界基礎(chǔ)上，假設(shè)樣本區(qū)域內(nèi)聚類分析的期望和方差均滿足高斯分布，采用最大似然估計方法計算各類標簽的期望值和方差值，最后計算出評測標準的隸屬函數(shù)[7]，如公式（2）所示。

式中：p（x|θ）為樣本隸屬條件概率值；x為樣本符合高斯分布；μ和σ分別為距離樣本集合的期望和方差。

針對任意動作序列，其與標準特征序列的距離如公式（3）所示。

式中：D為任意動作序列與標準特征序列的距離；xi為第i個樣本和標準樣本的距離。

將測評距離與節(jié)點A、B和E進行比對，獲得評價等級并進行后續(xù)訓練。

在試驗中選取10 名體型不同的兒童及青少年志愿者（身高為100 cm～180 cm，體重為16 kg～84 kg），按照醫(yī)生設(shè)計的康復(fù)動作進行訓練記錄。采用上述20 名康復(fù)醫(yī)生錄制的標準數(shù)據(jù)作為標準組。讓測試組人員按照上述的試驗部署環(huán)境勻速執(zhí)行相應(yīng)動作，再采用該文的算法進行數(shù)據(jù)分析和評估。

以前屈動作為例，在標準組中，采集身體節(jié)點活動度的標準閾值區(qū)間，以左跨、右跨以及中心點為主要采樣點獲得區(qū)間數(shù)值，見表1。

表1 節(jié)點活動度

對關(guān)節(jié)點活動度進行綜合評估，采用快速動態(tài)時間規(guī)整算法（STDTW）對節(jié)點活動度的左胯、右胯、中心點進行距離比對分析，作為測評組與標準組的衡量方法：1） 關(guān)節(jié)角度距離。關(guān)節(jié)點夾角為0°～180°，試驗采用相同關(guān)節(jié)角度的余弦距離，根據(jù)圖4 給出的關(guān)節(jié)的數(shù)字標號計算前屈動作中的左膝彎曲距離為骨骼節(jié)點12、節(jié)點13、節(jié)點14 夾角的角度余弦值。2） 關(guān)鍵點空間距離。計算視頻中2 幀之間相同關(guān)鍵點的歐式距離，為了保證計算結(jié)果的適用性，在計算前先對關(guān)鍵點坐標進行歸一化處理，將點的空間橫、縱坐標除以當前幀中人體矩形框的寬、高。3） 關(guān)鍵點時序距離。時序距離體現(xiàn)了動作的運動關(guān)聯(lián)性和預(yù)測性，計算方法為用下一幀出現(xiàn)時關(guān)鍵點的坐標向量減去上一幀對應(yīng)點的坐標向量，向量的指針方向為康復(fù)者該關(guān)節(jié)的運動方向。同樣，為了保證同一目標的可比性，計算前對向量坐標與人體外框進行歸一化處理。

圖4 OpenPose 骨骼圖及人體映射圖

在采集的前屈動作的所有測試序列數(shù)據(jù)集中，計算平均軌跡作為對比數(shù)據(jù)，當康復(fù)訓練者彎曲至最低點時沒有達到標準數(shù)據(jù)的要求，根據(jù)曲線發(fā)現(xiàn)需要再壓低10 cm 左右的空間。經(jīng)過一個訓練周期的反復(fù)訓練，康復(fù)訓練者可以逐步達到標準數(shù)據(jù)的要求（如圖5 所示）。

圖5 采用該系統(tǒng)康復(fù)訓練前后比對圖

試驗表明，采用該系統(tǒng)的訓練方法可以快速提高肢體的靈活度，訓練過程中的姿態(tài)識別技術(shù)、肢體自由度評測技術(shù)以及康復(fù)計劃設(shè)計技術(shù)可以滿足醫(yī)學要求。與傳統(tǒng)的DTW、HMM 算法[8]相比，在該系統(tǒng)中改進的STDTW 算法的匹配率、分析效率有所提高。

3 結(jié)語

該文研究了康復(fù)運動的特征提取方式和識別評估方式，基于Kinect 實現(xiàn)人體關(guān)鍵節(jié)點在空間中的定位及進行運動趨向性評估，在研究康復(fù)群體關(guān)節(jié)點活動度評測中提出關(guān)節(jié)角度距離、關(guān)鍵點空間距離以及時序距離的計算方法。設(shè)計并使用改進后的STDTW 算法對目標動作進行標準動作擬合度匹配，并采用K-means 算法完成康復(fù)運動完整序列的評估。通過多組試驗證明了系統(tǒng)的算法模型原理是可行的，相關(guān)理論方法可以為康復(fù)醫(yī)療領(lǐng)域提供技術(shù)支持，可以為兒童康復(fù)患者提供一個嶄新的康復(fù)途徑，從而提高兒童康復(fù)訓練的綜合效果。