數據傳感設備在上肢康復訓練中的應用研究*

張旭輝,呂欣媛,王妙云,魏倩楠,王 恒,杜昱陽

(1.西安科技大學 機械工程學院,陜西 西安 710054;2.陜西省礦山機電裝備智能監測重點實驗室,陜西 西安 710054)

0 引 言

肢體運動功能受損是腦卒中等疾病常見的后遺癥癥狀,而上肢功能障礙往往是患者日常生活能力下降的主要因素[1～3]。目前,針對上肢的康復訓練多為依賴治療師對患者進行重復的機械式訓練,患者主觀意識與輔助訓練無法有效配合,導致康復效果不佳。因此,急需新的康復手段引導患者進行有效的訓練[4]。

目前已有不少學者在將虛擬現實(VR)技術應用于康復訓練方面進行了深入的研究[5]。羅格斯大學開發了一種名為Rutgers Arms Ⅱ的康復訓練系統,通過運動跟蹤、重力以及VR游戲來實現手臂的康復訓練,增加了訓練的趣味性和多樣性,但缺陷在于不能實時對患者的康復情況作出評價;Cho S 等人[6]利用本體感覺反饋刺激大腦神經產生運動意圖,為康復訓練提供了新的思路,但與視覺反饋相比,其沉浸感和趣味性會有所下降;陳東林等人[7]設計了基于HTC VIVE的上肢康復訓練系統,利用VR手柄與康復訓練游戲進行交互,但上肢功能障礙患者運動時手部姿態變化極為輕微,故采用抓握手柄的方法難以達到預期效果。

在前人的研究基礎上,本文引入數據傳感設備應用于上肢功能障礙人群中,融合VR技術為患者提供沉浸式和趣味性的訓練體驗,解決了患者主動參與積極性差且抓握實物困難而導致訓練效果不佳的問題。利用Unity 3D軟件與C#語言編程搭建軟硬件環境,結合傳感器技術與數據庫技術采集并保存患者訓練時的上肢主要關節運動信息,實時監測患者運動時的身體情況,并對其進行康復效果評定，以便及時更新患者的訓練計劃。該方法在調動患者主動訓練積極性的同時,既提高了康復訓練的效率,又減少了目前醫療師與患者存在“一對多”的資源壓力。

1 系統總體設計

1.1 總體設計思路

在VR交互中,計算機必須通過各種傳感器設備實時檢測、分析、處理用戶的姿態變化情況、生理參數、語音等多種信息,并將其處理結果及時反饋給用戶,從而發揮參與在虛擬環境中的沉浸感和主動性[8]。本文選用數據手套和VR眼鏡作為傳感設備實現人機交互,利用Unity3D軟件和C#語言開發虛擬訓練環境。

數據手套采用WISEGLOVE 7+系列位置跟蹤數據手套。如圖1所示,它可通過分布在手掌重要關節的7個柔性彎曲光纖傳感器和分布在手臂活動關節上的3個慣性傳感器來實現上肢位置移動和姿態捕捉功能[9]。

圖1 數據手套

VR眼鏡采用HTC Vive眼鏡,它利用激光掃描定位技術提高了定位精度。除了身體動作以外沒有其它形式的用戶輸入條件,并減輕了患者肢體上的額外負擔[7]。

總體設計思路如圖2所示，患者佩戴數據手套與VR眼鏡進入VR游戲中進行訓練,數據手套采集患者的姿態變化數據傳輸到虛擬場景中,驅動場景產生相應的變化,其上肢運動信息與游戲數據存儲進數據庫中，以供治療師對比、觀察和分析，從而判斷患者的康復程度和訓練效果;VR眼鏡通過視覺反饋刺激患者大腦神經中樞促進大腦神經元重塑,并根據系統提示引導患者主動進行訓練。

圖2 康復訓練系統設計思路

患者訓練方案的制定與更新通過康復效果評價實現[10],根據確定時間內系統指定任務的完成度和傳感器所采重要關節的活動情況，確定障礙級別,同時結合肌力受損程度生成患者信息,據此為患者制定康復計劃。在執行訓練計劃一個或多個周期后,再次對患者進行康復效果評價，并更新訓練方案。訓練過程中,治療師可以通過傳感器所采數據實時監測患者的訓練狀態,以實時判斷該訓練方案是否可行并及時對其進行調整。康復評價過程如圖3所示。

圖3 康復評價過程

1.2 多級康復訓練任務規劃

由于不同患者的運動功能受損程度差異,且遵循康復訓練難度應逐級遞增的原則[11]。如表1所示,設計多級訓練模式以供患者選擇。

表1 多級訓練任務規劃

初級訓練模式針對康復訓練初期的患者,其手部運動軌跡簡化為A-B-C-A。以桌面為X-Y平面,在X-Y平面內將物體從A點移至C點。該運動所涉及的肩、肘關節均為X-Y平面內輕微的內收/外展運動,通過“拾取→移動靜態模型”訓練患者的抓握能力。

高級訓練模式針對康復訓練中后期的患者,其手部的運動軌跡簡化為A-B-C-D。

以桌面為X-Y平面,垂直桌面方向為Z軸,將物體從A點移至D點并作出投擲動作。相比于初級模式,還涉及Z軸方向的上旋/下旋運動,且運動幅度較大。通過“鎖定→拾取→移動→投擲動態模型”訓練上肢的抓握能力、協調能力、手眼配合能力等。

2 基于數據手套的人機交互方法

2.1 基于四元數的手部姿態解算算法

手部姿態及位置的解算是通過將傳感器在載體坐標系下測得的數據轉換至導航坐標系,從而得到手部在空間中的位置與姿態。在眾多解算方法中,四元數法計算量小，精度高，可避免奇異性[12]。四元數是由4個實數q0,q1,q2,q3和3個相互正交的單位向量i,j,k組成。其一般表現形式為

q=q0+q1i+q2j+q3k

(1)

四元數表示旋轉時,實部表示角度大小,虛部表示轉動方向。手掌在空間中的位置定位由坐標系之間的轉換來實現,具體通過橫滾角φ、俯仰角θ、偏航角γ的連續轉動實現。

標量部分q0,q1,q2,q3的初始值由歐拉角的初始值計算所得,其微分方程的矩陣形式為

(2)

(3)

則

(4)

式中q(t)為初始時四元數,T為四元數更新周期,q(t+T)為更新后的四元數,K1為在周期T初始時的斜率,K2與K3為1/2周期T/2處的斜率,K4為周期T結束時的斜率。

根據K1,K2,K3,K4這4個參數的更新值,可由姿態陣T更新歐拉角[12]

(5)

其姿態解算的轉換矩陣為[13]

T=

(6)

由式(5)與式(6)可得姿態角

(7)

根據式(7)可得到載體在導航坐標系下任何時刻的姿態估計。

2.2 傳感器標定

數據手套上的傳感器采集到的數據通過微處理器經由RS—232接口傳向主機,從而驅動計算機內的虛擬手同步運動,其中柔性光纖傳感器測量手指關節彎曲角度,由陀螺儀與加速度計組成的慣性測量單元分別測量空間中手臂運動的角度和加速度,并解算出手臂的姿態、速度以及位置信息等。

傳感器值設置在A(最小值)和B(最大值)之間,數據手套采集到的傳感器原始數據范圍是0～255,若當前手套值是C,則滿足關系A

if(C>B) thenB=C

if(C

以此便保證了當前值C始終在A和B之間。若采集到的某個手指的活動角度是E,則當前的彎曲角度F可以通過式(8)轉換得到

(8)

據此設定手指的歸一化活動范圍為[0,1]：

當(C-A)/(B-A)<0.5時,手指動作為開;

當(C-A)/(B-A)>0.5時,手指動作為合。

通過這個函數關系定義每個手指的開合,組成各種自定義手勢,以執行程序預定義的各種指令[14]。動作姿態捕捉如圖4所示。

圖4 動作姿態捕捉

2.3 基于距離檢測的抓取響應實現

2.3.1 碰撞檢測

碰撞檢測是為了防止虛擬手與目標物體之間發生“穿透”現象。這里采用包圍盒算法進行碰撞檢測,在滿足精度的條件下,該算法能加快檢測速度[15]。如圖5所示,以食指為例,根據關節位置添加3個膠囊碰撞體,將未發生碰撞的部分排除在計算之外,將需要被進行精確檢測的部分限制在很小的范圍之內,確保手指無法“穿透”小球。

圖5 膠囊體包圍盒

2.3.2 抓取響應

在虛擬手可以觸發碰撞的基礎上,采用距離檢測的方法來實現虛擬手的抓取響應。如圖6所示,在虛擬手掌心處添加Object物體并為其添加盒子碰撞器,當盒子碰撞器與目標物體之間的距離小于一定值,同時拇指與食指、中指、無名指之一角度符合要求,則可驅動虛擬手與目標物體之間實現抓取響應。該方法相比于單純靠手指膠囊體碰撞檢測實現抓取，縮短了響應時間并且提高了檢測精度。

圖6 抓取響應

3 系統驗證

試驗根據人體上肢運動規律提取3個主要動作,即人坐在距離桌面一拳左右的椅子上，佩戴數據手套完成抓取、移動、投擲動作。如圖7所示,連接數據手套并運行,當用戶手部做出抓取動作時,虛擬手會做出相同的動作,用戶通過移動自己手臂來調整視野中虛擬手的位置至小型籃球架處,放松手掌,便可將小球投擲進籃球架中,在屏幕左側可顯示各傳感器數值和小球抓取數。

圖7 實驗過程

手掌7個主要關節位置傳感器標記為sensor0,sensor1,sensor2,sensor3,sensor4,sensor5,sensor6,系統運行時testwave.exe動態顯示傳感器的運動數據曲線。如圖8所示,選擇相應傳感器顯示用戶相應關節變化曲線(毫秒為單位),從曲線的變化趨勢可以分析對應關節的活動情況。

圖8 相關關節變化運動變化曲線

圖8中展示了用戶進行抓取動作時,1 s內手掌7個主要關節的變化情況。當手掌沒有發力動作而處于放松狀態時,傳感器顯示其最小值為0,當手掌開始動作時,傳感器檢測到相較于手掌處于放松狀態時的動作變化,關節彎曲程度越大,傳感器顯示值越大,曲線波動越明顯。根據圖8得到其所采最大值如表2所示。

表2 抓取姿態下手掌主要關節處傳感器最大值

結果表明,在用戶手掌姿態變化非常輕微時,曲線波動變化明顯,且7個主要關節彎曲最大值均在1 500以上,可以實時監測患者的關節活動情況,并實現人機交互與虛實同步，從而達到訓練上肢的目的。

4 結 論

本文將數據傳感設備應用于上肢康復訓練中,提供了在常見療法中無法實現的視覺反饋與感覺運動經驗,為傳感器技術的應用提供了新的思路。通過數據手套與虛擬模型進行交互,在很大程度上調動了患者的積極性。結合傳感器技術采集并監測患者的上肢主要關節運動信息,以便醫療師及時更新訓練計劃。對實現高效性的康復訓練具有重要意義。

目前,該系統處于初步研究階段,未應用于臨床試驗,具體不足表現在：1)訓練方案不能自動生成和更新,需要醫療師結合各項評估內容為患者制定訓練方案;2)對患者的信息采集不夠完善,未涉及患者的心理參數(如心率、呼吸頻次等)與心理狀態(是否有消極、抑郁傾向等)評估。因此,后續研究將繼續改善系統的智能性。使得該系統能為肢體功能障礙患者提供更加完善的康復訓練。