基于作業療法的上肢協調功能虛擬訓練系統研發

張瑞青 鄒任玲

摘要：為解決傳統作業療法訓練過程枯燥、患者參與度低、康復效果不理想等缺點，將作業療法協調訓練與虛擬現實技術相結合，利用虛擬現實技術的趣味性、沉浸感、目的導向性，提高作業訓練的康復效果。基于作業療法的上肢協調功能虛擬訓練系統使用高精度5DT數據手套和電磁位置跟蹤系統，分別采集手指彎曲度數據和手臂運動數據，通過Socket進行通信，控制游戲虛擬手的彎曲和移動，實現“手張開一抓握”、“二指尖捏”的作業訓練。將虛擬現實技術應用于作業療法中，極大提高了作業訓練的安全性，提高了患者參與訓練的積極性，康復訓練效果顯著。

關鍵詞：作業療法;虛擬現實技術;5DT數據手套;電磁位置跟蹤器

DOI：10.11907/rjdk.192119 開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP319文獻標識碼：A 文章編號：1672-7800（2020）006-0121-04

0 引言

作業療法（Occupational Therapy，OT）是上肢功能障礙患者常用的康復治療方法，患者可通過有目的、經過選擇的作業活動鍛煉上肢運動功能。傳統針對上肢功能康復的作業療法是結合康復醫師給出的特定手功能訓練動作，采用小游戲如跳棋、捏橡皮泥、栓狀插件游戲等，或配合輔助器如輕觸式按鈕、手握力器、手靈活度訓練盒等，或結合日常活動如折疊衣服、系鞋帶、筷子夾捏小物件等，對手部進行康復訓練。但手損傷患者往往不能很好地控制手指力度，需要康復醫師指導或家庭人員的陪護，費時費力，易對手指造成二次傷害。在訓練過程中，作業療法重復動作多，枯燥乏味，無法調動患者主動訓練的積極性。

上肢協調訓練是提高上肢日常活動能力的重要康復訓練內容，用虛擬現實技術開發的虛擬游戲越來越多地應用于協調康復訓練。2011年，Ksenia I Ustinova等針對腦損傷患者手臂姿勢協調障礙，開發了一款3D沉浸式視頻游戲——八爪魚，患者通過左右手的姿態運動控制虛擬環境中的左右手對氣泡進行攔截，對上肢的姿勢協調具有一定的訓練效果。但該游戲需要用戶大幅度擺臂，上肢障礙患者往往不能完成游戲任務。2017年Ji-Hye Do等，對虛擬現實系統Nintendo Wii進行研究，選定4個Nintendo Wii虛擬現實游戲：獨木舟、高爾夫、劍術和自行車運動，進行對稱上肢協調運動和不對稱上肢協調運動。雖然具有一定的訓練效果，但該游戲訓練系統無醫學理論依據，對上肢障礙患者潛在影響未知。

本文將作業療法與虛擬現實技術相結合，根據手部作業活動設計針對性的虛擬康復訓練游戲，開發了一種基于作業療法的上肢協調功能虛擬訓練系統。采用虛擬現實技術結合上肢康復訓練改善上肢功能障礙，提高患者的參與度和訓練積極性，縮短病人的康復時間。

1 系統總體設計

上肢協調障礙患者往往不能進行如更衣、飲食、洗漱等一系列最基本的上肢活動，嚴重影響患者的生活質量。手、腕部、肘部、前臂、肩部是構成上肢運動功能的基本元素，抓取物體放置另一位置是日常生活中常見的活動，這一作業能很好地鍛煉手、腕部、肘部、前臂、肩部等部位的協調合作，對上肢正常運動功能康復具有重要作用。上肢正常運動功能也是患者日常生活活動的基礎。系統根據Jebsen手功能測估方法中的“拾起小物品件進容器”作業，設計康復訓練動作，根據協調康復訓練動作設置虛擬作業訓練游戲。

系統采用上下位機結構，下位機數據采集系統由5DT數據手套和電磁式位置跟蹤器兩部分組成，分別實現。其中5D了數據手套實現5個手部協調運動程度的獲取，測量5個手指的平均彎曲度;電磁式位置跟蹤器測量手腕部運動位置，由USB口將運動數據傳輸至計算機。采集的數據與上位機虛擬康復游戲通過socket進行通信，用于控制游戲對象。對虛擬游戲訓練設置訓練難度和訓練時間參數，并對訓練結果進行打分，以便醫師進行評估。系統總體設計流程如圖1所示。

2 硬件實現

2.1 5DT數據手套

本系統使用的數據手套為5DTData Glove 5Ultra，有5個光纖傳感器，分別分布于5個手指，通過對傳感器的彎曲曲率（曲線上某點的切線方向上角對弧長的轉動率）進行歸一化處理，對手指彎曲程度（取指掌關節、近指關節、遠指關節彎曲度最大的輸出值）進行計算，并通過串口實現與計算機的通信。

5DT數據手套利用光纖傳感器計算彎曲曲率，獲得佩戴手套手指的彎曲程度。式（1）中K為模擬手指的屈曲程度。

其中，k表示曲率，△s表示弧長，Ae表示弧兩端的夾角。數據手套的驅動能夠將傳感器原始數值線性地轉換為0～4095之間的整數（伸直時為最小值0，彎曲180°為最大值4095）。因為手指只能在一定范圍內彎曲，所以手指完全伸直或彎曲時達到的極限位置為傳感器的最小值fLow和最大值rUp。數據手套SDK中設計了式（2）所示的標定方法，將當前的原始數值rVal線性映射為[0，1]區間內的數值scaled，從而實現歸一化。當手動標定出現錯誤時，scaled的計算如式（3）所示。

2.2 電磁式位置跟蹤器

本系統使用Polhemus公司的Library電磁跟蹤系統，能精確獲取腕部的旋轉方向與位置，提供穩定且連續的位置數據流和方向數據流，是一個基于交流的跟蹤系統，由系統電子處理單元、發射源和傳感器（即接收器）組成，系統框圖如圖2所示。其中發射源用來發射磁場信號，系統以發射源所在位置建立坐標系，并以此基準建立傳感器坐標系;系統電子處理單元利用發射源的發射信號和傳感器的感應信號間的耦合關系，實現對傳感器位置和姿態角度確定。

電磁跟蹤系統中發射源和接收器的位置關系如圖3所示。發射源為基本坐標系O-XYZ，接收器坐標系為O-XYZ。ξ、ψ和ω分別表示接收器的姿態角度，其中ξ表示橫滾角，ψ表示俯仰轉角，ω表示水平轉角。根據電磁系統中的磁場感應原理以及方位坐標的矩陣轉換關系，可以求出接收器相對于發射源的位置坐標（x，y，z）和轉角坐標（（ω，ξ，ψ）。

3 康復虛擬系統設計

3.1 基于作業活動的虛擬場景搭建

本系統的虛擬游戲場景建立在unity3d開發環境下，采用實體建模方法在3Dmax中創建虛擬手臂，該模型包括手指和手腕兩部分，其中手指關節及手腕都可通過函數控制其運動。將由3DMax制作的虛擬手臂生成后綴為。fbx的文件，加載到Unity3D的Assets中。在3DMax中制作麥穗、小車等模型，模型尺寸大小根據人手可抓取的尺寸進行設計。

根據將物體撿起放置容器這項作業活動，設計兩個虛擬作業訓練場景，分別針對手功能康復中的“手張開一抓握”和“二指尖握”兩個動作，二指尖握訓練場景如圖4所示。添加plane，并對其貼圖。將三維模型設置為預制體，拖人游戲場景，在Inspector窗口對Transform進行調整，依次排列。修改虛擬手的Rotation屬性，傾角調整為45度，模擬現實中人進行二指尖握的狀態。通過控制虛擬手拇指和食指運動，抓取稻穗放人小車內，完成將物體撿起放置容器這項作業活動。另外，該訓練也可進行拇指與中指、無名指或者小拇指之間的對指活動。手抓握訓練場景如圖5所示，與二指尖握場景類似，地面放置大小尺寸不同的三維模型，模擬現實生活中人抓握大小不同物體的場景。通過控制虛擬手彎曲程度，抓取不同大小的物體放人小車，訓練不同程度的手抓握訓練。

3.2 基于作業活動的游戲設計

進入系統開始界面，患者可以根據康復需求選擇合適的模式。兩種模式的作業活動均要求患者在規定的時間內，通過手部康復動作，盡可能多地抓取物體放人相應位置。開始游戲后，倒計時由初始值5分鐘開始逐秒遞減。用If語句判斷倒計時是否小于零，若小于零跳轉至分數和結果評估界面。為游戲對象添加剛體和碰撞器，當物體與小車接觸會觸發OnTriggerEnter（）函數，進行得分計算并銷毀該物體。游戲流程如圖6所示。

設計游戲過程中，虛擬手的抓握和移動由鍵盤和鼠標控制。定義鼠標左右方向移動為虛擬手在游戲場景中沿X軸方向移動，鼠標上下移動為虛擬手在游戲場景中沿Y軸方向移動，滑動鼠標滾輪表示虛擬手在游戲場景中上下位置的變化，運動代碼如下：

兩個游戲都需要手指彎曲實現抓取物體。點擊鼠標左鍵，調用StartBendFingers（）函數，虛擬手的手指彎曲，松開鼠標左鍵，虛擬手手指伸展。二指尖握訓練手指的彎曲由鍵盤字母控制，與鼠標控制類似，彎曲代碼如下：

3.3 人機交互訓練

作業協調訓練開始前，系統需要患者配戴5DT數據手套，同時將電磁式位置跟蹤器置于腕部。游戲開始后，患者通過移動腕部，使電磁式位置跟蹤器位置發生變化。虛擬手的位置為采集到的電磁位置跟蹤器的位置坐標與初始坐標的差值，將該差值與虛擬環境中的坐標方向做出相應轉換，進而控制虛擬手的上下左右移動。核心代碼如下

根據選擇模式不同進行不同的手部動作，通過5DT數據手套控制虛擬手完成該動作。5DT數據手套采集5個手指彎曲數據代碼如下

患者抓取物體放人小車，可以得到對應的分數，游戲結束后顯示病人訓練成績，醫生可根據患者成績對患者上肢運動狀況進行評估。圖7為二指尖握訓練，圖8為手抓握訓練。

4 結語

基于作業療法的上肢康復游戲訓練系統，將傳統的作業訓練與虛擬現實技術相結合，具有針對性、趣味性、主動性特點。根據手功能障礙患者日常生活活動需要，選取二指尖握和手抓握兩個經典的康復訓練動作，具有針對性。當患者進行手抓握訓練時，可以根據手指抓握程度選取抓握不同大小的物塊，不但降低了難度，還利于患者完成預定目標。在訓練過程中設置不同的難易程度，對患者作業情況進行打分并給予語音鼓勵，極大激發了手功能障礙患者訓練的積極性，提高了訓練效果。但是系統在進行抓握時無力反饋，游戲類型較單一，使游戲沉浸感大大降低。可以嘗試添加力反饋裝置，增加訓練沉浸感，從而使病人訓練更多的時間，提高訓練效果;也可針對不同的病人提供不同的訓練形式，增強康復效果。