基于鏡像療法的上肢手功能康復游戲系統設計

梁爽 鄒任玲

摘 要：為改善傳統鏡像療法訓練形式單一、效率低下、受康復訓練師數量限制等缺點，將傳統鏡像療法與虛擬現實技術結合，利用虛擬現實的高沉浸感和目的導向，提高鏡像療法效果?；阽R像療法的上肢手功能康復游戲系統使用5DT數據手套和MPU6050作為數據采集裝備，獲取健側手指彎曲度和患側腕部彎曲度，作為游戲輸入控制，在游戲中控制雙手的彎曲和移動。利用5DT數據手套和MPU6050實現手部抓握和移動同步，實現鏡像治療效果。將虛擬現實技術應用于鏡像治療，突破了鏡像治療的限制，使患者體位更加舒適，加強了任務導向性，提高了治療效果。

關鍵詞：鏡像療法；虛擬現實；手功能康復

DOI：10.11907/rjdk.172933

中圖分類號：TP319

文獻標識碼：A 文章編號：1672-7800（2018）006-0116-04

Abstract：In order to improve singleness，dullness low efficiency and restriction of the traditional mirror therapy training， this paper designs a rehabilitation system of upper limb hand function based on mirroring therapy. It combines mirroring therapy with virtual reality game， and uses the virtual reality of immersion and purpose orientation to increase the effect of mirror therapy. The rehabilitation system of upper limb hand function based on mirroring therapy using 5DT data gloves and MPU6050 as the data acquisition equipment to get access to the curvature of the contralateral finger and the curvature of the affected wrist as the game input data to control the bending and moving hands in the game. The result shows that the rehabilitation system of upper limb hand function based on mirroring therapy can apply virtual reality technology to the mirror treatment， employs the 5DT data glove and MPU6050 to achieve hand grasping and mobile synchronization to fulfill mirror therapy. The Conclusion is that the virtual reality technology can be applied to mirror therapy， which can break the restriction of mirror treatment， offer more comfortable position for patient， strengthen task orientation and enhance therapeutic effect.

Key Words：mirror therapy； virtual reality； hand function recovery

0 引言

鏡像療法（Mirror Visual Feedback，MVF）由Ramachandran等[1] 于1995年首次提出并應用于上肢康復領域。鏡像療法通過于視覺反饋誘發患側活動，使未受損傷的半腦和損傷的半腦進行交互，從而誘導運動皮層神經網絡重組，促進大腦皮層神經的可塑性[2-3]，達到消除異常感覺或恢復運動功能目的，該方法療效顯著，目前已廣泛應用于臨床[4-5]。

傳統的鏡像療法依靠鏡子反射，將鏡子放置在患肢和健肢中間，患肢放在鏡子后面，健肢放在鏡子前面[6]?；颊甙凑蔗t生指示盡可能使患肢與健肢做相同動作，當患者同時移動雙側肢體時，會將鏡子中健肢的移動當成患肢的移動。該方法受到裝置限制，患者訓練范圍受到約束，而且患者必須在醫師的指導下才可進行；鏡像康復訓練動作由康復師主觀決定，形式單一，難以調動患者積極性，導致康復效率低下[7-9]。

本文將虛擬游戲交互系統引入鏡像療法中。虛擬現實技術有很高的沉浸感，可實現觸覺、視覺、聽覺等多種感官刺激，使患者很好地與虛擬場景中的對象進行信息交互，解決了傳統康復醫療的弊端，提高了整體康復訓練效果。

1 系統設計

1.1 下位機系統硬件設計與數據處理

基于鏡像療法的上肢手功能康復游戲系統采用上下位機結構。下位機數據采集系統由5DT Data Glove Ultra Series （5DT數據手套）、MPU6050傳感模塊組成。5DT數據手套通過USB口將手指關節運動數據傳輸至計算機，MPU6050傳感模塊（傳感器、單片機）通過串口將腕關節運動數據傳輸至計算機。

1.2 5DT數據手套

5DT數據手套采用光纖傳感器， 該傳感器通過對光的偏振、相位、強度、波長、頻率等進行調制，利用檢測器獲得調制結果。通過計算傳感器的彎曲曲率，模擬手指的屈曲程度，獲得被測手指的功能狀態，見式（1）。

其中，K表示曲率，ΔS表示弧長，Δ表示弧兩端的夾角。數據手套驅動可將傳感器的彎曲角度線性轉換為0～4 095之間的整數（伸直為最小值，彎曲180度為最大值）。手指運動具有一定范圍，而手指的極限位置會形成傳感器的最小彎曲和最大彎曲，從而得到傳感器的最小數值rLow和最大數值rUp。SDK中的標定方法可通過式（2）將當前的原始數值rVal線性映射為[0，1]區間內的數值scaled，從而實現歸一化[10]。

1.3 腕關節數據傳輸設備

腕關節數據傳輸設備由采集信號的傳感裝置MPU6050、電源控制器MSP430f149和信號傳輸無線藍牙模塊組成。基于2IC通信協議讀取MPU6959的X、Y、Z三軸的加速度信號和角速度信號，將采集到的數據經串口發送至上位機。

MPU6050通過測量每個軸轉動的角速度判別物體運動狀態。系統要求獲得傾斜角度的位置信息，為了實現加速計算傾斜角度的分析方法，建立三軸陀螺儀姿態識別模型[11]。假設t-0時刻繞Y軸旋轉角度為A-xz0，經過時間Δt后旋轉角度為A-xz1，則物體繞Y軸旋轉的角度變化率計算公式為：

將陀螺儀Y軸輸出的角度變化線性相關值帶入式（5），可得出物體繞Y軸旋轉時的角度變化率：

其中，Rate-Axz表示物體繞Y軸旋轉的角度變化率，AdcGyro-xz表示陀螺儀輸出的角度變化率線性相關值，V-ref表示ADC參考電壓，n表示ADC位數，V-ZeroRate表示陀螺變化率為零時的輸出電壓值，Sensitivity表示陀螺儀靈敏度（單位：mV/（deg/s ））。同理可得物體繞X軸、Z軸旋轉的角度變化率。

在獲取每個軸的角度變化率之后，對角度變化率積分，即可求出t時間內每個軸旋轉的角度。加速度計和陀螺儀直接輸出的數據誤差較大，并不能直接用于受試者關節活動度的評定，還需要進行濾波和融合處理。

為了減少均方誤差，本設計使用卡爾曼濾波器方法對數據進行處理。濾波器估計某一時刻的狀態，然后以（含噪聲）測量變量的方式獲得反饋。

時間更新方程和測量更新方程計算完成后，將上一次計算得到的后驗估計作為下一次計算的先驗估計，整個過程再次重復。時間更新方程可視作預測方程，狀態更新方程可視作校正方程，最后的估計算法成為一種具有數值解的預估——校正算法。

2 上位機虛擬現實游戲系統

2.1 虛擬手模型

為使所有資源可以在Unity3D中使用，需先在Assets中創建文件夾，將手部模型、貼圖、腳本等全部文件放在該文件夾中。

解剖學研究表明[12-13]，手部骨骼主要由手掌關節和手指關節組成，關節間可以相對轉動，關節運動狀態決定手的姿態。為保證虛擬手能夠模擬真實手的各種姿態，本文根據手的解剖結構和運動特征，采用實體建模方法建立了虛擬手實體模型，該模型由手掌、5根手指和手臂組成。每個手指由3個關節組成，分別為根關節、中關節和頂關節，如圖1所示。手掌實體和每個關節實體都可通過函數控制其運動。相連關節之間遵循鉸鏈運動約束關系，即兩者可以相對運動但不能移動。在虛擬手的關節模型中，關節之間的連接箭頭表示關節之間父子關系，箭頭根部為父節點，頭部為子節點。父節點的運動狀態傳遞給子節點，而子節點的運動狀態對父節點不產生影響[14]。

2.2 聯動鏡像游戲控制閾值設計

“聯動鏡像游戲”集康復訓練與認知訓練于一體，患者需要抓握正方體，并將正方體移動到與其顏色相同的平面上。正方體有3種不同大小，分別對應現實生活中不同大小物體，大正方體對應杯子等直徑大的物體，中正方體對應小型盒子等物體，小正方體對應電池等直徑小的物體。同樣選取10個自然人，分別抓握每個物體10次，實驗選用的3個物體直徑分別為7.5cm、5cm、1.5cm，如圖2所示。

計算五指彎曲度平均值并四舍五入，數據記錄如表1所示。

根據以上數據分析，由于抓取物體時手指彎曲較小，為防止出現誤差，所以無名指和小拇指數值取最大，當五指數據（拇指、食指、中指、無名指、小拇指）滿足（>0.3，>0.4，>0.5，>0.2，>0.2）時，認定物體1抓握成功；當五指數據滿足（>0.5，>0.4，>0.5，>0.3，>0.3）時，認定物體2抓握成功；當五指數據滿足（<0.6，>0.4，>0.7，>0.6，>0.5）時，認定物體3抓握成功。

使用閾值判定的手部動作控制如圖3所示。

2.3 socket數據傳輸

本系統主程序服務端與游戲客戶端采用socket通訊模式進行數據傳輸。首先進行兩個socket的初始化工作，接著進行“三路握手”，完成socket的連接建立。服務器系統調用Recv（）進行數據獲取，客戶端可通過調用Send（）進行數據發送，如圖4所示。本系統在相同主機進程之間通訊，服務器端IP地址為"127.0.0.1"，端口號設置為6666。

5DT數據手套和MPU6050數據在服務端按照協議打包，通過socket通訊傳送到客戶端，在客戶端按照協議進行拆包，將數據用于游戲控制。

3 康復游戲設計

本系統設置鏡像訓練時，游戲需要患者雙手操作，患者將5DT數據手套佩戴于健側，將三軸陀螺儀佩戴于患側。游戲開始時，后臺會根據患者情況生成患側手臂，由患側手臂控制游戲中虛擬手的移動，由健側手控制游戲中虛擬手的抓握。游戲時患者會不自覺地用控制移動的患側手進行抓握動作，較傳統鏡像訓練增加了患者的主動參與度。由于虛擬現實環境的真實性，當游戲中的手臂進行抓握動作時，會在一定程度上“欺騙”患者認為患側手也可以進行靈活操作，從而達到康復訓練目的。

虛擬訓練軟件系統采用服務端方式進入。服務端與數據庫相連，醫師輸入患者編號，自動彈出患者信息，信息確認無誤后進入游戲。游戲訓練時，患者的視野很小，當患者抓取到木塊時需要不斷移動，以找到目的地。當木塊準確放置到相應位置時，系統會播放一段音樂提示正確?；颊咄ㄟ^不斷抓握、移動、松手，將所有木塊放到對應的位置上，如圖5所示。通過手部動作與手腕的轉動做康復訓練，通過左右手完成鏡像訓練，通過顏色識別完成認知，游戲集成了鏡像與認知的康復訓練。訓練過程中，雙手同時參與的運動可增加患者雙手的協同運動能力；患者在嘗試使用患側手進行運動時，能看到患側手做完整的動作，達到鏡像訓練目的；同時，游戲設定目的導向，使康復訓練效果更好。

4 結語

基于鏡像療法的上肢手功能康復游戲系統，將鏡像療法與虛擬現實相結合，針對偏癱患者的上肢康復進行訓練。采用數據采集與虛擬游戲相互獨立的結構，代碼分開管理，避免了不同模塊間的相互影響，運行加載速度更快。本系統將手指關節和腕關節都參與到游戲控制中，實現了雙手及手腕的協調運動，替代臨床采用鏡子的傳統鏡像訓練療法，避免了康復師繁瑣的體力勞動，提高了康復效率。多樣化的真實虛擬場景提高了患者康復的興趣，達到最佳康復訓練效果。但系統服務端功能及外觀還需優化，要擴展數據庫功能，增加游戲數據存儲、歷史游戲數據顯示等功能。

參考文獻：

[1] RAMACHANDRAN V S，ROGERS RAMACHANDRAN D，COBB S.Touching the phantom limb[J]. Nature， l995，377（6549）：489-490.

[2] KIM H， MILLER L M， FEDULOW I， et al. Kinematic data analysis for post-stroke patients following bilateral versus unilateral rehabilitation with an upper limb wearable robotic system[J]. IEEE Trans. Neural Syst Rehabil Eng， 2013，21（2）：153-164.

[3] CAURAUGH J H， SUMMERS J J. Neural plasticity and bilateral movements： a rehabilitation approach for chronic stroke [J]. Progress in Neurobiology， 2013，75（5）：309-320.

[4] 王峻瑤，黃真.鏡像視覺反饋及其在康復醫學中的應用進展[J].中華物理醫學康復雜志，2012，34（1）：70-73.

[5] DOHOLE C， PLLEN J， NAKATEN A， et al. Mirror therapy promotes recovery from severe hemiparesis： a randomized controlled trial [J]. Neurorehabil Neural Repair， 2009，23（3）：209-217.

[6] 沈芳，王晶，曾明.鏡像療法在腦卒中偏癱患者上肢運動功能康復中應用的研究進展[J].中國康復醫學雜志，2016，31（5）：590-593.

[7] OYAMA H， WAKAO F. Evaluation of a virtual reality system for medicine： virtual systems and multimedia[C]. VSMM '97. Proceedings， International Conference on， 1997

[8] 岳宏，王小龍，張娟.虛擬現實在手臂外骨骼康復系統中的應用[J].科技通報，2006，22（1）：111-114.

[9] FREUND E， ROSSMANN A. Decentralized virtual reality： making the move to multi-user- and multi-screen virtual worlds： Intelligent Robots and Systems[C].Proceedings，2001 IEEE/RSJ International Conference on， 2001.

[10] 孫素梅，陳洪耀，尹國盛.光纖傳感器的基本原理及在醫學上的應用[J].中國醫學物理學雜志，2008，25（5）：846-850.

[11] 佟昭，張志利，梁豐，等.基于Unity和5DT數據手套的虛擬手仿真研究[J].電腦知識與技術，2015，11（21）：186-189.

[12] 王洛夫，張正治，劉正津.指屈肌腱鞘滑車系統的巨微解剖學研究[J].解剖學報，1998，29（4）：342-346.

[13] LIU J S， YAO Y X， LI J G. Virtual manipulation based on data glove in virtual assembly [J]. Journal of System Simulation， 2004，16（8）：1743-1747.

[14] 殷磊，韓靜，王燁，等.虛擬現實環境下虛擬手控制技術研究[J].系統仿真學報，2009，21（2）：448-456.

（責任編輯：杜能鋼）