虛擬場景的下肢康復訓練系統的設計與實現

王子梅，徐秀林，安美君

(上海理工大學 醫療器械與食品學院，上海 200093)

腦卒中是導致人類殘疾的主要原因，也是世界上導致死亡的第2大原因[1]。根據衛生技術評估，大約有90%腦卒中患者的幸存者為殘疾，其中很大一部分患者在下肢運動方面有障礙,給其生活帶來了巨大的困擾[2]。患者傳統的治療方式是采用人工的按摩、拔火罐、針灸等結合一些下肢訓練機器進行康復訓練，訓練過程重復性高、單調無趣，使得患者訓練積極性不高，訓練效果差[3]。

虛擬場景需要虛擬現實技術的支持，虛擬現實(virtual reality,VR)技術也稱靈境技術，出現于20世紀60年代[4]。該技術具有多感知性、存在性、交互性和自主性4個特點，將其應用于下肢康復訓練彌補了傳統康復治療的缺陷，是目前康復領域研究的熱點[5]。結合虛擬場景的康復過程中，在生理上給患者提供一種真實自然的康復訓練環境，可以使得患者投入到虛擬的環境中，有種身臨其境的感覺；在心理上增加患者訓練的趣味性，提高康復訓練的積極性[6-7]。

2016年Shen等[8]結合虛擬場景，開發了一種康復評價系統，提高患者的訓練興趣。2014年Zhang等[9]研制了一種基于步態的下肢康復機器人，該機器人結合了虛擬現實技術，設計了自由步態行走的虛擬場景，讓患者有種身臨其境的感覺。2013年Taherifar等[10]針對于脊髓損傷和中風患者，研制了一種新型的步態康復訓練設備，通過傳感器的數據控制虛擬場景中人物的行走速度，讓虛擬環境與現實環境有了很好的結合，患者訓練更有代入感。雖然設計了兩個不同的虛擬場景，但沒有訓練時間的設置，不利于患者制定訓練計劃。目前，市面上已經有許多種類的下肢康復機，這些下肢康復機器有些雖然結合了虛擬現實技術，但虛擬場景設置較為單一，沒有挑戰性，患者的參與度較低；缺乏鼓勵機制，導致患者訓練的主動性不高；沒有訓練時間設置，不利于患者訓練計劃的制定。

本文針對有一定下肢運動能力的患者，開發了一種基于虛擬場景的坐姿下肢康復訓練系統，可將常規的訓練轉化為虛擬現實的趣味游戲訓練，以提高患者下肢的康復效果。該系統通過獲取患者進行主動下肢康復的足底壓力數據，控制虛擬環境中的虛擬元素，當達到一定位置和壓力達到一定閾值時，訓練得分就會增加并得到語音鼓勵，不僅訓練了患者的注意力，而且增加患者的參與度、挑戰性和自信心。同時，醫生可以根據患者的實際情況，對患者的康復訓練時間進行設置，方便了醫生對病人康復計劃的制定。訓練結束后，對訓練過程中患者左右腳的平均壓力和最大壓力進行顯示，該參數是醫生對患者下肢康復評估的一個重要指標。

1 系統的構成

本系統主要由數據采集模塊和虛擬現實軟件兩部分組成。數據采集模塊利用傳感器采集壓力數據，處理后傳至上位機，對虛擬場景中的虛擬元素進行控制；虛擬現實軟件實現對虛擬環境的搭建，完成與患者的交互。系統原理示意圖如圖1所示。

圖1 系統原理示意Fig.1 System principle diagram

2 系統的硬件

2.1 傳感器

本系統的力傳感裝置選用的是安徽博通電子科技公司生產的TH4805-Ⅱ踏板力傳感器，如圖2所示。將4個傳感器分別安裝在雙側下肢功能訓練腳踏板的腳掌和腳跟位置，能夠精確實時的檢測足底腳掌和腳跟的壓力數據。

圖2 TH4805-Ⅱ 踏板力傳感器Fig.2 TH4805-Ⅱ pedal force sensor

2.2 數據采集卡

本系統的數據采集使用的是研華PCI-1710/U數據采集卡，是一款PCI總線多功能數據采集卡，如圖3所示。PCI-1710/U包含12-bit A/D轉換、D/A轉換、16路數字量輸入、16路數字量輸出和計數器/定時器5種最重要的測量和控制功能。本系統采用差分式模擬信號連接，兩個增益可編程的輸入通道分別與兩根信號線連接，降低了系統誤差。為了進一步消除共模干擾電壓影響，系統測量的是兩個輸入端的電壓差。

圖3 研華PCI-1710/U數據采集卡Fig.3 Yanhua PCI-1710/U data acquisition card

3 系統的軟件

3.1 數據采集系統

圖4 數據采集系統流程Fig.4 The flow chart of data acquisition system

3.2 虛擬場景的搭建

本系統的虛擬場景模塊是在Visual Studio 2010的MFC和DirectX SDK 9.29開發環境下，基于DirectX 11應用程序接口和VC++編程語言[13]完成。虛擬場景的構建主要基于DirectX 11中Direct3D圖形程序接口進行圖片的顯示和3D模型的建立，并且可以實現人機交互，對虛擬元素進行控制。虛擬場景的搭建流程如圖5所示。

為了提高3D籃球模型的表面質量,采用二十面體來實現,首先確定二十面體12個頂點的位置坐標，創建頂點數組position[12] (a=0.525 731f,b=0.850 651f)，如圖6所示。

二十面體由20個全等的等邊三角形構成，每個三角形有3個頂點，二十面體共需要60個頂點。為了節約系統資源并提高效率,采用頂點緩存和索引緩存結合的方法繪制圖形，因此,只需要12個頂點緩存。根據索引數組中的索引值提取對應頂點的位置坐標,每3個數字構成一個三角形。取二十面體的每個面三條邊的中點，將每個三角形平分為4個等邊三角形，取細分后的頂點映射到球體，該過程重復5次，后進行歸一化處理生成單位球體。

圖5 虛擬場景的搭建流程Fig.5 The flow chart of virtual scene construction

圖6 頂點數組Fig.6 Vertex array

虛擬場景是用長方體內部的6個面構成的室內籃球館背景。場景中繪制的籃球、背景、籃筐和得分板，公用一個頂點和索引緩存區。使用對應的虛擬元素在頂點緩存區的起始位置、索引緩存區的起始位置和索引總數，確定該物體的位置。最后，用處理好的紋理圖片一一映射到對應的位置，實現虛擬場景的搭建。

設定以第一人稱的視角進行投籃，所以虛擬場景中的攝像機是模擬患者的眼睛。其中，攝像機的視點位置對應于人眼的位置，攝像機的觀察點對應于人眼視覺目標點。以左手坐標系建立坐標，若是人眼處于(0,0,0)的位置，在人眼前方某一點的位置作為籃球的所在位置，投籃時求得位置變換都是相對于人眼的,如圖7所示。

圖7 虛擬場景Fig.7 Virtual scene

虛擬場景中的籃球投射出后時，其運動軌跡為一條拋物線，如圖8所示。圖中，A、B兩點分別是投籃前籃球的位置和籃筐的位置，則籃球在z軸方向上的速度vz的計算公式為

由上式可得

式中:vy為y方向的速度;Z為籃球與籃筐z軸方向的距離;h為籃筐離地板的距離;H為最高點離地板的距離;a為籃球豎直向下時的加速度;t1為籃球投射出后運動至距離地板最高點位置所用的時間;t2為籃球從距離地板最高點位置運動至籃筐所用的時間;t為籃球投射出后運動至籃筐所用的時間.所以，籃球沿著z軸方向的運動位移為

籃球沿著y軸方向的運動位移為

圖8 籃球的運動軌跡Fig.8 Trajectory of the basketball

3.3 人機交互

虛擬場景中設置了難度和時間兩個功能，程序運行界面如圖9所示，醫生可以根據患者的自身情況，安排訓練難度和時間。開始游戲時，使用SetTime()定時器獲取設置的時間變量m_GameTime的值,進入倒計時；程序獲取難度變量m_GameLevel的值，難度值越大，籃球與籃筐的距離就越遠，籃球投入籃筐的難度就越大。通過數據采集系統得到數組m_lfFinalData[4]中4個足底壓力值，控制虛擬環境中籃球的移動方向、移動速度和投籃動作，壓力值的大小與籃球移動的速度成正比，同時投籃的視角亦隨之變化?；@球與籃筐的碰撞采用AABB碰撞檢測技術[14]，投籃成功后得分板分數增加更新，并使用PlaySound()函數播放鼓勵語音，增加患者訓練的動力，激勵患者繼續進行訓練。訓練結束后，分別計算出訓練過程中4個足底壓力值的最大壓力值和平均壓力值，程序運行界面如圖10所示。

圖9 訓練難度和時間設置模塊Fig.9 Training difficulty and time setting module

足底壓力變化的計算公式為：

最大壓力Fmax=Max(Fi)

式中，Fi為壓力值，i=0,1,2,…,n-1(i為整數，n為采樣次數)。

圖10 評估模塊Fig.10 Evaluation module

4 系統測試試驗

取一個10 kg和兩個20 kg的砝碼，分別對左右腳踏板進行測試。由于本文是基于坐姿的下肢康復訓練儀器的，足底壓力低于40 kg,所以，分別以10、20、30、40 kg為基準進行測試，把相應質量的砝碼分別放置在左、右腳踏板腳掌和腳跟的位置，采集時間設置為1 min，將采集到的壓力與實際壓力值進行比較。經過1周后，在同樣的測試條件下重復進行實驗，與1周前的實驗數據導入SPSS數據分析軟件，計算兩組足底壓力測試的組內相關系數(ICC值)，判斷系統的可靠性，見表1、2。

由實驗數據可知，系統采集的壓力值和實際壓力值基本一致，表明該系統可以準確的采集足底腳掌和腳跟的壓力值。測試結果顯示，由表1、2可見，數據組內相關系數(ICC值)均大于0.9，說明該系統有很好的可靠性。

5 結 論

1)該系統主要針對患者進行下肢康復運動，實現了下肢康復訓練與虛擬場景的交互，系統測試試驗說明該系統有很好的可靠性。

表1 砝碼為10、20 kg時壓力值對應表Table 1 The weights corresponding to the values of pressure at 10 kg and 20 kg

表2 砝碼為30、40 kg時壓力值對應表Table 2 The weights corresponding to the values of pressure at 30 kg and 40 kg

2)該系統硬件使用的傳感器精度高、運行穩定，可以準確的采集數據，患者可以通過下肢的運動控制虛擬場景中的虛擬元素。軟件系統在虛擬場景中增加了背景音樂和音效，使患者更好的融入到虛擬場景中并且對完成任務的患者進行鼓勵。醫生可以根據評估模塊中患者訓練的數據，設置虛擬場景中的訓練難度和時間，更加有利于患者的下肢康復。

3)但是，該系統僅僅適用于單個病人在一個虛擬環境中進行下肢的康復訓練，只能單獨的進行訓練，不能在虛擬的環境中和其他患者進行交流，缺乏互動性。在該系統的基礎上，可以嘗試采用分布式虛擬現實系統[15]，實現異地的多名患者參與到同一虛擬環境中，共同完成同一任務訓練，這樣可以使醫生獲得在同一訓練治療方式下，不同患者獲得的療效情況，這將有待于進一步開發研究。

References)

[1]劉敏, 方向華. 腦卒中后殘疾的研究進展[J]. 中華流行病學雜志, 2013, 34(11):1146-1150. DOI:10.3760/cma.j.issn.0254-6450.2013.011.023.

LIU Min, FANG Xianghua. Progress in the study of disability after stroke[J]. Chinese Journal of Epidemiology, 2013, 34 (11): 1146-1150. DOI: 10.3760/cma.j.issn.0254-6450.2013.011.023.

[2]LANGHORNE P, BERNHARDT J, KWAKKEL G. Stroke rehabilitation[J]. The Lancet, 2011, 377(9778):1693-1702. DOI:10.1016/S0140-6736(11)60325-5.

[3]湯一格, 韋宇煒, 胡兆勇,等. 虛擬現實在下肢康復治療中的應用及設備研究[J]. 中國設備工程, 2016(16):107-109. DOI:10.3969/j.issn.1671-0711.2016.16.054.

TANG Yige, WEI Yuwei, HU Zhaoyong, et al. Virtual reality application and equipment study in rehabilitation of lower limbs[J]. China Plant Engineering, 2016(16):107-109. DOI:10.3969/j.issn.1671-0711.2016.16.054.

[4]吳禮萍. 虛擬現實世界真精彩[J].廈門科技,2015(4):31-32. DOI:10.3969/j.issn.1007-1563.2015.04.010.

WU Liping. The virtual reality world is wonderful[J]. Xiamen Science and Technology, 2015 (4): 31-32. DOI:10.3969/j.issn.1007-1563.2015.04.010.

[5]胡風華,郭丹峰,劉冰.虛擬現實探究[J].電腦知識與技術, 2009, 5(24): 6815-6817. DOI:10.3969/j.issn.1009-3044.2009.24.093.

HU Fenghua, GUO Danfeng, LIU Bing. Virtual reality inquiry[J]. Computer Knowledge and Technology, 2009, 5(24): 6815-6817. DOI:10.3969/j.issn.1009-3044.2009.24.093.

[6]胡傳龍, 韓建海, 王基威,等. 下肢康復訓練機器人虛擬環境設計[J]. 機電產品開發與創新, 2012, 25(2):19-21. DOI:10.3969/j.issn.1002-6673.2012.02.007.

HU Chuanlong, HAN Jianhai, WANG Jiwei, et al. The Design of the Lower Limb Rehabilitation Training Robot’s Virtual Scene[J]. Development & Innovation of Machinery & Electrical Products, 2012, 25(2):19-21. DOI:10.3969/j.issn.1002-6673.2012.02.007.

[7]張磊杰, 劉永久, 王慧,等. 基于虛擬現實的步態訓練康復機器人系統軟件設計[J]. 計算機系統應用, 2012, 21(12):8-11. DOI:10.13214/j.cnki.cjotadm.2014.14.026.

ZHANG Leijie, LIU Yongjiu, WANG Hui, et al. Design of the software of a rehabilitative gait training robotic system based on the virtual reality technology[J]. Application of Computer System, 2012, 21 (12):8-11. DOI:10.13214/j.cnki.cjotadm.2014.14.026.

[8]SHEN Shihui, GAO Chang, ZHAO Yong, et al. Development of lower limb rehabilitation evaluation system based on virtual reality technology[C]// IEEE International Conference on Real-Time Computing and Robotics. Angkor Wat, Cambodia: IEEE, 2016:517-522. DOI:10.1109/RCAR.2016.7784083.

[9]ZHANG Jianhua, LI Manhong, SONG Rui, et al. Development of a lower limb rehabilitation robot based on free gait and virtual reality[C]// IEEE International Conference on Robotics and Biomimetics. Bali, Indonesia: IEEE, 2014:808-813. DOI:10.1109/ROBIO.2014.7090431.

[10]TAHERIFAR A, HADIAN M R, MOUSAVI M, et al. LOKOIRAN-A novel robot for rehabilitation of spinal cord injury and stroke patients[C]// Rsi/ism International Conference on Robotics & Mechatronics. Tehran, Iran: IEEE, 2013:218-223. DOI:10.1109/ICRoM.2013.6510108.

[11]WELCH G, BISHOP G. An Introduction To The Kalman Filter[EB/OL]. [2001-08-12].http://www.iro.umontreal.ca/～mignotte/IFT6150/ComplementCours/FiltrageKalman.pdf. DOI:10.1016/0262-8856(92)90068-E.

[12]CHOUKROUN D, BAR-ITZHACK I Y, OSHMAN Y. A novel quaternion Kalman filter[J]. IEEE Transactions on Aerospace & Electronic Systems Aes, 2006, 42(1):174-190. DOI:10.1109/TAES.2006.1603413.

[13]董士海. 人機交互的進展及面臨的挑戰[J]. 計算機輔助設計與圖形學學報, 2004, 16(1):1-13. DOI:10.3321/j.issn:1003-9775.2004.01.001.

DONG Shihai. Progress and challenges of human computer interaction [J]. Journal of Computer Aided Design and Computer Graphics, 2004, 16 (1): 1-13. DOI:10.3321/j.issn:1003-9775.2004.01.001.

[14]WANG Zhiliang, SHI Lin, LI Zhigang. Prototype of a virtual environment develop platform based on DirectX[C]// Proceedings of the 3rd IEEE Conference on Industrial Electronics and Applications.Singapore, Singapore: IEEE Xplore, 2008:279-283. DOI:10.1109/ICIEA.2008.4582524.

[15]KHARITONOV V Y. A software architecture for high-level development of component-based distributed virtual reality systems[C]// Proceedings of the 37th Computer Software and Applications Conference (COMPSAC). Kyoto, Japan: IEEE, 2013: 696-705. DOI: 10.1109/COMPSAC.2013.11.