基于體感技術的感覺統合游戲的設計與實現*

◆王勇麗 梁峻波 萬勤 黃昭鳴 高棟

基于體感技術的感覺統合游戲的設計與實現*

◆王勇麗 梁峻波 萬勤 黃昭鳴 高棟

特殊教育學校大部分學生存在感覺統合失調，通過虛擬現實場景的游戲鍛煉學生的感覺統合功能，豐富了教學內容，有利于學生身心的全面發展。結合Kinect體感交互技術設計一系列的感覺統合訓練游戲，使學生在較為安全的環境中提高感覺統合能力。

虛擬現實；感覺統合；Kinect

10.3969 /j.issn.1671-489X.2016.02.053

1 虛擬現實

虛擬現實（Virtual Reality，VR）是一種體驗虛擬世界的計算機系統，它以仿真的方式給用戶創造一個實時反映實體對象變化與相互作用的虛擬環境[1]，再結合相關的專業知識，生成在視、聽、觸感等方面高度近似的數字化環境，讓用戶產生親臨真實環境的感受和體驗[2]。VR人機交互技術可較大程度地構建“真實”學習環境，有力地支持了學生主動參與教學實踐的課改要求。

隨著“教育回歸生活”的討論愈演愈烈，虛擬現實技術運用于特殊兒童感覺統合失調的教學成為發展特殊教育的關鍵之一。張倩[3]等人認為，虛擬現實的交互性可以使學生沉浸在虛擬學習環境的角色中，可以全身心地投入學習。Romano DM[4]等人認為，虛擬現實技術可以為用戶提供每次訓練結果的實時反饋和一階段訓練后的成績反饋，可以激發患者的興趣及主動性。且大量研究結果表明[5-8]，患者在虛擬環境中學會的運動技能能夠遷移到現實環境中。

2 感覺統合訓練

感覺統合（Sensory Integration，SI）是指腦對個體從視、聽、觸、嗅、前庭、本體等不同感覺通路輸入的感覺信息進行選擇、解釋、聯系和統一的神經心理過程，是個體進行日常生活、學習和工作的基礎[9]。感覺統合理論是美國的艾爾絲（Ayres）博士創立的，于20世紀90年代中后期傳入我國，是兒童康復訓練中應用最廣、影響力最大的干預技術之一，在特殊兒童教育和康復治療領域占有重要地位。

綜合區域性研究報告，我國3～13歲兒童的感覺統合失調率大約在10%～30%之間，男童的發病率顯著高于女童，應引起家庭、教育機構和社會的關注[10]。目前很多感覺統合的訓練室中，大部分設備功能較為單一無趣，且冰冷的儀器設備沒有親近感，往往不能持久地引起使用者的興趣，不能充分調動他們自主參與的愿望。且有些傳統的感覺統合訓練設備安全系數較低，在使用過程中難免會出現各種各樣的損傷。如果借助現代化高科技產品來鍛煉孩子感覺統合功能，通過在平地上虛擬現實的游戲場景，便可以解決以上問題。

感覺統合失調的關鍵問題是本體覺、前庭覺和觸覺障礙。本體覺是感受個體身體所處的空間位置、運動狀態及其變化的感覺，并參與身體姿勢、動作及平衡的調控。本體覺可促進大腦功能的發展，提高行為的表現力，直接影響兒童的學習能力。本體覺障礙的兒童，動作方向、力度、幅度、速度控制不好，空間方位感知困難，從而影響兒童的閱讀、書寫等學習行為。本體感受器是位于肌肉及肌腱深處的特殊裝置，感受肌肉及肌腱受牽拉的機械信息，通過做一系列拉伸四肢的動作，可改善個體的本體覺。研究顯示，踢足球活動可以促進兒童下肢本體運動感知覺的發展[11]，足球活動的活潑性和生動性可以激發兒童訓練的積極性。

前庭覺的功能主要是感受軀體空間位置的變化，與平衡功能密切相關。兒童的抬頭、翻身、坐、爬、站、走等早期運動功能發育與前庭功能相互促進、共同發育。前庭功能異常的兒童往往表現在對身體失衡不敏感，不善于保持和調節軀體平衡；或對身體失衡特別敏感，表現為動作僵硬笨拙。前庭感受器的球囊主要感受人體垂直方向直線變速運動，跳蹲動作可訓練前庭覺。

觸覺是兒童感覺、認識、運動等的發展基礎，是兒童認識世界的主要基本途徑，而且觸覺是有效的社會交往方式，是建立親子感情的主要途徑。觸覺的防御功能對兒童健康生長、自我保護、免疫系統等方面有很大的影響。觸覺感覺信息處理失調往往會導致多種不良后果，影響兒童的學習、交往等能力。在游戲設計中，考慮到游戲的趣味性設計了走迷宮項目，在地板上鋪2平米左右不同材質和形狀的方格，有凸起的小石子、海綿、花紋、泡沫等。該2平米的方格大小對應三維游戲中的迷宮大小。

3 虛擬現實感覺統合訓練系統的設計與實現

虛擬現實感覺統合訓練系統的硬件虛擬現實感覺統合訓練系統的實際測量的硬件包括圖像采集設備（Kinect）、電腦主機（Windows7操作系統）、外置音箱等設備，收集到的信息通過數學模型計算來獲得物體的運動軌跡數據。

1）圖像采集設備。采用微軟公司2010年推出的基于體感交互的Kinect人機交互新型設備，利用即時人體骨骼追蹤、影像識別等功能，通過玩家的肢體動作來控制游戲[12]。人體骨骼追蹤技術是Kinect的核心技術，根據人體的大關節部位將人體標定為20個關鍵點（圖1），軀干、四肢的運動可以用這20個點的三維運動來描述出來。微軟公司采用機器學習技術，建立了龐大的人體骨骼框架圖像資料庫，能對感應到的人體骨骼框架進行智能辨識匹配，實時獲取訓練者的姿勢和動作變化的數據，并將該動作數據結合實時影像互動系統，使訓練者與屏幕之間產生緊密結合的互動效果。

Kinect的整體構架包括紅外線發射器、RGB彩色攝像頭、紅外線COMS深度攝像頭、仰角控制馬達和超強并行計算邏輯的系統級芯片。Kinect將采集圖像、深度數據流和骨骼信息，通過USB傳給PC主機，最后利用進程間的通信與PC機上的其他應用程序進行信息融合[13]。

Kinect的工作示意圖如圖2所示，它的水平視角為57°，偵測的人體骨豁的最佳距離為1.2～3.5米，有效工作距離為5米。訓練者處于有效距離之內，計算機通過獲取訓練者的動作數據用于控制虛擬場景，虛擬場景通過置于訓練者正前方的LED顯示屏顯示，訓練者通過觀看LED的交互結果與虛擬場景交互。

2）電腦主機。硬件需求：需滿足處理器（CPU）主頻2.0 GHz以上，內存（RAM）4 G以上，顯卡NVIDIA GeForce GT610以上，硬盤容量200 G以上。電腦主機通過Kinect for Windows API來獲取深度圖像數據來進行骨骼運動軌跡跟蹤。

圖1 Kinect感應人體20個關鍵點

圖2 Kinect工作示意圖

虛擬現實感覺統合訓練系統的游戲設計游戲設計根據三大常見感覺統合障礙訓練原則制定。

1）本體覺訓練——足球射門。足球射門游戲是一款要求訓練者通過單腳站立同時另一只腿進行踢腿動作來控制屏幕中人物完成射門的游戲。游戲背景是一個足球場，綠色的草坪上方有一個白色的球門。屏幕中有一個足球運動員與球門有一定的距離，腳下放一足球。訓練者踢出自己的腳，以控制游戲中人物踢出右腳，當踢出的角度達到一定值，便可將足球踢出，足球向前滾動，足球的滾動速度和腳踢出的速度有關，當腳踢出的速度達到一定值，足球便可進球門。若腳踢出的速度過小而達不到設定值，球到達球門之前便會停下來，這就表示此次動作失敗。當足球進門時，會發出歡呼的音效給訓練者以聽感上的刺激。游戲可選“右腳模式”和“左腳模式”。結束游戲后的界面中，給出游戲總時間、踢進的足球個數和游戲的成功率r。設踢出的足球總數為N，其中進門的足球個數為n，則成功率r的計算公式為：

踢腳的檢測是通過檢測當前腳抬起的角度和踢腳的角速度來完成，當腳抬起的角度大于預設值，同時踢腳的角速度也大于預設值時，判斷當前動作為踢腳。其中，踢腳的角速度這一值可以反映出訓練者腳部運動能力的強弱，它的獲得的過程如下：①創建腳抬起角度鏈表，用于保存腳抬起角度，腳抬起角度通過髖（HIP）、膝（KNEE）、腳（Foot）與垂直線的夾角獲得，經過測試和調節，確定此處序列的長度為30幀；②將鏈表中30個值兩兩相減，再將所有差值求平均數，得到的便是平均角加速度。

圖3 人體跳躍時感應點的位移變化

以檢測右腳踢腳為例。設定右臀點（HipRight）坐標（x1，y1，z1），右腳（FootRight）坐標（x2，y2，z2）。設抬起的角度是指與垂直線的夾角α，計算公式為：

2）前庭覺訓練——跳蹲游戲。跳蹲游戲是指虛擬場景中躲避障礙物的游戲。該游戲設定的場景是一片美麗的樹林，游戲的主角在樹林前方的小路上奔跑，跨過一道道障礙，奔向勝利的終點。當人物前方出現石頭等障礙物時，畫面中將會出現向上的箭頭，此時訓練者需要做出跳躍（或替代性動作）以控制游戲人物向上躍起以躲避障礙物；當人物前方出現懸空的木頭等障礙物時，畫面中將會出現向上的箭頭，此時訓練者需要做出蹲下（或替代性動作）以控制游戲人物向下蹲以躲避障礙物。若人物沒有及時躲避障礙物，HP（血量）就會減少，在游戲時間結束之前HP減少到0，游戲也會結束。

跳躍姿勢的判斷識別：人體在向上跳躍的過程中會伴隨著身體多個關節點的位移，同時跳躍的方法多種多樣；在經過多次試驗和調試后發現，頭部和肩部在不同的跳躍動作中均發生較明顯的位置變化，以此作為此動作識別的依據點。經過多次測試，并在綜合考慮實時性和精準度的前提下，選取30幀數據作為一次判斷的序列。由于Kinect的攝像頭拍攝幀率為30幀/秒，對跳躍的判斷有1秒的延時，這也是訓練者可以接受的范圍，具體實現算法如下。

①從當前點往前取30個肩部中心垂直坐標點數據：Z1，Z2，…，Z30。

②若滿足Z(t+1)≥Z(t)*(1+K)，則判斷此時的動作為跳躍，K值為經驗值。本系統中，K=0.01，這個取值是由多次測試并調節而得出的。跳躍過程如圖3所示。

在判斷下蹲姿勢的過程中，用到的關節點有右臀A（HipRight）、右腳B（FootRight）和右膝蓋C（KneeRight）。下蹲時，判斷這三個點所構成的△ABC內角∠ACB是否為銳角，即小于90°。設A、B、C三個點的坐標分別為（x1，y1，z1）、（x2，y2，z2）（x3，y3，z3），計算方法如下：

按照相同方法，對左臀A′（HipLeft）、左腳B′（FootLeft）和左膝蓋C′（KneeLeft）進行判斷，若cos∠ACB和cos∠A′C′B′均大于0，則表示當前訓練者處于下蹲狀態，如圖4所示。

圖4 下蹲時下肢感應點位置

3）觸覺訓練——走迷宮。走迷宮是一款通過視覺刺激來引導訓練者進行身體前后左右移動，同時腳底出現不同感覺刺激平面的游戲，訓練其觸覺功能。并且這是一款益智類游戲，可鍛煉訓練者的思維和視覺追蹤能力。游戲感應訓練者的SHOULDER CENTER骨骼關鍵點。本游戲的結果記錄是顯示游戲時間、成功率，如果最終沒有走出迷宮，就顯示游戲失敗。

走迷宮游戲的實現原理主要是空間坐標的映射。游戲中迷宮為一個長w，寬h的長方形。設定初始時刻游戲人物的坐標為（0，0），在屏幕的左下角，終點位置在評估的右上角（w，h）。訓練者位于Kinect前方，其初始位置的腰部重心Hip Center空間坐標為（x0，y0，z0）。在游戲的過程中，訓練者通過變化的腰部重心Hip Center空間坐標來控制游戲中人物的位置變化。當空間坐標為（x，y，z）的位置時，由于y值不變，其位置亦可表示為（x，y0，z）。在實際空間坐標系中，人物的位移為：

設游戲中的坐標比例和實際坐標比例a:1，則游戲中人物的位移為：

在x、z坐標軸上的位移為：

由于游戲人物的原是坐標為（0，0），經過位移之后，游戲人物的坐標為：

依此坐標便可對游戲元素進行繪制。當游戲人物坐標達到目標位置（w，h）時，游戲結束。

虛擬現實感覺統合訓練系統的游戲實現游戲的實現是利用XNA框架搭建而成，包括游戲初始化（Initialize）、資源加載（LoadContent）、邏輯更新（Update）、畫面刷新（Draw）、資源卸載（UnloadContent）五個部分。這五個部分的工作原理如圖5所示。

圖5 XNA工作原理圖

游戲初始化的工作包括配置文件的加載、游戲參數的初始化、Kinect工作類的啟動。資源加載是指將游戲圖像資源、音頻資源等加載到內存中。邏輯更新是指游戲邏輯的更新，包括隨時間推進的自動更新和訓練者觸發的更新：隨時間推進的更新指的是諸如時間增加、背景移動等非訓練者可控的更新；訓練者觸發的更新包括動作控制以及引起的相關系列更新，如發出跳躍動作，Kinect工作類中的人體動作識別模塊識別出 這一動作，發出消息通知Update（）函數對游戲人物進行位置的更新，同時播放相關音效。畫面刷新是指根據當前狀態繪制圖像到屏幕之上。由于XNA的輪詢特點，因此，Update（）和Draw（）是間隔固定的時間（一般60幀的刷新率時，間隔時間為1000/60=16毫秒）自動執行操作，無論訓練者是否觸發相關事件。資源卸載是在退出游戲之時，釋放之前加載到內存的資源，以確保系統的正常運行。

虛擬現實感覺統合訓練的系統實現本系統的開發語言為Microsoft Visual C#，開發環境為Microsoft Visual Studio 2010，主程序框架是基于Windows窗體應用程序開發；虛擬互動游戲也是基于Microsoft Visual C#語言，利用Microsoft XNA框架和Kinect for Windows SDK開發包進行開發的。由于C#語言語句開發高效、易用等強大的優勢，而且在運行效率上和C、C++已經非常接近，足以處理絕大部分情況。同時，作為一個輕量級游戲框架，XNA在開發2D游戲上有著不可比擬的簡易性。每個游戲對應的實現方法框架如圖6所示，其中灰色的為游戲名稱。游戲分為兩種類型，采用的識別算法有所區別。單幀靜態分析是指在經過濾波去噪后，對當前幀進行分析檢測，這種分析得到的結果將得到一個姿勢（Posture）；多幀動態分析是指從當前幀開始往后累積若干幀，進行分析檢測，這種分析得到的結果得到的是一個動作（Gesture）。

圖6 每個游戲對應的實現方法

4 結束語

現代教育教學已經向信息技術為背景轉化，虛擬現實技術由于其沉浸性、交互性、多感知性的特點[14]，成為現代化科技發展的熱點。國家“醫教結合”理念尚處于摸索階段，使用新興高科技來豐富教學模式和教學方式，有助于特殊教育教學質量的提升。基于虛擬現實的運動能力訓練，設計游戲的原則是要依據特殊教育學校的兒童運動發育特點，從易到難設置等級，不至于最低難度的游戲大部分學生還是完成不了，這樣會降低他們使用的欲望。游戲設計的最基本原則是能夠提高相應的運動功能，在玩游戲的情況下既鍛煉了運動能力，又能將這些能力遷移到生活和學習中，就達到了教學目標。而且運動有助于智力的發展，調動學生運動參與的主動性，同時也開發了大腦，對障礙兒童的身心發展非常有益。

[1]馬王俊美,鄧文生,梁昭峰,等.DVR技術在教育領域中的應用研究[J].中國電化教育,2005(4):85-88.

[2]趙沁平.虛擬現實綜述[J].中國科學（E輯:信息科學）,2009(1):2-46.

[3]張倩.虛擬現實技術在自閉癥患者干預中的應用[J].中國特殊教育,2010(5):27-31.

[4]Romano D M. Virtual reality therapy[J].Dev Med Child Neurol,2005,47(9):580.

[5]Mirelman A,Mirelman I,Herman T,et al. Virtual reality for gait training: can it induce motor learning to enhance complex walking and reduce fall risak in patient with Parkinson’s disease[J].J Gerontol A Biol Sci Med Sci,2011,66(12):234-240.

[6]Golomb M R,McDonald B C,Warden S J,et al. In-home virtual reality videogame telerehabilition in adolescents with hemiplegic cerebral palsy[J].Arch Phys Med Rehabil,2010,91(1):1-8.

[7]Golomb M R,Warden S J,Fess E,et al. Maintained hand function and forearm bone health 14 months after an in-home virtual-reality videogame hand telerehabilitation intervention in an adolescent with hemiplegic cerebral palsy[J].J Child Neurol,2011,26(3):389-393.

[8]Cikajlo I,Rudolf M,Goljar N,et al. Continuation of balance training for stroke subjects in home environment using virtual reality[J].International Journal on Disability and Human Development,2011,10(4):317-320.

[9]湯盛欽.特殊兒童康復與訓練[M].大連:遼寧師范大學出版社,2005:128.

[10]王和平.特殊兒童的感覺統合訓練[M].北京:北京大學出版社,2011:10.

[11]馮振杰.足球游戲活動對學前兒童下肢本體運動感知覺能力影響的實驗研究[D].廣州:廣州體育學院,2013.

[12]吳國斌,李斌,閻驥洲.KINECT人機交互開發實踐[M].北京:人民郵電出版社,2013.

[13]顧容,何益明,金麗燕.基于Kinect骨骼追蹤技術的智能教學控制系統的設計與實現[J].計算機應用與軟件,2013(6):276-280.

[14]黃俐軍,宋強,仇亞萍.虛擬現實綜述[J].科技經濟市場,2007(4):11-13.

TP391.9

B

1671-489X(2016)02-0053-05

*項目來源：公司合作“醫教結合”綜合康復研究項目（項目編號：48901640）。

作者：王勇麗，華東師范大學言語聽覺康復科學系博士研究生；梁峻波，華東師范大學言語聽覺康復科學系碩士研究生；萬勤，華東師范大學言語聽覺康復科學系副教授，博士；黃昭鳴，華東師范大學言語聽覺科學教育部重點實驗室教授，博士，主要從事特殊兒童教育康復研究（200062）；高棟，上海泰億格康復醫療科技股份有限公司，主要從事教育游戲、體感游戲軟件開發（200333）。