基于虛擬現實技術的認知功能康復訓練系統的設計與構建①

王文春，王倩，龐日朝，江玥，王彧，羅緋，田恬，劉鵬遠，楊孝光，張安仁

·康復工程·

基于虛擬現實技術的認知功能康復訓練系統的設計與構建①

王文春1，王倩1，龐日朝1，江玥1，王彧1，羅緋3，田恬1，劉鵬遠2，楊孝光3，張安仁1

目的 本文介紹基于虛擬現實技術的認知功能康復訓練系統的設計構建，包括總體構思，系統的組成和功能設計，系統實現所采用的訓練數據形式化描述、人機交互控制、訓練過程仿真控制和虛擬環境模塊開發等關鍵技術等。該系統適合我國國情和軍隊環境，將為認知康復開辟新的治療途徑，有助于推動虛擬現實技術在康復醫學領域中的應用。

認知障礙；認知康復；虛擬現實技術

[本文著錄格式]王文春，王倩，龐日朝，等.基于虛擬現實技術的認知功能康復訓練系統的設計與構建[J].中國康復理論與實踐,2012,18(10):988-990.

認知功能障礙是腦損傷患者的常見問題，不僅影響運動功能、日常生活活動能力的全面康復，更直接影響社會適應能力，給患者重返社會帶來困難。因此，腦損傷后的認知康復已成為醫學界所面臨的重要課題之一。隨著計算機技術的發展，計算機與認知障礙領域的結合已經從理論研究進入應用產品開發階段。特別是虛擬現實(virtual reality,VR)技術的出現，促進了計算機技術和認知科學在更高層次的結合，在認知障礙的康復評定和訓練方面表現出傳統方法所無法比擬的優勢[1-4]。將虛擬現實技術用于認知障礙康復，國外已有眾多的報道[5-7]。國內雖然可查到虛擬現實與認知康復的相關文獻[8-10]，但均為綜述性文獻，尚未有虛擬現實技術用于認知康復的臨床報道。本項目旨在為腦損傷后認知功能障礙提供一整套適合我國國情的、具有獨立自主知識產權的虛擬現實康復訓練系統。目前該系統已開發完成，正在進行臨床應用。本論文研究的重點是基于虛擬環境的認知康復訓練技術的研發。

1 總體設計思想

項目總體設計思想及目標是：將認知科學與康復醫學、虛擬現實技術進行充分的學科交叉與融合，針對腦損傷后的認知功能障礙，在虛擬現實建模的基礎上，實現人機交互的認知康復評價和訓練，克服傳統認知康復治療中耗時、費力、效果欠佳的缺點。

2 虛擬認知康復訓練系統的構成及功能設計

虛擬認知康復訓練系統結構包括定向能力訓練、注意力訓練、記憶力訓練、視知覺能力訓練、空間知覺能力訓練、思維操作能力訓練和動作運用訓練7大模塊，每一個模塊都安排低、中、高級3種類別的題目若干。一些題目以多媒體的形式提供給患者作答，訓練方式主要有二維圖片、三維物品和借助虛擬場景實現的虛擬認知訓練。而在定向能力訓練、空間知覺能力訓練和動作運用能力訓練3個模塊中，則根據定向能力障礙、空間知覺障礙和動作運用能力障礙的特點，廣泛使用虛擬現實技術。實施訓練時，依據LOTCA量表評定結果發現患者認知功能受損的領域，針對不同領域的障礙進行相應的康復訓練計劃。以下主要針對這3個模塊中基于虛擬現實技術的題目進行闡述。為了提高人機交互的友好性，系統中設計兩種交互模式：基于鍵盤、鼠標、觸摸屏等普通外設的交互模式和基于空間球、位置跟蹤器、數據手套、立體眼鏡等虛擬外設的交互模式，分別簡稱普通交互模式和虛擬交互模式。在系統中采用Multigen Creator建立三維模型，使用Vega進行虛擬環境驅動。

虛擬認知康復訓練系統本質上是一個人在回路的過程仿真系統，患者按照系統的要求通過外設與虛擬環境進行交互，驅動虛擬環境狀態發生變化。系統對整個交互過程進行監控，提取交互特征數據并與已經形式化的訓練數據(題目)進行比對，從而確定患者是否達到題目的要求。

雖然虛擬認知康復訓練系統中采用虛擬現實技術的題目形式多樣，但由于都是人在回路的過程仿真系統，因此在結構上是一致的，都包括人機交互、仿真控制、虛擬環境和訓練成績評定等4個模塊，它們相互作用，形成認知康復訓練過程仿真模塊，如圖1所示。

圖1 基于虛擬現實訓練題目過程仿真模型結構圖

3 系統關鍵技術的實現

3.1 訓練數據形式化描述 以空間定向能力中的一個題目為例。一個靶場包括半身靶、射擊位置和預備區域三個區域，一個虛擬戰士處于預備區域。題目要求是控制虛擬戰士由預備區域到射擊位置射擊后再到半身靶處數環數。在系統中采用Multigen Creator建立三維虛擬靶場。

3.2 人機交互控制 在普通交互模式下，主要解決用二維交互設備拾取和控制三維虛擬實體；在虛擬交互模式下，則要實現真實人動作向虛擬人動作的映射，需要解決虛擬外設安裝、驅動、映射算法等問題[11]。虛擬交互控制的對象是虛擬人，一是要實現虛擬人的人體動作，如行走、跑、立定等，人體動作基于DI-GUY實現，采用空間球進行控制。二是控制虛擬人實施虛擬操作，這需要位置跟蹤器和數據手套等虛擬外部設備。

3.3 訓練過程仿真控制 仍以3.1中的題目為例，說明仿真控制的過程，如圖2所示。對是否進入某一區域的判斷方法是，獲得虛擬人的當前坐標位置P0(x0,y0,z0)，根據矩形區域的頂點坐標計算xmin、ymin、xmax、ymax，如果xmin＜x0＜xmax，并且ymin＜y0＜ymax，則虛擬人已處于該區域[12]。

圖2 仿真控制流程

3.4 虛擬環境模塊開發 虛擬環境模塊負責實現虛擬環境中各類虛擬實體行為狀態的更新、碰撞檢測以及環境特效。虛擬實體有3種基本行為模式：平移、旋轉和縮放。在Vega中對應這3種基本模式分別設計相應的函數，通過這3種行為模式的組合，可以實現任何復雜的行為。為了保證虛擬環境的真實性，在虛擬環境中需要設置碰撞檢測，防止出現穿越等不真實現象。在Vega中提供BUMP、Z、VOLUME等多種成熟的碰撞檢測方法，能夠實現與地形表面、與前方障礙物的碰撞檢測與響應。Vega中還提供環境模塊，能夠模仿大氣、日月星辰、霧雨雪等效果。

4 臨床應用情況

為比較虛擬認知康復訓練系統與人工作業認知訓練對顱腦損傷認知功能障礙的療效差異，客觀評價該系統的臨床實用價值，我們進行了一個小樣本的臨床觀察。將38例患者隨機分為兩組，對照組及治療組各19例，兩組均進行常規針刺治療及藥物治療。治療組在此基礎上采用虛擬認知康復訓練系統，對照組采用臨床常用人工作業認知訓練。治療前后采用LOTCA量表進行評價，比較兩種方法對顱腦損傷后認知功能障礙的改善情況。試驗結果：①治療前后組內比較：對照組除圖片排序B(PS2)、邏輯問題(LQ)條目評分差異無統計學意義(P＞0.05)外，其余條目評分差異均有統計學意義(P＜0.05)；治療組除圖片排序B(PS2)、幾何圖形排序推理(GS)條目評分差異無統計學意義(P＞0.05)外，其余條目評分差異均有統計學意義(P＜0.05)。②治療后組間比較：7項認知域評分在注意力、空間知覺有統計學意義(P＜0.05)，其余5項認知域的差異均無統計學意義(P＞0.05)；總分比較差異無統計學意義(P＞0.05)。

通過臨床應用，我們得出初步結論：虛擬認知康復訓練系統與人工作業認知訓練對顱腦損傷后認知功能障礙均有一定的改善作用。在注意力、空間知覺的改善方面，虛擬認知康復訓練系統優于人工作業認知訓練；在其他認知域，兩種方法沒有顯著性差異。與人工作業認知訓練相比，虛擬認知康復訓練系統更具趣味性，訓練效率更高，依從性更好，適用于臨床推廣應用。

5 討論

認知是人對外界事物的全面感知，包括感覺、知覺、思維、注意、記憶、智能、判斷、推理、學習、想象、概括和語言等心理過程[13]，任一過程損害均可導致認知功能的障礙。在戰爭中，會造成戰斗員的大量戰傷，其中最嚴重的首推顱腦戰傷。同樣，在平戰時期的訓練中，也會因為多方面的原因導致顱腦損傷。顱腦損傷傷殘率高達40%[14]，其中認知功能障礙是最為常見的顱腦損傷后遺癥之一。認知、認知科學(C)已經和納米技術(N)、生物技術(B)、信息技術(I)一起，形成21世紀的NBIC前沿體系。更為嚴重的是，由于軍事醫學的特殊性，戰爭創傷后的認知功能障礙不僅影響患者自身的生活質量，而且對軍事任務、軍事機密等也會造成難以估量的影響。因此，提高戰爭創傷后認知功能障礙的康復技術水平，不僅對目前平戰時期認知功能障礙患者的康復治療具有重要意義，而且對于一旦發生戰爭所導致的潛在認知功能障礙者也是一種保障。

虛擬現實技術是利用計算機生成一種模擬環境(如飛機駕駛艙、分子結構世界等)，通過多種傳感設備使用戶“投入”到該環境中，實現用戶與該環境直接進行自然交互的技術。虛擬現實系統具有“3I”的特征，即沉浸(immersion)、交互(interaction)和想象(imagination)。虛擬現實可以使人沉浸在計算機實時產生的三維環境中，并能夠與多種刺激下的虛擬環境進行交互，這就能夠滿足為患者提供一種可控刺激的環境以進行認知障礙的康復治療，并在治療過程中對多種重要指標進行測量和監控[15-17]。同時，對于患者來說，這也是一種有趣新穎的治療方法，整個治療在熟悉的安全環境中進行。如果將治療過程設計得比較巧妙，治療過程將像游戲一樣引人入勝，患者也樂于參與，可消除傳統方法的弱點[18]。

在臨床應用中，虛擬認知康復訓練系統對注意力、空間知覺的改善優于人工作業認知訓練。推測其原因，可能與本系統在空間知覺能力訓練模塊中廣泛使用虛擬現實技術有關。該系統人機交互的訓練形式，豐富多彩的訓練內容，聲音影像的多重刺激，以及對多種環境的模擬，能夠吸引患者訓練的興趣。同時，該訓練系統根據患者障礙的種類和程度，提供具有針對性的、循序漸進的方案，使患者不會因太難而產生挫折感，并感覺到訓練挑戰性，從而提高患者訓練積極性，使患者能夠有趣有效地進行訓練，提高訓練專注力。故該訓練系統在注意力及空間知覺的改善方面表現出較人工作業認知訓練更大優勢。這與Weiss[19]、Cho[20]等的研究結果一致。

本課題針對腦損傷后的認知功能障礙，在虛擬現實建模的基礎上，實現人機交互的認知康復評定和訓練，克服傳統認知康復治療中耗時、費力、效果欠佳的缺點，有助于提高腦損傷后認知康復療效，讓患者盡快重返社會。此外，研發過程中開發的部分虛擬現實康復技術能為腦損傷后其他功能障礙的研究提供思路，某些核心技術可直接用于其他虛擬現實康復系統產品的開發。

[1]Standen PJ,Brown DJ.Virtual reality in the rehabilitation of people w ith intellectual disabilities[J].Cyberpsychol Behav, 2005,8(3):72-82.

[2]Rose FD,Brooks BM,Rizzo AA.Virtual reality in brain damage rehabilitation[J].Cyberpsychol Behav,2005,8(3):41-62.

[3]Riva G,Mantovani F,GaggioliA.Presence and rehabilitation: toward second-generation virtual reality applications in neuropsychology[J].JNeuroengineering Rehabil,2004,1(1):9.

[4]Zhang L,Abreu BC,Seale GS,et al.A virtual reality environment for evaluation of a daily living skill in brain injury rehabilitation:reliability and validity[J].Arch Phys Med Rehabil, 2003,84(8):1118-1124.

[5]Lo Priore C,Castelnuovo G,Liccione D,etal.Experiencew ith V-STORE:considerations on presence in virtual environments for effective neuropsychological rehabilitation of executive functions[J].Cyberpsychol Behav,2003,6(3):281-287.

[6]Lannen T,Brown D,Powell H.Controlof virtualenvironments for young peoplew ith learning difficulties[J].Disabil Rehabil, 2002,24(11-12):578-586.

[7]Zhang L,Abreu BC,Masel B,etal.Virtual reality in the assessment of selected cognitive function after brain injury[J].Am J PhysMed Rehabil,2001,80(8):597-604.

[8]李科,堯德中.虛擬現實技術在認知康復中的應用[J].中華物理醫學與康復雜志,2005,27(4):245-247.

[9]竇祖林,文偉光,譚聲輝,等.認知障礙的遠程康復進展[J].中華物理與康復醫學雜志,2003,25(9):568-571.

[10]張安仁,王文春.腦損傷后認知功能障礙的虛擬現實康復技術研究進展[J].西南國防醫藥,2006,16(2):227-229.

[11]劉鵬遠,李瑞華,張錫恩.虛擬操作訓練系統中的人機交互技術研究[J].系統仿真學報,2005,17(5):1141-1144.

[12]劉鵬遠,張錫恩.虛擬操作訓練系統中的過程仿真模型研究[J].計算機仿真,2004,21(3):161-163.

[13]李維.認知心理學研究[M].杭州:浙江杭州人民出版社, 1998.

[14]黎鰲,盛志勇,王正國.現代戰傷外科學[M].北京:人民軍醫出版社,1998:608-665.

[15]Tarr MJ,Warren WH.Virtual reality in behavioral neuroscience and beyond[J].NatNeurosci,2002,5(5):1089-1092.

[16]Rizzo AA,Schulthesis MT,Kems KA,et al.Analysis of assets for virtual reality applications in neuropsychology[J].NeuropsycholRehabil,2004,(14):207-241.

[17]Schulthesis MT,Rizzo AA.The application of virtual reality technology for rehabilitation[J].Rehabil Psychol,2001,(46): 296-311.

[18]Emily AK.Virtual reality and physical rehabilitation a new toy or a new research and rehabilitation tool[J].JNeuroengineering Rehabil,2002,(17):378-394.

[19]Weiss PL,Naveh Y,Katz N.Design and testing of a virtualenvironment to train stroke patientsw ith unilateral spatial neglect to crossa streetsafely[J].Occup Ther Int,2003,10:39-55.

[20]Cho BH,Kim S,Shin DS,et al.Neurofeedback training w ith virtual reality for inattention and impulsiveness[J].Cyberpsychol Behav,2004,7:519-527.

Design and Building of Virtual Reality Technology-based Rehabilitation System for Patients w ith Cognitive Deficits

WANG Wen-chun,WANGQian,PANG Ri-zhao,etal.DepartmentofRehabilitation Medicine,Chengdu Military General Hospital ofPLA,Chengdu 610083,Sichuan,China

ObjectiveThe article described the design and building of a virtual reality technology-based rehabilitation system for patientsw ith cognitive deficits,including overall idea,design and structure of the system,the key technology,such as formal description of the training data,man-machine interactive control,controlling simulation of the training process and virtual environmentmodule development to achieve system implementation.The system is suitable for our country andmilitary.Itw ill create a new way for the cognitive rehabilitation and help to promote theapplication of virtual reality technology in rehabilitation.

cognitive deficits;cognitive rehabilitation;virtual reality technology

R493

A

1006-9771(2012)10-0988-03

2012-07-16

2012-08-07)

全軍“十一五”科技攻關計劃項目(No.06G050)。

1.中國人民解放軍成都軍區總醫院康復醫學科，四川成都市610083；2.石家莊軍械工程學院，河北石家莊市050003；3.成都軍區總醫院計算機網絡管理中心，四川成都市610083。作者簡介：王文春(1977-)，男，四川綿陽市人，碩士，主治醫師，主要研究方向：神經系統疾病的康復。曾獲省部級科研成果獎4項。通訊作者：張安仁。

10.3969/j.issn.1006-9771.2012.10.029