基于虛擬現實的腦-機接口技術發展研究

武警工程大學研究生管理大隊 陳 思軍事基礎教育學院 肖 輝

基于虛擬現實的腦-機接口技術發展研究

武警工程大學研究生管理大隊 陳 思
軍事基礎教育學院 肖 輝

腦-機接口與虛擬現實是當前研究的熱點,將二者的有效結合,既能更有效地發揮腦-機接口的功能,提高被試的腦-機接口控制效果,又能對虛擬現實技術進行改善。本文介紹了基于虛擬現實的腦-機接口的研究背景,而后介紹了該系統的基本結構,并總結了當前該技術的發展現狀,最后提出了未來發展前景。

腦-機接口;虛擬現實;基本結構;發展現狀

1 引言

腦-機接口(BCI)是指大腦與外界設備在不通過傳統的肌肉組織和神經末梢的前提下,實現直接通信的一種方式。BCI最初的用途主要是集中在康復醫學領域,隨著該技術的發展,目前其應用范圍愈加廣泛。近年來,隨著多媒體技術的興起與發展,出現了一種新型的BCI:基于虛擬現實的BCI(BCI-VR)。也就是說為被試提供一種身臨其境的虛擬現實環境,使之更加投入,進入感更強,進而更好地控制BCI系統。

興起幾十年以來,BCI技術已經取得了顯著的進展,其分類精度和傳輸速率進步飛速,其應用領域也從康復醫學拓展到軍事、通信、儀器、多媒體、娛樂等各個領域,逐漸走進人們的生活中。但是,在商業開發的過程中,研究者發現,它存在一個較為致命的瓶頸問題,也正是由于這個問題,才使得其實用性較弱,那就是腦-機接口的控制表現差異問題。所謂控制表現差異,就是不同的被試對腦-機接口具有不同的控制表現,即使是相同的被試,在不同的心理和生理狀態下,也會有不同的控制表現。有些被試甚至無法實現對腦-機接口的有效控制,這部分被試被稱為腦-機接口盲。在試圖解決這個問題的時候,我們發現,對被試進行反饋,使之適時調整自己對腦-機接口的控制,進而找到控制的最佳狀態,是改善BCI控制表現的有效途徑。而虛擬現實則是反饋的一個有效手段。

2 BCI-VR的基本結構

BCI-VR在原有BCI系統的基礎上,增加了VR的部分,分為BCI和VR兩個部分。

2.1 BCI系統

BCI系統主要是用來采集、記錄、分析和傳輸被試的腦電信號,實現大腦意愿的,主要由信號采集、信號處理和控制器三個部分組成。在BCI-VR中,將BCI系統看作一個整體,成為BCI硬件部分。其中的信號處理方法構成該整體的軟件部分。

信號采集根據是否植入大腦分為嵌入式和非嵌入式采集設備。嵌入式的信號采集需要通過外科手術植入大腦,具有一定的創傷性,因此,除了一些病患之外,在實驗中,我們采用的是非嵌入式信號采集設備,例如電極帽等。

信號處理部分由信號預處理、特征提取和特征分類三部分組成。信號預處理的方法以空間濾波和帶通濾波為主,主要是為了去除一些不必要的干擾,為特征提取和特征分類奠定基礎。特征提取的方法有時域方法、頻域方法和時頻域方法等,主要是對腦電信號中的有用特征進行提取。特征分類是對提取到的信號特征進行分類分析,主要方法有有線性判別分析、貝葉斯-卡爾曼濾波、人工神經網絡等。

控制器是將被試的腦電信號進行分析后傳遞出去,實現對外部設備的控制。

BCI系統在BCI-VR中充當的是VR系統的輸入設備。

2.2 VR系統

虛擬現實,是利用計算機模擬產生一個虛擬的空間或環境,為被試提供視覺、觸覺、聽覺等感官上的模擬,使之產生身臨其境般的體驗。BCI-VR中的VR系統,能夠為被試提供實時情景的反饋,并處理來自BCI的控制指令。

VR系統由建模、仿真和通信協議等組成,與BCI系統軟件互相通信,協同實現對外部設備的控制。若想實現BCI和VR的有效通信,需要一些行之有效的協議,例如UDP協議等[1]。BCI-VR的實現,需要數學建模、計算機技術、通信技術等多領域的合作才能完成。

VR環境是BCI-VR的反饋部分,與傳統的VR相比,能為被試提供更加積極主動、豐富多彩、直觀直接的情境反饋。

3 BCI-VR的發展現狀及應用前景研究

3.1 BCI-VR技術的發展現狀

2000年,Bayliss和Ballard等人首次將腦-機接口技術與虛擬現實相結合,使得被試在虛擬環境中操作一輛汽車在紅燈前停下,紅燈被設置為P300電位[2]。2005年,Lalor 等人1使用基于視覺穩態誘發電位的BCI技術來控制3D虛擬環境游戲[3]。2007年, Leeb R等人實現了在虛擬環境中用BCI控制輪椅前進或者停止[4]。西班牙的Sergi Bermudezi Badia等人設計了一款基于腦-機接口虛擬現實的神經康復系統[5]。

國內關于BCI-VR的研究也取得了不錯的成績。2006年,清華大學馬贇、王毅軍等人設計出了一種基于腦-機接口技術的虛擬現實康復平臺,為病患設計出了一個虛擬的訓練平臺[1]。2014年,天津大學孔麗文、薛召軍等人發明了一種基于虛擬現實的智能眼鏡腦-機接口技術[6]。上海交通大學的趙啟兵等人設計了一種異步BCI系統,使得被試在虛擬環境中可以自主地控制車輛行駛。2010年,楊幫華等人設計了基于虛擬現實的腦機交互反饋系統,有效改善了BCI的反饋系統[7]。

3.2 BCI-VR技術的應用前景

隨著社會各界對腦-機接口技術的關注日益密切,其發展必將得到廣泛推進。而想要發展,就要解決瓶頸問題。前文中已經提到,腦-機接口發展的主要障礙之一就是控制表現差異的問題,而解決控制表現差異或者改善被試控制表現的有效方法之一就是基于虛擬現實的反饋方法。因此,BCI-VR技術擁有光明的發展前景。

一是在多媒體和電子科技領域,BCI-VR已經打開了電子科技發展的另一扇窗,成為廣大電子發燒友關注的熱點問題,下一步的發展將會集中在基于該技術的電子產品的普及上。

二是在康復醫學領域,BCI技術在康復醫學領域的發展日趨成熟,而BCI-VR為那些大腦思維正常但是有行動障礙的病患帶來了福音,將成為病患恢復四肢運動功能的有效輔助工具。

三是在軍事領域,科技的發展,最初很多都是為軍事服務的。而在以和平與發展為主題的現代社會,BCI-VR技術在軍事領域已經嶄露頭角,相信不久的將來,會為人類的和平事業做出應有的貢獻。

4 總結

本文首先介紹了基于虛擬現實腦-機接口的基本結構和功能,而后在前人研究的基礎上,總結了BCI-VR技術的發展現狀,并展望了其發展前景。BCI技術的發展進入了全新的階段,在解決其發展瓶頸的基礎上,BCI-VR技術必將發揮更大作用。

[1]馬贇,王毅軍,高小榕,高上凱。基于腦-機接口技術的虛擬現實康復訓練平臺[J]。中國生物醫學工程學報,2007,6(26),373:378.

[2]BAYLISS J D, BALLARD D H, A virtual reality test-bed for braincomputer interface research[J]。IEEE Transactions on Rehabilitation Engineering, 2000,8(2):188-190.

[3]LALOR E C, KELLY S P, FINUCANE C et al。 Steady state VEP-based brain-computer interface control in an immersive 3D gaming environment[J]。 EURASIP journal on applied signal processing。 2005:3156-3164.

[4]LEEB R,FRIEDMAN D, MULLER-PUTZ G R,et al。Selfpaced BCI control of a wheelchair in virtual environments:a case study with a tetraplegic[J]。Computational intelligence and neuroscience,2007.

[5]Sergi Bermudezi Badia,Hani,Samaha。Exploring the Synergies of a Hybrid BCI-VR Neurorehabilitation System[C]。International Conference on Virtual Rehabilitation 2011,2011.

[6]孔麗文,薛召軍,明東,等。一種基于虛擬現實環境的智能眼鏡腦-機接口方法[P]。中國專利:CN103955269A,2014-07-30.

[7]楊幫華,劉麗,陸文宇,等。虛擬現實在腦機交互反饋系統中的應用[C]。中國科協海峽兩岸青年科學家學術活動月"仿真科學與技術"研討會,2010.