王 湃，呂元杰，汪 梅

（西安科技大學 電氣與控制工程學院，陜西 西安 710054）

一種基于智能手機與腦-機接口 技術的環境控制系統

王 湃，呂元杰，汪 梅

（西安科技大學 電氣與控制工程學院，陜西 西安 710054）

為幫助重癥患者實現與外部環境交流，基于穩態視覺誘發電位原理，將腦-機接口與智能手機相結合，開發一種利用腦電波進行環境控制的智能系統。本系統采用穩態視覺誘發電位技術設計腦-機接口，采用Android系統的智能手機作為控制終端，以FFT算法提取腦電波信號的頻率特征，用于目標識別。采用藍牙技術實現控制終端與被控對象之間無線通信。本系統可以實現：撥打電話、家電控制等功能。針對不同的系統功能進行3組試驗，結果表明：本系統的識別準確率最高可達100%，最差準確率達：72.4%.與傳統的BCI系統相比，本系統具有可穿戴、移動性好、識別率高等特點。

腦機-接口；穩態視覺誘發電位；智能手機；藍牙

0 引 言

臨床上存在許多病癥會破壞神經肌肉傳導，使大腦不能支配語言或肢體與外界環境進行互動聯系。這一類的病癥包括大腦或脊髓受傷、肌萎縮性側索硬化癥、腦性麻痹、腦干中風、肌肉失養癥、多發性硬化癥等。這些喪失自主肌肉控制的病人，僅能夠活動眼睛與呼吸，喪失了與外界環境進行溝通的能力。保守估計，我國目前至少應有10萬名運動神經元疾病患者[1]。如何改善這些重癥病患的生活狀態，設計基于無線傳感器網絡的監護系統[2-4]，使他們能夠得到照顧，實現與外界溝通，是急需解決的科學難題。

腦-機接口技術（Brain-computer interface，BCI）作為一種實現大腦和外部設備（計算機或外界環境等）之間的信息直接通信技術[5]。近年來得到了突飛猛進的發展，已經在生物醫學[6]、虛擬現實[7]、游戲娛樂[8]、康復工程[9]等領域體現出重要的價值。目前大多BCI系統均是以PC機結合醫用腦波測試儀進行開發[10-11]，系統設計復雜、造價昂貴。如何簡化BCI系統設計，降低開發成本，提高BCI系統的實用性，是一項具有挑戰性的研究課題。

文中開發了一種采用Android系統的智能手機作為控制終端，通過腦波信號進行環境控制的智能控制系統。采用（Fast Fourier Transform，FFT）算法[12]獲得EEG信號的頻譜，并提取其頻率特征用于指令分類。與傳統的BCI系統不同，本系統對腦電波采集系統進行嵌入式開發，使得整套系統具有可穿戴性。針對系統所實現的不同功能，進行了3組不同的實驗。結果表明，本系統具有較高的識別率，及廣闊的應用前景。

1 穩態視覺誘發電位

當被試者被施加某種頻率的視覺刺激時，會在枕葉區的腦電信號中產生出連續的與刺激頻率相對應的視覺誘發電位，稱為穩態視覺誘發電位（steady state visual evoked potential，SSVEP）[13]。視覺誘發電位為具有周期性的短暫延遲信號，其中包含刺激頻率及其諧波成分。

通過分析發現，在穩態視覺誘發電位的頻譜中，可以在刺激頻率的基頻或倍頻處發現較明顯的峰值。當被試者面對2個或多個不同頻率的視覺刺激時，處于被試者視野中心或者注意力中心的刺激頻率會出現比其它刺激頻率更大的頻譜峰值或空間分布變化。相對其他的腦電信號（例如運動想象自發電位），只需被試者進行少量的適應性訓練，即可獲取信噪比較高的、穩定的腦電波識別信號。因此，穩態視覺誘發電位被廣泛地應用于BCI系統中。

2 基于智能手機與穩態視覺誘發電位的環境控制系統

圖1 系統總體結構圖Fig.1 Overall structure of the system

本系統的總體結構如圖1所示，整個系統由視覺刺激器、電極帽、EEG信號采集單元、EEG信號處理單元、指令轉換單元、及被控對象組成。電極帽、EEG信號采集單元構成了EEG信號的采集系統，用于被試者EEG信號的采集。由于本系統的控制終端是智能手機，所以處理單元基于Android平臺開發，負責EEG信號的特征提取與分類。本系統的控制對象包括：風扇、臺燈、智能手機，其中對風扇、臺燈的控制實現病患對所處環境的溫度、亮度、調節；對智能手機的控制可以實現電話撥打、緊急呼叫、短信發送等功能，實現病患與醫護人員的溝通。

2.1 視覺刺激器

視覺刺激器是提供視覺刺激的外部裝置，同時也是腦-機接口系統的人機界面。刺激器需要產生有效的視覺刺激，以便檢測出可靠的視覺誘發電位，并能明確地表示出選擇信息，用于區別被試者可能做出的不同選擇。傳統的視覺刺激器可分為2類，二極管閃爍刺激和顯示器圖形閃爍刺激。通常用多個刺激模塊來對應試驗者不同的選擇或者控制信息，要求刺激器有穩定的頻率以便采集到穩定的腦電信號。目前，大多BCI系統的視覺刺激器以LED或PC機構成[14]；但是這種視覺刺激器，往往尺寸較大，可移動性較差，不利于BCI系統的實際應用。

針對上述問題，本系統選擇了基于Android系統的大屏手機來替代視覺刺激器及PC機。本系統的刺激器是采用JAVA語言進行開發[15]。利用JAVA語言中消息機制的延遲推送特性，在程序中延遲更改布爾函數的值，實現不同圖片的顯示，從而完成不同頻率刺激塊閃爍的任務。

2.2 電極帽

圖2 電極分布Fig.2 Electrode distribution

本系統采用自制的電極帽，其電極采用Ag/Ag合金制成。電極分布如圖2所示，電極1用來采集枕葉區的腦波電位；電極2作為參考電極，用來采集頂葉區的自發腦波電位。要得到純凈的視覺誘發電位，必須對自發式腦電波進行濾除。大量誘發電位在大腦的枕葉區檢測到，額葉區較少，所以把額葉區作為參考電位點，可以有效的濾除自發式腦電波。電極3作為腦波地線連接在人體的耳部，用于屏蔽人體頭部以下電波所產生的噪聲。例如心電就是一種比較強的干擾噪聲，腦波地的連接可以有效的濾除心電。

圖3 EEG采集電路Fig.3 EEG acquisition circuit

2.3 基于EEG信號采集單元

本系統的EEG采集電路以NeuroSky芯片為核心，進行嵌入式系統開發。如圖3（a）所示，NeuroSky芯片的工作電壓為3.3 V，采樣率512 Hz，傳輸波特率57 600.該芯片可提供2種信號：①原始腦波信號；②經過處理的腦波信號。EEG采集電路如圖3（c）所示，EEG端通過電極帽的1號電極連接到被試者的枕葉區。EEG_shiled端用于屏蔽誘發式EEG信號在采集時受到的干擾噪聲；REF端是通過電極帽的2號電極連接到被試者的頂葉區，用于對自發式EEG信號進行濾除；REF_shiled端用于屏蔽EEG參考信號采集時受到的干擾噪聲；EEG信號地線連接在位于人體的耳部電極3，用于屏蔽人體頭部以下電波產生的噪聲。藍牙芯片HL-MD08R-C2A如圖3（b）所示，用于EEG信號的無線傳輸。采樣后的EEG信號，經過NeuroSky芯片的TXD端傳給藍牙芯片的RX端，將誘發式EEG信號發送給EEG信號處理單元（智能手機），對腦波數據進行處理分析。

2.4 EEG信號處理單元

本系統的EEG信號處理軟件，主要實現3部分功能。首先，通過智能手機的藍牙接口，接收EEG信號采集單元傳輸的EEG數據；然后，通過FFT得到EEG數據的頻譜，并基于頻譜對腦波信號進行特征提取與分類；最后，將不同的操作指令，通過智能手機的藍牙接口傳輸到不同的控制對象。

目前EEG信號處理方法主要有：利用獨立向量分析、傅立葉變換、小波分析等方法[16-17]。FFT是離散傅立葉便變換的改進。設N（N=2M，M為正整數）點信號序列X（n）的離散傅立葉變換為X則有

（1）

（2）

n=0,1,…,N-1；k=0,1,…,N-1將x（n）（N=0,1,…,N-1）按n的奇偶分成以下2組

（3）

將（3）式代入（1）并利用周期性和對稱性化簡得到

（4）

（5）

這樣N點序列X（k）就變為2個N/2點序列x1（r）和x2（r）離散傅立葉變換的組合。其中X1（k）

本系統應用FFT將時域內一秒的EEG信號，通過512 Hz的采樣頻率得到512個離散的幅值，實驗結果如圖4所示。經過大量實驗采用4，7，9，11，13 Hz，作為特征值對系統的不同指令進行分類。

圖4 EEG信號與FFT結果（0～255 Hz）Fig.4 EEG signal and FFT results

圖5 電話撥打系統部分功能實現流程Fig.5 Partial function implementation process of telephone dialing system

2.5 控制對象

本系統的控制對象有3個：智能手機、臺燈、電扇，構成環境控制系統的3個子系統。其中電話撥打系統功能由EEG信號控制下的智能手機完成。電話撥打系統部分功能的實現流程圖如圖5所示。在Android系統的開發中，采用單頻率多功能的開發思想。即每個界面的閃爍誘發塊代表多個不同功能，通過多次選擇最終實現某一功能的操作。

圖6 電話撥打功能APP界面Fig.6 APP interface of phone dialing

如圖6所示，若系統程序當前在電話撥打界面中，分別有4個不同頻率的誘發塊，它們分別代表數字1，2，3；4，5，6；7，8，9和0，返回。當處于左邊界面時，如果系統接收到4 Hz頻率的信號則進入右邊界面；右邊界面中同樣有4個不同頻率的誘發塊，分別代表1，2，3，返回。在右邊的界面中如果再接收到相應頻率的信號，則會選擇出相應數字，判定為用戶所需。

本系統采用單片機與繼電器控制臺燈與風扇。單片機采用中斷模式接收由智能手機通過藍牙傳輸的控制信號。主程序對接收到的信號進行判斷，根據信號所定義的控制動作控制I/O接口，實現對風扇和臺燈的控制，控制流程如圖7所示。

圖7 電燈與風扇的控制流程Fig.7 Lamp and electric fan control flow

3 實驗與分析

在本系統性能分析的實驗中，以準確率、耗時、作為系統性能的評估參數。本試驗的被試選擇5名年齡在22～24身體健康的研究生，3男2女。每一個人均對本系統的電燈控制功能、風扇控制功能、電話短信功能測試3次，每次測試完畢休息1 h.

表1 臺燈控制功能實驗結果

臺燈控制功能測試結果見表1，5個人的準確率均達到100%，平均時間最好的達到19.66 s，最差30.66 s.

表2 風扇控制功能實驗結果

風扇控制功能測試結果見表2，5個人的準確率有2人達到100%，準確率最差達到85.7%平均時間最好的達到68.36 s，最差103.3 s.

表3 電話短信功能測試結果

電話控制功能測試所的結果見表3，5個人的最高準確率為80.7%準確率最差達到72.4%，平均時間最好的達到171.66 s，最差208.33 s.

綜上3個實驗可以看出：被試者對本系統控制電燈的功能完成的最好，準確率均達到100%；對于電話發送短信功能完成的最差，最高準確率80.7%，最差準確率72.4%.這是因為完成控制電燈功能，最少只需進入2次界面，完成短信發送功能最少需要進入7次界面，隨著識別目標的增多，正確率有所下降。另外，隨實驗時間的增加，被試者出現視覺疲勞也是正確率下降的原因。所以在上述3個實驗中，實現功能越復雜、正確率越低、耗時越長。

4 結 論

文中基于智能手機與穩態視覺誘發技術，開發一種環境控制系統。本系統以穩態視覺誘發電位技術設計腦-機接口，實現以腦電波信號控制臺燈、風扇、電話撥打系統等功能。實驗結果證明了本系統具有較高的準確率。由于本系統的硬件采用嵌入式設計，實現整套系統的可穿戴性，使得本系統具有廣闊的應用前景。

References

[1] 吳 琪，黃林歡，姚曉黎，等.肌萎縮側索硬化患者輕度認知功能損害[J].中華神經科，2011，44（6）：400-404.

WU Qi，HUANG Lin-huan，YAO Xiao-li，et al.A clinical study on mild cognitive impairment in amyotrophic lateral sclerosis[J].China Journal of Neurol，2011，44（6）：400-404.

[2] 王 平，秦 威.基于藍牙無線傳感網絡的病人身體狀態實時監護系統設計[J].西安科技大學學報，2015，35（1）：128-131.

WANG Ping，QIN Wei.Real time monitoring system for patients based on bluetooth wireless sensor network[J].Journal of Xi’an University of Science and Technology 2015，35（1）：128-131.

[3] 李明明.用于環境監測領域無線傳感器網絡中的數據壓縮編碼算法[J].西安科技大學學報，2011，31（5）：617-621.

LI Ming-ming.A data compression algorithm for environmentmonitoring wireless sensor network[J].Journal of Xi’an University of Science and Technology，2011，31（5）：617-620.

[4] 李白萍，侯媛彬，王 爽，等.用于危險環境監控的無線傳感器網格體系結構[J].西安科技大學學報，2011，31（2）：223-226.

LI Bai-ping，HOU Yuan-bin，WANG Shuang，et al.A wireless sensor grid architecture suitable for dangerous environment monitoring[J].Journal of Xi’an University of Science and Technology，2011，31（2）：223-226.

[5] Regan D．Human brain electrophysiology：evoked potentials and evoked magnetic fields in science and medicine[M].New York：Elsevier Science Publishing，1989．

[6] Aughan T M，Heetderks W J，Trejo L J．Brain-computer interface technology：A review of the second international meeting[J].IEEE Transactions on Neural Systems and Rehabilitation Engineering，2003，11（2）：94-96．

[7] Bayliss J D，Ballard D H．A virtual reality testbed for brain-computer interface research[J].IEEE Transactions on Rehabilitation Engineering，2000，8（2）：188-190．

[8] Schalk G，McFarland D J，Hinterberger T，et al．BCl 2000：a general-purpose brain computer interface（BCI）system[J].IEEE Trans Biomed Eng，2004：51（6）：1 034-1 043.

[9] 周 鵬，曹紅寶，熊 屹，等.基于腦機接口的智能康復系統的設計[J].計算機工程與應用，2007，43（26）:1-4.

ZHOU Peng，CAO Hong-Bao，XIONG Yi，et al.Design of intelligent rehabilitation system based on brain-computer interface[J].Computer Engineering and Applications，2007，43（26）：1-4.

[10] 吳 邊，蘇 煜，張劍慧，等.基于P300電位的新型BCI中文輸入虛擬鍵盤系統[J].電子學報，2009，37（8）：1 733-1 738.

WU Bian，SU Yu，ZHANG Jian-hui，et al.A virtual Chinese keyboard BCI system based on P300 potentials[J].Acta Electronic Sinica，2009，37（8）：1 733-1 738.

[11] 許敏鵬，張力新，明 東，等.基于SSVEP 阻斷與P300特征的混合范式腦-機接口[J].電子學報，2013，41（11）：2 247-2 251.

XU Min-peng，ZHANG Li-xin，MING Dong，et al.A hybrid BCI based on the combination of SSVEP blocking and P300 features[J].Acta Electronic Sinica，2013，41（11）：2 247-2 251.

[12] 王新洲，林明華，花向紅，等.基于快速傅立葉變換的打樁錘擊信息的識別[J].武漢大學學報：信息科學版，2008，33（7）：16-19.

WANG Xin-Zhou，LIN Ming-Hua，HUA Xiang-Hong，et al.Identification information of piling hammer based on the fast fourier transform[J].Geomatics and Information Science of Wuhan University，2008，33（7）：16-19.

[13] 賓光宇，張雅靜，高小榕.相位同步方法用于穩態視覺誘發電位的測量[J].清華大學學報，2008，48（9）：1 507-1 510.

BIN Guang-yu．ZHANG Ya-jing，GAO Xiao-rong.Steady state visual evoked potential measurement using a phase-locking method[J].Journal of Tsinghua University Science and Technology，2008，48（9）：1 507-1 510.

An environmental control system based on smart mobile phone and brain computer interface technology

WANG Pai，LV Yuan-jie，WANG Mei

（CollegeofElectricalandControlEngineering,Xi’anUniversityofScienceandTechnology,Xi’an710054,China）

To help critically ill patients communicate with outside environment，we combine the brain-computer interface with smart phone based on the theory of steady state visual evoked potential（SSVEP）to develop an intelligent system which controls the environment by using the electroencephalograph（EEG）.This system uses the steady-state visual evoked potential technology to design a brain computer interface，and takes the intelligent android mobile phone as the control terminal.It applies FFT algorithm to extract the frequency characteristic of EEG signals for target recognition，and realizes wireless communication between the control terminal and controlled object by using Bluetooth technology.By using the intelligent system，patients may make a telephone call and control household appliances and so on.We design three groups of test according to the different function of the system The experimental results show that the system has the highest accuracy of 100% in recognition，and the lowest accuracy of 72.4%.Compared with the traditional BCI system，this system has the characteristics of wearable，mobile，and higher recognition rate.

brain computer interface；steady state visual evoked potential；smart mobile phone；bluetooth

2015-06-10 責任編輯：高 佳

國家自然基金項目（51405381）;陜西省工業科技攻關基金項目（2015GY020）

王 湃（1979-），男，遼寧丹東人，博士，講師，E-mail：wangpai2013@xust.edu.cn

10.13800/j.cnki.xakjdxxb.2015.0521

1672-9315（2015）05-0656-06

TP 399

A