基于腦機接口的腦卒中患者語音看護系統(tǒng)*

高諾,楊玉娜,翟文文,高楓,王蘊輝

(山東建筑大學(xué)信息與電氣工程學(xué)院，濟南 250101)

1 引 言

腦卒中已成為影響中老年人健康的最大威脅之一。腦卒中預(yù)后會遺留有不同程度的肢體功能障礙、感覺障礙、言語障礙、認知障礙等，其中言語障礙大約占37.66%，言語障礙使其無法表達自己的意圖，給患者的治療和生活帶來了巨大的困難。因此為腦卒中患者提供一種有效的交流系統(tǒng)，改善患者的語言狀況顯得尤為重要。

腦機接口(brain-computer interface, BCI)是一種不依賴于大腦外周神經(jīng)與肌肉組成的正常輸出通路的通訊控制系統(tǒng)[1-2]。利用腦機接口系統(tǒng)使患者與外界進行信息交流一直是BCI的一個重要的研究方向。1988年，美國IIIinois大學(xué)的Farwell和Donchin利用P300電位設(shè)計了虛擬打字機，電腦屏幕上有6×6個閃爍的字符矩陣，受試者每次只需要集中注意注視目標(biāo)字符，電腦即可輸出該字符。2008年，德國地賓根大學(xué)小組將6×6的虛擬鍵盤擴展成7×7的虛擬鍵盤，設(shè)計出了德文輸入系統(tǒng)[3]。

相比于國外，國內(nèi)腦機接口交流系統(tǒng)研究起步時間較晚。2009年，浙江大學(xué)的吳邊和張劍慧設(shè)計了基于筆畫的漢字輸入BCI系統(tǒng)，利用疊加平均和模板匹配的方法，基本可以實現(xiàn)漢字的輸入[4-5]；2010年，香港中文大學(xué)中文系語言工程實驗室設(shè)計了基于P300的繁體中文輸入系統(tǒng)[6]；2018年，華東理工大學(xué)金晶教授設(shè)計了一種基于人臉范式的P300拼寫系統(tǒng)[7]。

上述國內(nèi)外研究對利用腦機接口進行信息表達做出了重要的貢獻，但要實現(xiàn)服務(wù)于我國存在言語障礙的腦卒中患者還存在許多問題。因此本研究設(shè)計了一種基于腦機接口的腦卒中患者語音交流系統(tǒng)，該系統(tǒng)可以輔助存在語言障礙的患者自主進行語言輸出并以語音的形式傳遞。

2 系統(tǒng)設(shè)計

本研究提出的基于腦機接口的腦卒中患者語音看護系統(tǒng)的整體結(jié)構(gòu)框見圖1，系統(tǒng)包含視覺刺激模塊、腦電信號采集模塊、腦電信號分析模塊、語音合成模塊四部分。

圖1基于腦機接口的腦卒中患者語音交流與看護系統(tǒng)結(jié)構(gòu)框圖

Fig1Ablockdiagramofspeechcaresystemofstrokepatientsbasedonbrain-computerinterface

整個系統(tǒng)的工作流程見圖2，信號采集系統(tǒng)實時采集患者的腦電信號并發(fā)送到Alpha波信號分析程序中進行Alpha波的檢測，檢測結(jié)果若不是Alpha波則繼續(xù)進行Alpha波的采集，若為Alpha波則系統(tǒng)將發(fā)出聲音提示，此提示音為SSVEP部分開啟的反饋(提示患者可以開始注視視覺刺激界面)，此時患者注視視覺刺激界面中特定語句對應(yīng)的頻閃區(qū)域，腦電信號采集模塊進行SSVEP信號的采集，然后將此信號送到SSVEP信號分析程序中進行分類，將分類結(jié)果發(fā)送到語音合成模塊進行語音合成并以語音的方式輸出，患者聽到輸出的語音后停止注視，此語音亦是系統(tǒng)輸出結(jié)果的反饋。

圖2基于腦機接口的腦卒中患者語音交流與看護系統(tǒng)流程圖

Fig2Aflowchartofspeechcaresystemforstrokepatientsbasedonbrain-computerinterface

2.1 視覺刺激模塊

本研究使用的視覺刺激界面見圖3(a)，刺激目標(biāo)為白色，背景顏色為黑色，為常亮狀態(tài)，其上、下、左、右各有一個按其各自特定頻率閃爍的刺激目標(biāo)，閃爍的頻率分別為15、8、12、13 Hz，且分別代表了“呼叫護士”、“我想吃飯”、“我想起床”、“我想喝水”四句話，這四句話可以根據(jù)患者具體的需求而設(shè)定，使之更好地為患者服務(wù)，更能代表患者的需求。

2.2 腦電信號采集

本系統(tǒng)使用的腦電信號采集設(shè)備為博?？悼萍加邢薰?Neuracle)的32 通道無線腦電采集系統(tǒng)。腦電帽的采樣頻率為250 Hz，本研究采集的10個電極位置分別為T5、P3、Pz、P4、T6、PO3、PO4、O1、Oz、O2處，導(dǎo)聯(lián)位置符合國際10 ～ 20 標(biāo)準(zhǔn)，實驗中保持電極阻抗在5 kΩ 以下。腦電帽的電極位置見圖4。

圖3 視覺刺激界面Fig 3 Visual stimulus interface diagram

圖4 腦電帽電極位置分布圖Fig 4 Location of EEG cap electrode

2.3 腦電信號分析

2.3.1Alpha波信號分析 按照信號控制方式的不同，腦機接口系統(tǒng)分為同步模式(Synchronous)和異步模式(Asynchronous)[8-11]。為實現(xiàn)異步模式的腦機接口系統(tǒng)，本研究利用Alpha波阻斷現(xiàn)象，使用Alpha波作為SSVEP信號分析階段開啟的標(biāo)志。

(1)

從而得到數(shù)據(jù)B=[b1b2…b15]。對數(shù)據(jù)B的每一個列向量做快速傅里葉變換(fast fourier transformation，F(xiàn)FT)得到其頻域信息[12]，取其每個信號段8～13 Hz的信號幅值，從而組成1×15的行向量，去掉前3個值(實驗證實在狀態(tài)轉(zhuǎn)化的開始一段時間內(nèi)信號不穩(wěn)定，容易對決策造成影響)，取后12個值作為Alpha波檢測的頻域特征值。最后決策采用的是投票方式，即將頻域特征值分別與閾值比較，特征值大于閾值判斷結(jié)果為1，否則為-1，得到12個判斷結(jié)果求和，和大于或等于0即為檢測到Alpha波，否則為無Alpha波。因為閾值存在個體差異性，所以需要事先采集用戶閉眼和睜眼狀態(tài)下各20組3 s的EEG信號(采集范式為：閉眼3 s、睜眼3 s、依次進行)，同上述處理過程得到頻域特征值，利用式(2)進行閾值的計算。

(2)

2.3.2SSVEP信號分析 提取SSVEP響應(yīng)信號頻率的算法采用典型相關(guān)分析(canonical correlation analysis, CCA)的頻率識別算法[13-14]。先用5 階巴特沃斯濾波器對信號進行2 ～ 40 Hz的帶通濾波，消除高頻及工頻干擾。再應(yīng)用CCA算法進行SSVEP信號頻率的四分類，實現(xiàn)對四句話的選擇[15]。

CCA應(yīng)用于提取SSVEP相應(yīng)頻率時，兩組多變量分別定義為X、Y，其中X是多通道的EEG信號，長度為5 s，見式(3)，Y為一組被設(shè)定的參考信號，見式(4)：

(3)

(4)

式(3)中，n為腦電信號采集通道的數(shù)量，n=10，通道名稱依次為：Pz、P3、P4、PO3、PO4、T5、T6、Oz、O1、O2；式(4)中，N為諧波數(shù)量，N=4，f為刺激頻率，f=15，13，8，12 Hz。

EEG信號X與參考信號Y尋找一組矢量Wx,Wy，這一組矢量可以使向量x,y之間的相關(guān)系數(shù)達到最大，其中x=XTWX，y=YTWY。計算方法見式(5)：

(5)

式(5)得出X和Y之間的相關(guān)系數(shù)ρ的大值，即是得到了最大的典型相關(guān)系數(shù)。將采集到的SSVEP信號分別與每組參考信號(不同f)，計算出對應(yīng)各組參考信號的ρ，其中最大的相關(guān)系數(shù)ρ對應(yīng)參考信號的頻率即被認為是SSVEP信號的頻率。

2.4 語音合成模塊

語音合成，又稱文語轉(zhuǎn)換(Text to speech)技術(shù)，是將文本狀態(tài)的文字信息轉(zhuǎn)化為聲音信息的過程,由文本處理、韻律處理、語音生成三部分組成。其中，基于波形拼接的語音合成技術(shù)一般從自然語音中提取單個漢字的發(fā)音作為語音單元,用這些切分好的語音單元建立一個語料庫。在合成階段先選出相對應(yīng)的語音單元,然后從語料庫中提取出相應(yīng)的合成單元,對提取出的語音單元進行韻律的調(diào)節(jié)和控制,最后使用重疊相加的方法重建語音，具體技術(shù)流程見圖5。

圖5 基于波形拼接的合成技術(shù)流程圖Fig 5 Synthesis flow chart based on waveform splicing

3 實驗驗證

本實驗選擇了4名受試者S1～S4，受試者身體健康、視力正常。實驗開始前，采集了四位受試者的Alpha波，利用式(2)計算出了各受試者的閉眼、睜眼狀態(tài)區(qū)分閾值分別為3.4、5.0、12.2、7.8，并告知了受試者整個實驗的具體流程。

3.1 實驗過程

實驗過程中，受試者在安靜房間內(nèi)進行，保持舒適坐姿并盡量避免頭部大幅度的晃動。每名受試者均需完成4組實驗，每組實驗需完成20次語音輸出，每組實驗的具體流程為：閉眼，聽到提示音后睜眼并開始注視視覺刺激界面的刺激目標(biāo)1，直到聽到語音輸出；按此步驟依次注視刺激目標(biāo)2、3、4，直到一組實驗完成。每組實驗后受試者休息5 min。視覺刺激界面的刺激目標(biāo)標(biāo)號見圖3(b)。

3.2 實驗結(jié)果及分析

實驗中，記錄：(1)每位受試者閉眼3～6s間是否有提示音響起，以此來統(tǒng)計此系統(tǒng)檢測Alpha波的正確率；(2)記錄每次的語音輸出是否為受試者所注視區(qū)域的對應(yīng)語句，以此來統(tǒng)計此系統(tǒng)對SSVEP信號分類的正確率；(3)記錄每次實驗的成功率，即受試者閉眼3 s后到6 s前有提示音響起并且語音輸出為受試者注視區(qū)域的對應(yīng)語句。

表1 S1第一組實驗結(jié)果

以S1為例，記錄統(tǒng)計了S1第一組在線實驗的情況見表1。表2為S1～S4四名受試者的四組在線實驗結(jié)果，由此表可以看出S1～S4四名受試者在其四組在線實驗中對Alpha波檢測正確率、對SSVEP信號分類正確率以及實驗成功率的統(tǒng)計結(jié)果。四名受試者總的平均成功率都達到了90%及以上，具有良好的實用性。其中，S4第一組實驗的成功率較低，原因可能為沒有及時適應(yīng)該系統(tǒng)(因為其后三組實驗的成功率比第一組有明顯的上升)，該情況可以通過短時的訓(xùn)練使成功率提高。

表2 S1～S4四組在線實驗結(jié)果

注：項目1 ：Alpha正確率；項目2：SSVEP正確率；項目3：成功率

4 結(jié)論

本研究介紹了一種基于腦機接口的腦卒中患者語音看護系統(tǒng)，該系統(tǒng)通過對Alpha波的實時檢測，實現(xiàn)異步BCI的工作方式，更方便人們的使用；通過分析誘發(fā)的SSVEP信號實現(xiàn)了語句的選擇，操作簡單；通過語音合成模塊實現(xiàn)了患者意圖的語音形式表達，方便信息傳遞。

本系統(tǒng)雖然實現(xiàn)了腦卒中患者的語音輸出功能，卻使患者受限于四句話的選擇之中，并沒有實現(xiàn)患者語言意圖完全自由地表達，不能讓失語的腦卒中患者同正常人一樣表達更多的語言信息。因此本團隊今后的研究方向為將語音交流系統(tǒng)與基于腦機接口的文字輸入系統(tǒng)相結(jié)合，構(gòu)建一種患者可以利用BCI系統(tǒng)自主表達自己想法的語音交流看護系統(tǒng)，避免患者因失語而產(chǎn)成的抑郁情緒，讓患者看到希望，提高患者治療和生活的質(zhì)量。隨著本研究的不斷改進和完善，今后在幫助腦卒中失語患者語音交流方面會發(fā)揮越來越大的作用。