基于觸覺P300的腦控下肢康復機器人

張翔， 郭士杰,2,3*， 陳玲玲， 田璽偉， 段曉宇

(1.河北工業大學電氣工程學院， 天津 300130； 2.河北工業大學省部共建電工裝備可靠性與智能化國家重點實驗室， 天津 300130；3.智能康復裝置與檢測技術教育部工程研究中心， 天津 300130； 4.河北工業大學人工智能與數據科學學院， 天津 300130)

腦機接口(brain-computer interface, BCI)是一種新型的人機交互方式，通過在人腦與外部設備間建立通道，實現人腦與外部設備直接交流和控制[1-3]。BCI技術適用于思維正常但運動功能喪失的患者，通過該技術可將患者的運動意圖與康復器械的控制結合起來，以實現自主康復訓練的目的，加速受損神經的恢復[4-5]。BCI系統根據腦電的產生方式可為誘發式和自發式。相比于自發式BCI系統，誘發式BCI系統產生的腦電信號更加穩定[6]。P300信號是一種典型的誘發腦電信號，它表示在刺激發生后300 ms左右出現的正峰值信號[7]。基于P300的BCI系統具有訓練時間短、操作簡單方便、可輸出指令多等優點，可用于患者控制康復器械的研究。

P300信號可以通過視覺刺激、聽覺刺激和體感刺激來獲得，在BCI系統中針對視覺刺激的研究較多[8-9]，也較為成熟，P300信號同樣如此。然而，長時間的閃爍刺激會對使用者造成極大的視覺負擔，降低使用者的舒適度和準確率[10]，并不適用于患者進行長時間的訓練。基于聽覺刺激的P300-BCI系統也存在同樣的問題，且分類準確率低，因此國內外研究相對較少。此外，基于視聽刺激的P300-BCI系統需要呈現刺激的顯示屏幕，便攜性較差，不利于在病房和家庭等實際場景中應用。經過臨床證明，將體感刺激與運動命令相結合具有改善中風后手功能的潛力[11]。因此，開發一種范式簡單、精度較高的實用型觸覺體感刺激范式，并依此實現對康復訓練機器人的控制具有十分重要的現實意義。

Chen等[12]設計了一種傳統的觸覺P300腦機接口，將5個刺激器分別固定在被試的左手腕、右手腕、腹部、左腳踝和右腳踝。以左手腕或右手腕為目標刺激，其他元件為干擾刺激，以此來誘發P300信號。實驗測試了兩種條件下(關注目標刺激位置和不關注目標刺激位置)的分類準確率。結果顯示，被試在關注和不關注目標位置時，平均分類準確率分別為(90.91±8.89)%和(62.73±8.47)%。而兩種條件下單次試驗分類精度都低于70%。測試結果表明，通過關注目標位置和信號疊加可以獲得較好的分類效果。Ziebell等[13]設計了一種基于觸覺刺激的P300-BCI，實驗將4個刺激器分別放置在手腕和手肘處，以手腕的刺激為目標刺激，手肘處的刺激為干擾刺激。被試通過關注左手或右手的目標刺激控制立方體移動，實驗的平均準確率為84.79%，顯著高于隨機水平。Herweg等[14]針對訓練是否可以在虛擬輪椅導航任務中改善觸覺式BCI性能這一問題，對老年被試進行了5次訓練實驗，將觸覺器放置在腿部、腹部和背部。經過訓練P300的平均幅度從5.46 μV增加到9.22 μV，信號疊加后的分類準確率達到了95.56%。該實驗證明，經過適當的訓練可以提升P300-BCI的適用性。以上研究都是在身體多個部位放置刺激裝置，將其中一個刺激部位作為目標刺激進行感知識別。這種方式雖然有較高的分類精度，但是存在刺激器過多、操作過程復雜、注意力難集中等缺點[15]，并不適合行動不便的患者進行實際操作。且分類信號需要經過疊加處理，導致信息傳輸時間過長。

因此現提出一種新的觸覺刺激范式，該范式僅使用兩個刺激裝置，每個裝置中根據刺激強度分為目標刺激和干擾刺激。被試通過感受刺激強度來產生P300信號，通過調節目標刺激和干擾刺激的比例，使誘發的P300信號幅值更加明顯，提高單試次信號的分類準確率。應用此范式設計了基于P300-BCI的下肢康復訓練系統，通過識別運動意圖來控制康復機器人進行相應動作。系統利用患者的意圖進行康復訓練，讓大腦神經系統參與訓練，從而刺激受損神經功能恢復，提高康復效果。

1 下肢康復訓練系統組成

下肢康復系統主要包括振動刺激模塊、信號采集模塊、信號處理模塊、控制模塊和康復機器人，如圖1所示。大腦在刺激裝置作用下會誘發P300信號，由腦電采集模塊收集誘發的腦電信號，經信號處理模塊處理分類，將分類結果傳遞至控制模塊，控制下肢康復器械進行相應動作。

圖1 腦控下肢康復機器人系統Fig.1 Brain controlled lower limb rehabilitation robot system

1.1 觸覺刺激裝置

觸覺刺激裝置采用STM32F103R8T6作為控制中心，驅動紐扣電機產生振動刺激，電壓范圍0～5 V，振動頻率0～300 Hz。兩個紐扣電機分別放在被試左右食指的指尖位置，如圖2所示。以振動頻率區分目標刺激和干擾刺激。

圖2 刺激部位Fig.2 Stimulation site

圖3 10-20電極分布系統Fig.3 Distribution system of 10-20 electrodes

1.2 信號采集模塊

信號采集模塊使用德國BrainProducts公司生產的ActiCHamp Plus 32腦電分析儀，可采集32個電極的數據，電極分布遵循國際10-20系統，如圖3所示。接地電極放置在前額位置，參考電極為FCz，位于Fz和Cz之間。每個電極的阻抗都在5 kΩ以下，采樣頻率為1 000 Hz，采集過程進行50 Hz的陷波濾波。

1.3 信號處理模塊

信號處理模塊包括數據預處理、特征提取和分類。

1.3.1 預處理

以遠離感興趣區域的雙耳乳突(TP9、TP10)做參考電極；選擇巴特沃斯濾波器對數據進行0.5～30 Hz帶通濾波；對連續的腦電信號進行分段處理，以刺激時刻為0時刻，截取刺激前200 ms至刺激后600 ms的數據段，用刺激前的數據進行基線校準，以消除自發腦電波造成的腦電噪聲。

1.3.2 特征提取

被試在關注目標刺激時大腦會產生明顯的P300信號，而在不關注目標刺激和干擾刺激時不會產生明顯的P300信號。為區分這兩種信號，提高單次實驗的分類準確率，使用典型的共空間模式(common spatial pattern， CSP)[16]算法對數據進行特征提取。CSP算法的基本原理是利用矩陣的對角化，找到一組最優空間濾波器進行投影，使得兩類信號的方差差異最大化，從而得到具有較高區分度的特征向量。CSP特征提取過程如下。

(1)計算協方差矩陣。將采集的腦電數據進行歸一化，并計算協方差矩陣R，公式為

(1)

式(1)中：X1和X2分別為關注刺激時和不關注刺激時的腦數據，大小為N×T，其中N為測量電極數量，經過預處理后電極數目由原來的32個變為29個，T為數據段中采樣點的個數，采樣點為600個；trace(X)表示對矩陣對角線上的元素求和。

求解混合空間的協方差矩陣R，公式為

(2)

(2)求白化矩陣。對混合空間協方差矩陣R的特征值進行分解，即

R=UλUT

(3)

式(3)中：U為特征向量矩陣；λ為對應的特征值構成的對角陣。按特征值降序排列，可得白化特征值矩陣P，即

(4)

使用白化特征值矩陣對R1、R2進行轉化，公式為

(5)

式(5)中：S1和S2有共同的特征向量B，而且存在兩個對角矩陣λ1和λ2，滿足條件

Si=BλiBT，i=1,2

(6)

λ1+λ2=I

(7)

式中：I是單位矩陣，若λ1遞減，則λ2遞增；反之亦然。

(3)求投影矩陣和特征向量。通過特征向量B和白化特征值矩陣P構造空間濾波器的投影矩陣W，即

W=BTP

(8)

使用空間濾波器對測試集Y的數據進行濾波，使濾波后的兩類數據差異最大化，即

Z2m×T=W2m×N×YN×T

(9)

提取特征向量fp，即

(10)

式(10)中：var(Zp)為矩陣Z第p行的方差。由于矩陣Z的信息不是等效的，有效信息主要集中在頭部和尾部，因此應選取矩陣中前m行和后m行數據進行特征值提取(2m

1.3.3 特征分類

提取腦電信號的特征后，選用支持向量機(support vector machines, SVM)[17]算法對腦電特征進行分類，以區分不同的任務類型(控制下肢康復機器人輔助左腿或右腿進行康復訓練)。SVM的優點是使用核函數將原始空間不能線性分離的數據映射到高維空間(可以線性分離)，該方法僅需較少的樣本量就能得到較為可靠地分類結果，在處理一些簡單二分類任務時具有很好的優勢。

1.4 控制模塊與下肢康復機器人

控制模塊采用PCI-1240U運動控制卡作為控制單元，通過LabVIEW編程控制下肢康復機器人。下肢康復機器人作為整個系統的最終響應單元，是由上海西貝電子科技發展有限公司自主研發的，主要用于腦卒中、腦外傷和脊髓損傷等運動功能障礙患者進行腿部訓練，如圖4所示。

康復機器人訓練過程如圖5所示，當系統接收到控制命令時，電機開始轉動，并帶動推桿和下肢支架沿X軸方向從A點移動到B點，移動距離為15 cm，此過程為屈腿訓練過程；當屈腿動作結束后，電機開始反向轉動，推桿和下肢支架沿X軸方向向右移動，移動距離同樣為15 cm，此過程為伸腿訓練過程。每次任務需要控制機器人完成一次屈伸腿訓練，患者通過關注左手或右手的目標刺激控制機器人進行左腿或右腿訓練。

圖4 下肢康復訓練機器人Fig.4 Lower limb rehabilitation training robot

圖5 下肢康復機器人運動示意圖Fig.5 Motion diagram of lower limb rehabilitation robot

2 刺激范式設計

oddball范式[18]是P300實驗中最常用的方式之一，它表示在大概率的刺激序列中突然出現一個小概率刺激。人體在oddball范式作用下會對小概率刺激產生強烈的腦電反映。實驗在oddball范式基礎上對刺激頻率、刺激時長和刺激間隔等參數進行最優選取，振動刺激時序圖如圖6所示。

預先設置目標振動頻率為100 Hz，持續時長為100 ms，干擾刺激為20 Hz，持續時長為100 ms，刺激間隔為300 ms，目標刺激概率為1/5。

圖6 刺激范式Fig.6 Stimulus paradigm

2.1 刺激頻率設定

設置刺激頻率時，為避免誘發穩態電位，干擾刺激和目標刺激的頻率應盡量避免成倍數關系。由于人體對20～50 Hz和高于100 Hz的頻率較為敏感[19]，同時為了區分目標刺激和干擾刺激，設置目標刺激在100～200 Hz范圍內選擇，干擾刺激在20～50 Hz范圍內選擇。被試在不同頻率刺激下誘發的P300幅值如圖7所示。

圖7 不同刺激頻率的P300幅值Fig.7 P300 amplitude of different stimulus frequencies

由圖7可以看出，在干擾刺激頻率固定時，P300幅值大小和目標刺激頻率成反比，其原因是在頻率超過一定閾值時，人體對刺激的感受會隨之下降，目標刺激感受不明顯。在目標刺激一定時，隨著干擾刺激頻率的增加，P300幅值也會隨之下降，這是因為干擾刺激頻率越高，與目標刺激頻率越接近，被試越不易區分兩者的區別，所以造成幅值下降。實驗結果顯示，當干擾刺激頻率和目標刺激頻率分別為23 Hz和100 Hz時，P300電位幅值最高。因此本文將目標刺激的頻率設置為100 Hz，干擾刺激的頻率設置為23 Hz。

2.2 刺激時長設定

在干擾刺激和目標刺激頻率確定后，對不同的刺激時長進行對比實驗，圖8為不同刺激時長下P300的幅值大小，不同曲線表示不同的干擾刺激時長。如圖8所示，在干擾刺激時長不變時，隨著目標刺激時長的增加，P300幅值呈下降趨勢。這是由于目標刺激的時間越長，在刺激序列中所占比例越大，而P300信號的誘發幅值與目標刺激的比例成反比，所以誘發的P300信號會隨著目標刺激占比增加而降低。根據圖中幅值大小選取目標刺激和干擾刺激的時長為100 ms和200 ms。

圖8 不同刺激時長的P300幅值Fig.8 P300 amplitude of different stimulation durations

2.3 刺激間隔設定

不同刺激間隔下P300信號幅值如圖9所示，隨著刺激間隔的增加，幅值呈現先增加后下降的趨勢。在刺激間隔為400 ms和500 ms時幅值最大，為了提高信息傳輸率，需要縮短刺激間隔時間，因此設置目標刺激和干擾刺激之間的刺激間隔為400 ms。

圖9 不同刺激間隔的P300幅值Fig.9 P300 amplitude of different stimulus intervals

2.4 目標刺激概率設定

在不同刺激概率下P300電位的幅值大小如圖10所示，可以看出，隨著目標概率的減小，幅值呈增加的趨勢，符合P300電位誘發原理。綜合考慮幅值大小和信息傳輸率兩方面的因素，選取目標刺激和干擾刺激比例為1/6。

圖10 不同刺激概率的P300幅值Fig.10 P300 amplitude of different stimulus probabilities

3 實驗流程

3.1 被試選擇

實驗招募了5名在讀研究生，包括4名男性和1名女性，年齡為23～27歲，均為右利手。所有被試身體狀況良好，視力正常，且能夠感知振動刺激。每位被試均簽署了知情同意書。

3.2 實驗步驟

實驗包括離線實驗和在線實驗兩部分，離線實驗的目的是采集P300腦電數據，對數據進行離線分析和處理，驗證實驗的可行性；在線實驗的目的是實現在真實環境下對下肢康復機器人的控制，驗證觸覺P300-BCI控制下肢康復訓練機器人的有效性。

3.2.1 離線實驗

每位被試需要進行200次測試，分4組完成。每次測試包含6個振動刺激(1個目標刺激和5個干擾刺激)，目標刺激出現順序都是隨機的，且不會出現在首位，兩個刺激器的目標刺激不會同時出現。實驗時長為30 min。實驗開始前的準備工作包括：①告知被試實驗流程，對被試的頭部進行清洗；②在被試左右食指處各固定一個刺激裝置，調整振動器的刺激強度，讓被試能夠感受到目標刺激和干擾刺激的區別；③為被試帶上電極帽，在電極與頭皮處打上導電膏；④被試按照指示平躺于下肢康復機器人上。

在實驗過程中，被試需要按照提示選擇關注一只手的目標刺激而忽略其他刺激，在一次測試結束后，刺激器等待2 s，然后進入下一次測試，直到實驗結束。

3.2.2 在線實驗

在線實驗需要被試控制下肢康復機器人進行40次屈腿伸腿訓練，分4組完成。準備工作與離線實驗一致。被試通過關注左手目標刺激來控制康復器械左側推桿做一次往返運動，通過關注右手目標刺激來控制右推桿做一次往返運動。

在線實驗控制策略步驟如下。

(1)實驗開始后，信號采集裝置開始向系統傳輸腦電數據，刺激裝置啟動并向系統發送刺激時刻代碼(S1代表干擾刺激，S2代表左手目標刺激，S3代表右手目標刺激)。

(2)當系統檢測到目標刺激的事件代碼后，開始讀取腦電數據，讀取時長為0.6 s。

(3)將讀取的數據導入處理模塊進行分類，如果判斷被試在這一時刻關注了目標刺激，系統將根據對應的事件代碼輸出預測結果。否則，返回上一步。

(4)預測結果通過TCP/IP輸出至控制模塊，控制康復機器人進行一次伸屈腿運動。

4 實驗結果

4.1 離線數據分析

被試關注目標刺激時腦電信號的平均地形圖如圖11所示，各通道的位置表示采集頭皮腦電信號時的對應位置，與圖3位置一致。圖11中時間段為刺激前200 ms到刺激后600 ms。P300信號是當被試受到小概率事件刺激時在大腦內出現的一個正向波峰，其位置大約出現在刺激后300 ms時刻。從圖11中可以看出，位于中央腦區的腦電通道中均出現了明顯的P300信號，且波形一致，而在其他腦區位置如FP1、FP2、F7、FT9、T7、P7、O1、O2通道處P300信號并不顯著，這表明振動刺激誘發的腦電活動主要分布在中央腦區即頂葉腦區。因此，為了減少無關通道對分類結果產生的影響，剔除沒有明顯P300信號的通道。

圖11 腦電信號平均地形圖Fig.11 Average topographic map of electroencephalography signals

圖12所示受試者在關注目標刺激時0～600 ms內的腦區能量圖。從圖中可以看出，中央腦區能量變化明顯，呈現出先降低后升高再降低的變化趨勢，與圖11的變化一致。在目標刺激觸發后，被試大腦區域在300 ms處誘發了明顯的P300信號。

圖12 腦區能量圖Fig.12 Energy map of brain regions

圖13 全通道平均波形Fig.13 Average waveform of all channels

為比較被試關注刺激和不關注刺激時腦電信號的區別，對比兩種狀態下0～600 ms時間段內所有通道的平均腦電波形(剔除無關通道)，如圖13所示。可以看出，當被試關注或不關注刺激時，在300 ms附近均有P300電位，這是由于在不關注的刺激中包括目標刺激，雖然被試忽略了這些刺激，但在大腦內會產生微弱的事件相關電位(event-related potential,ERP)信號。比較兩種狀態下的腦電波形，可以看出在被試關注目標刺激時誘發的P300信號較高。兩種狀態的波形有顯著差異，證明了刺激范式的可行性。

4.2 離線實驗結果

在對原始數據進行預處理和剔除無關通道后，將樣本按照1∶1比例分成訓練集和測試集，訓練集用來訓練空間濾波器，測試集用來測試分類準確率。由于使用CSP算法對數據進行濾波，濾波后的特征矩陣有效信息集中在頭部和尾部，因此需要選擇合適的m值，來提取特征矩陣中前m行和后m行的有效數據。實驗利用SVM算法對不同m值下的特征矩陣進行分類，結果如表1所示。S表示被試，從表中看出，在m=1和m=2時分類準確率較低，平均準確率低于80%，說明此時特征值數量較少丟失了大量的有效信息，從而導致分類準確率低。通過分類結果對比發現，在m=8時分類準確率最高，為86.07%，因此將m設置為8。

CSP-SVM算法與SVM算法的分類結果如圖14所示。從圖中可以看出，在5名被試S1～S5中，CSP-SVM算法的準確率要普遍高于SVM算法，其中S4的分類準確率最高，為95.85%。CSP-SVM算法的平均準確率為86.07%，較SVM算法的分類準確率提高了5.65%。結果表明，利用CSP空域濾波進行腦電數據的特征提取可以有效提高分類精度。

表1 不同 m 值下的識別率Table 1 Recognition rate of different m values

圖14 不同算法的分類正確率Fig.14 Classification accuracy of different algorithms

4.3 在線實驗結果

5位被試參加在線實驗，被試通過關注目標刺激，完成控制下肢機器人運動的任務。實驗采用CSP-SVM算法進行在線分類測試，總命令數為40個。在線實驗中，當系統輸出結果與被試關注結果不相符時，判定為錯誤命令，在線實驗分類結果如表2所示。所有被試均有較高的分類準確率，被試的平均正確命令數為34個，平均準確率為86.50%，分類效果較好。意圖識別過程幾乎沒有延遲，滿足系統性能要求。實驗結果表明P300-BCI康復系統的可行性，展示了其在康復領域潛在的應用價值。

表2 在線實驗結果Table 2 Online experimental results

傳統的觸覺P300范式使用多個刺激器對被試的不同部位進行刺激，且需要一定的疊加平均次數才能達到較為滿意的分類精度。本實驗設計的實驗范式僅使用兩個刺激器，以頻率區分目標刺激和干擾刺激，以空間區分不同的目標刺激，實驗任務更為簡單，使用兩個刺激器即可達到較高的分類精度，更適用于腦卒中患者。

5 結論

本文設計了一種適用于患者的觸覺P300范式，該范式具有刺激裝置少，操作過程簡單，不易疲勞，實用性強等優點。實驗通過對比P300電位幅值，確定范式的振動頻率、振動時長、振動間隔和振動比例等參數。基于觸覺P300范式的離線實驗結果顯示，被試通過區分目標刺激和干擾刺激，可以輕松誘發P300信號，并且通過選擇關注不同的目標刺激可以發出不同的指令。實驗采用CSP-SVM算法對腦電數據進行分類預測，5名被試的平均準確率為86.07%，高于SVM算法的80.42%，證明了采用CSP算法對腦電數據進行特征提取可以有效提高分類準確率。

基于觸覺刺激范式和CSP-SVM算法，搭建了一套P300-BCI下肢訓練康復系統，患者通過關注左右手的刺激來控制下肢機器人運動。康復系統的平均分類準確率為86.50%，實驗結果顯示，所有被試均可利用腦電信號控制機器人進行康復訓練，證明了本文中采用的體感振動刺激范式BCI系統具有一定的可行性和有效性。

通過刺激人的手指來誘發P300信號，不僅能解決視聽疲勞問題，還能為失去視覺和聽覺功能的患者提供一種可替代的交互方式。觸覺刺激不同于視覺和聽覺刺激，它不局限于特定的感知部位。因此，手功能障礙的患者可以通過刺激腰部或其他部位來誘發P300信號。未來可以應用此范式對腰部或背部刺激進行研究。