融合頻帶能量特征和雙向門控循環單元的運動想象意圖識別

韓向可，郭士杰

(1.河北工業大學機械工程學院，天津 300130；2.安陽工學院機械工程學院，安陽 455000；3.河北省機器人感知與人機融合重點實驗室，天津 300132)

腦機接口(brain computer interface,BCI)通過對大腦生理信號的采集和轉換，可以不需要人體外周神經與肌肉系統的參與，實現人腦與計算機或外圍設備之間的信息交流[1]。因此，對于神經損壞和運動能力喪失的患者來說，BCI系統是其與外界交流的重要工具[2]。運動想象(motor imagery，MI)作為一種重要的BCI系統，在沒有外界刺激輔助下，患者能夠通過自主誘發大腦運動節律，控制光標、輪椅、機械手等外圍設備運動，表達其意圖信息[3]。

運動想象BCI作為一種重要的腦機接口范式，有著十分重要應用價值。但是，由于腦電信號的高度非線性、時變性以及個體差異性等特點，如何實現運動想象的高精度解碼依然是中外學者密切關注的問題，其核心是如何實現腦電信號(electroencephalogram,EEG)特征的有效提取和正確分類。目前，運動想象BCI常用的特征提取方法有：能量特征法[4]、模型參數法[5]、小波/小波包分析法[6]和共同空間模式[7]等。其中，能量特征法是利用腦電信號相關頻帶能量信息或功率譜信息實現特征提取，但是該方法損失了信號的時域信息；小波包分析是通過小波包基函數對EEG信號進行多尺度分解和重構，實現特定頻段信號的有效提取。因此，本文采用兩者相結合的方法，通過小波包變換獲得不同頻帶的節律信號，利用能量計算進行運動想象的特征序列提取，實現腦電信號的多頻帶分析。

在運動想象意圖解碼方面，傳統的分類方法(如線性分類器[8]、貝葉斯分類器[9]、支持向量機[10]等)，通常損失特征信號的序列信息。但是，腦電信號作為一種高度時變性的隨機信號，具有明顯的時序性。隨著深度學習技術的發展，長短時記憶(long short term memory,LSTM)網絡作為循環神經網絡(recurrent neural networks,RNN)的重要手段，通過多個LSTM單元的定向連接構建一個內部循環網絡，可以實現時間信息的序列化分析[11]。近年來，LSTM以其良好的收斂性和穩定性，在自然語言處理[12]、圖像識別[13]、機器人軌跡規劃[14]等領域得到了廣泛的應用。但是，由于LSTM存在結構復雜、計算繁瑣、訓練時間長等不足，通過對LSTM模型的改進，提出了一種雙向門控循環單元(bidirectional gated recurrent unit，BiGRU)，從而在極大的提高算法效率的同時[15]，實現時序信息的雙向關聯[16]。

為充分利用EEG信號的能量特征和時序信息，提出了一種頻帶能量特征和BiGRU相結合的方法，進行運動想象的模式識別。首先通過對MI節律信號的滑動截取實現能量的序列化提取，之后采用BiGRU單元對腦電信號進行分類；最后，通過實驗對該方法的可行性進行驗證。

1 相關理論

1.1 小波包分解

圖1 小波包分解Fig.1 Wavelet packet decomposition

小波包分解后，第l層第k個節點的小波包系數為

(1)

(2)

h1(m-2k)=(-1)1-kh0(m-2k)

(3)

在經過第l層分解后，原始信號被分解為不同的子頻帶：

(4)

式(4)中：fs為采樣頻率。

根據分解的節點小波包系數可以對子頻帶信號進行重構，其公式如式(5)所示：

(5)

1.2 BiGRU

長短時記憶網絡(long short term memory,LSTM)是循環神經網絡的一個重要分支，它利用記憶細胞進行時間序列記憶并通過門控機制實現信息流管理；該方法不僅考慮了特征序列中上下文的時序關系，還解決了RNN中的梯度爆炸或消失等問題。LSTM單元由輸入門、輸出門、遺忘門和一個記憶細胞組成，其中遺忘門和記憶細胞相互作用對輸入信息適當遺忘和篩選，實現序列化樣本的預測和分類。但是，LSTM結構復雜，需要選擇的網絡參數較多，計算量較大。門控循環單元(gated recurrent unit，GRU)作為LSTM的簡化模型，即解決了梯度消失等問題，又提高了學習效率。GRU單元由更新門和重置門組成，如圖2所示。其中，更新門用于控制前一時刻隱層輸出對當前時刻的影響程度；重置門實現上一時刻信息的某種程度的遺忘；通過兩者的配合完成時序信息的篩選。

xt表示t時刻輸入數據；zt表示更新門狀態；rt表示重置門狀態；ht、ht-1表示當前層和前一層的隱層狀態；σ為sigmoid激活函數圖2 GRU單元Fig.2 Unit of GRU

GRU網絡前向傳播的具體計算過程如式(6)所示：

(6)

式(6)中，xt為t時刻輸入數據；zt為更新門狀態；rt為重置門狀態；wz、wr、wh分別為GRU單元更新門、重置門和候選隱藏狀態的權值系數；ht、ht-1表示當前層和前一層的隱層狀態；σ為sigmoid激活函數。

BiGRU是對GRU的拓展，其工作原理與GRU相似，由兩個方向相反的GRU組成，充分考慮了特征序列在時間上的雙向關聯，展現了優越的分類性能。設計的BiGRU模型如圖3所示，對輸入序列BiGRU后，采用Softmax分類器輸出分類結果。

GRUi為第i個門控單元，wi為權值系數圖3 BiGRU結構模型Fig.3 Structural model of BiGRU

圖4 實驗流程圖Fig.4 Flow chart of the experiment

2 實驗數據

采用2003年BCI競賽公開數據集Data Set Ⅲ，實驗流程如圖4所示。實驗中，一名受試者坐在椅子上，雙手自然放松，根據屏幕提示分別執行左手或右手運動想象任務。在前2 s中受試者安靜注視著屏幕，第2 s時，產生實驗開始提示音，同時屏幕上出現十字標識，時長1 s；在3～9 s時，屏幕呈現方向提示箭頭，受試者根據提示執行相應運動想象任務。實驗采集C3、C4和Cz三個通道數據，采樣頻率128 Hz，0.5～30 Hz帶通濾波。整個實驗進行7組，每組執行40次運動想象任務，共280次(左、右手次數均等)，其中訓練集和測試集樣本數據各140個。

3 運動想象意圖識別

3.1 MI解碼總體流程

基于運動想象的腦電信號作為一種節律信號，不僅具有空、頻域特性，而且在時間尺度上也具有顯著的時序特性。基于此，采用BiGRU的深度學習算法，對運動想象腦電信號進行意圖解碼，具體流程如圖5所示。首先，通過小波包變換對EEG原始信號多頻帶分解，并重構特定節律的子頻帶信號；然后采用特定時間窗對子頻帶信號滑動截取，并計算其能量，提取能量特征的時間序列；最后利用BiGRU實現序列特征的分類和運動解碼。

圖5 MI解碼總體流程Fig.5 Overall flow of MI decoding

3.2 頻帶能量特征序列的提取

由于人腦在肢體運動想象的過程中，大腦對側腦區會出現能量減弱，而同側增強，即發生事件相關去同步/事件相關同步(event related synchronization/desynchronization,ERD/ERS)現象[17]。腦電信號的這種能量變化主要集中在α(8～12 Hz)和β(16～24 Hz)頻段。EEG信號的采樣頻率為128 Hz，采用bior3.3小波對其4層小波包分解。分解后各子頻帶頻率范圍如表1所示。

從表1中可以看出，節點[4 3]與α頻帶一致，而[4 6]、[4 7]節點落在了β頻帶范圍內。因此，分別重構α、β頻帶信號，得到[sα,sβ]。

表1 四層小波包分解各子頻帶范圍Table 1 Sub-frequency ranges of four-layer wavelet packet decomposition

為獲得序列特征，采用3 s時間窗、0.062 5 s時間間隔(8個采樣間隔)，對重構信號進行滑動截取。在運動想象ERD/ERS顯著的3.5～7.5 s時間段內，得到65個時間窗數據。所截時間窗的能量特征可以通過采樣點的平方和計算，公式如式(7)所示：

(7)

式(7)中：Ej為第j個時間窗的能量；ui第i個采樣點數據；N為窗寬。

C3、C4通道的能量特征序列U∈R4×65為

(8)

3.3 BiGRU模型設計

通過時間窗截取的能量特征在時間上依然是連續的，所以仍具有完備的時序特性。因此，使用BiGRU不僅可以學習能量特征，還引入了時變信息。

采用keras框架設計BiGRU結構，模型采用三層網絡結構；第一層為輸入層，負責特征序列數據準備和格式轉換；第二層為BiGRU層，由正向和反向GRU組成，正向計算時，關聯未來信息，反向計算時，關聯歷史信息。最后一層為輸出層，采用分類器對計算結果進行分類輸出，如圖5所示。網絡模型主要參數設置為：學習率為0.001，損失函數為Cross-entropy，采用Softmax分類器。

4 結果分析

4.1 窗寬的選擇

在對EEG信號進行加窗截取的過程中，窗寬的選擇至關重要。在BiGRU分類前，采用能量特征和支持向量機(support vector machine,SVM)相結合的方法對窗寬進行選擇。對小波包重構后的信號，計算不同窗寬時的能量特征，并用SVM對其進行分類，結果如圖6所示。圖6中顯示不同窗寬下的最高分類正確率，從圖6中可以看出，當窗寬3 s時，分類正確率最高，達到87.86%；而在此窗寬左右兩邊依次呈下降趨勢。這說明以3 s窗寬提取的能量特征，模式分類性能最好。因此，選擇3 s窗寬來構造能量特征序列。

圖6 不同窗寬下的分類正確率Fig.6 Classification accuracies with different bandwidths

4.2 頻帶能量特征序列

在窗寬3 s情況下，對α、β頻段的訓練樣本的能量特征序列疊加平均，得到特征序列均值，如圖7所示。從圖7中可以看出：C3通道，右手運動想象時，能量在時間上先減弱而后回升的變化趨勢,即發生顯著的事件相關去同步現象(ERD)，6.75 s時達到最低點；左手MI時，則先增強而后緩慢回落趨勢，即呈現出事件相關同步現象(ERS)，但是ERD比ERS變化顯著。C4通道能量變化情況則相反。這表明，能量特征序列不但有幅值特性，還有時序特征，這也為采用BiGRU分類提供了理論依據。

4.3 與其他分類算法的比較

圖8所示為競賽前三名和分類正確率[18]。由圖8可知，文獻[19]采用Wavelet特征和貝葉斯分類器，獲得競賽最高分類正確率89.2%；而本文方法的正確率為92.1%，高于其他方法，且優于競賽最高水平3%左右。為進一步驗證本文方法的有效性，與其他使用同樣數據的方法進行了比較。文獻[20]采用小波包熵特征和Fisher分類器，獲得最高90.8%的分類正確率；徐保國等[21]使用小波包分解和聚類分析相結合的方法，得到測試集分類正確率為88.57%；文獻[22]中提取連續小波變換系數作為特征，采用支持向量機進行分類，正確率為85.7%。通過測試小波包變換和支持向量機方法得到的最高分類正確率是87.86%。由此可見，所提方法是有效的，對分類效果有一定程度的改善。也為深度學習在BCI方面的研究提供了參考。

圖7 能量時序曲線Fig.7 Energy time series curves

圖8 BCI競賽結果比較[18]Fig.8 Comparison of BCI competitions[18]

5 結論

針對腦電信號非線性、時變性等特點，提出了一種頻帶能量特征和BiGRU相結合的方法，實現運動意圖識別。通過加窗、滑動截取的方法實現能量特征的序列化，即體現了運動想象信號能量幅度，又反映了變化趨勢。提取的特征序列，經雙向GRU后獲得的更好的分類正確率。因此，本文方法對運動想象的意圖識別是有效的。同時，作為LSTM的簡化模型，BiGRU方法計算量小、所需迭代次數少，算法更加高效，為深度學習在腦電信號中進一步研究提供了新的思路。