基于深度卷積網絡的腦電運動想象分類方法

陳嬌

南京醫科大學附屬兒童醫院 招標采購中心，江蘇 南京 210008

引言

腦機接口是一個多學科交叉的領域，其關鍵點在于如何準確地對腦電信號進行分類[1-4]。常規的方法是將原始的腦電信號進行特征提取，如AAR 模型、公共空間模式、主成分分析、小波分解和功率譜估計等方法，再將特征值送入分類器進行分類，常見的分類器包括線性判別、支持向量機、貝葉斯分類和神經網絡等[5]。

隨著深度學習的興起，卷積神經網絡受到研究者的廣泛關注，并在圖像識別、視頻識別和語音識別等領域取得了非常好的效果。而對于生理信號，目前還很少有在卷積神經網絡的運用。腦電信號是一種非平穩的信號，同時還具有較強的隨機性，這一特點和語音信號有相似的結構，所以卷積神經網絡在理論上有運用于腦電信號分類的基礎[6-7]。同時傳統的神經網絡運用于腦電信號分類的主要問題是權值過多，當網絡層數較多的情況下，計算量會呈幾何級數的增加，極大地影響了收斂速度。而卷積神經網絡使用了共享權值的結構，使得計算量大大減少，降低了網絡的復雜程度，同時卷積層可以看作是一個特征抽取器，這樣就可以省略了特征提取的步驟，將信號直接送入網絡。所以卷積神經網絡非常適合運用于腦電信號的分類[8]。

使用腦電信號進行左右手運動想象的識別一直是研究的熱點問題，盡管相關研究者已經提出了非常多的特征提取算法和分類器，但是更優秀的分類算法可以更好地解碼腦電信號，提高運動想象預測的魯棒性和準確率。在一些相關的文獻中，已經有一些將深度學習運用于運動想象分類的研究，但是大多是基于二維的輸入組合，同時訓練數據不足的問題也影響了分類的訓練性能[9-10]。在本文中，我們對左手和右手兩種運動想象進行分類，比較不同的分類器的結果，包括了線性分類器、反向傳播神經網絡和卷積神經網絡，同時提出了運用數據增強的方法增加訓練數據量，從而解決了訓練器泛化能力不足的問題。

1 材料與方法

1.1 信號采集

本文使用了國際的腦機接口競賽數據（BCI Competition III）的Data Set III 組數據。該數據由腦機接口的權威研究機構格拉茨大學提供[11]，電極圖和實驗流程如圖1 所示。電極采用氯化銀電極，基于國際通用的10～20 分布系統，放置于C3 和C4 位置，C3 和C4 位于大腦皮層的運動感覺區域，是和運動功能最為相關的大腦區域。實驗的一次流程如下所述：① 首先兩秒是空白屏幕，被試者保持平靜狀態；② 從第二秒開始屏幕正中出現一個十字標記，提示被試者準備開始；③ 從第三秒開始屏幕上出現一個向左或者向右的箭頭，被試者根據箭頭的朝向，想象右手或者左手的運動，這個動作一直持續到九秒。

圖1 實驗范式

整個實驗一共重復280 次，其中140 次是有標記數據，另外140 次是測試數據，沒有標記。腦電記錄的設備采樣率是128 Hz。

1.2 數據預處理

根據神經生理學的研究，人的大腦可以分成四個頻率帶，在人類進行運動或者運動想象的時候，大腦的對側運動區域的Mu 節律（8～12 Hz）和Beta 節律（14～30 Hz）的能量顯著的減弱，同時同側運動區域的Mu 節律和Beta 節律能量明顯的增強。這種生理現象被人們稱為事件相關去同步（Event-Related Desynchronization，ERD）和事件相關同步（Event-Related Synchronization，ERS）。這個生理現象是用來預測左右手運動的根本依據。舉個例子，當被試者想象右手運動時候，C3 位置的Mu 節律和Beta 節律會顯著的降低，同時C4 位置的Mu 節律和Beta 節律會顯著的增加。當被試者進行左手運動想象的時候，C3 和C4 的情況會正好反過來。

經典的ERD/ERS 計算方法是將事件發生前數秒作為基線，在相關頻段內計算腦電能量的相對變化。我們先對記錄的數據進行處理，將C3 和C4 的信號分別經過8～12 Hz的帶通濾波器和14～30 Hz 的帶通濾波器，得到4 組數據。同時我們要提取出4 組數據的能量信息，并通過一個ERD/ERS 計算公式來求出平均的ERD/ERS 數據[12-13]。ERD 的公式如下：

公式(1)中x 為信號數據，i 為實驗次數，j 為單次實驗中的數據序號，N 為重復次數，這里是70。公式(2)求出前k 個數據的平均值做為參考值。公式(3)計算出k 之后的數據和參考值之間的比例，即為ERD/ERS 數據。這樣求出來的數據有很多毛刺，我們通過一個平滑濾波器將數據進行平滑，這樣可以得到較為平滑的數據。我們提取C3 和C4 的Mu 節律的數據，并計算ERD/ERS 數據，如圖2 和圖3 所示。

圖2 C3電極的Mu節律能量分布

圖3 C4電極的Mu節律能量分布

圖2 和圖3 為ERD/ERS 的計算結果，在右手的運動想象時，C3 處有能量減小的現象，同時在左手運動想象的時候，C4 處有顯著的能量減小。同樣的在Beta 節律上也有相同的結果。

所以我們保留C3 和C4 兩個通道的數據，并分別通過8～12 Hz 的帶通濾波器和14～30 Hz 的帶通濾波器，這樣我們就得到四組數據，每組數據是128 的采樣率，持續9 s，一共是1152 個采樣點，我們保留中間的1024 個點，并轉變它的結構，成為一個32×32 的方陣形式。這樣我們就得到了一次實驗的數據為4×32×32 的三維矩陣，4 是兩個電極的兩個帶通濾波，32×32 是一次實驗的采樣點的重構。我們再將實驗次數作為最后一個維度，一共是140 次數據。這樣就構成了140×4×32×32 的四維數據結構，這就是我們將要送入網絡訓練的數據結構。

1.3 數據歸一化和數據增強

線性判別和支持向量機這兩種分類器是尋找數據在低緯度的投影距離，所以并不用考慮數據的歸一化問題，但是神經網絡不一樣，神經網絡需要激活函數來激活節點，無論是傳統的Sigmoid、Tanh 還是現在流行的ReLU，都需要對數據進行歸一化，主要的原因是這些激活函數在節點數據接近于零的時候就等于0，如果輸入的數據的絕對值非常接近于0，那么每一個節點的數據激活后就會也接近于0，這種情況下反向傳遞誤差就會接近于0，沒有辦法有效的修改權重參數，也就是說這個神經網絡就無法收斂[14]。

常用的歸一化方法有線性歸一化、標準差歸一化等。這里我們使用標準差歸一化的方法，標準差歸一化的公式如公式(4)所示。

每一變量值與其平均值之差除以該變量的標準差。雖然該方法在無量綱化過程中利用了所有的數據信息，但是該方法在無量綱化后不僅使得轉換后的各變量均值相同，且標準差也相同，即無量綱化的同時還消除了各變量在變異程度上的差異，從而轉換后的各變量在聚類分析中的重要性程度是同等看待的。而實際分析中，經常根據各變量在不同單位間取值的差異程度大小來決定其在分析中的重要性程度，差異程度大的其分析權重也相對較大。經過處理的數據符合標準正態分布，即均值為0，標準差為1。

除了使用了標準差歸一化的方法，我們還使用批數據標準化技術（Batch Normalization），即對于數據進行分批送入神經網絡訓練，對于分批的數據獨立進行歸一化。

在利用卷積神經網絡進行訓練的時候，我們可以看到訓練數據一共有140 組，數據集過小容易造成模型的過擬合，因此我們可以使用數據增強的方式增加數據量，這樣可以有效的解決模型過擬合的問題。數據增強方式經常運用于圖像的處理中，尤其是圖像識別[15]，因為圖像識別的目的是識別圖像的類別，比如圖中是貓或者狗或者汽車，所以圖像處理中的數據增強一般使用的方法有，水平/豎直翻轉、顏色改變、旋轉變化、加噪聲和隨機改變大小等等。我們可以想象，一個圖像經過翻轉或者改變顏色，扭曲并不會影響它是什么，而腦電信號卻比較特殊，因為腦電信號在本質上是一個時間序列，所以不能使用翻轉或者扭曲的方法。從另一個角度來考慮，腦電信號是一種非平穩的信號，信號中有大量的噪聲，信噪比較低，我們需要從很多噪聲的信號中提取有用的信息。同時我們可以從圖2 和圖3 中看到，經過多次數據的疊加平均，信號特征越來越清晰。所以我們可以認為，為原始信號添加白噪聲是一種有效的數據增強方式。本文中我們添加一個10 dB 的高斯白噪聲，這個噪聲疊加在原信號中，最后我們產生了更多的訓練數據。

1.4 分類器

我們分別使用四種分類器進行計算，并對其性能進行對比。四個分類器分別是線性分類器、反向傳播神經網絡、LeNet 和AlexNet 神經網絡。其中LeNet 和AlexNet 是基于卷積神經網絡的經典算法，我們根據本文中的數據類型進行一些改動，使其能夠適應腦電數據。

1.4.1 線性分類器

線性分類器是一種監督學習，原理是將帶標簽的數據，通過投影的方法投影到低維的空間形成分類[16]。通常情況下，相同類別的點會靠近，形成一簇。在本文中，我們就是要將左手和右手的數據分別投影到低維空間，左手和右手數據的投影分在兩簇。通過兩組訓練數據，我們求得判別式的ω 和判別閾值ω0。當我們需要計算測試數據屬于哪一類的時候，通過公式(5)計算y 值。再比較y 與ω0的大小來決定測試數據屬于哪一類。

1.4.2 反向傳播神經網絡

神經網絡是由輸入輸出，權值閾值和感知器組成的網絡，他通過反向傳播的算法對權值進行更新，從而有了自適應和自我學習的功能[17]。首先將訓練數據送入網絡以獲得激勵響應，然后將激勵響應同訓練數據的標記計算誤差，再通過誤差計算出權重梯度，最后將這個梯度乘以一個比例加到權重上進行權重更新。以上步驟反復進行最后得到合適的網絡權重。神經網絡的結構如圖4 所示，輸入層一共是32×32=1024 個，隱藏層一共有三層。假設我們的隱藏層也是1024 個單元，那么我們可以計算出來整個網絡的權重值一共是3×1024×1024+1024×2 個，每次迭代計算誤差后所有的權重值都要進行更新，計算量很大，但這僅僅是一個很簡單的網絡結構。

圖4 反向傳播神經網絡的結構

1.4.3 LeNet和AlexNet神經網絡

我們可以看到反向傳播神經網絡的計算量非常大，每次更新權值需要消耗大量的時間，這也限制了網絡的規模。我們使用了LeNet 和AlexNet 兩種新的神經網絡結構，可以大大減少計算量，有效地節約計算時間。這兩種結構是通過卷積的方法實現了權值共享，這樣只需要更新卷積核的權值即可，無需更新所有權值。下面我們來根據我們的腦電數據來設計具體的LeNet 和AlexNet 結構。首先是LeNet 結構，這個結構是Lecun 在解決手寫數字問題是設計的網絡結構，我們經過一些改進運用于腦電數據的分類，結構如圖5 所示。首先最左邊是輸入，我們的原始數據是一個32×32 的二維矩陣結構，同時它有4 個通道的數據，是一個4×32×32 的結構體。首先經過一次卷積，卷積核是5，邊界處理是2，卷積步長是1，這樣可以得到一個同樣尺寸但是有16 層的卷積結果。然后經過激活函數Sigmoid 和池化降采樣，得到一個16×16×16 的數據結構。然后再經過一次卷積，卷積核是5，邊界處理是2，卷積步長是1，可以得到一個32×16×16 的數據結構。再經過激活函數Sigmoid 和池化降采樣，得到一個32×8×8 的數據結構。最后經過一個全連接層，將數據結構體全展開，最后輸入一個線性層得到最終的概率結果。根據這個概率結果就可以分類出是左手還是右手運動想象[18]。

圖5 LeNet的卷積網絡的結構

由于我們使用了卷積的方法，并且是共用卷積權值，那么數據的計算量就少了很多，每次需要更新的權值也少了。這就是使用LeNet 的意義所在。同時使用了池化降采樣的方法，這樣可降低網絡訓練的參數以及解決模型過擬合的問題。

AlexNet 主要是在LeNet 的基礎上使用了新的激活函數ReLu 以及更深的網絡和Dropout 技術。與LeNet 相比，AlexNet 多了三層卷積層，并且在最后的全連接層使用了Dropout 方法。Dropout 是以一定的概率對神經元輸出設置為零，一般概率為0.5。這樣設定的神經元既不參與向前計算誤差也不參與反向傳遞誤差。這樣就等于每次神經網絡的計算都是一個新的結構，但是這些結構是共享權值的。這種方法是暫時的，對于隨機梯度下降來說，是隨機丟棄的，等于是每次訓練都是一個不同的網絡，可以有效地防止模型過擬合。因為神經元不能依賴于其他某一個特定的神經元，所以這種技術降低了神經元復雜的互適應關系，正因為如此，訓練出來的網絡更具有魯棒性[19]。Dropout 只用于最后的網絡全連接層。

2 結果和分析

我們一共使用了四種分類器，分別是線性分類器、反向傳播神經網絡、LeNet 和AlexNet 卷積神經網絡。四種分類器的輸入特征都是一致的，分別是70 組訓練數據和70 組測試數據。首先我們看四種分類器的正確率，結果如表1 所示。

表1 四種分類器的準確率

可以看到，相比于線性分類器，反向傳播的神經網絡能夠將分類準確率提高13%，而兩種神經網絡又有大約6%的提高，這是因為神經網絡有更復雜的網絡結構，可以有效地提高分類能力，同時兩種卷積網絡有效地增加的網絡的泛化能力，相比于反向傳播神經網絡有更好的性能。當年腦機接口競賽的最好成績只是87%，兩種卷積網絡的準確率高于競賽的成績。然后我們再對比兩種卷積網絡的泛化能力，我們將數據增強后的數據放入網絡中訓練，依然用原來的測試數據。結果如圖6 所示。我們可以看到在測試誤差上，AlexNet 的表現好于LeNet，但是在訓練誤差上是相反的，LeNet 的效果好于AlexNet，這說明了在數量較大的情況下，網絡容易訓練出過擬合的情況，所謂過擬合就是網絡在訓練集有著非常良好的表現，但是在測試數據集表現反而不如訓練集。這是一種常見的問題，以前經常會用正則化的方式來解決問題，這里AlexNet 使用了Dropout 的方法來解決過擬合問題，結果是訓練集的誤差上升了一些，但是在測試集中的表現更加良好，這樣的網絡更具有泛化的特點。從圖6 可以看出來，使用了Dropout 的AlexNet 在訓練集的誤差有所提高，但是測試集的誤差反而降低了，這說明有Dropout 的AlexNet 具有更好的泛化能力，這說明AlexNet 能夠有效地解決大數據情況下的過擬合問題。

圖6 兩種卷積網絡的誤差

3 討論

本文提出并實現了兩種基于LeNet 和AlexNet 的卷積神經網絡，用來對運動想象的腦電數據進行分類，同時采用了數據增強的處理方法。在兩種卷積神經網絡上改進了傳統的運用于圖像的方法，使其適用于腦電數據。試驗結果表明，本文提出的方法獲得較好的運動識別率，同時相比于傳統的反向傳播神經網絡，降低了計算的復雜度。相比于傳統的線性分類器和反向傳播神經網絡，新的網絡的有更好的分類準確率。同時比較了LeNet 和AlexNet 的性能，在數據增強之后，AlexNet 的Dropout 能夠使網絡獲得更好的泛化能力，解決過擬合問題。總體上來看本文提出的兩種卷積神經網絡算法有著更好的性能。

深度卷積網絡有著強大的學習能力，其更有特色的地方在于多種類的分類問題，比如ImageNet 比賽中，分類情況已經達到了1000 種，所以在以后的研究中，可以嘗試更多種類的腦電信號分類，比如左手、右手、舌頭和腿的四分類情況，甚至是ECoG 的細分到每根手指的分類情況，這樣更有助于腦機接口的精細化使用。