腦機接口中腦電圖-近紅外光譜聯合分析進展研究

張力新 周鴻展 王 東 孟佳圓*② 許敏鵬② 明 東②

①(天津大學醫學工程與轉化醫學研究院 天津 300072)

②(天津大學精密儀器與光電子工程學院 天津 300072)

1 引言

腦電圖(ElectroEncephaloGraphy, EEG)通過放置在頭皮表面的電極記錄，能反映出腦皮層神經微弱放電的變化情況。EEG的電位記錄具有較高的時間分辨率，從而使在時間細節上跟蹤大腦活動過程成為可能[1]。近紅外光譜(Near-InfRared Spectroscopy, NIRS)是通過外置光源和接收器，監測大腦特定區域血紅蛋白濃度波動的方法。在特定腦區激活時，對氧的需求量增加，從而在大腦中發生代償性血流動力學反應[2]，使相應區域血紅蛋白濃度等生理指標發生變化。EEG以采集電信號的方式實現，NIRS以采集光信號的方式實現，兩者所需的信號本身及其采集方式沒有物理意義上的相互干擾，可以同時采集，故在現有的腦機接口(Brain-Computer Interface, BCI)中，EEG和NIRS是較常用的采集信號。目前，腦電活動及其對應的血流動力學活動的時空對應關系尚不明確，它們通過神經血管耦合機制[3]相互作用，各自具有獨特的特征，將EEG和NIRS聯合分析可能得到更精確、更詳細的大腦活動狀態[4]。相關的研究表明，與單模態BCI相比，將EEG和NIRS聯合分析的混合BCI系統能在多種范式上提供更多的指令集，提高腦機接口系統分類的魯棒性與準確率，也能夠對情緒狀態、持續注意等時間尺度較長的狀態進行精細的識別與估計。對于這兩種信號具體的融合方法，隨著研究者對這兩種信號本身及其相互聯系的不斷加深，其形式于近幾年從較為簡單的基于貝葉斯的決策層融合，到基于特征篩選和拼接的特征層融合，再到基于優化卷積神經網絡(Convolutional Neural Network, CNN)、長短期記憶網絡(Long Short Term Memory network, LSTM)等深度學習方法的數據層融合，由淺入深逐漸發展。就目前研究現狀而言，決策層和特征層融合均能給混合BCI帶來一定效果的提升，而利用深度學習方向的數據層融合方法，某些特定范式的指令融合分類準確率可達99%以上。本文以EEG與NIRS的信號融合層級為主線，綜合概括了兩種信號的融合方法及其應用場景，并對未來的信號融合的發展方向做出了展望。

2 信號融合層級

EEG和NIRS的聯合分析與融合可以分為決策層融合、特征層融合與數據層融合。每個層級具體的處理過程如圖1所示。

圖1 決策層融合、特征層融合與數據層融合的處理過程示意圖

本文將從這3個方向介紹相關研究進展，并進行總結歸納。

2.1 決策層融合

決策層融合一般指將各模態信息各自進行處理，并將得到的初步分類結果進行決策或權重分配，得到目標的最終分類結果的融合。各模態信息獨立處理包括預處理、特征提取與分類等，也可以選定多種特征提取方法分別進行分類，最后根據各模態的分類結果進行自適應的決策。在EEG-BCI的相關研究中，根據同一實驗任務引發的不同特征分別進行分類，最后通過自適應決策得出最終結果的方法已較為常見，如較為成熟的運動想象(Motor Imagery, MI)-P300 混合BCI使用決策層融合方法，相較于使用單模態特征，其分類正確率和所需的訓練次數都得到了顯著的優化[5]。在EEG-NIRS BCI中使用決策融合的方法是單模態BCI研究的自然延續。

決策層融合可對BCI輸出結果進行預測與校正、增加BCI的指令集、提高EEG-NIRS BCI的分類準確率等。且由于決策層融合計算算法較為簡單，實時性較強，更適合應用于對反應時間要求較高的BCI系統中。如在輸出結果的預測與校正方面，在Fazli等人[6]的研究中，EEG與NIRS兩系統是串聯的關系。該研究以運動想象BCI為背景，通過最近時段的NIRS活動來預測EEG-BCI控制的性能波動。然后以基于NIRS的預測結果迭代魯棒性更強的EEG分類器。此方法可以顯著增強BCI分類效果，同時最小化性能波動，從而提高BCI性能的穩定性。Tomita等人[7]針對低頻穩態視覺誘發電位(Steady-State Visually Evoked Potential, SSVEP)范式容易將受試者空閑狀態識別為指令的問題，在枕區引入了NIRS通道用于識別“空閑”指令。具體而言，該研究綜合EEG和NIRS的分類結果，判斷決定當前是否為“空閑”狀態。若判斷為是，則讓SSVEP-BCI系統暫停輸出。該方法的引入成功降低了假指令出現的概率。在增加BCI指令集的方向上， Khan等人[8]通過受試者執行不同算術心理任務情況下的NIRS信號，得出輪椅向前和向后運動的控制命令；通過分析左右手的想象敲擊對應的EEG信號得出向左和向右轉動的控制命令，實現了輪椅的更靈活的控制。

提高分類準確率是決策層融合的直接目的。如在Fazli等人[9]的研究中，以基于運動想象的BCI系統為研究對象，對EEG和NIRS信號分別訓練線性判別分析(Linear Discriminant Analysis, LDA)濾波器，在決策階段綜合3個濾波器估計1個元分類器，以最優地組合LDA算法的輸出。通過這種融合方法，90%以上受試者的運動想象的分類準確率顯著提高，平均提高5%。Kwak等人[10]對EEG和NIRS分別通過神經網絡訓練后，在分類階段對分類結果進行加權。EEG-NIRS加權后的分類結果始終顯著優于EEG獨立分類的結果(對于運動想象，比單模態EEG分類準確率高2.82%；對于心算任務則提高了3.92%)，并緩解了NIRS響應延遲導致的BCI性能下降。Alhudhaif[11]則使用了含氧血紅蛋白(Oxygenated Hemoglobin, HbO)濃度、脫氧血紅蛋白(Deoxygenated Hemoglobin, HbR)濃度、HbO+HbR,EEG,EEG+HbO和EEG+HbR 6種數據組合方式，用K-means聚類中心差異屬性加權方法(K-Means Clustering Centers Difference based,KMCCD-based)對各種選定的特征進行加權，最后使用LDA、支持向量機(Support Vector Machine,SVM)等分別進行分類，比較各種分類器的性能。分析結果顯示，經上述處理，運動想象和心算任務的最終分類結果均達到98%以上，顯著高于單模態分類結果。

決策層融合是根據已有的分類結果決定最終的分類結果的融合過程。一般而言，各模態的分類結果的決定策略或由訓練集的結果確定，或在BCI的使用過程中自適應調節。現有的決定策略的選擇一般為貝葉斯方法，構建混淆矩陣等純數學方法，不涉及EEG和NIRS信號的內在機制或聯系，這也導致決策層融合的研究深度有限。但由于決策層融合的算法復雜度一般較為簡單，運行快速，這種融合方式有一定的實際應用價值。

2.2 特征層融合

特征層融合是對從不同模態信息中提取的特征向量或參數進行聯合，有效的特征選取和融合方式能大大提高不同指令之間的可分性，從而提升BCI的表現。而缺點在于不同模態信息分開提取特征時無法表征模態間的信息聯系，而盲目的選取和融合各模態的特征反而可能會降低系統的表現。經典的單模態EEG-BCI已有將MI和P300的混合特征直接訓練、選擇并組合的方法[12]，實現了單信號源自身的特征融合。以單模態信號的特征融合研究為基礎，研究EEG-NIRS多模態信號特征融合方法是應有之義。而在目前EEG-NIRS BCI的研究中，如何選取EEG和NIRS信號的特征是特征層融合能否提高BCI系統性能的一個關鍵因素。

在實際的研究結果中，特征選取只要合適，無論簡單或者相對復雜，均有良好的性能提升效果。對于簡單的特征選取，如均值、功率、相關性等，不少研究均認為合適的組合能顯著提升其分類準確率。Aghajani等人[13]以n-back任務為研究對象。EEG特征選取為特定頻帶功率，而NIRS特征選取為HbO, HbR濃度變化的斜率，HbO與HbR之間的相關性和神經血管耦合指數(該研究將其定義為EEG特定頻帶功率與HbO, HbR之間的相關性)，最后對合并的特征利用SVM進行分類。從分類結果來看，特征融合后的分類準確率高于兩種單模態信號各自的分類準確率(較EEG高3.8%，較NIRS高8.5%)，表明多模態信號的特征融合和神經血管耦合在量化心理負荷方面的協同作用。Almajidy等人[14]以左手、右手、雙手和雙腳的運動想象為范式。采用HbO信號在特定時間窗內的斜率作為NIRS信號特征進行特征提取，采用8～30 Hz頻段內EEG的功率譜密度作為EEG信號特征進行特征提取。組合兩特征后采用線性判別分析特征選取進行分類。與純腦電圖特征相比，當使用多模態信號特征時，分類準確率的提高非常顯著，平均達11.6%。其他研究[15-17]也采用了類似的特征以融合EEG與NIRS信號，并獲得了有顯著性的分類提升。對于復雜特征的選取，則一般使用信號處理過程中獲得的某些參數。Shin等人[18]以心算任務和運動想象范式為研究對象，EEG特征選擇了共空間模式(Common Spatial Pattern,CSP)方法中按典型特征值得分排序后前3個和后3個特征值的對數方差，NIRS特征使用5～10 s和10～15 s時間窗口內HbR和HbO在時間上的平均值。值得注意的是，該研究也嘗試了NIRS信號的其他特征，如斜率和方差等，但除時間平均值以外的特征并沒有提高分類性能。Han等人[19]以心算任務作為范式，也做了類似的研究。對于EEG，采用具有自動濾波選擇的CSP分析方法，得到第1個和后兩個CSP分量的對數方差作為EEG特征。對于NIRS則將HbO和HbR的平均值和斜率作為NIRS信號的特征。值得注意的是，與Shin等人[20]的研究相比，該研究實現了在線應用，表明了EEG-NIRS BCI的實際應用能力。在其他范式或任務中，類似的特征融合方法也有所應用[21-23]。Dehais等人[24]則在腦力負荷狀態檢測的研究中，EEG特征采用各頻帶(α,β和θ)的功率，NIRS特征采用了特定頻率下的基于小波變換的相干性，也得出了高水平的分類結果，聯合分類結果較單模態分類結果高出1.4%。可見，特征層融合對于提升BCI性能也有較好的效果，且融合方法多種多樣，值得深入研究。

EEG數據和NIRS數據在原理和獲取機制上有很大的不同，是兩種不同的腦信號。當結合這兩種不同類型的數據時，簡單的特征拼接往往會導致機器學習算法的性能較差。因此，有必要在融合前對兩者的特征進行歸一化，在融合后進行特征選擇。Qiu等人[25]提出了一種多模態特征級融合方法：歸一化-重構方法。該方法在偏好音樂和中性音樂誘發的大腦活動分類中，準確性高達98.38%。而各模態信號通道之間的相關性計算過程中，也可以視為進行了歸一化處理。Cao等人[26]將EEG的腦網絡特征與NIRS的腦網絡特征相融合，在工作負荷的分類中達到了較為先進的水平。

除了簡單的特征拼接外，還有以優化EEG與NIRS特征之間互補性，降低冗余性為目的特征融合方法。Deligani等人[27]將互信息作為特征選擇的工具，以最小化高維多模態EEG-fNIRS特征之間的冗余。在P300-speller BCI使用此方法進行特征融合后進行分類。基于互信息的特征選擇比沒有特征選擇的混合選擇分類準確率提高了16%，比使用EEG和fNIRS的單模態分類準確率分別提高了12%和23%。Zhang等人[28]使用基于時間和空間對齊的特征融合方法，在MI范式中得到了相對于非對齊方法顯著提高的分類水平。

特征層融合的深入研究，不僅在于適合的特征選取與組合方式，更在于挖掘更多有效的、含義豐富的特征。目前，在特征層融合上，EEG信號與NIRS信號所應用的特征較為單一，尤其是對于NIRS信號特征的選取，多停留在峰值、均值等簡單統計量，少有涉及NIRS信號內蘊含的豐富的空間信息。不僅如此，相關方向的研究多停留于1維特征的分類，對2維乃至高維的特征的融合方法仍有待發掘。實際上，以2維特征為分類依據的EEGBCI和NIRS-BCI均已問世，如以時頻特征為分類依據的EEG-BCI[29]、以廣義線性模型(Generalize Linear Model, GLM)分析為分類依據的NIRSBCI[30,31]等。對于2維乃至高維特征的融合是未來特征層融合的一個具有前景的研究方向。

2.3 數據層融合

現在的數據層融合研究可大致分為兩種：第1種是根據一方的數據包含的信息或特征，對另一方的原始數據進行時域、空域等維度的篩選，從而得到與指令更相關，特征更明顯的數據段；第2種是將EEG和NIRS的數據以某種方式融合為單模態的數據。第1種數據層融合通常方法簡單易行，容易理解，但研究的可深入程度有限；第2種數據層融合的優點在于保留了較完整的原始數據，因此可以保持各模態數據之間的數學關聯。缺點一是由于不同模態數據的時間、空間信息難以對齊，提高了融合后的計算復雜度，不適合對實時性要求高的系統；二是需要同時考慮不同類型信號的偽跡的處理，增加了數據處理模型的設計難度。

第1種數據融合方法著眼于提高數據質量，濾除冗余信號。對于單模態信號，濾除冗余信號的方法多基于統計方法，如將數據通過z分數標準化，然后通過對統計指標設定閾值后進行篩選[32]。對于多模態信號，由于各模態信號之間具有內在聯系，相應的數據篩選方式也更為可靠。且由于該融合方法的意義簡單直觀，在EEG-NIRS聯合分析中起步較早。如Shu等人[33]提出了一種針對BCI系統中單次試驗分類問題進行時間窗最優選擇的方法。由于EEG與NIRS之間存在耦合關系，該研究根據HbO的信號狀態來定義受試者大腦的激活狀態。具體而言，該研究將HbO波形峰值處定義為大腦被完全激活的時間點，然后以這個時間點為中心選擇附近時間窗內的EEG數據。在特定選擇的3 s時間窗下，與原始12 s時間窗相比，解碼準確率從69%顯著提高到79%。Khan等人[34]在空域上進行了類似的研究。該研究以HbO和HbR的空間平均值為指標篩選與運動活動相關的活動區域，然后選取該區域中腦電圖電極數據進行特征提取與分類。結果表明，NIRS相關區域可以更準確地識別BCI的活躍腦區。在選定的EEG通道中使用SVM進行分類的平均準確率也高于選取所有通道的平均值。Al-quraishi等人[35]從運動皮層區域內選取EEG導聯中事件相關去同步化(Event-Related Desynchronization, ERD)特征最明顯的數個導聯，同時根據NIRS信號中的HbO濃度確定數個最活躍的NIRS通道。根據選中的EEG導聯和NIRS通道的皮爾遜相關性，最終確立用于分類的EEG與NIRS導聯。使用最終確立的相關通道中的導聯信號進行踝關節運動分類。結果表明，與單模態信號全導聯分類相比，此研究提供的方法顯著提高了踝關節分類準確率，為93.01 ± 5.60%。Meng等人[36]采用滑動時間窗對EEG和NIRS信號進行分割，然后將交叉時間窗與獨立選擇的EEG和NIRS中的每個片段相結合。此外，利用濾波器組共空間模式(Filter Bank Common Spatial Pattern,FBCSP)和統計方法(信號的均值和峰值)從每個樣本中提取腦電圖和NIRS特征。通過計算FBCSP和統計特征的互信息來表征交叉時間窗口的識別，并根據最大的互信息選擇最優時間窗。該方法的分類準確率為92.52 ± 5.38%，高于其他方法，說明了該方法的合理性和優越性。Li等人[37]以運動想象范式為例，建立了一個由EEG調制的NIRS分析框架。在運動想象任務執行期間，對典型的EEG節律調制，并將其引入到NIRS的GLM的建立過程中。該方法提高了GLM分析的性能，實現了更高的檢測靈敏度以及事件相關去同步顯著性。還有研究將EEG中的矢量-相位分析特征作為篩選NIRS通道的依據[38]。與篩選前相比，篩選后的NIRS信號分類準確率由63.8%提升至86.0%，提升效果極為明顯。

第2種數據層融合方法在近幾年才出現，目前仍處于純數據驅動階段。常規方法在于尋找這兩種信號的擬合關系，從而將數據類型歸一化。如文獻[39]提出了EEG和NIRS信號的張量融合方法和p階多項式融合方法，在心算任務和運動想象任務中，相比于單模態信號分類結果均有更良好的分類表現，且融合過程的時間、算力成本不高的方法，具有較高的實用價值。

隨著深度學習的發展，由于深度學習不要求多輸入端的語義一致性，使其應用在EEG信號與NIRS信號聯合分析相關研究時，無需研究兩信號之間的生理聯系即可進行數據層融合。Nour等人[40]提出了一種基于優化卷積神經網絡的多頻帶分類方法的分類框架。該研究的主要工作在于提出了一種使用EEG和NIRS信號進行全連接層優化的CNN體系結構，然后根據受試者左-右運動想象，對測試集的EEG和NIRS信號進行分類。該方法比現有的分類方法具有更高的分類性能，準確率為99.85%。基于CNN的用于分類EEG-NIRS信號的神經網絡還有諸多變體，如CNN-LSTM等[41]。Chen等人[42]對于MI范式提出了一種多通道融合方法，并設計了一種多通道融合混合網絡，該網絡結合了深度卷積層、通道注意機制和雙向長短期記憶層，使其在空域和時域上具有很強的特征提取能力，在公開數據集上的平均準確率達到了99.64%。除此之外，還有對常規使用于EEG分類的EEGNet進行改造[43]以容納fNIRS數據的方法等。長期來看，隨著算力的發展，使用深度學習領域的方法搭建合適的神經網絡，是未來數據層融合的主流方向。

在數據層融合上，目前的融合方法仍有可改進之處。對于第1類數據層融合，對信號的多維度篩選固然增加了信噪比，有利于分類準確率的提升，但是由于兩種信號的信噪比本身不高，特征成分復雜且微弱，以信噪比為主要依據進行數據篩選可能損失其他未知的、有用的特征。對于第2類數據層融合，目前的相關研究不多，但因其保留了更多的信號的原始特征，在對信號的利用程度方面潛力更大，是更值得繼續研究的方法。

3 總結與展望

就目前的EEG-NIRS BCI 研究而言，依托于機器學習和深度學習的發展，主流數據融合層級從決策層逐漸過渡到特征層和數據層。機器學習中的SVM, LDA等方法已成為EEG和NIRS數據的基礎分類方法，并在數據的決策層、特征層融合中得到了廣泛的應用；而數據層融合方法中，CNN，循環神經網絡(Recurrent Neural Network, RNN)等深度學習方法由于其良好的工程應用能力，在信號融合BCI指令集分類的表現尤為突出。未來的EEGNIRS的信號融合相關研究將趨向于更新穎、更深層次的特征層與數據層融合方法。

在上述介紹的EEG信號與NIRS信號融合層級中，較非融合與決策層融合而言，由于特征層融合與數據層融合更能挖掘EEG信號與NIRS信號的內在聯系，這兩種方法是相對更值得研究的信號融合方法。研究特征層與數據層融合方法不僅可以在應用層面上提高BCI的性能，而且能促進研究者對腦電信號與腦血氧信號理論上的相互關聯的認識與理解。特征層融合與數據層融合的研究現狀仍較為初步。在特征層融合研究中，可選的有效特征仍較少，在NIRS信號的特征選擇上尤其明顯；在數據層融合中，將EEG與NIRS融合為單模態信號的融合方式更有潛力，但相關的研究多依托于深度學習框架。以神經-血管耦合等客觀規律為基礎融合兩種信號的方法偶有出現[44]，但是并非較為普及的研究手段，相關的融合方法值得探究。進一步來說，兩種信號可以在多個層級上漸進融合[45]，以充分利用兩種信號各自蘊含的豐富信息。

EEG-NIRS信號聯合分析的不足不僅在于其各層次融合方法的局限，也在于研究范式的局限。在EEG-NIRS信號聯合分析的研究中，多數以運動想象、心算任務等作為BCI的研究范式，對其他范式涉獵較少。一方面，未來EEG-NIRS信號聯合分析研究可以擴大其應用范式的范圍，如P300-BCI等；另一方面，EEG-NIRS BCI與EEG-BCI, NIRSBCI均有差別，可以針對EEG-NIRS BCI的特征開發新的范式，為BCI的應用場景開辟新的領域。

EEG-NIRS數據聯合分析在BCI研究領域中具有重要的作用與廣泛的應用前景。當前的研究進展與結論說明了NIRS與EEG信號分別蘊含獨特的信息，可以各自作為對方的補充，對兩種數據不同手段的應用可以對大腦活動有更深刻的理解，得到對BCI系統的不同方面的提升。EEG和NIRS都是對腦皮層放電及其影響的不完全觀測結果，兩種信號之間必然存在共同性與互補性。在數據算法上的現有研究不僅提高EEG, NIRS信號進行建模分析，能讓我們深入理解大腦的運作模式，也有利于研究者設計更準確、更高效、更多功能的BCI系統。