基于動態功能性腦網絡的情感分析

黃義華，童 玥，衡 霞,3，盧 忱，王忠民,3

(1.中興通訊股份有限公司 企業發展部，廣東 深圳 518057;2.西安郵電大學 計算機學院，陜西 西安 710121；3.西安郵電大學 陜西省網絡數據分析與智能處理重點實驗室，陜西 西安 710121;4.移動網絡和移動多媒體技術國家重點實驗室，廣東 深圳 518055)

0 引 言

人腦中存在成千上萬的神經元，通過神經元之間的電位活動傳遞信息，控制著人體的思維活動、肢體協調水平和情感狀態。在情緒產生過程中大腦的許多區域會被激活共同作用控制，表現為大腦的前部和左、右腦區最為活躍。由于現有基于單通道特征的研究方法均忽略了信號在空間結構和功能聯系上的信息，使得提取的特征不能準確地表征情感。因而從大腦整體宏觀角度，利用腦網絡對大腦進行研究是必要的，又因近年圖論概念的引入以及網絡分析工具的不斷增加，使得基于復雜網絡的研究成為腦電研究領域的熱點。

現有基于腦網絡的情感識別研究中，主要使用基于靜態連接的功能性腦網絡，即默認構建的腦網絡狀態在給定的較短的時間范圍內是相對穩定的，其拓撲連接、功能性表達不受時間的改變而變化。Tommaso等人構建了基于相位同步的靜態腦功能連接，結果表明在悲傷期間全腦區的相位同步普遍增加，而高興狀態時額葉和枕葉間會產生較多的相位同步現象。Lee等人使用包括相干性在內的三種不同的靜態功能連接方法對積極、中性、消極三種情緒進行了分類，并最終取得了最高 79%的分類準確率，結果表明基于腦網絡的情感分析有很大發展空間。近年研究發現，隨著時間的變化功能性腦網絡的狀態也會發生變化，而這種時變性改變能夠反映大腦自發活動的非穩定特征，即功能連接也是隨著時間變化而動態變化的。Liu等人基于相位滯后指數構建的靜態功能性腦網絡，顯示了功能連通性在研究與情感有關的大腦機制方面的潛力。大腦是在秒級與毫秒級動態變化的，靜態連接的處理方式會失去大腦活動在時間維度上的部分有效信息。因此，研究功能性腦網絡的動態性是極其必要的。

大腦的功能連通性主要是將大腦不同區域的神經細胞群活動之間的瞬時相干性作為一個同步度量矩陣進行分析。文獻[6-10]提出了各種連通性測量方法，這些方法在腦電信號的分析中均沒有直接可見的動態特征，然而，網絡動態分析對于理解全腦功能具有潛在的重要性。為了分析情感轉換過程的大腦動態連接，該文對刺激過程中整個頭皮電極在不同頻段的同步模式進行估計，并計算相應的測量矩陣進行動態分析。主要貢獻有：提出了一個系統的分析框架，該框架包括相關性度量計算，腦狀態分割，代表性時間片段提取以及動態網絡測量方法，評估驗證這種方法能夠捕獲情緒轉換過程中的大腦動力學特征。

1 基于腦電信號動態功能性腦網絡

1.1 動態功能連通性分析框架

基于動態功能性腦網絡的情感分析框架如圖1所示。該框架由三個模塊構成，分別是相關性度量模塊、腦狀態劃分和關鍵時間段提取模塊以及動態網絡構建和分析模塊。

圖1 動態功能連通性分析框架

各功能模塊具體描述如下:

(A)模塊：

相關性度量模塊，對于每個時間點的EEG信號計算各通道間相關性，獲得

M

×

M

維度的鄰接矩陣，其中

M

表示的是腦電通道數。

(B)模塊：

腦狀態劃分和關鍵時間段提取模塊，計算任意兩個相鄰時間點的SVD矢量空間距離，將相似度低的時間點評估作為腦狀態變化點，基于此生成多個時間片段。該過程可以理解為狀態分割，也就是將非平穩腦狀態劃分為多個穩定狀態。

(C)模塊：

動態網絡構建和分析模塊，對于每個時間片段，通過構建動態功能性腦網絡來分析情感狀態。(a)采用2 s長度的滑動時間窗來提取相關有效時間序列；(b)通道間相關性：使用皮爾遜相關系數來衡量個電極間的連通性；(c)功率分布：在相關指定頻段下計算各個電極通道的功率分布；(d)在任意時間窗上的鄰接矩陣間計算相關性動態矩陣(correlation dynamic matrix，CDM)，獲得網絡級動態屬性；(e)計算任意兩時間窗的功率分布間的功率動態(power dynamic matrix，PDM)矩陣，獲得網絡級動態屬性；(f)提取動態矩陣特征；(g)選用SVM進行三分類情感識別任務。

1.2 功能連通性計算

功能性腦網絡是依據時間序列關系建立的無向網絡，利用復雜網絡理論有助于研究不同腦區之間的相互作用、拓撲結構和動力學信息以及與生理功能和疾病產生的關系。皮爾遜相關系數是衡量時間序列之間無向關系的最經典方法，該方法主要用于衡量兩個時間序列

X

和

Y

間的線性關系，定義為兩個變量之間的協方差和標準差的商，如式(1):

(1)

其中，cov(

X

,

Y

)表示變量

X

和

Y

之間的協方差；

σ

σ

表示變量

X

和

Y

之間的標準差。又因式(2)～式(4)的緣故：

(2)

(3)

μX

=

EX

(4)

則對于給定的時間序列

X

(

t

)和

Y

(

t

)，在該時間段內的皮爾遜相關系數如式(5)所示：

(5)

如果皮爾遜相關系數等于1，則說明兩個序列

X

和

Y

呈正相關，等于-1說明兩個序列呈負相關，等于0則不相關。

1.3 基于SVD向量空間距離的腦狀態分割

提取SVD矢量空間距離：腦狀態分割旨在將非平穩的大腦動態時間過程劃分為幾個準穩態的片段。采用SVD矢量空間距離方法來識別時間序列{

t

,

t

,…,

t

}中的異常點，SVD矢量空間距離表示為

d

(

t

)，如式(6)和式(7)所示：用來度量相鄰時間點

t

-1和

t

的SVD向量

U

(

t

-1)和

U

(

t

)之間的加權cos相似度，其中加權cos相似度計算如式(8)所示。

(6)

(7)

(8)

其中，

μ

(

t

-1)∈

U

(

t

-1)、

μ

(

t

)∈

U

(

t

)分別是對應于最大奇異值

λ

(

t

-1)和

λ

(

t

)的向量，而cos

θ

表示cos的相似度。腦狀態分割：為了提取{

t

,

t

,…,

t

}時間序列中的異常轉換點，使用了基于重要性值的閾值化方法，該方法包括以下步驟：

(1)用對數正態分布擬合SVD向量空間距離，以估計比例、形狀和位置參數。

(2)設置初始閾值計算腦狀態轉換臨界點，并生成一組臨界的候選點。

則對于兩個連續的腦狀態轉換點cp和cp+1，在時間段(cp,cp+1)中定義一個大腦狀態

o

，該狀態不同于

o

-1但與

o

,…,

o

-2狀態類似。

1.4 動態網絡分析

腦狀態分割完成之后提取代表性時間片段，采用基于相關模式和頻帶功率分布方法構建不同網絡模式，利用滑動窗口法估計動態相關模式和動態功率分布變化，然后提取網絡級的腦動力學的多變量特征。為了量化動態矩陣，將每個動力學矩陣的矩陣均值和矩陣清晰度作為提取的動態矩陣特征。

矩陣均值：動態相關性矩陣的平均值，如式(9)所示：

(9)

矩陣清晰度：描述不同網絡狀態之間轉換的度量，如式(10)所示：

(10)

式(9)、式(10)中，

f

,=

f

(

x

,

y

)表示矩陣

x

行、

y

列的標量值，

k

是矩陣的行數。

2 實驗結果與分析

2.1 實驗數據

實驗選用SEED數據集，有15名被試者(7名男性，8名女性)參加實驗，每名被試均進行了3次實驗，為了避免一次性長時間采集數據給被試造成腦疲勞或者抵抗心理，在每次實驗之后設置了一周的間隔休息時間。每次實驗中每位被試均被要求觀看15個電影片段(每個4 min)，這些視頻片段均選自大眾好評的電影，將其作為刺激因子用于激發出情感，其中電影片段主要包括三個情感類別：愉悅(Positive)、中性(Neutral)和悲傷(Negative)。在被試觀看電影片段的同時，被試通過頭戴電極設備記錄下大腦活動所產生的微弱電信號，其采樣頻率為1 000 Hz。SEED數據集采用的是國際10-20標準的62通道的電極帽設備，各電極在電極帽上的分布如圖2所示。

圖2 62通道的電極分布圖

2.2 結果與分析

選取被試djc的積極、中性和負面情緒的腦電信號片段，得出不同頻帶上的動態相關性矩陣和動態功率矩陣，如圖3～圖5所示。

圖3 愉悅狀態下10 s EEG片段的CDM和PDM

圖4 中性狀態下10 s EEG片段的CDM和PDM

圖5 悲傷狀態下10 s EEG片段的CDM和PDM

從圖3～圖5可以觀察到以下幾點：

三種不同情緒狀態下，基于頻帶功率分布所構建的動態腦網絡比基于皮爾遜相關性構建的腦網絡隱含更多的時間維度信息，即不同時間窗間的PDM值高于CDM。

從頻帶上來說，隨著頻段變高，且當所有頻帶同時使用時，CDM和PDM的相關性就越高。這表明頻段越高，與情緒活動的相關性就越大。

在all波段下，愉悅情緒和悲傷情緒的CDM矩陣基本一致，而PDM矩陣變化較大。這說明情緒轉變過程中頻帶功率分配模式比網絡相關模式更能表征情緒變化。

三種不同情緒狀態下，PDM矩陣相比于CDM矩陣差異較大。這說明在研究情緒轉變過程時應重點關注功率分布動態變化。

2.3 基于動態矩陣的情感分析

為了驗證基于通道間功率分布相關性的動態網絡更能表征情緒變化過程，提取PDM和CDM矩陣的動態特征，然后用SVM進行分類識別并與其他方法進行對比。該文選用不同頻段的兩種動態矩陣的腦電特征來評價腦電情緒識別方法的性能，動態矩陣特征分別為：矩陣均值和矩陣銳度。

從表1分析數據發現：動態腦網絡特征相比靜態腦網絡特征在SVM方法下的情感識別率較高，這是因為動態網絡相比靜態網絡考慮到了情感轉換過程中有效的時間信息。

表1 SEED數據集上不同腦電特征在SVM下的平均準確率 %

3 結束語

以辨別和描述人腦網絡的狀態特征為目標，針對靜態功能連接會缺失與時間相關的有效信息，該文提出了一種基于相關模式和頻帶功率分布的動態腦電情感分析方法。利用通道間相關性和各通道功率矢量分布相關性構建網絡模式，并使用滑動窗口方法來估計各窗口間的動態相關性，在SEED數據集上進行分類識別驗證所提方法的合理性。

研究發現以下幾點：

采用通道間相關性和跨通道頻帶功率相關性方法，利用滑動窗口的動態數據分析均可完成全腦動態功能網絡構建。實驗結果發現人腦在三種情緒狀態下功能性腦網絡的變化具有一定規律性，從而了驗證方法的有效性。

在情感分析中PDM相比CDM具有較好的分類識別性能，這可能是由于腦電信號是一種非平穩信號，而皮爾遜相關系數是用來測量信號間線性關系。