基于功能磁共振成像技術的情感檢測研究

徐姝悅 周勇杰 李琳玲 張 力 黃 淦 張治國 梁 臻*

①(深圳大學醫學部生物醫學工程學院 深圳 518071)

②(深圳市康寧醫院康復治療部 深圳 518020)

1 引言

情緒是人對具有積極或消極意義的內或外部事件的主觀感受[1]。情緒反映了人類行為的潛在動機和意識，并且對建立和維持人際關系、提高認知水平和保證工作效率等有著重要作用[2]。情緒的產生不僅會帶來心理變化，同時也會引起生理變化。當人產生某種情緒時，身體機能會發生變化，比如心跳加速、手心出汗以及面部表情發生變化等[3]。研究人員可以利用情緒反應產生的生理變化進行情緒測量和情緒識別，其研究成果在臨床醫學、腦機接口和遠程教育領域具有廣泛的應用前景。例如，抑郁癥患者和雙向情感障礙患者存在明顯的情緒功能障礙，通過情緒識別系統準確地察覺病患的情緒變化，將有助于醫生對患者進行及時有效的診斷與干預[4-8]。在人機交互中，若機器人能夠準確識別交互對象的情緒變化，人機交互將變得更加友好和自然[9]。又或是在遠程教育和電子教育方面，若能根據學生的情緒狀態采用不同的教學手段，可以提高教師的授課效率[10]。因此，開展情緒識別研究是十分有必要的。近年來，測量腦功能活動信號的神經影像技術得到了飛速發展，包括腦電圖(ElectroEncephaloGraphy, EEG)和功能磁共振成像技術(functional Magnetic Resonance Imaging,fMRI)等[11-13]，情緒識別研究不斷向前邁進。當前，情緒解碼研究采用較多的是EEG，原因在于：(1)EEG具有非常高的時間分辨率，可以準確地識別情緒刺激的時間；(2)EEG操作簡單，采集情緒信息非常方便。近年來，fMRI由于其高空間分辨率的特點，越來越多地被應用在臨床醫學和認知神經科學的研究中[14-16]。同時，由于fMRI所具備的優點：(1)高空間分辨率能夠準確定位情緒信息加工相關的腦區；(2)情緒加工過程與非皮層的腦活動密切相關，相較于EEG，fMRI可以采集到深部腦信號。目前fMRI在情緒識別研究領域中的應用日益增多[17-19]。

基于fMRI的情緒識別研究的主要步驟包括：(1)情緒誘發，(2)數據采集，(3)數據預處理，(4)特征提取，(5)情緒識別模型(如圖1所示)。具體來說，基于fMRI的情緒識別研究，首先需要誘發受試者產生不同的情緒體驗，并同時采集受試者的fMRI數據。然后，對采集到的fMRI數據進行預處理，并從中提取與情緒相關的特征。最后，使用分類模型進行學習并預測最終的識別結果。下面將圍繞fMRI的情緒識別研究的各部分內容進行詳細介紹與說明。第2節將介紹情緒的分類以及情緒的量化模型。第3節將介紹fMRI的基本原理、情緒相關的實驗設計、情緒相關的公開f M R I 數據集、fMRI數據預處理和fMRI特征提取。第4節將介紹基于傳統機器學習和深度學習的情感智能模型。第5節將對基于fMRI的情感智能研究現狀和存在問題進行總結與展望。

2 情緒

自19世紀以來，心理學家對情緒的定義提出了許多見解。例如，美國心理學家James認為情緒源于身體變化，情緒伴隨著心理活動產生[20]。但是心理學家Cannon否定James的情緒觀點，認為下丘腦掌控情緒變化[21]。盡管心理學家對情緒的定義仍然不統一，但是心理學家都認為情緒具有基本情緒集，即情緒具有多種類別。關于基本情緒的種類，心理學家對此也有不同的定義。例如，James認為基本情緒集包括憤怒、恐懼、悲痛和愛等[22]；Clynes認為情緒集包括憤怒、憎恨、悲痛、快樂、愛、浪漫、仇恨和無情緒等[22]；Ekman認為情緒集包括憤怒、恐懼、傷心、快樂、厭惡、驚訝和輕蔑7種情緒[23]。盡管不同研究者對基本情緒的認識不一致，但多數研究更傾向存在以下6種基本情緒：高興、悲傷、驚訝、恐懼、憤怒和厭惡[24,25]。隨著情緒研究的不斷發展，人們發現一些情緒之間存在著一定的關聯性，比如憤怒和憎恨有時會同時出現。因此，為了更加準確地描述情緒，研究人員提出情緒量化模型來實現精準情緒表達。

目前廣泛使用的情緒量化模型主要包括離散情緒模型和維度情緒模型。下面將詳細介紹這兩種情緒量化模型。在離散模型中，情緒在大腦中的表征空間由離散而有限的基本情緒集構成；即情感是稀疏的、相對獨立的并且跨越更高的維度[26]。目前許多情緒識別研究都采用離散模型，例如：文獻[27]使用快樂、憤怒、恐懼、悲傷和中性的圖片誘發受試者5種離散情緒；文獻[18]采用憤怒、恐懼和厭惡面孔圖片來誘發受試者不同的情緒狀態；文獻[28]使用自我誘發方法讓受試者體驗9種離散情緒狀態(憤怒、厭惡、嫉妒、恐懼、幸福、欲望、驕傲、悲傷和羞恥)。在維度模型中，情緒空間被劃分為效價-喚醒度(Valence-Arousal, VA)兩個維度或效價-喚醒度-掌控度(Valence-Arousal-Dominance,VAD)3個維度[29]。效價表示情緒是積極或消極的，范圍從消極情緒到積極情緒。喚醒度反映情緒活動的激活程度，范圍從平靜到激動。掌控度表示控制某種情緒的程度，范圍從完全不能掌控到完全能掌控。在VA維度模型中，通常以效價為X軸和以喚醒度為Y軸的2維空間來表征情緒[30,31]。VAD模型跨越了3個維度，以效價為X軸、以喚醒度為Y軸和以掌控度為Z軸的3維空間來表征情緒[32]。

圖1 基于fMRI情緒識別的主要流程圖

常見的情緒誘發方式主要有兩種。(1)通過圖片、音樂、情感提示詞或視頻等誘發受試者情緒的外部情緒誘發方法。這是目前情緒識別領域中使用最普遍的刺激手段[33-36]。(2)受試者通過回憶或想象體驗不同情緒狀態的內部情緒誘發方法。該方法完全由受試者自己控制[37]。這兩種情緒誘發方法各有優缺點，在實際實驗中，需要根據不同的情況選擇合適的方法。例如，當實驗采用無刺激設置時，可以采用讓受試者自我體驗情緒的誘發方式。當實驗采用有刺激設置時，可以采用外部誘發方法。通常，外部誘發方法具有更高的情緒誘發效能。

3 情緒任務下fMRI實驗與數據處理

3.1 fMRI的基本原理與實驗設計

fMRI是一種用于測量與血液動力學相關的神經活動的成像技術。當大腦接受到外界刺激時，大腦的神經活動增加，使得活動腦區的血管耗氧量增加，腦血流速率同時增加。但腦氧增加速率遠大于腦氧消耗速率，使得脫氧血紅蛋白比例降低。由于含氧血紅蛋白是抗磁性的，脫氧血紅蛋白是順磁性的，脫氧血紅蛋白比例降低導致磁共振信號在含氧的血液中顯示高信號，在脫氧的血液中顯示低信號，這種信號稱為血氧水平依賴(Blood Oxygenation Level Dependent, BOLD)信號[38,39]。一個短暫的外周刺激(比如情緒刺激)所產生的局部BOLD響應稱為血流動力學響應函數(Hemodynamic Response Function, HRF)。HRF模擬BOLD信號在神經活動發生后的4至10s內上升至峰值，然后降至基線[40,41]。因此，BOLD fMRI技術可以通過HRF間接測量大腦在不同情緒狀態時的神經元活動特性。目前，該技術已在智能情緒解碼研究中得到廣泛應用。

為了獲得受試者在不同情緒狀態下的大腦功能活動信號，需要將BOLD fMRI腦影像技術與合適的情緒任務實驗設計相結合。實驗設計是指受試者在fMRI實驗期間執行的情緒任務的構造、時間組織結構和行為預測。在情緒識別研究中，組塊設計和事件相關設計是最常用的范式設計[42]。組塊設計是指在一定的時間窗內，連續呈現具有相同性質的刺激。在組塊設計中，研究者會根據實驗目的將刺激分為不同類型，并將同一類型的刺激組合成一個組塊，然后交替呈現試驗任務和控制任務。組塊設計的最大優點是對簡單的任務具有較強的統計效力和較高的檢測效力。事件相關設計是指設計中可以控制的最小單元是單個刺激或事件，而不是組塊。事件相關設計能夠檢測血液動力學反應的瞬時變化，從而對BOLD信號的變化進行時間表征。事件相關設計的最大優點是能夠隨機呈現刺激，且呈現的刺激為單刺激。情緒識別研究中，研究者根據實驗目的選擇組塊設計或事件相關設計。例如，文獻[43]在研究厭惡情緒激活的腦區時，由于需要獲得受試者強烈的厭惡情緒感受，所以采用了組塊設計作為該情緒任務的實驗范式。而文獻[44]為了研究單個視覺、聽覺和視聽結合的情緒信號對大腦的影響，采用事件相關設計，針對每個刺激對情緒的影響進行查看、分析和比較。

3.2 情緒相關的fMRI公開數據集

為了促進情緒識別研究，科研工作者建立了基于情緒任務的fMRI公開數據集，為不同分類算法或模型提供了性能比較的平臺。我們對現有的可用的公開數據集做了簡要概括，包括PAMD(Postnatal Affective MRI Dataset)數據集[45]、LEMON(Leipzig Study for Mind-Body-Emotion Interactions)數據集[46]和WU-Minn HCP(WU-Minn Human Connectome Project)數據集[47]。其中，PAMD和LEMON數據集可以從openneuro1)openneuro官網網址：https://openneuro.org/官網上進行下載；WU-Minn HCP數據集可以從HCP2)HCP官網網址：http://www.humanconnectome.org/(Human Connectome Project)官網上進行下載。

PAMD數據集由Laurent構建，包括了來自25位母親在產后3個月的fMRI數據和心理數據。其中，fMRI數據在參與者觀看積極或消極情緒的嬰兒面孔時采集。因此，PAMD數據集可用于研究母親的產后抑郁和焦慮[45]。例如，文獻[48]將PAMD數據與情感精神病理學進行關聯，發現在產后抑郁和焦慮期間，母親對嬰兒情緒的偏見處理在很大程度上是由內化痛苦造成的。

文獻[49]采集了227名參與者靜息態fMRI數據、EEG數據和外周生理信號數據，構建了LEMON數據集。該數據集包含了兩個年齡段(年輕組和老年組)參與者。年輕組年齡在20～35歲，老年組在59～77歲。LEMON數據集是MPILMBB(MPILeipzig MindBrainBody)數據集的一部分。LEMON數據集適合將認知和情緒特征與大腦和身體的生理特征進行綜合關聯分析，而MPILMBB數據集旨在探索與大腦相關的各種認知、情感和生理表型中的個體差異性問題。文獻[50]使用LEMON數據集中的靜息態fMRI數據研究白質高信號(White Matter Hyperintensities, WMH)體積和總海馬體積(total Hippocampal Relative Volume, tHRV)之間的關系及其對大腦網絡的影響。該研究發現WMH的定位能夠影響健康受試者的大腦活動，并且證明了深部WMH的體積與tHRV呈負相關。

華盛頓大學、明尼蘇達大學和牛津大學所創建的WU-Minn HCP數據集，用以描繪人類大腦回路與健康成年人行為之間的關系。該數據集包含了1200名健康成年人的4種成像模態的MRI數據：結構MRI、彌散張量MRI、靜息態和任務態fMRI[47]。文獻[51]使用WU-Minn HCP數據集中所有參與者(843名)的靜息態和情緒處理任務(觀看恐懼和憤怒面孔)的fMRI數據，并對數據進行處理和分析。該研究發現大腦活動和功能連接存在廣泛變化，這表明所有內在連接網絡都參與了情感處理。

3.3 fMRI數據預處理

由于fMRI信號在采集過程中容易受到受試者頭部運動以及其他噪聲(機器噪聲和外周生理信號)的干擾，因此需要對采集到的fMRI信號進行預處理。fMRI信號的預處理主要包括時間層校正、頭動校正、配準、分割、標準化和空間平滑等。預處理第1步通常是時間層校正。時間層校正是將構成全腦圖像的不同時間點的腦切片處理為相同時間點的腦切片的一種技術。由于核磁掃描儀在一個時間點只能掃描一張或多張腦切片，而數據分析是基于全腦圖像在相同時間下采集的假設上進行的，所以需要進行時間層校正。預處理第2步一般是頭動校正。頭動校正是指選定一張參考圖像，將其余的圖像按照參考圖像進行評估和對齊。由于受試者在掃描過程中會有頭部運動，導致MRI圖像質量差，所以需要進行頭動校正。頭動校正以時間序列的第1張圖像或者時間序列的平均圖像作為參考圖像，使用傅里葉變換來確定其他圖像對比參考圖像的相對旋轉和平移參數，并根據這些參數對圖像進行頭動校正[52]。預處理的第3步是將圖像進行標準化。標準化通常使用結構像先進行配準。然后，將配準后的結構像放入一個標準空間中，用一個公共的坐標系去描述大腦的具體位置，并將配準到標準空間中的線性變換關系應用到功能像中。標準化的目的是降低個體差異性的影響，使得數據可以在不同的被試間進行合理比較。該缺點是降低了空間分辨率，并可能引入插值誤差[48]。預處理的最后一步是進行空間平滑。在統計分析前對采集到的數據進行空間平滑，其目的是提高信噪比，消除偽影[53]。

3.4 fMRI特征提取

特征提取是從情緒任務下的fMRI信號中提取出與情緒信息加工相關的代表性特征。在基于fMRI的情緒識別研究中，特征提取是非常重要的環節之一，可以為后續的情緒識別準確度提供保證。已有研究中用到的特征主要包括BOLD時間序列、反應情緒任務激活強度的β值和腦功能網絡。

(1) BOLD時間序列

在基于fMRI情緒識別研究中，可以將情緒誘發狀態下的BOLD時間序列作為腦功能活動的特征。提取BOLD時間序列方法包括基于全腦和基于ROI(Region of Interest)兩種方法。基于全腦提取BOLD時間序列方法是指提取全腦中每個體素的BOLD時間序列。基于ROI提取BOLD時間序列方法通常選擇一個合適的大腦結構分割模板，或依據先驗知識選擇特定的結構區ROI，然后提取所選取腦區內所有體素的平均BOLD信號[54,55]。例如，基于先驗知識，文獻[54]提取了24個ROI腦區的BOLD信號，作為分類器的輸入。文獻[55]的研究，同樣是將基于先驗知識的腦區BOLD信號作為情緒特征。基于fMRI情緒識別研究中一般采用基于ROI提取BOLD時間序列方法。因為基于全腦的體素數量多達5萬個，容易造成維度災難問題。

(2) 任務態激活強度β值

對于情緒任務態fMRI信號，可以先采用通用線性模型(General Linear Models, GLM)進行功能激活分析，然后將反映激活強度的β值作為特征。GLM模型是一種基于先驗的單變量方法，并假設每個體素之間是相互獨立的。文獻[56]對GLM的定義為

其中，矩陣Y是包含全腦體素的BOLD信號的數據。矩陣X稱為設計矩陣，包含與實驗條件相關的解釋變量。β是參數矩陣，包含每個體素在該模型下的估計參數。e是一個正態分布誤差項的矩陣。GLM的目標是找到最優的一組β值。使用最小二乘估計得到其最優解為

其中，β?是所求得的最優參數矩陣，是每個體素在先驗知識的條件下得到的估計參數。XT是X轉置矩陣。通過GLM得到的β值可以作為情緒特征，輸入到分類模型中。例如，文獻[57]使用GLM方法得到全腦體素的β值作為情緒特征，并基于喚醒度、效價和掌控度3種情緒維度進行情緒回歸，分別獲得52%,51%和51%的情緒識別準確率。文獻[58]同樣基于GLM方法得到先驗ROI的β值作為情緒特征，對憤怒、悲傷、中性、遺憾和愉悅5種情緒進行分類，獲得5種情緒的分類準確識別度為31.8%。

(3) 腦功能網絡

大腦是一個有機統一的整體，不同腦區之間相互協調和相互配合構成了腦功能網絡。腦功能網絡分析通常用于靜息態fMRI。靜息態下的腦功能網絡反映了大腦固有的、自發的神經活動時的腦功能活動模式。腦功能網絡主要包括功能連接和有效連接兩種描述。在基于fMRI的情緒識別領域中，功能連接是最常用的腦功能網絡描述。

功能連接是指空間上分離的神經單元，其神經活動在時間上的關聯性或統計依賴關系。主要的度量方法分為線性和非線性[59]。線性方法包括皮爾遜相關和偏相關，非線性方法包括極大信息系數等。其中，皮爾遜相關系數是用來度量兩個腦區之間線性關聯的最常見的方法。計算皮爾遜相關系數的公式為

x,y表示兩組腦區數據。n表示數據量。xˉ表示樣本數據x的平均值。yˉ表示樣本數據y的平均值。rxy表示兩兩變量之間的相關性，計算結果介于-1和1之間。結果為正值，表示變量之間呈正相關。越趨近于1，正相關性越強。反之，呈負相關。越趨近于-1，負相關性越強。

偏相關系數是排除其他腦區信號的影響后，計算目標腦區之間關聯性的一種算法。與皮爾遜相關系數相比，能更準確地分析到所有變量之間的相關程度。偏相關系數的計算公式為

目前情緒識別領域中應用最為廣泛的相關系數是皮爾遜相關系數，在此基礎上可以得到基于功能連接的腦功能網絡特征。例如，文獻[60]采用小波變換的功能連接作為情緒特征，來探究積極和消極情緒對后續靜息狀態的影響。文獻[61]采集受試者靜息態下的fMRI數據，將杏仁核細分下的ROI之間的功能連接作為情緒特征。

有效連接是另一種腦功能網絡的描述方法。它描述了一個神經系統施加在另一個神經系統上的因果效應。與功能連接不同，有效連接強調腦區之間的相互影響和相互作用的強度與方向性[62]，需要模型支持。有效連接的主要計算方法包括結構方程模型(Structural Equation Modeling, SEM)、格蘭杰因果模型(Granger CausalityModeling,GEM)和動態因果模型(Dynamic Causal Modeling, DCM)等。SEM是一種依賴線性統計的建模分析方法。該方法通過計算協方差相關矩陣表示變量之間的關系[63]。GEM最初是分析兩個腦區的因果關系的一種方法，后來發展為同時分析多個腦區之間的因果關系[64]。相比于SEM，GEM的優點在于把時間對實驗結果的影響考慮在內，并且不需要先驗知識。DCM結合SEM和GEM模型，即將神經動力學模型和血液動力學模型相結合，構建一個動態的、非線性的模型，能更加真實地模擬大腦功能機制原理[65]。DCM是目前研究腦功能有效連接最常用的方法，已應用在探索腦功能網絡研究中[66-68]。DCM同樣廣泛應用于fMRI情緒識別領域。例如，文獻[69]使用杏仁核-眶額葉皮層的DCM作為情緒特征，達到識別社交障礙患者和健康人的目的。文獻[70]使用右外側前額葉皮層、杏仁核和Broca腦區的DCM作為情緒特征，用以識別中性和負性情緒標簽。

4 機器學習方法的情感智能模型

目前，機器學習不僅廣泛應用于自然語言理解和機器視覺等領域中，而且在基于fMRI情緒識別領域中同樣得到廣泛應用。在情緒識別中，通常將不同情緒狀態下的腦功能活動信號作為特征，刺激類型或受試者對刺激的評分作為標簽，大腦對情緒刺激的反應是分類的對象[71]。研究者通常使用機器學習算法訓練模型來完成情緒識別任務，因為機器學習算法能夠有效地學習到不同情緒狀態與fMRI特征之間的關系。目前常用的fMRI情緒識別模型包括傳統機器學習模型和深度學習模型。常見的傳統機器學習模型包括支持向量機、高斯樸素貝葉斯、K均值和高斯混合模型；常見的深度學習模型包括線性神經網絡、深度神經網絡和卷積神經網絡。不同分類器具有不同的優勢和局限性(如表1所示)。下面將介紹每種機器學習方法的原理和在fMRI情緒識別中的應用。

表1 不同分類模型的優劣勢

4.1 傳統機器學習模型

傳統機器學習模型首先對樣本數據的特征進行選擇，然后將選擇后的特征運用到分類器上，最終得到輸出結果。

(1) 支持向量機(Support Vector Machine, SVM)

SVM是傳統機器學習模型中最常見的一種模型，也是目前情緒識別領域中使用最為廣泛的一種模型。SVM的核心思想是通過尋找最能將向量空間劃分為不同類別(即決策邊界)的超平面，即“最大間隔”超平面達到分類目的[72]。通過控制核函數可以實現決策邊界的線性或非線性。非線性核函數相對線性核函數復雜程度較高，往往可以更好地擬合不同類別的決策邊界。常見的核函數包括線性核、多項式核和徑向基核函數等。SVM具有較強的魯棒性和泛化能力，對小樣本高維度訓練集的分類性能表現良好[73]。文獻[54]使用在線SVM，對12名受試者的兩種情緒狀態(快樂和厭惡)和4名受試者的3種情緒狀態(快樂、厭惡和悲傷)進行識別。該實驗結果顯示SVM在二分類中的平均準確率為65%，在多分類中的平均準確率為60%。文獻[74]采集了38名受試者觀看恐懼和中性面孔圖片時的fMRI數據，并使用腦功能連接和SVM作為情緒特征和情緒識別分類器。該結果顯示SVM模型的分類準確率高達90%。文獻[75]采集了20名受試者在5種情緒(憤怒、快樂、悲傷、驚奇和中性)聲音刺激下的fMRI數據，使用先驗ROI下的BOLD信號和線性SVM作為情緒特征和分類器。該結果顯示SVM對不同ROI的解碼精度范圍為25.3%～28.5%。

(2) 高斯樸素貝葉斯(Gaussian Naive Bayes, GNB)

GNB是一種基于貝葉斯定理與特征條件獨立假設的分類方法[76]。與SVM不同，GNB無須訓練過程。GNB在給定觀測條件X下，假設樣本Xj是條件獨立的，通過評估情緒狀態Ci的概率P(Ci|X)，來實現情緒分類功能。GNB對小規模的數據表現良好，能處理多分類任務和高維數據分析[77]。fMRI數據通常都是高維數據，因此GNB在基于fMRI情緒識別領域得到了廣泛應用。例如，文獻[28]使用GNB對9種情緒狀態(憤怒、厭惡、嫉妒、恐懼、快樂、性欲、驕傲、悲傷和羞愧)進行分類。實驗結果顯示GNB對每種情緒狀態的識別準確率都高于75%。文獻[78]使用GNB分類器對5種情緒狀態(厭惡、憤怒、恐懼、悲傷和快樂)進行分類。結果顯示GNB的平均分類準確率為66%(浮動范圍43%～86%)。

(3) K均值(K-means)

與SVM和GNB模型不同，K-means算法屬于聚類算法。聚類算法是按照某個特定的標準把一個數據集分割成不同的類或簇，使得同一個簇內的數據相似性盡可能大，同時不同簇間的數據差異性盡可能大。K-means的主要思想是將樣本劃分為K個簇，使得距離相近的樣本盡可能被分到同一個簇中，同時不同簇之間的距離盡可能大[79]。K-means算法的優點是簡單和通俗易懂；缺點是需要事先確定K的值，并且計算量大。K-means聚類在fMRI情緒識別領域中得到廣泛應用。例如，文獻[80]采集了5名受試者在觀看2181個情緒視頻(34個情緒類別和14個情緒維度標簽)時的fMRI數據，并使用Kmeans模型進行情緒聚類。結果顯示聚類出27個簇，該結果與文獻[81]使用相同的視頻所引發的情緒體驗的結果一致。這些結果表明由情感視頻引起的大腦活動模式具有類簇分布，并且存在重疊分布現象。

(4) 高斯混合模型(Gaussian Mixture Model,GMM)

與K-means聚類方法不同，GMM是基于分布而不是基于距離的一種聚類方法。GMM采用了高斯分布作為參數模型，并使用最大期望算法進行參數學習[82]。與傳統的聚類方法相比，GMM可以獲得更優秀的聚類表現。GMM也廣泛應用于基于fMRI的情緒識別中。例如，文獻[83]采集了16名受試者在聽到恐懼、悲傷和幸福聽覺刺激下的fMRI數據。文獻[84]使用文獻[83]采集的數據，將BOLD信號作為特征輸入到GMM中，獲得40%的分類準確率。

4.2 深度學習模型

如今，越來越多的深度學習模型被用于分類應用。隨著樣本數據的增加，深度學習模型往往可以獲得優于傳統機器學習模型的性能。

(1) 線性神經網絡(Linear Neural Network, LNN)

神經網絡是具有輸入層、輸出層和多個隱藏層的網絡。神經網絡的基礎模型是感知機，因此神經網絡也稱為多層感知機。通常，具有1～2個隱藏層的神經網絡稱為淺層神經網絡，具有超過5個隱藏層的神經網絡稱為深度學習模型。相較于傳統機器學習模型，深度學習模型更適用于大樣本數據。LNN是深度學習模型中的一種，是由多個線性神經元組成的神經網絡。每個神經元的傳遞函數都是線性函數[85]。LNN以fMRI特征作為輸入，通過LNN分類器得到不同情緒的分類結果。文獻[55]采集了21名受試者在觀看5種情緒電影(厭惡、恐懼、幸福、悲傷和中立)和觀看6種情緒(憤怒、恐懼、幸福、悲傷、驚喜和厭惡)單詞圖片時的fMRI數據，并使用LNN作為情緒分類器。結果顯示，LNN對5種情緒狀態的平均情緒分類準確率為47%，對6種情緒狀態的平均情緒分類準確率為55%。

(2) 深度神經網絡(Deep Neural Networks, DNN)

與LNN不同，DNN是一種非線性分類方法。它是由輸入層、多個隱藏層和輸出層構成的人工神經網絡。DNN已在計算機視覺、語音處理和fMRI等多個應用領域中展示了較好的性能[86-89]。DNN在基于fMRI的情緒識別分類中也得到較為廣泛的應用。文獻[57]對3種情緒維度(效價、喚醒度和掌控度)進行情緒識別，將全腦β值作為SVM和DNN的輸入，受試者在情緒刺激下的情緒評分作為輸出，最后使用皮爾遜相關系數評估SVM和DNN分類器的性能。實驗結果顯示，DNN對3種情緒維度識別的錯誤率(喚醒度31.2%±1.3%、掌控度29.0%±1.7%和效價28.6%±3.0%)顯著低于SVM的錯誤率(喚醒度44.7%±2.0%、掌控度50.7%±1.7%和效價分別為47.4%±1.9%)。

(3) 卷積神經網絡(Convolutional Neural Networks, CNN)

CNN是DNN的一種類型，是由輸入層、卷積層、池化層、全連接層和輸出層構成的人工神經網絡[90]。C N N 比較著名的網絡有L e N e t[91],AlexNet[92], ZFNet[93], VGGNet[94]和ResNets[95]。近年來，隨著CNN網絡的不斷發展，其在基于fMRI的情緒識別領域得到廣泛應用。例如，文獻[96]采集了抑郁癥患者和正常受試者在聽正性音樂和負性音樂的fMRI數據，然后使用SVM、邏輯回歸、K近鄰、DNN和CNN進行分類比較。結果顯示，聽正性音樂比聽負性音樂的分類準確度高，并且CNN在5種分類器中表現最佳(正性音樂分類準確率93.61%，負性音樂分類準確率89.36%)。

4.3 分類模型總結

在上述提到的模型中，SVM模型由于在fMRI數據中的良好的分類性能，在基于fMRI情緒識別研究中應用最為廣泛。例如，文獻[97]使用SVM和內核規范相關分析(Kernel Canonical Correlation Analysis, KCCA)來區分積極和消極的fMRI數據。該結果顯示，SVM分類性能(91%)優于KCCA的分類性能(87%)。文獻[98]使用SVM模型來區分憤怒和中性兩種情緒狀態，SVM模型展現了69%～92.3%的分類準確性能。

我們將上述提到的文獻中使用的分類模型和基于分類模型得到的結果進行匯總(如表2和表3所示)。表2顯示了文獻中提出的實驗設計，使用的情緒誘發方法，提取的fMRI特征，采用的分類模型以及不同情緒的識別準確率。可以看出，在基于fMRI情緒識別領域中，傳統機器學習模型SVM是最為常用的分類方法。原因在于SVM具有較好的魯棒性，能夠較好地識別不同的情緒狀態。表3顯示了基于這些分類模型得到的與情緒相關的腦區和對這些腦區的討論與解釋。結果顯示，參與情緒的腦區主要分布于內側前額葉皮質(Medial Prefrontal Cortex, MPFC)、前扣帶皮層(Anterior Cingulate Cortex, ACC)、額下回(Inferior Frontal Gyrus,IFG)、后扣帶皮層(Posterior Cingulate Cortex,PCC)、丘腦、腦島和杏仁核等腦區。值得注意的是，多個文獻中提出杏仁核有助于情緒的加工處理。

5 總結與展望

雖然近年來有很多基于fMRI的情緒識別研究，但大多數研究都處于實驗室階段，距離臨床應用還有很長的路要走。從實驗室階段走到臨床應用階段，主要有下列問題需要解決。

(1) 情緒誘發的有效性。由于現有的情緒識別研究中呈現的刺激時間普遍很短，通常在幾秒到十幾秒的范圍。而情緒的誘發往往需要較長時間，尤其是悲傷情緒狀態的誘發，需要更長時間。短時間的刺激使得受試者的情緒并沒有被有效激活，導致后續分析或分類的效果不佳。例如，許多情緒識別研究對悲傷情緒的分類準確率較低，可能原因是悲傷情緒沒有被有效誘發[53,71]。針對無法有效激活情緒問題，可以盡量選取故事性完整、刺激效果好的情緒刺激材料，并延長刺激呈現時間。

表2 基于fMRI情緒識別的情緒模型及其識別準確率(%)

表3 基于fMRI情緒識別研究中的情緒相關腦區及其解釋

(2) 個體差異。目前大多數情緒識別研究都基本處在實驗室階段，通過刺激材料引發受試者的情緒狀態。然而，不同受試者對同一刺激材料的情緒主觀感受與腦功能活動之間的關系存在個體差異，這是目前基于fMRI的情緒識別亟需解決的一個非常具有挑戰性的問題，可能的解決方法是采用靜息態fMRI，通過計算大腦功能網絡區別患者與健康人。近些年來，靜息態fMRI已經成為fMRI個體差異研究的“主力軍”，可能原因是靜息態fMRI不需要情緒刺激材料誘發受試者情緒，避免了不同受試者的情緒主觀感受差異。

(3) 情緒標簽的主觀性。不同受試者對同一刺激材料的主觀感受不同，導致受試者對于同一情緒刺激材料的情緒標簽不一致。例如，對于同一段悲傷標簽的視頻，一些受試者將該視頻標簽為悲傷情緒，而另一些受試者則可能將該視頻標簽為中性情緒。針對情緒標簽的主觀性問題，可能的解決方法是讓多名觀眾觀看情緒刺激材料后進行情緒評分，選取評分一致性高的刺激材料，并將多名觀眾的情緒評分取平均作為該刺激材料的情緒標簽。已有研究使用這種方法來克服情緒標簽的主觀性問題。例如，文獻[99]讓資深專家和另外兩名成年男性對每張圖片刺激評分(正性、負性和中性)，并采用該評分標簽作為每張圖片的情緒標簽。

情緒識別研究有著十分重要的理論意義和現實意義，在臨床領域有著廣泛的應用前景，尤其對抑郁癥和雙向情感障礙患者有著非常重要的作用。在臨床實際應用中，醫生可以通過神經反饋訓練，實現調控抑郁癥患者和雙向情感障礙患者情緒的目的。或通過分析離線狀態下患者與健康人的fMRI數據，實現精神疾病早篩的目標。例如，文獻[100]采集了重度抑郁癥(Major Depressive Disorder,MDD)患者在休息狀態、回憶快樂狀態和計數狀態下的fMRI數據，進行離線分析和在線分析。該結果表明，fMRI神經反饋訓練顯著降低了抑郁癥患者的抑郁癥狀。文獻[8]采集了55名精神分裂癥患者、54名雙向情感障礙患者和50名健康參與者的靜息態fMRI數據與情緒感知測試數據。結果分析顯示，精神分裂癥患者比雙向情感障礙患者具有更低的情緒感知，而情緒感知能力的中斷可能與額-顳-枕腦回路的功能連接中斷有關。另外，相較于健康被試，雙向情感障礙患者和精神分裂癥患者的情緒感知都呈現明顯下降，并且精神分裂癥患者下降得更為顯著。同時，研究還發現精神分裂癥患者較少使用額葉皮層，雙向情感障礙患者則使用頂葉作為面部情緒識別代償。隨著近年來fMRI技術和機器學習分析算法的快速發展，基于fMRI的情緒識別研究已經成為一個重要的研究課題，受到越來越多的研究者的關注。在已有心理學和認知科學研究成果的基礎上，不斷開發和優化情緒識別方法、找出與情緒最相關的腦區、找到情緒的共同模式和實現更精確識別情緒障礙患者，都是將基于fMRI的情緒識別技術真正用于臨床實際中的下一步工作。