基于腦電的多媒體情緒誘發對智力發揮影響研究

韓宇陽，徐雪遠，李子遇，葉龍，張勤，鄔霞

（1.北京師范大學人工智能學院，北京 100875；2.中國傳媒大學媒介音視頻教育部重點實驗室，北京 100024）

1 引言

多媒體是多種媒體的綜合，包括圖像、聲音和視頻等，研究表明，多媒體內容對情緒有很大影響[1,2]，情緒進而又會影響各種認知功能，諸如對注意力[3]，記憶[4]以及決策[5]等。，因此研究多媒體情緒誘發對認知功能的影響對商業傳媒、教育教學等領域有重要的意義。

智力被認為與一系列認知任務的表現有關[6]，智力發揮就是在這些認知任務中智力的表現情況。近年來，越來越多的研究開始關注情緒對認知活動，特別是智力發揮這種綜合認知活動的具體影響，例如對認知活動中決策的正確率或者決策速度的影響。許多研究表明，積極情緒會加快信息處理的速度，例如Kalanthroff等人[7]提出情緒會控制認知過程，影響人的注意力，與中性情緒相比，負性情緒會加長反應時間。相反，有理論認為，積極情緒和消極情緒都會對大腦處理信息產生負荷，降低信息處理能力[8,9]。也有一些學者，例如Forgas認為，積極情緒和消極情緒會調用不同的信息處理策略，在某些問題上，消極情緒反而有更好的效果[10]。本文將在此方面進行詳細探討。

在情緒與智力發揮的研究中，對情緒狀態的衡量是十分關鍵的。這種衡量分為兩方面，一方面是對情緒狀態的量化，主要包括非生理信號和生理信號，在以往的研究中，往往采樣非生理信號的方式來衡量情緒，例如通過被試的量表打分作為情緒狀態量化依據的情緒反應尺度量表[11]，運用機器學習方法對人臉面部進行情緒識別[12]，或通過語音來識別情緒[13]，這些非生理信號的有效性得到了驗證。近年來，通過生理信號來衡量情緒狀態受到越來越多的關注，生理信號相比于非生理信號，具有更好的準確性，在衡量情緒等生理狀態時效果更好。生理信號包括心電圖（Electrocardiogram,ECG）、皮膚溫度（Skin Temperature,ST）、腦電圖（Electroencephalogram,EEG）等，ECG、ST等基于自主神經系統的識別方法的優點是不易偽裝，但缺點是精度低，缺乏統一的評判標準，而基于腦電信號的識別方法不僅不易偽裝，而且精度更高[14]。目前有許多基于EEG的情緒研究，包括在情緒分類[15]、特征提取[16]等領域。情緒狀態衡量的另一方面是對情緒狀態的實時監測。在以往的研究中，情緒誘發和智力發揮會分開進行，并默認智力發揮階段的情緒即誘發的情緒，例如在Forgas[10]的研究中就通過先閱讀能誘發不同情緒的文章，再對文章內容進行回憶的方式衡量情緒對記憶的影響。但這種方式往往無法得到回憶過程中的真實情緒。因此，通過腦電實時監測情緒誘發和智力發揮兩個階段的情緒狀態，能夠更加準確地描述智力發揮過程中的真實情緒，進而探究情緒對智力發揮的影響。

本文致力于探究情緒對智力發揮的影響，通過多媒體材料，主要是視頻材料，來誘發不同情緒，并通過數學算式計算衡量智力的發揮，來探究不同情緒對智力發揮的影響。本文的創新點在于：

（1）.通過腦電實時測量情緒誘發與智力發揮過程中的信號。

（2）.創新性提出基于機器學習的識別智力發揮過程中情緒狀態方法。

2 方法

本文運用多媒體視頻材料誘發情緒，探究情緒與智力發揮的關系。首先挑選了24 條不同情緒類型視頻材料，通過被試評分實驗并分析評分結果，選擇了積極情緒、中性情緒和消極情緒三種情緒類型下誘發效果最佳的各5 條視頻材料，構建了情緒誘發視頻數據集，本文將構建好的情緒誘發材料用于情緒與智力發揮腦電實驗中，對被試的情緒誘發和智力發揮兩個階段進行了實時腦電監測，并對得到的腦電數據進行了預處理和特征提取，最后，本文運用機器學習方法，以情緒誘發階段的腦電數據與視頻情緒標簽作為真值訓練分類器，并用此分類器對智力發揮過程中的真實情緒狀態進行識別，以此情緒狀態識別結果，進一步探究情緒對智力發揮的影響。本文的研究方法流程見圖1。

圖1 研究方法流程

2.1 情緒誘發視頻數據集構建

情緒誘發的主要方式是通過多媒體進行誘發，相對于圖片和音頻，視頻具有更多的感官刺激和更好的情緒渲染能力，基于此，本文構建了一套新的情緒誘發視頻數據集，用作后期的情緒多媒體材料。

（1）情緒誘發視頻材料評分實驗

a) 被試信息

此次數據集構建共采集被試15 名（9 女6 男），均為高校在校學生，年齡范圍為19-27 歲，平均年齡22.13歲，右利手，無特殊疾病，符合實驗條件。

b) 評分實驗過程

實驗前，每名被試需要在自己的電腦上安裝播放實驗范式的軟件，待主試講解完注意事項后，帶好耳機并調整到合適音量。

在實驗過程中，每位被試被要求在自己的電腦上完成實驗范式，整個實驗過程包括24段不同內容的情緒材料，被試在觀看完每段視頻后，需要根據自己的感受填寫情緒狀態、喚醒度、愉悅度、支配度及PANAS 情緒自評量表。平均每段視頻1.5-4 分鐘，分為積極、中性、消極三類情緒，每類情緒包含8段視頻，具體的實驗流程見圖3。

圖3 情緒誘發視頻數據集評估實驗范式

（2）評分分析與視頻材料選擇

情緒視頻的選擇標準為能夠較好地誘發出視頻類型所對應的情緒。因此我們首先分析了被試在觀看完視頻片段的情緒狀態評分、喚醒度、愉悅度和支配度，并計算了內部一致性。結果表明，在喚醒度、愉悅度和支配度上內部一致性信度系數分別為0.969、0.841 和0.709，一致性較高，評分可信度高。我們同時對愉悅度、喚醒度做方差分析，以判斷不同情緒的評分結果是否存在顯著差異。愉悅度評分結果見圖2，P值均遠小于0.01，說明不同情緒視頻下被試的愉悅度評分存在顯著性差異，并且隨著情緒類型由積極情緒到消極情緒，愉悅度評分也顯著下降，說明三種類型的視頻均可以誘發出相應的情緒狀態。

圖2 愉悅度評分箱式圖

為選擇出誘發效果最佳的視頻材料，我們對所有評分進行了主成分分析，找到具有主要影響的評分因素，并以此作為依據，對視頻材料進行選擇。結果如表1，根據成分因子的重要程度，最終選取了每種情緒類型5段視頻，構建情緒誘發視頻數據集。

表1主成分分析后的因子及載荷

2.2 情緒與智力發揮腦電實驗

在以往的研究中，通常對任務階段的情緒狀態實時監測并不關注，而是將情緒誘發階段誘發的情緒默認為任務階段的情緒狀態。本文通過腦電信號來實時監測情緒誘發和智力發揮階段的情緒狀態，來對智力發揮過程中真實的情緒狀態進行記錄，從而為后續情緒對智力發揮影響的探討提供依據。

（1）被試信息

此次腦電實驗共采集被試38 名（21 女17 男），均為高校在校學生，年齡范圍為19-25 歲，平均年齡20.63歲，右利手，無特殊疾病，符合實驗條件。

（2）腦電實驗過程

實驗過程在腦電實驗室進行，本次腦電采集設備為美國EGI 系統。實驗前被試需佩戴128 導電極帽，并聽從主試講解實驗流程和注意事項。

實驗過程中，被試需觀看共15段情緒視頻，在每段情緒視頻觀看結束后，需完成隨機7個難度等級的數學計算題共70道，被試需在每道加法計算題出現的2秒內心算出正確答案，并在2秒結果顯示階段判斷該顯示結果是否為正確答案。每5段視頻結束后會進行約5分鐘休息，全程記錄腦電數據，實驗范式見圖4。

圖4 情緒與智力發揮腦電實驗范式

（3）腦電數據預處理

腦電數據的預處理包括人工去除偽跡，濾波，降采樣及獨立成分分析。

人工去除偽跡過程，主要是去除由于實驗中補充腦電液產生的干擾信號以及明顯的肌電、眼電信號。濾波過程我們保留了0.1-50Hz 腦電數據，并過濾掉50Hz 工頻干擾。降采樣過程主要是通過降低采樣頻率，減小計算量，我們將采樣頻率從500Hz 降至200Hz。獨立成分分析過程是通過線性分解將腦電數據分解成獨立源成分后剔除偽跡相關的源成分。

我們將預處理的腦電數據進行分段，將38名被試在觀看視頻影片部分的腦電數據進行截取，每名被試觀看15 個片段，共570 段腦電數據作為情緒腦電數據，將37 名被試（其中一名被試的智力發揮階段腦電數據標簽有誤）在觀看完每個視頻進行的14道數學計算判斷題階段的腦電數據共7770 段作為智力發揮腦電數據。在進一步剔除存在異常的腦電數據段后，最終得到情緒腦電數據570 段和智力發揮腦電數據7524段，用于后續的分析與處理。

（4）腦電特征提取

情緒相關的腦電特征主要分為時域特征、頻域特征和空間域特征。時域特征主要包括峰峰值、方差、Hjorth參數特征等，頻域特征包括δ(1-4Hz)、θ(4-8Hz)、α(8-12Hz)、β(13-30Hz)、γ(31-45Hz)五個頻段的功率等。空間域特征則是將上述特征按照空間進行再次劃分和處理得到的帶有空間信息的特征。

在本文中共對570 段情緒腦電數據和7524 段智力發揮腦電數據提取了21 種特征，并合并為3380 維的特征向量，特征種類見表2。

表2 情緒與智力發揮腦電特征提取種類

2.3 機器學習情緒識別方法

腦電實時記錄的智力發揮階段情緒狀態可以通過對特征的判斷進行識別。本文運用機器學習方法，構建基于腦電特征的情緒分類器，對智力發揮階段的情緒狀態進行識別。

（1）分類方法的選擇與分類器構建

在此之前，我們已經通過實驗挑選出可以誘發出目標情緒的情緒視頻，因此可以說明觀看視頻階段被試的真實情緒是已知真值，與視頻本身的情緒誘發類型相同。我們以此訓練情緒腦電特征分類器，并對智力發揮過程的情緒進行識別，即可得出智力發揮階段的真實情緒，從而探究情緒與智力發揮的關系。

分類器性能的好壞直接決定了智力發揮過程中真實情緒的識別是否準確。我們測試了9種常見的機器學習分類算法，將情緒視頻觀看階段的腦電特征輸入進行訓練，結果見圖5。結果表明，隨機森林算法、決策樹算法和Gradient Boosting算法在分類準確率和泛化能力上表現較好，綜合計算效率，我們采用隨機森林算法。

圖5 9種常見機器學習算法的情緒分類測試效果圖

（2）分類器參數調節

我們進一步對隨機森林分類器進行了調參，通過調節決策樹數量、決策樹最大特征數目和最大深度，來優化分類器性能。我們分別測試了不同參數的分類效果，并進行10 折交叉驗證，結果表明決策樹數目53，最大深度7，最大特征數目43 可達到較優分類性能，分類準確率在77%到86%之間。

（3）智力發揮階段情緒識別

為了減少實驗誤差，我們將得到的情緒分類器對7524 段智力發揮腦電數據進行了100 次情緒狀態識別，每次識別均重新訓練分類器，并將智力發揮腦電數據放入分類器中進行分類，得到100 組智力發揮階段情緒狀態，并根據識別結果對智力發揮過程中不同情緒下答題正確率和反應時進行了統計。

3 結果

3.1 不同情緒對答題正確率的影響

答題正確率反映了被試的數學計算能力，可以直接體現被試的智力發揮水平。圖6(a)的結果表明，100組識別結果中，積極情緒下答題正確率普遍高于中性情緒和消極情緒，消極情緒下答題正確率普遍低于積極情緒和中性情緒。為了進一步探究三種情緒狀態下的答題正確率是否存在顯著性差異，我們進行了差異性檢驗，檢驗結果見圖7(a)，答題正確率在三種情緒狀態中均存在顯著性差異。

圖6 不同情緒狀態下答題正確率與答題反應時嶺圖

圖7 不同情緒狀態下答題正確率與答題反應時箱式圖

實驗結果說明，相對于中性情緒誘發的正常情緒狀態，積極情緒對智力發揮存在積極影響，而消極情緒對智力發揮存在消極影響，這一結果與之前一些學者的研究中積極情緒有利于信息處理的論點是一致的。

3.2 不同情緒對答題反應時的影響

答題反應時體現了被試的注意力和反應能力，也可以在一定程度上反應被試的智力發揮水平。從圖6(b)中發現，積極情緒下智力發揮過程反應時平均最長，中性情緒次之，而消極情緒下智力發揮反應時具有波動性，在某些組別中反應時很長，但大部分組別中，答題反應時最短。我們同樣對三種情緒狀態下的答題反應時進行了差異性分析，結果表明P值遠小于0.01，均存在顯著差異，結果見圖7(b)。

結果說明，積極情緒會影響智力發揮過程中的注意力和反應能力，導致反應能力下降，而消極情緒下反應能力有所上升，與之前答題正確率的結果相對比，我們發現情緒對處理決策的準確率和反應時上的影響并不是一致的。因此，我們希望通過對任務更加細致的劃分，來進一步探究情緒對智力發揮的影響。

3.3 不同情緒對不同難度題目答題正確率的影響

在簡單探究了不同情緒對智力發揮過程中答題正確率和反應時的影響后，我們進一步探究，情緒對智力在不同難度題目的發揮中是否存在影響。我們將題目難度分為3種，即低難度，中等難度和高難度，分別計算了不同情緒誘發下不同題目難度的答題正確率，題目難度分類標準見表3。

表3 數學計算題目難度劃分標準表

圖8即顯示了不同難度題目下情緒狀態對答題正確率的影響，可以看出，不同難度下，情緒對智力發揮的影響也是不同的，且存在顯著性差異。在低難度下，中性情緒對智力發揮的效果最佳，在中等難度題目中，積極情緒下智力發揮更好，而在高難度問題中，積極情緒和消極情緒對智力發揮均有較好影響。

圖8 不同難度題目下情緒狀態對答題正確的影響

相同情緒狀態下，不同的難度等級對智力發揮的影響也不盡相同。在積極情緒和中性情緒下，答題正確率與難度基本呈負相關。而消極情緒在處理高難度問題時的答題正確率又較中等難度有所回升，說明消極情緒在高難度問題中可能會使智力發揮有更好的表現，結果見圖9。

圖9 不同情緒狀態下題目難度對答題正確率的影響

3.4 不同情緒對不同難度題目答題反應時的影響

在不同情緒狀態對不同難度題目的答題反應時影響中，我們發現，低難度問題下，積極情緒表現最差，中性情緒與消極情緒表現更好，中等難度問題中積極情緒和消極情緒表現更佳，二者并無顯著性差異，而在解決高難度問題時，消極情緒表現最優，結果見圖10。

以難度為因素進行分析，積極情緒狀態下，中等難度題目反應時最短，中性情緒與消極情緒狀態下，低難度題目反應時最短，結果見圖11。

圖10不同題目難度下情緒狀態對答題反應時的影響

圖11 不同情緒狀態下題目難度對答題反應時的影響

實驗結果表明，情緒對不同難度題目下的智力發揮存在一定的影響。綜合答題正確率和反應時來看，積極情緒下解決中高等難度問題更加有利，而消極情緒下，在解決高難度問題時更加有利。

我們通過機器學習方法得到智力發揮階段情緒狀態，并對答題正確率和反應時進行了統計，結果表明，積極情緒在總體上對答題正確率有積極影響，并且在具體的中等難度和高等難度題目中也相比于中性情緒有積極影響。而消極情緒在總體上抑制了答題正確率的表現，但在高難度問題上也要優于中性情緒。

在反應時上，我們發現了與上述相反的結論，積極情緒在總體上不僅沒有促進，反而抑制了反應速度，具體表現在主要抑制了低難度問題的反應速度。而消極情緒在總體上，促進了答題的反應速度，尤其是在面對高難度問題時效果更為顯著。

這一結果暗示積極情緒和消極情緒在解決問題時，可能會針對不同的問題調用不同的影響策略，從而導致，在不同難度問題上，情緒對智力發揮的影響也不同，這與引言中Forgas的理論一致。

但正如文中所提，本實驗僅采集了38名被試數據，在數據量和特征數量上較少，實驗結論的普遍性有待進一步驗證。另一方面，我們提出的機器學習情緒識別方法中，智力發揮階段的情緒識別結果直接決定了結論的正確性，這就對該方法的情緒識別準確率和可解釋性提出了考驗，因此未來還需進一步改進情緒識別方法的準確性和可解釋性。

4 結論

本文通過構建情緒誘發視頻數據集，設計情緒與智力發揮腦電實驗來探究不同多媒體視頻誘發的情緒對智力表達的影響，并創新性提出了基于機器學習的智力發揮階段情緒識別方法。結果表明，積極情緒相對于中性情緒和消極情緒更有利于智力發揮過程中答題準確率的提升，但同時會使反應能力有所下降。從題目難度來看，積極情緒誘發下更有利于解決中高等難度題目，而消極情緒誘發下對高難度問題的解決更為有利。

研究結果不僅有利于進一步探討多媒體誘發的情緒與智力發揮的關系，也在移動傳媒、教育教學領域有應用價值，例如通過多媒體進行教育教學的過程中，可以利用這些規律來對教學材料、教學過程進行更加科學的設計和規劃。未來，我們將繼續對情緒與智力發揮的關系進行更深入的探討。