基于生理大數據的情緒識別研究進展

趙國朕　宋金晶　葛　燕　劉永進　姚　林　文　濤

1(中國科學院心理研究所行為科學院重點實驗室　北京　100101)

2(清華信息科學與技術國家實驗室(籌)　北京　100084)

3　　　(中國移動研究院　北京　100055)

(liuyongjin@tsinghua.edu.cn)

?

基于生理大數據的情緒識別研究進展

趙國朕1宋金晶1葛燕1劉永進2姚林3文濤3

1(中國科學院心理研究所行為科學院重點實驗室北京100101)

2(清華信息科學與技術國家實驗室(籌)北京100084)

3(中國移動研究院北京100055)

(liuyongjin@tsinghua.edu.cn)

Advances in Emotion Recognition Based on Physiological Big Data

Zhao Guozhen1, Song Jinjing1, Ge Yan1, Liu Yongjin2, Yao Lin3, and Wen Tao3

1(KeyLaboratoryofBehavioralScience,InstituteofPsychology,ChineseAcademyofSciences,Beijing100101)2(TsinghuaNationalLaboratoryforInformationScienceandTechnology,Beijing100084)3(ChinaMobileResearchInstitute,Beijing100055)

AbstractAffective computing (AC) is a new field of emotion research along with the development of computing technology and human-machine interaction technology. Emotion recognition is a crucial part of the AC research framework. Emotion recognition based on physiological signals provides richer information without deception than other techniques such as facial expression, tone of voice, and gestures. Many studies of emotion recognition have been conducted, but the classification accuracy is diverse due to variability in stimuli, emotion categories, devices, feature extraction and machine learning algorithms. This paper reviews all works that cited DEAP dataset (a public available dataset which uses music video to induce emotion and record EEG and peripheral physiological signals) and introduces detailed methods and algorithms on feature extraction, normalization, dimension reduction, emotion classification, and cross validation. Eventually, this work presents the application of AC on game development, multimedia production, interactive experience, and social network as well as the current limitations and the direction of future investigation.

Key wordsemotion recognition; electroencephalograph (EEG); peripheral physiological signal; feature extraction; machine learning

摘要隨著計算技術和人機交互技術的不斷發展，情感計算(affective computing, AC)逐漸成為情緒研究的新興領域，而情緒識別(emotion recognition)又是情感計算中不可或缺的一環.基于生理信號的情緒識別方法比其他指標如面部表情、語音語調、身體姿勢等更難以偽裝，也能提供更豐富的信息.目前基于生理信號的情緒識別研究很多，但受到各種因素的影響，如刺激選取、誘發情緒的類別、采集設備、特征提取方法、不同的降維和分類算法等，各個研究的識別準確率差異性很大，很難進行比較.針對使用DEAP數據庫(用音樂視頻誘發情緒并采集腦電及外周生理信號的公開數據庫)進行情緒識別的16篇文章做了梳理；對特征提取、數據標準化、降維、情緒分類、交叉檢驗等方法做了詳細的解釋和比較；最后分析了現階段情緒識別在游戲開發、多媒體制作、交互體驗、社交網絡中的初步探索和應用，以及情緒識別和情感計算目前存在的問題及未來發展的方向.

關鍵詞情緒識別；腦電；外周生理信號；特征提取；機器學習

情緒是伴隨著認知和意識過程產生的心理和生理狀態，在人類交流中扮演著非常重要的角色.對情緒的研究由來已久，近年來，隨著感知技術和人機交互技術的發展，情感計算(affective computing, AC)逐漸成為情緒研究的新興領域.關于人機情感交互的思想由Minsky[1]最先提出，其在《Society of Mind》一書中指出“問題的關鍵不是智能機器是否需要情緒，而在于沒有情緒的機器能否實現智能”.后來Picard[2]將“與情感有關、由情感引發或者能夠影響情感因素的計算”界定為情感計算.

具體而言，情感計算是通過構建情緒狀態而建立的計算模型，它對行為和生理信號進行分析，并基于測量到的情緒狀態在人機之間建立情緒交互.其最重要的一個環節是“情緒識別(emotion recognition)”,即通過用戶的行為和生理反應來預測估計相應的情緒狀態[3].

基于腦電(electroencephalograph, EEG)的情緒識別[4]和基于生理信號的情緒識別[5]已經有研究者進行過綜述.這2篇綜述主要是從情緒的生理基礎、情緒分類模型、誘發方法、腦電和生理信號的預處理、特征提取、降維和識別等方面進行了整理和介紹，但綜述內容并不系統，涉及的文獻也不完整.此外，考慮到情緒識別研究中的差異性(如刺激選取方法、誘發情緒的類別、采集設備、特征提取、降維和分類算法)，情緒識別的準確率變化很大，難以進行比較.因此，本文選取了一個用音樂視頻誘發情緒并采集腦電和外周生理信號的公開數據庫DEAP[6]，將使用該數據庫對情緒識別的研究做了細致的梳理，從特征提取、數據標準化、特征降維、分類器、交叉檢驗(cross validation, CV)5個方面進行分析和比較，探討各因素在情緒識別研究中的應用效果以及各因素中不同算法間的優缺點.

本文中的生理大數據是指面向情緒識別的腦電及外周生理(皮膚電、心電、呼吸、皮膚溫度、肌電、眼電)信號.盡管在累積數據的規模上還達不到互聯網、社交媒體、醫療健康等領域超大數據的PB甚至EB級別，但其數據仍具有規模大(volume)、模態多樣(variety)、速度快(velocity)和真實性(veracity)的“4V”特點[7].以DEAP數據庫為例，32人共計1 280 min的生理數據大小為5.8 GB，按照單個醫療機構每日200人次的觀測推算，數據規模已達到TB級別,其40通道的生理信號可提取的時域、頻域、時頻域特征從幾百到上千不等.基于DEAP的實時情緒識別系統應在其刺激材料的持續時間(1 min)甚至更短時間內對情緒狀態作出判斷.考慮到生理信號的時變、不穩定、噪聲強等特點，在短時間內從大規模生理信號中提取干凈、真實、可信的特征并以此訓練、建立分類模型并預測情緒狀態是非常具有挑戰性的研究內容.此外，本文重點強調的是基于個體用戶的生理信號預測其情緒狀態，不同于基于語音或者網絡大數據的(例如用戶在微博等社交媒體上發布的帶有感情色彩的文字、照片和視頻)面向群體用戶情緒狀態預測的技術.生理信號的時域、頻域和時頻域特征有著較強的心理學和生理學基礎，不需要人工規則構造特征；依賴于利用標準化的刺激材料誘發單一的目標情緒；利用用戶的主觀評價標記(分類)訓練樣本并采用有監督的機器學習算法；面向人機間情緒交互的實時、高效的情緒識別算法.

1情緒的理論模型

作為“情緒識別”的對象，首先需要明確“情緒”的含義.Izard[8]在一項通過對34名科學家的調研中提煉出情緒的構成：神經回路、反應系統以及一種激發和綜合了認知及行為的感受狀態.這可視為近30余年研究者對情緒的認知集合；然而，這種關于情緒的理論對“以實驗技術操作情緒”和“以工程手段提取和判別情緒特征”而言缺乏可操作性.因此在研究情緒識別時，研究者通常采用以下2種視角來建構和理解情緒空間：離散模型(discrete model)和維度模型(dimensional model).

1) 離散模型認為情緒空間由數量有限的離散的基本情緒構成.盡管不同研究者對基本情緒的認識并不一致，但多數研究傾向于認為至少存在以下6種基本情緒：高興、悲傷、驚訝、恐懼、憤怒和厭惡[9].2)維度模型則認為情緒空間可以由二維的效價-喚醒度(valence-arousal, VA)或是三維的愉悅度-喚醒度-優勢度(pleasure-arousal-dominance, PAD)的坐標體系進行表達[10].其中，愉悅度是指個體感受到的愉悅程度，即正負特性(效價)；喚醒度是指個體感受到情緒的心理警覺水平和生理激活的強烈程度；優勢度是指個體處于控制還是被控制的地位[11].目前，基于DEAP數據庫的情緒識別研究絕大多數建立在情緒維度模型的基礎上.

以“離散”視角建立的情緒模型，其提煉出的基本情緒具有較好的普遍辨識性和自然屬性，在神經系統層面也表現出了相對特異的反應模式[9,12-13].而以“維度”視角建立的情緒模型，即使在難以對某種特定感受進行命名的情況下，該模型也可以將不同情緒用數值在坐標空間中進行標記[14].從操作層面分析，盡管維度模型顯然比離散模型更具操作性，但是當維度模型所要識別的情緒在效價和喚醒度上相近時，該方法對情緒的區分效力會相應下降[15].這是由于在度量維度上相近的情緒(如焦慮和憤怒)可能具有各自獨特的表象，并誘發完全不同的行為反應[16].

近年來，研究人員們提出一種融合2種情緒模型的觀點：將具有顯著特征的離散的情緒狀態以維度化的方式表達，可在一定程度上實現2種模型的相互融合，如圖1所示.例如，憤怒可表示為具有消極效價的、較高喚醒的情緒[17]；恐懼則可表征為一種消極的、更高喚醒的情緒[18].此外，同一種情緒也會因為刺激的不同而使感受到的情緒強烈程度不同.看到嬰兒微笑會特別高興，而看到美麗的日落可能高興程度沒有那么強烈[18].從“情緒識別”的角度出發,情緒的維度模型更適合從量化的角度操縱和定義情緒；同時通過對生理信號的分析，也可以在一定程度上彌補“效價-喚醒度”模型在二維空間上缺乏分辨力的不足.

Fig. 1　Representing discrete emotions within a dimensional framework[18].圖1　將離散情緒表征到維度框架上

2情緒誘發

情緒誘發是情緒識別研究中的重要一環.常用的情緒誘發方法包括自我誘發(如回憶[19-21])、情景誘發(如玩游戲[22-23])和事件誘發.其中以事件誘發的研究最多，即通過圖片、聲音、視頻或任何可以喚起情緒的材料來誘發被試的情緒.

2.1視覺刺激

視覺刺激是最常見的誘發情緒的材料，通過給被試呈現情緒性的圖片、面部表情、文字等來誘發被試的目標情緒是情緒誘發最常用的方法.經過標準化的視覺刺激材料，如國際情感圖片庫(international affective picture system, IAPS)[24-25]、面孔表情圖片庫(pictures of facial affect, POFA)[26]、英語情感詞庫(affective norms for English words, ANEW)[27]等，均已在情緒識別領域中得到廣泛的引用.雖然研究表明基本情緒具有跨文化的一致性[28]，但由于文化背景、社會學習等差異，很多國家都針對國際標準庫進行相應的修訂和完善.國內研究者也針對國際標準材料庫進行了本土化修訂，建立了適用于中國的情緒刺激材料，如中國情感圖片庫(Chinese affective picture system, CAPS)[29]等.

2.2聽覺刺激

用聽覺刺激誘發情緒比視覺刺激更為深入和持久，但目前經過標準化評定的聽覺刺激材料很少[30].現有的研究中，大多數是研究者自己制作的聽覺刺激材料，包括電影背景音樂、歌曲、聲音等，也有經過標準化的聽覺刺激材料庫，如國際情感數碼聲音庫(international affective digitized sounds, IADS)[31].國內研究者針對IADS編制了適用于中國被試的聽覺刺激材料，即中國情感數碼聲音庫(Chinese affective digital sounds, CADS)[32].

2.3視聽覺刺激

早期的情緒識別研究主要使用圖片或聲音作為誘發情緒的材料.近年來，越來越多的情緒識別研究開始使用視聽刺激結合的方式來誘發情緒.常用的視聽覺刺激包括電影片段、音樂視頻，或是呈現情緒圖片的同時播放相應情緒的音樂[33].相比于單純的視、聽覺刺激，電影與實際生活中的情境更相似，內容和情節更為豐富，具有動態性、不可欺騙性和高生態效度[34].當然，電影誘發的情緒比較復雜，識別難度更大.常用的電影庫包括Gross and Levenson[34]建立的美國情緒電影庫、Schaefer等人[35]建立的法國情緒電影庫、羅躍嘉等人[36]建立的中國情感電影庫和梁育琦等人[37]建立的基于臺灣被試的華語情緒電影庫等.這些電影庫都是基于離散情緒進行編制的.

2.4DEAP數據庫

和電影比起來，音樂視頻能夠表達的情緒更為單一、連貫，更容易進入情緒狀態，不像電影片段那樣需要慢慢看情節才能誘發出情緒.Koelstra,Muhl等人[6]在情緒維度模型的基礎上選取了40段音樂視頻作為刺激材料，并采集了32名被試在觀看40段音樂視頻時的生理信號和臉部錄像.生理信號共40導，其中腦電信號32導，外周生理信號(皮膚電、血壓、呼吸、皮膚溫度、肌電、眼電)8導，組成了DEAP數據庫，且為公開共享資源.DEAP數據庫還包含每名被試在觀看每段視頻后在效價、喚醒度、優勢度和喜歡度4個維度上的主觀評分，并以此對生理數據進行標記(有監督學習，詳見3.4節).截止投稿前，一共有16篇發表在期刊或會議上的文章使用DEAP數據庫中的生理信號做情緒識別，如表1所示.其中的4篇文章使用DEAP數據庫建立了情緒識別系統，但沒有詳細報告與情緒識別相關的特征提取、分類算法、準確率等內容，因此不在表1中體現.表1中出現的縮寫詞見第3節.

Table 1　Summary of Articles that Use Physiological Signals of DEAP Dataset for Emotion Recognition

Notes: 1) # stands for the number of features; 2) Acc stands for accuracy; 3) the data is obtained by using the features extracted from both

EEG and peripheral signals; 4) FLEC stands for fuzzy logic based emotion classification algorithm; 5) MMC stands for meta-multiclass.

3基于生理大數據的情緒識別

Fig. 2　Main steps of emotion recognition.圖2　情緒識別的主要步驟

情緒識別研究一般包括情緒誘發、生理信號采集、數據預處理、特征提取、特征降維、情緒學習和分類6個步驟，如圖2所示.由于DEAP數據庫在情緒誘發、生理信號采集和數據預處理3部分作了統一的處理，本節將針對2.4節提出的12篇使用DEAP數據做情緒識別的文獻，從特征提取、特征標準化、特征降維、分類器、交叉檢驗(CV)5個方面進行詳細介紹.

3.1特征提取

特征提取是情緒識別的關鍵環節，只有找出與誘發情緒相關的敏感、有效特征，才能保證后續情緒識別的準確率.常見的生理信號特征包括時域特征、頻域特征和時頻域特征.在每一類特征中，我們將依次按照腦電、皮膚電、心電、呼吸、皮膚溫度、面部肌電、眼電的順序進行介紹.

3.1.1時域特征

腦電信號的時域特征主要集中在事件相關電位(event-related potentials, ERPs)的研究中.ERP研究通常采用單純的視覺或聽覺刺激誘發情緒，并將多個試次的事件進行疊加，分辨率一般為毫秒級.而DEAP數據庫用音樂視頻誘發情緒，采集的是連續的腦電信號，以頻域和時頻域特征為主.

外周生理信號的時域特征主要是信號變化的統計特征[6].常用的皮膚電信號時域特征為信號的均值、中值、標準差、最大最小值、最大最小值的比率和差值等，再將上述信號特征進行一階差分、二階差分計算后提取以上相同的統計特征等.心電的時域特征包括心率和心率變異性的均值和標準差.呼吸信號的時域特征主要是通過計算呼吸間隔(即2個相鄰的吸氣末的波峰的時間差)的均值和標準差.皮膚溫度的時域特征目前在情緒識別領域中應用較少.面部肌電信號通過計算肌電值積分、均方根、過零點數、方差、幅值、肌電直方圖等指標，反映時間維度上肌電信號振幅的變化特征.眼電信號常用的時域特征包括眨眼頻率的均值和標準差.

3.1.2頻域特征

頻域特征是由原始生理信號從時域轉化而來.在提取腦電頻率特征時，一般將腦電信號映射到常用的δ(0.5～4 Hz)，θ(4～8 Hz)，α(8～12 Hz)，β(13～30 Hz)，γ(31～60 Hz)等頻段上，再從中提取功率、功率譜密度(power spectral density, PSD)、能量及其不對稱性(asymmetry, ASM)等特征.皮膚電(galvanic skin response, GSR)信號的頻域特征主要是其信號頻率范圍內(0～2.4 Hz)的譜功率，皮膚導電慢反應(0～0.2 Hz)和極慢反應(0～0.08 Hz)的過零率[6].心電(electrocardiograph, ECG)的頻域分析是將連續正常的R-R間期進行時-頻轉化，從而獲得各頻率段上的功率譜密度，如低頻段(0～0.04 Hz)、中頻段(0.04～0.15 Hz)、高頻段(0.15～0.4 Hz)等，用以定量描述心率變異性的能量分布情況.呼吸(respiration, RSP)信號的頻域特征主要是其頻率范圍內(0～2.4 Hz)的譜功率及不同頻率段之間能量差值和比率.皮膚溫度(skin temperature, SKT)的頻率特征主要是其頻率范圍(0～0.2 Hz)內的譜功率.肌電(electromyogram, EMG)和眼電(electrooculo-gram, EOG)的頻域特征與腦電特征相似，將原始的信號映射到頻域范圍內再提取能量、功率、PSD等特征指標.

在基于生理信號的情緒識別研究中，PSD及其相關指標應用最為廣泛.PSD用來描述其能量特征隨頻率的變化關系，與自相關函數互為傅里葉變換的關系.計算生理信號功率譜的方法可以分為2類：1)線性估計方法，包括周期圖法、Welch’s method、自相關估計、自協方差法等;2)非線性估計方法，如最大似然法、最大熵法等.線性估計方法是有偏的譜估計方法，譜分辨率隨數據長度的增加而提高；非線性估計方法大多是無偏的譜估計方法，可以獲得高譜分辨率.最常用的PSD估計方法是使用傅里葉變換技術.盡管傳統的離散傅里葉變換(discrete Fourier transform, DFT)算法能夠獲取生理信號的頻域特征，但是算法計算量大、耗時長，不利于計算機對生理信號進行實時處理.因此，DFT的一種快速實現算法——快速傅里葉變換(fast Fourier transform, FFT)被發現，使得DFT算法在生理信號的實時分析中得到廣泛的應用.

(1)

式(1)為DFT的計算方法，其中x(n)表示輸入的離散生理信號序列，WN為旋轉因子，X(k)為輸入序列x(n)對應的N個離散頻率點的相對幅度.因為DFT計算得到的一組離散頻率幅度值實際上是在頻率軸上呈周期變化的，即X(k+N)=X(k).因此任意取連續的N個點均可以表示DFT的計算效果.一般情況下，假設x(n)來自于低通采樣，采樣頻率為fs，那么X(k)表示在[0,fs-fsN]頻率上間隔為fsN的N個頻率點的相對幅度.根據式(1)可知，每計算一個頻率點X(k)均需要進行N次復數乘法和N-1次復數加法，計算N個點的X(k)共需要N2次復數乘法和N(N-1)次復數加法.當x(n)為實數的情況下，計算N點的DFT需要2×N2次實數乘法，2N(N-1)次實數加法.這種算法計算量大而且耗時長.

而FFT算法則是利用WN的對稱性和周期性(如式(2)所示)，將N點的DFT變換轉為lbN級聯的蝶形運算，每一級均包含有N2次蝶形計算.由于每一個蝶形運算包含了1次復數乘法和2次復數加法，因此計算N點FFT只需要N2×lbN次復數乘法和N×lbN次復數加法.當被采樣的序列為實數序列，只有第一級的計算為實數與復數的混合計算，經過一次迭代后的計算均變為復數計算，因此對于輸入序列是復數還是實數對FFT算法的效率影響較小.由于計算N點的FFT只需要2N×lbN次實數乘法和2N×lbN次實數加法，計算效率大大提高.

(2)

3.1.3時頻域特征

生理信號大多是非平穩的時變信號，即不同時刻有不同的頻率成分，因此單純的時、頻分析都不能有效地反映生理信號的這些特征,而且通過傅里葉變換的時、頻域分析方法不可能在時域和頻域同時獲得較高的分辨率.越來越多的研究開始將時域和頻域聯系起來，對生理信號進行時頻特征分析，著眼于真實信號的時變譜特征.簡單來說就是將一維的時、頻域信號表達為二維的時間-頻率密度函數，以揭示生理信號中每個頻率分量隨時間變化的規律，如α波隨時間變化的能量分布.常用的時頻域特征提取方法主要包括：基于短時傅里葉變換(short-timeFouriertransform,STFT)和基于小波包變換(waveletpackettransform,WPT)的時頻特征提取方法.

考慮到傅里葉變換處理非平穩信號有天生缺陷，STFT是在傳統傅里葉變換的基礎上加入窗函數(即把整個時域過程分解成無數個等長的子過程，每個子過程近似平穩，再做傅里葉變換)，通過窗函數的不斷移動來決定時變信號局部弦波成分的頻率和相位.由于生理信號的不穩定性，長時間窗的生理信號變異性大；而短時間窗又不能提供充足的信息，因此選取一個合適長度的時間窗對于情緒識別的準確率和計算效率至關重要[43].加窗的方法不僅改善了傅里葉變換處理不穩定信號的缺陷，也可以用來估計不同情緒狀態(如高喚醒度)的起始和持續時間.特別是當我們使用電影片段或音樂視頻誘發情緒時，不同的刺激材料持續時間不同，且由于刺激材料的情節不同導致誘發情緒有快有慢.因此，通過加窗的方法估算不同情緒狀態的起始和持續時間更有其實際意義和應用.由表1可知，目前使用DEAP數據庫的情緒識別研究大多選擇1～8s的時間窗，且識別準確率最高的時間窗在1～2s[40-41,43-44].

基于STFT的時頻域特征提取的基本思想是：給一段連續生理信號序列x(m)，加一個沿時間軸滑動的窗w(n-m)，窗寬有限，所得到的傅里葉變換結果X(n,ω)可以表達為

(3)

隨著n的改變，窗函數在時間軸上會有位移.經w(n-m)x(m)后，生理信號只留下了窗函數截取的部分做最后的傅里葉轉換.窗函數種類有很多種，常見的窗函數有方形、三角形、高斯函數等；而STFT也因窗函數的不同而有不同的名稱，通常沒有特別說明的STFT為加伯轉換(即窗函數是高斯函數的STFT).

由于STFT的窗口是固定的，無法滿足時變非穩態信號變化的頻率需求(即高頻小窗口、低頻大窗口).而小波變換(wavelet transform, WT)的窗函數可以隨頻率的改變而改變，能對時間(空間)頻率的局部化分析，通過伸縮平移運算對生理信號逐步進行多尺度細化，最終達到高頻處時間細分、低頻處頻率細分，能自動適應時頻信號分析的要求.

WT算法的基本思想是：設ψ(t)為一平方可積函數，即ψ(t)∈L2(R)，若其傅里葉變換ψ(ω)滿足：

(4)

則稱ψ(t)為一個基本小波或小波母函數，并稱式(4)是小波函數的可允許條件.將小波母函數ψ(t)進行伸縮和平移，設其伸縮(尺度)因子為a，平移因子為τ，則平移伸縮后的函數ψa,τ(t)可表達為

(5)

其中,a,τ∈R且a>0；ψa,τ(t)為參數為a和τ的小波基函數.由于a和τ可以取連續變化的值或是限定在離散點上取值，因此又稱之為連續小波變換(continuous wavelet transform, CWT)或離散小波變換(discrete wavelet transform, DWT).由于小波基具有尺度和位移2個參數，因此將小波基展開意味著將一個時間函數投影到二維的時間-尺度相平面上，尺度因子a對應于頻率(反比)，平移量τ對應于時間，有利于時頻域特征的提取.

考慮到WT算法在高頻段的頻率分辨率較差，而在低頻段的時間分辨率較差的缺點，人們在小波分解的基礎上提出了小波包變換(WPT).小波包元素是由3個參數確定波形，分別是：位置、尺度和頻率.對一個給定的正交小波函數，可以生成一組小波包基，每一個小波包基里提供一種特定的信號分析方法，它可以保存信號的能量并根據特征進行精確的重構.小波包可以對一個給定的信號進行大量不同的分解.在正交小波分解過程中，一般是將低頻系數分解為2部分：一個近似系數向量和一個細節系數向量.在2個連續的近似系數中丟失的信息可以在細節系數中得到；然后將近似系數向量進一步分解為2部分，而細節系數向量不再分解.在小波包變換中，每一個細節系數向量也使用近似系數向量分解同樣的分法分為2部分，因此它提供了更豐富、更精細的信號分析方法，提高了信號的時頻分辨率.

近年來，基于雙樹復小波包變換(dual-tree complex WPT, DT-CWPT)也逐步用于提取腦電信號的時頻域特征.DT-CWPT引入了各向異性的小波包分解結構，由此得到的小波基在各個方向上尺度可以不同，并具有更多的種類和方向，能更有效地表現多維度的腦電特征.

3.2數據標準化

在情緒誘發過程中，被試通常會在一段時間內觀看很多的刺激材料.以DEAP為例，每名被試需要觀看40段1 min長度的音樂視頻，每兩段音樂視頻之間允許被試休息2 min.也有一些研究會要求被試在休息時間內從事一些不相關的任務，以盡量讓被試脫離上一段材料所誘發的情緒[37,49].盡管如此，上一段刺激材料誘發的情緒仍然可能會持續到下一段刺激材料的誘發過程中，尤其是音頻、視頻材料，持續時間較長，情緒卷入可能更大.此外，生理信號的個體差異很大，不同人的生理信號水平各不相同，甚至同一個人在不同時間、不同環境下都會有所不同.因此，為了去除之前刺激材料對當前情緒狀態的影響以及生理信號的個體差異，我們通常會將數據進行標準化處理.最常用的方法是：用刺激材料呈現時(即情緒誘發狀態下)的生理信號數據(如功率譜密度)減去刺激材料呈現之前(即平靜狀態下)的生理信號數據，再將差值后的數據統一映射到[0,1]區間上[46].此步驟雖然方法簡單，但意義重大，可惜大部分的研究并未考慮.

3.3降維

特征維度過多會導致機器學習建模算法的運行速度變慢，增加過度擬合的可能性，導致數據在整個輸入空間的分布越稀疏并越難以獲得對整個輸入空間有代表性的樣本.因此，通過降維的方法從眾多特征維度中選取部分放入建模數據集是必不可少的一步.常用的降維方法包括線性判別式分析(linear discriminant analysis, LDA)、主成分分析(principal component analysis, PCA)、奇異值分解(singular value decomposition, SVD)、列主元QR分解(QR factorization with column pivoting, QRcp)等.

3.3.1線性判別式分析

LDA也叫做Fisher線性判別，是模式識別的經典算法之一.基本思想是：將高維的模式樣本投影到最佳鑒別矢量空間，以達到抽取分類信息和壓縮特征空間維數的效果，投影后保證模式樣本在新的子空間有最大的類間距離Sb和最小的類內距離Sw，即模式在該空間中有最佳的可分離性.為達到最佳分類效果，LDA算法要求其所分的類之間耦合度(即類間均值之差的絕對值)低、類內的聚合度(即類內協方差矩陣之和)高.因此，通過引入Fisher鑒別準則表達式(式(6))，我們可以將LDA算法表達為：選取讓JFisher(φ)達到最大值的任一n維矢量φ作為投影方向，使得投影后的樣本具有最大的類間離散度和最小的類內離散度.

(6)

LDA降維直接和類別的個數相關，與數據本身的維度沒有關系.針對多分類問題(c個類別)，LDA需要由c-1個投影向量組成一個投影矩陣，將樣本投影到投影矩陣上，從而提取c-1維的特征矢量.因此，應用LDA降維后的維度的變化范圍是1到c-1.

在LDA的假定條件中，每個類內的協方差矩陣是一樣的.當我們需要處理更復雜情況時，我們可以考慮每個類內協方差不一樣的情況，這時我們需要用到二次辨別分析(quadratic discriminate analysis, QDA)算法.QDA算法在參數估計時需要分別在每一個類中去估計協方差矩陣.

3.3.2主成分分析

PCA是另外一種常用的降維算法，與LDA算法最大的區別在于：PCA是一種無監督的映射算法，它所作的只是將整組數據整體映射到最方便表示這組數據的坐標軸上，映射時沒有利用任何數據內部的分類信息；而LDA是一種有監督的映射算法，在增加了分類信息后，數據之間更易區分.

PCA算法是根據輸入數據的分布給輸入數據重新找到更能描述這組數據的正交的坐標軸.其具體思路是：首先求出輸入數據的協方差矩陣，再求出這個協方差矩陣的特征值和特征向量.如式(7)所示：假設λi對應特征值，μi為投影向量.式(7)的左邊取得最大值的條件就是取得最大的特征值λi.假設要將一個n維的數據空間投影到m維的數據空間中(m

(7)

3.4分類器

實現情緒狀態的識別有3種方法：1)無監督學習方法.對沒有概念標記(分類)的訓練樣本進行學習，以發現訓練樣本集中的結構性知識，深度學習網絡(deep learning network, DLN)就是典型的無監督學習.DLN采用與神經網絡相似的分層結構，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預測更加容易.與人工規則構造特征的方法相比，深度學習利用大數據來學習特征，更能夠刻畫數據的豐富內在信息[50].2)監督學習方法.對具有概念標記(分類)的訓練樣本進行學習，以盡可能對訓練樣本集外的數據進行標記(分類)預測.常見的監督學習方法有支持向量機(support vector machine, SVM)、神經網絡、決策樹、貝葉斯網絡、K-近鄰以及隱馬爾可夫模型等.3)半監督學習方法.半監督學習方法結合了監督學習與無監督學習的方法，考慮如何利用少量的標注樣本和大量的未標注樣本進行訓練和分類[51].

DEAP數據庫是以被試觀看完每段音樂視頻后對各個維度的評分來標記生理樣本，因此基于DEAP數據庫的情緒分類研究普遍采用監督學習方法，主要包括SVM、樸素貝葉斯(na?ve Bayes, NB)、K最近鄰(K-nearest neighbors,KNN)、多層感知機(multilayer perceptron, MLP)和人工神經網絡(artificial neural network, ANN)等.

3.4.1K-近鄰算法

(8)

模糊最近鄰算法(fuzzyKNN, FKNN)在KNN的基礎上考慮各類樣本與各類隸屬關系的不確定性，計算近鄰樣本對各類的隸屬度值，由隸屬度函數確定近鄰樣本與各類的隸屬關系.模糊粗糙近鄰算法(fuzzy rough NN)在FKNN的基礎上，進一步針對各類邊緣的粗糙不確定性綜合構建模糊粗糙隸屬度,可有效克服分類算法易受離群點和噪聲影響的缺陷，適用于近鄰樣本隸屬關系不確定、各類邊緣不清晰的分類問題.

3.4.2樸素貝葉斯

貝葉斯分類器的分類原理是通過樣本的先驗概率，利用貝葉斯公式計算出其后驗概率，即該對象屬于某一類的概率，然后選擇具有最大后驗概率的類作為未知樣本所屬的類.樸素貝葉斯(NB)是最簡單、應用最廣泛的貝葉斯算法，其前提是假設各屬性之間x={a1,a2,…,an}互相獨立

(9)

具體的思路是：首先對于給出的待分類項，求解在此項出現的條件下各個類別出現的概率P(y1|x),P(y2|x),…,P(yn|x)，輸出特征屬性和訓練樣本.計算每個類別在訓練樣本中的出現頻率及每個特征屬性劃分對每個類別的條件概率估計，最大概率的類別即為該未知樣本的所屬類別P(yk|x)=max{P(y1|x),P(y2|x),…,P(yn|x)}.

3.4.3支持向量機

支持向量機(SVM)是一種特征空間上間隔最大的線性分類器，其學習策略便是間隔最大化，最終可轉化為一個凸二次規劃問題的求解.其主要思想可以概括為2點：對于線性可分的情況，基于結構風險最小化理論，在特征空間x1,x2,…,xn中建構最優分割超平面f(x)=wT·x+b，使得學習器得到全局最優化，并且在整個樣本空間的期望風險以某個概率滿足一定上界，如式(10)所示：

(10)

對于線性不可分的情況，通過使用非線性映射算法將低維輸入空間線性不可分的樣本轉化為高維特征空間使其線性可分，從而使得高維特征空間采用線性算法對樣本的非線性特征進行線性分析成為可能.特征從低維到高維的轉換過程中，我們通常使用核函數(kernel function)在低維上進行計算，而將實質上的分類效果表現在了高維上，避免了直接在高維空間中的復雜計算.

3.4.4支持向量回歸

除分類問題外，支持向量也可用來處理回歸問題，即支持向量回歸(SVR)算法.與SVM相比，SVR算法的目標也是尋找空間中的最優分割超平面.不同的是，SVM尋找的是能將數據分開的平面，而SVR尋找的是能夠準確預測數據分布的平面.SVR算法的主要思想是：在特征空間x1,x2,…,xn中建構最優分割超平面f(x)=wT·x+b，使其能夠準確地預測該特征空間所對應的回歸值yi，即f(xi)和xi的差值足夠小,如式(11)所示：

(11)

其中,ε≥0，用來表示SVR算法預測值與實際值之間的最大差距.對于非線性問題，SVR算法同樣可以引用核函數將低維樣本升維，在高維空間中構造線性決策函數來實現非線性回歸.用核函數代替線性方程中的線性項可以使原來的線性算法“非線性化”.與此同時，因引進核函數“升維”而增加的可調參數，其過擬合的風險依然可控.

3.4.5各種分類器算法的分類效果比較

從表1也可看出，SVM是使用最廣泛且識別準確率最高的分類器算法，其優點有3個：1)不同于那些力求最小化經驗誤差的統計學習方法(例如神經網絡和決策樹)，SVM能夠同時最小化經驗誤差與最大化幾何邊緣區.2)SVM在處理情緒類別之間數據不平衡方面具有較好的魯棒性[39].由于無法干預被試的主觀評分，利用被試評分標定訓練樣本的過程很可能會導致情緒類別之間的數據不平衡.以DEAP數據庫為例，其高、低喚醒度的數據比例為63.9%和36.1%，正負特性(效價)的數據比例為63.1%和36.9%.由于SVM的最終決策函數只由少數的支持向量所確定，其支持向量的樣本集具有一定的魯棒性.3)SVM在基于生理大數據的情緒實時識別應用中優勢明顯.實時的情緒識別要求在短時間內從大規模生理信號中提取干凈、真實、可信的特征并以此訓練、建立分類模型并預測情緒狀態.實時決定了訓練樣本有限，SVM不需要耗費太多的運算時間求解支持向量，而SVM少數支持向量(而不是樣本空間的維數)決定最終結果的特性有效地避免了生理大數據維數高的缺陷，幫助我們剔除冗余樣本的同時抓住關鍵樣本.

3.5交叉檢驗

交叉驗證(CV)的目的是為了得到穩定可靠的模型.N折交叉驗證(N-fold CV)是比較常用的交叉檢驗方法.它將初始采樣分割成N個子樣本，一個單獨的子樣本被保留作為驗證模型的數據，其他N-1個樣本用來訓練.交叉驗證重復N次，每個子樣本驗證一次，平均N次的結果或者使用其它結合方式，最終得到一個單一估測.被試依賴(subject dependent, SD)是指留一個試次作為測試集，其他的試次作為訓練集，然后重復這個過程，直至所有的試次都做了一次測試集，正確率為所有試次的平均.被試獨立(subject independent, SID)留一個被試作為作為測試集，其他的被試作為訓練集，然后重復這個過程，直至所有的被試都做了一次測試集，正確率為所有被試的平均.一般來講，被試依賴的正確率較高，但推廣性差.而實時在線分析的正確率低于線下分析的正確率.

4應用

隨著基于生理信號的情緒識別研究逐漸深入，越來越多的研究者們開始思考如何將研究成果轉化和應用.傳統采集生理信號的方式是在實驗室環境下完成的，采集需要一系列的準備過程和繁瑣的程序，花費時間較長，收集到的生理信號多數用于線下分析.近年來，微針型干電極技術的不斷發展以及可穿戴設備的與時俱進，使得情緒識別的相關研究成果更多地應用到實際產品中.干電極生理信號采集系統采用無線通信技術，使用簡便，不易受環境制約.Jatupaiboon等人[52]采用14導干電極腦電帽(emotiv)采集被試的腦電數據，建立了實時監測高興-不高興(即正性-負性)識別系統.研究者基于這個系統開發了2款游戲：頭像游戲和奔跑游戲.頭像游戲是用戶高興時呈現高興的面孔和音樂，不高興時則呈現不高興的面孔和音樂；奔跑游戲則是用戶越高興，則游戲角色跑的越快.值得說明的是，emotiv設備本身也能夠實時地識別出多種情緒狀態.

盡管干電極技術和可穿戴設備目前還有很多局限，如信號穩定性不強、電源供電時間較短等，限制了其應用范圍[53]；但未來隨著技術的不斷革新，基于生理信號的情緒識別必將在社交網絡、教育、醫療、心理治療、軍事等領域發揮重要作用.

5討論與展望

從已有文獻來看，基于生理信號的情緒識別研究還處于摸索階段，研究很多但良莠不齊.由于情緒誘發材料、采集設備、生理信號的特征提取、降維和分類算法等方面的差異性，已有研究中的情緒識別正確率高低不一，無法進行橫向比較.因此，本文建議未來的情緒研究可以從以下2個方面展開：

1) 建議研究人員使用標準化的刺激材料，特別是生態效度更高的電影片段和音樂視頻.未來預期還要建立適用于中國社會和文化背景的華語電影片段和音樂視頻標準庫.

2) 建議研究人員使用公開發表的生理信號數據庫(如DEAP數據庫)進行特征提取算法、分類算法和模型的開發，既能避免情緒誘發和信號采集過程中的差異性，也方便研究人員對各個算法模型進行橫向比較.未來預期能夠建立基于華語電影片段和音樂視頻標準刺激的生理信號庫，提供包括腦電和外周生理信號在內的生理大數據庫.

參考文獻

[1]Minsky M. Society of Mind[M]. New York: Simon and Schuster, 1988

[2]Picard R W. Affective Computing[M]. Cambridge, MA: MIT Press, 1997

[3]Kim M K, Kim M, Oh E. et al. A review on the computational methods for emotional state estimation from the human EEG[J]. Computational and Mathematical Methods in Medicine, 2013, 2013: 1-13

[4]Nie Dan, Wang Xiaowei, Duan Ruonan, et al. A survey on EEG based emotion recognition[J]. Chinese Journal of Biomedical Engineering, 2012, 31(4): 595-606 (in Chinese)(聶聃, 王曉韡, 段若男, 等. 基于腦電的情緒識別研究綜述[J]. 中國生物醫學工程學報, 2012, 31(4), 595-606)

[5]Zhang Di, Wan Baikun, Ming Dong. Research progress on emotion recognition based on physiological signals[J]. Journal of Biomedical Engineering, 2015, 32(1): 229-234 (in Chinese)(張迪, 萬柏坤, 明東. 基于生理信號的情緒識別研究進展[J]. 生物醫學工程學雜志, 2015, 32(1), 229-234)

[6]Koelstra S, Muhl C, Soleymani M, et al. DEAP: A database for emotion analysis using physiological signals[J]. IEEE Trans on Affective Computing, 2012, 3(1): 18-31

[7]Gupta R, Gupta H, Mohania M. Cloud computing and big data analytics: What is new from databases perspective?[C]Proc of Big Data Analytics. Berlin: Springer, 2012: 42-61

[8]Izard C E. The many meaningsaspects of emotion: Definitions, functions, activation, and regulation[J]. Emotion Review, 2010, 2(4): 363-370

[9]van den Broek E L. Ubiquitous emotion-aware computing[J]. Personal and Ubiquitous Computing, 2013, 17(1): 53-67

[10]Mehrabian A. Pleasure arousal dominance: A general framework for describing and measuring individual differences in temperament[J]. Current Psychology, 1996, 14(4): 261-292

[11]Liu Ye, Fu Qiufang, Fu Xiaolan. The interaction between cognition and emotion[J]. Chinese Science Bulletin, 2009, 54(18): 2783-2796 (in Chinese)(劉燁, 付秋芳, 傅小蘭. 認知與情緒的交互作用[J]. 科學通報, 2009, 54(18): 2783-2796)

[12]Collet C, Vernet-Maury E, Delhomme G, et al. Autonomic nervous system response patterns specificity to basic emotions[J]. Journal of the Autonomic Nervous System, 1997, 62(12): 45-57

[13]Barrett L F. Are emotions natural kinds?[J]. Perspectives on Psychological Science, 2006, 1(1): 28-58

[14]Liu Yisi, Sourina O, Nguyen M K. Real-time EEG-based human emotion recognition and visualization[C]Proc of Int Conf on Cyberworlds. Piscataway, NJ: IEEE, 2010: 262-269

[15]Fontaine J R J, Scherer K R, Roesch E B, et al. The world of emotions is not two-dimensional[J]. Psychological Science, 2007, 18(12): 1050-1057

[16]Yin Dezhi, Bond Samuel D, Zhang Han. Anxious or angry? Effects of discrete emotions on the perceived helpfulness of online reviews[J]. Mis Quarterly, 2014, 38(2): 539-560

[17]Mauss I B, Robinson M D. Measures of emotion: A review[J]. Cognition & Emotion, 2009, 23(2): 209-237

[18]Hamann S. Mapping discrete and dimensional emotions onto the brain: Controversies and consensus[J]. Trends in Cognitive Sciences, 2012, 16(9): 458-466

[19]AlZoubi O, Calvo R A, Stevens R H. Classification of EEG for affect recognition: An adaptive approach[C]Proc of AI 2009: Advances in Artificial Intelligence. Berlin: Springer, 2009: 52-61

[20]Chanel G, Kierkels J J M, Soleymani M, et al. Short-term emotion assessment in a recall paradigm[J]. International Journal of Human-Computer Studies, 2009, 67(8): 607-627

[21]Kothe C A, Makeig S, Onton J A. Emotion recognition from EEG during self-paced emotional imagery[C]Proc of Humaine Association Conf on Affective Computing and Intelligent Interaction. Piscataway, NJ: IEEE, 2013: 855-858

[22]van Reekum C, Johnstone T, Banse R, et al. Psychophy-siological responses to appraisal dimensions in a computer game[J]. Cognition and Emotion, 2004, 18(5): 663-688

[23]Merkx P A B, Truong K P, Neerincx M A. Inducing and measuring emotion through a multiplayer first-person shooter computer game[C]Proc of Computer Games Workshop. Amsterdam, the Netherlands: TNO Defensie en Veiligheid, 2007

[24]Lang P J, Bradley M M, Cuthbert B N. International affective picture system (IAPS): Technical manual and affective ratings[R]. Gainesville, FL: NIMH Center for the Study of Emotion and Attention, 1997

[25]Lang P J, Bradley M M, Cuthbert B N. International affective picture system (IAPS): Affective ratings of pictures and instruction manual[R]. Gainesville, FL: NIMH Center for the Study of Emotion and Attention, 2005

[26]Ekman P, Friesen W. Pictures of Facial Affect[M]. Sunnyvale, CA: Consulting Psychologists Press, 1975

[27]Bradley M M, Lang P J. Affective norms for English words (ANEW): Instruction manual and affective ratings, C-1[R]. Gainesville, FL: the Center for Research in Psychophysiology, University of Florida, 1999

[28]Ekman P. Emotions Revealed: Understanding Thoughts and Feelings[M]. London: Weidenfeld and Nicolson, 2003

[29]Bai Lu, Ma Hui, Huang Yuxia, et al. The development of native Chinese affective picture system-a pretest in 46 college students[J]. Chinese Mental Health Journal, 2005, 19(11): 719-722 (in Chinese)(白露, 馬慧, 黃宇霞, 等. 中國情緒圖片系統的編制——在46名中國大學生中的試用[J]. 中國心理衛生雜志, 2005, 19(11): 719-722)

[30]Zheng Pu, Liu Conghui, Yu Guoliang. An overview of mood-induction methods[J]. Advances in Psychological Science, 2012, 20(1): 45-55 (in Chinese)(鄭璞, 劉聰慧, 俞國良. 情緒誘發方法述評. 心理科學進展, 2012, 20(1): 45-55)

[31]Bradley M M, Lang P J. The International affective digitized sounds (2nd ed; IADS-2): Affective ratings of sounds and instruction manual, B-3[R]. Gainesville, FL: University of Florida, 2007

[32]Liu Taosheng, Ma Hui, Huang Yuxia, et al. Primary study of establishing an affective sound system of China[J]. Chinese Mental Health Journal, 2006, 20(11): 709-712 (in Chinese)(劉濤生, 馬慧, 黃宇霞, 等. 建立情緒聲音刺激庫的初步研究[J]. 中國心理衛生雜志, 2006, 20(11): 709-712)

[33]Khosrowabadi R, Quek H C, Wahab A, et al. EEG-based emotion recognition using self-organizing map for boundary detection[C]Proc of Int Conf on Pattern Recognition. Piscataway, NJ: IEEE, 2010: 4242-4245

[34]Gross J J, Levenson R W. Emotion elicitation using films[J]. Cognition & Emotion, 1995, 9(1): 87-108

[35]Schaefer A, Nils F, Sanchez X, et al. Assessing the effectiveness of a large database of emotion-eliciting films: A new tool for emotion researchers[J]. Cognition and Emotion, 2010, 24(7): 1153-1172

[36]Xu Pengfei, Huang Yuxia, Luo Yuejia. Establishment and assessment of native Chinese affective video system[J]. Chinese Mental Health Journal, 2010, 24(7): 551-561 (in Chinese)(徐鵬飛, 黃宇霞, 羅躍嘉. 中國情緒影像材料庫的初步編制和評定[J]. 中國心理衛生雜志, 2010, 24(7): 551-561)

[37]Liang Yuchi, Hsieh Shulan, Weng Chiaying, et al. Taiwan corpora of Chinese emotions and relevant psychophysiological data—standard Chinese emotional film clips database and subjective evaluation normative data[J]. Chinese Journal of Psychology, 2013, 55(4): 601-621 (in Chinese)(梁育綺, 謝淑蘭, 翁嘉英, 等. 臺灣地區華人情緒與相關心理生理數據庫—標準化華語版情緒電影短片材料庫與主觀評量常模[J]. 中華心理期刊, 2013, 55(4): 601-621)

[38]Daimi S N, Saha G. Recognition of emotions induced by music videos using DT-CWPT[C]Proc of Indian Conf on Medical Informatics and Telemedicine. Piscataway, NJ: IEEE, 2013: 53-57

[39]Daimi S N, Saha G. Classification of emotions induced by music videos and correlation with participants’ rating[J]. Expert Systems with Applications, 2014, 41(13): 6057-6065

[40]Rozgic V, Vitaladevuni S N, Prasad R. Robust EEG emotion classification using segment level decision fusion[C]Proc of IEEE Int Conf on Acoustics, Speech and Signal Processing. Piscataway, NJ: IEEE, 2013: 1286-1290

[41]Zhuang Xiaodan, Rozgic V, Crystal M. Compact unsupervised EEG response representation for emotion recognition[C]Proc of IEEE EMBS Int Conf on Biomedical and Health Informatics. Piscataway, NJ: IEEE, 2014: 736-739

[42]Torres C A, Orozco A A, Alvarez M A. Feature selection for multimodal emotion recognition in the arousal-valence space[C]Proc of Int Conf of the IEEE Engineering in Medicine and Biology Society. Piscataway, NJ: IEEE, 2013: 4330-4333

[43]Yoon H J, Chung S Y. EEG-based emotion estimation using Bayesian weighted-log-posterior function and perceptron convergence algorithm[J]. Computers in Biology and Medicine, 2013, 43(12): 2230-2237

[44]Hatamikia S, Maghooli K, Nasrabadi A M. The emotion recognition system based on autoregressive model and sequential forward feature selection of electroencephalogram signals[J]. Journal of Medical Signals and Sensors, 2014, 4(3): 194-201

[45]Xiang Jie, Cao Rui, Li Li. Emotion recognition based on the sample entropy of EEG[J]. Bio-Medical Materials and Engineering, 2014, 24(1): 1185-1192

[46]Jirayucharoensak S, Pan-Ngum S, Israsena P. EEG-based emotion recognition using deep learning network with principal component based covariate shift adaptation[J]. The Scientific World Journal, 2014, 2014: 1-10

[47]Matiko J W, Beeby S P, Tudor J. Fuzzy logic based emotion classification[C]Proc of IEEE Int Conf on Acoustics, Speech and Signal Processing. Piscataway, NJ: IEEE, 2014: 4389-4393

[48]Verma G K, Tiwary U S. Multimodal fusion framework: A multiresolution approach for emotion classification and recognition from physiological signals[J]. Neuroimage, 2014, 102: 162-172

[49]Lee Youyun, Hsieh Shulan. Classifying different emotional states by means of EEG-based functional connectivity patterns[J]. Plos One, 2014, 9(4): e95415

[50]Yu Kai, Jia Lei, Chen Yuqiang, et al. Deep learning: Yesterday, today, and tomorrow[J]. Journal of Computer Research and Development, 2013, 50(9): 1799-1804 (in Chinese)(余凱, 賈磊, 陳雨強, 等. 深度學習的昨天、今天和明天[J]. 計算機研究與發展, 2013, 50(9): 1799-1804)

[51]Li Ming, Zhou Zhihua. Online semi-supervised learning with multi-kernel ensemble[J]. Journal of Computer Research and Development, 2008, 45(12): 2060-2068 (in Chinese)(黎銘, 周志華. 基于多核集成的在線半監督學習方法[J]. 計算機研究與發展, 2008, 45(12): 2060-2068)

[52]Jatupaiboon N, Pan-Ngum S, Israsena P. Real-time EEG-based happiness detection system[J]. The Scientific World Journal, 2013, 2013: 1-10

[53]Wang Xiaowei, Shi Lichen, Lu Baoliang. A survey on the technology of dry electrodes for EEG recording[J]. Chinese Journal of Biomedical Engineering, 2010, 29(5): 777-784 (in Chinese)(王曉韡, 石立臣, 呂寶糧. 干電極腦電采集技術綜述[J]. 中國生物醫學工程學報, 2010, 29(5): 777-784)

Zhao Guozhen, born in 1984. Received his PhD degree from the State University of New York in 2011. Assistant Professor at the Institute of Psychology, Chinese Academy of Sciences. His main research interests include the mathematical modeling of human cognition and performance, transportation safety, human computer interaction, neuroergonomics and their applications in intelligent system design.

Song Jinjing, born in 1990. Master candidate at the Institute of Psychology, Chinese Academy of Sciences. Her main research interests include emotion recognition based on EEG and physiological signals.

Ge Yan, born in 1981. Received her PhD degree from the Institute of Psychology, Chinese Academy of Sciences in 2008. Associate professor at Institute of Psychology, Chinese Academy of Sciences. Her main research interests include human-computer interaction.

Liu Yongjin, born in 1977. Received his PhD degree from the Hong Kong University of Science and Technology in 2004. Associate professor at the Tsinghua National Laboratory for Information Science and Technology (TNList), Department of Computer Science and Technology, Tsinghua University. Member of IEEE and IEEE Computer Society. His main research interests include computational geometry, cognitive computation and computer graphics.

Yao Lin, born in 1985. Received his PhD degree from the Institute of Psychology, Chinese Academy of Sciences in 2012. Researcher at China Mobile Research Institute. His main research interests include human-computer interaction and innovation in handheld, mobile and wearable technologies.

Wen Tao, born in 1985. Received his master degree at the Capital Normal University in 2010. Researcher at China Mobile Research Institute. His main research interests include collecting, analyzing, presenting usability metrics of mobile data services through behavioral-based research method.

中圖法分類號TP18

基金項目：國家自然科學基金項目(31300852,61322206)

收稿日期：2015-07-06；修回日期：2015-10-16

This work was supported by the National Natural Science Foundation of China (31300852,61322206).