基于SFS的多模態(tài)生理信號(hào)情感識(shí)別

王晗，王坤俠

(安徽建筑大學(xué) 電子與信息工程學(xué)院，安徽 合肥230601)

0 引言

情感識(shí)別是人工智能、人機(jī)交互以及模式識(shí)別和數(shù)字信號(hào)處理領(lǐng)域的研究熱點(diǎn)，也是基于情感計(jì)算領(lǐng)域的一個(gè)重要分支。1997年由MⅠT媒體實(shí)驗(yàn)室Picard教授提出情感計(jì)算是一種對(duì)于情感的研究方式之一，其目的是通過(guò)賦予計(jì)算機(jī)識(shí)別、理解、表達(dá)和適應(yīng)人的情感的能力來(lái)建立和諧人機(jī)環(huán)境，并使計(jì)算機(jī)具有更高的、全面的智能。隨著科學(xué)技術(shù)的發(fā)展，人們對(duì)人工智能的要求也越來(lái)越高，如何使人與計(jì)算機(jī)無(wú)縫隙交流也越來(lái)越受人們關(guān)注。情感作為交流的基礎(chǔ)，在人機(jī)交互的過(guò)程中發(fā)揮著越來(lái)越重要的作用。面部表情[1，2]和語(yǔ)音[3，4]情緒識(shí)別系統(tǒng)相對(duì)成熟。然而，這兩種方式都是非生理信號(hào)，并不能直接反映人類的內(nèi)在心理狀態(tài)。與面部圖像和語(yǔ)音[5，6]相比較，生理信號(hào)(皮膚電反應(yīng)(galvanic skin response， GSR)[7]、心電圖(electrocardiogram，ECG)[8]、腦電圖(electroencephalogram，EEG)[9])更能直接的表達(dá)人的情感。例如用人體的GSR[10]分析判斷人的精神壓力水平，并且多模態(tài)的生理信號(hào)比單一的生理信號(hào)能更加準(zhǔn)確的識(shí)別出相應(yīng)的情感[11]。故越來(lái)越多的學(xué)者們使用多模態(tài)生理信號(hào)進(jìn)行情感識(shí)別，但同時(shí)也有其不足之處。多模態(tài)生理信號(hào)通常具有較高的維度，高維度的特征集含有噪聲數(shù)據(jù)，從而影響情感識(shí)別的結(jié)果。因此，為獲得影響因子較大的特征，需要對(duì)特征集進(jìn)行選擇。

本文分為三部分進(jìn)行敘述，首先對(duì)前人的工作進(jìn)行介紹，接著再敘述實(shí)驗(yàn)中的模型框架，最后用分類器對(duì) No emotion/中立，Anger/憤怒，Hate/憎恨 ，Grief/悲 傷 ，Platonic love/愛(ài) 情 ，Romantic Love/浪漫的愛(ài)情，Joy/快樂(lè)和Reverence/尊敬這8種情感進(jìn)行識(shí)別。

1 相關(guān)工作

生理信號(hào)包含著人類情感中許多的信息，具有重大的研究意義。生理信號(hào)是由人的神經(jīng)系統(tǒng)和內(nèi)分泌系統(tǒng)調(diào)控的，能直接反映人類的真實(shí)情感，且在情感識(shí)別過(guò)程中很大程度上減少其它因素的干擾。先前研究工作提出了許多有效的生理特征。例如Kurniawan H等人[12]提取GSR的峰高的平均值，最小值，最大值和標(biāo)準(zhǔn)偏差等特征來(lái)對(duì)人體的壓力情況進(jìn)行檢測(cè)。Kim J等[13]人在2008年時(shí)使用了一種音樂(lè)感應(yīng)方法并且用肌電圖(Electromyogram，EMG)，ECG，GSR 和呼吸(respiration，RSP)的參數(shù)去進(jìn)行情感研究；Bhandari等[14]人在2015年時(shí)用GSR，心率變異性和RSP去研究生物反饋游戲中放松技能轉(zhuǎn)移的生理方式；Tengfei Song等[15]人提出了一種新的注意力長(zhǎng)的短期記憶(A-LSTM)方法來(lái)提取EEG，ECG，GSR和RSP的辨別特征，從而提高實(shí)驗(yàn)結(jié)果的準(zhǔn)確率。多模態(tài)生理信號(hào)雖然能提高情感識(shí)別的準(zhǔn)確率，但同時(shí)也增加了特征集的維度。高維度的特征集在識(shí)別過(guò)程中提高了計(jì)算機(jī)的復(fù)雜度，花費(fèi)了較大的計(jì)算機(jī)開銷。為了解決這一問(wèn)題，本文提取血容量搏動(dòng)(Blood volume pulse，BVP)信號(hào)，肌電信號(hào)，呼吸信號(hào)和GSR生理信號(hào)的平均值，標(biāo)準(zhǔn)偏差，一階差值的絕對(duì)值的平均值，歸一化信號(hào)的一階差值的絕對(duì)值的平均值，二階差值的絕對(duì)值的平均值，歸一化信號(hào)的二階差值的絕對(duì)值的平均值，采用SFS特征選擇來(lái)選取影響因子較大的特征，分別采用K近鄰(KNN)和支持向量機(jī)(SVM)作為分類器，進(jìn)行生理信號(hào)的情感特征選擇與識(shí)別。

2 模型設(shè)計(jì)

在本文中，我們構(gòu)建一個(gè)用于BVP、EMG、RSP和GSR這四種生理信號(hào)情感識(shí)別系統(tǒng)框架。該系統(tǒng)的框圖如圖1所示。該系統(tǒng)由三個(gè)模塊組成，分別是特征提取，特征選擇和分類。

2.1 特征提取

本文分別提取BVP、EMG、RSP和GSR四種生理信號(hào)的六個(gè)統(tǒng)計(jì)特征。設(shè)Xn表示GSR原始信號(hào)的第n個(gè)樣本的值，其中n=1……2000，N=2000，ux和σx是 X 的平均值和標(biāo)準(zhǔn)偏差，X?n是數(shù)據(jù)X歸一化，δx和rx分別是X的一階差值的絕對(duì)值的均值和二階差值的絕對(duì)值的均值，δ?x和r?x是X歸一化后的一階差值的絕對(duì)值的均值和二階差值的絕對(duì)值的均值。如公式(1)～式(7)所示。

該數(shù)據(jù)集中包括4種生理信號(hào)和8種情感狀態(tài)的測(cè)量值，連續(xù)采集20天。實(shí)驗(yàn)中分別提取4種生理信號(hào)中每種情緒的6個(gè)統(tǒng)計(jì)特征，故共有24個(gè)統(tǒng)計(jì)特征，160個(gè)樣本。

圖1 多模態(tài)生理信號(hào)實(shí)驗(yàn)框架圖

2.2 特征選擇

特征選擇是為了剔除特征集中不相關(guān)或冗余的特征，從而達(dá)到減少特征個(gè)數(shù)，提高模型精確度，減少程序運(yùn)行時(shí)計(jì)算機(jī)開銷的目的。特征選擇的過(guò)程一般分為四個(gè)部分，分別是產(chǎn)生過(guò)程、評(píng)價(jià)函數(shù)、停止準(zhǔn)則和驗(yàn)證過(guò)程。

本文中選取了啟發(fā)式搜索的序列前向選擇(SFS，Sequential Forward Selection)算法進(jìn)行特征選擇。該算法避免了簡(jiǎn)單的窮舉式搜索的缺點(diǎn)，減少了巨大的計(jì)算開銷。序列前向選擇(SFS)是一種簡(jiǎn)單的貪心算法。特征子集Y從空集開始，每次選擇一個(gè)特征x加入特征子集Y，使得特征函數(shù)J(Y)最優(yōu)。其中只能加入特征而不能去除特征。在該實(shí)驗(yàn)中，使用封裝器對(duì)特征選擇后的特征子集進(jìn)行評(píng)價(jià)。其中SFS算法的步驟如下:

第一步 數(shù)據(jù)歸一化、標(biāo)準(zhǔn)化。

第二步 建立空的特征子集Y0={}?。第三步 選擇一個(gè)特征x使J( )Yk+x最優(yōu)，記作

第四步 更新特征子集Y。將x+加入特征子集 Y 中，記作Yk+1=Yk+x+，k=k+1。

第五步 循環(huán)執(zhí)行。轉(zhuǎn)置執(zhí)行第三步，直至特征集X中所有特征都被遍歷。

2.3 分類

分類器依據(jù)樣本集是否有標(biāo)簽分為有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)。有監(jiān)督學(xué)習(xí)通過(guò)標(biāo)記的訓(xùn)練數(shù)據(jù)推斷出分類函數(shù)，在用分類函數(shù)將新樣本映射到對(duì)應(yīng)的標(biāo)簽。非監(jiān)督學(xué)習(xí)指的是給予分類器學(xué)習(xí)的樣本但沒(méi)有相對(duì)應(yīng)類別標(biāo)簽，主要是尋找未標(biāo)記數(shù)據(jù)中的隱藏結(jié)構(gòu)。在監(jiān)督學(xué)習(xí)方式中，每個(gè)訓(xùn)練樣本包括訓(xùn)練樣本的特征和相對(duì)應(yīng)的標(biāo)簽。

本文選取支持向量機(jī)(Support Vector Machine，SVM)和 K 近鄰(K-Nearest Neighbor algorithm，KNN)作為分類器。SVM是一類按監(jiān)督學(xué)習(xí)方式對(duì)數(shù)據(jù)進(jìn)行二元分類的廣義線性分類器，其決策邊界是對(duì)學(xué)習(xí)樣本求解的最大邊距超平面。假設(shè) X={X1，X2，…，XN}是輸入數(shù)據(jù)，Y={y1，y2，…，yN}是 X 對(duì)應(yīng)的標(biāo)簽，Xi={x1，x2，…，xn}是Xi的特征集。

若yi∈{-1,1}，則是線性支持向量機(jī)。需要找到一個(gè)超平面wT*X+b=0將對(duì)應(yīng)的標(biāo)簽區(qū)分開來(lái)。故:

由公式(8)(9)可得:

對(duì)于非線性支持向量機(jī)，要選取相應(yīng)的核函數(shù)，本實(shí)驗(yàn)中，選取RBF函數(shù)作為SVM的核函數(shù)。RBF的公式如下:

KNN是通過(guò)測(cè)量不同特征值之間的距離進(jìn)行分類。KNN和SVM不同，SVM是在接收測(cè)試數(shù)據(jù)會(huì)根據(jù)訓(xùn)練數(shù)據(jù)訓(xùn)練出來(lái)的分類模型進(jìn)行分類。而KNN會(huì)在接受到訓(xùn)練數(shù)據(jù)后，只是對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行簡(jiǎn)單的存儲(chǔ)，并不構(gòu)造分類模型，在接受到測(cè)試數(shù)據(jù)時(shí)，KNN通過(guò)計(jì)算測(cè)試數(shù)據(jù)與所存儲(chǔ)訓(xùn)練數(shù)據(jù)之間的距離，選擇前K個(gè)距離測(cè)試數(shù)據(jù)X最近的數(shù)據(jù)，并將這K個(gè)距離最近的數(shù)據(jù)中出現(xiàn)次數(shù)最多的類屬性賦給這個(gè)測(cè)試數(shù)據(jù)X。

本實(shí)驗(yàn)中，選取歐氏距離作為KNN的距離計(jì)算函數(shù)。兩個(gè)n維向量a=(xi1，xi2，…，xin)與b=(xj1，xj2，…，xjn)間的歐氏距離為dij，公式如下:

K折交叉驗(yàn)證(K-fold cross-validation)是將數(shù)據(jù)分成K份，輪流選取其中的K-1份數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，1份作為測(cè)試數(shù)據(jù)，進(jìn)行實(shí)驗(yàn)。對(duì)K次實(shí)驗(yàn)結(jié)果的正確率取均值作為最終的實(shí)驗(yàn)結(jié)果的識(shí)別率。

3 實(shí)驗(yàn)與分析

為了研究SFS的性能，在DataSetⅠ數(shù)據(jù)集進(jìn)行驗(yàn)證。本文中分別提取BVP，EMG，RSP和GSR 四種生理信號(hào)的ux、σx、δx、δ?x、rx和r?x六個(gè)統(tǒng)計(jì)特征，進(jìn)行單模態(tài)生理信號(hào)驗(yàn)證和多模態(tài)生理信號(hào)驗(yàn)證。

3.1 實(shí)驗(yàn)數(shù)據(jù)采集

MⅠT情感生理數(shù)據(jù)庫(kù)是Picard教授領(lǐng)導(dǎo)MⅠT多媒體情感計(jì)算研究研究小組連續(xù)20天每天采集32組生理數(shù)據(jù)[16]。該DataSet Ⅰ數(shù)據(jù)集中包括四種生理信號(hào)和八種情感狀態(tài)的測(cè)量值。實(shí)驗(yàn)者每天同一時(shí)間坐在安靜的空間里，在電腦提示系統(tǒng)的引導(dǎo)下，嘗試體驗(yàn)8種情感狀況，并實(shí)時(shí)記錄實(shí)驗(yàn)者的4種生理信號(hào)。所有數(shù)據(jù)的采樣頻率為20 Hz，采樣時(shí)間為 100 s。

3.2 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)是在DataSetⅠ數(shù)據(jù)庫(kù)上進(jìn)行的，分別對(duì)每種生理信號(hào)提取六個(gè)統(tǒng)計(jì)特征，對(duì)每種生理信號(hào)用SVM分類器進(jìn)行情感識(shí)別。實(shí)驗(yàn)結(jié)果如圖2所示。從圖2中可以看出，(1)在用統(tǒng)計(jì)特征進(jìn)行情感識(shí)別時(shí)BVP和RSP識(shí)別率效果最好，進(jìn)行特征選擇之后，EMG的識(shí)別率最好；(2)多模態(tài)的生理信號(hào)的識(shí)別效果比單一生理信號(hào)識(shí)別效果好；(3)在對(duì)特征集進(jìn)行特征選擇后，識(shí)別率都有顯著的提高。

圖2 DataSetI庫(kù)SVM情感識(shí)別率實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)在DataSet Ⅰ生理數(shù)據(jù)庫(kù)上對(duì)每種情感提取6個(gè)統(tǒng)計(jì)特征，故同一天中每種情感能夠提取24個(gè)統(tǒng)計(jì)特征。經(jīng)過(guò)SFS特征選擇之后，特征矩陣由160*24維度降成160*3維度，選取了160*24維中的第1列、第7列和第22列。最后分別使用SVM和KNN對(duì)160*3維的特征集分類。分類結(jié)果如圖3所示，從圖中可以看出，經(jīng)過(guò)SFS特征選擇后，用SVM分類器分類的識(shí)別率比之前高了約28%，KNN分類器分類的識(shí)別率比之前高了約17%。

圖3 不同分類器的情感識(shí)別結(jié)果

將本文方法同近年來(lái)學(xué)者們所提出的其他方法進(jìn)行比較，例如文獻(xiàn)[16]中DataSet Ⅰ的特征集進(jìn)行特征選擇時(shí)選用的方法是SFFS、Fisher和SFFSFP這三種算法，在DataSetⅠ數(shù)據(jù)集的識(shí)別結(jié)果進(jìn)行對(duì)比，對(duì)比結(jié)果如表1所示。由表1的對(duì)比結(jié)果可知，同其它方法相比，本文方法有較好的識(shí)別效果。

表1 與文獻(xiàn)[14]中DataSet I識(shí)別率比較

4 結(jié)論

本文利用BVP，EMG，RSP和GSR4種生理信號(hào)的每種6個(gè)統(tǒng)計(jì)特征去探索與8種情感之間的聯(lián)系，通過(guò)SFS特征選擇之后，最后用SVM和KNN對(duì)中立，憤怒，憎恨，悲傷，愛(ài)情，浪漫的愛(ài)情，快樂(lè)和尊敬這8種情感進(jìn)行識(shí)別，達(dá)到了比較理想的狀況。實(shí)驗(yàn)證明，采用SFS特征選擇后，情感識(shí)別率大大提高了，說(shuō)明SFS能夠提取質(zhì)量較優(yōu)的特征，同時(shí)降低了特征集的維度，減少計(jì)算機(jī)的開銷。