基于遞歸定量分析的生理信號情感識別

李才隆，葉 寧,2，黃海平,2，王汝傳,2

(1.南京郵電大學(xué) 計算機(jī)學(xué)院、軟件學(xué)院、網(wǎng)絡(luò)空間安全學(xué)院，江蘇 南京 210000； 2.南京郵電大學(xué) 江蘇省無線傳感網(wǎng)高技術(shù)重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210000)

1 概 述

隨著科技的發(fā)展，人們已經(jīng)離不開因特網(wǎng)，計算機(jī)的發(fā)展給社會帶來了巨大的經(jīng)濟(jì)價值，人與計算機(jī)的交互時間越來越長。人們迫于生活、學(xué)習(xí)等方面的壓力，心理的壓力與焦慮也越來越多。因此，使用機(jī)器檢測人體的情感狀態(tài)并輔助人們調(diào)整心理狀態(tài)已經(jīng)變得越來越有價值。目前，國內(nèi)對情感在語音情感理解、文本情感理解等方面的研究獲得了很大成果。文獻(xiàn)[1]通過聚合經(jīng)驗(yàn)?zāi)B(tài)分解算法以非線性的處理方式提取語音信號特征，情感識別率達(dá)到91.67%。文獻(xiàn)[2]使用基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)模型分析文本的情感傾向，采用分段池化的策略將句子結(jié)構(gòu)考慮進(jìn)來，實(shí)驗(yàn)結(jié)果表明較基線模型都有顯著的提升。文獻(xiàn)[3]以語音信號和面部表情信號為研究對象,提出了將提取的語音信號和面部表情信號特征進(jìn)行融合的多模式情感識別算法，使整個情感信息的融合過程更加接近人類情感識別,情感識別率達(dá)91.2%。

與語音情感識別、文本情感識別等相比，關(guān)于生理信號的情感識別已成為一個非常重要的研究方向。這是因?yàn)槿梭w的生理信號與人體密切相關(guān)，生理信號被認(rèn)為是測定情感狀態(tài)的客觀指標(biāo)之一，它們可以更直接反映出人體情感狀態(tài)。當(dāng)今技術(shù)的發(fā)展使得生理信息不再是侵入型的。隨著可穿戴設(shè)備的發(fā)展，微型化的傳感器產(chǎn)品已經(jīng)廣泛應(yīng)用于人們的日常生活，例如智能手表、智能手環(huán)等等。它們通過與人體的接觸，很容易并且很方便就可以獲取人體的相關(guān)生理信號數(shù)據(jù)，并且這個過程不會對用戶造成明顯的干擾。隨著科技的發(fā)展，基于生理信號的情感識別設(shè)備必將改變?nèi)藗兊娜粘Ｉ睿谙硎苤鴻C(jī)器帶給人們經(jīng)濟(jì)效益的同時，又可以享受機(jī)器帶給人們精神上的享受。

目前基于生理信號的情感識別特征提取研究大多集中于時域和頻域的統(tǒng)計特征。現(xiàn)今有大量實(shí)驗(yàn)證明，非線性特征作用極大。混沌理論在1985年首次應(yīng)用于腦電非線性動力學(xué)分析[4]。Natarajan等對不同精神狀態(tài)下的腦電信號進(jìn)行采集，提取了腦電信號的多個非線性特征，如近似熵、Hurst指數(shù)和關(guān)聯(lián)維數(shù)等。結(jié)果顯示主體聯(lián)想維度中的認(rèn)知活動將顯著增加[5]。Eero Vayrynen等在語音信號中研究了個體悲傷、憤怒、喜悅、中性等情緒，提取了語音信號中的非線性特性，使用非線性特性提取方法對個體情緒進(jìn)行識別[6]。E D Beyli提取了人體心跳信號的小波系數(shù)和李雅普諾夫指數(shù)等非線性特征，使用神經(jīng)網(wǎng)絡(luò)等方法構(gòu)建模型，達(dá)到了對心臟病進(jìn)行早期檢測的目的[7]。文獻(xiàn)[8]采用多種非線性數(shù)據(jù)值分析方法提取情感生理信號的非線性特征，發(fā)現(xiàn)了非線性特征提取對情感分類效果顯著。文獻(xiàn)[9]對皮層腦電時間序列進(jìn)行相空間重構(gòu)以及非線性特征提取，實(shí)驗(yàn)結(jié)果表明非線性特征的提取對預(yù)報癲癇發(fā)作和治療有一定的幫助。文獻(xiàn)[10]通過對腦卒中后抑郁癥患者腦電信號的非線性動力學(xué)特征進(jìn)行分析，發(fā)現(xiàn)腦卒中后抑郁癥患者的腦電信號樣本熵和LZC復(fù)雜度值均小于健康人。文獻(xiàn)[11]對運(yùn)動誘發(fā)局部肌肉疲勞肌音信號進(jìn)行非線性特性分析，其結(jié)果表明計算混沌的特征指數(shù)可以對肌肉運(yùn)動特征進(jìn)行分類分析。

遞歸圖特征就是非線性特征中的一種。在研究人體生理信號的基礎(chǔ)上，文中提出了基于遞歸圖和遞歸定量分析相結(jié)合的方法，提取了生理信號中基于遞歸定量分析的10組特征：遞歸率(recurrence rate)、確定率(determinism)、平均的對角線長度(averaged diagonal length)、最長對角線長度(length of longest diagonal line)、對角線長度熵(entropy of diagonal length)、構(gòu)成垂直/水平線的遞歸點(diǎn)百分比(laminarity)、捕獲時間(trapping time)、最長垂直線長度(length of longest vertical line)、第一型遞歸時間(recurrence time of 1st type)、第二型遞歸時間(recurrence time of 2nd type)，并與德國Augsburg大學(xué)提取的傳統(tǒng)統(tǒng)計特征在情感識別效果上進(jìn)行對比。最后采用神經(jīng)網(wǎng)絡(luò)、K近鄰、樸素貝葉斯、決策樹算法進(jìn)行情感識別。

2 遞歸圖理論

在自然生活中存在著很多反復(fù)性行為，例如周期性(如季節(jié)更替)，還有不規(guī)則的周期性(如厄爾尼諾南方濤動)。根據(jù)龐加萊復(fù)發(fā)定理，某些系統(tǒng)經(jīng)過足夠長的有限時間回到初始狀態(tài)時非常接近。也就是說，狀態(tài)的再次發(fā)生，意味著狀態(tài)在一段時間里又是任意接近的，這是確定性動力系統(tǒng)的基本特征，對于非線性系統(tǒng)或者混沌系統(tǒng)具有典型的特征。這些在自然界中的重現(xiàn)現(xiàn)象已經(jīng)為人們所知，并在很早就有人進(jìn)行了相關(guān)的研究工作。

自然界中存在著相當(dāng)多的非線性混沌特征信號，生物體的電信號就屬于這類典型。現(xiàn)如今，在人體的生理信號(例如腦電信號、心電信號、皮膚電信號、肌電信號)中挖掘有效信息，進(jìn)而分類人體的健康狀態(tài)，已成為醫(yī)學(xué)中不可逾越的一個問題。生理信號是一種非線性時間序列信號。與周期性信號相比，非線性時間序列信號的運(yùn)動狀態(tài)不可能像周期性信號那樣回到之前的某個狀態(tài)，這就給研究生理信號工作帶來了極大的挑戰(zhàn)。但是，由于這種非周期性信號具有偽隨機(jī)性，其運(yùn)動狀態(tài)可能接近之前某個時間的運(yùn)動狀態(tài)，也就是說，在某兩個時刻，這種非周期信號具有相似的動力學(xué)行為。遞歸圖就是一種可以分析時間序列周期性以及非平穩(wěn)性的重要方法，揭示了時間序列的內(nèi)部結(jié)構(gòu)，并給出有關(guān)相似性、信息量和預(yù)測性的先驗(yàn)知識，可以檢驗(yàn)時間序列的平穩(wěn)性、內(nèi)在相似性。

遞歸圖由Eckmann等[12]于1987年提出，主要用于對非線性動力系統(tǒng)的定性分析。遞歸圖的數(shù)學(xué)定義如下：

Ri,j=Θ(εi-||xi-xj||),xi∈Rm,

i,j=1,2,…,N

(1)

遞歸圖可以用來描述這種兩狀態(tài)間的相互靠近程度及靠近程度的頻率[13]。其實(shí)質(zhì)就是將高維運(yùn)動狀態(tài)的軌跡映射到二維圖形中，從而可以直觀地看出其動力學(xué)行為。從圖形上看，遞歸圖是一個0和1構(gòu)成的二維矩陣。矩陣值是高維運(yùn)動狀態(tài)中兩個位置的運(yùn)動狀態(tài)間的距離，選取一個閾值，若兩個位置的運(yùn)動狀態(tài)間的距離大于這個閾值，則值為1，反之為0。

求遞歸圖首先要進(jìn)行相空間重構(gòu)。對于非線性時間序列信號一般采用延遲坐標(biāo)狀態(tài)空間重構(gòu)法。給定時間序列{x(1),x(2),…,x(n)}的不同時間延遲0,τ,…,(m-1)τ，構(gòu)造m維相空間矢量：

Xi(t)={x(t+i),x(t+i+τ),…,x(t+i+(m-1)τ)},i=0,1,…,m-1

(2)

其中，m是嵌入維數(shù)，τ是時間延遲。

然后求兩個狀態(tài)之間的距離，選擇合適的距離閾值，求兩個時刻的遞歸狀態(tài)值。根據(jù)兩個時刻的遞歸狀態(tài)值，以i時刻為橫坐標(biāo)，j時刻為縱坐標(biāo)，可以得出一個0和1兩個值的遞歸矩陣R。根據(jù)遞歸矩陣畫一個黑白二色矩陣為遞歸圖，當(dāng)兩個位置的運(yùn)動狀態(tài)間的距離大于選取的閾值時，即Rij=1時，遞歸圖上為黑點(diǎn)，當(dāng)兩個位置的運(yùn)動狀態(tài)間的距離小于選取的閾值時，即Rij=0時，遞歸圖上為白點(diǎn)。圖1是一段皮膚電信號的遞歸圖。

圖1 皮膚電信號遞歸圖

3 參數(shù)提取

3.1 非線性特征提取

遞歸圖在非周期信號中結(jié)構(gòu)比較復(fù)雜，難以得到較為準(zhǔn)確的信息。為了更好地對遞歸圖進(jìn)行定量分析，Zbilut等[14]提出了遞歸定量分析(recurrence quantification analysis，RQA)方法。主要目的是將圖形量化，使用一些量化指標(biāo)可以更好地得到這些非周期信號的一些特征。在遞歸圖中提取如下的量化指標(biāo)：

(1)遞歸率(recurrence rate):指遞歸圖中遞歸點(diǎn)的密度，就是遞歸點(diǎn)的百分比(在遞歸圖中黑色點(diǎn)總數(shù)的比例)。

(3)

(2)確定率(determinism):指遞歸圖中一小部分形成對角線的遞歸點(diǎn)的百分比(構(gòu)成平行對角線方向的線段上黑點(diǎn)所占比例)。

(4)

其中，lmin為最小的對角線長度；P(l)為長度為l的對角線比例。

(3)對角線長度的平均值(mean diagonal line length)：平行于對角線方向線段的加權(quán)平均值。

(5)

(4)熵(entropy)：主要衡量遞歸結(jié)構(gòu)的復(fù)雜性。

(6)

(5)構(gòu)成垂直/水平線的遞歸點(diǎn)百分比(laminarity):構(gòu)成垂直/水平直線的遞歸點(diǎn)比例。

(7)

其中，P(v)為遞歸圖中長度為v的垂直線比例。

(6)捕獲時間(trapping time)：指垂直線的平均長度。

(8)

(7)最長垂直線長度(longest vertical line)。

Vmax=max({vi;i=1,2,…,Nv})

(9)

(8)最長對角線長度(longest diagonal line)。

Lmax=max({li;i=1,2,…,Nl})

(10)

(9)第一型遞歸時間(recurrence time of 1st type)。

T1(i)=ti+1-ti,i=1,2,…,K

(11)

(10)第二型遞歸時間(recurrence time of 2nd type)。

T2(i)=ti+1-ti,i=1,2,…,K

(12)

3.2 統(tǒng)計特征提取

為了與傳統(tǒng)統(tǒng)計特征情感識別性能進(jìn)行對比，計算了德國Augsburg大學(xué)在皮膚電信號、肌電信號、呼吸信號中提取的常見統(tǒng)計特征，包括平均值、中位數(shù)、標(biāo)準(zhǔn)差、最大值、最小值、最小值比率、最大值比率、一階差分的均值、一階差分的中位數(shù)、一階差分的標(biāo)準(zhǔn)差、一階差分的最大值、一階差分的最小值、一階差分的最小值比率、一階差分的最大值比率、二階差分的均值、二階差分的中位數(shù)、二階差分的標(biāo)準(zhǔn)差、二階差分的最大值、二階差分的最小值、二階差分的最小值比率、二階差分的最大值比率這21個特征。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 數(shù)據(jù)獲取

實(shí)驗(yàn)選取了德國Augsburg大學(xué)提供的生理信號數(shù)據(jù)庫，該數(shù)據(jù)庫是由一個歌唱家處于4種不同基調(diào)的歌曲誘發(fā)下產(chǎn)生的四種情感(joy、anger、sadness、pleasure)信號組成[15]。分別在每一種情感狀態(tài)下采集了2分鐘的4種生理信號，主要使用其中的皮膚電信號、肌電信號、呼吸信號。它們的采樣頻率都為32 Hz，持續(xù)25天的數(shù)據(jù)采集，共100個樣本。每組信號的原始數(shù)據(jù)長度都為3 840。圖2所示為一段原始的生理信號，自上而下分別是皮膚電信號、肌電信號和呼吸信號。

4.2 數(shù)據(jù)處理

由于生理信號的頻率較低，一般皮膚電信號的有效頻率在0.3 Hz以下。為此，采用低通濾波器對生理信號進(jìn)行預(yù)處理，并且皮膚電信號中有基線漂移噪聲，為此，實(shí)驗(yàn)中去除了皮膚電的基線漂移。對于肌電信號，使用低通濾波器獲取0.4 Hz以下的有效部分。呼吸信號獲取0.5 Hz以下的有效部分。圖3是經(jīng)過處理后的生理信號圖。

4.3 特征提取與分類識別

使用第3節(jié)中的參數(shù)提取方法，提取了生理信號中的非線性特征和常規(guī)統(tǒng)計特征。使用常用的分類識別算法，將這些算法進(jìn)行目標(biāo)情感的分類識別。

圖3 處理后的生理信號

為降低復(fù)雜性，采取二分類情感識別的特征選擇模型，即假設(shè)一種情感是目標(biāo)情感，其他的則認(rèn)為是干擾的情感[16]。采用正確率(TPR)和錯誤率(FPR)來評估分類器的分類性能，公式如下所示：

(13)

(14)

從上式可以看出，TPR的值越大，表示識別準(zhǔn)確度越高，分類識別的效果越好。同理，F(xiàn)PR的值越小，錯誤識別率就越低，分類識別的效果越好。數(shù)據(jù)庫中joy、anger、sadness、pleasure四種情感樣本各50個，基于以上提取的遞歸圖特征參數(shù)，使用神經(jīng)網(wǎng)絡(luò)、K近鄰、樸素貝葉斯、決策樹這四種分類器均采用5倍交叉驗(yàn)證選擇樣本的訓(xùn)練集和測試集，計算每種分類器的TPR和FPR，如表1所示。

表1 基于遞歸圖特征參數(shù)使用分類器計算的TPR和FPR

從表1可以看出，NBC對joy的識別性能最好，正確識別率為80%；在對anger情感進(jìn)行識別的過程中，很明顯KNN識別率較低，而其他分類器性能較好，識別率都為92%；在對sadness情感進(jìn)行識別的過程中，NBC對sadness的識別性能最好，識別率為80%；在對pleasure情感進(jìn)行識別的過程中，DT對pleasure的識別性能最好，識別率為84%。

另外，在常規(guī)統(tǒng)計特征中，同樣使用神經(jīng)網(wǎng)絡(luò)、K最近鄰、樸素貝葉斯、決策樹這四種分類器均采用5倍交叉驗(yàn)證選擇樣本的訓(xùn)練集和測試集，計算每種分類器的TPR和FPR，如表2所示。

為了評估基于遞歸圖特征與統(tǒng)計特征的情感識別性能，采用分類器識別結(jié)果的平均值作為識別性能的判斷標(biāo)準(zhǔn)，則兩類特征的識別對比如表3所示。

表3 遞歸圖特征和統(tǒng)計特征情感識別性能對比

通過上面識別對比可以發(fā)現(xiàn)，基于遞歸圖特征的情感分類識別率都要明顯高于基于傳統(tǒng)統(tǒng)計特征的情感識別率。而在錯誤識別率上，基于遞歸圖特征的情感分類錯誤識別率基本上都小于統(tǒng)計特征的情感分類錯誤識別率。另外，對同樣的樣本，遞歸圖特征只提取了10個特征，而傳統(tǒng)的統(tǒng)計特征提取了21個特征。

綜上所述，使用遞歸圖特征進(jìn)行情感識別的效果明顯優(yōu)于傳統(tǒng)的基于統(tǒng)計特征的情感識別的效果，基于遞歸圖特征的情感識別在提高識別結(jié)果精度上使用了更少的特征參數(shù)。

5 結(jié)束語

在物質(zhì)生活比較發(fā)達(dá)的今天，人們更多地追求精神上的享受。基于生理信號的情感識別就是一個將科技直接轉(zhuǎn)化為生產(chǎn)力和精神追求的重要技術(shù)。基于生理信號的情感識別以一種非侵入無損的方式反映人體的情感狀態(tài)，這些情感狀態(tài)的結(jié)果可以提供給人們有益的反饋和指導(dǎo)，使得人們的生活更加健康幸福。針對基于常規(guī)統(tǒng)計特征的方法在情感分類識別效果上不理想的問題，在研究人體生理信號的基礎(chǔ)上，提出了基于遞歸圖和遞歸定量分析相結(jié)合的方法，提取了生理信號遞歸圖中的10組非線性特征。理論分析和實(shí)驗(yàn)結(jié)果表明，基于遞歸圖特征的情感分類識別率都要明顯高于基于傳統(tǒng)統(tǒng)計特征的情感識別率。而在錯誤識別率上，基于遞歸圖特征的情感分類錯誤識別率基本上都小于基于統(tǒng)計特征的情感分類錯誤識別率。充分說明了基于遞歸定量分析的生理信號情感識別的優(yōu)越性。目前只是研究了遞歸圖中的非線性特征，未來可以提取更多的非線性特征構(gòu)建模型，從而進(jìn)一步提高情感識別效果。