多種生理信號(hào)的采集及其在情緒分析中應(yīng)用

聶春燕，賀　方，佐藤禮華

(1．長(zhǎng)春大學(xué) 電子信息工程學(xué)院，長(zhǎng)春 1300222；2．長(zhǎng)春理工大學(xué) 電子信息工程學(xué)院，長(zhǎng)春 130022；3．大阪電氣通信大學(xué) 綜合信息學(xué)部，四條畷市清瀧 大阪府 575-0063)

?

多種生理信號(hào)的采集及其在情緒分析中應(yīng)用

聶春燕1，賀方2，佐藤禮華3

(1．長(zhǎng)春大學(xué) 電子信息工程學(xué)院，長(zhǎng)春 1300222；2．長(zhǎng)春理工大學(xué) 電子信息工程學(xué)院，長(zhǎng)春 130022；3．大阪電氣通信大學(xué) 綜合信息學(xué)部，四條畷市清瀧 大阪府 575-0063)

摘要：利用實(shí)驗(yàn)室現(xiàn)有設(shè)備采集測(cè)試者在4種情緒(Joy、Anger、Sadness、Pleasure)下的3種生理信號(hào)(心電、皮電及呼吸)。在此基礎(chǔ)上，基于相關(guān)算法對(duì)采集的生理信號(hào)提取混沌特征值。以混沌特征作為模式識(shí)別的特征參數(shù)，采用C5.0決策樹進(jìn)行情緒識(shí)別。研究結(jié)果表明在情緒識(shí)別方面，基于3種生理信號(hào)比1種生理信號(hào)具有更高的識(shí)別率。

關(guān)鍵詞：生理信號(hào)；混沌特征；情緒分析；決策樹

在心理康復(fù)訓(xùn)練時(shí)，為了能夠準(zhǔn)確掌握被試者的生理和心理狀況，需要對(duì)被試者的各種生理信號(hào)進(jìn)行實(shí)時(shí)觀測(cè)和分析，從而擬定相應(yīng)的治療計(jì)劃，安排合適的訓(xùn)練手段，有助于患者恢復(fù)健康。因此，研究不同情感下人的生理信號(hào)的變化，對(duì)預(yù)測(cè)和治療抑郁癥以及動(dòng)態(tài)評(píng)價(jià)人體健康狀態(tài)具有一定意義。生理信號(hào)是一種生物特征信號(hào)，主觀無法控制其變化。當(dāng)人情緒出現(xiàn)波動(dòng)時(shí)，生理信號(hào)也相應(yīng)改變，所以生理信號(hào)能夠表達(dá)當(dāng)前真實(shí)的情緒。采用非線性混沌理論進(jìn)行情緒識(shí)別是近年來研究的熱點(diǎn)，基于混沌特征的模式識(shí)別為情緒分析的研究提供一種新方法。

1情緒類型及素材的選擇

文中選擇常用的4種情緒狀態(tài)，分別是高興(Joy)、憤怒(Anger)、悲傷(Sadness)、愉快(Pleasure)，基本定義[1]如表1：

表1　4種情緒的定義

在采集數(shù)據(jù)之前，應(yīng)盡量讓被試者保持平靜狀態(tài)。首先被試者觀看4種不同類型視頻，情感誘發(fā)視頻素材如表2所示。利用多導(dǎo)生理記錄儀對(duì)被試者進(jìn)行測(cè)試，采集實(shí)時(shí)生理信號(hào)數(shù)據(jù)。視頻觀看階段，在情緒反應(yīng)較強(qiáng)烈時(shí)，在Acqknowledge軟件操作界面按F1鍵實(shí)時(shí)標(biāo)記，以此作為評(píng)估情緒的一個(gè)依據(jù)。生理信號(hào)數(shù)據(jù)采集的流程如圖1所示。

最后階段，將誘發(fā)情緒的每種電影分別剪輯為10段，這樣每種情緒對(duì)應(yīng)10個(gè)樣本。

表2　情感誘發(fā)視頻素材

圖1　生理信號(hào)數(shù)據(jù)采集基本流程

2實(shí)驗(yàn)儀器及數(shù)據(jù)采集

生理信號(hào)數(shù)據(jù)采集需要一套MP150多導(dǎo)生理記錄儀，兩臺(tái)電腦，其中一臺(tái)連接多導(dǎo)生理記錄儀，顯示采集的實(shí)時(shí)生理信號(hào)數(shù)據(jù)，另一臺(tái)用于被試者觀看情緒誘發(fā)素材視頻。

2.1MP150多導(dǎo)生理記錄儀

美國(guó)Biopac公司生產(chǎn)的MP150多導(dǎo)生理記錄儀是電腦化多導(dǎo)生理記錄儀，可同時(shí)測(cè)量心電、呼吸、皮膚電導(dǎo)、眼電、腸胃電等多種生理參數(shù)。MP150硬件性能參數(shù)有16個(gè)模擬數(shù)據(jù)采集通道，可以實(shí)現(xiàn)同時(shí)采集16種生理信號(hào)，實(shí)時(shí)采樣頻率最高為400KHz，并且可以聯(lián)網(wǎng)工作。

2.2MP150硬件連接與設(shè)置

實(shí)驗(yàn)室現(xiàn)有MP150多導(dǎo)生理記錄儀的ECG、SC、RSP模塊，以下將采集3種生理信號(hào)，即心電、呼吸及皮電信號(hào)，各模塊連接示意如圖2所示。

圖2　MP150多導(dǎo)生理記錄儀

圖2最左邊是MP150主機(jī)模塊，作用是給采集模塊供電，以及實(shí)現(xiàn)采集模塊與電腦的連接，保證電腦能夠?qū)崟r(shí)監(jiān)測(cè)數(shù)據(jù)的采集。將主機(jī)插上電源，用交叉網(wǎng)線將主機(jī)和PC機(jī)連接起來。通電狀態(tài)下POWER燈顯示為綠色。RSPEC-R模塊完成RSP信號(hào)和ECG信號(hào)的采集，MP150有16個(gè)模擬數(shù)據(jù)輸入通道，在設(shè)置RSP和ECG采集通道時(shí)，只需注意選擇的通道彼此不占用對(duì)方通道即互不沖突即可，并且保證各個(gè)信號(hào)的采集通道處于打開狀態(tài)。PPGED-R模塊實(shí)現(xiàn)SC信號(hào)的采集，SC通道只需注意不能與RSP和ECG通道相同，可以在剩下的14個(gè)通道里任意選擇。

下一步，被試者佩戴采集相應(yīng)生理信號(hào)的裝置，被試者心電和呼吸信號(hào)的采集裝置佩戴示意圖如圖3所示。ECG信號(hào)采用3導(dǎo)聯(lián)方式采集，將3張貼片電極分別置于胸腔左下第五肋與第四肋間，紅色正極導(dǎo)線連接；鎖骨下方劍突處，白色負(fù)極導(dǎo)線連接；遠(yuǎn)離心臟的右腹部，黑色地線連接。被試者在不同情緒下，心臟跳動(dòng)情況不同，在胸腔部位產(chǎn)生電位差，從而得到ECG信號(hào)。RSP信號(hào)的采集是在呼吸綁帶連接好后，將其綁于胸腔近膈肌高度處，微緊，確保被試者不會(huì)有約束感。被試者在不同情緒下胸腔收縮和擴(kuò)張程度不同，呼吸綁帶的拉伸度也隨之變化，通過內(nèi)置傳感器轉(zhuǎn)化為電信號(hào)傳輸?shù)讲杉到y(tǒng)里，從而獲得RSP信號(hào)。

圖3　ECG和RSP信號(hào)采集裝置佩戴示意圖

被試者皮電采集裝置佩戴示意圖如圖4所示，SC信號(hào)的采集通過PPGED-R模塊實(shí)現(xiàn)，采用3導(dǎo)聯(lián)的方式采集，一般選擇中指、無名指以及小拇指的指尖作為采集信號(hào)點(diǎn)。中指接紅色正極，無名指接白色負(fù)極，而小拇指接黑色地線。被試者在不同情緒下，手指皮膚導(dǎo)電性不同，產(chǎn)生的電位差也不同，電位差的變化就是皮電信號(hào)。

圖4　SC信號(hào)采集裝置佩戴示意圖

2.3Acqknowledge軟件設(shè)置

硬件部分設(shè)置成功后，再設(shè)置相配套軟件的參數(shù)。Acqknowledge軟件是MP150采集與分析系統(tǒng)的上位機(jī)軟件。這款軟件是基于硬件MP150多導(dǎo)生理采集系統(tǒng)開發(fā)的，最多能顯示60個(gè)通道，可對(duì)采集的數(shù)據(jù)進(jìn)行數(shù)字濾波、傅利葉變換等，而且能夠計(jì)算數(shù)據(jù)的最大值，最小值，心率，斜率等參數(shù)，能夠自由設(shè)定存儲(chǔ)時(shí)刻，重復(fù)次數(shù)，可用EXCEL進(jìn)行統(tǒng)計(jì)計(jì)算，數(shù)據(jù)資料可作為WINDOWS文件長(zhǎng)期保存。

打開Acqknowledge軟件后，對(duì)3種生理信號(hào)的采樣頻率均設(shè)置為500Hz，對(duì)硬件模塊上的通道選擇在軟件上做同樣的設(shè)置， RSPEC-R模塊通道設(shè)置如圖5所示。

圖5　RSPEC-R模塊通道設(shè)置

RSPEC-R模塊和PPGED-R模塊通道設(shè)置完成后，軟件操作界面如圖6所示。

圖6　Acqknowledge軟件操作界面示意圖

3混沌特征的選取

文中基于生理信號(hào)的混沌特征進(jìn)行情緒模式識(shí)別。混沌特征很多，但本文選取最大Lyapunov指數(shù)、關(guān)聯(lián)維、盒子維、信息熵、近似熵及復(fù)雜度，提取這6種特征的方法分別是wolf法計(jì)算最大Lyapunov指數(shù)，G-P算法計(jì)算關(guān)聯(lián)維，DBC算法計(jì)算盒子維，用定義計(jì)算信息熵和近似熵及L-Z復(fù)雜度。

3.1最大Lyapunov指數(shù)

Lyapunov指數(shù)表示初始條件對(duì)混沌運(yùn)動(dòng)影響大小的參量，是定量描述混沌系統(tǒng)的重要參數(shù)。Wolf指出用相軌線、相平面、相體積等方法直接演化去估算Lyapunov指數(shù)，這種方法叫做Wolf法[2]。

3.2關(guān)聯(lián)維

關(guān)聯(lián)維是系統(tǒng)中相點(diǎn)之間的相關(guān)度，是混沌非線性系統(tǒng)一個(gè)十分關(guān)鍵的特征參量。P.Grassberger基于延遲嵌入空間的思路，構(gòu)造了G-P算法來求取關(guān)聯(lián)維[3]。該算法實(shí)現(xiàn)簡(jiǎn)單、原理易懂。

3.3盒子維

盒子維描述時(shí)間序列的復(fù)雜性和不規(guī)則性，能夠方便的用計(jì)算機(jī)完成，使用范圍較寬泛。1994年，N. Sarkar和B. Chaudhuri提出了計(jì)算盒子維的DBC(Differential Box Couting)算法[4]。該算法快速、方便、精確。

3.4信息熵

信息熵描述系統(tǒng)整體的不確定性，對(duì)分析混沌序列有著實(shí)際的意義。信息熵代表信源的不確定度，即無序性，系統(tǒng)愈混亂，信息熵的值愈大；反之，系統(tǒng)是有序的，其值愈小[5]。

3.5近似熵

近似熵是非負(fù)數(shù)，系統(tǒng)的復(fù)雜性愈高，近似熵的值愈大；反之復(fù)雜性愈低，其值愈小。

3.6復(fù)雜度

1976年，Lempel和J.Ziv根據(jù)Kolmogorov的定義提出了具體計(jì)算復(fù)雜度的算法，叫做L-Z復(fù)雜度(L-Z Complexity)[6]。復(fù)雜度能定量描述簡(jiǎn)單、復(fù)雜等信號(hào)，提供時(shí)間序列的定量分析方法，在生理信號(hào)分析中引發(fā)了極大的關(guān)注。

文中對(duì)3種生理信號(hào)求取每個(gè)樣本的混沌特征參數(shù)。由于每個(gè)生理信號(hào)對(duì)應(yīng)6種混沌特征，所以總共獲取18個(gè)參數(shù)，分別是ECG信號(hào)的最大Lyapunov指數(shù)、關(guān)聯(lián)維、盒子維、信息熵、近似熵和復(fù)雜度，SC信號(hào)的最大Lyapunov指數(shù)、關(guān)聯(lián)維、盒子維、信息熵、近似熵和復(fù)雜度，RSP信號(hào)的最大Lyapunov指數(shù)、關(guān)聯(lián)維、盒子維、信息熵、近似熵和復(fù)雜度，最后組成樣本的混沌特征矩陣。

4數(shù)據(jù)的分析

利用相應(yīng)算法對(duì)實(shí)際采集到的3種生理信號(hào)數(shù)據(jù)分別提取6種混沌特征，得到了18個(gè)混沌特征參量，將提取的混沌參數(shù)構(gòu)造Excel表格。Excel表格如表3所示，總共有41行、19列，前18列是這3種生理信號(hào)的18個(gè)混沌特征參量屬性，第19列是類別Emotion，每種情緒對(duì)應(yīng)10個(gè)樣本數(shù)據(jù)，總共行數(shù)為41。

表3　Excel混沌參數(shù)表格構(gòu)造

文中采用的C5.0決策樹算法[7]基于軟件Clementine[8]來實(shí)現(xiàn)情緒識(shí)別，利用Clementine軟件平臺(tái)，建立數(shù)據(jù)流模型，輸出矩陣如圖7所示。

圖7　矩陣輸出

圖7表明對(duì)anger情緒正確識(shí)別的樣本數(shù)有8個(gè)，其中有1個(gè)錯(cuò)判為joy，1個(gè)錯(cuò)判為sadness；對(duì)joy情緒正確識(shí)別的樣本數(shù)有9個(gè)，有1個(gè)錯(cuò)判為sadness；對(duì)pleasure情緒正確識(shí)別的樣本數(shù)是6，有2個(gè)錯(cuò)判為joy，2個(gè)錯(cuò)判為sadness；對(duì)sadness情緒正確識(shí)別的樣本數(shù)有8個(gè)，有2個(gè)錯(cuò)判為joy。

結(jié)合圖7，再根據(jù)：

表4　不同情緒的識(shí)別率

3種生理信號(hào)對(duì)不同情緒(joy、anger、sadness、pleasure)識(shí)別的C5.0部分決策樹如圖8所示。

圖8　C5.0決策樹

5結(jié)語(yǔ)

文中采集實(shí)際的生理信號(hào)數(shù)據(jù)，將基于混沌特征參數(shù)的模式識(shí)別方法應(yīng)用于情緒識(shí)別分析中。研究結(jié)果表明，融合3種生理信號(hào)的混沌特征去識(shí)別不同情緒的正確率比基于單一一種生理信號(hào)的情緒識(shí)別率要高，同時(shí)，對(duì)不同情緒有一定差異，分別為：Joy-90%，Anger-80%，Sadness-80%，Pleasure-60%。若提高識(shí)別率還需要增加采集樣本數(shù)量，如采用加入EMG信號(hào)樣本以及增加情緒誘發(fā)視頻素材等方法。

參考文獻(xiàn)：

[1]劉月華.典型生理信號(hào)綜合測(cè)量及情緒識(shí)別研究[D]. 上海：上海交通大學(xué),2011.

[2]Alan Wolf, Jack B. Swift, Harry L.Swinney.Time-Delay Systems: Lyapunov Functionals[M].Boston:Birkhauser, 2012:215-224.

[3]Grassberger P, Procaccia I. Characterization of strange attractors[J].Phys Rev Lett,1983,50(5):346-349.

[4]Chaudhuri B, Sarkar N. Texture image classification using multi fractal dimension[J]. Journal of Marine Science and Application,2003(2):76-81.

[5]杜春梅,崔建國(guó),田豐. 二維相空間中肌電信息熵的計(jì)算[J]. 控制工程,2006,13(增刊):107-109.

[6]Diaz,Josep. Algorithms and Complexity[C].7th International Conference, Italy 2010, 26-28.

[7]白秀蓮,巴雅爾,哈斯其其格. 基于C5.0的遙感影像決策樹分類實(shí)驗(yàn)研究[J].遙感技術(shù)與應(yīng)用,2014,29(2):338-343.

[8]岳小婷. 數(shù)據(jù)挖掘工具CLEMENTINE應(yīng)用[J]. 牡丹江大學(xué)學(xué)報(bào),2007,16(4):103-105.

責(zé)任編輯：程艷艷

Collection of Many Kinds of Physiological Signals and Its Application in Emotion Analysis

NIE Chunyan1，HE Fang2， SATO Reika3

(1．College of Electronic Information Engineering，Changchun University，Changchun 130022，China；2. School of Electronics and Information Engineering，Changchun University of Science and Technology，Changchun 130022，China；3. Faculty of Information Science and Arts, Osaka Electro-Communication University, Shijonawateshi 575-0063， Japan)

Abstract：Three kinds of physiological signals (ECG, SC and RSP) of one subject are collected under four kinds of emotions such as joy, anger, sadness and pleasure by using an existing equipment in the laboratory. On this basis, chaotic characteristic values are extracted from the collected physiological signals based on the relevant algorithms. C5.0 decision tree is used to make emotion recognition by taking chaotic characteristics as the characteristic parameters of pattern recognition. The research results show the recognition rate with three kinds of physiological signals is higher more than that with one kind of physiological signal in emotional recognition.

Keywords：physiological signal； chaos characteristics； emotion analysis； decision tree

收稿日期：2016-03-28

基金項(xiàng)目：教育部“春暉計(jì)劃”科研項(xiàng)目(Z2014136)；吉林省教育廳規(guī)劃課題(2014LY502L20)

作者簡(jiǎn)介：聶春燕(1966-)，女，吉林四平人，教授，博士，主要從事信號(hào)檢測(cè)與處理、混沌理論及其應(yīng)用、虛擬儀器等方面研究。

中圖分類號(hào)：TP391.4

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1009-3907(2016)06-0044-06