基于皮膚電信號與文本信息的雙模態情感識別系統①

張力行,葉 寧,2,黃海平,2,王汝傳,2

1(南京郵電大學 計算機學院、軟件學院、網絡空間安全學院,南京 210023)

2(南京郵電大學 江蘇省無線傳感網高技術重點實驗室,南京 210023)

情感計算不僅要讓現在的計算機擁有智力能力,還要讓它具備一定的情感交互能力,這樣有利于人們與計算機有更好的交流.要實現情感計算首要問題是情感識別,情感識別直接影響著能否實現情感計算[1].皮膚電信號作為生理參數只受自主神經系統和內分泌系統的分配,而且它相比其他生理參數更易于采集.但是它的缺陷也同樣明顯,如信號弱,抗干擾能力差等.文本信息作為人類最常用的交流手段之一,其本身蘊藏著豐富的信息資源,但是文本信息的情感識別也存在著很多缺陷,如主觀性強等.所以這兩種單模態的情感識別系統顯然不能保證情感識別系統的準確性.但是將這兩類不同類型信號的模態融合互補了單模態情感識別的缺陷,提高了分類器的識別準確度.它的優勢在于,當一個通道的特征或識別過程受到影響或者缺失時,另一個通道能很好的進行補足,這樣識別系統就會有很好的準確性和魯棒性.

2004年,Kim等人將多生理參數進行融合,他們使用音頻和視頻作為實驗素材釆集被試的心電信號、脈搏信號、皮膚溫度和皮膚電導信號,進行情感識別研究,識別率達到了78.4%[2].2004年東京大學的Wang等[3]使用生理信號的傳感器和動畫文本實現在線交流情感.2006年,Lee等人[4]融合心電信號和皮膚電信號這兩類生理參數識別人類情感,情感識別率達到80.2%.2017年陳鵬展等人[5]通過融合語音信號與文本信息這兩類信號也提高了識別率.

本文以皮膚電信號和文本信號這兩類不同類型的信號為基礎[6],提出了它們各自的特征情感分析和融合算法[7].并對各自的識別結果進行加權融合,構建雙模態分類器.并對融合之后的識別率與單模態情況下的識別率和Kim,Lee等人利用多生理參數融合識別情感進行了比較.實驗結果表明不同類型的雙模態情感識別系統具有更高的識別率.

1 特征提取

1.1 皮膚電信號的特征提取與數據處理

由于皮膚電信號比較微弱,易受到機器干擾,肌電干擾,電磁干擾等的影響,所以要對采集的皮膚電信號去噪處理.本文采用小波變換進行去噪處理[8].小波變化有其特有的優勢,它在低頻部分和高頻部分對與頻率分辨率和時間分辨率所展現出來的處理效果完全不同,前者具有較高的頻率分辨率和較低的時間分辨率,而后者具有較高的時間分辨率和較低的頻率分辨率.因此小波變換對于信號的自適應性非常強,尤其適用于生理信號[9]的分析.信號連續小波變換的定義如下:

連續小波變換存在逆變換的條件是存在容許條件,容許條件公式:

連續小波變換的逆變換公式為:

但是在實際應用中,我們通常要將連續小波變換化為離散小波變換,主要是為了方便計算機進行分析、處理.通過對小波基函數中的進行冪級數離散化,對進行離散取值,即可得到:

則離散小波變換為:

對信號進行小波變換離散化實質上就是對信號分解,可以得到信號的低頻分量和信號的高頻分量.其中可以繼續小波分解為低頻信號和高頻信號.本文采用了wdencmp函數實現信號去噪.去噪前后的信號如圖1和圖2所示.

圖1 原始皮膚電信號圖

圖2 去噪后皮膚電信號圖

在對信號處理之后,刪去無效數據,留下有效數據.參照德國 Augsburg 大學[10]特征提取的方法,提取了信號的時域和頻域中最能代表皮膚電信號變化的統計值作為情感識別研究的原始特征.在時域中,提取了皮膚電信號的: 平均值,中位數,標準差,最大值,最小值,最小值比率,最大值比率,最大最小差值,一階差分的均值,一階差分的中位數,一階差分的標準差,一階差分的最大值,一階差分的最小值,一階差分的最小值比率,一階差分的最大值比率,二階差分的均值,二階差分的中位數,二階差分的標準差,二階差分的最大值,二階差分的最小值,二階差分的最小值比率,二階差分的最大值比率22個時域特征.信號的一階差分檢測局部極值點,二階差分檢測局部拐點.為了提取皮膚電信號的頻域特征,先對皮膚電信號進行離散傅里葉變換,然后計算頻率均值、中值、標準差、最大值、最小值、最大最小差值,得到6個頻域特征.根據公式提取的28的個統計特征的特征值的取值范圍處在不同的數量級,為了方便后續處理,所以對他們進行歸一化處理,使各特征值的取值范圍在(0 ，1)之間.

在提取特征過程中涉及到的主要計算公式如下:

(1)均值

(2) 標準差

(3) 歸一化

(4) 一階差分

(5) 一階差分的絕對值均值

(6) 二階差分

(7) 二階差分絕對值

(8) 最小值比率

(9) 最大值比率

在以上各式中N表示采集的信號的總個數,Xn表示第n次 采集的信號,Min表 示采集信號的最小值,Max表示采集信號的最大值.

1.2 文本信息的特征提取

文本信息的特征提取主要是對文本進行語法和語義的分析,通過對語句的拆分、去除冗余信息、去除停當詞、分詞、標注詞性等提取出表達文本情感傾向性的情感詞.采用大連理工大學信息檢索研究室的情感詞匯本體庫[11]來完成上述句子分詞工作.即把一個完整的句子拆分成了若干個單獨的情感詞.采用布隆過濾器去除掉所有文本的停用詞,以減少文本特征向量的維度和不必要的運算量.

式中,p(Ak)表示Ak類出現的概率表示名詞出現在訓練樣本集和不出現樣本訓練集的概率.表示在名詞出現和不出現時出現類的概率.值越高,對句子情感的判別幫助越大.

2 分類器模型創建

2.1 單通道皮膚電情感識別模型

單通道皮膚電情感識別模型創建思想是: 對原始信號進行小波去噪處理之后留下有效數據進行特征選擇,以最少的特征個數和最高的識別率來識別情感.再通過創建訓練樣本與測試樣本,利用人工神經網絡算法[13]對情感進行分類,獲得皮膚電情感識別結果.基于單通道的皮膚電信號模型分類器的識別框圖如圖3所示.

圖3 皮膚電情感識別圖

2.2 單通道文本情感識別模型

文本情感識別模型的主要思想是通過大連理工大學信息檢索研究室提供的中文情感詞庫對句子中的情感關鍵詞進行匹配判斷.通過對文本內容進行預處理、特征提取和向量轉化,然后通過高斯混合模型分類器進行情感狀態的分類識別.基于單通道文本分類器識別框圖如圖4所示.

2.3 雙模態融合識別模型

本文對兩種單模態分類器分別采用了人工神經網絡算法和高斯混合模型算法來進行4種情感識別.即高興、悲傷、憤怒、平靜.識別完成后再利用改進的高斯混合模型進行判決層融合[14].高斯混合模型是個成員密度的加權和,公式如下:

圖4 文本情感識別圖

完整的高斯混合分布密度公式如下:

其中,GMM模型的參數估計采用EM算法迭代完成,使得GMM表示的樣本分布概率最佳.由于單通道在工作時都會存在一定干擾,當文本信息分類器受到噪聲干擾,那么他的性能就會下降; 皮膚電信號受到儀器采集的影響,如抖動,碰撞或者儀器本身受到的基線漂移干擾,此時性能都會有所下降.此時就要考慮在融合前各個子分類器的置信度,所以本文采取自適應加權融合算法讓兩個通道信息進更新和融合.各分類器加權系數[15]根據其對當前樣本可靠性進行動態調整,置信度高的分類器所占權重更高,算法以自適應的方式找到每個分類器的最優加權因子,利用得到的加權因子實現雙模態數據融合,獲得最終的分類結果.兩個子分類器給出的情感類的GMM似然度記為P(z|λk),這里我們假設待測樣本為,代表四種情感類別,取值1–4.不同情感類別得出的最大似然度直接決該分類器的置信區間.子分類器的融合權值公式如下:

子分類器的分類結果公式如下:

子分類器的判決置信度的高低與樣本所處概率分布模型的非重疊區域有關,似然值越分散,判決置信度越高,性能越好.最后通過對計算出來的兩個子分類器的判決進行加權融合,加權融合公式如下:

式中,Y為融合之后的最終結果,An為子分類器結果.

雙模態混合模型識別框圖如圖5所示.

圖5 雙模態情感識別圖

3 實驗結果分析

實驗中采用高斯混合模型作為融合算法,通過4種類別的訓練樣本集和測試樣本集完成對兩個單模態和一個多模態分類器實驗,4種類別包括高興、悲傷、憤怒、平靜.每個訓練樣本集包括每種情感的150條皮膚電樣本與150條文本信息樣本,每個測試樣本各含50條樣本.

通過對三種模態,即兩個單模態和一個融合模態的實驗之后,圖6顯示了三個不同模型產生的實驗結果.實驗表明,融合之后的情感識別模型對每類情感識別精度明顯提高.平均識別率也由單模態的70%,80%提高到雙模態融合后的90%.

圖6 3種方法識別率對比圖

而對比于多生理參數融合,2004年,Kim等人對多生理參數進行融合,他們使用音頻和視頻作為實驗素材釆集被試的心電信號、脈搏信號、皮膚溫度和皮膚電導信號,進行情感識別研究,識別率達到了78.4%.2006年,Lee等人融合心電信號和皮膚電信號這兩類生理參數識別人類情感,識別率達到了80.2%.

實驗結果表明,兩種不同類型信號模態融合的情感識別,不僅可以提高各自單模態的情感識別率,而且較之于多模態生理參數的融合情感識別率也大幅度提高.

表1顯示采取雙模態情感識別系統之后對四類情感的誤判率只有6%,10%,8%,14%.比較于單模態的情感識別率有了大大的提高.

表1 雙模態融合算法識別率(單位: %)

4 結論與展望

本文采用加權融合的方式將皮膚電信號識別情感與文本信息識別情感的結果進行融合,與僅利用皮膚電信號識別情感和僅利用文本信息識別情感進行了比較,結果表明無論是識別率還是識別精度和魯棒性都得到了大幅提高.本文為當前單純的利用一種方式識別情感提供了一種新的思路,實驗也證明是確實可行的.

目前的情感識別研究要么采取的是單通道情感識別,要么采取的是多生理信號的融合或同一類型不同特征的融合,而本文將生理信號與文本信息兩種不同類型的信號進行加權融合,通過對這兩種不同來源數據的分類結果再次融合,實現了不同類型信號情感的雙模態識別系統的研究.通過對單模態皮膚電信號、文本信息的分類實驗以及雙模態融合后的情感識別實驗,實驗結果表明,相比于一般的單模態和多生理信號融合的情感識別,該種模式系統識別率更高,魯棒性更強.