ITD在語音情感識別中的研究

葉吉祥，劉亞

1.長沙理工大學計算機與通信工程學院，長沙 410114

2.中南大學信息科學與工程學院，長沙 410083

ITD在語音情感識別中的研究

葉吉祥1，2，劉亞1

1.長沙理工大學計算機與通信工程學院，長沙 410114

2.中南大學信息科學與工程學院，長沙 410083

1 引言

情感特征提取是語音情感識別中重要的步驟，特征提取的好壞直接影響情感識別的準確率[1]。基于確定性線性系統(tǒng)理論，傳統(tǒng)語音情感特征主要提取三種重要的聲學特征：韻律特征、音質(zhì)特征、譜特征[2]。近年來，研究者開始基于語音本質(zhì)上是非平穩(wěn)非線性的這一特點提取情感特征，主要提取情感語音的瞬時參數(shù)特征[3]和混沌特征[4-7]。其中有張衛(wèi)等人用EMD瞬時參數(shù)結(jié)合Teager能量用于語音情感識別[8]，取得了一定的識別效果，但是實驗只針對“高興、生氣、中立”三種情感，而且EMD的計算速率也不高。文獻[9-10]用分形維表征語音的混沌特征，并作為新的語音特征進行識別實驗，雖然平均識別率達到了82.4%，但是生氣的識別率只有70%，同時也存在提取特征速率不高的缺點。

通過分析目前引入的非線性特征，發(fā)現(xiàn)特征提取效率和最后的識別效果還有很多局限性，有待進一步的改進。

由于固有時間尺度分解[11]（Intrinsic Time-scale Decomposition，ITD）具有端點效應(yīng)小、計算速度快、提取瞬時信息精確的特點，能很好地表征非穩(wěn)定非線性信號的特性，因此將ITD引入語音情感識別中，獲得其PR特征，結(jié)合傳統(tǒng)特征對四種情感語音進行識別實驗。實驗數(shù)據(jù)顯示，平均識別率達到了86.5%，可以較好地提高識別率和表征情感狀態(tài)。

2 理論基礎(chǔ)

2.1 ITD分解

步驟3將Lt作為新原始的信號重復上述步驟，直到基線信號為一單調(diào)函數(shù)或常函數(shù)。即原始信號被分解為：

式中H為合理旋算子，P為分解的層數(shù)，HLKXt是第k階合理旋轉(zhuǎn)分量，LPXt為單調(diào)趨勢分量。

2.2 瞬時參數(shù)特征提取方法

采用基于“完整波”的方法[11]提取瞬時特征是指用分段的方法定義瞬時能量信息，在PR分量連續(xù)向上過零點的時間區(qū)間內(nèi)，僅基于此區(qū)間內(nèi)的分析PR分量的單波形信息，所以能夠精確地表達非平穩(wěn)信號頻率時變特征。

2.3 關(guān)聯(lián)維數(shù)的測定方法

對語音信號進行一次ITD分解后，得第一階合理旋轉(zhuǎn)（PR1）分量。對原信號和PR1分別進行相空間重構(gòu)[12]，用互信息方法求得時間遲延τ。采用G-P算法[13-14]求取原信號和PR1分量在不同嵌入維數(shù)下的關(guān)聯(lián)維數(shù)。

3 PR瞬時特征和PR1關(guān)聯(lián)維數(shù)的分析

實驗數(shù)據(jù)使用北航情感語音數(shù)據(jù)庫。它由7男8女錄制，包含7種情感狀態(tài)和20句錄制腳本。選取其中四種具有代表性的情感“悲傷、平靜、喜悅、憤怒”進行識別實驗。為了增加實驗數(shù)據(jù)的多樣性，避免同質(zhì)語音對實驗結(jié)果的影響，實驗采用混合數(shù)據(jù)進行實驗，對于每一種情感都在數(shù)據(jù)庫中選取不同人的不同語句共70個語音樣本，其中40句作為訓練樣本，30句作為測試樣本。

3.1 PR瞬時特征

將4種情感的所有訓練樣本，經(jīng)過預處理后，進行多次ITD分解，通過對實驗數(shù)據(jù)分析，發(fā)現(xiàn)當不同情感的語音分解到第八層時，基線信號基本為一個單調(diào)趨勢分量或常函數(shù)，符合分解停止的條件，故參照此結(jié)果可對所有用于實驗的語音分解到第8階，得到前8階的PR分量。

圖1和圖2分別是同一人不同情感的前8階PR分量中的第1、第2階PR分量，記為PR1、PR2，它們包含信號主要的瞬時信息。從圖分析，憤怒和喜悅由于情感強烈，他們的PR1、PR2的瞬時幅度比平靜和悲傷的大，瞬時頻率也比平靜和悲傷高。此外，相似強度情感之間的頻率也有差異，平靜的頻率在大部分時間段都比悲傷的高，憤怒的頻率高于喜悅。從以上的分析可知，四種情感的PR分量的瞬時幅度和瞬時頻率是有區(qū)別的，能在一定程度上表征情感狀態(tài)。

圖1 同一個人四種情感的PR1分量

3.2 PR1關(guān)聯(lián)維數(shù)

由于語音具有混沌特性，將語音進行相空間重構(gòu)后提取關(guān)聯(lián)維數(shù)可作為情感語音的新特征。圖3為語音庫中某一語句（錄音語句編號為15，語句內(nèi)容：明天我要搬家啦）的原信號和PR1分量的關(guān)聯(lián)維數(shù)對比圖。

圖3 不同情感狀態(tài)原信號的關(guān)聯(lián)維數(shù)

圖4 不同情感狀態(tài)PR1分量的關(guān)聯(lián)維數(shù)

圖3為原信號提取不同情感狀態(tài)下的關(guān)聯(lián)維數(shù)的結(jié)果圖，可以看出四種情感的關(guān)聯(lián)維數(shù)曲線雖然彼此分離，但是平靜和悲傷，喜悅和憤怒的分離效果還不是很好，而且悲傷和憤怒收斂速度也不是很快。為了使提取的關(guān)聯(lián)維數(shù)效果更好，本文嘗試了將情感語音信號先進行ITD分解，得到PR1分量，再對其相空間重構(gòu)后提取關(guān)聯(lián)維數(shù)。結(jié)果如圖4所示，由圖可知，悲傷和平靜的PR1關(guān)聯(lián)維數(shù)曲線更好地分離開了，這是因為悲傷的幅度和頻率相對都比較低，時頻能量相對較少，當ITD分解為PR1分量時去掉了一個基線信號，又帶走了一部分時頻能量，當求關(guān)聯(lián)維數(shù)的標準r不變時，悲傷在單位體積范圍內(nèi)的吸引子會明顯減少，并很快進入穩(wěn)定狀態(tài)。高興和憤怒，由于情感強度大且一定程度上相似，所以PR1關(guān)聯(lián)維數(shù)還是不能完全分離，但是在關(guān)聯(lián)維穩(wěn)定的區(qū)域，曲線分離的效果比原信號的也好了一些。根據(jù)以上的分析可知，將PR1的關(guān)聯(lián)維數(shù)作為新的特征參數(shù)可以更好地表征情感狀態(tài)。

4 情感識別實驗結(jié)果及分析

4.1 特征提取

為了研究語音情感的PR特征，提取的特征主要有：ITD分解后PR瞬時參數(shù)特征、PR1關(guān)聯(lián)維數(shù)和原信號的傳統(tǒng)特征。PR分量瞬時特征包括：PR1至PR8瞬時幅度的均值、最大值、中心化瞬時幅度方差、瞬時幅度譜密度最大值、瞬時幅度變化率均值；PR1至PR8瞬時頻率的均值、最大值、歸一化瞬時頻率方差、瞬時頻率密度最大值、瞬時頻率變化率均值。傳統(tǒng)特征如表1所示。

表1 情感語音傳統(tǒng)特征

4.2 實驗結(jié)果及分析

語音信號通過ITD處理后得到前8階的PR分量，并提取每一階PR分量瞬時特征，結(jié)合傳統(tǒng)特征使用SVM[15]情感識別分類器進行識別。識別結(jié)果如圖5所示。

圖5 四種情感的各階PR分量瞬時特征結(jié)合傳統(tǒng)特征的識別率分布圖

從圖5可知，除喜悅外，前3階各情感的識別率都相對比較高，由此選取前3階PR瞬時特征結(jié)合傳統(tǒng)特征做最后識別實驗。各類情感的最高識別率如表2所示。

表2 前三階PR瞬時特征結(jié)合傳統(tǒng)特征識別結(jié)果

從表2可得出識別率最高的是憤怒，達到了93.3%，悲傷識別率也超過了85%，相對來說高興的識別率只有73.3%，是因為憤怒和高興的情感強烈程度相似，即便是PR分量，所包含的瞬時時頻信息也一定程度上相近，容易誤認為是憤怒。悲傷和平靜也同樣如此，也有相互誤判的情況。

為了更好地檢測傳統(tǒng)特征、PR瞬時特征和PR1關(guān)聯(lián)維數(shù)的識別效果，使用SVM進行了對比識別試驗。有如下四種方案：

方案1單獨使用傳統(tǒng)特征（短時過零率、短時能量，MFCC等）進行識別。

方案2 PR1關(guān)聯(lián)維數(shù)結(jié)合傳統(tǒng)特征進行識別。

方案3 PR瞬時特征結(jié)合傳統(tǒng)特征進行識別。

方案4 PR瞬時特征和PR1關(guān)聯(lián)維數(shù)結(jié)合傳統(tǒng)特征進行識別。

四種不同方案的識別結(jié)果如表3所示。

表3 采用不同方案各情感的識別率（%）

從表3可以看出單獨使用傳統(tǒng)特征進行識別時，平均識別率只有75.9%，各情感的識別率相對比較低。同時對比方案2方案3，可以發(fā)現(xiàn)，PR瞬時特征結(jié)合傳統(tǒng)特征后，除了喜悅外，各情感的識別率有了明顯的提高，憤怒的識別率達到了93.3%，平均識別率達到了84.2%，說明PR瞬時特征總體是能夠很好地表征情感狀態(tài)；PR1關(guān)聯(lián)維結(jié)合傳統(tǒng)特征后，雖然總體平均識別率沒有方案3高，較方案1各情感的平均識別率都有提高，平靜的識別率增加了11.3%，喜悅的識別率比方案1、3都高，說明PR1關(guān)聯(lián)維數(shù)對表征情感有很好的補充作用。綜合以上的特點，方案4將PR1關(guān)聯(lián)維數(shù)與PR瞬時特征、傳統(tǒng)特征進行融合識別，喜悅的識別率與方案3相比提高了7.3%，整體的平均識別率也達到了86.5%，比傳統(tǒng)方案1提高了10.6%，從方案4可知，PR的瞬時特征和PR1的關(guān)聯(lián)維數(shù)能很好地刻畫情感語音的非線性特征，與傳統(tǒng)特征融合后，能更明顯地區(qū)分相似情感。

5 結(jié)論

本文采用ITD算法對語音信號進行處理，得到其PR特征，結(jié)合傳統(tǒng)特征，從語音的非平穩(wěn)非線性、混沌特性和短時平穩(wěn)性三個方面，較為全面地表征了四種情感狀態(tài)，經(jīng)過SVM識別，獲得了較好的識別率，憤怒、悲傷和平靜的識別效果有了明顯提高。但是對于相似強度的情感，如憤怒和喜悅，悲傷和平靜仍然存在相互誤判，找到更好區(qū)分各情感狀態(tài)的特征仍是以后要研究的工作。

[1]林奕琳，韋崗，楊康才.語音情感識別的研究進展[J].電路與系統(tǒng)學報，2007，12（1）：90-97.

[2]張石清，李樂民，趙知勁.人機交互中的語音情感識別研究進展[J].電路與系統(tǒng)學報，2013，18（2）：422-434.

[3]Huang N E，Shen Z，Long S R.A new view of nonli-near water waves：the Hilbert spectrum[J].Annu Rev Fluid Mech，1999，31（2）：417-457.

[4]Schullar B，Rigoll G.Speech emotion recognition combining acoustic features and linguistic information in a hybrid supportvectormachineBeliefnetworkarchitecture[J]. IEEE，2004，28（28）：571-577.

[5]Karadogan S G，Larsen J.Combining semantic and acoustic features for valence and arousal recognition in speech[C]// IEEE International Workshop on Cognitive Information Processing，2012，23（1）：1-6.

[6]Wu Chung-hsien，Liang Weibin.Emotion recognition of affective speech based on multiple classifiers using acoustic prosodic information and semantic labels[J].IEEE Transactions on Affective Computing，2011，16（2）：10-21.

[7]李銀山，李欣業(yè)，劉波.分岔混沌非線性振動及其在工程中的應(yīng)用[J].河北工業(yè)大學學報，2004，33（2）：96-103.

[8]張衛(wèi)，張雪英，孫穎.EMD結(jié)合Teager能量用于語音情感識別[J].科學技術(shù)與工程，2013，24（13）：278-280.

[9]Kinsner W，Grieder W.Speech segmentation using multifractal measures and amplification of signal features[C]// Proc of IEEE ICCI'08.Stanford：IEEE Computer Press，2008：351-357.

[10]葉吉祥，王聰慧.多重分形在語音情感識別中的研究[J].計算機工程與應(yīng)用，2012，48（13）：186-204.

[11]Osorio M G F.Intrinsic time-scale decomposition：timefrequency-energy analysis and real-time filtering of nonstationarysignals[J].ProceedingsoftheRoyalSociety SeriesA，2007，463（2078）：321-342.

[12]Sun Dan，Meng Jun，Guan Yufan，et al.Inverter faults diagnosis in PMSM DTC drive using reconstruive phase space and fuzzy clustering[J].Proceedings of the CSEE，2007，27（16）：49-53.

[13]Grassberger P，Procaccia I.Measuring the strangeness of strange attractors[J].Physica D，1983，9（132）：189-208.

[14]Grassberger P，Procaccia I.Characterization of strange attractors[J].Phys Rev，1983，50（5）：346-349.

[15]蘆濤，王成儒，韓笑蕾.基于的漢語語音情感識別研究[J].電子測量技術(shù)，2007，30（3）.

YE Jixiang1，2,LIU Ya1

1.College of Computer and Communication Engineering,Changsha University of Science and Technology,Changsha 410114,China
2.College of Information Science and Engineering,Central South University,Changsha 410083,China

In order to express speech emotional state better,this paper takes the Intrinsic Time-scale Decomposition（ITD）into extracting speech emotion features,decomposes the emotion speech into a sum of Proper Rotation（PR）components,extracts instantaneous characteristic parameters and correlation dimension as new emotional characteristic parameters,combines with traditional features and uses Support Vector Machine（SVM）for speech emotional recognition.The results show that recognition accuracy is improved obviously through using PR features parameters.

Intrinsic Time-scale Decomposition（ITD）;Proper Rotation components（PR）;PR features parameters;emotion recognition

為了更好地表征語音情感狀態(tài)，將固有時間尺度分解（ITD）用于語音情感特征提取。從語音信號中得到前若干階合理旋轉(zhuǎn)（PR）分量，并提取PR分量的瞬時參數(shù)特征和關(guān)聯(lián)維數(shù)，以此作為新的情感特征參數(shù)，結(jié)合傳統(tǒng)特征使用支持向量機（SVM）進行語音情感識別實驗。實驗結(jié)果顯示，引入PR特征參數(shù)后，與傳統(tǒng)特征的方案相比，情感識別率有了明顯提高。

固有時間尺度分解；合理旋轉(zhuǎn)分量；PR特征參數(shù)；情感識別

A

TP391

10.3778/j.issn.1002-8331.1402-0342

YE Jixiang,LIU Ya.Speech emotion recognition based on Intrinsic Time-scale Decomposition.Computer Engineering and Applications,2014,50（22）：203-206.

湖南省自然科學基金重點項目（No.10jj2050）。

葉吉祥（1963—），男，博士，教授，主要研究方向：人工智能、語音情感計算；劉亞（1987—），女，碩士研究生，主要研究方向：語音情感識別。E-mail：huyebowen@163.com

2014-02-27

2014-04-08

1002-8331（2014）22-0203-04

CNKI網(wǎng)絡(luò)優(yōu)先出版：2014-06-18,http://www.cnki.net/kcms/doi/10.3778/j.issn.1002-8331.1402-0342.html