情感變異的語(yǔ)音語(yǔ)料庫(kù)的設(shè)計(jì)和構(gòu)建

摘 要： 針對(duì)情感變異的語(yǔ)音分類與識(shí)別研究的需要，給出了情感變異的語(yǔ)音語(yǔ)料庫(kù)的構(gòu)建流程和制作規(guī)范，設(shè)計(jì)并建立了情感變異的語(yǔ)音語(yǔ)料庫(kù)。現(xiàn)已錄制的語(yǔ)料包含自然、高興、悲傷和憤怒四種情感類型，共１ ６００條語(yǔ)句。為了證明該情感變異的語(yǔ)音語(yǔ)料庫(kù)的有效性，對(duì)其所有數(shù)據(jù)進(jìn)行了聽(tīng)辨實(shí)驗(yàn)檢測(cè)。結(jié)果表明，設(shè)計(jì)并構(gòu)建的情感變異的語(yǔ)音語(yǔ)料庫(kù)具有較高的實(shí)用價(jià)值，為情感變異的語(yǔ)音的分類與識(shí)別的研究奠定了夯實(shí)的基礎(chǔ)。

關(guān)鍵詞：

中圖分類號(hào)： ＴＮ９１２．３ 文獻(xiàn)標(biāo)識(shí)碼： Ａ 文章編號(hào)：２０９５－２１６３（２０１１）０３－００６６－０３

Ｄｅｓｉｇｎ ａｎｄ Ｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ Ｅｍｏｔｉｏｎａｌ Ｖａｒｉａｔｉｏｎ Ｓｐｅｅｃｈ Ｃｏｒｐｏｒａ

ＪＩＮ Ｙｕｑｉｎｇ， ＬＶ Ｃｈｅｎｇｇｕｏ

Ａｂｓｔｒａｃｔ：This paper presents construction process and production standards of emotional variation speech corpora in research for the classification and identification of emotional variation speech， together with the design and structure of an elicited emotional variation speech corpora. Four types of speech emotions involving being natural， happy， sad and angry are recorded， a total of 1 600 authentic utterances. To demonstrate its validity， perception experiments on all the data have been conducted. The results show that the design and construction of the emotional variation speech corpora have a higher practical value for the classification and identification research of emotional variation speech.

Ｋｅｙ ｗｏｒｄｓ：

０ 引言

在跨時(shí)代的今天，ＩＴ技術(shù)隨處可見(jiàn)。這不僅改變了計(jì)算機(jī)技術(shù)事業(yè)的發(fā)展，也改變了人們的生活和環(huán)境。語(yǔ)言作為溝通的橋梁起到了不可磨滅的作用，但在很大程度上受到情感的制約。因此語(yǔ)音信號(hào)中的情感信息是人們感知事物重要的組成成分。近年來(lái)，情感語(yǔ)音信號(hào)的分析與處理已成為國(guó)內(nèi)外研究的熱點(diǎn)課題之一。隨著情感變異的語(yǔ)音技術(shù)的深入研究，理論創(chuàng)新不斷涌現(xiàn)的同時(shí)，也正在逐步走向新的應(yīng)用領(lǐng)域。情感變異的語(yǔ)音技術(shù)不僅可以應(yīng)用到人機(jī)交互系統(tǒng)中，還可以應(yīng)用到語(yǔ)音識(shí)別、電話通訊和電話業(yè)務(wù)、遠(yuǎn)程教學(xué)、醫(yī)學(xué)診斷和治療以及刑事偵查的輔助測(cè)謊中。這項(xiàng)技術(shù)的研究推動(dòng)了ＩＴ技術(shù)的更進(jìn)一步的發(fā)展，使人們的工作和學(xué)習(xí)的效率得到了很大的提高，同時(shí)也豐富了人們的生活，提高了人們的生活質(zhì)量。情感變異的語(yǔ)音語(yǔ)料庫(kù)是情感語(yǔ)音信號(hào)分析與處理的基礎(chǔ)，只有建立一個(gè)實(shí)用有效的情感變異的語(yǔ)音語(yǔ)料庫(kù)，才能進(jìn)行后續(xù)的分類與識(shí)別。從目前國(guó)際和國(guó)內(nèi)的研究情況來(lái)看，沒(méi)有統(tǒng)一明確的準(zhǔn)則規(guī)定該怎樣收集情感變異的語(yǔ)音語(yǔ)料，幾乎也沒(méi)有用于研究的開(kāi)放的語(yǔ)料庫(kù)，因此本文建立了一個(gè)獨(dú)立的用于情感變異的語(yǔ)音分類與識(shí)別的語(yǔ)料庫(kù)。

１ 情感變異的語(yǔ)音的分類

通過(guò)詞典，可以查詢到對(duì)于情感的解釋，即由于外界刺激所產(chǎn)生的一種肯定或者否定的心理反應(yīng)。而根據(jù)生物學(xué)定義，變異則可表示為各種情感之間的差別。所謂情感變異語(yǔ)音就是指受到外界因素影響而導(dǎo)致的情緒變化，從而產(chǎn)生的發(fā)音變異。情感狀態(tài)的分類是情感變異語(yǔ)音分析研究的首要內(nèi)容。研究人員通常采用語(yǔ)言標(biāo)簽的方法來(lái)進(jìn)行情感分類和識(shí)別。然而對(duì)于情感分類的標(biāo)準(zhǔn)，不同的研究人員的看法也各不相同，終究也沒(méi)有達(dá)到一個(gè)統(tǒng)一的分類標(biāo)準(zhǔn)。美國(guó)學(xué)者Ｏｒｔｏｎｙ等人[１－３]將不同科研人員對(duì)情感變異語(yǔ)音的分類情況做了歸納和整理，統(tǒng)計(jì)了各種情感被分類的次數(shù)，如表１所示。從表１可以得出的結(jié)論是，眾多的科研人員認(rèn)可的情感主要可分為６種，分別是憤怒、恐懼、悲傷、驚訝、厭惡和高興。通過(guò)對(duì)當(dāng)前國(guó)際和國(guó)內(nèi)研究狀況的深入了解，以及對(duì)情感的深入分析和研究，本文將建立高興、悲傷、憤怒以及自然狀態(tài)下的語(yǔ)音情感語(yǔ)料庫(kù)，用于對(duì)情感變異的語(yǔ)音的分類與識(shí)別研究。

２ 情感變異的語(yǔ)音語(yǔ)料庫(kù)的建立

２．１ 情感變異的語(yǔ)句的選取

應(yīng)遵循真實(shí)性、連續(xù)性、交互性和豐富性的原則來(lái)建立情感變異語(yǔ)音語(yǔ)料庫(kù)。語(yǔ)句的選取也應(yīng)符合一定標(biāo)準(zhǔn)[４－６]：情感變異的語(yǔ)音的發(fā)音時(shí)長(zhǎng)應(yīng)限制在５秒鐘以內(nèi)，如果發(fā)音時(shí)間過(guò)長(zhǎng)的話，情感表達(dá)的效果不會(huì)明顯；要包含男性和女性的語(yǔ)音，這是為了使所建立語(yǔ)料庫(kù)更具有廣泛性；要選擇不帶有明確的語(yǔ)義傾向的語(yǔ)句，這樣更有利于實(shí)驗(yàn)人員的判斷；選取的語(yǔ)句能夠較容易地加入不同的情感，便于對(duì)同一語(yǔ)句的不同情感進(jìn)行特征分析；選擇的語(yǔ)句要盡可能避開(kāi)無(wú)聲的輔音，因?yàn)橛行┹o音可能導(dǎo)致基因周期軌跡間斷。當(dāng)然，在選擇語(yǔ)句時(shí)，以上的標(biāo)準(zhǔn)并非要完全滿足，但當(dāng)選取語(yǔ)句時(shí)應(yīng)盡可能地覆蓋。本語(yǔ)料庫(kù)所選取的１０條語(yǔ)句，內(nèi)容如表２所示。

２．２ 情感變異語(yǔ)音的采集

為了使語(yǔ)音情感表達(dá)更自然、更真實(shí)，該語(yǔ)料庫(kù)的錄制選定了４名非專業(yè)表演的大學(xué)生，男生女生各兩人。每人都具有純正的標(biāo)準(zhǔn)普通話發(fā)音，口齒伶俐，都能較好地釋放與表達(dá)情感。選擇了一間辦公室進(jìn)行語(yǔ)音的錄制，錄制時(shí)將門窗關(guān)閉，盡可能減少外界噪聲帶來(lái)的干擾，同時(shí)也要保持室內(nèi)環(huán)境的安靜。錄音設(shè)備使用頭戴式麥克風(fēng)，錄音軟件使用ＣｏｏｌＥｄｉｔ９６，保存為４４ １００Ｈｚ，１６ｂｉｔ的、單聲道的ＷＡＶ文件。

對(duì)表２中的語(yǔ)句分別用自然、高興、悲傷和憤怒的情感狀態(tài)進(jìn)行采樣。每位錄音者按照語(yǔ)句的序號(hào)依次用４種狀態(tài)的情感來(lái)表達(dá)，并且每條語(yǔ)句的每種情感狀態(tài)都重復(fù)采樣十遍， 每人共計(jì)４００句。情感變異的語(yǔ)音語(yǔ)料庫(kù)總共由１ ６００句語(yǔ)音樣本組成。命名格式按照“情感類型－錄音者－情感語(yǔ)句序號(hào)－第幾遍錄音．ｗａｖ”的形式，如“Ｆ－ａ－１－２．ｗａｖ”表示錄音者ａ用憤怒的情感錄制的第一句話的第二遍語(yǔ)音。

３ 聽(tīng)辨實(shí)驗(yàn)

采用語(yǔ)音情感的釋放與表達(dá)，自身情感的質(zhì)量檢測(cè)、聲學(xué)質(zhì)量檢測(cè)和Ｍｃｎｅｍａｒ檢測(cè)四個(gè)步驟來(lái)進(jìn)行語(yǔ)音的錄制。經(jīng)過(guò)前三個(gè)環(huán)節(jié)后，隨機(jī)選定了除４位錄音人員以外的１０位同學(xué)來(lái)隨機(jī)地聽(tīng)取１ ６００句包含情感的語(yǔ)音，在不給任何提示的前提下，每句連續(xù)重復(fù)播放３次，讓１０位聽(tīng)音者來(lái)判斷、識(shí)別聽(tīng)取語(yǔ)句的情感類別。如果不能明確判斷聽(tīng)取的語(yǔ)音屬于哪種情感，那么就選擇一個(gè)最可能的情感類型作為判斷結(jié)果。如圖１所示。然后記錄能夠正確識(shí)別情感語(yǔ)句的人數(shù)為Ｒ，錯(cuò)誤識(shí)別情感語(yǔ)句的人數(shù)為Ｗ。當(dāng)識(shí)別錯(cuò)誤的情感語(yǔ)句人數(shù)Ｗ大于或者等于識(shí)別正確的情感語(yǔ)句人數(shù)Ｒ時(shí)，就認(rèn)為這個(gè)情感語(yǔ)句是無(wú)效的[７]。如果當(dāng)識(shí)別錯(cuò)誤的情感語(yǔ)句人數(shù)Ｗ小于識(shí)別正確的情感語(yǔ)句的人數(shù)時(shí)，則利用卡方擬合優(yōu)先檢驗(yàn)法公式

χ＝∑ （１）

其中， Ａ代表實(shí)際檢測(cè)次數(shù)， Ｂ代表理論次數(shù)。所以，該公式可轉(zhuǎn)化為：

χ＝＋＝ （２）

由公式（２）來(lái)分析判定情感語(yǔ)料是否有效可用。利用式（２）計(jì)算出不同說(shuō)話者對(duì)每一條語(yǔ)句的不同情感的χ分布，然后進(jìn)行查表。再通過(guò)Ｍｃｎｅｍａｒ分析準(zhǔn)則定義的危險(xiǎn)率來(lái)確定每條語(yǔ)句的有效性，有效語(yǔ)句的危險(xiǎn)率百分比應(yīng)低于１０％，并且比率越小越好，無(wú)效語(yǔ)句的危險(xiǎn)率則高于１０％。表３列舉出了錄音者ａ對(duì)語(yǔ)句１“你真?zhèn)ゴ蟆迸卸ńY(jié)果，其中采用四種情感各一條語(yǔ)句進(jìn)行判定。

接下來(lái)，將危險(xiǎn)率高于１０％的無(wú)效語(yǔ)句全部刪除，讓錄音者重新錄制語(yǔ)音，再經(jīng)過(guò)上述步驟重新判定，確保每條語(yǔ)句都具有有效性。與此同時(shí)，還將聽(tīng)辨實(shí)驗(yàn)結(jié)果做了統(tǒng)計(jì)，統(tǒng)計(jì)了識(shí)別正確的個(gè)數(shù)與錯(cuò)誤的個(gè)數(shù)，以及錯(cuò)誤地識(shí)別成哪種情感，統(tǒng)計(jì)結(jié)果如表４所示。

通過(guò)對(duì)聽(tīng)辨實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果的觀察和分析，可以得到：對(duì)于悲傷和憤怒兩種情感的聽(tīng)辨的識(shí)別率相對(duì)較高，而自然和高興兩種情感的識(shí)別率相對(duì)較低并且容易混淆。這主要是因?yàn)楸瘋蛻嵟瓋煞N情感的特征差別相對(duì)比較明顯，容易區(qū)分識(shí)別，自然和高興兩種情感的特征差異不明顯，易混淆，難分辨。該實(shí)驗(yàn)得出的結(jié)論將為后續(xù)情感變異的語(yǔ)音的分類與識(shí)別的結(jié)果分析提供了有效的參考。

４ 結(jié)束語(yǔ)

自然、高興、悲傷和和憤怒是人們?nèi)粘９ぷ鳌W(xué)習(xí)和生活中最常表達(dá)出來(lái)的情感，更具有普遍存在性和代表性。情感變異的語(yǔ)音語(yǔ)料庫(kù)的建立對(duì)情感語(yǔ)音分析的研究起到了不可忽視的作用。由于目前情感變異語(yǔ)音語(yǔ)料庫(kù)極為缺少，本文按照語(yǔ)料庫(kù)制定的準(zhǔn)則和規(guī)范，設(shè)計(jì)并建立了包含自然、高興、悲傷和憤怒四種情感的情感變異的語(yǔ)音語(yǔ)料庫(kù)，共計(jì)１ ６００句語(yǔ)句，其中，男生語(yǔ)句８００條，女生語(yǔ)句８００條；自然情感語(yǔ)句４００條，高興情感語(yǔ)句４００條，悲傷情感語(yǔ)句４００條，憤怒情感語(yǔ)句４００條。語(yǔ)音數(shù)據(jù)采樣是對(duì)錄音人員情感表達(dá)的一種挑戰(zhàn)，也是建立語(yǔ)料庫(kù)的第一要?jiǎng)?wù)。與此同時(shí)，本文還對(duì)語(yǔ)音樣本的可用性進(jìn)行了驗(yàn)證與分析，驗(yàn)證錄制的語(yǔ)音是否具有可用性，并且分析了聽(tīng)音者對(duì)語(yǔ)音數(shù)據(jù)的情感狀態(tài)的識(shí)別結(jié)果，為接下來(lái)的研究工作奠定了夯實(shí)的基礎(chǔ)，具有很好的參考價(jià)值和使用價(jià)值。

參考文獻(xiàn)：

[１] ＤＡＵＢＥＣＨＩＥＳ Ｉ． Ｔｈｅ ｗａｖｅｌｅｔｓ ｔｒａｎｓｆｏｒｍ ， ｔｉｍｅ－ｆｒｅｑｕｅｎｃｙ ｌｏ－

ｃａｌｉｚａｔｉｏｎ ａｎｄ ｓｉｇｎａｌ ａｎａｌｙｓｉｓ[Ｊ]．ＩＥＥＥ Ｔｒａｎｓ Ｉｎｆｏｒｍ Ｔｈｅｏｒｙ，１－

９９０， ３６：９６１－１００５．

[２] ＭＡＬＬＡＴ Ｓ，ＨＵＡＮＧ Ｗ Ｌ． Ｓｉｇｎｕｌａｒｉｔｙ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｐｒｏｃｅｓｓ－

ｉｎｇ ｗｉｔｈ ｗａｖｅｌｅｔｓ[Ｊ]． ＩＥＥＥ Ｔｒａｎｓ．Ｏｎ ＩＴ，１９９２，４１（９）：７１０－７３２．

[３] ＯＲＴＯＮＹ，ＴＵＭＥＲ． Ｗｈａｔ＇ｓ ｂａｓｉｃ ａｂｏｕｔ ｂａｓｉｃ ｅｍｏｔｉｏｎｓ?芽[Ｊ]． Ｐ－ ｓｙｃｈｏｌｏｇｉｃａｌ Ｒｅｖｉｅｗ，１９９７（３）：３１５－３３１．

[４] 李愛(ài)軍，王天慶，殷治剛． ８６３語(yǔ)音識(shí)別語(yǔ)音語(yǔ)料庫(kù)ＲＡＳＣ８６３

——四大官方普通話語(yǔ)音庫(kù)[Ｃ]／／ 第七屆全國(guó)人機(jī)語(yǔ)音通訊學(xué)

術(shù)會(huì)議，２００３，７：４１－４４．

[５] 謝波，等． 普通話情感語(yǔ)音數(shù)據(jù)庫(kù)及其韻律特征的統(tǒng)計(jì)分析[Ｃ]／／．

第一屆中國(guó)情感計(jì)算與智能交互學(xué)術(shù)會(huì)議（ＡＣＩＴ０３），２００３（１２）： ２２１－２２５．

[６] ＭＵＲＡＫＡ． Ｅｍｏｔｉｏｎａｌ ｃｏｎｓｔｉｔｕｅｎｔｓ ｉｎ ｔｅｘｔ ａｎｄ ｅｍｏｔｉｏｎａｌ ｃｏｍ－

ｐｏｎｅｎｔｓ ｉｎ ｓｐｅｅｃｈ[Ｄ]． Ｋｙｏｔｏ：Ｋｙｏｔｏ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，１－

９９８：１３８－１４４．

[７] ＧＩＬＬＩＣＫ Ｉ，ＣＯＺ Ｓ Ｊ． Ｓｏｍｅ ｓｔａｔｉｓｔｉｃａｌ ｉｓｓｕｅｓ ｉｎ ｔｈｅ ｃｏｍｐａｒｉ－

ｓｏｎ ｏｆ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ [Ｊ]． Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ，ａｎｄ Ｓｉｇｎａｌ－Ｐｒｏｃｅｓｓｉｎｇ，１９８９（１）：５３２－５３５．