一種新穎的混合語音檢索算法

摘要：提出了一種新穎的混合語音檢索算法。利用ICA的盲分離特性，將包含兩個(gè)人聲音的混合語音分離成只含一個(gè)人的單一語音，以分離出來的單一語音為新樣本建立新的語音庫，并與基于混合語音的語音庫建立鏈接關(guān)系。查詢時(shí)，利用DTW技術(shù)進(jìn)行匹配檢索，實(shí)現(xiàn)了基于混合語音的檢索功能。實(shí)驗(yàn)表明該方法能夠在混合語音中查詢到用戶所要求的記錄。

關(guān)鍵詞：混合語音； 語音檢索； 獨(dú)立分量分析； Mel頻率倒譜系數(shù)； 動(dòng)態(tài)時(shí)間歸整

中圖分類號：TP301文獻(xiàn)標(biāo)志碼：A

文章編號：1001-3695(2008)05-1349-03

常規(guī)的信息檢索（IR）研究主要是基于文本，如人們已經(jīng)非常熟悉的諸如Yahoo和Google等搜索引擎[1，2]。基于文本的信息檢索技術(shù)經(jīng)過多年的發(fā)展已成為較成熟的技術(shù)，將傳統(tǒng)文本檢索技術(shù)應(yīng)用于多媒體信息的檢索當(dāng)中，利用多媒體的外部特征在一定程度上可以滿足用戶的檢索要求[3~5]。但基于多媒體外部特征的檢索方法很難揭示多媒體信息的內(nèi)在內(nèi)容，并不能表達(dá)多媒體之間的語義關(guān)系。基于文本描述的方法雖然可以利用文字對多媒體信息的內(nèi)容進(jìn)行描述，但由于圖像和音頻具有豐富的內(nèi)涵，并且每一種媒體數(shù)據(jù)還有些內(nèi)容難以用字符來描述，如圖像的紋理、視頻中的運(yùn)動(dòng)、聲音中的音調(diào)等。另外，多媒體形式的多元化和特征的多維性，使不同的人因個(gè)人的知識、理解不同有所差異。在對多媒體數(shù)據(jù)進(jìn)行索引時(shí)，往往帶有很大的人為主觀性，在許多情況下僅有幾個(gè)關(guān)鍵詞難以充分描述多媒體的特征。這樣就使得人們在對多媒體檢索的實(shí)際應(yīng)用中，不僅要求檢索系統(tǒng)能對圖像、視頻和音頻等媒體進(jìn)行基于關(guān)鍵字的檢索，還需要對媒體進(jìn)行語義內(nèi)容的分析和理解，以達(dá)到更深層次的檢索，滿足用戶檢索的需求。隨著多媒體信息技術(shù)和互聯(lián)網(wǎng)的迅速發(fā)展，基于內(nèi)容的多媒體信息檢索技術(shù)已越來越受到人們的關(guān)注。音頻作為多媒體信息的一種，其檢索技術(shù)也必將成為今后研究的一個(gè)重點(diǎn)課題之一。

音頻的種類包含音樂、語音、噪聲，因此音頻檢索相應(yīng)地可分為三種類型。由于數(shù)字語音信號處理的特殊性，語音檢索的相關(guān)研究成果相對較少。所謂混合語音，就是語音記錄中包含兩個(gè)或兩個(gè)以上說話人的聲音。目前，一般的語音檢索算法所涉及的語音記錄僅僅包含單一說話人的聲音。當(dāng)語音為混合語音時(shí)，系統(tǒng)檢索效率很低，甚至無法完成檢索。這是因?yàn)闊o論是語音庫中的還是待檢索的語音，所提取的各種語音特征均為語音記錄中所有人特征的混合，與各自本身的特征存在很大的差異，按照混合語音的特征進(jìn)行檢索，必會(huì)使檢索發(fā)生錯(cuò)誤。在實(shí)際的環(huán)境情況下，要求做到采集純凈的單一說話人聲音是很困難的，要么夾雜著噪聲，要么有其他人說話的干擾。這也是限制語音檢索沒有得到進(jìn)一步發(fā)展，并應(yīng)用到實(shí)際中的一個(gè)重要原因[6]。本文算法包含兩個(gè)部分：檢索數(shù)據(jù)庫生成和查詢。數(shù)據(jù)庫生成階段，將采集到的混合語音信號利用ICA技術(shù)進(jìn)行分離，得到單一語音信號；然后將單一語音信號分離，提取MFCC特征參數(shù)，建立特征庫。數(shù)據(jù)庫查詢階段，對樣本語音信號，即待檢索語音同樣提取MFCC特征參數(shù)，利用DTW算法實(shí)現(xiàn)檢索匹配，最終輸出查詢結(jié)果，返回給用戶，如圖1所示。

1混合語音的分離

盲源分離的幾種主要ICA算法包括：最大似然估計(jì)、最小互信息、最大負(fù)熵、信息最大化等。目前應(yīng)用最為廣泛的實(shí)現(xiàn)ICA算法——FastICA算法，就是基于最大負(fù)熵理論實(shí)現(xiàn)的。

待檢索語音和語音庫中的所有語音實(shí)現(xiàn)匹配檢索后，均會(huì)得到一個(gè)累計(jì)匹配距離。根據(jù)累計(jì)匹配距離的不同，輸出查詢結(jié)果，最終返回給用戶。本文算法的實(shí)現(xiàn)過程用圖4概括。

4仿真實(shí)驗(yàn)

為了衡量算法的性能，引入文本檢索中查全率、查準(zhǔn)率和響應(yīng)時(shí)間作為評價(jià)指標(biāo)，各指標(biāo)分別定義如下：

查全率=[檢出相關(guān)語音記錄/語音庫內(nèi)相關(guān)語音記錄總量]×100%

查準(zhǔn)率=[檢出相關(guān)語音記錄/檢出語音記錄總量]×100%

響應(yīng)時(shí)間＝[語音庫中語音總數(shù)×一條語音的參數(shù)個(gè)數(shù)]

為了驗(yàn)證本文算法的可行性，設(shè)計(jì)仿真實(shí)驗(yàn)，步驟如下：

a)隨機(jī)選擇5位志愿者作為實(shí)驗(yàn)對象，兩兩組合，用兩個(gè)麥克風(fēng)同時(shí)采集兩個(gè)說話人的聲音，得到實(shí)驗(yàn)所需的混合語音。這樣總共可以得到20條混合語音。

b)對5個(gè)實(shí)驗(yàn)對象單獨(dú)采集一條語音記錄作為待檢索語音用于查詢，最終輸出系統(tǒng)認(rèn)為最匹配的8條混合語音記錄。

實(shí)驗(yàn)中設(shè)置語音信號經(jīng)過分幀處理后的總幀數(shù)為100幀。每幀提取12階的MFCC系數(shù)，因此，語音特征庫可以用一個(gè)20×100×12的三維向量表示。由于采集的語音信號時(shí)間長度為2 s左右，由此可知：每一幀的時(shí)間長度約為20 ms。實(shí)驗(yàn)結(jié)果如表1所示。

依實(shí)驗(yàn)結(jié)果：五次查詢中，有四次的查全率和查準(zhǔn)率做到了100%；惟一一次出現(xiàn)錯(cuò)誤的情況，查全率和查準(zhǔn)率也達(dá)到了75％。

對于傳統(tǒng)的語音檢索算法，在查詢階段，大多采用各種距離函數(shù)用于匹配檢索。為更加客觀地評價(jià)本文算法的各項(xiàng)性能指標(biāo)，利用ICA技術(shù)實(shí)現(xiàn)混合語音的分離，提取MFCC參數(shù)之后，以最簡單的幾何距離函數(shù)代替DTW算法用于特征向量的比較，實(shí)現(xiàn)匹配檢索。實(shí)驗(yàn)結(jié)果如表2所示。

比較上述兩種算法的實(shí)驗(yàn)結(jié)果：本文算法在冗余記錄的減少、查全率和查準(zhǔn)率的提高方面取得了很大的改進(jìn)，但在響應(yīng)時(shí)間上，本文算法劣于傳統(tǒng)的語音檢索算法。可見，冗余記錄的減少、查全率和查準(zhǔn)率的提高是以犧牲響應(yīng)時(shí)間作為代價(jià)的。但是，隨著計(jì)算機(jī)硬件技術(shù)的發(fā)展，計(jì)算機(jī)的處理能力得到了很大的提高，響應(yīng)時(shí)間的增加已不是語音檢索所追求的最主要目標(biāo)，完全可以由計(jì)算機(jī)本身處理能力的提高加以彌補(bǔ)。

5結(jié)束語

本文提出了一種新穎的混合語音檢索算法，實(shí)現(xiàn)了在混合語音中查詢特定人語音記錄的功能，但算法還可以從以下方面進(jìn)行改進(jìn)：a）由于匹配過程中限定了彎折的斜率，許多格點(diǎn)實(shí)際上是到達(dá)不了的，相關(guān)格點(diǎn)對應(yīng)幀的匹配計(jì)算是不需要的；b）沒有必要保存所有的幀匹配距離矩陣和累積距離矩陣，因?yàn)槊恳涣懈鞲顸c(diǎn)上的匹配計(jì)算只用到了前一列的三個(gè)網(wǎng)格。另外，現(xiàn)有很多的語音盲分離(BBS)算法對于實(shí)際的語音信號分離效果不是很好，尤其是在環(huán)境空間比較大、回響時(shí)間比較長的情況，即存在一定數(shù)目的時(shí)延信號下，其分離效能就非常有限了。這說明環(huán)境的回響時(shí)間與算法的分離性能有著密切的關(guān)系。

目前，語音盲分離算法的研究多數(shù)還是針對有限條件的情況下進(jìn)行的，如在無噪聲環(huán)境中，說話人的位置固定，麥克風(fēng)的間距不是很大，說話人與各個(gè)麥克風(fēng)之間的距離不是等距的，環(huán)境空間不能很大，且環(huán)境中沒有大于實(shí)際說話人聲音的揚(yáng)聲器存在，這些都是對分離算法的一些人為假設(shè)。混合語音檢索技術(shù)要想真正實(shí)際應(yīng)用，還有很長的一段路要走。

參考文獻(xiàn)：

[1]李國輝， 李恒峰. 基于內(nèi)容的音頻檢索：概念和方法[J]. 計(jì)算機(jī)工程， 2000，21(11):1173－1177.

[2]朱愛紅， 李連. 基于內(nèi)容的音頻檢索綜述[J].微機(jī)發(fā)展， 2003，13(12):58-61.

[3]FOOTE J.An overview of audio information retrieval[J].Multimedia Systems， 1999，7(11):2－10.

[4]LU Guo－jun. Indexing and retrieval of audio: a survey[J]. Multimedia Tools and Applications， 2001，15(10):269-290.

[5]LIE Wen－nong， SU Chen－kang. Content－based retrieval of mp3 songs based on query by singing[C]//Proc of IEEE International Con-ference on Acoustics，Speech and Signal Processing.2004:1073－1076.

[6]BYRD D， CRAWFORD T. Problems of music information retrieval in the real world[J]. Information Processing and Management， 2002，38(11):249-272.

[7]HYVARINEN A， OIA E. Independent component analysis: algorithms and applications[J]. Neural Networks， 2000，13(4-5):411-430.

[8]FENG Ya－zhong， ZHUANG Yue－ting， PAN Yun－h(huán)e. Popular song retrieval based singing matching[C]//Proc of IEEEPacific Rim Conference on Multimedia. 2002:639-646.

[9]LI Ying， HOU Yi－bin. Search audio date with the wavelet pyramidal algorithm[J]. Information Processing Letters， 2004，13(11):49-55.

[10]LI G， KHOKHAR A. Content－based indexing and retrieval of audio data using wavelets[C]//Proc of IEEE International Conference on Multimedia and Expo. 2000:885－888.

[11]LIU Jing－wei， CHENG Qian－sheng， ZHENG Zhong－guo， et al. A DTW－based probability model for speaker feature analysis and data mining[J]. Pattern Recognition Letters， 2002，23(11):1271－1276.

“本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文”