說(shuō)話人識(shí)別方法綜述

陳晨 韓紀(jì)慶

摘 要：作為語(yǔ)音處理領(lǐng)域的主要技術(shù)之一，說(shuō)話人識(shí)別以確認(rèn)說(shuō)話人身份為目標(biāo)，在移動(dòng)交互、身份驗(yàn)證、音頻監(jiān)控等領(lǐng)域有著廣泛的應(yīng)用前景。經(jīng)過(guò)數(shù)十年的發(fā)展，說(shuō)話人識(shí)別技術(shù)已經(jīng)能夠取得優(yōu)秀的識(shí)別性能。本文將對(duì)說(shuō)話人識(shí)別方法的研究現(xiàn)狀進(jìn)行總結(jié)與分析，介紹目前主流的說(shuō)話人識(shí)別技術(shù)。

關(guān)鍵詞：說(shuō)話人識(shí)別；特征提取；說(shuō)話人模型

中圖分類(lèi)號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)號(hào)：A 文章編號(hào)：2095-2163（2015）05-

An Overview of Speaker Recognition

CHEN Chen， HAN Jiqing

（School of Computer Science and Technology， Harbin Institute of Technology， Harbin 150001， China）

Abstract： As one of the main technology of speech processing， speaker recognition aiming at speaker distinguishing， has a broad application prospect in the field of mobile interaction， authentication， audio monitor， and so on. After decades of development， speaker recognition has achieved a high accuracy. This paper will carry on the summary and analysis of speaker recognition， and introduces the current mainstream technology of speaker recognition.

Keywords： Speaker Recognition； Feature Extraction； Speaker Modeling

0 引 言

語(yǔ)音是人類(lèi)之間交流情感與認(rèn)知的重要信息載體，是在生活與工作中最基本、最自然的交流方式。隨著信息技術(shù)的發(fā)展，使得通過(guò)分析語(yǔ)音信號(hào)中的個(gè)人特征來(lái)識(shí)別說(shuō)話人成為可能。說(shuō)話人識(shí)別技術(shù)因其良好的準(zhǔn)確性、經(jīng)濟(jì)性和可擴(kuò)展性，擁有著廣闊的發(fā)展空間[1]，且已經(jīng)作為一項(xiàng)重要的多媒體數(shù)據(jù)分析技術(shù)，應(yīng)用在事務(wù)訪問(wèn)控制、身份驗(yàn)證、語(yǔ)音數(shù)據(jù)管理和音頻監(jiān)控等眾多研究領(lǐng)域[2]。

對(duì)于說(shuō)話人識(shí)別技術(shù)的研究，一直是計(jì)算機(jī)領(lǐng)域的熱門(mén)話題。其研究歷史可以追溯到第二次世界大戰(zhàn)后期。在隨后的幾十年中，說(shuō)話人技術(shù)快速發(fā)展，典型的研究成果有基于模式匹配和統(tǒng)計(jì)方差分析的說(shuō)話人識(shí)別方法[3]、基于線性預(yù)測(cè)分析與倒譜分析的說(shuō)話人識(shí)別方法[4]，人工神經(jīng)網(wǎng)絡(luò)（Artificial neural network，ANN）[5]、動(dòng)態(tài)時(shí)間規(guī)整（Dynamic time warping，DTW）技術(shù)[6]以及矢量量化（Vector quantization，VQ）技術(shù)[7]。但隨著精確度更高的概率模型的提出，上述方法逐漸推出了使用。具有代表性的概率模型是隱含馬爾科夫模型（Hidden Markov model，HMM）[8]，由于HMM對(duì)說(shuō)話人語(yǔ)音信號(hào)有較強(qiáng)的魯棒性，能夠同時(shí)把統(tǒng)計(jì)參數(shù)全部集成在一個(gè)統(tǒng)一的框架中，用狀態(tài)轉(zhuǎn)移規(guī)律刻畫(huà)穩(wěn)定段之間的變化過(guò)程，統(tǒng)計(jì)聲學(xué)特征和時(shí)間上的變動(dòng)，因此在說(shuō)話人識(shí)別中得到廣泛的應(yīng)用。20世紀(jì)90年代，單狀態(tài)的HMM即獲提出，也就是高斯混合模型（Gaussian mixture model，GMM）[9]，隨后則將通用背景模型（Universal background model，UBM）[10]引入到GMM中形成的GMM-UBM系統(tǒng)，由于其優(yōu)異的識(shí)別性能、簡(jiǎn)單靈活的模型結(jié)構(gòu)和初中的魯棒性，成為文本無(wú)關(guān)的說(shuō)話人識(shí)別系統(tǒng)領(lǐng)域里發(fā)揮開(kāi)創(chuàng)性引領(lǐng)作用的重要研究稱(chēng)。

目前，說(shuō)話人識(shí)別技術(shù)已經(jīng)取得了巨大的進(jìn)步，在科技發(fā)展的帶動(dòng)下，以說(shuō)話人識(shí)別技術(shù)為載體的電子科技產(chǎn)品日益增加，但是在拓展說(shuō)話人識(shí)別技術(shù)應(yīng)用范圍的同時(shí)，也使其面對(duì)了更多變更復(fù)雜的噪聲干擾問(wèn)題，這就對(duì)說(shuō)話人識(shí)別技術(shù)提出了更加嚴(yán)苛的要求和更為嚴(yán)峻的挑戰(zhàn)。其中信道畸變所引起的干擾即是噪聲干擾的主要來(lái)源。在GMM-UBM的基礎(chǔ)上，以解決信道畸變問(wèn)題的聯(lián)合因子（Joint factor analysis，F(xiàn)A）[11]與i-vector[12]方法則相繼獲得提出，也已成為目前說(shuō)話人識(shí)別領(lǐng)域中最為先進(jìn)的技術(shù)之一。

本文將介紹說(shuō)話人識(shí)別的基本原理，從特征提取和說(shuō)話人模型兩個(gè)方面，綜合近年說(shuō)話人識(shí)別領(lǐng)域的主要研究情況進(jìn)行總結(jié)與評(píng)價(jià)。

1說(shuō)話人識(shí)別基本框架

說(shuō)話人識(shí)別的基本任務(wù)是通過(guò)分析語(yǔ)音信號(hào)中包含的說(shuō)話人個(gè)性信息來(lái)識(shí)別待識(shí)別說(shuō)話人的身份，其基本原理如圖1所示。主要包括兩個(gè)階段，即訓(xùn)練階段與識(shí)別階段。具體地，訓(xùn)練階段根據(jù)說(shuō)話人集合中每個(gè)說(shuō)話人的訓(xùn)練語(yǔ)料，經(jīng)特征提取后，建立各個(gè)說(shuō)話人的模型；識(shí)別階段就是在待識(shí)別說(shuō)話人的語(yǔ)音經(jīng)特征提取后，將其與系統(tǒng)訓(xùn)練的模型進(jìn)行匹配。

圖1 說(shuō)話人識(shí)別系統(tǒng)原理圖

Fig. 1 Schematic diagram of speaker recognition system

2 特征提取

由于在時(shí)域上語(yǔ)音信號(hào)的波形變化相當(dāng)快速、不易觀察，因此一般都會(huì)在頻域上來(lái)實(shí)施觀察。在頻域上，語(yǔ)音信號(hào)的頻譜隨著時(shí)間緩慢變化，因此通?？梢约僭O(shè)在一較短時(shí)間中，其語(yǔ)音信號(hào)的特性是穩(wěn)定的。特征提取是一個(gè)去除原來(lái)語(yǔ)音數(shù)據(jù)中的冗余信息，減小數(shù)據(jù)量的過(guò)程。常用的說(shuō)話人特征有線性預(yù)測(cè)倒譜系數(shù)（Linear predictive cepstral coefficient，LPCC）[13]和梅爾倒譜系數(shù)（Mel-frequency cepstral coefficients，MFCC）[14]。其數(shù)學(xué)實(shí)現(xiàn)原理則如下所示。

2.1 線性預(yù)測(cè)系數(shù)

LPCC模擬聲道效應(yīng)，將聲門(mén)激勵(lì)信號(hào)與聲道沖擊相應(yīng)分離開(kāi)，采用線性預(yù)測(cè)原理，將一個(gè)語(yǔ)音信號(hào)用過(guò)去的若干個(gè)采樣的線性組合來(lái)表示。在時(shí)域上，語(yǔ)音信號(hào)s（n）的預(yù)測(cè)值為：

（1）

其中， 為線性預(yù)測(cè)系數(shù)。預(yù)測(cè)誤差為：

（2）

預(yù)測(cè)系數(shù) 可以通過(guò)最小化預(yù)測(cè)誤差來(lái)求得。最后根據(jù)遞推求解方法求得LPCC參數(shù)：

（3）

2.2 梅爾倒譜系數(shù)

MFCC融入了人耳的聽(tīng)覺(jué)特性，把能量、基音頻率、共振峰值等參數(shù)作為描述語(yǔ)音特征的參數(shù)，將人耳的聽(tīng)覺(jué)感知特性和語(yǔ)音的產(chǎn)生機(jī)制相結(jié)合。實(shí)驗(yàn)證明在語(yǔ)音識(shí)別中MFCC參數(shù)的性能是目前比較優(yōu)秀的，所以也相應(yīng)具有最為廣泛的應(yīng)用。Mel頻率與Hz頻率的對(duì)應(yīng)關(guān)系可以用下式近似表示：

（4）

其中， 為Hz頻率，B為Mel頻率。

在提取過(guò)程中，MFCC首先對(duì)語(yǔ)音進(jìn)行預(yù)處理，預(yù)處理包括預(yù)加重、分幀和加窗三個(gè)部分；然后對(duì)預(yù)處理后的語(yǔ)音做快速傅里葉變化（Fast Fourier transform，F(xiàn)FT），再用Mel濾波器組濾波并對(duì)其取對(duì)數(shù)，最后做離散余弦變換求倒譜（Discrete consine transform，DCT），去除各維信號(hào)之間的相關(guān)性，從而將信號(hào)映射到低維空間。在提取MFCC的基礎(chǔ)上，還可求取其一階、二階差分，共同組成Mel倒譜特征。

3 說(shuō)話人模型

3.1 GMM-UBM模型

通用背景模型（Universal Background Model，UBM）的本質(zhì)也是一個(gè)高斯混合模型（Gaussian Mixture Model，GMM），其目的是為了避免由于實(shí)驗(yàn)室環(huán)境下訓(xùn)練數(shù)據(jù)不足導(dǎo)致的過(guò)擬合。UBM是經(jīng)過(guò)大量語(yǔ)音訓(xùn)練得到的，因而能夠反映說(shuō)話人的平均特征分布。UBM模型的訓(xùn)練是一個(gè)參數(shù)估計(jì)的過(guò)程，即用大量的背景說(shuō)話人在最大似然準(zhǔn)則（Maximum Likelihood，ML）下采用期望最大化算法（Expectation Maximization，EM）訓(xùn)練得到一個(gè)與說(shuō)話人無(wú)關(guān)、通道無(wú)關(guān)的高斯混合模型。高斯混合模型是由多個(gè)高斯概率分布函數(shù)的加權(quán)和構(gòu)成的，其分布函數(shù)的維度與聲學(xué)特征的維度一致，每個(gè)高斯概率分布函數(shù)的權(quán)重、均值和方差均由先驗(yàn)數(shù)據(jù)學(xué)習(xí)得到。GMM函數(shù)的描述形式如下：

（5）

其中， ， 和 分別表示第c個(gè)高斯分量的權(quán)重、均值和方差。

設(shè)經(jīng)前端處理后得到的MFCC特征向量為：X（x1，...， xt，...，xT），則GMM的參數(shù)更新過(guò)程如下：

（6）

其中， 為每個(gè)xt在高斯分量c上的隱含類(lèi)別的概率。

GMM是每個(gè)說(shuō)話人在UBM上采用最大后驗(yàn)（Maximum a posteriori，MAP）自適應(yīng)得到的。由于在自適應(yīng)目標(biāo)說(shuō)話人的GMM時(shí)，權(quán)重和方差對(duì)于識(shí)別性能并未獲得顯著提高，所以一般只更新均值，更新公式如下：

（7）

在GMM-UBM說(shuō)話人識(shí)別的測(cè)試階段，將說(shuō)話人產(chǎn)生特征矢量序列的似然值作為最終的得分，若得分大于閾值則接受說(shuō)話人，反之則拒絕。

3.2 聯(lián)合因子分析模型

目前GMM-UBM已經(jīng)成為說(shuō)話人識(shí)別技術(shù)的標(biāo)準(zhǔn)模型，如果把這個(gè)模型擴(kuò)展成為具有不同說(shuō)話人之間差異的說(shuō)話人模型和相同說(shuō)話人之間信道差異的信道模型這兩個(gè)聯(lián)合模型，即為聯(lián)合因子分析（Joint factor analysis，JFA）模型。JFA假設(shè)每個(gè)說(shuō)話人可以用一個(gè)與說(shuō)話人和信道相關(guān)的GMM均值超矢量M來(lái)表示，并且可以分解為說(shuō)話人超矢量s和信道超矢量c和的形式：

（8）

其中，s與c各自獨(dú)立且服從高斯分布，s描述了說(shuō)話人之間的差異，c描述了信道之間的差異。說(shuō)話人超矢量s與信道超矢量c分別可以由隱含變量表示而成：

（9）

其中，m為UBM均值超矢量；V為說(shuō)話人本征音矩陣（CF×Rv），Rv（100≤R≤400）為本征音空間因子；y為Rv×1維說(shuō)話人因子；D為CF×CF對(duì)角殘差矩陣；z為CF×1維高斯分布隨機(jī)向量。U為本征信道矩陣（CF×Ru），Ru（10≤R≤200）為本征信道因子數(shù)；x為Ru×1維信道因子。

分別估計(jì)本征音空間矩陣V、本征信道矩陣U和殘差空間矩陣D，通過(guò)計(jì)算相關(guān)因子的后驗(yàn)均值與后驗(yàn)相關(guān)矩陣，求出相關(guān)因子y，x和z，根據(jù)式（8）與（9）得到說(shuō)話人的GMM均值超矢量作為說(shuō)話人模型。最后通過(guò)對(duì)數(shù)似然比的方法對(duì)說(shuō)話人進(jìn)行判決。

在估計(jì)本征信道矩陣U時(shí)，需要將各種信道條件下的數(shù)據(jù)混合起來(lái)進(jìn)行訓(xùn)練，對(duì)于語(yǔ)音數(shù)據(jù)的需求很苛刻，同時(shí)計(jì)算量也非常龐大。

3.3 i-vector模型

以JFA為基礎(chǔ)，Dehak和Kenny提出了一種更為簡(jiǎn)化的基于因子分析（Factor analysis，F(xiàn)A）的說(shuō)話人識(shí)別方法，稱(chēng)為i-vector模型。其中，i是身份（Identity）的縮寫(xiě)，故i-vector相當(dāng)于說(shuō)話人的身份標(biāo)識(shí)。i-vector和JFA一樣，也是一種基于統(tǒng)計(jì)特性的語(yǔ)音特征，衍生于GMM均值超矢量[15]，但卻彌補(bǔ)了JFA對(duì)于語(yǔ)音數(shù)據(jù)依賴性大的缺點(diǎn)。

i-vector模型不像JFA一樣將均值超矢量空間劃分兩部分，而是用一個(gè)總變化空間（Total variability space）進(jìn)行了代替。在這個(gè)總變化空間中，包含了說(shuō)話人的語(yǔ)音信息以及信道信息。假設(shè)每個(gè)說(shuō)話人可以用一個(gè)與說(shuō)話人和信道相關(guān)的GMM均值超矢量M來(lái)表示，其中M是由所有的C個(gè)GMM均值矢量按照先后順序串聯(lián)在一起得到的。對(duì)于一段給定的語(yǔ)音，GMM均值超矢量M定義如下：

（10）

其中，m為UBM均值超矢量，T為總變化空間矩陣（CF×R），F(xiàn)為MFCC特征向量的維數(shù)，w為i-vector。w是一個(gè)R維的特征向量（400≤R≤600），并且服從標(biāo)準(zhǔn)高斯分布 ；GMM均值超矢量M服從高斯分布 。

設(shè)說(shuō)話人的一組特征序列為X（x1，...，xt，...，xT），對(duì)每一個(gè)時(shí)刻t，特征矢量xt相對(duì)每個(gè)高斯分量c的狀態(tài)占有率為：

（11）

式中， 為語(yǔ)音xt在UBM的第c個(gè)高斯分量上的后驗(yàn)概率。

利用 可以求出每個(gè)說(shuō)話人的權(quán)值和均值矢量對(duì)應(yīng)的Baum–Welch統(tǒng)計(jì)量：

（12）

定義為 一階中心統(tǒng)計(jì)量：

（13）

對(duì)每個(gè)說(shuō)話人，令 ，w的后驗(yàn)分布服從高斯分布 [16]，其中 為從 拼接而來(lái)的CF×1維的超矢量，N（X）為以Nc為對(duì)角塊的CF×CF維對(duì)角矩陣。w的后驗(yàn)均值用期望的形式可以表示為：

（14）

由于總變化空間中，同時(shí)含說(shuō)話人信息與信道信息，所以需要對(duì)上述過(guò)程中提取的初始i-vector做信道補(bǔ)償。信道補(bǔ)償技術(shù)有線性判別分析（Linear discriminant analysis，LDA）和類(lèi)內(nèi)協(xié)方差規(guī)整（Within-Class covariance cormalization，WCCN）[12]等。

在i-vector說(shuō)話人識(shí)別的測(cè)試階段，把測(cè)試說(shuō)話人與目標(biāo)說(shuō)話人的i-vector的余弦距離作為得分，若得分大于閾值則接受說(shuō)話人，反之則拒絕。

4 結(jié)束語(yǔ)

經(jīng)過(guò)數(shù)十年的發(fā)展，說(shuō)話人識(shí)別技術(shù)已經(jīng)取得了巨大的成就，然而信道畸變對(duì)于說(shuō)話人技術(shù)性能的提升仍然有著很大的影響，所以在說(shuō)話人識(shí)別技術(shù)中，加強(qiáng)對(duì)信道畸變產(chǎn)生的噪聲的處理，則有著重要的意義與價(jià)值。本文綜合上述問(wèn)題，從說(shuō)話人識(shí)別技術(shù)的基本框架出發(fā)，介紹了特征提取與說(shuō)話人模型的基本方法與理論，并對(duì)說(shuō)話人識(shí)別方法的研究現(xiàn)狀進(jìn)行總結(jié)與分析，介紹了目前主流的說(shuō)話人識(shí)別技術(shù)，為從事說(shuō)話人識(shí)別的研究者提供有益借鑒與參考。

參考文獻(xiàn)：

[1] BOVES L W J. Commercial applications of speaker verification： overview and critical success factors[J]. International Journal of Speech Technology， 1998，3（2）： 150-159.

[2] REYNOLDS D A. An overview of automatic speaker recognition technology[J]. ICASSP， 2002， 4（4）：4072-4075.

[3] KERSTA L G. Voiceprint identification[J]. The Journal of the Acoustical Society of America， 1962， 34（5）： 725-725.

[4] MAKHOUL J. Linear prediction： a tutorial review[J]. Proceeding of the IEEE， 1975， 63（4）：561-580.

[5] SAKOE H， CHIBA S. Dynamic programming algorithm optimization for spoken word recognition[J]. IEEE Transactions on Acoustics， Speech and Signal Processing， 1978， 26（2）：43-49.

[6] WAIBEL A. Modular construction of time-delay neural networks for speech recognition[J]. Neural Computation， 1989， 1（1）：39-46.

[7] SOONG F， ROSENBERG A， RABINER L. A vector quantization approach to speaker recognition[C]// International Conference on Acoustics， Speech， and Signal Processing， Tampa： IEEE， 1985：387-390.

[8] RABINER L R. A tutorial on hidden Markov models and selected applications in speech recognition[J]. Proceedings of the IEEE， 1989， 77（2）：257-286.

[9] ROSE R， REYNOLDS R A. Text independent speaker identification using automatic acoustic segmentation[C]// International Conference on Acoustics， Speech， and Signal Processing 1990， Albuquerque： IEEE， 1990： 293-296.

[10] REYNOLDS D A， QUATIERI T F， DUNN R B. Speaker verification using adapted Gaussian mixture models[J]. Digital signal processing， 2000， 10（1-3）：19-41.

[11] KENNY P， BOULIANNE G， OUELLET P. Joint factor analysis versus eigenchannels in speaker recognition[J]. IEEE Transactions on Audio Speech & Language Processing， 2007， 15（4）：1435-1447.

[12] DEHAK N， KENNY P J， DEHAK R. Front-end factor analysis for speaker verification[J]. Audio Speech & Language Processing IEEE Transactions on， 2011， 19（4）：788-798.

[13] MAKHOUL J. Linear Prediction： A Tutorial Review[J]. Proceeding of the IEEE， 1975， 63（4）：561-580.

[14] KUMAR N， ANDREOU A G. Heteroscedastic Discriminant Analysis and Reduced Rank HMMs for Improved Speech Recognition[J]. Speech Communication， 1980， 26（4）：357-366.

[15] CAMPBELL W M， STURIM D E， REYNOLDS D A. SVM based speaker verification using a GMM supervector kernel and NAP variability compensation[C]// International Conference on Acoustics， Speech， and Signal Processing 2006， Albuquerque： IEEE， 2006：97-100.

[16] KENNY P， BOULIANNE G， DUMOUCHEL P. Eigenvoice modeling with sparse training data[J]. Speech & Audio Processing IEEE Transactions on， 2005， 13（3）：345-354.