深度信念網(wǎng)絡(luò)的Bottleneck特征提取方法

談建慧,景新幸,楊海燕

(桂林電子科技大學(xué) 信息與通信學(xué)院，廣西 桂林　541004)

深度信念網(wǎng)絡(luò)的Bottleneck特征提取方法

談建慧,景新幸,楊海燕

(桂林電子科技大學(xué) 信息與通信學(xué)院，廣西 桂林541004)

摘要：為了提升連續(xù)語音識(shí)別系統(tǒng)的識(shí)別率，提出一種基于深度信念網(wǎng)絡(luò)的Bottleneck特征提取方法。該方法使用對比散度算法，采用無監(jiān)督的預(yù)訓(xùn)練堆疊限制玻爾茲曼機(jī)得到網(wǎng)絡(luò)初始化參數(shù)，進(jìn)而采用反向傳播算法，以最大化幀級(jí)交叉熵作為訓(xùn)練準(zhǔn)則，反向迭代對網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)。采用上下文相關(guān)的三音素模型，以音素錯(cuò)誤率大小作為評(píng)價(jià)系統(tǒng)性能的準(zhǔn)則。實(shí)驗(yàn)結(jié)果表明，所提出的基于深度信念網(wǎng)絡(luò)提取的Bottleneck特征相對于傳統(tǒng)特征更具優(yōu)越性。

關(guān)鍵詞：連續(xù)語音識(shí)別；深度信念網(wǎng)絡(luò)；Bottleneck特征；音素錯(cuò)誤率

大詞匯量連續(xù)語音識(shí)別(large vocabulary continuous speech recognition，簡稱LVCSR)已經(jīng)廣泛應(yīng)用于現(xiàn)代社會(huì)中的各個(gè)領(lǐng)域,作為一種典型的模式識(shí)別方法，現(xiàn)代的語音識(shí)別技術(shù)主要包括3個(gè)部分：語音特征的提取、聲學(xué)模型的建立以及解碼[1]。而這些語音識(shí)別技術(shù)目的是為了能夠提取出語音信號(hào)中的特征，獲得更高的語音識(shí)別正確率。因此，語音信號(hào)特征的提取在語音識(shí)別系統(tǒng)中顯得極其重要。一般情況下，使用短時(shí)頻譜特征來表征語音信息，例如感知線性預(yù)測特征(perceptual linear predictive，簡稱PLP)與梅爾倒譜數(shù)(Mel-frequency cepstral coefficients，簡稱MFCC)，但是這些短時(shí)頻譜特征只能反映臨界邊帶信息，而且相鄰類的實(shí)時(shí)模式有可能非常接近，導(dǎo)致類間的區(qū)分度較小[2]。

能有效地解決上述問題的方法是近年來提出的瓶頸特征(Bottleneck feature)。瓶頸特征中的瓶頸是在多層感知機(jī)(multiplayer perceptron，簡稱MLP)中最中間的那一層(即瓶頸層)，其神經(jīng)元個(gè)數(shù)相對于其他層的神經(jīng)元個(gè)數(shù)要少很多，因此，整個(gè)神經(jīng)網(wǎng)絡(luò)就像一個(gè)瓶頸[3]。目前，瓶頸特征提取較新的方法是利用深度信念網(wǎng)絡(luò)(deep belief network，簡稱DBN)[4]。DBN是由Hinton等[5]在2007年首次提出并應(yīng)用于模式識(shí)別領(lǐng)域，其本質(zhì)上是MLP，然而，由于其特殊的訓(xùn)練方式，使其能有效地克服MLP在網(wǎng)絡(luò)隱層數(shù)增加時(shí)容易陷入局部最優(yōu)。不僅如此，DBN還被證明能利用其深度結(jié)構(gòu)對自然界中的實(shí)際信號(hào)(語音信號(hào)、圖像信號(hào)等)建模，而且其表征能力比傳統(tǒng)的淺層結(jié)構(gòu)的建模方法強(qiáng)[6]。2006年，由Hinton等[2]提出了一種深度信念網(wǎng)絡(luò)結(jié)構(gòu)。自此，深度神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)成為人工智能領(lǐng)域備受關(guān)注的研究重點(diǎn)與熱點(diǎn)。陳碩[7]證明了無監(jiān)督學(xué)習(xí)在各層訓(xùn)練的有效性，指出各層可在前一層訓(xùn)練結(jié)果輸出的基礎(chǔ)上，再次進(jìn)行無監(jiān)督訓(xùn)練。由DBN構(gòu)建的DNN自編碼器的Bottleneck特征實(shí)質(zhì)上是一種非線性的特征變換和降維技術(shù)。這種結(jié)構(gòu)使得特征維度和神經(jīng)網(wǎng)絡(luò)訓(xùn)練目標(biāo)的尺度分離，容易通過更精細(xì)且更多的子音素類別來表示音素目標(biāo)，同時(shí)不需要降低維度即可保持小的特征矢量空間。可見，基于深度信念網(wǎng)絡(luò)的Bottleneck特征提取方法是一種更好的特征提取方法。因此，利用深度信念網(wǎng)絡(luò)訓(xùn)練了5個(gè)隱層的深度網(wǎng)絡(luò)來提取Bottleneck特征，并在TIMIT語音庫上進(jìn)行3個(gè)對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果均表明Bottleneck特征的優(yōu)越性。

1深度信念網(wǎng)絡(luò)

深度神經(jīng)網(wǎng)絡(luò)(deep neural network，簡稱DNN)是人工神經(jīng)網(wǎng)絡(luò)的一部分，深度神經(jīng)網(wǎng)絡(luò)可以理解為更深層次的神經(jīng)網(wǎng)絡(luò)。深度神經(jīng)網(wǎng)絡(luò)相比于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)有著更多層非線性映射的深度結(jié)構(gòu)，因此，它可以完成復(fù)雜的函數(shù)逼近。DBN由一系列受限玻爾茲曼機(jī)(restricted Boltzmann machine，簡稱RBM)模塊堆疊而成[8]。本研究采用最常用的DBN模型構(gòu)建DNN，DBN的訓(xùn)練包括使用堆疊RBM進(jìn)行預(yù)訓(xùn)練和使用反向傳播算法(back propagation algorithm，簡稱BP算法)進(jìn)行反向微調(diào)2個(gè)過程。圖1為RBM模塊，圖2為由RBM堆疊的DBN結(jié)構(gòu)。

1.1RBM模型

典型的RBM模型可表示為二部圖，其中可視層中的隨機(jī)單元僅連接到隱藏層中的隨機(jī)單元。可視層和隱藏層中的單元由指數(shù)分布表示。伯努利或高斯分布通常使用在可見層，而伯努利分布通常使用在隱藏層。

圖1　RBM模塊Fig.1　Module of RBM

圖2　DBN結(jié)構(gòu)Fig.2　Structure of DBN

對于伯努利-伯努利RBMS和高斯-伯努利RBMS，定義能量函數(shù)E為：

(1)

(2)

其中：θ=(ω,b,a)；ωij為可見單元vi和隱藏單元hj之間的對稱連接權(quán)值，且ωij=ωji；bi為可見單元的偏移量；aj為隱藏單元的偏移量；v和h分別為可見單元和隱藏單元的數(shù)目。高斯-伯努利RBMS通常用于完成從實(shí)值隨機(jī)變量到二進(jìn)制隨機(jī)變量的轉(zhuǎn)換，利用伯努利-伯努利RBMS處理該二進(jìn)制隨機(jī)變量的轉(zhuǎn)換。對可見單元和隱藏單元狀態(tài)的聯(lián)合分布概率的定義為：

(3)

(4)

(5)

其中：〈vihj〉data為vi和hj同時(shí)出現(xiàn)在訓(xùn)練序列時(shí)的期望值；〈vihj〉model為根據(jù)本模型定義的分布中同樣的期望值。在實(shí)際的操作中，〈vihj〉model一般很難計(jì)算，因此，采用與梯度類似的對比散度算法(contrastive divergence，簡稱CD)，將〈vihj〉model替換為一次吉布斯采樣。

1.2RBM學(xué)習(xí)算法

為擬合給定的學(xué)習(xí)樣本，求出模型參數(shù)θ值是學(xué)習(xí)限制玻爾茲曼機(jī)的目標(biāo)，通常采用最大化限制玻爾茲曼機(jī)在學(xué)習(xí)集上的對數(shù)似然度的方法。設(shè)模型參數(shù)的最優(yōu)值為

(6)

為獲得最優(yōu)值θ*，使用隨機(jī)梯度上升法進(jìn)行計(jì)算。網(wǎng)絡(luò)中可見向量v出現(xiàn)的概率是所有可能隱藏向量的和。相比于權(quán)重，訓(xùn)練集的對數(shù)概率的導(dǎo)數(shù)就顯得異常的簡單。

(7)

其中：N為訓(xùn)練集的大小；角括號(hào)表示由下標(biāo)所指定分布的期望。式(7)的導(dǎo)數(shù)使得使用隨機(jī)梯度上升法計(jì)算訓(xùn)練集數(shù)據(jù)的對數(shù)概率非常簡單，

(8)

其中ε為學(xué)習(xí)速率。

1.3堆疊RBM

使用數(shù)據(jù)訓(xùn)練RBM后，隱藏單元狀態(tài)可以作為訓(xùn)練下一個(gè)RBM的數(shù)據(jù)輸入，通過學(xué)習(xí)下一個(gè)RBM對第一個(gè)RBM隱藏單元的顯著依賴關(guān)系進(jìn)行建模。多個(gè)RBM堆疊即可構(gòu)成DBN，其頂層是無向的，低層之間自頂向下、有向連接。RBM堆疊為DBN的過程如圖3所示。

圖3　DBN堆疊原理示意圖Fig.3　Schematic diagram of DBN stacking principle

2基于DNN模型的Bottleneck聲學(xué)特征提取

2.1Bottleneck特征

Bottleneck特征一般利用一種特殊的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行提取，該神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)相比于其他網(wǎng)絡(luò)結(jié)構(gòu)，其特殊之處在于，某一層的神經(jīng)元個(gè)數(shù)比其他層的神經(jīng)元個(gè)數(shù)要少很多。因此，這個(gè)層稱為Bottleneck層，其輸出的特征稱為Bottleneck特征。來自于DNN自編碼器的Bottleneck特征實(shí)質(zhì)上是一種非線性的特征變換和降維技術(shù)，這種結(jié)構(gòu)使得特征維度和神經(jīng)網(wǎng)絡(luò)訓(xùn)練目標(biāo)的尺度分離。因此，更容易通過更精細(xì)且更多的子音素類別來表示音素目標(biāo)，同時(shí)不需要維度降低即可保持小的特征矢量空間。

2.2 Bottleneck特征提取

從DNN自編碼器結(jié)構(gòu)中構(gòu)建一個(gè)窄層，即維數(shù)較小的層，其輸出為Bottleneck層，實(shí)質(zhì)為表征后驗(yàn)概率信息的一組特征矢量。利用DBN結(jié)構(gòu)構(gòu)建DNN模型，在DNN作為Bottleneck特征提取器時(shí)，通常在堆疊預(yù)訓(xùn)練RBM時(shí)將中間一層維數(shù)降低，再使用BP算法進(jìn)行反向參數(shù)微調(diào)。DBN提取Bottleneck特征流程如圖4所示，其步驟為：

圖4　Bottleneck特征提取流程Fig.4　Bottleneck feature extraction process

1)根據(jù)多次參數(shù)調(diào)試的實(shí)驗(yàn)結(jié)果，隱藏層節(jié)點(diǎn)數(shù)設(shè)為1024，原始13維的MFCC向量經(jīng)過2次差分之后，變?yōu)?9維，對39維向量做前后3幀的擴(kuò)展，變?yōu)?9×7=273維特征向量，作為DNN模型的輸入。

2)在DNN作為特征提取時(shí)，中間層維數(shù)減少為39層，再使用無監(jiān)督的RBM模型初始化參數(shù)，采用BP算法進(jìn)行反向微調(diào)，仍以最大化幀級(jí)交叉熵為準(zhǔn)則來更新模型參數(shù)，提取Bottleneck特征參數(shù)。

3)提取的Bottleneck經(jīng)過主成分分析(principal component analysis，簡稱PCA)/異方差線性判別分析(heteroscedastic linear discriminant analysis，簡稱HLDA)處理，最終輸入到DNN語音模型進(jìn)行識(shí)別。

2.3Bottleneck特征的優(yōu)化

在實(shí)際應(yīng)用中，由于說話人、說話方式不同以及信號(hào)傳輸信道、噪聲等影響，可能導(dǎo)致在實(shí)驗(yàn)環(huán)境中性能較好的語音識(shí)別系統(tǒng)表現(xiàn)較差。因此，采取提高系統(tǒng)魯棒性和自適應(yīng)能力的措施，使得系統(tǒng)抗干擾能力更強(qiáng)，適應(yīng)各種不同的環(huán)境。目前較為常用的有2種方法：1)對語音信號(hào)增強(qiáng)、濾波去噪，使得到的特征參數(shù)的魯棒性更強(qiáng)；2)對已獲得的參數(shù)進(jìn)行變換處理，使參數(shù)的適應(yīng)能力更強(qiáng)。

在實(shí)驗(yàn)提取Bottleneck特征前，先將原始MFCC特征進(jìn)行特征變換后，作為DNN特征提取器的輸入，從而獲得更好的特征向量。特征變換包括線性判別分析(linear discriminant analysis，簡稱LDA)、最大似然線性變換(maximum likelihood linear transform，簡稱MLLT)、說話人自適應(yīng)訓(xùn)練(speaker adaptive trainin，簡稱SAT)和建立在特征空間的最大似然線性回歸(feature-space maximum likelihood linear regression，簡稱fMLLR)。

原始13維的MFCC向量經(jīng)過2次差分后變?yōu)?9維，考慮到協(xié)同發(fā)音之間的影響，對這39維向量做前后3幀的擴(kuò)展，得到39×7=273維特征向量。用LDA降低維度，根據(jù)經(jīng)驗(yàn)，降低到40維時(shí)，效果最好[9]。而后使用MLLT去除相關(guān)性。實(shí)驗(yàn)表明，建立在特征空間的最大似然線性回歸的說話人自適應(yīng)能夠進(jìn)一步改善實(shí)驗(yàn)結(jié)果。特征變換過程中維數(shù)的變化如圖5所示。

圖5　特征變換過程中維數(shù)的變化Fig.5　The dimension change in the process of feature transformation

3實(shí)驗(yàn)結(jié)果分析

3.1數(shù)據(jù)庫與實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)利用TIMIT語音數(shù)據(jù)庫驗(yàn)證Bottleneck特征的有效性，TIMIT語音數(shù)據(jù)庫來自于美國八大方言區(qū)的630人，其中男性438人，女性192人，且每人只錄制10句語音數(shù)據(jù)，共計(jì)6300個(gè)語音文件。語音庫主要被分為測試集和訓(xùn)練集。訓(xùn)練集和測試集之間沒有相同的說話人，且2個(gè)集合中都包含了所有方言區(qū)的語料。本次實(shí)驗(yàn)基于開源工具包Kaldi，在Linux系統(tǒng)上使用GPU運(yùn)行程序，主要編程語言為Perl、Shell腳本語言。DNN的構(gòu)建包括：使用RBM進(jìn)行逐層預(yù)訓(xùn)練[9]；基于交叉熵進(jìn)行每幀的訓(xùn)練；對序列進(jìn)行區(qū)分性訓(xùn)練，在句子框架上，用狀態(tài)最小化貝葉斯風(fēng)險(xiǎn)(state minimum Bayes risk，簡稱SMBR)標(biāo)準(zhǔn)進(jìn)行優(yōu)化。系統(tǒng)從GMM模型中獲得LDA-MLLT-fMLLR特征，CUDA體系結(jié)構(gòu)在GPU上進(jìn)行訓(xùn)練。

3.2生成預(yù)訓(xùn)練

實(shí)驗(yàn)使用DBN神經(jīng)網(wǎng)絡(luò)，輸入特征為40維的fMLLR，進(jìn)行前后5幀的擴(kuò)展，形成40×11=440維的輸入特征向量，進(jìn)行歸一化處理后，所有的輸入數(shù)據(jù)大小在[0,1]閉區(qū)間的范圍內(nèi)。最上層采用Softmax方法進(jìn)行分類，該層的節(jié)點(diǎn)數(shù)目設(shè)定為1496。由于DNN的輸入為高斯特征，第一個(gè)RBM使用高斯-伯努利單元，較小的學(xué)習(xí)率和較多的迭代次數(shù)，其余的為伯努利-伯努利RBM，使用對比散度算法CD-1。在實(shí)驗(yàn)過程中需要不斷調(diào)整學(xué)習(xí)速率，根據(jù)經(jīng)驗(yàn)，實(shí)驗(yàn)中懲罰因子設(shè)為0.000 2，以不斷增大RBM的學(xué)習(xí)速率。本次實(shí)驗(yàn)中TIMIT語音庫的迭代次數(shù)為40，每層迭代一次。

3.3結(jié)果分析

設(shè)計(jì)3個(gè)實(shí)驗(yàn)驗(yàn)證Bottleneck特征的有效性，實(shí)驗(yàn)采用的評(píng)價(jià)標(biāo)準(zhǔn)為音素錯(cuò)誤率(phoneme error rate，簡稱PER)。

1)SGMM基線系統(tǒng)、DNN基線系統(tǒng)以及BN-DNN基線系統(tǒng)的音素錯(cuò)誤率如表1所示。從表1可以看出，采用SGMM基線系統(tǒng)比DBN系統(tǒng)性能好，而Bottleneck特征作為系統(tǒng)輸入的系統(tǒng)性能進(jìn)一步得到改善。因此，Bottleneck相比于傳統(tǒng)特征對基線系統(tǒng)性能有較好的改善。

表1　不同基線系統(tǒng)的音素錯(cuò)誤率

2)將學(xué)習(xí)率分別設(shè)定為0.005 0、0.007 5、0.010 0、0.012 5，測試不同學(xué)習(xí)率對系統(tǒng)性能的影響，結(jié)果如表2所示。從表2可以看出，學(xué)習(xí)率對整個(gè)訓(xùn)練過程的影響并不是很大，學(xué)習(xí)率為0.010 0時(shí)，音素錯(cuò)誤率最小。當(dāng)學(xué)習(xí)率過大(0.012 5)時(shí)，導(dǎo)致整個(gè)訓(xùn)練不收斂。

表2　預(yù)訓(xùn)練學(xué)習(xí)率對音素錯(cuò)誤率的影響

3)在三音素模型基礎(chǔ)上進(jìn)行LDA+MLLT特征變換，LDA+MLLT+SAT特征變換解碼得出相應(yīng)的音素錯(cuò)誤率，與Bottleneck特征解碼結(jié)果進(jìn)行對比，結(jié)果如表3所示。從表3可以看出，Bottleneck特征作為DNN-HMM系統(tǒng)的輸入，與傳統(tǒng)特征作為系統(tǒng)輸入時(shí)比較，系統(tǒng)的音素錯(cuò)誤率相對較小，證明了Bottleneck特征的有效性。

表3　特征變換后傳統(tǒng)特征與Bottleneck特征的性能對比

4結(jié)束語

針對傳統(tǒng)語音特征的不足，采用深度信念網(wǎng)絡(luò)(DBN)構(gòu)建DNN結(jié)構(gòu)，進(jìn)而使用無監(jiān)督的預(yù)訓(xùn)練堆疊RBM和有監(jiān)督的BP算法進(jìn)行反向微調(diào)生成DBN。在DBN中構(gòu)建一個(gè)相對于維數(shù)較小的層用于Bottleneck特征的提取，將Bottleneck特征作為DNN-HMM系統(tǒng)的輸入。實(shí)驗(yàn)證明了Bottleneck特征的有效性。

參考文獻(xiàn):

[1]陳雷，楊俊安，王一，等.LVCSR系統(tǒng)中一種基于區(qū)分性和自適應(yīng)瓶頸深度置信網(wǎng)絡(luò)的特征提取方法[J].信號(hào)處理，2015,31(3):290-298.

[2]GREZL F,FOUSEK P.Optimizing bottleneck feature for LVCSR[C]//IEEE International Conference on Acoustics,Speech and Signal Processing,2008:4729-4732.

[3]楊俊安,王一,劉輝，等.深度學(xué)習(xí)理論及其在語音識(shí)別領(lǐng)域的應(yīng)用[J].通信對抗,2014,33(3):1-5.

[4]LI Deng.An overview of deep-structured learning for information processing[C]//Proceedings of the Asian Pacific Signal and Information Processing-Annual Summit and Conference,2011:1-4.

[5]HINTON G E,SALAKHUTDINOV R N R.Reducing the dimensionality of data with neural networks[J].Science,2006,313(5786):504-507.

[6]YU D,SELTZER M L.Improved bottleneck features using pretrained deep neural network[C]//INTERSPEECH,2011:237-240.

[7]陳碩.深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)在語音識(shí)別中的應(yīng)用研究[D].廣州:華南理工大學(xué),2013:38-40.

[8]HINTON G E,OSINDERO S,TEH Y W.The fast learning algorithm for deep nets[J].Neural Computation,2006,18(7):1527-1554.

[9]BAO Yebo,JIANG Hui,LIU Cong,et al.Investigation on dimensionality reduction of concatenated features with deep neural network for LVCSR systems[C]//Proceedings of the IEEE 11th International Conference on Signal Processing,2012:562-566.

編輯：梁王歡

A Bottleneck feature extraction method based on deep belief network

TAN Jianhui, JING Xinxing, YANG Haiyan

(School of Information and Communication Engineering, Guilin University of Electronic Technology, Guilin 541004, China)

Abstract：In order to improve the speech recognition rate, a Bottleneck feature extraction method based on deep belief network is proposed. The unsupervised pre-training stacking restricted Boltzmann machine is used to obtain network initialization parameters by using the contrastive divergence algorithm. And then the back propagation algorithm is adopted, the frame level cross entropy is maximized as the training criterion, the inverse iteration is used to fine tune the network parameters. The context dependent triphone model is adopted to get the better features. The phone error rate is used to evaluate the performance of the system. Experimental results show that the Bottleneck feature is better than the traditional features.

Key words：continuous speech recognition; deep belief network; Bottleneck feature; PER

收稿日期：2015-11-19

基金項(xiàng)目：廣西自然科學(xué)基金(2012GXNSFAA053221)；廣西千億元產(chǎn)業(yè)產(chǎn)學(xué)研用合作項(xiàng)目(信科院0618)

通信作者：景新幸(1960-)，男，湖北武漢人，教授，研究方向?yàn)檎Z音識(shí)別、數(shù)字音視頻、混合集成電路設(shè)計(jì)。E-mail:jingxinxing@guet.edu.cn

中圖分類號(hào)：TP391.4

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1673-808X(2016)02-0118-05

引文格式： 談建慧,景新幸,楊海燕.深度信念網(wǎng)絡(luò)的Bottleneck特征提取方法[J].桂林電子科技大學(xué)學(xué)報(bào)，2016,36(2)：118-122.