基于多參數(shù)融合優(yōu)化的隱馬爾科夫模型的設(shè)計(jì)

蔣正鋒，黃勇萍

（廣西民族師范學(xué)院數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，崇左532200）

0 引言

語音交互技術(shù)隨著計(jì)算機(jī)科學(xué)與信息等學(xué)科的發(fā)展逐步成為人機(jī)交互的手段，其中語音識(shí)別在現(xiàn)階段還是研究的一個(gè)熱點(diǎn)。語音識(shí)別技術(shù)的研究工作起始于二十世紀(jì)五十年代，主要是對(duì)語音識(shí)別技術(shù)的初步研究，集中在元音、輔音、音節(jié)的識(shí)別。到了二十世紀(jì)六十年代，線性預(yù)測(cè)和動(dòng)態(tài)規(guī)劃技術(shù)的出現(xiàn)，解決了語音識(shí)別中語音信號(hào)特征提取、模型的產(chǎn)生及語音信號(hào)不等長等問題取得了實(shí)際性的進(jìn)展。二十世紀(jì)七十年代，在語音識(shí)別的研究中，提出了動(dòng)態(tài)時(shí)間規(guī)整（Dynamic Time Warping，DTW）、矢量量化（Vector Quantization，VQ）和隱馬爾可夫模型。二十世紀(jì)八十年代，從基于標(biāo)準(zhǔn)模板匹配的語音識(shí)別算法轉(zhuǎn)到基于統(tǒng)計(jì)模型的方法，識(shí)別任務(wù)的重點(diǎn)是大詞匯量、非特定人和連續(xù)語音。因?yàn)檎Z音的時(shí)變性和平穩(wěn)性能被HMM 很好的描述出來，在大詞匯量連續(xù)語音識(shí)別（Large Vocabulary Continuous Speech Recognition，LVCSR）中HMM 被廣泛用于聲學(xué)建模[1-2]，統(tǒng)計(jì)語言模型開始應(yīng)用于語音識(shí)別系統(tǒng)[3]中。這一時(shí)期，由于HMM/VQ、HMM/高斯混合模型、HMM/人工神經(jīng)網(wǎng)絡(luò)的語音建模在LVCSR 系統(tǒng)中被提出，語音識(shí)別的技術(shù)取得突破性的新進(jìn)展。二十世紀(jì)九十年代，語音識(shí)別從實(shí)驗(yàn)走向?qū)嵱茫Z音識(shí)別技術(shù)深入和細(xì)化方面取得了較大的進(jìn)展[3]。二十一世紀(jì)初，HMM 和前饋神經(jīng)網(wǎng)絡(luò)[4-5]等為代表的傳統(tǒng)語音識(shí)別方法占主導(dǎo)地位。就整個(gè)語音識(shí)別技術(shù)發(fā)展歷史來看，探索淺層表現(xiàn)和深層的人工神經(jīng)網(wǎng)絡(luò)持續(xù)了多年，由于2006 年，深度學(xué)習(xí)理論[6-7]在機(jī)器學(xué)習(xí)中初步的應(yīng)用成功引起了極大的關(guān)注，直到2009 年開啟了深度學(xué)習(xí)的研究序幕，語音識(shí)別與深度學(xué)習(xí)技術(shù)相結(jié)合[8-9]，逐漸掀起基于深度學(xué)習(xí)的語音識(shí)別研究熱潮。

在理解語音識(shí)別原理的基礎(chǔ)上，使用HTK（Hidden Markov Model Toolkit）工具箱，搭建一個(gè)漢語離散數(shù)字語音識(shí)別系統(tǒng)，探索不同參數(shù)融合的隱馬爾科夫模型對(duì)語音識(shí)別率的影響，設(shè)計(jì)多參數(shù)融合優(yōu)化的且有較高識(shí)別率的隱馬爾科夫模型。

1 HTK簡介

二十世紀(jì)七十年代，語音識(shí)別領(lǐng)域引入了隱馬爾可夫模型，它使得自然語音識(shí)別系統(tǒng)取得了突破性進(jìn)展，成為傳統(tǒng)語音識(shí)別的主流技術(shù)。目前大部分的語音識(shí)別系統(tǒng)還是基于HMM 的，雖然深度學(xué)習(xí)技術(shù)已引入到語音識(shí)別領(lǐng)域中。HTK 是由劍橋大學(xué)基于C 語言開發(fā)，專門用于創(chuàng)建和處理HMM 的工具，廣泛應(yīng)用在語音識(shí)別、語音合成、字符識(shí)別和DNA 排序等多個(gè)領(lǐng)域。經(jīng)過劍橋大學(xué)、Entropic 公司及Microsoft 公司對(duì)HTK 的不斷改進(jìn)，使HTK 在傳統(tǒng)語音識(shí)別領(lǐng)域處于世界領(lǐng)先水平[10-11]。

另外，HTK 的源代碼是對(duì)外公開的，可以把源代碼中基于ANSI C 的模塊嵌入到用戶系統(tǒng)中，方便用戶的開發(fā)。

1.1 HTK語音識(shí)別系統(tǒng)的體系結(jié)構(gòu)

構(gòu)建基于HTK 語音識(shí)別系統(tǒng)[11-13]，具有如圖1 所示的體系結(jié)構(gòu)，主要由三部分構(gòu)成，分別為特征提取、聲學(xué)模型訓(xùn)練和語音識(shí)別。

圖1 基于HTK語音識(shí)別系統(tǒng)的結(jié)構(gòu)

1.2 HTK語音識(shí)別工具

基于HTK 語音識(shí)別系統(tǒng)由語音數(shù)據(jù)準(zhǔn)備、HMM模型的訓(xùn)練、語音的識(shí)別以及結(jié)果數(shù)據(jù)分析等組成。

（1）語音數(shù)據(jù)準(zhǔn)備：語料庫的創(chuàng)建用CoolEdit 等錄音軟件進(jìn)行采集語音[6-7]，手工或自動(dòng)標(biāo)注好語料庫中的語料，語音特征的提取用HCopy 工具。

（2）HMM 模型的訓(xùn)練：創(chuàng)建好原始的HMM 模型，基于EM 重估算法，使用HCompv 和HInit 工具初始HMM 模型參數(shù)，然后對(duì)HMM 模型的參數(shù)用HRset 和HERest 重新估計(jì)，應(yīng)用上下文無關(guān)的建模方法，用HERest 對(duì)HMM 模型進(jìn)行嵌入式訓(xùn)練，模型中的參數(shù)不斷被調(diào)整，參數(shù)性能不斷向最佳狀態(tài)逼近。

（3）識(shí)別：基于Viterbi 算法的HVite 命令用來識(shí)別未知的要測(cè)試的語音。

（4）識(shí)別結(jié)果分析：HResults 是訓(xùn)練好的HMM 模型的性能分析工具，用于分析未知語音的識(shí)別率。

2 實(shí)驗(yàn)準(zhǔn)備

2.1 實(shí)驗(yàn)環(huán)境

設(shè)計(jì)的漢語離散數(shù)字語音識(shí)別系統(tǒng)，是在基于隱馬爾可夫模型的HTK3.4 上搭建的，運(yùn)行在PC Windows 10 平 臺(tái) 上，CPU 為Intel Core i7- 6700HQ @2.6GHz，內(nèi)存為8GB。

2.2 語料庫的創(chuàng)建及模型狀態(tài)個(gè)數(shù)

離散數(shù)字語音識(shí)別系統(tǒng)是在語音庫基礎(chǔ)上搭建的，所以先要準(zhǔn)備好語料庫中用于訓(xùn)練和測(cè)試的語音樣本，語料庫的詳細(xì)情況如表1 所示。離散數(shù)字語音錄制是在實(shí)驗(yàn)室環(huán)境下，采樣率設(shè)置為16000Hz，量化精度為16bits。

表1 語料庫樣本詳情

在實(shí)驗(yàn)中提取的語音特征參數(shù)是梅爾倒頻譜，分別提取了13、26、39 維的MFCC（Mel Frequency Cepstral Coefficients）特征。語音的識(shí)別單元分音節(jié)和聲韻母兩種，其中聲學(xué)模型狀態(tài)的個(gè)數(shù)如表2 所示，每個(gè)狀態(tài)的高斯分量從1 逐個(gè)增加到7 進(jìn)行實(shí)驗(yàn)。HMM 模型是采用存在跳變的Left-to-Right 的類型。

表2 聲學(xué)模型狀態(tài)個(gè)數(shù)

3 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)中提取了三種不同維度的MFCC 特征，分別為13 維、26 維和39 維，不同維度的MFCC 特征分別訓(xùn)練不同的HMM 模型，因此分三個(gè)大的實(shí)驗(yàn)。每個(gè)大的實(shí)驗(yàn)中語音識(shí)別單元采用了音節(jié)和聲韻母兩種，就語音識(shí)別單元不同的高斯分量對(duì)訓(xùn)練集和測(cè)試集中的離散數(shù)字進(jìn)行了識(shí)別。

3.1 13維的MFCC特征參數(shù)訓(xùn)練模型

提取的特征參數(shù)MFCC 為13 維，聲學(xué)模型分別為音節(jié)、聲韻母，按表1 所示音節(jié)的狀態(tài)個(gè)數(shù)設(shè)定為6，聲母的狀態(tài)個(gè)數(shù)設(shè)定為3，韻母的狀態(tài)個(gè)數(shù)設(shè)定為6，不同高斯分量個(gè)數(shù)訓(xùn)練好的的HMM 對(duì)語料庫中訓(xùn)練集和測(cè)試集分別進(jìn)行了測(cè)試，識(shí)別結(jié)果如表3 和表4所示。

表3 聲學(xué)模型為音節(jié)的13 維MFCC 特征訓(xùn)練模型的識(shí)別率

表4 聲學(xué)模型為聲韻母的13 維MFCC 特征訓(xùn)練模型的識(shí)別率

從表3 的識(shí)別結(jié)果可知：

（1）在高斯混合分量個(gè)數(shù)相同的情況下，訓(xùn)練集的識(shí)別率要高于測(cè)試集的識(shí)別率，因?yàn)橛糜?xùn)練集來訓(xùn)練HMM 模型的，而測(cè)試集中的離散數(shù)字語音沒有訓(xùn)練HMM 模型。

（2）不管是訓(xùn)練集還是測(cè)試集，識(shí)別率不是隨高斯混合分量的增加而提高，對(duì)于訓(xùn)練集，高斯混合分量個(gè)數(shù)為4 時(shí)識(shí)別率最高，而測(cè)試集高斯混合分量個(gè)數(shù)為2識(shí)別率達(dá)到最高，再增加高斯混合分量，識(shí)別率反而降低。

從表4 的識(shí)別結(jié)果可知：

（1）在高斯混合分量個(gè)數(shù)為1 或2 時(shí)，測(cè)試集的識(shí)別率反而高于訓(xùn)練集，整體來看，訓(xùn)練集的識(shí)別率高于測(cè)試集。

（2）訓(xùn)練集識(shí)別率幾乎是與高斯混合分量個(gè)數(shù)成正比，測(cè)試集的識(shí)別率隨高斯分量個(gè)數(shù)增加而降低，在高斯分量個(gè)數(shù)為2 時(shí)，識(shí)別率達(dá)到最高。

由表3 和表4 識(shí)別結(jié)果得到：

（1）聲學(xué)模型為聲韻母時(shí)識(shí)別率不管是在訓(xùn)練集還是在測(cè)試集要高于識(shí)別單元是音節(jié)的HMM 模型。

（2）對(duì)于訓(xùn)練集來說，HMM 中高斯混合分量個(gè)數(shù)為4、5 和6 識(shí)別率比較高。而對(duì)于測(cè)試集，高斯混合分量個(gè)數(shù)為1 或2 時(shí)，識(shí)別率較高。

3.2 26維的MFCC特征參數(shù)訓(xùn)練模型

特征參數(shù)MFCC 為26 維，聲學(xué)模型分別為音節(jié)和聲韻母，按表1 所示設(shè)定音節(jié)、聲母和韻母的狀態(tài)個(gè)數(shù)分別為6、3 和6，不同高斯分量個(gè)數(shù)的情況下對(duì)語料庫中訓(xùn)練集和測(cè)試集分別進(jìn)行了識(shí)別，識(shí)別結(jié)果如表5所示。

表5 26 維MFCC 特征訓(xùn)練模型的識(shí)別率

從表5 的識(shí)別結(jié)果可知：

（1）聲學(xué)模型為音節(jié)時(shí)，訓(xùn)練集的識(shí)別率在對(duì)應(yīng)不同高斯分量個(gè)數(shù)上幾乎是高于測(cè)試集，在高斯混合分量為7 時(shí)，測(cè)試集的識(shí)別率高于訓(xùn)練集。訓(xùn)練集在高斯混合分量個(gè)數(shù)為4、5 和6 時(shí)識(shí)別率較高，最高識(shí)別率為89.00%，而測(cè)試集在高斯混合分量個(gè)數(shù)也是4、5和6 時(shí)識(shí)別率較高，最高識(shí)別率為85.00%。

（2）聲學(xué)模型為聲韻母時(shí)，訓(xùn)練集的識(shí)別率在對(duì)應(yīng)不同高斯分量個(gè)數(shù)上全高于測(cè)試集。訓(xùn)練集在高斯混合分量個(gè)數(shù)也是為4、5 和6 時(shí)識(shí)別率較高，最高識(shí)別率為92.39%，對(duì)應(yīng)的高斯混合分量個(gè)數(shù)為5，而測(cè)試集在高斯混合分量個(gè)數(shù)為4、5 和7 時(shí)識(shí)別率較高，最高識(shí)別率達(dá)到85.22%，對(duì)應(yīng)高斯混合分量個(gè)數(shù)為5。

（3）聲韻母為識(shí)別單元時(shí)整體上比以音節(jié)為識(shí)別單元的識(shí)別率高。

3.3 39維的MFCC特征參數(shù)訓(xùn)練模型

與提取的13 和26 維的MFCC 特征參數(shù)類似，39維MFCC 語音特征參數(shù)訓(xùn)練的HMM，聲學(xué)模型分別為音節(jié)和聲韻母，按表1 所示設(shè)定音節(jié)、聲母和韻母的狀態(tài)個(gè)數(shù)分別為6、3 和6，不同高斯分量個(gè)數(shù)的情況下對(duì)語料庫中訓(xùn)練集和測(cè)試集分別進(jìn)行了識(shí)別，識(shí)別結(jié)果如表6 所示。

表6 39 維MFCC 特征訓(xùn)練模型的識(shí)別率

從表6 的識(shí)別結(jié)果可知：

（1）聲學(xué)模型為音節(jié)時(shí)，訓(xùn)練集的識(shí)別率在對(duì)應(yīng)不同高斯分量個(gè)數(shù)上幾乎是高于測(cè)試集，只有高斯混合分量個(gè)數(shù)為7 時(shí)，測(cè)試集的識(shí)別率高于訓(xùn)練集。訓(xùn)練集在高斯混合分量個(gè)數(shù)為4、5 和6 時(shí)識(shí)別率較高，最高識(shí)別率達(dá)到93.00%，而測(cè)試集在高斯混合分量個(gè)數(shù)為5、6 和7 時(shí)識(shí)別率較高，最高識(shí)別率達(dá)到92.39%。

（2）聲學(xué)模型為聲韻母時(shí)，訓(xùn)練集的識(shí)別率在對(duì)應(yīng)不同高斯分量個(gè)數(shù)上全高于測(cè)試集。訓(xùn)練集在高斯混合分量個(gè)數(shù)也是為4、5 和6 時(shí)識(shí)別率較高，最高識(shí)別率為93.00%，對(duì)應(yīng)的高斯混合分量個(gè)數(shù)為4，而測(cè)試集在高斯混合分量個(gè)數(shù)為4、5 和7 時(shí)識(shí)別率較高，最高識(shí)別率達(dá)到85.22%，對(duì)應(yīng)高斯混合分量個(gè)數(shù)為4、5或7。

（3）聲學(xué)模型為聲韻母的識(shí)別率在訓(xùn)練集或測(cè)試集上高于以音節(jié)為識(shí)別單元。

4 結(jié)語

本文結(jié)合隱馬爾可夫模型原理，利用HTK 語音工具，搭建了漢語離散數(shù)字語音識(shí)別系統(tǒng)，探索多參數(shù)融合優(yōu)化的HMM 模型。由實(shí)驗(yàn)結(jié)果得到的表3、表4、表5 和表6 的識(shí)別結(jié)果得到：

（1）聲學(xué)模型的選擇：聲韻母作為識(shí)別單元比音節(jié)的識(shí)別效果要好。

（2）高斯混合分量個(gè)數(shù)：一般選擇4 個(gè)或5 個(gè)或6個(gè)，個(gè)數(shù)過高或過低模型都不是最優(yōu)的。

（3）MFCC 特征維度：39 維的MFCC 語音特征參數(shù)比13 維和26 維MFCC 特征參數(shù)識(shí)別率高。

（4）聲學(xué)模型為聲韻母時(shí)訓(xùn)練集和測(cè)試集識(shí)別率的差異大于聲學(xué)模型為音節(jié)時(shí)訓(xùn)練集和測(cè)試集識(shí)別率的差異，避免過擬合。

由上述可以看出，以聲韻母為基本語音識(shí)別單元，特征參數(shù)為39 維的MFCC，高斯混合分量為4 或5 或6 時(shí)，可以獲得較高的識(shí)別率，對(duì)以后搭建基于HMM性能更優(yōu)的離散或連續(xù)語音識(shí)別系統(tǒng)具有借鑒意義，也為研究基于深度學(xué)習(xí)的語音識(shí)別打下基礎(chǔ)。