ＨＭＭ模型在語音識別研究中的應用

摘要：語音識別是人工智能最基礎性課題，該課題研究者通過對隱馬爾可夫模型這一數學模型的擴領域應用，解決了聲學、語言學、句法等統計知識相關性問題。文章系統闡述了隱馬爾可夫模型原理以及在語音識別中的應用過程，從而為更多研究者了解和認識。

關鍵詞：隱馬爾可夫模型（HMM）；數學模型；語音識別

中圖分類號：TP311文獻標識碼：A文章編號：1009-3044(2008)34-1966-03

The Application of HMM in Speech Recognition

WANG Kun-qing

(Dongying Municipal Bureau of Finance， Dongying 257061， China)

Abstract: Speech recognition is one of the basic tasks in the research of artificial intelligence. Researchers apply such mathematic model as Hidden Markov Model to this field and solve acoustic， linguistics， syntax， such as statistical knowledge of the relevant issues. This article systemaficly expounds the principle of the mathematic mode-HMM and process of its application in the speech recognition in the aspects of speech recognition，so more researchers will have a better understanding about HMM．

Key words: hidden markov model; mathematical model speech; recognition

1 引言

語音識別是自然語言理解的基礎性課題，旨在使計算機能夠在一定程度上識別理解人類的語音。從20世紀50年代初，一些學者試圖設計了第一個自動語音識別系統及孤立詞的數字識別系統研究開始，到60年代中期才逐步取得實質性的進展，Reddy利用音素的動態跟蹤技術在連續語音識別中的初步研究，到70年代日本學者提出的動態時間彎折算法DTW（Dynamic Time Warping）對小詞表的研究獲得了成功；以及在語音編碼中使用的線性預測編碼（LPC）技術成功的應用到語音識別系統中，再到了80年代從基于模板匹配的方法到統計模型的方法的轉換，尤其是隱馬爾可夫模型HMM（Hidden Markov Model）技術被應用到語音識別中，由于該模型具有把從聲學—語言學到句法等統計知識全部集成在一個統一框架中的優點，因此它被廣泛地應用到語音識別研究中，到目前為止，HMM技術仍然是語音識別研究中的主流技術。

2 隱馬爾可夫模型

HMM模型是一個雙重的隨機過程，即一個隱藏的（不可觀察的）具有有限狀態的馬爾可夫鏈和一個與馬爾可夫鏈狀態相關聯的隨機函數集（可觀察的）。這樣，語音等時變信號的功率譜可以唯一地由模型對應的狀態的隨機函數決定，而信號頻譜時間的變化則由隱藏的馬爾可夫鏈的轉移概率規律決定，因此非常適合建立語音信號的統計模型。

2.1 馬爾可夫鏈

對于某一個隨機試驗，設Ω是由所有樣本點{w}構成的樣本空間，ξ是Ω上隨機事件構成的事件集合，稱為σ—代數，P是定義在ξ上的概率。則稱定義在概率空間（Ω，ξ，P）上的隨機變量族X={x，(w)，t∈T}為隨機過程。其中，T為一參數集。可將隨機過程看為二個變量的函數xt(w)=x(w，t)，其中，t∈T；w∈Ω。對于固定的w，xt(w)是個隨機變量，記為xt。若將參數t看作時間，那么xt就表示隨機系統在時刻t所處的狀態。若T是一個含有可列元素的無限集，則稱該隨機過程為離散隨機過程或隨機序列。一個隨機過程所有可能取值的集合稱為該過程的狀態空間，記為S。 若S是可列集或有限集，則稱此過程為鏈。

設隨機過程X={xn，n=0，1…}是定義在（Ω， ξ， P）上的離散隨機過程，其狀態空間S為有限集或可列集。并且X具有無后效性即馬爾可夫性：

對任意非負整數n，及任意狀態i0 ，i1， …in+1∈S；

只要P(x0= i0，x1= i1，…，xn= in)>0

總有P(xn+1= in+1|x0= i0，…，xn= in)=P(xn+1= in+1| xn= in)

則稱此過程為馬爾可夫鏈。

2.2 HMM狀態隨機過程

一個隱馬爾夫模型是由一系列轉移弧連接起來的狀態的集合。每個轉移弧包含兩個概率：轉移概率，即為經過這條轉移弧的概率。輸出概率密度，是在這條弧上發射固定的符號的概率。一個HMM可以由它的三個特征參數矢量或矩陣π，A，B完全確定。定義為：

λ={π，A，B}

其中，π是初始概率分布；A={αi，j}是狀態轉移概率分布矩陣，其中αi，j是從狀態i到狀態j的轉移概率；B={bi，j(k) }是輸出概率分布矩陣，其中bi，j(k)是從狀態i到狀態j的轉移弧上發射的輸出概率。

HMM的過程是：

1) 根據初始狀態分布概率π，選擇一個初始狀態。置觀察時間為t=1；

2) 根據B，得出在qt狀態下（t時刻），觀察符號的概率分布；

3) 根據A，由t時的qt狀態轉移到t=t+1時的狀態，并置t=t+1；

4) 如果t﹤T（觀察時間序列為t=1，2， …，T），則回到第2）步，否則 結束。

3 隱馬爾可夫模型在語音識別研究中的應用

根據前面對隱馬爾可夫模型原理的介紹，已知它是一個雙重的隨機過程，在語音識別中，這兩個隨機過程共同描述語音信號的統計特性。一個是用具有有限狀態數的馬爾可夫鏈來模擬語音信號變化的隱含的隨機過程，另一個是與馬爾可夫鏈的每一狀態相關聯的觀察矢量的隨機過程。這樣，語音等時變信號某一段的特征就由對應狀態觀察符號的隨機過程描述，而信號隨時間的變化由隱馬爾可夫鏈的轉移概率描述。基于隱馬爾可夫模型的語音識別算法通過對大量語音數據進行數據統計，建立識別統計模型，然后從待識別語音中提取特征值，與這些模型進行相似性量度比較，將相似度最高的模式所屬的類別作為識別結果輸出。一般來說，用隱馬爾可夫模型構成語音識別系統，要解決3個基本問題。

3.1 觀察輸出概率P(О|λ)的計算

對于給定的觀察序列О(o1，o2，o3…，ot)和模型λ={ξ，A，B}，模型λ產生О的概率可采用前向概率、后向概率，可以使其計算量降低到N2T次運算。

定義l：前向概率用T時刻以前出現的觀察序列來推算到當前時刻t時出現某個觀察值的概率，即用出現o1，o2，o3…，ot-1的概率來推算出現o1，o2，o3…，ot-1，ot的概率，用αt(i)表示。

前向概率計算算法：

1) 初始化： α1(i)=πibi(o1)，1≤i≤N

2) 遞歸：■

3) 結束：■

定義2：后向概率用ot+2，ot+3，…，oN去推算ot+1，ot+2，…，oN的概率，用βt(i)表示。

后向概率算法如下：

1) 初始化：βT(i)=1，1≤i≤N

2) 遞歸：■

3) 結束：■

在定義了前向概率、后向概率和它們的算法后，觀察輸出概率P(О|λ)便很容易得到：■

3.2 最佳狀態序列的尋找

對于HMM系統，外界觀察到的某個序列О在系統內部對應的狀態序列Q不是唯一的，但是不同的Q產生О的可能性不一樣。最佳狀態序列尋找的任務就是根據系統輸出О尋找最有可能的狀態序列Q，使得該狀態序列產生О的可能性達到最大。其常用的算法是Viterbi算法。Viterbi算法是動態規劃算法的一種變形，它可用如下遞推算法求得：

1) 初始化：δ1(i)= πibi(o1)，1≤i≤N

φ1(i)=0，1≤i≤N

2) 遞歸：■

3) 結束：■

4) 狀態序列求取：q*T=φi+1(q*i+1)，t=T-1，T-2，…，1由此便可求得P(О|λ)的最佳狀態序列：q*1，q*2，…，q*t。

3.3 模型參數的估計

模型參數的估計是HMM模型的訓練問題，即如何根據系統所給的若干輸出來確定模型λ={ξ，A，B}，使P(О|λ)最大。研究者一般采用Baum-Welch重估算法來進行HMM模型的訓練。

Baum-Welch算法可描述如下：

令ξt(i，j)=P(qt=Si，qt+1=Sj/О，λ)，

γt(i)=P(qt= Si/О，λ)

則 ■

由此得出了Baum-Welch算法中著名的重估公式：

■

λ={π，A，B}即是重估后的模型參數，且P(О|λ)≥P(О|λ)。

復雜的語音識別問題就是這樣通過隱含馬爾可夫模型簡單地被表述、解決，讓我們不得不感嘆數學模型之妙，隱馬爾可夫模型識別系統之所以優于其它系統，在于隱馬爾可夫模型識別系統中保留了更多訓練數據的統計信息，并解決了訓練和分類上的困難，可以說隱馬爾可夫模型在語音識別上是個極大的成功。

3.4 語音識別中常用的幾種HMM拓撲結構

語音識別中常用的幾種HMM的拓撲結構 如圖1所示。其中每個圓表示一個狀態，從圓到圓的有向弧表示從一個狀態到另一個狀態的過渡，稱之為轉移弧。

■

a）無跨越由左向右模型 b）有跨越由左向右模型 c）全連結模型

圖1語音識別中幾種常用的HMM結構

4 結語

隱馬爾可夫模型在語音識別中的應用，使得語音識別有了長足的發展。目前基于HMM模型開發了許多特定人大詞匯量連續的語音識別系統，但這些系統在有噪聲的環境下工作時，性能明顯下降，所以有必要進一步深入研究，通過改善HMM模型增強語音識別系統Robust性。

參考文獻：

[1] 謝錦輝.隱Markov模型(HMM)及其在語音處理中的應用[M].武漢:華中理工大學出版社，1995.

[2] 胡航.語音信號處理[M].哈爾濱:哈爾濱工業大學出版社，2000.

[3] 段紅梅，汪軍，馬良河，等.隱馬爾可夫模型在語音識別中的應用[J].工科數學，2002(6):16-20.

[4] 蔡蓮紅，黃德智，蔡銳.現代語音技術基礎與應用[M].北京：清華大學出版社，2003.

[5] 劉加.漢語大詞匯量連續語音識別系統研究進展[J].電子學報，2000.28(1):85-91.