線性轉換矩陣聚焦于事后概率的計算辨識

王鈞

【摘 要】由于鑒別式訓練的效果優越，于是出現使用鑒別式訓練法則進行轉換矩陣調適，稱為最小分類錯誤率線性回歸調適算法。我們認為使用最小分類錯誤率準則進行線性回歸調適時，若能再進一步考慮線性回歸矩陣之事前概率分布，則可以結合貝氏法則之強健性與最小分類錯誤率之鑒別性，以估測出更佳之轉換矩陣用于語者調適上。透過聚焦事后概率與鑒別式訓練間之關連及適當之條件簡化，則可得到參數更新之封閉解型式以加速鑒別式訓練的參數估測。

【關鍵詞】線性；矩陣；事后概率；計算

一、緒論

一般化最小錯誤率（generalized minimum error rate，GMER），由事后概率的角度出發，定義聚焦事后概率（aggregate a posteriori，AAP），并將事后概率改寫為具鑒別性形式的誤辨率（misclassification measure）函式。在訓練模型參數上，不使用一般的廣義概率遞減法則（generalized probabilistic descent，GPD），透過一些條件假設，即可推導出模型參數估測的封閉解形式。在語者調適的研究上，最廣為使用的有最大相似度線性回歸（maximum likelihood linear regression，MLLR）調適與最大事后概率調適兩大類方法。在本研究中我們將使用前者作為調適的主要架構，透過所估測出之線性回歸矩陣對語音模型參數進行調適。由于考慮到使用語料量稀少易造成調適效果失準的情況，引入線性轉換矩陣之事前分布信息，以強健化調適效能外，也將由鑒別式訓練之角度出發，嘗試找出不同于傳統以貝氏法則為準之最大化。聚焦事后概率線性回歸（aggregate a posteriori linear regression，AAPLR）算法。故我們會針對文獻中所提過之以線性回歸為主之調適算法作回顧。除了最大相似度線性回歸調適算法之外，主要有最大事后概率線性回歸（MAPLR）、考慮到漸進式（sequential）學習的近似貝氏線性回歸（quasi-Bayes linear regression，QBLR）與最小分類錯誤線性回歸（minimum classification error linear regression，MCELR）。

二、鑒別式訓練及線性回歸調整

最大相似度參數估測法則是最普遍用來訓練隱藏式馬可夫模型參數的方法，它利用EM算法估測模型參數非常有效率；最大相似度的缺點是模型參數只利用屬于本身模型的數據來估測，和其它模型的參數估測基本上是獨立的。最小分類錯誤和最大交互信息，是近來較廣為利用的鑒別式訓練方法，除了訓練語音模型外，還用在語言模型（language model）的訓練上、語者辨識模型訓練、特征參數擷取。使用鑒別式訓練估測模型參數時，除了本身模型的數據外，還考慮與其它模型參數之鑒別性，所以可以更正確地估測出所需的模型參數內容。作者提出了另一種鑒別式訓練方法，稱作一般化最小錯誤率，從事后概率出發，定義與最大事后概率相似的目標函式，并且改寫為鑒別式訓練的形式，以下分別簡介這三種鑒別式訓練法則。

在兩個類別12C，C的分類器里，假設1x∈C，貝氏分類法則定義了最基本的誤辨值函式（misclassificationmeasure）為

其中（x；）ig為觀察數據x對類別iC的相似度，表示所有類別的模型參數，|（x；）（x；）kikMigg，代表一群對觀察數據x的相似度比類別kC對觀察數據x相似度更具競爭性的類別集合，即混淆類別（confusing classes）或競爭類別（competing classes）的集合。kS并非是固定的集合，它隨著模型參數和觀察數據x而改變，而且該式在不連續，這在最陡坡降法（gradient descent）里并不適用，因此另外定義了一個連續性的誤辨值公式為

除了最小分類錯誤法則外，最大交互信息也是普遍利用的鑒別式訓練式法則，最大交互信息較隱性的引入了觀察數據與其它類別的相似度，所以與一般化最小錯誤率較相似，在混合數高的情況下，最大交互信息能訓練出比最小分類錯誤辨識率更高的模型參數，由于最大交互信息考慮了觀察數據和所有類別的相似度，因此比最小分類錯誤在實作上難度更高。為了快速計算隱藏式馬可夫模型和觀察數據x的相似度，必須使用forward-backward算法。

三、最大相似度線性回歸（MLLR）

最大相似度線性回歸的目標就是，對一群集s，計算一轉換矩陣sW，使得群集內所有調適數據的相似度最大，最大相似度線性回歸調適算法的好處在于，調適語料不需要完全涵蓋所有模型，即使沒有調適數據的模型，也可以經由同類別的轉換矩陣進行調適。以調整平均值向量為例，在計算轉換矩陣之前，將平均值向量延展為

其中，D為向量維度，則更新后的平均值向量為 其中，r（s）代表狀態s所屬回歸類別，r（s）W代表回歸類別（regression class）r（s）的轉換矩陣，維度為D×（D1），則透過EM算法，最后可以得到每一個回歸類別的轉換矩陣之每一列計算方式如 。由于以最大相似度為主之線性轉換矩陣在計算上十分簡易，所以其應用十分普遍，然而，若調適語料過少，或語料特性不具代表性時，則可能導致得到的轉換矩陣仍舊無法符合測試語者的語音特性，于是，便考慮到引入轉換矩陣的事前分布信息。矩陣參數的事前分布可以在估測轉換矩陣時限制參數可能的調適量，使得參數的估測更具強健性，由文獻實驗可看出，最大事后概率線性回歸可達到比最大相似度線性回歸更好的辨識率。

最小分類錯誤的鑒別式訓練方式在很多應用都能顯示出不錯的效能，不過最小分類錯誤一般以廣義概率遞減算法實現，并沒有在理論上證明它能收斂到更好的模型，當訓練數據變少時，錯誤的收斂停止點更容易發生，因此將MCE應用在模型調適時，使用線性回歸有其必要。Chengalvarayan在1998年提出最小分類錯誤線性回歸，使用全局性的轉換矩陣并以廣義概率遞減算法估測矩陣參數，實驗結果顯示出其調適效果比最大相似度線性回歸算法好。而在中，更進一步使用多組回歸類別的轉換矩陣進行調適，在同樣使用廣義概率遞減算法下，可以有更好的調適效能改進。另外，作者不利用廣義概率遞減算法實現最小分類錯誤線性回歸調適算法，而以一般化調適作法計算轉換矩陣，即轉換矩陣以群集為單位，將最小分類錯誤的目標函式改寫后，可以透過EM算法以封閉解的方式計算轉換矩陣。