變分貝葉斯改進視角下說話人聚類算法

劉宓

（哈爾濱商業大學外語學院，黑龍江 哈爾濱 150028）

說話人聚類是通過一種無監督的聚類方式，其重點在于將雜亂無序的說話人片段自動地組合在一起，是說話人分離技術中的一個重要環節。聚類后在理想情況下，不同類別中的片段屬于不同的說話人，且每個類別的片段僅屬于同一個說話人。在電話會議轉寫和語言識別中說話人聚類可以提高電話會議轉寫和語音識別的準確度，提供更可靠的說話人模型給說話人自適應，并把相同的說話人語音段通過說話人聚類技術聚為一類，因此被較為廣泛的應用在電話會議轉寫和語言識別中。基于距離準則的層次聚類方法是現有的說話人聚類通常所采用的，而信息瓶頸、歸一化似然比、廣義似然比、相對熵以及貝葉斯信息準則為可選的相似性度量準則。最早是用于說話人分割和聚類的就是貝葉斯信息準則距離準則。然而，BIC的單高斯模型隨著不斷增加的聚類時長，對于說話人數據的分布已經不足以描述。可以在說話人片段時長足夠的情況下得到較好結果的是基于通用背景模型和最大后驗估計的交叉似然比。針對誤差向上傳遞的情況由于傳統的說話人聚類算法而出現，本文實現說話人聚類時結合了長時PLDA和短時BIC的優異區分性，對說話人片段重新調優，利用了軟聚類方式，提出了相應的改進策略。不管是說話人純度還是聚類的類純度，經過實驗表明都有了一定的提升。

一、PLDA＋BIC基線系統

基于長時概率線性制別分析和短時BIC融合的方法是基線所采用的[1]。其流程如下圖一所示，整個流程對PLDA對長時片段的區分性優勢和BIC的單高斯對短時說話人片段的描述能力進行了充分的利用。

圖一 基線系統實現框圖

說話人片段給定分割后，借助于自底向上的BIC層次聚類方式，不斷地合并可能屬于同一個人的片段，并合并后段的平均時長是否大于設定值進行檢查，在滿足情況的條件下，對每個說話人片段建模時利用區分性更強的PLDA模型，并對兩兩之間的PLDA得分進行計算，反之則繼續BIC層次聚類。根據大量實驗數據統計出的不同人和相同人之間的PLDA得分分布可以獲得其中說話人聚類的最終停止門限。

二、變分貝葉斯調優系統

雖然在場景較為簡單的雙人對話中，基于說話人聚類基線搭建的完整的說話人分離系統可以達到完全實用的水平，然而當遇到多人參與、重疊音、對話中含笑聲以及背景音較強等復雜場景時，其表現卻并不如人意[2]。初始時每個說話人片段的類純度在實際的聚類系統中不能夠得到保證則是其根本原因。可用信息在大多數為1～2s的每個片段中包含較少。基于BIC距離準則的層次聚類方式并不能保證全局最優，其本質上是一種貪心算法，在出現聚類誤差也會向上一直傳遞到最終結果。此外，在短時上BIC的單高斯模型并非偏向于說話人信息，而是文本信息。本文提出的逐級算法處理機制是以原有系統為基礎來提升系統的聚類效果。首先預先設定某個值，當BIC距離超過設定的門限值或者BIC層次聚類的類別數到達時，對所有的說話人片段借助于VB進行全局調優，注冊數據則選擇屬于一個類別的所有片段，最后確定說話人個數時則根據得分門限。圖二所示為其改進系統實現框圖。

圖二 改進系統實現框圖

三、實驗過程及結果分析

電話信道數據集為本次實驗的主要測試數據總共有每條時長約5min的2212條雙人對話語音。相比于基線系統，平均說話人純度和平均類純度在說話人聚類層面上改進后的系統分別提升了2.30%和1.68%。改進后的系統在其他情況完全相同的條件下，可以讓最終的說話人分類錯誤率 DER也相對下降了27.6%。不管是一步 BIC層次聚類后還是隨機初始化每個片段的后驗概率，其效果相比與基線PL DA ＋BIC都要好。對于某個片段屬于某個說話人的可能性后者相當于人為地加強或抑制，因此效果上會有所增加。而ACP和 ASP在V B改進后的系統和基線中都不是太高。通過分析類純度較低的音頻后可以得出，其轉折點檢測即使在標簽 VAD 下這些對話雙方音色比較接近的依舊存在誤差，而漏警也很容易產生，聚類結果也受到了直接的影響[3]。

綜上所述，針對基線中的 BIC＋PLDA 說話人聚類方法，誤差向上傳遞在層次聚類時會出現的情況，本文提出了逐級算法增強處理機制。在對最優化目標函數進行保證的情況下，根據短時片段上提取出的VB-I-vector，對每個短時片段調優時則利用最大后驗估計方法。通過實驗可以得出，對于聚類效果這種 VB調優策略有了一定的提升，且極大地提升了整個說話人分離系統的效果。然而，VB調優涉及方差的計算和復雜的后驗均值，是一種迭代過程。所以，相對于基線系統而言，其計算的實時率會慢上很多。在電話信道上雖然本文所提出的方法可以有很大的改善，但是聚類效果在實際應用中由于多人參與、重疊音、對話中含笑聲以及背景音較強等復雜場景都會受到直接的影響，從而使分離系統的性能受到影響。除此之外，未來工作的一個重點就是對說話人實際數目如何進行精確的確定。