基于計算聽覺場分析的單聲道的雙人語音濁音分離*

唐 偉 張二華 張麗娜

（南京理工大學計算機科學與工程學院 南京 210094）

1 引言

在某些多于一人說話的單聲道混合語音分離場景，僅依靠將單人的語音信號從背景噪聲中分離出來的技術是不能滿足現實需求的，還需要研究準確將單人語音從多人說話的混合語音中提取出來的方法，本文嘗試利用單人純凈語音各次諧波的頻率采樣點位置從雙人語音的頻譜中分離單人語音，為之后研究從單聲道雙人語音中分離清晰單人語音的方式提供分離效果對比的標準。

將單人語音從單聲道的含噪語音中分離出來，主要依靠語音信號的特征是隨時間變化的，但在一段較短的時間間隔內，語音信號保持平穩：在濁音段表現出周期信號的特征，在清音段表現出隨機噪聲的特征。由于濁音具有顯著的諧波結構，同時在漢語中，僅依靠濁音就能辨別大多數漢語語音的語義，故本文只研究濁音的分離。

如何進行準確的單聲道語音分離［1］是一個相當復雜的問題，在嘈雜的環境中，人能夠有效地傾聽感興趣的聲音，甚至只用一只耳朵也能很好地辨別并專注于某個人的聲音，排除噪聲的干擾［2］。1953年，英國科學家E.Cherry將該現象稱為“雞尾酒會”問題［3］。盡管目前人們對雞尾酒會問題的機理還沒有完全了解清楚，但通過一些聽覺實驗［4］，揭示了聽覺感知的一些線索。1990年，加拿大麥吉爾大學的Bregman提出了聽覺場景分析（auditory scene analysis，ASA）理論［5］，ASA理論將聽覺感知聲音的過程分為兩個階段，第一階段是分段，將混合語音分解為一系列的聽覺片段，每個聽覺片段來自于同一個聲源，每一個聽覺片段都代表了一個重要的聽覺事件。第二階段是組合，通過組合把來自同一聲源的各個聽覺片段組合在一起，形成聽覺感知流，人對聲音的感知過程是對聲音分量的組合過程。

該理論沿用了視覺場景分析的概念，并對聽覺場景分析的一系列準則進行了歸納，ASA理論組合原則如圖1所示。

圖1 語音段的同時組合和時序組合示意圖

ASA組合原則主要包括兩點：時序組合原則與同時組合原則。

時序組合是指將來自同一個聲源在不同時間產生的聽覺片段按時間的先后順序組合到一個聲音流中，表現為圖1中的A與B兩組信號應該屬于同一聲源，其依據為

1）在時頻平面上，距離越近的聽覺片段越可能被組合為同一聲源；

2）能夠形成連續或平滑時間軌跡的成分傾向于組合成同一聲源。

同時組合是將同一個聲源在同一時間產生的不同頻率的聲音分量組合在一起，表現為圖1中的B與C兩組信號應該屬于同一聲源，其依據為

1）一組具有諧波關系的聲音成分傾向于被組合在一起；

2）“同步開始”的頻率成分傾向于組合在一起，“同步結束”的頻率成分也被看作來自同一聲源。

2006年美國俄亥俄州立大學的DeLiang Wang提出基于計算聽覺場景分析（Computational Auditory Scene Analysis，CASA）［6～8］的語音分離已成為該領域的主流方法。

2 傳統的分離與重構

通常，分離單人語音信號主要依據為根據語音信號的短時平穩性，可將語音信號劃分為一系列的時窗進行分析，在一個短時窗內語音信號是平穩的，一個時窗稱為一幀。將語音信號采樣序列劃分為一系列長度為10ms～32ms的幀，分幀提取語音信號的短時特征。為了使幀與幀之間平滑過渡，保持其連續性，相鄰幀之間需重合一部分，幀移即前一幀與后一幀的交疊部分。

與Hu和Wang檢測基音的方法不同［9］，考慮到語音的濁音部分具有準周期性，其頻譜分布有規律，體現在倒譜域存在明顯的峰值，本文利用倒譜域的峰值信息獲取基音周期，再通過基音周期獲取基音頻率，之后依據濁音信號的諧波頻率為基音頻率的整數倍這一規律進行諧波拾取。重構時，對所得的頻率信息進行反傅里葉變換，由于幀移的存在，還將同一基音周期軌跡段內的所有幀按語音幀的起始位置對齊后進行疊加，并按參與疊加的語音幀個數取均值，其重構過程如圖2所示，最后所得信號即是要分離的單人語音信號。

圖2 第k幀、第k+1幀等語音重構過程示意圖

為了更好地研究語音分離技術，本文嘗試繪制語音的語譜圖與基音周期譜圖，考慮到幀移越大，繪制效果越好，但計算量也越大，故進行繪制時，對采樣率16000Hz的語音，統一以幀長512個采樣點，幀移487個采樣點的標準進行語譜圖與基音周期譜圖的繪制，確保一句完整的語音能顯示在一幅屏幕范圍內的同時，擁有最佳的繪制效果。

語譜圖的繪制取語音信號進行單幀傅里葉變換后，將所得的振幅譜數據映射到灰度值0～255之間。

對第m幀語音信號x（n）進行短時傅里葉變換，得到短時頻譜，其中N為幀長，如式（1）所示：

單幀振幅譜數據如下，其中*表示復共軛運算，如式（2）所示：

將單幀振幅譜數據垂直繪制（低頻在下，高頻在上），每幀相距25個采樣點即可。

基音周期譜圖的繪制則是取單幀的倒譜振幅譜數據進行映射，倒譜計算過程如式（3）所示：

基音周期譜圖的繪制方法與語譜圖相同。

女生語音“我不滿六周歲”與男生語音“那年正月新春”語譜圖與基音周期譜圖如圖3、圖4所示，混合語音的語譜圖與基音周期譜圖如圖5所示。

圖3 女生語音“我不滿六周歲”語譜圖與基音周期譜圖

圖4 男生語音“那年正月新春”語譜圖與基音周期譜圖

圖5 男女生混合語音語譜圖與基音周期譜圖

分析圖3、圖4可知，在單個說話人情況下，真實的基音周期軌跡同一時刻只會出現一條，故在圖5所顯示的雙人混合語音中，應該會出現兩個人完整的基音周期軌跡。

但圖5顯示，在某些時間段，部分單人的基音周期軌跡發生了消失，這將導致借助倒譜提取相應基音頻率存在難度，再考慮到雙人語音分離還涉及多個基音周期軌跡段之間分離語音的說話人匹配問題，故本文利用從單人語音信號中提取的基音頻率及其諧波信息，到雙人混合語音中分離重構對應的單人語音，以此作為雙人語音分離后，語音重構效果的評判標準。

經由傳統方法重構后發現，當某一幀處出現兩者諧波頻率點重合，此時若不對該頻率成分幅值進行預處理，直接將該幅值作為兩個聲源的頻率成分，會導致恢復后的單人語音中混雜著另一人的聲音，即竄音現象。

竄音現象具體表現在：根據線性疊加原則，圖5理論上會包含圖3、圖4大部分的諧波，而在進行諧波提取時，如果某個諧波位置的功率頻譜值同時包含了兩個人的諧波振幅信息，而進行語音重構時直接將此值帶入計算，就會導致重構語音不清晰，不能完全將單人聲音從雙人語音中分離出來。

3 消除竄音現象

前人的消除竄音現象的方法是調整諧波的異常幅值，對混合語音進行傅里葉變換時，若將出現異常幅值的諧波進行振幅上的調整，再進行處理，會極大地消除竄音。

本文對此方法進行了實驗，具體過程為：分別找到聲源一與聲源二的基音頻率及其諧波成分，進行單人語音分離時使用混合語音的頻譜數據，但當兩個聲源的基音頻率及其諧波位置出現重合時，選取需要分離的聲源的頻譜數據作為此位置的頻譜數據，之后直接對處理后的單幀數據進行逆傅里葉變換后，再按照圖2所示過程進行重構，發現竄音現象得到抑制。

以圖3中的女生“我不滿六周歲”與圖4中的男生“那年正月新春”的混合語音中分離男生語音的效果為例，語譜圖與基音周期軌跡圖如圖6所示。

圖6 調幅消除竄音法從雙人語音中分離重構后的男生語音“那年正月新春”的語譜圖與基音周期譜圖

該方法消除竄音效果好，重構后的語音也較清晰，但修改幅值需要依靠異常幅值周圍的正常幅值，實現上存在難度。實驗證明，人耳對聲音頻率的初始相位不敏感，但對于不同時序上的相位連續性非常敏感，故本文嘗試通過分離雙人混合語音的頻譜數據后，從相位角度進行語音重構。

現有的傳統方法重構分離語音時，未考慮振幅和相位的分離、分配，即使考慮了振幅的平滑、分配，但相位難以分離。當兩人混合語音中諧波的頻率點重合時，混合相位主要反映振幅較強的語音的相位，可以采用另一種方法避開相位分離。

根據已知的單人諧波位置從采樣率為16000HZ的雙人混合語音中提取的數據幀長為N個采樣點，幀移為N-T個采樣點的振幅譜數據，先對單幀振幅譜數據按如下公式進行處理，其中第i幀用于實部變換的數值如式（4）所示：

用于虛部變換的數值如式（5）所示：

隨后將實部與虛部進行反傅里葉變換并將同一基音周期軌跡內的所有幀按起始位置對齊后進行疊加，按圖2所示方法進行重構。

4 實驗及結果分析

本文進行了多組實驗，以圖3中的女生“我不滿六周歲”與圖4中的男生“那年正月新春”從混合語音中分離重構后的單人語音為例，對比兩種方法分離重構的效果。

圖7 傳統方法從雙人語音中分離重構后的女生語音“我不滿六周歲”語譜圖與基音周期譜圖

可以從重構后的語譜圖，基音周期譜圖兩個角度對比兩種方法下的分離語音質量，首先對比語譜圖發現，傳統方法與新方法重構的單人語音的語譜圖大體相同，考慮到新方法是對頻譜的相位進行了調整，未改動頻譜幅值，故語譜圖相似存在合理性。

其次對比基音周期譜圖，無論傳統方法還是新方法，分離重構的單人語音都基本保留了原本單人語音的基音軌跡信息，反映在分離重構后的語音的基音軌跡與原本的基音軌跡基本一致。

圖8 新方法從雙人語音中分離重構后的女生語音“我不滿六周歲”語譜圖與基音周期譜圖

圖9 傳統方法從雙人語音中分離重構后的男生語音“那年正月新春”語譜圖與基音周期譜圖

但是兩種方法的結果反映，男生聲源的分離效果不如女生，且在分離男女生說的同一句話時，分離效果較差，以男生“我不滿六周歲”與女生“我不滿六周歲”從混合語音中分離重構的效果為例。

圖10 新方法從雙人語音中分離重構后的男生語音“那年正月新春”語譜圖與基音周期譜圖

圖11 男生語音“我不滿六周歲”語譜圖與基音周期譜圖

對比圖12與圖13，當一對男女說話人同時說一句話時，考慮到兩段語音的的基音周期軌跡趨勢大致相同，導致通過基音周期尋找的基音頻率及其諧波存在著大量的重合。根據parseval定理［10～11］，因為男生的基音頻率較低，導致其基音頻率及其相應諧波的提取間隔更短，相應地每條諧波的能量也更低；女生則正好相反，最終會因為頻率掩蔽效應［12～13］，導致女生聲音的重構效果比男生聲音的好。

圖12 新方法從雙人語音中分離重構后的男生語音“我不滿六周歲”基音周期譜圖

圖13 新方法從雙人語音中分離重構后的女生語音“我不滿六周歲”基音周期譜圖

其二為主觀標準平均意見分方法，平均意見分（mean opinion scores，MOS）方法［14～15］是最常用的語音質量評估法，MOS評分標準如表1所示，實驗參評人數為40且測評環境完全相同，嘗試分別對兩種方法重構后的分離語音進行打分，語音格式為“聲源信息_語音段”，例如，“M001_XX”代表001號男生語音，內容為“XX”，將語音編號，其關系如表2所示。

表1 MOS評分標準

表2 語音段與編號的對應關系

重構語音的MOS評分表如表3所示，從MOS評分這一主觀角度看，聽覺實驗結果理想，新方法重構后的單人語音保證了語音的語義［16］，同時，從竄音消除的角度來講，新方法優勢明顯，基本做到了竄音消除這一實驗目標，最后，新方法恢復的語音存在著些許脈沖波，但基本不影響音質。

表3 分離的單人語音分離結果MOS評分

5 結語

CASA研究在雙人乃至多人說話場景下的語音分離研究還不足以達到實際應用的程度。本文嘗試利用單人語音模板分離雙人語音，為之后的單聲道雙人語音分離提供分離效果對比的標準。同時利用語譜圖、基音周期譜圖的繪制效果觀察傳統重構方式與新方法的異同，最后利用MOS評分對兩種重構方法得到的語音進行打分，得出新方法比傳統方法更有效消除竄音，并得到清晰的單人分離語音這一結論。但是若想做到不依靠先驗的單人基音頻率及諧波信息，還需解決雙人混合語音中的某一聲源的倒譜峰值信息被壓制的問題，同時需要尋找新方法分離的語音中殘留脈沖波這一問題的解決方案。