基于改進時頻比的語音音樂信號分離

郭 偉,于鳳芹

(江南大學物聯網工程學院,江蘇無錫214122)

基于改進時頻比的語音音樂信號分離

郭 偉,于鳳芹

(江南大學物聯網工程學院,江蘇無錫214122)

時頻比是混合信號在時頻域幅值特性的比值,利用時頻比尋找混合信號中的單源點,對相應的比值構成的矩陣求逆可以得到對源信號的估計。針對基于時頻比的盲源分離將信號變換到時頻域后計算量大且對算法有效的時頻窗較少的問題,提出用重復結構周期內的時頻點代替整個時頻域進行單源點的檢測,重復結構內的時頻點在每個周期內都有相似的值,通過減少一個周期內時頻點的檢測,由單源點對應的時頻比恢復出源信號。用相似系數矩陣評價分離效果,仿真實驗結果表明,在達到幾乎相同的相似系數的情況下,運行時間可減少45.43%,可有效降低運算量。

時頻比;單源點;線性時頻變換;重復結構;節拍譜;語音音樂信號分離

1 概述

盲源分離是在不知道先驗知識的情況下,根據源信號統計特性從混合信號分離出源信號的過程,語音和音樂信號的分離可應用于說話人的識別與檢測、儀器識別、音樂旋律提取、樂譜轉錄等［1］。音樂信號通常都表現出較強的自相似性,因而有一些重復類型或重復結構,音樂的重復可表現在旋律、節奏、歌詞和編曲這4個方面,重復結構的提取可用于音樂摘要、音樂檢索和音樂恢復［2］。通過音樂信號任意2個片段之間的相似性組成的二維相似矩陣可視化音樂信號的重復結構,相似矩陣可以通過MFCC、時頻譜圖或音樂信號的特征得到,可用來定位局部跳變點或者計算節拍譜［3］,節拍譜最大值對應的時間定義為音樂重復結構的周期,音樂信號在具有重復結構的時頻塊中具有相似的值［4］。

基于時頻比的盲源分離是通過檢測時頻單源點對應的比值恢復出源信號［5］,文獻［6］提出基于時頻比的算法,對觀測信號進行短時傅里葉變換,計算恒定時間或恒定頻率的相鄰幾個時頻窗的時頻比,用互相關系數最大或均方差最小方法尋找單源點。文獻［7］針對時延混合系統,提出在恒定時

間情況下的時頻比算法,將方差的均值按升序排列,最小均值對應的時頻點就是最佳單源分析域。文獻［8］對觀測信號進行小波包變換增大信號的稀疏程度。文獻［9］利用S變換構造時頻比矩陣,獲得多分辨率特性。文獻［10］先去除能量較小的時頻點,再根據實部與虛部的比值分別相等判斷單源點。基于時頻比的盲源分離將信號變換到時頻域后,計算量大且對算法有效的時頻窗比較少,本文提出縮小單源分析域的搜索范圍,根據重復結構內的時頻點在每個周期內具有相似的值,選擇包含一個重復結構周期的時頻域來代替整個時頻域檢測單源點,減少計算量。

2 算法原理

2.1 基于相似矩陣的重復結構

相似矩陣的自相似性稱為節拍譜［11］,反映了節拍的周期性變化規律,節拍譜的峰值對應著重復時刻。節拍譜的計算分為3個步驟:(1)將音頻信號以頻譜等形式表示為特征向量組成的序列; (2)計算2個特征向量之間的相似度,得到相似矩陣;(3)計算相似矩陣的對角線和或自相關,觀察相似矩陣的周期性。本文的節拍譜是對信號進行短時傅里葉變換,以每幀信號的幅度譜作為特征向量進行相似性計算。對混合信號作短時傅里葉變換,混合信號的幅度譜記作V。利用特征向量的夾角余弦參數描述相似性,相似矩陣定義為:

其中,V(i)和V(j)分別為第i幀和第j幀特征向量,以角度的余弦參數作為相似性測度,在向量幅值較小的情況下仍然可以得到較大的相似度。節拍譜可通過計算相似矩陣對角線方向元素之和得到:

其中,C(0)是主對角線元素之和;C(1)是上對角線元素之和,依次計算C(l)的各個元素。另一種計算節拍譜更為穩健的方法是計算相似矩陣的自相關:

其中,C(k,l)為對稱矩陣,只需按行或者列相加,就可得到節拍譜C(l);重復結構的周期定義為節拍譜中最大值對應的時間,記為p,包含重復結構的時頻塊在每個周期內都有相似的值。圖1所示是語音信號、音樂信號和語音音樂的混合信號的節拍譜。

圖1 3種信號的節拍譜

圖1(a)中語音信號的節拍譜沒有周期性的規律。圖1(b)中音樂信號和圖1(c)中語音音樂的混合信號的節拍譜周期性地形成了峰值,而且兩者的節拍譜比較接近。由圖1可以看出,將語音和音樂信號混合之后,混合信號中具有重復結構。

2.2 基于時頻比改進的盲源分離

在得到時頻比值之后,檢測單源區域,本文考慮恒定頻率、相鄰時間點構成的時頻窗,這些相鄰的時頻窗稱為分析域,計算每一個分析域中的均值:

其中,M為分析域中時頻窗的個數,之后計算方差:

3 算法實現步驟

基于時頻比改進的語音音樂信號盲分離算法具體步驟為:

(1)對混合信號進行短時傅里葉變換,從第一路混合信號開始計算每一路與第一路混合信號的時頻比值。

(2)計算幅度譜V中的各幀信號之間的相似性,得到相似矩陣,利用式(3)計算節拍譜,得到重復結構周期p。

(3)以恒定頻率、相鄰時間點的時頻窗為分析域,選取包含一個重復結構周期p的分析域,將分析域按方差的升序排列,將方差最小對應的分析域作為第一個單源區域,確定分離矩陣的第一列。

(5)對時頻矩陣B求逆,求源信號的估計y=B-1x(t)。

4 仿真實驗結果與分析

圖2 源信號時域波形圖

對混合信號進行短時傅里葉變換,選取窗長為128的漢明窗,2幀之間的重疊75%,計算混合信號的頻譜。以幅度譜為特征向量,計算每個特征向量之間的相似性,相似矩陣主對角線計算的是每個特征向量的自相似性,相似值最大,為1,越接近于1的值代表對應的2個特征向量之間的相似性越大。計算節拍譜,混合信號周期性地形成了峰值,如圖3所示。

圖3 混合信號的節拍譜

在第2 398幀處,節拍譜的峰值最大,此值對應的時間為重復結構的周期。將恒定頻率,相鄰10個時間點的時頻窗作為一個分析域,相鄰分析域的重復率為50%,一共998個分析域,選取第1個～第480個分析域,這些分析域包含了一個完整的重復結構周期,然后檢測單源點,在得到全部的時頻比的列后,對時頻比矩陣求逆并求得對源信號的估計,分離信號時域波形如圖4所示,從圖2和圖4的波形對比可以看出,本文方法較好地分離出了源信號。

圖4 分離信號時域波形圖

評價分離效果的性能指標有相似系數矩陣和信干比［13］,第i路分離輸出信號yi與第j路輸入信號sj的相似系數計算公式如下:

當ri,j≈1時,yi是sj的較好估計,由于在盲源分離中,分離信號存在幅度與順序的差異,當相似系數矩陣每行每列都有且僅有一個元素接近于1,其他元素都接近于0時,認為該算法分離效果較為理想。分離后信號與源信號之間信干比(SIR)的定義式為:

將分離信號與源信號之間的差值作為干擾信號,分離后計算出的信干比數值越大,分離效果越好。

用本文方法進行語音和音樂信號的分離,并與原方法進行比較,實驗結果如表1所示。

表1 改進前后算法性能對比

理論上時頻比矩陣的值為:

從表1可以看出,改進前后算法時頻比矩陣的值均較為接近理論值,分離效果也比較好,但改進后算法選取了一部分時頻窗進行計算,時間明顯降低。

在語音信號和音樂信號分別以-10 dB,-5 dB, 0 dB,5 dB,10 dB,混合的情況下計算SIR和相似系數矩陣,實驗結果如表2所示。

表2 語音音樂信號在不同混合比例下的性能指標對比

從表2可以看出,語音-音樂混合比變化時,雖然相似系數矩陣的值變化不大,但是SIR變化比較明顯,當語音-音樂混合比越大,SIR的值越大,分離效果越好。算法主要是尋找單源域對應的時頻比,當信號稀疏性較好時,算法的性能越好,音樂信號在經過時頻變換后稀疏性低于語音信號,當混合信號中音樂信號的比重越小,混合信號與語音信號就更為接近,信號的稀疏性越好,分離效果也越好。

觀察源信號數目增加對分離結果的影響,分別在源信號數為2個、3個、4個、5個的情況下計算信干比,實驗結果如表3所示。

表3 不同源信號數下的分離情況對比

從表3可以看出,當源信號的數目增加時,SIR的值呈下降趨勢,即分離效果越差,因為隨著源信號數目的增加,信號在時頻域單獨出現的幾率減小,所以在時頻域上從混合信號中尋找單個源信號就更加困難。

5 結束語

本文利用重復結構來改進基于時頻比的盲源分離算法,選取包含一個重復結構周期的分析域代替整個時頻域來檢測單源點。仿真實驗結果表明,在達到同等分離效果的情況下,改進后算法檢測的時頻窗減少了51.90%,運行時間減少了56.72%,有效地降低了運算量。

［1]Hsu Chao-Ling,Wang Deliang.A Tandem Algorithm for Singing Pitch Extraction and Voice Separation from Music Accompaniment［J］.IEEETransactionson Audio,Speech,and Language Processing,2012,20(5): 1482-1491.

［2]Lie L,Mu Y W.Repeating Pattern Discovery and Structure Analysis from Acoustic Music Data［C］// Proceedings ofthe 6thACMSIGMMInternational WorkshoponMultimediaInformationRetrieval.New York,USA:ACM Press,2004:275-282.

［3]Antoine L,Zafar R.Adaptive Filtering for Music/Voice SeparationExploitingtheRepeatingMusicalStructure［C］//Proceedings of IEEE International Conference on Acoustics,Speech and Signal Processing.Kyoto, Japan:［s.n.］,2012:53-56.

［4]Zafar R,Bryan P.A Simple Music/Voice Separation Method Based on the Extraction of the Repeating MusicalStructure［C］//ProceedingsofIEEE International ConferenceonAcoustics,Speechand Signal Processing.Prague,Czechoslovakia:［s.n.］, 2011:221-224.

［5]Lu Fengbo,Huang Zhitao,Jiang Wenli.Underdetermined Blind SeparationofNon-disjointSignalsinTimefrequency Domain Based on Matrix Diagonalization［J］.Signal Processing,2011,91(7):1568-1577.

［6]Puigt M,Deville Y.Time-frequency Ratio-based Blind Separation Methods for Attenuated and Time-delayed Sources［J］.Mechanical Systems and Signal Processing, 2005,19(6):1348-1379.

［7]Deville Y,Puigt M.Two Time-frequency Ratio-based Blind Source Separation Methods forTime-delayed Mixtures［C］//Proceedings of the 6th International Conference on Independent Component Analysis and Blind Signal Separation.Charleston,USA:［s.n.］, 2006:682-690.

［8]Li Yuanqing,Amari S.Underdetermined Blind Source Separation Based on Sparse Representation［J］.IEEE Transactions onSignalProcessing,2006,54(2): 423-437.

［9]郭 靖,曾孝平.盲源分離的一種時頻比方法［J］.計算機工程與應用,2010,46(30):23-29.

［10]任喜順,沈越泓,高 猛,等.基于時頻分析的混合矩陣估計方法［J］.信號處理,2012,28(4):545-553.

［11]尹琦卿,劉若倫.基于節奏的鼓聲識別［J］.軟件導刊, 2013,12(6):140-143.

［12]Puigt M,Deville Y.Iterative-shift Cluster-based Timefrequency BBS for Fractional-time-delay Mixtures［C］// Proceedings of the 8th International Conference on Independent Component Analysis and Signal Separation.Paraty,Brazil:［s.n.］,2009:15-18.

［13]劉 琚,孫建德,許宏吉.盲信號處理理論與應用［M］.北京:科學出版社,2012.

編輯 顧逸斐

Speech-music Signal Separation Based on Improved Time-frequency Ratio

GUO Wei,YU Fengqin
(School of Internet of Things Engineering,Jiangnan University,Wuxi 214122,China)

Time-frequency ratio is the ratio of mixed signals’amplitudes in time-frequency domain.The inversion of the matrix composing of the corresponding time-frequency ratios which is gotten from single source points in mixed signals can obtain the estimate of the source signals.Blind source separation based on time-frequency ratio has a large amount of calculation and small number of effective time-frequency windows after transforming the signals to the timefrequency domain.Time-frequency bins comprising the repeating patterns have similar values at each period.According to this characteristic,analysis zones including a repeating period are used to detect single source points instead of the whole time-frequency domain.Using similarity coefficient matrix as the separation effect standard,simulation experimental results show that the proposed method can reduce 45.43%of time with the same separation accuracy.

time-frequency ratio;single source point;linear time-frequency transform;repeating structure;beat spectrum;speech-music signal separation

郭 偉,于鳳芹.基于改進時頻比的語音音樂信號分離［J］.計算機工程,2015,41(3):287-291.

英文引用格式:Guo Wei,Yu Fengqin.Speech-music Signal Separation Based on Improved Time-frequency Ratio［J］.Computer Engineering,2015,41(3):287-291.

1000-3428(2015)03-0287-05

:A

:TN912.34

10.3969/j.issn.1000-3428.2015.03.054

郭 偉(1989-),女,碩士研究生,主研方向:語音信號處理;于鳳芹,教授。

2014-04-24

:2014-05-25E-mail:xuyixi2012@sina.com