果蠅鳴聲信號結(jié)構(gòu)分析與時頻子波建模

呂苗榮，劉 緒

（常州大學(xué) 石油工程學(xué)院，江蘇 常州 213164）

各種動物為了實現(xiàn)與外界環(huán)境的有效聯(lián)系，受到外界刺激或出于自身生理需要均會發(fā)出不同的鳴叫聲，對動物發(fā)聲行為的研究是動物行為生態(tài)學(xué)研究的重要方面。昆蟲的發(fā)聲機制主要有敲擊外界物體發(fā)聲、摩擦發(fā)聲、靠翅膀或胸壁振動發(fā)聲、膜振動發(fā)聲和空氣振動發(fā)聲等[1]。果蠅通過振翅所產(chǎn)生的鳴聲可實現(xiàn)種群內(nèi)個體間的召喚、求偶、攻擊和報警等方面信息的傳遞。1962 年Shorey 首次對果蠅的振翅聲進行了分析[2]，Tauber 和Eberl 實現(xiàn)了果蠅發(fā)聲和鳴聲信號的采集[3]，Webb 等分析了加勒比海果蠅鳴聲的振翅頻率、聲強和諧波成分，實現(xiàn)了不同日齡雌雄果蠅的識別[4]。Sivinki 等研究了雄性果蠅的召喚、求偶和交尾聲的環(huán)境及行為[5]。Mizarch 等將地中海果蠅的研究成果應(yīng)用于果蠅的誘集捕殺[6]。

人們一般從時域和頻譜兩個方面開展果蠅鳴聲信號研究[7]，在信號建模方面文獻[8]實現(xiàn)了短時窗信號功率譜密度的參數(shù)和非參數(shù)建模。隨著信號處理技術(shù)的進步，聲譜圖、美爾倒譜系數(shù)、小波變換等方法也被應(yīng)用于果蠅振翅波形特性和果蠅振翅聲信號識別的研究。文獻[9]研究表明，果蠅胸部在飛行期間產(chǎn)生的聲音由兩種主要的振動模式組成：機翼拍頻和骨骼振動。文獻[10]分析了瓜蠅魚雄性交配鳴聲產(chǎn)生的機制。文獻[11]證實了寄生蠅能在飛行時進行聲學(xué)定向。

信號處理的目的就是從果蠅鳴聲信號中提取得到果蠅行為、目標、動作以及與環(huán)境相互作用等各種特征信息[12-13]。筆者將工程信號處理方法應(yīng)用到果蠅鳴聲的研究中，對果蠅振翅進行了基本描述，采用模式濾波法進行果蠅信號時頻子波的分解、分類和鳴聲信號的分離與建模處理。

1 信號的基元分段處理

1.1 信號基本操作單元的確定

按照文獻[14]的觀點，信號的基本操作單元就是指在具有周期特征的信號中，對所研究的周期現(xiàn)象截取一個個具有完整周期特征的基本信號段，將其簡稱為基元或基元信號。基元信號所對應(yīng)的樣本點數(shù)量稱為基元長度，用M表示；相應(yīng)的時間段長度，即基元周期也稱為基元時長，用tM表示。tM與采樣率之間存在如下關(guān)系式：

式中：FSP為果蠅鳴聲信號采樣率，Hz。

例如，圖1(a)是一個從某生物聲信號庫中下載的果蠅鳴聲信號。如果截取圖1(a)中指定間隔A的信號段進行時域放大顯示，可以獲得圖1(b)。而圖1(c)是將圖1(b)中指定的B信號段進行時域放大后顯示的結(jié)果。如果將圖1(c)的分段信號按照標定的1、2、3…等進行分段處理，切分獲得的信號段就是果蠅鳴聲信號的基元信號。音頻測試表明，圖1(c)所示的信號是果蠅振翅一次所對應(yīng)的小段信號。如果按照圖1(c)所示的分段形式，并采用分段相關(guān)性系數(shù)最高為標準進行精確定位，可以獲得如圖2(a)所示的基元信號匯總結(jié)果，圖2(b)是對應(yīng)的基元頻譜圖。

果蠅鳴聲基元的切分并不是絕對的。從圖1(c)或圖3 可以看出，信號內(nèi)部還存在著果蠅飛行期間完成一個完整的飛行動作所對應(yīng)的另一類周期特征信號。

圖1 果蠅聲信號及頻譜

圖2 果蠅聲信號基元分段信號及頻譜

圖3 果蠅聲信號基元分段的另一種劃分形式

1.2 果蠅基元信號的多普勒特征

對比圖2(a)和圖2(b)可以看出，果蠅飛行期間，由于飛近和飛離聲傳感器而導(dǎo)致的多普勒頻移現(xiàn)象主要體現(xiàn)在基元時長的變化上，對基元波形沒有影響，基元信號頻譜也幾乎保持不變。

顯然，人們一方面可以通過研究一個具體的基元信號，來建立物化系統(tǒng)各種變量之間內(nèi)在的關(guān)聯(lián)與規(guī)律性。另一方面，也可以通過研究一個個前后相繼的基元信號參數(shù)序列的變化特征，來掌握整個系統(tǒng)的變化趨勢，實現(xiàn)對現(xiàn)實世界的有效檢測與控制。因此，研究基元信號是了解“微觀”特征與掌控“宏觀”趨勢的鑰匙，也是連接“微觀”與“宏觀”之間的橋梁。圖4 就是圖1(a)果蠅鳴聲信號的基元振幅和基元長度變化曲線圖。這些基元參數(shù)曲線能夠很好地揭示果蠅鳴聲信號內(nèi)部變化的過程與特征。

圖4 果蠅聲信號基元參數(shù)曲線

1.3 果蠅鳴聲基元信號分類

將果蠅鳴聲基元信號進行時長補齊處理，使所有的基元信號保持長度一致，而后做30次基元信號循環(huán)，將新形成的信號再進行信號頻譜歸類處理。研究表明，即使是相關(guān)性系數(shù)下限為0.975，歸類結(jié)果也只有5類。在總共1 151個基元信號中，序號范圍在1～1 147的為一類，序號為1 148、1 149、1 150、1 151的各自為一類。

如果按照波形信號相關(guān)性系數(shù)的高低進行分類，按信號互相關(guān)性系數(shù)高低進行歸類處理，在保持相關(guān)性系數(shù)下限為0.975的情況下，可以獲得圖5所示的17個分類結(jié)果。

圖5 果蠅基元信號典型分類曲線

如果將整個果蠅鳴聲信號中的所有基元信號用某個基元信號以振幅大小按比例進行替換，并比較替換前后的音頻效果。測試表明，除了1 148～1 151的獨立分類基元信號形成的鳴聲聲效發(fā)生明顯變異，對其他基元信號進行替換后形成的鳴聲聲效與原信號比較幾乎沒有變化。這一測試結(jié)果表明果蠅鳴聲基元信號結(jié)構(gòu)具有良好的穩(wěn)定性。

2 信號的模式濾波法處理

2.1 果蠅鳴聲信號的模式濾波分解

2.1.1 果蠅鳴聲信號時頻子波分類

按照文獻[14]介紹的按照模式濾波法進行分解處理，并對分解后獲得的時頻子波進行歸類處理，在匹配下限為0.975時，可以將所有子波歸并為圖6所示的498類，其中f代表頻率，α代表衰減系數(shù)。定義每個基元中振幅最大的時頻子波為基元主子波。以基元主子波時間為參考點，對第i個基元的每個子波做以下轉(zhuǎn)換：

圖6 果蠅信號時頻子波在“f-α-A”空間分布

式中：tbij是第i個基元內(nèi)第j個子波經(jīng)過轉(zhuǎn)換后的時間值，稱為第j個子波的基元子波時間，s；t0ij是第i個基元內(nèi)第j個子波在果蠅信號內(nèi)的時間值，t0ij=β0ij/β1ij；t0im是第i個基元主子波在信號內(nèi)的時間值（i=1，2，…，N，N是基元總數(shù)量）。

將果蠅時頻子波分布在“tb-jBOU”平面內(nèi)，其中jBOU是基元序號，時頻子波就會在tb時間軸的某些點上集中聚集。因此，在498類時頻子波的基礎(chǔ)上，再按照tb時間軸進行進一步的分類處理，最終獲得3 134個分類結(jié)果。

對所有分類重構(gòu)信號進行音頻測試與歸類處理，可以獲得表1 所示的13 項二次歸類時頻子波分類結(jié)果。這13 類鳴聲振動子類信號又可進一步歸并成為以下4 個大類：翅膀振動摩擦、果蠅鳴聲、胸骨振動和果蠅整體沖擊振動。

表1 果蠅時頻子波歸類結(jié)果

2.1.2 并發(fā)時頻子波的提取與處理

并發(fā)時頻子波的概念有兩個：一個是時間并發(fā)時頻子波，指的是在分解后的子波中存在著許多t0ij數(shù)值相同的時頻子波，筆者定義這些子波為時間并發(fā)子波；另一個是結(jié)構(gòu)并發(fā)時頻子波，指的是在不同的基元信號中，同時出現(xiàn)的在相同時間點tbij上同類型、基元結(jié)構(gòu)相似的時頻子波。由于并不是所有波形都能夠用一個時頻子波進行合理的逼近與替代。時間并發(fā)子波的作用就是對基元并發(fā)主子波的波形起到修飾和補償?shù)淖饔茫员愀玫乇平ɑ蜻m應(yīng)）實際的信號。在時間并發(fā)時頻子波中，振幅最大的時頻子波被稱為是并發(fā)主子波，其它子波稱為并發(fā)非主子波。

圖7(a)所示是果蠅信號并發(fā)非主子波在“β1-α-A”空間的分布。從圖上可以看出，這些子波按照頻率可以分成高低兩類。圖7(b)是這兩類子波的重構(gòu)信號。測試表明，由高頻并發(fā)非主子波重構(gòu)的信號主要是由果蠅飛行時翅膀之間的接觸摩擦振動引起；而低頻并發(fā)非主子波是由果蠅飛行期間胸骨撞擊和身體的強烈沖擊發(fā)出的聲音。從圖7(b)也可以看出，翅膀接觸摩擦振動往往與飛行方向的轉(zhuǎn)折緊密相關(guān)，飛行平穩(wěn)、方向穩(wěn)定時接觸摩擦很小、甚至沒有。而低頻撞擊和沖擊振動似乎與果蠅飛行期間的發(fā)動、制動、平穩(wěn)滑行等狀態(tài)相對應(yīng)的肢體動作密切相關(guān)，筆者也稱這些子波為動作子波。

圖7 果蠅并發(fā)子波及重構(gòu)信號

2.1.3 果蠅基元信號主子波

分析表明，在基元主子波中不存在時間并發(fā)子波。但在所有的1 151 個基元中，有2 個或2 個以上與主子波類型相同的情況，參見表2，余下基元主子波數(shù)量只有1 個的類型有1 345、1 346、1 350、2 464、2 471、2 484，共6個。

在這些分類主子波中，前3 類分別包含735 個、270個和96個主子波，形成了果蠅鳴聲信號3個大的子類基元信號。剩余的只有46個（占總數(shù)4%）基元主子波。測試表明，表2 中所示的基元主子波重構(gòu)信號的音效已經(jīng)與原信號十分接近。

2.1.4 分類子波分布的規(guī)律性

分析表明，各種時頻子波在參數(shù)空間中具有特定的分布規(guī)律。例如，表1 中3 次歸類子波中2～4類子波在“tb-jBOU”二維空間中的子波分布情況可參見圖8(a)。可以看出，深綠色的第3類的胸骨振動位于主子波（即tb=0）之前，藍色的第2類翅膀摩擦振動緊隨主子波之后，而淺綠色的第4 類低頻整體沖擊子波排在靠后出現(xiàn)。

在表1所示3次歸類的第2類果蠅鳴聲信號中，2次歸類為4的時頻子波排在主子波之前，緊隨主子波的是2次歸類為3的鳴聲子波，與翅膀摩擦幾乎同時出現(xiàn)的是2 次歸類為11 的低頻有節(jié)律鳴聲，具體可參見圖8(b)。果蠅飛行期間產(chǎn)生的各種鳴聲和果蠅飛行行為與動作緊密相關(guān)。

圖8 果蠅信號子波在“tb-jBOU”二維平面分布

2.2 果蠅鳴聲基元信號結(jié)構(gòu)分析

果蠅鳴聲基元信號內(nèi)部時頻子波的排布存在固定的結(jié)構(gòu)形式，表3 所示是以表2 中的主基元為參照，對3 134 類時頻子波并發(fā)統(tǒng)計匯總后，取子波數(shù)量的前7位進行列表獲得的結(jié)果。所謂基元子波并發(fā)統(tǒng)計是指對134類不同類型的時頻子波在同一個基元信號中出現(xiàn)次數(shù)的統(tǒng)計。

表2 與基元主子波同類的基元數(shù)量匯總表

從表3 可以看出，構(gòu)成果蠅鳴聲基元信號的主要類型為基元主子波1、3、12這3類。以主子波第1類為例，與基元主子波并發(fā)出現(xiàn)的前11類非主子波在不同的參數(shù)空間的分布可參見圖9(a)、圖9(b)和圖9(c)。從圖上可以看出，分類序號為1的主子波集中于β0=0 軸周圍，對應(yīng)果蠅飛行的相對平穩(wěn)狀態(tài)。對應(yīng)第3 類和第12 類的主時頻子波和前11 類并發(fā)非主時頻子波在β0上分別在小于零和大于零的范圍內(nèi)分布，對應(yīng)果蠅的降速飛行和加速飛行狀態(tài)。

表3 基元子波并發(fā)次數(shù)部分統(tǒng)計結(jié)果

每一類并發(fā)非主子波也很好地反映了各種狀態(tài)之間的轉(zhuǎn)換規(guī)律。例如，對應(yīng)1#主子波并發(fā)子波占所有非主子波的百分比幾乎都是50%。而其它的3#、12#、85#等類與主子波并發(fā)出現(xiàn)的非主子波總和又占50%。因此，與非主子波相關(guān)的狀態(tài)之間轉(zhuǎn)換幾乎都發(fā)生在1#和其它主子波，以及同類主子波之間。從圖9 可以看出，不同主子波和非主子波在參數(shù)空間中的分布主要集中在特定的tb點上，非主子波隨主子波的變化在“β1-β0-A”空間分布也各具特點，基元信號組成和結(jié)構(gòu)非常穩(wěn)定。

圖9 隨第1類主子波并發(fā)出現(xiàn)的前11類非主子波在參數(shù)空間中的分布

3 果蠅鳴聲信號建模

3.1 分類子波振幅參數(shù)回歸處理

如果將3 134 類時頻子波分類結(jié)果中的類與類之間的振幅參數(shù)，以基元為單位進行子波振幅的散點顯示，可發(fā)現(xiàn)基元子波振幅參數(shù)的變化存在很好的線性對應(yīng)關(guān)系。表4所示就是利用這些數(shù)據(jù)進行回歸處理獲得的結(jié)果。

3.2 果蠅基元信號主頻與基元長度的關(guān)系

利用文獻[14]介紹的基元延時循環(huán)信號的構(gòu)建方法來處理基元信號，在3 個系列上，基元長度為76、77、78～85、89、86～88 和90 的信號基元長度與基元循環(huán)信號主頻之間呈線性關(guān)系，具體如表5 所示。初步分析表明，序號為1 的回歸結(jié)果絕大部分位于果蠅飛行的后2/5段內(nèi)，序號為2的數(shù)據(jù)散點很少；占3/5的前半段正好與占2/5的后半段相反，序號為2的散點數(shù)據(jù)占絕大部分，序號為1的散點數(shù)據(jù)則很少；產(chǎn)生這樣的結(jié)果與果蠅飛行狀態(tài)密切相關(guān)。利用這3個系列的散點數(shù)據(jù)，可以通過回歸得到表5所示的結(jié)果。

表5 果蠅信號基元長度與基元循環(huán)信號主頻回歸結(jié)果

3.3 果蠅基元信號的時頻子波表征

根據(jù)上面的分析，可以得出基于時頻子波果蠅基元信號的表達式為：

式中：yBOU(t)是時域基元信號波形表達式；A0是果蠅聲源的振幅，mPa；fi是第i系列時頻子波的頻率，Hz；ai、bi是表4所示的第i系列時頻子波與第1系列時頻子波線性回歸系數(shù)；β0i是第i系列時頻子波的初始相位，rad；M是子波系列數(shù)量。

表4 基元子波振幅參數(shù)線性回歸統(tǒng)計結(jié)果

4 結(jié)語

通過開展果蠅鳴聲信號的基元分段處理和模式濾波分析，獲得了果蠅鳴聲信號基元的特征波形、信號時頻子波的分類與組成、基元信號的基本結(jié)構(gòu)，以及果蠅運動參數(shù)在時域微觀與宏觀上的變化規(guī)律，可以獲得以下幾點結(jié)論：

（1）果蠅鳴聲信號具有很強的周期變化特征，包含有低頻整體沖擊振動信號和高頻振翅飛鳴信號這兩個系列的基元信號，分別對應(yīng)果蠅振翅一次或飛行期間果蠅做一個完整的飛行動作所對應(yīng)的小段信號；

（2）果蠅飛行期間，由于距離的變化導(dǎo)致的多普勒頻移現(xiàn)象主要體現(xiàn)在基元長度的變化上，基元波形和單一基元頻譜幾乎保持不變；

（3）對果蠅鳴聲信號進行模式濾波法處理，分解所得的時頻子波可以分為13個細類和4個大類，4大類鳴聲信號分別是翅膀振動摩擦、果蠅鳴聲、胸骨振動和果蠅整體沖擊振動聲信號；

（4）以基元主子波為參照，可以獲得基元信號時頻子波的基本結(jié)構(gòu)特征。果蠅時頻子波可以按照主子波在參數(shù)空間中的位置分為3 大類，分別對應(yīng)平穩(wěn)運動、加速運動和降速運動。

（5）分類時頻子波之間的參數(shù)存在一定的依存關(guān)系。基元結(jié)構(gòu)并發(fā)類時頻子波的振幅可以用線性關(guān)系式進行描述處理。

（6）通過分析建立了基于時頻子波的果蠅基元信號數(shù)學(xué)模型。

由于系列子波的出現(xiàn)與否同果蠅的飛行狀態(tài)有關(guān)，因此，如要形成一個完整的果蠅飛行信號精細化動態(tài)數(shù)學(xué)模型，還需要建立果蠅基元信號狀態(tài)轉(zhuǎn)移模型。限于篇幅，更詳細的討論可參見筆者后續(xù)的介紹。