基于多特征融合的蛋雞發聲識別方法研究

余禮根 杜天天 于沁楊 劉同海 孟 蕊 李奇峰

(1.北京市農林科學院信息技術研究中心， 北京 100097； 2.國家農業信息化工程技術研究中心， 北京 100097；3.天津農學院計算機與信息工程學院， 天津 300384)

0 引言

發聲是動物傳遞信號的主要方式，能在一定程度上反饋其健康狀態和生理生長信息，一直是畜禽行為研究的熱點[1-5]。自20世紀50年代首次報道雞的發聲特征以來，研究發現雞可以發出30多種聲叫類型，19種發聲語義信息(包括警告、威脅、求偶等)可被理解[6-7]。家禽發出痛苦叫聲的總數和頻率與其社交能力和生長環境改變呈現一定的相關性[8]。家禽在期待不同類型飼料時，發出叫聲的類型和數量有所不同[9]。限制飼喂時，來航雞發聲頻率有明顯增加，表現出忍受更高的緊張狀態[10-12]。然而，不區分動物發聲類別，只統計發聲頻次不能較好地對畜禽發聲語義信息進行全面描述[13]。

在畜禽發聲識別方面，學者對多種音頻特征參數與識別模型進行了相關研究與報道。基于時域特征，張鐵民等[14]提出使用短時能量和短時過零率以及短時能量、短時過零率混合特征組成融合特征的音頻識別方法，使用T-S模糊神經網絡對提取的3種叫聲特征參數構成3組測試集，識別正確率分別為78%、80%和75%。HUANG等[15]計算短時過零率和短時能量，使用PV-net模型識別進食行為，準確率達96%。基于頻域特征，曹晏飛等[16]根據規模化養殖舍中噪聲和蛋雞發聲的子帶功率比差異，提出使用J48決策樹的分類算法，平均準確率為93.4%。閆麗等[17]提出一種基于偏度的子帶聚類法，減少了特征向量數。FONTANA等[18-19]提取了蛋雞叫聲峰值頻率，發現隨著年齡增長，雞的體質量增加，叫聲頻率逐漸降低，叫聲峰值頻率與雞齡相關性極高(P<0.001)，據此建立了肉雞體質量與發聲峰值頻率的計算公式，利用聲譜能量值(即峰值)預估肉雞體質量。CUAN等[20]計算聲音的梅爾頻譜系數以及一階差分和二階差分作為特征參數，使用卷積神經網絡用于識別患禽流感病雞，模型識別準確率達97.43%。秦伏亮等[21]提出一種基于小波變換的梅爾頻譜系數作為特征參數，利用高斯混合模型-隱馬爾可夫模型可識別肉雞咳嗽聲，平均識別率為95%。杜曉冬等[22]根據聲譜圖紋理特征差異，采用人工神經網絡進行訓練和分類，分類識別準確率高于92%。基于時頻域特征，韓磊磊等[23]使用改進梅爾頻譜系數(Mel frequency cestrum coefficient，MFCC)、短時能量、短時過零率組成復合特征，試驗表明基于復合特征的識別結果優于單一的MFCC。余禮根等[24]對棲架養殖模式下蛋雞發聲進行研究，提出基于頻譜特征的識別方法，模型分類準確率為88.3%，試驗表明模型可應用于蛋雞發聲監測和情感分類。BANAKAR等[25]利用數據挖掘方法和Dempster-Shafer證據理論，分析3種常見疾病發聲時域和頻域特征，基于支持向量機模型進行分類。總體來看，單一時域、頻域特征難以全面描述畜禽發聲語義信息，為進一步提高識別準確率，本文提出一種融合短時過零率、梅爾頻譜系數、共振峰等典型時頻域特征參數的發聲識別方法。

1 蛋雞音頻采集

研究開展于2020年6月10日—8月10日，在北京市海淀區上莊實驗站內完成。試驗以北京市平谷區某蛋雞養殖場提供的同一批次、健康狀況良好的2700羽“京粉6號”蛋雞為研究對象，在中國農業大學水利與土木工程學院研發的新型棲架養殖中試平臺進行飼養，自2020年1月9日開始養殖，養殖區域尺寸(長×寬×高)為28.0 m×9.0 m×4.3 m，養殖參照疊層式籠養模式相近的飼養管理措施、免疫消毒程序和光照制度，自由采食和飲水。

蛋雞音頻采集裝置選用丹麥Brüel & Kj?r聲學與振動測量公司的BK 2270-S-C型聲學測試分析儀、配置4189型自由場傳聲器(采樣頻率為44.1 kHz，16位分辨率、單通道)，利用BZ-7226數據記錄軟件(Hottinger Brüel & Kj?r，N?rum，丹麥)采集；蛋雞音頻采集裝置安裝于新型棲架養殖中試平臺幾何中心點，距地面高度為2.2 m；試驗期間蛋雞音頻連續進行采集，每隔10 min存儲一次，存儲為.wav格式，獲取蛋雞55～64周齡內養殖舍內的音頻數據集Ai。

2 蛋雞音頻數據預處理

規模化蛋雞養殖舍內采集到的音頻數據包含蛋雞舍內機械設備運行噪聲、蛋雞抓撓啄以及飼養員作業產生的背景噪聲與蛋雞發聲，音頻特征提取前需對蛋雞舍內音頻數據進行預處理，包括音頻去噪、音頻切分。

2.1 音頻去噪

選取音頻數據集Ai中2020年7月6—11日期間的試驗數據，利用音頻處理軟件Adobe Audition CC 2018自適應降噪方法進行去噪，降噪幅度設置為20 dB，噪聲量設置為80%，信號閾值設置為3 dB，去除噪聲后構成蛋雞音頻數據集Bi。蛋雞舍內音頻去噪前后效果對比如圖1所示，噪聲有效去除，信號無明顯失真。

圖1 蛋雞音頻去噪前后效果對比Fig.1 Comparison of original laying hens’vocalizations and sounds after denoising

2.2 音頻切分

針對蛋雞音頻數據集Bi，以音節和音序為單位，運用Adobe Audition CC 2018軟件進行音頻切分，采用人工判讀方法統計棲架式養殖模式下蛋雞典型發聲，共獲得5 690個清晰、無重疊的蛋雞發聲音頻片段數據集Ci，其中包括：2 323個產蛋后類似“咯咯”的產蛋聲，1 567個類似唱歌的鳴唱聲，1 291個采食過程中發出的飼喂聲，509個伴隨蛋雞啄羽、啄頭等應激行為的尖叫聲。以2 h為一個時間單位，分類統計連續5 d內蛋雞產蛋聲、鳴唱聲、飼喂聲、尖叫聲4類典型發聲的頻次，并分析其時域范圍內的分布規律。4類蛋雞發聲波形圖如圖2所示。

圖2 蛋雞發聲類別及波形圖Fig.2 Waveforms of laying hens’ vocalizations with different types

3 特征參數提取與計算

對于音頻預處理獲取的蛋雞音頻片段數據集Ci，使用Matlab 2018a計算蛋雞發聲時域、頻域的典型特征參數，分別是短時過零率(Zero-crossing rate，ZCR)、共振峰(Formant frequency，FF)和梅爾頻譜系數，作為特征向量用于識別模型構建。

3.1 短時過零率

作為時域的經典特征參數，短時過零率指蛋雞發聲信號單位時間內(每幀N個采樣點)穿過橫坐標軸的次數。計算公式為

(1)

其中

(2)

式中Zn——每幀短時過零率

xv(n)——蛋雞發聲信號

sgn[]——符號函數v——幀數

3.2 共振峰

作為頻域的經典特征參數，共振峰(FF)是音頻頻譜能量最為集中的區域[26]。研究發現不同類型的蛋雞發聲，第一共振峰(FF-1)、第二共振峰(FF-2)、第三共振峰(FF-3)出現在頻譜圖中的位置不同[27]。已有大量研究共振峰靜態特征，本文提出一種基于倒譜法的共振峰動態差分特征提取及描述方法。計算步驟如下：

(1)分幀：語音信號本質上是非平穩信號，但在10～30 ms內近似認為是線性時不變信號，對預加重后的蛋雞發聲信號分幀，幀長選擇為20 ms，相鄰幀之間的幀移為40%。

(2)加窗：為消除傅里葉變換中吉布斯效應的影響，對語音信號加窗處理，窗函數選用漢明窗。

(3)離散傅里葉變換：對信號進行快速傅里葉變換得到頻譜，在此基礎上對模平方得到信號功率譜，離散傅里葉變換公式為

(3)

式中x(n)——時域輸入信號

X(k)——頻域輸出信號

k——傅里葉變換對應點

(4)對X(k)幅值取對數

(k)=lg|X(k)|

(4)

(5)

圖3 蛋雞發聲共振峰提取示意圖Fig.3 Formant frequency of laying hens’ vocalizations

(6)

式中H(k)——包絡線

h(n)——倒譜序列加窗后函數

3.3 梅爾頻譜系數

梅爾頻譜系數是根據聽覺系統對語音信號非線性感知處理過程模擬人耳感知聲音信號過程的參數，較為廣泛地應用于畜禽音頻識別[28]。梅爾頻譜系數計算步驟如下：

(1)預處理：對蛋雞發聲分幀、加窗、離散傅里葉變換。

(2)梅爾刻度變換：聽覺系統感知分辨率隨著頻率增加而下降。梅爾頻率通過梅爾刻度與真實頻率建立映射關系。

(3)離散余弦變換：語音信號的頻域信息主要由音素、音調組成。計算每個Mel濾波器的輸出信號并取對數，得到每個頻率帶內的功率譜對數，對頻譜包絡進行離散余弦變換計算得到12維梅爾頻譜系數。蛋雞發聲類別及梅爾頻譜系數如圖4所示。

4 識別模型構建

本文選用3層BP神經網絡(輸入層、隱含層、輸出層)構建蛋雞發聲分類識別模型，輸入層到隱含層、隱含層到輸出層采用Sigmoid函數作為傳遞函數，隱含層節點數設置為10，輸出層為4種發聲分類識別的結果。通過對比不同超參數對訓練集和驗證集識別準確率的影響選擇出最優值，訓練次數設置1 000次，目標誤差設置為0.000 01，學習率設置為0.01，遺傳算法種群規模設置為50，進化次數100，交叉概率0.5，變異概率0.01。應用遺傳算法優化神經網絡權值和閾值，提高網絡訓練效果，遺傳算法優化過程如圖5所示。

圖5 遺傳算法優化神經網絡的權值和閾值流程圖Fig.5 Flow chart of weight and threshold for genetic algorithm optimization of neural networks

通過不同特征參數組合構建蛋雞發聲識別模型，對比分類識別結果。第1組試驗選用頻域12維MFCC作為輸入層特征向量；第2組選用“時域+頻域”的ZCR、FF-1、FF-2、FF-3、ΔFF-21、ΔFF-32、MFCC+ZCR+FF共18維特征參數作為輸入層特征向量；第3組利用主成分分析法(Principal component analysis，PCA)對多維特征參數進行降維，累計貢獻率大于85%[29]時新產生的8維特征參數MFCC+ZCR+FF-D作為輸入層特征向量。3組試驗中的輸入層節點數與輸入特征向量維度保持一致。根據以上思路共設計12-10-4、18-10-4和8-10-4共3種拓撲結構的遺傳算法優化神經網絡模型。試驗數據的70%用于模型訓練，30%用于模型驗證。

利用混淆矩陣準確率(Accuracy，A)、精確度(Precision，P)、靈敏度(Sensitivity，S)3個評價指標對蛋雞發聲音頻分類識別模型的性能進行評價[30]。

5 結果與分析

5.1 蛋雞產蛋發聲時序變化規律分析

以2 h為時間單位，統計蛋雞在05:00—07:00、07:00—09:00、09:00—11:00、11:00—13:00、13:00—15:00、15:00—17:00、17:00—19:00、19:00—21:00、21:00—05:00內的產蛋聲、鳴唱聲、飼喂聲、尖叫聲的發聲頻次。結果表明，蛋雞尖叫聲、飼喂聲的頻次在時間變化上無明顯規律；蛋雞產蛋聲、鳴唱聲與產蛋行為密切相關，而產蛋行為是蛋雞生產性能的直接體現，其統計分析結果如圖6所示。蛋雞產蛋聲主要集中在每天07:00—17:00，占全天產蛋聲總數的89.2%。其中，以09:00—11:00時間段內的產蛋聲最多，占全天產蛋聲總數的28.1%；21:00—05:00時間段產蛋聲頻次較少。總體來看，棲架養殖產蛋行為主要發生在上午，下午至晚上逐漸減少，符合蛋雞自然的生理活動與生長習性，棲架養殖模式下蛋雞的生長天性能夠得到一定程度的表達。

圖6 蛋雞產蛋聲箱線圖Fig.6 Boxplot of laying hens’ vocalizations with egg laying

5.2 分類試驗與結果分析

利用蛋雞舍內4類典型發聲音頻的梅爾頻譜系數、短時過零率、共振峰及一階差分參量作為融合特征參數，構建基于遺傳算法優化BP神經網絡的蛋雞發聲分類識別模型，分類混淆矩陣如表1～3所示。蛋雞發聲分類識別模型性能對比如表4所示。

表1 基于MFCC的蛋雞發聲分類識別混淆矩陣Tab.1 Confusion matrix of feature fusion based on acoustic parameters of MFCC for laying hens

表2 基于MFCC+ZCR+FF的蛋雞發聲分類識別混淆矩陣Tab.2 Confusion matrix of feature fusion based on acoustic parameters of MFCC+ZCR+FF for laying hens

表3 基于MFCC+ZCR+FF-D的蛋雞發聲分類識別混淆矩陣Tab.3 Confusion matrix of feature fusion based on acoustic parameters of MFCC+ZCR+FF-D for laying hens

表4 蛋雞發聲分類識別性能比較Tab.4 Comparison of classification test of laying hens’ vocalizations

由表1～3可知，產蛋聲和尖叫聲發聲識別的靈敏度高于鳴唱聲和飼喂聲，其主要原因是產蛋聲和尖叫聲頻譜特征規律較為顯著，與其他類別的蛋雞發聲不易混淆，而飼喂聲的音頻強度較低，特征變化與其他3類發聲區分不明顯，音頻切分容易受到背景噪聲影響和人為干擾。由表4可知，基于不同時頻域特征組合與參數維度考慮，從平均識別準確率上看，融合特征參數降維后的特征參量(91.9%)略高于融合特征參量(90.8%)和梅爾頻譜系數(87.8%)。融合后的MFCC+ZCR+FF特征參數可從多角度對原始音頻數據進行描述，但也存在大量冗余成分，冗余部分影響了模型分類識別效果。利用主成分分析(PCA)對多維特征參數降維形成新的多維特征參數組合MFCC+ZCR+FF-D構建的發聲分類識別模型，在分類識別和模型運算效率上性能較優，其對蛋雞產蛋聲、鳴唱聲、飼喂聲和尖叫聲識別精確度分別為90.2%、93.0%、93.3%、92.2%，平均精確度達到92.2%，識別靈敏度為94.9%、90.0%、89.4%、91.8%，平均靈敏度達到91.5%。試驗結果表明，選擇多特征融合算法用于蛋雞發聲識別是可行的，選擇最優特征屬性對提高蛋雞發聲識別性能具有較好的應用潛力。

6 結束語

提出的融合時域、頻域特征的蛋雞發聲分類識別方法將梅爾頻譜系數、短時過零率、共振峰及其差分特征相結合，多維度對棲架式養殖舍內蛋雞音頻進行特征提取與分類識別，利用遺傳算法優化的神經網絡分類識別模型平均識別準確率為91.9%，平均精確度達到92.2%，平均靈敏度達到91.5%。綜上所述，本文構建的融合音頻多維特征信息的蛋雞發聲分類識別模型具有較好的識別性能，可用于蛋雞發聲分類與自動判別。