鉆蛀性害蟲取食聲音的人工智能早期識別*

劉璇昕 孫 鈺 崔 劍 蔣 琦 陳志泊 駱有慶

(1.北京林業大學信息學院 北京 100083； 2.北京航空航天大學網絡空間安全學院 北京 100191； 3.北京林業大學林學院 北京 100083； 4.國家林業和草原局林業智能信息處理工程技術研究中心 北京 100083)

林業有害生物導致的林業生物災害是威脅我國林業的重大自然災害之一，其對森林資源和生態系統的破壞，每年均造成大量的直接或間接經濟損失(李娟等， 2019)。在林業有害生物中，林木蛀干害蟲生活隱蔽、防治困難，是生態安全的重大隱患。蛀干害蟲大部分齡期均生活在寄主林木的木質部或韌皮部，蛀食樹干，破壞樹木的分生組織和輸導組織，嚴重時危害樹勢甚至導致樹木死亡(黃志平等， 2013； 呂飛等， 2015)。蛀干害蟲高隱蔽性的生活習性導致其在危害早期難以發現，人工樣地觀察(Floweretal.， 2013)、成蟲誘集技術(Mcculloughetal.， 2011)、遙感監測(Zhangetal.， 2014)等常用的監測手段難以實現早期預警。隨著聲音監測技術在害蟲識別領域的應用，林木蛀干害蟲的早期預警有了新的研究方向(韋雪青等， 2010)。

聲學技術在害蟲監測領域的應用始于20世紀20年代，但由于技術的局限性，未能取得有效成果，隨著計算機技術和微電子技術的進步，害蟲聲音監測技術有了新的發展(韋雪青等， 2010)。害蟲聲音監測技術的研究對象主要包括倉儲害蟲(李玥等， 2018)、木材檢疫害蟲(婁定風等， 2013)、土壤害蟲(Mankinetal.， 2007)、林木鉆蛀害蟲(Mankinetal.， 2018)等。在害蟲聲音監測中，對于有發聲器官的成蟲或隔音環境下的幼蟲，可采用麥克風作為傳感器，偵聽傳導至空氣中的振動(羅茜等， 2011)。但麥克風僅能接收空氣中的振動，且易受環境噪聲干擾，難以采集蛀干害蟲在樹木內部的活動信號。對于土壤害蟲和蛀干害蟲的活動信號，通常利用壓電傳感器采集害蟲在土壤或樹干內爬行或蛀食時產生的振動信號，以提高監測靈敏度并減少環境噪聲對信號的干擾(Mankinetal.， 2003)。

害蟲活動信號識別的研究大致可分為2種。其一是對害蟲活動信號的時頻特性進行人工分析，如統計脈沖信號數量和強度(趙源吉等， 2009； Dosunmuetal.， 2014)、分析脈沖時域圖和功率譜密度(卜宇飛等， 2017； Jalinasetal.， 2019)等。其二是利用算法對采集到的害蟲聲信號進行自動識別。美國農業部Mankin課題組利用Raven篩選出包含害蟲聲音的音頻后利用DAVIS軟件進行最小二乘匹配以區分蟲聲和噪聲或不同蟲聲(Inyangetal.， 2019； Mankinetal.， 2016)； 國內的研究學者大都借助語音識別的原理實現害蟲聲信號的識別，首先提取信號的梅爾倒譜系數，然后利用LBG(Linde, Buzo, Gray)矢量量化算法(竺樂慶等， 2010)、高斯混合模型(Gaussian mixture model，GMM)(竺樂慶等， 2012)或BP(Back propagation)神經網絡(羅茜等， 2011)進一步提取特征，最后通過最鄰近搜索(竺樂慶等， 2010)、概率統計(羅茜等， 2011； 竺樂慶等， 2012)等實現分類。近年來，也有研究學者利用卷積神經網絡實現端到端的害蟲識別(孫鈺等， 2020)。

害蟲的取食聲經傳感器處理后通常轉化為音頻格式，與語音識別的數據格式及頻率范圍較為一致，因此，可借助語音識別領域的關鍵詞檢測技術實現取食聲音的識別。關鍵詞檢測用于語音信號中關鍵單詞或短語的識別(Warden， 2018)。早期的關鍵詞檢測通常采用隱馬爾科夫模型(hidden Markov model，HMM)(Wilponetal.， 1991)，隨著人工智能技術的發展，基于深度學習的關鍵詞檢測模型取得新的進展(LeCunetal.， 2015)。近年來的研究中，在關鍵詞檢測中應用的深度學習模型主要有深度神經網絡(deep neural network，DNN)模型(Chenetal.， 2014)、卷積神經網絡(convolutional neural network，CNN)模型(Tangetal.， 2018)、循環神經網絡(recurrent neural network，RNN)模型(Heetal.， 2017)、卷積循環神經網絡(convolutional recurrent neural network，CRNN)模型、時延神經網絡(time delay neural network， TDNN)模型(Sunetal.， 2017)等，為了強化模型的學習能力，部分模型中還引入了注意力機制(Shanetal.， 2018)。

相較人工監測、誘捕器監測、遙感監測等監測技術，聲音監測技術具有在蟲害發生早期及時預警的能力，近年來，受到越來越多研究人員的關注。但是，國外的研究學者大都借助Raven和DAVIS軟件進行半自動的特征提取及蟲害聲音匹配，識別結果依賴主觀分析，沒有數值化的精度評價。國內的研究學者借助語音識別技術針對害蟲活動或取食聲設計模型，實現自動化的害蟲聲音識別，但研究所采用的數據均為隔音箱或室內環境中采集的純凈蟲聲數據，缺乏對含噪蟲聲數據的研究，難以實現鉆蛀性害蟲聲音監測的實際應用。因此，本研究在校園、馬路邊等戶外開放環境下采集噪聲音頻，一方面作為鉆蛀性害蟲取食聲的負樣本，另一方面也作為噪聲數據，通過和鉆蛀性害蟲取食聲進行混音，進行噪聲強度可控的含噪取食聲識別研究。

本研究以雙條杉天牛(Semanotusbifasciatus)為研究對象。雙條杉天牛是危害柏科(Cupressaceae)樹木的蛀干害蟲，屬我國林業有害生物檢疫對象(耿涌鑫等， 2018)。本文利用壓電傳感器采集其咬食木段的聲音，同時采集噪聲數據作為干擾，參考基于深度學習的人工智能語音識別技術，設計基于卷積神經網絡的識別模型識別雙條杉天牛的取食聲，同時對識別模型的抗噪性能進行測試，驗證模型在野外嘈雜環境下的可用性，為隱蔽蛀干害蟲的早期預警提供抗噪技術支撐。

1 數據材料

1.1 數據采集

本研究主要采集了2類數據，一類是雙條杉天牛取食聲，另一類是在開放環境下采集的噪聲音頻。

從林場采集直徑約為10 cm長度約為30 cm的側柏(Platycladusorientalis)木段，并在木段中部鉆孔(孔深3 cm左右)，于3月中下旬向木段中接入雙條杉天牛成蟲，等待成蟲在木段中進行交配、產卵。5月上旬開始，每隔3～5 天使用SP-1 L探頭連接NI 9215電壓采集卡采集木段中雙條杉天牛幼蟲的取食聲(圖 1)，采集到的取食聲中基本無環境噪聲。同時，利用相同的數據采集設備，在校園、馬路邊等戶外開放環境下使用相同儀器錄制的噪聲音頻，其中包含行人腳步聲、人與人交談聲、鳥鳴聲、風聲、汽車行駛聲、鳴笛聲等明顯環境噪聲，但不含雙條杉天牛的取食聲。

圖1 數據采集設備

選取130段雙條杉天牛取食聲和83段噪聲音頻用于后續試驗，單段音頻時長為5 min，采樣率為44.1 kHz。利用SoX(Sound eXchange)音頻處理工具將音頻的采樣位數轉換為16 bit，同時將音頻的采樣率統一為16.0 kHz。

1.2 數據劃分

為了對模型的抗噪性能進行測試，從采集到的83段噪聲音頻中隨機選擇加噪音頻，其中8段加入訓練集和簡單測試集，5段加入抗噪測試集，剩余70段作為噪聲類用于識別模型的訓練及簡單測試； 同時，從采集到的130段雙條杉天牛取食聲中隨機選取60段加入抗噪測試集，剩余70段加入訓練集和簡單測試集。數據集劃分情況如表 1所示。

表1 數據集劃分情況

1.3 音頻加噪

為了訓練識別模型，對數據進行切分，切分方式如圖 2所示，切片長度為1 s，每段音頻可得到300段切片。為了測試模型的訓練效果，訓練集/簡單測試集中的音頻切分得到的各類切片按7∶3的比例劃分為訓練集和簡單測試集。

圖2 數據切片方式

為了使模型適應噪聲環境，從而增加模型的抗噪能力，訓練階段，在保留一定量不混音的雙條杉天牛取食聲切片的基礎上，對雙條杉天牛取食聲切片和加噪音頻切片進行混音(Ephratetal.， 2018)，混音前后的時域波形圖和頻域聲譜圖如圖 3所示。混音時的噪聲強度通過信噪比(signal-noise ratio，SNR)(Barkeretal.， 2013)衡量，信噪比的計算公式為：

圖3 不同信噪比下的波形和聲譜

(1)

式中，LS表示取食聲音頻，NS表示加噪音頻，P表示音頻能量，Ai表示音頻在第i個采樣點處的振幅，n表示音頻采樣點數。

在對訓練集和簡單測試集混音時為每段加噪音頻切片設置7種信噪比(-3～3 dB，間隔1 dB)，將7種信噪比下的加噪音頻切片和不同雙條杉天牛取食聲切片混合，得到用于訓練和測試的雙條杉天牛取食聲數據。訓練集中共有取食聲切片14 700段，其中，7種信噪比的取食聲切片各有1 680段，不加噪的取食聲切片有2 940段； 簡單測試集中共有取食聲切片6 300段，其中，7種信噪比的取食聲切片各有720段，不加噪的取食聲切片有1 260段。同時，在訓練集和簡單測試集中加入與雙條杉天牛取食聲切片數量一致的噪聲切片作為負樣本。

為了測試模型的抗噪性能，利用抗噪測試集中的雙條杉天牛取食聲切片和加噪音頻切片生成獨立的雙條杉天牛取食聲混音數據作為抗噪測試集，抗噪測試集中不包含噪聲切片，但相較訓練集和簡單測試集，設置了更大的信噪比區間(-7～3 dB，間隔1 dB)，在低信噪比上，擴展了4 dB，每種信噪比的取食聲切片各有1 500段，同時包含相同數量的不加噪的取食聲切片。利用公式(1)可推知：

(2)

式中，NS表示加噪音頻，LS表示取食聲音頻，SNR表示信噪比。

將信噪比代入公式(2)可知，信噪比為-3 dB時，噪聲音頻的音頻能量約為取食聲的音頻能量的2倍，信噪比為-7 dB時，噪聲音頻的音頻能量約為取食聲的音頻能量的5倍。已有研究人員的測試表明，信噪比為9 dB時，人的聽覺對字母的識別準確率約為97%，當信噪比下降至-6 dB時，人的聽覺對字母的識別準確率僅有83%左右(Barkeretal.， 2013)，可以看出，音頻的信噪比強度會對聲音識別的準確率造成明顯影響。

2 模型設計

2.1 頻譜特征提取

提取平均對數譜(average log spectrum)作為音頻的特征用于取食聲識別。平均對數頻譜的計算主要包括短時傅里葉變換(short-time Fourier transform，STFT)、對數計算、平均池化(average pooling)3步。

為了增加音頻的復雜度，避免訓練中的過擬合現象，在計算頻譜之前對音頻進行-5 ms至5 ms的隨機平移，平移后用0填充至1 s時長。對于平移后的音頻，以30 ms的窗長及20 ms的重疊率進行逐段的傅里葉變換，傅里葉變換的點數設置為512。通過短時傅里葉變換，每個1 s長的音頻均可得到98×257的聲譜圖(圖4a)。為了放大頻譜特征的波動，增加區分度，對頻譜特征進行對數計算(圖4b)。為了綜合頻譜特征，將對數計算后的頻譜特征進行平均池化，平均池化的窗大小為1×6，2個方向的步長分別為1和6。經過平均池化，每個1 s長的音頻可得到98×43的平均對數譜用于后續的卷積計算(圖4c)。

圖4 頻譜特征提取逐步結果

2.2 網絡結構設計

設計基于卷積神經網絡的識別模型進行取食聲的識別，網絡結構如圖5所示。

圖5 卷積神經網絡結構

卷積神經網絡主要由2層二維卷積、一層最大池化和一層全連接構成。卷積層包括權重和偏置2組參數，其中權重通過標準差為0.01的截段正態分布隨機初始化，偏置初始化為0。為保證卷積操作前后特征圖大小的一致性，卷積操作前對特征圖進行補0操作，2層卷積的卷積核個數均為64，卷積步長均為1，卷積核大小分別為20×8和10×4，卷積操作后網絡利用ReLU(Rectified Linear Unit)激活函數提高模型的非線性映射能力，同時為了避免網絡過擬合，在激活函數后利用dropout層隨機忽略網絡層中50%的神經元。在第1次卷積操作之后，網絡通過步長為2的最大池化操作，在實現特征降維的同時，更好地保留特征中的紋理信息。在第2次卷積操作之后，網絡通過特征展開得到68 992維特征，然后利用全連接層綜合特征信息，并借助softmax函數實現各類識別概率的計算。

3 結果與分析

3.1 試驗環境

基于卷積網絡的識別模型的實現基于TensorFlow深度學習框架，硬件平臺采用Intel Core i7-6700 CPU(64 GB內存)和NVIDIA TITAN RTX GPU(24 GB顯存)。

模型訓練階段批處理大小為128，損失函數為多分類交叉熵損失。模型利用梯度下降算法(Gradient Descent Optimizer)進行參數更新，一共迭代6 000次，前3 000次學習率為0.005，后3 000次學習率為0.001。

3.2 簡單測試集

以音頻切片的識別準確率作為模型性能的評價指標，試驗的簡單測試集包括雙條杉天牛取食聲、噪聲2類，各類的切片數為6 300。基于卷積神經網絡的識別模型在簡單測試集上的整體準確率為98.80%。其中，雙條杉天牛取食聲切片的準確率為98.95%，噪聲切片的識別準確率為98.63%，簡單測試集識別結果的混淆矩陣如圖 6a所示。為了對比基于卷積神經網絡的識別模型的識別效果，利用相同的訓練集訓練了昆蟲聲音識別中常用的高斯混合模型(郭敏等， 2012； 竺樂慶等， 2012)并在簡單測試集上進行測試，高斯混合模型在簡單測試集上的整體準確率為99.68%，其中，雙條杉天牛取食聲切片的準確率為99.49%，噪聲切片的識別準確率為99.87%，識別結果的混淆矩陣如圖 6(b)所示。

圖6 基于卷積神經網絡的識別模型(a)高斯混合模型(b)在簡單測試集的混淆矩陣

3.3 抗噪測試集

為了驗證模型的抗噪性能，利用抗噪測試集測試2種模型在更多信噪比下對雙條杉天牛取食聲切片的識別效果，識別準確率如圖 7所示。在測試集上，基于卷積神經網絡的識別模型的平均準確率為97.37%，高斯混合模型的平均準確率為90.61%； 在信噪比為-6 dB時，基于卷積神經網絡的識別模型的識別準確率為92.1%，而高斯混合模型的識別準確率只有86.5%。

圖7 抗噪測試集不同信噪比下雙條杉天牛取食聲的識別準確率

3.4 綜合分析

對比基于卷積神經網絡的識別模型和高斯混合模型在簡單測試集上的結果，基于卷積神經網絡的識別模型的識別準確率為98.80%，高斯混合模型的識別準確率為99.68%，2種模型均能有效識別無噪及低噪雙條杉天牛取食聲，準確率差距不足1%。對比基于卷積神經網絡的識別模型和高斯混合模型在抗噪測試集上的結果，對于不加噪的雙條杉天牛取食聲，2個模型的識別準確率均為100%； 除此之外，在各信噪比下，高斯混合模型的識別準確率均低于基于卷積神經網絡的識別模型。信噪比為-3 dB時，高斯混合模型的識別準確率已經低于90%，基于卷積神經網絡的識別模型的準確率仍能達到98.1%； 信噪比為-4、-5 dB時，高斯混合模型的識別準確率已低于88%，基于卷積神經網絡的識別模型的準確率仍高于95%； 信噪比-6 dB時，高斯混合模型的識別準確率為86.5%，而基于卷積神經網絡的識別模型仍有92.1%的準確率； 信噪比為-7 dB時，2種模型的識別準確率均低于90%，但基于卷積神經網絡的識別模型的準確率仍比高斯混合模型高4.8%。

4 討論

當前國內外對昆蟲聲音識別的研究對象中，缺乏含噪蟲聲數據。因此，本研究設計基于卷積神經網絡的識別模型，同時選擇昆蟲聲音識別中常用的高斯混合模型作為對比模型，對含噪雙條杉天牛取食聲進行識別并利用含較強噪聲干擾的雙條杉天牛取食聲對2種模型的抗噪能力進行了測試。

高斯混合模型通過期望最大化實現對各類數據的擬合。由試驗結果可知，在與訓練集數據相似度較高的簡單測試集上，高斯混合模型的識別準確率接近100%，但對于與訓練集區別較大的抗噪測試集，隨著噪聲強度的增加，高斯混合模型的識別準確率下降較為明顯。對比訓練集和簡單測試集，二者的雙條杉天牛取食聲和噪聲音頻的相似度較高且含噪雙條杉天牛取食聲的噪聲強度一致，高斯混合模型通過對訓練集的迭代，有效提取訓練集的數據特征，在簡單測試集上的表現較好； 對比訓練集和抗噪測試集，二者的雙條杉天牛取食聲和噪聲音頻是不同時間錄制的音頻段，數據存在較大差異，且抗噪測試集中的含噪雙條杉天牛取食聲具有更高的噪聲強度，高斯混合模型在數據差異較大的抗噪測試集上的識別結果下降明顯，表明模型的泛化能力較差，難以滿足應用需求。

基于卷積神經網絡的識別模型通過卷積操作提取特征，池化操作放大局部特征，激活函數映射非線性特征，經過訓練，簡單測試集識別準確率接近100%。同時，在與訓練集區別較大的抗噪測試集上，基于卷積神經網絡的識別模型仍能取得較好的識別準確率，表明卷積神經網絡具有更好的泛化能力。根據公式(2)，信噪比為-6 dB時，噪聲能量約為雙條杉天牛取食聲頻能量的4倍，在此噪聲干擾下，基于卷積神經網絡的識別模型的識別準確率為92.1%，表明卷積神經網絡具有良好的抗噪性能，更能有效應對實際應用時可能出現的噪聲干擾。

5 結論

本研究使用壓電傳感器采集雙條杉天牛咬食木段的取食聲，同時采集典型戶外環境下的噪聲音頻，設計基于卷積神經網絡的識別模型進行雙條杉天牛取食聲的識別，對比研究卷積神經網絡和高斯混合模型的抗噪識別能力。通過提取音頻的平均對數譜，設計卷積神經網絡進行特征提取及分類，實現雙條杉天牛的取食聲識別。為了驗證模型的抗噪性能，向雙條杉天牛取食聲中混入更廣信噪比的噪聲，測試模型對含噪雙條杉天牛取食聲的識別準確率。研究結果表明，基于卷積神經網絡的識別模型能有效綜合頻譜特征，準確識別無噪及低噪的雙條杉天牛取食聲； 同時，基于卷積神經網絡的識別模型還具有良好的泛化能力，在-6 dB信噪比下仍能保證雙條杉天牛取食聲92.1%的識別準確率。因此，基于卷積神經網絡的識別模型能夠適應林木蛀干害蟲的野外監測環境，為林木蛀干害蟲的自動化監測和早期預警提供技術支撐。未來將從林區活立木上采集雙條杉天牛取食聲，進一步驗證人工智能識別模型的抗噪性和可行性。