基于移動端的嵌入式鳥類識別系統設計與開發

馮郁茜　謝將劍　李星光

摘要：針對基于深度學習的識別方法對數據量要求較高、應用比較困難，對于鳥類數據有限的情況，本文開發一種基于深度學習的移動端嵌入式鳥類識別系統，利用單通道盲源分離對鳴聲進行預處理，輸入到遷移學習VGG-16模型進圖像特征提取實現烏類物種的分類。采用基于MFCC的雙模態決策級特征并訓練Mobilenet輕量化模型，將算法移植到Android客戶端，以18種鳥類為研究對象進行測試，實驗結果表明，該方法在識別準確率達到99%以上，軟件推動了鳥類個體自動識別在鳥類調查和監測領域的廣泛應用。

[關鍵詞]深度學習鳥類物種識別特征融合嵌入式軟件開發

鳥類是野生動物最具代表性的類群之一，其種類、數量是反應生態系統變化和環境質量的重要指示因子。鳴聲具有物種鑒別性和個體差異性，是識別鳥類的重要依據，通過調查研究鳥類種群分布與數量的變化，對科學保護野生鳥類具有重要意義。

國內外圍繞基于鳴聲的鳥類自動識別的相關問題在有效鳴聲信號提取、特征參數計算、分類決策等方面展開了大量的研究。采用信號分離技術分離出純凈鳴聲，為后續的鳴聲識別提供高信噪比的鳴聲信號，有利于提高識別準確率。盲源分離技術可以不需要先驗知識，從音頻信號中分離出不同鳴聲信號以及其他干擾噪聲，可以解決自然環境下多只朱鸚同時鳴叫識別效果差的問題。基于該方法，L.J.Zhang[1]提出改進的子空間投影法實現信號分離，可以提高計算效率。C.J.Li[2]提出基于K均值的聚類方法，并引入蟻群算法估計出源信號，對含噪信號的分離效果較好。隨著深度學習的推廣，充分利用神經網絡強大的信息抽取能力，依次使用時間卷積層和頻率卷積層提取原始音頻信號的特征，將其輸入深度學習分類模型。訓練時，特征提取和分類的模型參數同時參與更新。訓練得到的特征提取模型可以提取到最適合于分類的差異特征。但是分類效果相比基于梅爾頻率倒譜特征，優勢并不明顯。提取鳴聲信號的差異特征后，需要對不同的差異特征進行分類完成個體識別。目前，國內外用于鳥類個體自動識別的分類方法包括：

（1）基于模板匹配的分類方法，最具代表性的就是動態時間規整算法，該方法雖然識別精度較高，但是運算量太大，影響識別效率。

（2）通過建立基于特征的分類模型實現分類，常用的模型或方法有隱馬爾可夫模型、高斯混合模型、支持向量機、隨機森林、自主神經網絡、K最近鄰以及集成學習等;

（3）基于深度學習的分類方法，包括

深度神經網絡（DNN），深度卷積神經網絡（DCNN）以及卷積循環神經網絡（CRNN）等，該類方法通過選擇合適的網絡架構及訓練參數，得到了比第二類基于特征的分類模型更好的性能。盡管鳥類物種分類識別方法的研究已取得了很大進步，但是依然存在很多問題。設計合理的特征表達方法提取最優的差異特征和構建準確率高、魯棒性強的野生朱鸚個體自動識別方法仍是亟待解決的難題之一。

本文提出一種基于深度學習的嵌入式鳥類物種識別算法，利用VGG-16進行同構空間下的特征遷移，用ImageNet數據集遷移到鳥類物種識別問題上。為了提高識別率，將鳴聲信號和梅爾頻譜兩種雙模態特征進行融合，搭建一種改進的CLSTM模型進行鳴聲差異特征提取，與傳統的淺層機器學習方法進行分析對比。并將輕量化Mobilenet模型嵌入到安卓平臺來驗證算法的有效性。

1基于EDA和ICA的單通道盲源分離算法

1.1集合經驗模態分解EEDA和FastICA的信號分離

實際環境中采集的音頻信號存在多種噪聲，噪聲的存在會降低識別的準確度，非有效信號的存在會降低識別的效率和分類器的精度，因此必須對有效鳴聲信號進行提取。盲源分離技術僅由觀測信號估計出混合矩陣，進而恢復出源信號，利用該技術從音頻信號中分離出純凈的鳴聲信號以及干擾噪聲，張文霞[4]提出一種基于FastICA的欠定盲源信號分離方法，引入基于密度的聚類算法估計混合矩陣，將估計得到的混合矩陣作為壓縮感知的測量矩陣，最后利用壓縮感知重構算法求出信號的稀疏系數進而實現源信號的重構。本文利用基于EEDA和ICA提取背景噪聲環境下的有效鳥叫聲，對鳴聲信號進行前期預處理輸入到深度學習模型中實現種類識別。

集合經驗模態分解（EnsembleEMD）利用白噪聲作為輔助，可以對異常擾動以及因本征模態函數（IMF）不連續引起的模態混疊進行有效的抑制。先利用EEMD將混合信號分解出和信號源數相同個數的分量，進而等效成正定盲源分離的問題，對觀測信號進行EEMD分解，可以實現將觀測信號到高維空間的映射。IMF分量具有統計獨立性，選擇分離效率高的快速獨立成分分析法（FastICA）作為正定盲源分離算法完成信號重構。利用IMF和源信號的相關性等量化參數，準確區分并去除虛假分量實現降維。從而提升信號分離的準確率，而且輸入信號數量變少，可以減小FastICA迭代的次數，進一步提高分離的效率，其算法原理如圖1所示。

單通道混合信號表示如公式1所示，其中s.（），<.一..表示的是源信號向量，a為混合系數，y（t）代表分離估計信號。圖2所示即為原始信號、分離信號及提取出的有效鳴聲信號時頻域結果，時域圖代表時變信息，只能反應信號隨時間的大幅度變化，為了反應時變的頻譜信息和能量分布，去除背景噪聲對后續識別精度的影響計算其時頻聲譜圖像，而且更能直觀地反應每個物種的紋理邊緣等圖像特征。

1.2VGG-16遷移學習

遷移學習是一種針對小數據集的深度學習技術，首先獲得預訓練好的卷積神經網絡CNN，通過參數遷移獲得五層卷積層模型參數，接利用圖像對第五層卷積層進行微調獲得一個特征提取器。將特征提取器用于提取訓練集的深度特征，訓練物種檢測識別模型。VGGNet模型具有很好的泛化能力，本文采用VGG-16模型，該模型包含5個卷積層，2個FC全連接特征提取層，1個分類層。通過3x3固定大小的卷積核及2*2固定大小的Maxpool交替疊加連接。

本文獲取的鳥類音頻文件均來自XenoCanto世界野生鳥類聲音公開數據集（ttps：//www.xeno-canto.org）和北京市松山國家級自然保護區采集的鳥類音頻。研究對象選取了朱鸚、大山雀等多種國家二級以上保護動物的鳥類物種，表1列出了實驗音頻數據的具體參數。搭建window系統下的Keras框架并設置訓練參數，采用ReLu作為非線性激活函數，最大池化的方式提取卷積層特征進行降維，參數隱退Dropout為0.5，選擇Cross_entropy交叉熵函數作為損失函數并用隨機梯度下降SGD優化過程。將計算的聲譜圖輸入到搭建的卷積網絡進行樣本訓練和測試，實驗結果表明該算法測試集分類準確率達到97.6%，損失率為0.12。

2基于雙模態決策級特征融合

2.1MFCC梅爾頻譜特征

基于鳴聲的鳥類個體識別可以由人類語音識別類推得到，語音識別中常用的特征參數梅爾倒譜系數（MFCC）在鳥類鳴聲特征描述中也得到了廣泛的應用。梅爾頻譜是一種基于人耳的聽覺特性的非線性頻率，是最常用的音頻特征之一，當信噪比較低時仍然具有較好的識別性能。對鳥鳴聲信號進行預加重、分幀加窗等預處理，利用人聽覺的臨界帶效應，在聲音頻譜范圍內設置若干個帶通濾波器，每個濾波器具有三角形或正弦形濾波特性。將聲音能量譜通過該濾波器組，求各個濾波器輸出，對其取對數，并作離散余弦變換（DCT），即可得到梅爾特征系數，如公式1所示。把時域卷積替換為信號的疊加進行倒譜分析。特征提取技術需要從音頻信號中提取有效的、具有代表性的特征參數，原始的鳥叫聲語音特征參數依據N維MFCC參數=N/3MFCC系數+N/3-階差分參數+N/3二階差分參數（倒頻譜系數）原理，標準的倒譜系數表示了語音參數的靜態特征，圖3結合一階差分和二階差分描述符表征了鳴聲信號的動態性能。

2.2CLSTM網絡優化

LSTM（LongShort-TermMemory）是一種長短時記憶序列網絡，該時間遞歸神經網絡適合于處理和預測時間序列鳥叫聲信號。本文提出優化的CLSTM特征提取模型，將分離后得到的原始鳴聲信號通過時間卷積層和頻率卷積層得到時頻特征，池化降維后輸入到3層LSTM提取音節的時序特征，最后輸出鳴聲信號的差異特征。為了得到模型參數，將特征提取模型連接到含有2層全連接層和1層Softmax層的DNN模型構成分類模型。時間卷積層和頻率卷積層的初始參數通過梅爾頻譜變換得到，通過對比分類效果選擇最終的初始化方法，其他參數采用隨機初始化。然后利用已經標記好的個體鳴聲對該分類模型進行參數訓練，得到差異特征提取模型的最終參數。

2.3實驗結果與分析

服務器端實現識別功能后將其進行算法移植，訓練mobilenet模型，保存模型生成h5文件，再轉換生成基于tf的pb文件，得以在移動設備端使用。本文采用基于MVC架構模式，分為數據模塊、View圖像模塊、控制模塊，因為音頻文件數據量大，生成過程較繁瑣，需在服務器端生成原始數據，客戶端進行調用，通過服務器訓練Mobilenet輕量化模型，將權重文件遷移到用戶端，安裝apk文件即可以完成測試;Mobilenet是一種可應用于移動和嵌入式視覺應用的輕量級識別模型。本文采用mobilenet-v1網絡結構，通過將標準化卷積分解為深度卷積和1x1卷積減少模型參數，用1x1卷積來組合不同深度卷積的輸出，最后將一個標準的卷積過程組合成一組新的輸出。深度可分離卷積將其分成兩層，一層用于濾波，一層用于組合。這種分解過程能極大減少計算量和模型大小。如表2所示。

為了比較系統在單個物種上的分類性能，本次實驗選用北京市松山國家級自然保護區采集的18種鳥類音頻進行測試，驗證本文提出方法的有效性，對比各個鳥類的實驗結果。人機交互界面APP設計如圖4所示，Birdiden頁面顯示識別結果，控件模塊包含選定圖片（默認來源于相機或相冊）、上傳圖片、圖像表示等。系統可供選擇的聲譜圖像可用梅爾頻譜圖、線性調頻小波譜圖及傅里葉譜圖。圖片顯示模塊顯示物種識別結果、物種信息、準確率及測試時間功能。從圖中可以看出，選用物種5鶴頭山雀的傅里葉頻譜，其精度高達99.88%，測試一張圖像的時間為73ms，物種14杜鵑的線性調頻譜準確度為99.85%，測試時間為93ms，中杜鵑的線性調頻譜準確度為99.97%，測試時間為150ms，前者相比后者節約了測試時間，后者雖耗時較長，但分類準確率更好。說明本文設計的軟件具有較高的魯棒性能，實現了基于安卓的鳥類個體的自動識別，推動鳥類資源調查和監測的自動化。

3結語

自然環境中的采集的鳴聲存在干擾噪聲影響識別效果、手動提取差異特征困難以及鳴叫時無法全面識別的問題，然而針對現有的鳥類識別問題，本文提出基于深度學習的嵌入式鳥類物種識別方法，搭建卷積一長短期記憶網絡的特征提取方法，自動提取鳴聲的個體差異特征，實現安卓系統端的算法移植，在不同物種測試集的識別準確率和訓練時間上均有較大的改進和提升，該軟件對鳥類物種識別具有理論和工程應用價值。

參考文獻

[1]L.J. Zhang， J. Yang， K.W. Lu，et al.Modified subspace method based on convex model for under determined blind speech separation [J ] .IEEE Transact ions on ConsumerElectronics， 2014， 60 （2）： 225-232.

[2]C.J. Li，L.D. Zhu， A.H. Xie， et al.A novel blind source separation algorithm and performance analysis of weak signal against strong interference in passive radar system[J]. International Journal ofAntennas and Propagation， 2016： 1-10.[3]T.N. Sainath， R.J. Weiss， A. Senior，et al. Learning the speech front-end with raw waveform CLDNNs [C] .Interspeech， 2015： 1-5.

[4]張文霞。欠定盲源分離混合矩陣估計及源信號恢復方法研究[D].燕山大學，2016.

[5]劉昊天，姜海燕，舒欣，基于特征遷移的多物種鳥聲識別方法[J].數據采集與處理，2017，32（06）.

[6]張義德，胡長雨，胡春育。基于卷積神經網絡的遙感圖像飛機檢測[J].光電子技術，2017（01）：68.