基于聲音與視覺特征多級融合的魚類行為識(shí)別模型U-FusionNet-ResNet50+SENet

胥婧雯，于紅*，張鵬，谷立帥，李海清，鄭國偉，程思奇，殷雷明

(1.大連海洋大學(xué) 信息工程學(xué)院，遼寧省海洋信息技術(shù)重點(diǎn)實(shí)驗(yàn)室，遼寧 大連 116023；2.設(shè)施漁業(yè)教育部重點(diǎn)實(shí)驗(yàn)室(大連海洋大學(xué))，遼寧 大連 116023；3.大連海洋大學(xué) 水產(chǎn)與生命學(xué)院，遼寧 大連 116023)

魚類行為是魚類對環(huán)境變化的外在反應(yīng)，反映魚類的日常狀態(tài)和生長情況[1]，是養(yǎng)殖技術(shù)人員判斷魚類健康狀況的重要依據(jù)。魚類游泳和攝食等行為的自動(dòng)識(shí)別是魚類活動(dòng)規(guī)律和生活習(xí)性研究的基礎(chǔ)，也是精準(zhǔn)投喂和智慧養(yǎng)殖等研究的支撐[2]。

目前，對魚類行為識(shí)別研究大多采用基于計(jì)算機(jī)視覺的方法。張重陽等[3]利用多特征融合與機(jī)器學(xué)習(xí)相結(jié)合的方法識(shí)別魚類攝食行為，有效增強(qiáng)了識(shí)別網(wǎng)絡(luò)的魯棒性；黃志濤等[4]利用魚體運(yùn)動(dòng)和圖像紋理特征識(shí)別大西洋鮭的攝食活動(dòng)，有效提高了識(shí)別精確度。但在真實(shí)生產(chǎn)條件下，光線昏暗導(dǎo)致計(jì)算機(jī)視覺方法無法準(zhǔn)確識(shí)別魚類行為，進(jìn)而影響了識(shí)別準(zhǔn)確率和召回率[5]。考慮到聲音信號(hào)不受光線的影響，研究者對基于被動(dòng)水聲信號(hào)的魚類分類和行為進(jìn)行了研究。黃漢英等[6]通過建立基于主成分分析的支持向量機(jī)，實(shí)現(xiàn)對淡水魚混合比例識(shí)別，提升了混合比例識(shí)別準(zhǔn)確率；Kim等[7]采用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)實(shí)現(xiàn)了胡須海豹的快速識(shí)別，將深度學(xué)習(xí)引進(jìn)被動(dòng)聲學(xué)的檢測技術(shù)中，能自動(dòng)識(shí)別胡須海豹的出入。魚類攝食和游泳行為擁有不同聲音特征，但真實(shí)養(yǎng)殖環(huán)境下各種噪聲的存在，會(huì)干擾對魚類聲音特征的提取，致使基于被動(dòng)聲學(xué)方法識(shí)別魚類行為的準(zhǔn)確率和召回率也難以滿足需求[8-9]。……