基于深度學習的海洋魚類計數與測量技術研究

摘要：在水產養殖和生態監測等領域，魚類計數和測量至關重要。然而，傳統的人工計數方法效率低且復雜。為了克服這些問題，文章基于深度學習方法構建了魚類計數與測量系統。首先，采用YOLOv5s算法搭建系統，并建立必要的實驗環境。然后，從真實場景中采集了多組魚類圖像，構建了一個包含大量標注魚類圖像的數據集，用于模型的訓練、驗證及預測。最后進行實驗和數據分析，結果顯示，平均檢測精度達到了95.18%，可實現魚類的計數與測量。

關鍵詞：深度學習；魚類計數；魚類測量

中圖分類號：G424" " " 文獻標識碼：A

文章編號：1009-3044（2025）07-0021-05

開放科學（資源服務） 標識碼（OSID）

0 引言

魚類資源在全球具有重要的經濟和生態價值。然而，隨著人口的增長和漁業活動的擴大，對魚類資源的監測和管理變得愈發緊迫，同時準確了解魚類數量和體表特征對于實現可持續的漁業管理和生態保護至關重要。傳統的魚類計數與測量方法，如簡單的目視計數和物理測量，雖然能在一定程度上提供所需信息，但常伴隨耗時和高成本，這限制了其應用范圍。這些方法不僅效率低下，而且難以應對大規模、高頻率的數據采集需求。目前，深度學習技術在目標檢測、模式識別、目標分割等領域展現出了強大的性能，其能夠從大規模的圖像數據中學習魚類的特征表示和空間分布模式，從而實現自動化的識別、計數和測量。如2017年Li[1]等人提出的基于R-CNN的檢測計數方法，計算速度快、成本低、體積小，能夠快速準確地處理海量數據，為科學研究和漁業管理提供更多有價值的信息。

本文設計了一種基于深度學習的魚類計數與測量方法，實現高效、準確的魚類資源監測。該系統有望為漁業管理、生態保護和生態學研究等領域提供有力支持。

1 相關研究

利用視頻圖像進行魚類計數的研究，其歷史可追溯至1995年Newbury[2]等人的開創性工作。在該研究中，Newbury等首次運用人工神經網絡中的反向傳播網絡結構進行魚類計數，并成功實現了準確率超過90%的精確計數，該研究為魚類計數的后續研究提供了重要參考。

目標檢測算法通常可以劃分為兩大類：傳統機器學習方法和深度學習方法。在傳統機器學習方法中，目標檢測模型通常經歷三個主要階段，包括區域選擇、特征提取和目標分類。然而，這些傳統方法在性能和速度方面通常表現不佳。相比之下，基于深度學習的目標檢測算法可以分為以下三類：首先是基于區域的方法，例如R-CNN （Region-based Convolutional Neural Networks）[3]和Fast R-CNN[4]。其次是基于回歸的方法，如YOLO[5]和SSD[6]，這些方法通過回歸預測目標的位置和類別。最后是基于搜索的方法，其中包括基于視覺注意的AttentionNet[7]以及基于強化學習的技術[8]等。

近年來，深度學習技術在計算機視覺領域取得了突出進展。例如，Ahsan Jalal[9]等人采用了一種創新的方法，將光流和高斯混合模型與YOLO深度神經網絡相結合，以解決YOLO在某些情境下的精度不足問題，利用光流和高斯混合模型來處理感興趣區（ROI），從而提高了目標檢測的準確性。另一方面，Sung[10]等人運用YOLO進行了魚類檢測和分類任務。他們在大規模的數據集上對YOLO進行了訓練，并在測試集上獲得了卓越的93%魚類分類準確性。類似地，Xu和Matzner等人[11]也采用YOLO來檢測不同數據集中的魚類實例，并在mean average precision方面取得了53.92%的表現。盡管上述研究成功應用YOLO，但未考慮水下樣本的不均衡性及小目標問題。此外，它們的網絡結構缺乏像兩階段框架那樣的感興趣區域（ROI）提取和多尺度特征信息融合結構，在真實水下物體檢測方面精度不高。為解決該問題，Labao等人[12]提出了一種基于R-CNN的多級對象檢測網絡，采用了兩個區域提議網絡（RPN） 和多個CNN組的順序連接，通過聯合訓練來提高性能。類似地，Li等人改進了Faster R-CNN結構，提出了適用于水下魚類目標檢測的輕量級R-CNN，其檢測率達到了89.95%。Salman等人[13]提出了一種基于R-CNN網絡的自動魚類檢測和定位方法。然而，這些基于R-CNN網絡的方法需要事先提取多個候選區域對應的圖像，這會占用大量磁盤空間。此外，它們的主干網絡輸出特征信息的尺寸有限，對于多尺度目標或小目標的檢測精度較低。同時還涌現出一系列新的目標檢測算法，如NAS-FPN、EfficientDet以及YOLOF等[14]。

在目標計數上，Hong[15]等人提出了一個改進的掩碼區域卷積神經網絡（Mask R-CNN） 模型，根據水下生物的聚集程度分為低密度、中密度和高密度三種，利用所改進的掩碼區域卷積神經網絡（Mask R-CNN） 模型得到高準確率的計數。而Yu[16]等人提出了一種基于多模塊注意力機制（MAN） 的深度學習網絡模型來實現養殖魚類的計數，能夠在密集計數過程中更準確地識別圖像的關鍵信息。這些新算法為目標檢測領域帶來了創新，豐富了檢測方法的選擇和應用，為解決魚類數量估計與身體特征測量的難題提供了新的機遇。

2 YOLOv5模型框架

2.1 YOLOv5神經網絡架構

YOLOv5是一種端到端的單階段檢測模型，該模型采用單一卷積神經網絡對整個圖像進行分割，同時預測邊界框和每個網格的類別，從而在快速檢測圖像的同時保持高準確性。基于模型的深度和寬度遞減，可以分為五種參數量不同的模型，分別是YOLOv5n、YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x。這些模型的結構基本相同，唯一不同的是depth_multiple參數和width_multiple參數。為了在實時性和準確性中保持良好平衡，本研究選擇了YOLOv5s模型進行魚類檢測。

2.2 YOLOv5s算法

YOLOv5s的網絡架構主要由4個組件組成，包括輸入端（Input） 、骨干網絡（Backbone） 、頸部網絡（Neck） 和輸出端（Head） 。如圖1所示，這些組件構成了網絡結構。

2.2.1 Input

在Input部分，基于Mosaic對魚類數據集進行了數據增廣。Mosaic數據增廣將原本的2張圖像拼接成4張圖像，并進行隨機的縮放、裁剪和排列操作。該方法的主要目的是提升模型對不同尺度目標檢測的能力。傳統的Mosaic數據增廣僅使用兩張圖像進行拼接，而新的YOLOv5采用4張圖像進行拼接，從而增加了數據的多樣性。這種方法有助于模型更好地處理小、中、大目標的數據，提高了目標檢測的魯棒性和性能。其主要步驟如圖2所示。

2.2.2 Backbone

在YOLOv5s中，Backbone（骨干網絡） 引入了稱為Focus模塊和CSP模塊的結構。Focus模塊用于在進入骨干網絡（Backbone） 前處理圖像信息。具體操作包括將輸入圖像進行切片操作，將圖像中的每隔一個像素的值提取出來，類似于鄰近下采樣的操作。這樣，一張輸入圖像被切割成了4張圖像，這4張圖像相互補充，各自內容相似且沒有信息丟失。切片操作可以將輸入圖像的寬度（W） 和高度（H） 信息轉化為通道維度，同時擴充輸入通道的數量。原本的RGB三通道圖像被變換成了包含12個通道的圖像。之后經過一次卷積操作，這些新圖像最終被轉化成了不損失信息的二倍下采樣特征圖。

在YOLOv5s中，原始的640×640×3的圖像輸入通過Focus結構經過切片操作，首先變成了320×320×12的特征圖，然后經過一次卷積操作，最終得到了320×320×32的特征圖。這種Focus模塊的設計有助于將圖像的空間信息和通道信息有效地融合，提高了網絡的性能和表示能力。Focus切片操作如圖3所示。

在YOLOv5中，已經設計了2種CSP（Cross-Stage Partial） 結構。在YOLOv5s中，CSP1_X結構被應用于骨干網絡（Backbone） ，而CSP2_X結構被應用于頸部網絡（Neck） 。在CSP1_X結構中，卷積核大小為3×3，步長為2，經過5次卷積運算。該設計的主要目的是解決由于增加網絡深度而引發的梯度消失問題，同時也有助于減輕模型的計算和內存負擔。

當輸入圖像尺寸為1 080×1 080×3時，經過CSP1_X結構的處理后，最終輸出的特征圖的尺寸為38×38。引入這些CSP結構的目標是提升網絡性能和特征表示能力，同時降低深度網絡的計算成本。CSP結構的示意圖如圖4所示。

2.2.3 Neck

在YOLOv5的Neck部分，主要采用了PANet（Path Aggregation Network） 結構。PANet是在Feature Pyramid Network（FPN） 的基礎上進行了改進，用于提取網絡內的特征層次結構。在FPN中，頂部信息流需要通過骨干網絡逐層地向下傳遞，由于層數相對較多，這導致計算量較大。PANet通過引入一個自底向上（Bottom-up） 的路徑來改進這一情況。

它首先進行自頂向下（Top-down） 的特征融合，然后再進行自底向上（Bottom-up） 的特征融合。這種方法有助于傳遞底層位置信息到深層，從而增強了多個尺度上的目標定位能力。如圖5所示的結構中，FPN層負責自頂向下傳遞強語義特征，而PAN塔則負責自底向上傳遞定位特征。這種結構的引入有助于提高模型在多個尺度上的性能，同時更好地結合語義信息和位置信息。

圖5（a） 部分為特征金字塔網絡FPN（Feature Pyramid Network） 。這是一個在卷積神經網絡中廣泛使用的結構，旨在通過融合不同尺度的特征信息，增強網絡對多尺度目標的檢測能力。FPN Backbone提供了豐富的特征表示，這些特征可以在后續的處理步驟中進一步利用。

圖中的（b）部分為下采樣路徑增強（Bottom-up path augmentation） ，指的是在類似特征金字塔網絡（FPN） 的結構中，下采樣路徑增強用于融合不同尺度的特征信息。這有助于網絡捕獲不同大小的目標，從而提高檢測性能。

圖中的（c）部分為自適應特征池化（Adaptive feature pooling） ，指的是在圖像分類任務中，通常需要將特征圖池化為一個固定大小的向量，以便可以將其輸入到全連接層或分類器中。

圖中的（d）部分為框分支（Box branch） ，指的是在目標檢測任務中，框分支通常負責預測目標的位置（即邊界框） 。它可能會輸出一系列坐標值，這些坐標值定義了圖像中潛在目標的位置和大小。

圖中的（e）部分為完全融合，指的是將多個路徑或分支的輸出結合起來，形成一個更強大、更多樣化的特征表示，這有助于提高模型的準確性和魯棒性。

2.2.4 Head

YOLOv5的Head部分包含了損失函數（Bounding box） 和非極大值抑制（NMS） 。損失函數采用了GIoU算法，相對于傳統的IoU算法，該指標進行了改進和擴展，有效地提升了目標檢測性能，如式（1）。

[GIoU=IoU-Ac-UAc]" " " " " （1）

式中，[Ac]為最小閉包區，[U]為預測框和真實框的并集。類似于IoU，GIoU也是一種距離度量。IoU的取值范圍在[0，1]之間，而GIoU的取值范圍在[-1，1]之間。與IoU不同的是，GIoU不僅考慮了兩個區域的重疊部分，還關注了它們之間的非重疊區域，因此可以更全面地反映它們的重疊程度。GIoU在重疊完全相等時取最大值1，在兩者完全不重疊且無限遠時取最小值-1，因此它被認為是一種很有價值的距離度量指標。

在目標檢測任務中，常常會出現多個預測框檢測到同一個物體的情況。為了消除冗余檢測結果，減少多次檢測同一物體的問題，使用非極大值抑制（NMS） 算法。NMS是通過比較預測框之間的IoU值，保留最具置信度的預測框，以過濾掉冗余的預測框。算法流程如下：首先，將所有預測框按照它們的置信度從高到低進行排序。接下來，從置信度最高的預測框開始，逐個遍歷每個預測框，并檢查它與后續所有預測框之間的IoU值是否超過一個預先設定的閾值（通常為0.5或0.6） 。如果IoU值超過閾值，則將當前預測框從候選框列表中移除；否則，保留該預測框。然后，繼續遍歷下一個預測框，重復上述步驟，直到所有預測框都被遍歷一次。最終，保留下來的預測框即為經過NMS處理后的結果，每個物體僅對應一個預測框。

2.2.5 計數和測量

目標計數和測量是目標檢測中的兩個重要任務。目標計數旨在確定圖像或視頻中的目標數量，而目標測量旨在獲得有關檢測到的目標的詳細信息，例如尺寸和位置。

本研究通過YOLOv5輸出解析檢測目標，生成檢測結果，這些結果包括檢測框的類別標簽、置信度分數以及邊界框的坐標信息。本文采用置信度閾值為0.65來篩選出可信度高的檢測結果。然后使用非極大值抑制（NMS） 來消除重疊的檢測框，只保留最具置信度的檢測結果。通過對保留的檢測框結果進行計數，獲得目標的數量。

水平長度是通過計算邊界框的寬度來獲得的，具體計算方法為：寬度 = 右下角x坐標 - 左上角x坐標。垂直長度則是通過計算邊界框的高度來獲得，計算方法為：高度 = 右下角y坐標 - 左上角y坐標。通過這些計算，可以得到目標在圖像中的實際尺寸，從而為后續的物理尺寸轉換提供基礎。

結果可視化：在輸出端推理時自動將計數信息和測量的長度信息記錄下來，然后采用OpenCV庫中cv2.putText函數將結果實時繪制在畫面上，如圖6所示。

3 實驗結果與分析

3.1 實驗環境

實驗環境基于Windows 64位操作系統，計算機配置包括16GB內存、NVIDIA GeForce RTX 3060 Laptop GPU（顯存16GB） 和Intel i7-11800H處理器。在Python 3.8環境下，使用PyTorch 1.10和CUDA 11.1平臺來完成模型的構建和訓練工作。

3.2 建立數據集

本研究使用的野生魚類數據集由NOAA漁業局提供，包含578張魚類圖片。通過數據增廣方法擴充數據集至5 204張，如圖7所示。

lt;E：＼飛翔打包文件目錄002＼電腦2025年03月上第七期打包文件＼9.01xs202507＼Image＼image17.pnggt;

圖7 數據集圖片

隨后，使用labelimg工具對圖像數據集進行標注，采用矩形框勾勒出目標，并選擇相應的標簽類別。然后，將保存的圖像標簽格式設置為符合YOLO數據集格式的標準。按照7∶2∶1的比例進行隨機抽樣，將圖像自動劃分為訓練集、測試集和驗證集。

3.3 實驗結果及分析

實驗共進行了100輪迭代訓練，每批次包含16個樣本，學習率設置為0.001 5。網絡模型的訓練進展如圖9所示。

在初始訓練階段，損失函數迅速下降并趨于穩定。隨著迭代次數的增加，模型的損失函數、精確度和召回率趨向收斂。最終，訓練過程會保存兩個權重文件，分別為最后一個權重文件（last.pt） 和最優權重文件（best.pt） 。

在圖9中，可以觀察到不同的損失函數指標。首先是 box_loss，其數值接近0表明目標框與真實框的位置信息越接近，即目標框的位置信息越準確。其次是 obj_loss，數值接近0表示目標檢測框的概率值越大，這意味著模型更自信地認為目標存在。最后是 cls_loss，其數值接近0表示目標檢測的分類信息越準確，表明模型在分類任務上表現更出色。

此外，使用平均準確度和召回率作為評價指標，其計算可以通過公式（2） 和公式（3） 表示。

[precision=TPTP+FP]" " " " （2）

[recall=TPTP+FN]" " " " "（3）

式中：TP代表正確預測的正樣本數量，FP代表錯誤預測的負樣本數量，而FN代表錯誤預測的正樣本數量。

從圖9的數據可以看出，檢測精度（precision） 和召回率（recall） 均達到了90%以上，其中平均檢測精度為95.18%。這表明模型在目標檢測任務上表現良好。此外，需要注意的是，驗證階段的損失函數相對于訓練階段的損失函數，在模型趨于收斂時呈現出更大的震蕩范圍，前者的震蕩范圍會超過后者。

在本文中，采用訓練好的最優權重文件，將其導入經過修改的模型輸出端，以進行推理過程。在這個過程中，輸入測試圖像進行檢測，平均每張圖像的預處理時間約為1.0 ms，推斷和結果生成的平均時間為11.2 ms，而非極大值抑制（NMS） 操作的平均處理時間為20.1 ms。綜上所述，目標檢測模型在速度和準確性方面都表現出色，這意味著它能夠可靠地識別目標，并成功地進行了數量統計和長度測量。檢測效果如圖10所示。

4 結束語

本研究成功應用輕量級YOLOv5s網絡，設計并實現了一種基于深度學習的魚類計數與測量系統，以滿足海洋科學、漁業管理和環境監測等領域對魚類數量和尺寸精確測量的迫切需求。通過廣泛的實驗和驗證，系統能夠高度精確地辨識和計數魚類，同時也能準確測量它們的大小，為科研和管理提供了可靠的數據支持，滿足海洋科學、漁業管理和環境監測等領域的需求。

未來研究可集中在多模態數據集成、模型優化和性能提升等方面，如融合聲吶、攝像頭和水質傳感器數據，以提高系統的準確性和全面性，或者繼續改進深度學習模型的性能和效率，以適應更廣泛的應用場景，并針對低功耗設備進行優化。

參考文獻：

[1] LI X，TANG Y H，GAO T W.Deep but lightweight neural networks for fish detection[C]//OCEANS 2017 - Aberdeen.June 19-22，2017，Aberdeen，UK.IEEE，2017：1-5.

[2] NEWBURY P F，CULVERHOUSE P F，PILGRIM D A.Automatic fish population counting by artificial neural network[J].Aquaculture，1995，133（1）：45-55.

[3] GIRSHICK R，DONAHUE J，DARRELL T，et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition.June 23-28，2014，Columbus，OH，USA.IEEE，2014：580-587.

[4] GIRSHICK R.Fast R-CNN[C]//2015 IEEE International Conference on Computer Vision （ICCV）.December 7-13，2015，Santiago，Chile.IEEE，2015：1440-1448.

[5] REDMON J，DIVVALA S，GIRSHICK R，et al.You only look once：unified，real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：779-788.

[6] LIU W，ANGUELOV D，ERHAN D，et al.SSD：single shot MultiBox detector[C]// Computer Vision-ECCV 2016.Cham：Springer International Publishing，2016：21-37.

[7] YOO D，PARK S，LEE J Y，et al.AttentionNet：aggregating weak directions for accurate object detection[C]//2015 IEEE International Conference on Computer Vision （ICCV）.December 7-13，2015，Santiago，Chile.IEEE，2015：2659-2667.

[8] 楊思明，單征，丁煜，等.深度強化學習研究綜述[J].計算機工程，2021，47（12）：19-29.

[9] JALAL A，SALMAN A，MIAN A，et al.Fish detection and species classification in underwater environments using deep learning with temporal information[J].Ecological Informatics，2020（57）：101088.

[10] SUNG M，YU S C，GIRDHAR Y.Vision based real-time fish detection using convolutional neural network[C]//OCEANS 2017 - Aberdeen.June 19-22，2017，Aberdeen，UK.IEEE，2017：1-6.

[11] XU W W，MATZNER S.Underwater fish detection using deep learning for water power applications[C]//2018 International Conference on Computational Science and Computational Intelligence （CSCI）.December 12-14，2018.Las Vegas，NV，USA.IEEE，2018：313-318.

[12] LABAO A B，NAVAL P C.Cascaded deep network systems with linked ensemble components for underwater fish detection in the wild[J].Ecological Informatics，2019（52）：103-121.

[13] SALMAN A， JALAL A， SHAFAIT F， et al. Fish species classification in unconstrained underwater environments based on deep learning[J]. Limnology and Oceanography：Methods， 2016， 14（9）： 570-585.

[14] FAN L T，JIN C，ZHANG S.Research on multi-source detection method of underwater target based on improved evidence theory[C]//2018 5th International Conference on Information Science and Control Engineering （ICISCE）.July 20-22，2018，Zhengzhou，China.IEEE，2018：482-485.

[15] HONG KHAI T，ABDULLAH S N H S，HASAN M K，et al.Underwater fish detection and counting using mask regional convolutional neural network[J].Water，2022，14（2）：222.

[16] YU X N，WANG Y Q，AN D，et al.Counting method for cultured fishes based on multi-modules and attention mechanism[J].Aquacultural Engineering，2022（96）：102215.

【通聯編輯：唐一東】