基于改進YOLOv5s的輕量級水下魚群檢測與識別

張晨蕾，李夢晗，田存偉

（聊城大學物理科學與信息工程學院，聊城 252000）

0 引言

現代漁業發展的趨勢是工廠化精準養殖，而養殖魚群目標檢測是魚類生長狀況自動監測的核心［1］。然而在實際的養殖環境中，檢測任務通常會遇到由于水下環境特殊而導致成像模糊、顏色失真等問題。因此，如何提高水下目標檢測精度并把它應用到實際中仍是熱門話題之一。

隨著計算機視覺方向技術的不斷發展，深度學習方法逐漸應用于目標檢測。目前目標檢測算法主要可以分為兩類，一類是以R-CNN 算法［2］、FastR-CNN 算法［3］、Faster R-CNN 算法［4］和Mask R-CNN 算法［5］為代表的兩階段目標檢測算法；另一類是以SSD 算法［6］和YOLO 系列算法［7-9］為代表的一階段目標檢測算法。

在水下目標檢測研究中，葉趙兵等［10］提出的改進YOLOv3-SPP 水下目標檢測，通過引入K-Means++聚類算法，該算法在一定程度上解決了水下目標顏色失真、對比度低以及檢測精度低等一系列問題；葉志楊等［11］提出的YOLOv5s算法模型提高了平均檢測精度；趙夢等［12］在融合SKNet 與YOLOv5 深度學習的養殖魚群檢測中，提出了一種融合視覺注意力機制SKNet，有效地解決了水下模糊圖像魚群檢測準確率低的問題；朱世偉等［13］在基于類加權YOLO 網絡的水下目標檢測中，構造了類加權損失函數并引入自適應維度聚類方法，有效解決了水下目標檢測面對圖像模糊、背景復雜等問題。

本文目標是在水下復雜的環境中精準快速地檢測出水下魚群的數量，以達到對魚群生長狀況的監測，針對這一問題提出了一種輕量化YOLOv5的檢測模型。相關的改進工作有以下幾點：首先對建立的數據集進行預處理，得到增強后的圖片；其次通過增加可變形卷積DCNV2和輕量級上采樣算子CARAFE，在增大感受野的同時進一步提高模型對于水下魚群的識別效果；最后增加輕量化GhostBottleneck 結構來減少計算量。改進后的DCG-YOLOv5s 算法可以提升檢測精度，同時降低計算量。

1 YOLOv5 目標檢測算法

YOLOv5 注重對小尺寸目標的探測，并在準確性和效率方面取得了顯著提升。YOLOv5s一共給出了5 個版本［14］，分別是YOLOv5n、YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x，其模型在COCO 2017驗證集上的測試參數見表1。

表1 YOLOv5在不同模型上的測試參數

可以看到隨著網絡模型深度增加，其平均檢測精度也呈現逐漸提升的趨勢，同時參數量也呈倍數增長。考慮到最終需要在硬件設備上部署模型，本研究選擇了相對較小參數量的YOLOv5s作為實驗對象。

YOLOv5s 模型架構包含了Input 輸入端、Backbone 主干網絡、Neck 頸部、Head 頭部四個部分。YOLOv5網絡結構圖如圖1所示。

圖1 YOLOv5網絡結構圖

為了適應網絡的規模，我們在輸入圖像進入網絡之前對數據進行預處理，并采用Mosaic圖像增強技術以提高模型的適應能力。

Backbone 特征提取端是網絡模型的主干網絡部分，整體來看，YOLOv5 采用了改進后的CSPDarknet53 結構，包括Conv 卷積模塊、C3 模塊和SPPF模塊。

頸部Neck 是網絡銜接部分，它采用了特征金字塔網絡和聚合網絡FPN-PAN 結構。其中FPN 是一種自上而下的結構，通過上采樣和融合底層特征信息來生成預測特征圖［15］。PAN 則是利用自下而上的結構對FPN 特征圖進行補充融合，以提高網絡對不同特征層次的識別能力。

最終在Head 網絡的輸出部分，將生成三個預測層用于目標的預測和回歸。

2 模型改進與優化

2.1 Deformable Conv V2可變形卷積

為了更好地辨別不同形態下的魚群并實現模型多尺度特征提取，本文采用可變形卷積［16］（DCN V2）來提升網絡特征提取能力，DCN V2通過平行卷積層學習offset 偏移，用來增加采樣點的偏移量，對目標物體每個采樣點周圍區域進行采樣。可變卷積的計算流程如圖2所示。

圖2 可變卷積計算流程圖

可變形卷積計算過程如下：

（1）在特征圖上的映射x上，使用規則網格R進行取樣；

（2）利用卷積核w對樣本點進行權重計算，同時R規定了感受野的范圍和擴張程度。

式（1）定義了一個大小為3×3、擴張率為1 的卷積核。傳統卷積公式為

可變卷積公式為

其中：y是輸出特征圖，p0是y中的每個位置，pn是對R中所列位置的枚舉。{Δpn|n= 1,2,…,N}是R的偏移量?？勺兙矸e在傳統卷積的基礎上引入了每個位置的偏移量，偏移量是由輸入特征圖與另一個卷積生成，因此需要通過雙線性插值法計算x的值。

其中：q枚舉了特征圖中的所有積分空間位置，G(·)是雙線性插值［17］。

2.2 上采樣算子CARAFE

特征上采樣又稱為特征重組，它可以被理解為對每個位置進行卷積運算，將輸入特征圖與相應鄰域像素點進行乘積計算的過程。本文采用輕量級CARAFE 算子［18］進行上采樣，以替代YOLOv5s 模型中原有的插值上采樣算子。該算子能夠根據輸入特征指導重組過程，在大的感受野內聚合上下文信息，并以簡潔高效的方式將輸入信息與特征圖的語義信息關聯起來。CARAFE 原理如圖3所示。

圖3 CARAFE原理圖

上采樣算子CARAFE 最主要分為上采樣核預測模塊和特征重組模塊。假設上采樣倍率為σ，給一個形狀為H×W×C的輸入特征圖，CARAFE 首先利用上采樣核預測模塊預測上采樣核，然后利用特征重組模塊完成上采樣，得到形狀為σH×σW×C的輸出特征圖［19］。

2.3 輕量化GhostBottleneck結構

在YOLOv5 模型中，為了提高目標檢測能力，減少漏檢并保持輕量［20］，我們選擇用輕量級GhostBottleneck 替代主干網絡中部分卷積C3。輕量化GhostBottleneck 是根據GhostNet模型中的“幻影卷積”（GhostConv）所設計，以Ghost 模塊為構建基礎，接著對GhostBottleneck 進一步設計得到最終GhostNet 神經網絡。其中Ghost-Bottleneck 分為stride=1 和stride=2 兩種結構，分別如圖4（a）和圖4（b）所示。

圖4 GhostBottleneck結構圖

在圖4（a）中，stride=1 的GhostBottleneck 結構主要由兩個堆疊的Ghost 模塊、BN 層以及ReLU 激活函數組成。第一個Ghost 模塊用作膨脹層，用于增加通道數，其中把輸出與輸入通道數的比值稱為膨脹比。第二個Ghost 模塊壓縮通道數，經過BN 后的通道數與輸入通道數一致，這樣就構成了能使信息損失更少的逆殘差結構［21］。在圖4（b）中，stride=2 的GhostBottleneck 結構保持了stride=1 的結構，并在兩個Ghost 模型之間加入了步長為2 的深度可分離卷積進行連接，大幅度降低計算量，實現加速的效果。

本文將stride=2 的GhostBottleneck 結構替換YOLOv5s 主干網絡中部分的C3 模塊，用來減少計算量。

2.4 改進的YOLOv5s算法

改進后的網絡結構如圖5 所示。首先使用CALHE 對原始數據集進行增強處理，得到對比度更大的數據集；其次使用可變形卷積C3_DCN與GhostBottleneck 結構替換Backbone 主干網絡中的部分C3，構建輕量化網絡；最后在頸部Neck 部分利用輕量級上采樣CARAFE 算子替換原算法中的Upsample算子。

圖5 改進后的YOLOv5網絡結構圖

3 實驗結果與分析

3.1 實驗環境

實驗平臺見表2。

表2 實驗平臺

3.2 數據集的建立與處理

目前已知公開的水下魚群數據集相對較少，為了豐富魚群的特征，實驗所涉及的數據來源于兩個部分：一部分是對FISHES-IN-THE-WILD數據集進行篩選，選出帶有魚群的部分；另一部分是通過爬蟲軟件在互聯網中收集水下魚群的圖片。通過對圖像的篩選整理出672 張JPG 格式的圖像，然后使用LabelImg 工具進行手動注釋，生成.txt 標簽文件。其中訓練集、驗證集和測試集按照7∶2∶1的比例進行分配。部分數據集如圖6所示。

圖6 部分數據集展示

本文采用CALHE 自適應直方圖均衡方法對水下原始圖像進行修復與處理，以獲得全新的數據集。圖7 所示為通過CALHE 自適應直方圖均衡法生成的圖像。

圖7 使用CALHE前后對比圖

此外，實驗還采用Mosaic 方法對數據集隨機抽取4 張圖片進行旋轉、縮放、裁剪等處理，再將選定的4 張圖片拼接成為1 張新的圖片，作為訓練數據，這種技術能夠有效地增加訓練數據集的規模，從而提升模型的泛化性和魯棒性。

3.3 模型的評價指標

本文從平均檢測精度（mAP）、參數量、計算量對模型進行比較。其中平均精度，是指在所有召回率的可能取值下對全部精度的平均值。其中，精確率（Precision，P）和召回率（Recall，R）計算公式分別見式（5）和式（6），以P和R分別作為橫縱坐標，形成的圖稱為P-R曲線，其與坐標軸相交所占的面積可用AP來表示。mAP則是所在類別下的平均AP值。AP與mAP的計算見式（7）和式（8）。

其中，TP（True positives）可以理解為真，且被預測為真；FP（False positives）是假，卻被預測為真；TN（True Negatives）是假，且被預測為假，FN（False Negatives）是真，卻被預測為假。

3.4 實驗結果分析

實驗在自建數據集上進行，首先針對YOLOv5s 修改訓練所需的配置文件，根據訓練日志結果發現，在訓練達到80 輪左右時數據變動逐漸趨于平穩，為確保數據的準確性，最終將訓練次數設定為100 輪。部分訓練日志圖如圖8 所示。

圖8 部分訓練日志圖

3.4.1 Deformable Conv V2可變形卷積

從表3可知，YOLOv5s表示的是原算法在自建數據集上的實驗結果，mAP為80.7%，計算量為15.8 GFLOPs。根據訓練結果可知，增加可變形卷積后，mAP 提升了1.2%，同時也降低了計算量。

表3 使用Deformable Conv V2可變形卷積實驗數據

3.4.2 上采樣算子CARAFE不同參數的對照試驗

為了驗證上采樣算子CARAFE 對算法改進的有效性，本實驗采用對照實驗的原理，分析改進后的模塊對算法的提升。分別對比了不同編碼器內核大小kencoder 和重組內核大小up 的檢測結果，結果見表4。

表4 引用上采樣算子CARAFE實驗數據

表4 中參數1 與參數2 中兩個數字分別代表編碼器和重組的內核大小。加入上采樣算子CARAFE 后，C-2 模型和C-5 模型中mAP達到了82.5%，提升了2.2%，但對比計算量可知，C-2模型的訓練計算量更小，只比原YOLOv5s 模型提高了0.1 GFLOPs，后續實驗中的模型將使用C-2 的數據。根據訓練結果可知，上采樣算子CARAFE 引入了很小的計算開銷，但檢測精度有了明顯提升。

3.4.3 GhostBottleneck 結構不同參數的對照試驗

為了驗證GhostBottleneck 結構對算法改進的有效性，本實驗采用對照實驗的原理，分析改進后的模塊對計算量的減少，結果見表5。

表5 使用GhostBottleneck結構實驗數據

在加上GhostBottleneck 結構后，總體mAP值有所降低，但是計算量明顯減少，Ghost-Bottleneck 結構增加的越多，計算量減少的越多，綜合來看選定B-1 模型，在mAP 基本沒有變化的同時，計算量降低了10.8%。

3.4.4 消融對比實驗

為了更好地驗證本實驗三種改進方法對實驗的有效性，在自建數據集上開展消融對比實驗，依次在YOLOv5s上加入可變形卷積、上采樣算子以及GhostBottleneck 結構，實驗結果見表6。

表6 消融實驗對比數據

如表6所示，YOLOv5s表示的是原算法在自建數據集上的實驗結果，mAP為80.7%，計算量為15.8 GFLOPs，分別加入可變形卷積和上采樣算子后計算量的變化不大，但對于檢測精度的提升較為明顯，同樣在DC_YOLOv5s 算法實驗結果中也可以看出；加入GhostBottleneck 結構后，雖對模型檢測精度并沒有太大影響，卻明顯降低了計算量。在同時引入三種改進方法后，檢測模型得到最優結果，檢測精度提升3%，計算量降低13.7%。

圖9 所示為YOLOv5s 和DCG-YOLOv5s 的檢測結果，從圖中可以看出，改進后的算法在檢測同位置魚群時置信度更高；相較于原始圖片漏檢、錯檢的情況也得到了很大的改善。

圖9 算法改進前后檢測對比圖

4 結語

為了更準確便捷地檢測和識別水下魚群，針對光照等原因導致的低對比度和顏色失真問題，在算法中引入了可變形卷積和上采樣算子，同時通過使用GhostBottleneck 模塊替換主干網絡中的部分C3 模塊來降低算法深度，從而提高了水下魚群的檢測精度。實驗結果顯示，改進后的DCG-YOLOv5 算法平均檢測精度提升了3%，計算量減少了13.7%。這表明改進后的模型在提升檢測精度同時也降低了計算量，基本滿足當前水下魚群檢測的精度要求。未來還將探索更優化的算法，以解決由于魚群數量多而引起重疊目標時出現的問題。