改進YOLO v4模型在魚類目標檢測上的應用研究

鄭宗生，李云飛，盧 鵬，鄒國良，王振華

(上海海洋大學信息學院，上海 201306)

魚類目標檢測在漁業資源研究、魚類知識的科學推廣、水產養殖加工、稀有物種保護等領域具有廣泛的應用前景[1-5]。魚類目標檢測的任務是找出圖像中所有的魚類目標，確定其大小和位置并且進一步識別其類別。目前魚類目標檢測方法主要分為兩類，一類是傳統的魚類目標檢測方法，另一類是基于深度學習的魚類目標檢測方法。

傳統的魚類目標檢測方法是人工提取魚類的形狀、大小、顏色、紋理等特征，然后把特征向量輸入到分類器中進行分類。Strachan等[6]將魚的形狀作為特征來進行分類。Larsen等[7]在魚類形狀特征的基礎上加入了紋理特征，使用線性判別分析的方法對鱈魚、黑線鱈魚、牙鱈魚進行分類，準確率為76%。Storbeck等[8]、White等[9]使用魚類不同位置的高度和寬度作為特征，將測量信息和魚類物種信息作為神經網絡的輸入來進行識別。傳統的魚類識別方法在形狀、紋理、顏色、高度、寬度等特征上進行了嘗試，但是傳統方法使用的特征較少且很難對數據量大的數據集進行特征提取，存在較大的局限性。

基于深度學習的魚類目標檢測算法目前有Two-stage和One-stage兩類。Two-stage檢測是基于候選區域的目標檢測算法，即檢測算法需要分兩步完成，首先生成候選區域，然后利用卷積神經網絡進行分類，R-CNN[10]、Faster R-CNN[11]、Mask R-CNN[12]都是代表性的基于候選區域的目標檢測算法。Qin等[13]使用主成分分析以及降維方法獲取圖像的特征，使用SVM(Support Vector Machine,支持向量機)進行分類，準確率提高了0.07%。袁紅春等[14]把Faster R-CNN目標檢測方法應用到水下魚類種類識別中。One-stage檢測是基于回歸的目標檢測算法，不需要尋找候選區域，使用預定義的候選框通過回歸直接產生物體的類別概率和位置坐標。Xu等[15]將YOLO v3遷移到真實環境下3種不同的魚類數據集中，獲得平均0.539 2的識別準確率；徐建華等[16]在YOLO v3的基礎上使用重組成與多級融合的方法進行魚類特征提取，當置信度設置為0.5時，mAP值達到了75.1%；王文成等[17]提出了一種改進SSD的魚類目標檢測算法，準確率達到92%以上。相比傳統的魚類目標檢測算法，基于深度學習的魚類目標檢測算法有更高的精度和魯棒性，但在準確度和速度上仍然有提升的空間。

本研究基于YOLO v4網絡模型，在CIOU損失函數的基礎上引入新的損失項，同時在9個錨點框的基礎上增加特定的錨點框，增強在特定尺寸面積上的檢測效果。研究結果表明，改進YOLO v4模型在識別速度和準確率上比原模型有較大提升，在自建數據集、Fish4Knowledge數據集和NCFM (The Nature Conservancy Fisheries Monitoring)數據集上的性能優于ATSS等流行目標檢測模型。

1 數據與方法

1.1 數據集

1.1.1 自建數據集

本研究建立的魚類數據集的圖像拍攝于2019年12月12日至14日實際魚類養殖環境下，圖像尺寸為1 920×1 080，共拍攝了20 h，采用視頻截幀的方式每10 s截取一張圖片，然后通過人工清洗，去除沒有完整魚體的圖片后共計獲得了3 595張有效圖片，拍攝的圖片如圖1所示。

圖1 自建魚類數據集示例圖片

1.1.2 Fish4Knowledge數據集

Fish4Knowledge數據集[18]是從水下實況視頻中截取的魚類畫面，是公開的數據集。該數據集包含23種魚類共計27 370張圖像，如網紋圓雀鯛(Dascyllusreticulatus)12 112張，克氏雙鋸魚(Amphiprionclarkii)4 049張，迪克氏固曲齒鯛(Plectroglyphidodondickii)3 683張，長棘光鰓魚(Chromischrysura)3 595張以及其他19種數據量小于1 000張的魚類。Fish4Knowledge數據集圖像如圖2所示。

圖2 Fish4Knowledge數據集示例圖片

1.1.3 NCFM數據集

NCFM數據集[19]來源于Kaggle數據競賽平臺，是公開的數據集，數據集圖像由漁業監管組織安裝在漁船上的攝像頭拍攝，主要用來檢測非法捕撈情況。該數據集共有3 777幅魚類圖像,分為8種類別,分別為鲯鰍魚(DOL)、長鰭金槍魚(ALB)、黃鰭金槍魚(YFT)、大眼金槍魚(BET)、月魚(LAG)、鯊魚(SHARK)、其他魚類(OTHER)、無魚類(NoF),其他魚類和無魚類圖像的存在可以更好地提升訓練模型的泛化性。

1.2 圖像標注及預處理

本研究使用LabelImg工具對數據集進行標注，LabelImg是一款常見的深度學習圖像標注軟件。將每張圖片上的所有魚類用最小的矩形框標定，使用魚類的英文名作為魚的類別，標注樣例如圖3所示。

圖3 自建魚類數據集標注示意圖

標注后圖像中魚類的類別和所在位置的坐標信息被保存到.xml文件中。標注完成后，編寫腳本提取.xml文件中的類別以及位置信息作為模型的輸入，將每個數據集以3∶1∶1的比例劃分為訓練集、測試集、驗證集。

1.3 CIoU損失

CIoU定位損失[20]公式為：

(1)

(2)

(3)

式中：LCIoU代表CIoU損失函數值，LIoU代表真實框與預測框的交并比，d代表真實框中心點與預測框中心點的歐氏距離，c代表真實框與預測框最小閉包區域的對角線長度，v是衡量真實框與預測框寬高比一致性的參數，wgt、hgt、w、h分別代表真實框的寬度、真實框的高度、預測框的寬度、預測框的高度，α是長寬比一致的權衡函數。上式的圖解如圖4所示。

圖4 CIoU預測框回歸模型

1.4 改進CIoU損失

本研究在CIoU損失的基礎上構建新的損失項，使得在回歸過程中預測框和真實框的相交部分按照與真實框的長寬比相同的方式進行回歸，如圖5所示。

圖5 改進CIoU預測框回歸框模型

圖5中A代表真實框，B代表預測框，C代表預測框和真實框的相交部分。本算法是使C的寬高比與A的寬高比保持一致，在回歸過程中保持A和C呈相似矩形，即A∽C。

(4)

(5)

(6)

式中：Lours代表改進的CIoU損失函數值，LIoU代表真實框與預測框的交并比，d代表真實框中心點與預測框中心點的歐氏距離，c代表真實框與預測框最小閉包區域的對角線長度，v是衡量真實框與預測框寬高比一致性的參數，v1代表衡量真實框與相交框寬高比一致性的參數，wgt、hgt、w、h分別代表真實框的寬度，真實框的高度，預測框的寬度，預測框的高度，α與α1是長寬比一致的權衡函數。

當真實框與預測框不相交，即相交框不存在時，添加的損失項不起作用，即

(7)

當真實框與預測框不相交時，預測框受到其他的損失項的影響會逐漸靠近真實框，當開始相交時添加的損失項開始起作用，如圖6a所示，會使預測框在靠近真實框的過程中在x軸和y軸的增量比例上保持與真實框的寬高比例相近，使預測框的寬高與真實框的寬高保持相同比例增長，加快模型收斂速度。

當預測框與真實框相交但相交框與真實框的寬高比不同時，如圖6b所示，預測框受到添加的損失項的影響會先使相交框的寬高比與真實框的寬高比一致，此時在x軸上預測框逐漸靠近真實框，在y軸上預測框遠離真實框，直至達到真實框與相交框的長寬比相同時這一過程結束，然后預測框會如圖6a的方式進行回歸。

圖6 改進損失函數的預測過程

1.5 損失函數

YOLO v4的損失函數包括定位損失，分類損失以及置信度損失，損失函數的公式如下。

L=Lcls+Lobj+Lcon

(8)

式中：Lcls代表分類損失，Lobj代表定位損失，在本研究中使用的是前文中的改進CIoU損失，Lcon代表置信度損失。

1.6 錨點框設置

在YOLO v4模型中存在自適應錨框，可以在訓練前使用K-means算法對訓練集的所有真實框的寬高進行聚類，找出聚類最集中的9組寬高作為訓練初始的錨框的寬高。但本研究中的3個數據集中魚類目標的真實框寬高比較集中，為了加強對特定尺寸面積目標的檢測，本研究添加了一組寬高，使用10組寬高作為初始錨框，并且在聚類時先將所有真實框聚類為3類，將這3類中數量最多的一類再進行聚類為4類，另外兩類數量較少的聚類為3類。

1.7 YOLO v4模型

YOLO v4模型[21]作為YOLO系列[22-24]算法的延續，相比于YOLO v3大幅提高了準確率和檢測速度。YOLO v4模型使用CSPDarknet53作為模型的主干網絡，作用是進行特征提取，CSPDarknet53網絡是在YOLO v3模型的Darknet網絡中融入了CSPNet(Cross Stage Partial Network,CSPNet)模塊[25]，并且使用了Mish激活函數[26]；頸部網絡主要使用了SPP(Spatial Pyramid Pooling,SPP)模塊[27]以及PANNet[28](Perceptual Adversarial Network,PANNet)中的特征金字塔增強模塊(Feature Pyramid Enhancement Module，FPEM)，用于增強骨干網絡中的特征；頭部網絡使用YOLO v3的頭部，作用是計算損失函數以及進行歸一化處理。

2 試驗方法

2.1 試驗環境

本研究使用的數據集制作、模型的訓練與測試均在同一服務器上進行，具體試驗環境如表1所示。

表1 試驗環境

2.2 配置參數

本研究使用改進YOLO v4模型與原YOLO v4模型來對算法改進進行驗證，為了證明算法的泛化性能，在自建數據集及Fish4Knowledge數據集和NCFM數據集兩個公共數據集上分別進行了對比試驗。

訓練前調整模型的配置文件來適應本次試驗的訓練。根據服務器的GPU內存，調整每次迭代所訓練圖片的數量參數Batch為64，將每個Batch數量細分為批次的參數subdivisions調整為64。訓練效果很大程度上受學習率的影響，如果學習率過高會導致訓練難以收斂甚至過擬合；學習率設置過低，會導致模型長時間無法收斂，通過多次試驗對比，發現將初始學習率設置為0.001效果較好。

由于在本研究自建數據集上只有1個類別，所以調整類別數目class為1，修改輸出特征圖的數量filter的值為18，由于自建數據集的數據量為3 595，訓練總輪數設為3 000。

由于在Fish4Knowledge數據集上有23種魚類，所以調整類別數目class為23，修改輸出特征圖的數量filter的值為30，訓練總輪數設為10 000。

由于NCFM數據集上有8個類別，所以調整類別數目class為8，修改輸出特征圖的數量filter的值為39，訓練總輪數設為8 000。

2.3 評價指標

本研究采用mAP作為檢測結果的評價指標，mAP是各類AP(Average Precision)的平均值，AP是P-R曲線下的面積，其中P代表準確率(Precision)，R代表召回率(Recall)，AP及mAP的公式為：

(9)

(10)

式中：VAP代表AP值，VmAP代表mAP值，P代表準確率，r代表召回率，k為所有的類別數量。

3 結果與分析

3.1 檢測結果展示

使用改進YOLO v4模型識別到的魚類圖像如圖7所示。

圖7 預測結果示例圖

可以看出改進YOLO v4模型在此魚類數據集上可以達到很好的識別效果，識別的位置大小與標注的位置和大小基本吻合。

3.2 訓練時間與檢測時間

在自建數據集、Fish4Knowledge數據集和NCFM數據集上每1 000輪訓練所需時間與檢測時間不同，但本研究算法均比原YOLO v4模型訓練時間有所減少，在訓練時間上如下圖8所示，在自建數據集上每1 000輪減少了7 min的訓練時間，在Fish4Knowledge數據集上每1 000輪減少了7 min 48 s的訓練時間，在NCFM數據集上每1 000輪減少了7 min 24 s的訓練時間；在檢測時間上如下圖9所示，在自建數據集上FPS(Frames Pre Second)提升了4，在Fish4Knowledge數據集上FPS提升了8，在NCFM數據集上FPS提升了3，完全達到實時檢測的要求。

圖8 訓練時間對比圖

圖9 檢測時間對比圖(FPS)

3.3 與其他模型的比較

本研究改進YOLO v4模型與原YOLO v4模型在自建數據集上的損失函數值對比如下圖10所示，從圖中可以看出本研究改進CIoU損失的YOLO v4模型在400-500輪之間損失值平緩，不再有明顯下降趨勢規劃；而原YOLO v4模型的損失函數在1 200-1 300輪損失值平緩，由此可得出改進CIoU損失起到了更快收斂模型的效果。

圖10 自建數據集上損失函數值對比圖

為了評估模型性能，本研究與現階段流行的ATSS模型[29]以及RetinaNet模型[30]在自建數據集、Fish4Knowledge數據集、NCFM數據集的mAP比較，結果如下表所示。

表2 自建數據集、Fish4Knowledge數據集和NCFM數據集上準確率對比

改進YOLO v4模型比原YOLO v4模型的準確率在分別提高了1.35%、0.34%、1.01%，在Fish4Knowledge數據集上提升最少是因為Fish4Knowledge數據集圖片尺寸較小，魚類目標在整張圖片上占比較大且每張圖片上只有一個魚類目標，目標檢測算法能在Fish4Knowledge數據集上得到較好的效果，提升空間不大。在自建數據集上提升大是因為自建數據集每張圖像上的魚類數量較多且大小差距大，預測框按照特定方式回歸能取到更好的效果。

3.4 Fish4Knowledge與NCFM數據集的試驗結果

在Fish4Knowledge數據集與NCFM數據集中有多種類別的魚，在每種類別上都得到了很好的檢測結果，證明了本模型在不同魚類圖像上的泛化性能。

在Fish4Knowledge數據集上，網紋圓雀鯛的AP值為99.66%，克氏雙鋸魚的AP值為99.54%，迪克氏固曲齒鯛的AP值為99.71%，長棘光鰓魚的AP值為99.57%。這幾種圖像數量最多的魚類AP值均高于整個數據集的mAP，這是由于在含有多種類別的數據集中圖片數量越多，模型能夠獲得的信息越多，檢測的效果越好。

在NCFM數據集上，鲯鰍魚、長鰭金槍魚、黃鰭金槍魚、大眼金槍魚、月魚和鯊魚的AP值遠大于其他魚類的AP值，這是由于模型在訓練時是通過標注框內的顏色、紋理等特征進行學習，找到共同點。而其他魚類中包含多種魚類，里面的特征復雜，難以學習到共同點，所以檢測效果較差。

3.5 存在的問題

本研究算法對模糊圖像的的識別結果較差，如圖11所示。

圖11 試驗中存在的問題

左邊為標注的圖像，右邊為檢測結果，在左下角的一條魚由于圖像模糊未能被檢測到。后續擬對模型進行改進，加入圖像增強與去噪模塊。其次本研究使用的自建數據集拍攝過程中圖像質量受光源與水的渾濁程度影響較大，后續將對拍攝環境以及拍攝工具進行調整和改良。

4 結論

本研究在YOLO v4模型基礎上改進CIoU損失并增加1個錨點框，在3個魚類目標數據集上對YOLO v4算法與本模型做了對比試驗，使用mAP作為評價標準。結果顯示，本研究算法在準確率上比原YOLO v4算法有較大提升，能夠更好地滿足實際漁業應用中對魚類目標檢測的要求。本研究可以為在養殖環境下防止肉食魚類的入侵、實時檢測漁船非法捕撈等方面提供技術支持。

□