輕量化神經網絡在遠洋魷釣檢測技術中的應用

劉雨青，周 彥，黃璐瑤，隋佳蓉

(1 上海海洋大學工程學院，上海 201306；2 上海海洋可再生能源工程技術研究中心，上海 201306)

中國現已成為世界遠洋魷釣漁業的主要生產國、市場國和消費國，智能化的遠洋捕撈技術成為統計魷魚資源的關鍵技術之一[1-2]。將遠洋捕撈技術與人工智能技術[3]相結合，逐漸成為研究熱點，遠洋捕撈裝備也逐漸變得智能化[4]，如在遠洋捕撈魷魚過程中，通過計算機對魷魚進行自動檢測與識別，不僅能節約人力成本，而且為資源調查提供科學依據。由于遠洋捕撈的魷魚大小不同，又受工作場所和環境影響，目前多采用人工檢測的方法。在使用計算機檢測過程中發現，采集到的圖像數據具有穩定性差、噪聲多、變化快等特點，使得魷魚檢測難度增大。因此，結合機器視覺[5-8]和深度學習算法[9-11]研究適應海洋環境的魚類檢測技術成為漁業資源開發和海洋工程裝備改造的關鍵技術之一。

針對魚類識別檢測方法的研究，最早起始于1990年，Strachan等[12]建立不同魚類圖片的數據庫，介紹了不變矩法、不匹配優化法和形狀描述法3種區分不同魚類的方法。Larsen等[13]對魚類的形狀和紋理采用線性判別分析的方法進行研究，達到識別的目的。張志強等[14]利用數字圖像處理技術提取了各個顏色分量及長短軸之比等特征值建立了識別相關魚類品種的網絡模型。XIU等[15]基于R-CNN算法提出一種輕型的適合水下魚類目標識別的網絡結構，即為改進 Faster R-CNN 的結構。顧鄭平等[16]結合卷積神經網絡 CNN和遷移學習的算法提出了基于預訓練InceptionV3網絡的特征和 SVM算法(PreCNN + SVM) 的混合分類網絡模型，對魚類進行分類識別。Deep等[17]提出了一種混合卷積神經網絡(CNN)框架，該框架使用CNN框架提取目標特征信息，利用支持向量機(SVM)和k近鄰(k-NN)的方法對魚類進行識別檢測分類。張勝茂等[18]基于MobileNetV1模型提取特征，結合TensorFlow多目標檢測的API開發了能夠能實現水族館魚類快速識別、多魚類目標實時檢測的軟件系統。李慶忠等[19]結合YOLO算法和遷移學習的方法訓練出了Uderwater-YOLO網絡，實現了對小目標魚類和重疊目標魚類的檢測。但是YOLO算法[20-23]的輸出參數量比較大，影響檢測時間，降低了識別效率，很難應用于遠洋捕撈技術。近年來，輕量級神經網絡MobileNets獲得了極大得關注。作為一種專門為手機等嵌入式設備設計的神經網絡模型，MobileNets極大地減少了網絡模型的計算量，降低了模型大小，在保證精度的同時加快了計算速度。

本研究采用MobileNetV3網絡[24-25]作為輕量化神經網絡結構中的特征提取網絡，進行初步有效特征的提取，在MobileNetV3網絡結構的基礎上，對其逆瓶頸結構設計了CSP瓶頸層，來提升網絡的特征提取能力，采用CIoU模型作為損失函數，提高魚類的檢測效率，應用于遠洋魷魚捕撈檢測技術，得到較好的識別效果。

1 輕量化網絡模型

1.1 輕量化網絡結構

YOLOV3算法是目前深度學習領域應用比較廣泛的算法之一，在一定程度上提高了識別檢測的精度，但增加了網絡骨干的層數，導致模型的輸出參數量增大，并對GPU內存和模型存儲和硬件條件要求更高，且降低了檢測速度，增加了資源耗費。為降低模型參數量和對硬件設備的需求，提高準確率，本研究采用輕量級網絡MobileNetV3網絡作為輕量化神經網絡結構中的特征提取網絡，進行初步有效特征的提取，在此網絡結構的基礎上，對其逆瓶頸結構設計了CSP瓶頸層，形成CSPMobileNetV3網絡結構，提升網絡的特征提取能力，CSP結構(Cross Stage Partial)是將網絡輸入數據切為兩份，一份數據送到MobileNetV3的逆瓶頸塊中，另一份數據直接與逆瓶頸塊的輸出數據進行拼接。CSP應用于MobileNetV3中的逆瓶頸塊如圖1所示，輕量化網絡模型結構整體框架如圖2所示。

圖1 CSP逆殘差網絡結構

圖2 先融合和后融合結構圖

CSP網絡結構中，有Fusion First和Fusion Last兩種融合方式。Fusion First方式是將兩個分支的特征圖先進行拼接操作，再進行transition操作，這樣梯度信息就可以被重用，有助于降低計算代價，但同時，準確率也會有所下降。Fusion Last方式是對Dense Block所在的分支先進行transition操作，再進行拼接，梯度信息將被截斷，不會重復使用梯度信息。

本研究所用的CSP逆殘差網絡結構中x作為輸入，一部分先經過1×1卷積層和逆瓶頸塊進行卷積操作，另一部分特征圖通過1×1的卷積層后與上一部分通過通道維度拼接后進行卷積操作，使用了Fusion First和Fusion Last相結合的方式，在降低計算代價的同時提升了準確率，增強了CNN網絡的學習能力，降低計算瓶頸，降低內存成本，緩解了大量的推理計算壓力，CSP逆殘差網絡通過將梯度的變化集成到特征圖中，能夠在輕量化的同時保持準確性。在目標檢測問題中，使用CSP逆殘差網絡結構作為Backbone帶來的提升很大，可以在增強CNN學習能力的同時降低計算量，更適用于輕量型網絡中。

輕量型網絡結構中CSPMobileNetV3網絡作為主干特征提取網絡，提取目標的特征信息。MobileNetV3網絡是一種輕量級的深層神經網絡，具有高深度的特點，使用了注意力機制[26]和獨特的bneck結構，將擴展層通道修改為1/4，在不增加計算時間的情況下提高了檢測精度。采用了深度可分離卷積操作和激活函數h-swishj，不僅減少了運算量，而且提高了性能。CSPMobileNetV3網絡結構可以降低計算量，提取的特征信息比較完整，網絡結構逆瓶頸結構中設計了CSP瓶頸層，加強特征提取的能力，提高模型的學習能力，減低參數輸出量，最后輸出3個初步的有效特征層。經過SPP網絡和PANet網絡[27-29]，加強特征層信息，獲得3個更有效的特征層，使用3個更有效的特征層對目標進行預測。

圖3 輕量型網絡結構框架

1.2 損失函數

(1)

IoULoss有兩個缺點：一是IoULoss無法表示預測框和真實框的距離，當預測框和真實框的交并比為0時，此時損失函數無法求導，于是就無法調整該情況下預測框和真實框不相交的情況；二是在交并比相同的情況下，預測框和真實框也會出現位置不同的情況，無法反應兩個框是否對齊。為了解決第一個問題，對IoULoss添加一個約束條件，以此來約束真實框和預測框之間的中心距離，表達式如下：

(2)

式中：RDIoU是約束真實框與預測框之間的中心距離，ρ代表歐氏距離，bgt和b為真實框和預測框之間的中心點，c為真實框和預測框之間的最小外接矩形對角線的距離。

為解決第二個問題，對IoULoss再次添加一個約束條件，用來約束真實框和預測框的寬高比，從而解決不同的真實框和預測框之間有著相同的交并比的問題。約束真實框和預測框之間的寬高的關系被定義如下：

(3)

(4)

式中：α是約束真實框和預測框之間的寬高關系，v是預測框與真實框的偏差值，wgt和w為真實框和預測框的寬度，hgt和h真實框和預測框的高度。

故CIoULoss的公式可以被定義為：

LCIoU=1-LIoU+RDIoU+av

(5)

YOLO算法在生成錨框時，會產生一些劣質的標簽，這對算法而言，如果太關注這些劣質標簽，會使網絡學習的難度加大。對此，提出了BlurLoss來減少對劣質標簽的關注度。本研究在交叉熵損失函數中，加入了權重系數α，目的是減少真實值和預測值之間差距較大的數據在網絡學習過程中的關注度。其權重因子α公式如下：

(6)

由公式可以發現，當真實值與測試標簽數據相近時，其權重因子α就大，反之則小，網絡在訓練和學習時，就會自動忽略這一標簽。

另外，在網絡訓練的過程中，y=0代表的是正樣本標簽，y=1代表負樣本標簽，所以當y=0時，權重因子α往往會比y=1時要大。這樣可以使網絡在訓練的過程中，更加關注于正樣本的參數更新。用LBlur表示BlurLoss，最后的公式如下所示：

(7)

2 輕量化網絡模型評估

2.1 魷釣作業數據集

網絡結構模型修改完成后，對輕量化網絡結構模型的有效性以及準確性進行驗證，并對不同的主干網絡結構作出性能分析對比。試驗環境配置如下：Inter(R) Core(TM)i7-10750，32GB RAM和Nvidia GTX1660Ti的硬件設備，VS code開發環境，深度學習框架是pytorch1.7.0-cuda11.0。主要分析了主干網絡模型和改進的損失函數性能，學習率設為0.001，學習率下降策略為余弦退火，優化算法采用AdamW，訓練模型迭代步數step設為1 000，訓練整個樣本迭代次數epoch設為100。

本網絡模型評估所用到的數據集截取自魷釣船遠洋捕撈魷魚時拍攝的視頻。主要采集了600張魷釣船白天和黑夜兩種情況下的魷釣作業圖，其中250張夜晚作業的數據集，以及350張白天作業的數據集。用labelImg對數據集進行標注了共1 365個樣本，將數據信息存儲為xml格式，得到的數據集稱為Squid數據集，如圖4所示，采用30張圖片作為測試集驗證整個模型在遠洋捕撈技術上的有效性。使用空間幾何變換、調整飽和度以及亮度等數據擴增的手段對獲取到的圖像進行處理，使得小樣本數據集發揮更大的作用。Squid數據集將會被用于整篇論文模型算法的分析和評估。

圖4 squid數據集

錨框的制作與網絡訓練的擬合程度、網絡的泛化能力、預測結果的準確性密切相關。所有標注信息的錨框統計數據如圖5、圖6所示。

圖5 所有標簽的統計數據

圖6 各個點位坐標分布關系

2.2 主干網絡模型性能分析

本試驗對主干網絡的模型進行分析，將Darknet53、MobileNetV3和CSPMobileNetV3網絡在Squid數據集上進行訓練與驗證，作對比分析，以輸出參數量、GFLOPs和F1為評估指標。

(1)Darknet53性能分析

使用Squid數據集進行訓練，通過觀察訓練過程中模型的預測值與真實值的誤差Loss函數和F1的值對Darknet53主干網絡進行分析，如圖7所示，在數據集上進行訓練時，當模型訓練迭代到200步時，Loss函數出現最小值為0.463 8，當整個樣本訓練迭代70輪時，F1的值可以達到0.7左右，最大的準確率為0.89，最大的召回率約為0.56。

圖7 Darknet53性能指標

(2) MobileNetV3性能分析

使用Squid數據集進行訓練，通過觀察訓練過程中模型的預測值與真實值的誤差Loss函數和F1的值對MobileNetV3主干網絡進行分析，如圖8所示。在數據集上進行訓練時，當模型訓練步數為240時，Loss函數出現最小值為0.251 4，當整個樣本訓練迭代90輪時，F1的值可以達到0.86，最大的準確率為0.92，最大的召回率約為0.81。

圖8 MobileNetV3性能指標

(3) CSPMobileNetV3性能分析

使用Squid數據集進行訓練，通過觀察訓練過程中模型的預測值與真實值的誤差Loss函數和F1的值對CSPMobileNetV3主干網絡進行分析，如圖9所示。在數據集上進行訓練時，當模型訓練步數為700時，Loss函數出現最小值為0.082 8，當整個樣本訓練迭代60輪時，F1基本趨于平穩，沒有太大的波動變化，F1的值可以達到0.99，最大的準確率為0.99，最大的召回率約為0.99。

圖9 CSPMobileNetV3性能指標

評估主干網絡性能也參考訓練過程輸出的參數量和浮點數，3種主干網絡的參數量輸出與浮點數的如表2所示。

表2 主干網絡的性能指標參數

試驗結果可知，Darknet53的參數輸出量比較大，高至72.96 MB，而MobileNetV3參數量的輸出為23.53 MB，CSPMobileNetV3參數輸出量為22.64 MB，比Darknet53模型的輸出量降低了大約3.2倍。對于浮點數而言，Darknet53的浮點數是CSPMobileNetV3的5.6倍左右。

根據以上模型性能對比分析，主干網絡為CSPMobileNetV3的參數量輸出是最少的，將大量節約內存的損耗，并且Loss函數的值也是最小的，其準確率也相對比較高，可以達到99.2%左右。由此可以得出，MobileNetV3和CSPMobileNetV3主干網絡的性能優于Darknet53網絡。

2.3 損失函數的性能分析

通過在Squid數據集上訓練與驗證，我們得出YOLOV3的均方差損失函數和本文提出的CIoULoss輸出模型的P-R曲線和平均精度。P-R曲線根據閾值從0～1的變化來觀察精度和召回率的關系，通過對比P-R曲線圖，也可以查看模型的好壞。本試驗的P-R曲線圖如圖10所示。采用YOLOV3的均方差損失函數，置信度在0.5時，整個網絡模型的收斂速度很快，精確率也比較高，平均精度可以達到0.704，采用CIoU損失函數，置信度在0.5時，平均精度可以達到0.832。

圖10 均方差損失和CIoU的P-R曲線

對于置信度損失函數，本研究將CrossEntorpyLoss和BlurLoss進行對比， P-R曲線如圖11所示。采用BlurLoss的損失函數平均精度達到0.883，相比較于之前的CrossEntorpyLoss高出了5.1個百分點。很好地驗證了BlurLoss在YOLO算法下要優于原先的CrossEntorpyLoss。

圖11 CrossEntorpyLoss和BlurLoss的P-R曲線

3 輕量化網絡模型驗證

3.1 訓練目標數據集

采用修改后的輕量化網絡結構，對目標數據集進行訓練，在準備好的試驗平臺環境下，根據樣本數據的標注信息進行超參數配置，最后進行編譯執行網絡模型的算法，輸出權重文件用于驗證模型。訓練過程中記錄輕量化網絡結構真實框與預測框的損失值、精確率和召回率。訓練數據如圖12所示。根據圖12，真實框(Box)的損失達到0.02，預測框(Val Box)的損失也在0.02左右，真實框與預測框的損失相差比較小，說明模型的擬合效果越好。準確率(precision)可以達到0.9，召回率(recall)大約為0.85。精確率和召回率越大說明，網絡模型的檢測精度越高。

圖12 輕量型網絡模型參數

3.2 模型驗證與對比分析

為了更好地驗證輕量化網絡結構在遠洋捕撈魷魚技術上的準確性和實用性，使用訓練出來的權重文件在測試集上進行驗證并作出對比分析。以F1、模型輸出參數量和平均檢測時間作為評估指標，具體的實驗結果如表3所示。

表3 不同模型的對比

根據以上結果可知， 將原先的損失函數替換為CIoULoss后，其精度由原先的0.704上升到了0.82，再將原先的置信度損失函數替換為BlurLoss后，精度由原先的0.82上升到了0.883。最后將主干網絡DarkNet53替換成CSPMobileNetV3后，精度達到了0.906，且網絡參數也由原來的117 MB下降到40.6 MB，減少了65.3%；浮點運算次數由155.1 G下降到了51.2 G，運算量減少了66.99%。

由于圖像噪聲較大、分辨率低、目標小，YOLOV3存在置信度低和漏檢等情況，網絡的泛化能力較差，檢測結果如圖13所示，修改后的網絡檢測結果如圖14所示。可以發現，輕量型網絡將可以檢測到更多的魷魚，大大的改善了YOLOV3網絡存在的魷魚漏檢的情況。同時，檢測的置信度也更高。因此，修改過后的輕量化神經網絡可以更好地應用在遠洋捕撈魷魚技術上。

圖13 YOLOV3檢測結果

圖14 輕量化網絡檢測結果

4 結論

輕量化網絡模型用于遠洋捕撈檢測技術，訓練過程中模型的參數輸出量大幅度下降，參數輸出量為22.53 MB，節約內存空間，提高了工作效率。特征提取能力增強，損失函數變小，提高了檢測的精確度與精測速度。在復雜的海洋環境下，拍攝條件不足的情況下，仍有較高的識別檢測率，且檢測速度明顯提高，將輕量化網絡應用在遠洋捕撈中，工作效率明顯提高。因此，輕量化網絡結構可以更好地應用在目標識別檢測領域，推進海洋工程裝備技術的發展。

□