面向海洋牧場智能化建設的海珍品實時檢測方法

洪 亮，王 芳，蔡克衛，陳鵬宇，林遠山

（1. 大連海洋大學信息工程學院，大連 116023；2. 遼寧省海洋信息技術重點實驗室，大連 116023； 3. 設施漁業教育部重點實驗室，大連海洋大學，大連 116023）

0 引言

海洋牧場是指利用自然的海洋生態環境，將人工放養的經濟海洋生物聚集起來，像在陸地放牧牛羊一樣，對海參、海膽、扇貝、魚等海珍品資源進行有計劃和有目的的海上放養，是拓展海洋漁業發展空間、促進海洋漁業可持續發展的有效措施。海洋牧場建設過程中需要進行海珍品捕撈量調查、養殖狀態監測、海珍品采捕等任務，目前這些任務主要依靠人工完成，成本高，危險性大。基于水下機器人的海珍品捕撈量調查、狀態監測、采捕是未來的發展方向，這些任務主要依靠水下海珍品檢測技術來完成。因此，水下海珍品檢測是其中的關鍵。

為此，國內外學者對水下海珍品檢測進行廣泛研究。郭常有等[1]將扇貝彩色圖像通過閾值分割轉變為二值圖像，利用濾波技術減少圖像噪聲，并采用改進的OPTA算法和邊界追蹤算法提取扇貝圖像邊界，計算扇貝的位置坐標和大小。吳一全等[2]提出了一種淡水魚種類識別方法。將形狀與紋理特征組合成高維特征向量，通過人工蜂群算法的待定參數進行尋優。吳健輝等[3]提出一種基于圖像處理技術的魚種類識別方法。采用鄰域邊界算法對魚體的輪廓進行提取，建立魚體背部輪廓數學模型。采用魚體背部彎曲潛能算法對不同種類魚體樣本的背部彎曲潛能值進行計算和聚類統計。崔尚等[4]提出基于Sobel改進算子的海參圖像識別方法。將圖像進行直方圖均衡化處理，利用Sobel改進算子將增強后的圖像進行分割處理，經過膨脹、腐蝕和小目標移除算法處理，得到含有海參目標的二值化圖像。以上方法的基本思路是根據檢測對象的特點利用圖像處理技術設計特定算法進行識別，此類方法通常效率較高，但這些方法只針對單一品種進行檢測，更重要的是需要根據領域知識進行手工特征提取，過程繁瑣，工作量大，魯棒性較差。

深度學習[5-8]具有自動特征提取的特點，大大提高了目標檢測的效率和精度[9-12]，推動了目標檢測[13-17]在農業[18-20]、工業[21]等領域的廣泛應用。為此，Li等[22]嘗試使用基于改進的Faster-RCNN算法實現了12種魚類的識別。通過使用區域建議網絡，產生的高質量建議，與后續的魚檢測識別網絡共享卷積特征，實現了良好的識別和檢測性能。袁利毫等[23]提出基于YOLOv3的水下檢測算法，利用水下機器人采集的數據對神經網絡進行訓練，采用小批量梯度下降法和沖量對神經網絡權重進行更新，并調整算法的超參數，提高了水下小目標的識別率和檢測速度。Kaveti等[24]提出了基于Inception v2的SSD檢測算法實現了水下魚類、海星和海綿的檢測。利用機器人平臺收集水下圖像數據，建立數據標簽，訓練改進的算法模型，實現高精度檢測。趙德安等[25]提出了基于機器視覺的水下河蟹識別方法，該方法通過在投餌船下方安裝攝像頭進行河蟹圖像采集，修改基于YOLOv3網絡的輸入輸出，并采用自建的數據集對其進行訓練，實現了對水下河蟹的識別。郭祥云等[26]采用基于深度殘差網絡實現了水下海參識別算法。以海參圖像為正樣本，非海參圖像為負樣本構建數據集，以不同像素圖像分別進行模型訓練與識別。上述基于深度學習的海珍品檢測方法的檢測精度得到大幅提升，但是模型較大，難以部署到如水下機器人這種移動設備上。此外鮮有考慮水下圖像模糊、對比度低、缺色等對檢測所帶來的檢測性能影響。

為此，本文在原有YOLOv3網絡結構基礎上進行改進，提出了面向海洋牧場智能化建設的海珍品實時檢測方法。該模型使用深度可分離卷積代替YOLOv3中的標準卷積，減少參數量，提升推理速度；針對水下圖像模糊、對比度低、缺色等特點，采用基于UGAN的圖像增強方法來對海珍品圖像進行預處理；并且利用基于Mosaic的數據增廣方法，提升圖像數據的多樣化，增加模型的魯棒性。

1 海珍品檢測網絡框架

1.1 YOLOv3網絡

YOLOv3網絡結構整體框架分為兩個部分：主干網絡和檢測器。

主干網絡部分：YOLOv3采用Darknet-53作為特征提取的主干網絡。由一個3×3卷積層和5個階段的殘差結構組成，每個階段的殘差結構數量分別為1、2、8、8、4。其中每個殘差結構由一個3×3卷積層和殘差塊構成。殘差塊由一個1×1卷積層、一個3×3卷積層和求和運算構成。YOLOv3主干網絡一方面采用全卷積結構，另一方面借鑒ResNet思想，引入了Residual結構，使網絡深度增加，特征提取能力大幅增強。

檢測器部分：YOLOv3網絡生成三個分支，每個分支對應三種大小特征圖，分別為13×13、26×26、52×52，每個分支結構由連續卷積塊、3×3卷積和1×1卷積構成。其中連續卷積塊由1×1、3×3、1×1、3×3和1×1連續卷積構成。經過網絡計算，每個特征圖會輸出三個邊界框，每個邊界框會預測中心坐標x、y，寬w、高h、置信度和所屬類別信息。

1.2 DSC-YOLO網絡

為提高YOLOv3對水下海珍品檢測的實時性，本文對其結構進行改進，提出一種輕量化模型DSC-YOLO，該模型采用深度可分離卷積[27]代替YOLOv3中的標準卷 積。深度可分離卷積是MobileNet采用的一種技術，其可分解為一個深度卷積和一個點卷積，如圖1所示。該方法和標準卷積相比，其計算如式（1）所示。

式中M為輸入特征圖通道數，H、W為輸入特征圖的高和寬，N為卷積核個數，Dk為卷積核大小。具體地，將該技術應用到神經網絡結構中，如圖2所示。

在DSC-YOLO卷積結構中，圖像數據先經過一個3×3深度卷積層；然后傳入歸一化層，加速數據收斂、防止過擬合和降低網絡對權重敏感度；接著經過LeakyRelu激活函數層；輸入到一個1×1點卷積層；最后經過歸一化層和經過LeakyRelu激活函數層輸出。

將YOLOv3中標準卷積替換為深度可分離卷積，其標準卷積的參數量是深度可分離卷積的8.88倍，如表1所示，大大降低了計算量，提高實時性。

表1 標準卷積和深度可分離卷積的參數量對比 Table 1 Comparison of parameters between standard convolution and depthwise separable convolution

1.3 基于UGAN（Underwater Generative Adversarial Network）的水下圖像增強

受水體懸浮顆粒對光產生折射、散射、選擇性吸收等特性的影響，攝像頭采集到的水下圖像存在色彩缺失、細節模糊、對比度低、噪聲污染嚴重等問題，缺失大量有效信息的水下圖像勢必影響目標檢測的性能。清晰的圖像有助于提升檢測的準確性，因此，有必要對水下圖像進行增強。傳統水下圖像增強主要包括基于物理模型的增強方法和基于非物理模型的增強方法。前者針對模型缺陷，進行修補復原；后者針對圖像的清晰度進行提高。這兩種方法都需要手工特征提取。新的UGAN方法采用無監督方式，可以自動學習到訓練數據樣本的分布，產生新的數據。其主要思想是網絡通過不斷地對抗博弈，產生新的圖像數據，實現從水下模糊圖像到水下清晰圖像的映射過程，如圖3所示。本文使用UGAN對水下圖像進行增強。為展示UGAN處理效果，本文從水下數據集隨機選擇四張具有代表水下環境特性的圖像送入UGAN模型進行處理，效果如圖4所示。圖4中左側圖像代表了水下環境常見的圖像問題，如模糊、對比度低、缺色或顏色背景等。右側圖像為UGAN增強后的對應圖像。由圖可見，UGAN能夠對顏色進行校正，使圖像更加明亮、清晰。

UGAN模型由生成網絡和辨別網絡構成，其整體為全卷積結構。生成網絡采用Encoder-Decoder模式，在Encoder部分，由8個卷積層構成，卷積核大小為4×4，步長為2。每個卷積層后連接歸一化層和斜率為0.2的LeakyReLU激活層。在Decoder部分，由8個反卷積層構成，反卷積核大小為4×4，步長為2。反卷積層后沒有接入歸一化層。前7個反卷積層連接ReLU激活層[28]，最后一個反卷積層連接Tanh激活層。在上采樣過程，每個反卷積層與對應的卷積層進行拼接輸出到下一層，生成網絡呈現出U形。辨別網絡由5個卷積層構成，前三層卷積核大小為4×4，步長為2，第四層卷積核大小為4×4，步長為1，第五層卷積核大小為1×1，步長為1。每個卷積層后連接歸一化層和LeakyReLU激活層。辨別網絡采用PatchGAN設計，輸出32×32×1的矩陣概率，與普通GAN的辨別網絡輸出的一個實數概率相比，可以獲取更多的圖像細節信息。

訓練UGAN網絡之前需要一組圖像對，圖像對通過CycleGAN[29]獲取，把空氣中圖像輸入到CycleGAN中，生成對應的水下環境風格圖像。然后將空氣中圖像和水下環境風格圖像作為圖像對訓練UGAN。生成網絡接收一個水下環境風格圖像和一個隨機噪聲，然后經生成網絡生成水下生成圖像，水下生成圖像與對應空氣中圖像送入辨別網絡進行辨別，若辨別為真，則返回真實標簽，否則，返回生成標簽。生成網絡與辨別網絡互相對抗博弈，直到辨別網絡分辨不出水下圖像是否為真實或生成圖像為止。

1.4 基于Mosaic的數據增廣

深度學習需要大量訓練數據，而水下訓練圖像獲取成本昂貴，有必要使用數據增廣技術來生成大量訓練樣本[30]。目前數據增廣主要有光度變換（亮度、對比度、色相、飽和度）、幾何變換（隨機縮放、裁剪、翻轉和旋轉）、圖像遮擋、圖像拼接等。考慮到Mosaic數據增廣綜合了光度變換、幾何變換和圖像拼接的優點，是一種集大成的方法，可以得到多樣的數據格式，有望提升性能。為此，使用Mosaic方法進行數據增廣。其思想是將四張傳統增廣的圖像拼接在一起，形成一張完整圖像，如圖5所示。豐富了圖片的背景，提升目標多樣性，變相地提高了輸入網絡的圖片數量。并且在進行批歸一化[30]的時候同時計算四張圖片的權值，以提升檢測的性能。

具體做法是從水下數據集隨機選取四張像素一致的圖像，每張圖像先進行傳統數據增廣方法，然后將增廣后的圖像進行隨機大小裁剪，接著將第一張裁剪的圖像固定在整體圖像的左上角，第二張裁剪的圖像固定在整體圖像的左下角，第三張裁剪的圖像固定在整體圖像的右下角，第四張裁剪的圖像固定在整體圖像的右上角。最后得到一張Mosaic增廣的圖像，增廣后的圖像與原四張圖像像素保持一致。

1.5 總體框架

基于上述改進方法，將三個方法結合在一起，改進的YOLOv3網絡結構框架如圖6所示。圖中總共分為兩部分：第一部分為數據預處理，第二部分DSC-YOLO網絡。

數據預處理包括兩部分內容：基于UGAN的圖像增強、基于Mosaic的數據增廣。圖像增強用于提升圖像清晰度與識別率，數據增廣用于豐富海珍品的多樣性，提升模型魯棒性。DSC-YOLO網絡減少大量標準卷積操作，減小模型大小，提升海珍品識別速度。相應地，將DSC-YOLO卷積結構應用到YOLOv3網絡結構，得到改進的DSC-YOLO海珍品檢測網絡。在主干網絡部分，將416×416圖像送入網絡的第一個3×3卷積替換為深度可分離卷積，同時將每個階段的殘差結構中的3×3卷積替換為深度可分離卷積。在檢測器部分，將連續卷積塊中3×3卷積替換為深度可分離卷積，同時將從連續卷積塊輸出的3×3卷積替換為深度可分離卷積。網絡每個分支輸出的特征圖大小、Anchor數量和Anchor大小與原網絡保持不變。

2 材料與方法

為了驗證本文海珍品檢測方法的有效性，進行了相應的試驗。本節將從數據集來源、試驗設置和試驗環境、評估標準進行闡述。

2.1 數據集來源

本文采用“2017首屆水下機器人目標抓取大賽（2017 Underwater Robot Picking Contest，URPC2017）”提供的真實水下圖像數據集（http://2017.cnurpc.org/a/js/ 2017/0829/66.html）。該數據集共有三個類別：海參、海膽、扇貝，包含18 982張圖像，圖像分辨率為720×405，標注格式為VOC格式。

2.2 試驗方法

將水下數據集隨機劃分成三份，其中15 182幅圖像用于訓練，1 900幅圖像用于驗證，1 900幅圖像用于測試，比例約為8:1:1。在訓練階段，將DSC-YOLO、UGAN水下圖像增強和Mosaic數據增廣進行組合，訓練得到4個模型： DSC-YOLO、DSC-YOLO+UGAN、DSC-YOLO+ Mosaic、DSC-YOLO+UGAN+Mosaic，然后將此4個模型與YOLOv3模型進行試驗對比。使用預訓練模型進行訓練，節省時間，提高訓練速度。在輸入卷積神經網絡前，數據集中所有圖像的分辨率調整為416×416。訓練時以4幅圖像作為一個批次進行小批量訓練，每訓練一批圖像，權值更新一次。權值衰減速率為0.000 5，動量為0.9，初始學習率為0.001。對網絡進行110輪訓練，每訓練1輪保存一次模型，最終選取精度最高的模型。

本文試驗采用的操作系統為Ubuntu16.04，深度學習框架為PyTorch，試驗處理器為AMD Ryzen Threadripper 1920X 12核，內存為8 G，顯卡為NVIDIA GeForce RTX2080，顯存為8 G GDDR6。

2.3 評估標準

本文以準確率P、召回率R、多類平均準確率mAP0.5（mean Average Precision）和F1分數作為評價標準。準確率P為被正確預測的正樣本數量占總預測的正樣本數量的比值，如式（2）所示。召回率R為被正確預測的正樣本數量占總正樣本數量的比值，如式（3）所示。單類平均準確率AP（Average Precision）為準確率P與召回率R構成的P-R曲線的面積，如式（4）所示。多類平均準確率mAP0.5為當交并比（Intersection Over Union，IOU）為0.5時，準確率P與召回率R構成的P-R曲線的面積，如式（5）所示。IOU為預測框與真實框的交集與并集的比值，當預測框與真實框的IOU大于0.5，則為正樣本，預測框與真實框的IOU小于0.5，則為負樣本。F1分數為精確率和召回率的調和平均數，如式（6）所示。

其中，TP為模型正確預測的正樣本數量，FP為模型錯誤預測的正樣本數量，FN為模型錯誤預測的負樣本數量，P(R)為P-R曲線函數，n為類別數量。

3 結果與分析

模型在1 900張圖像測試集上，采用2.3部分所提的準確率（P）、召回率（R）、多類平均準確率（mAP0.5）、F1分數，以及推理時間（Inference time）和模型大小（Size）共6項指標，對各個模型進行評估，試驗結果如表2所示。

表2 模型檢測性能對比 Table 2 Comparisons of model detection performance

由表2可知，在準確率P方面，YOLOv3模型為86%，DSC-YOLO+U+M模型為84.4%，僅相差1.6個百分點。在召回率R上，YOLOv3模型為91.4%，DSC-YOLO+U+M模型和DSC-YOLO+M模型同時取得了最大值94.1%，提高了2.7個百分點。

YOLOv3模型的mAP0.5為92.2%，模型大小為492.6 MB，推理時間為8.1 ms。與YOLOv3模型相比，DSC-YOLO+U+M模型大小為146.7 MB，減小約70%，推理時間縮減為6.8 ms，F1分數提升0.4個百分點，并且多類平均準確率提升2.4個百分點。

此外，除了YOLOv3模型外，采用UGAN的模型比未采用UGAN的模型，在多類平均準確率和F1分數指標上均有提升。并且采用Mosaic的模型比未采用Mosaic的模型，在多類平均準確率和F1分數指標上均有明顯的提升。

綜上，除了準確率P外，DSC-YOLO+U+M模型相較于YOLOv3和其他模型而言，在大幅降低模型參數量的情況下，其他各項指標都有所提升，展現出了優越的性能，模型檢測效果如圖7所示。

此外，試驗中發現，本文模型對漏標的圖像數據具有較強的魯棒性，能夠將圖像中漏標的海珍品檢測出來。本文隨機從測試集中選擇三張存在漏標現象的數據，如圖8所示。圖像8a中4個海參、5個海膽未標注，圖8b中1個海參、3個扇貝未標注，圖像8c中3個海參、1個海膽、6個扇貝未標注。其他模型均存在不同程度的漏檢，而本文的最終模型DSC-YOLO+U+M將未標注數據正確檢測出來。

根據上圖模型檢測數量統計模型的漏檢率，如表3所示。其中漏檢率計算是模型未檢測到的目標個數除以實際標注和漏標數量總和。由表3可知，本文提出的方法漏檢率數值最低，綜合來說，本文提出的模型在數據集漏標的情況下，能夠將漏標的海珍品正確地檢測出來，魯棒性良好。

表3 模型漏檢率對比 Table 3 Comparisons of the model missing rate

4 結 論

本文提出了基于改進的YOLOv3網絡的海珍品檢測框架，該框架在訓練階段之前引入圖像增強和數據增廣方法用于提升圖像清晰度和檢測性能。然后采用深度可分離卷積，將標準卷積分解成深度卷積和點卷積，使參數量和計算量大大減少，推理速度縮短，模型大小縮減。在推理速度和準確率方面得到提高的同時，從定性和定量角度分析各個模型的性能。試驗證明，改進的YOLOv3網絡模型與圖像增強和數據增廣方法相結合，性能優于YOLOv3模型。

1）本文通過改進模型，使得模型參數量和計算量減少，模型占用內存大小為146.7 MB，YOLOv3網絡模型占用內存大小為492.6 MB，模型占用內存減小70%。加入圖像增強和數據增廣方法，不增加模型參數量和計算量的同時，提高檢測性能。

2）根據定性和定量結果比較，在網絡訓練之前采用基于生成對抗網絡的圖像增強方法，提升了圖像的清晰度和檢測的準確率，檢測的目標更多，更全面，使得召回率提升2.7個百分點。