基于改進YOLOv5 的小樣本水下聲吶圖像目標檢測

陳啟北，韓路軍，陳 慧

（1.廣西南寧柳藥藥業有限公司，廣西 南寧 530000；2.廣西柳藥集團股份有限公司，廣西 柳州 545000）

一、引言

聲波作為水下唯一可以遠距離傳播的信號，在水下考古、海難打撈、能源勘探、海洋測量具有重要意義。聲吶圖像作為聲波的一種表現形式在水下目標識別中應用廣泛。與自然圖像相比，聲納圖像由于復雜的水下噪聲干擾導致分辨率低、物體尺寸小、不同物體類間相似性高等特點，這對聲納圖像物體檢測提出了許多挑戰。

現有的目標檢測方法可分為傳統的基于機器學習的方法和基于深度學習的方法。

基于機器學習的目標檢測方法主要包括特征提取和分類器設計兩個部分。在特征提取階段，主要提取如目標的顏色、形狀和目標角度等物理特征，常采用原始聲學頻譜特征進行濾波特征提取，因此會導致提取特征的固定，很難提取到深層語義特征。常用的分類器有支持向量機、隨機森林（RF）、決策樹和樸素貝葉斯分類器等，然而，分類器都是基于經驗設計的，因此雖然針對特定的應用場景可以獲得檢測目標，模型的泛化性能較差。

基于深度學習的目標檢測方法主要包括特征提取和回歸檢測兩個部分。現階段主流基于深度學習的目標檢測算法主要包括以SSD[1]、YOLO[2]為代表的單級算法，以及以Faster-RCNN[3]、Mask R-CNN[4]為代表的多階段目標檢測算法。單級算法運算速度較快，但檢測精度相對較低，多階段算法檢測精度較高，運算速度較慢。在光學圖像目標識別的基礎上，很多聲吶圖像目標檢測算法被提出，如Neves 等人[5]提出了一種新穎的聲納圖像旋轉目標檢測方法，該方法利用YOLOv2[6]獲取初始位置信息，然后利用旋轉注意機制獲取角度信息。為了充分提取聲納圖像中的全局特征信息。Yulin 等人[7]提出了基于YOLOv3[8]和遷移學習[9]的聲納圖像目標檢測TransNet 模型。Kong 等人[10]提出了YOLOv3 與雙路徑網絡（dual-path network,DPN）相結合的YOLOv3DPFIN 模型，利用DPN 獲取多尺度特征，再通過密集連接操作[11]獲取全局深度語義特征。雖然現有的聲吶圖像目標識別方法可以從不同維度提取和增強特征信息，但仍存在諸如無法有效提取深度特征，忽略了不同特征信息的相關性和空間信息等問題。

由于聲納圖像目標檢測系統的實時性，因此選擇性能較好的單級算法、參數較少的YOLOv5[12]模型作為基線版本。由于YOLOv5 網絡提取精細特征的能力較差，導致一些較小的目標和特征不明顯的目標無法被識別，一些噪聲被錯誤地識別為目標。為了解決現有YOLOv5s 模型存在的問題，本文提出了一種基于改進YOLOv5 的小樣本水下聲吶圖像目標檢測網絡，用于聲納圖像多類別目標檢測。首先，在原有Backbone 的基礎上基于多頭注意力機制（Multi-Head Self-Attention，MHSA）[13]引入C3MHSA 模塊和SE注意機制[14]，提高模型的收斂性和提取目標形狀和空間有效特征的能力。此外，在Backbone 中加入RFB模塊[15]，提高網絡在高感受野存在的情況下學習重要信息的能力，獲得前景目標區域的語義特征和位置特征，來增強不同聲納目標的類別相關性和特征相關性，從而實現了聲納圖像目標的自動、準確檢測和識別。

二、相關工作—YOLOv5

YOLOv5 是目前最有效的目標檢測算法之一，在理論和實踐上都具有重要意義。YOLOv5 與YOLOv3有一些相似之處。例如，它的模型仍然包含Backbone、Neck、Head 三部分。YOLO 系列算法是目前主流的單級算法，它融合了近年來優秀的模型優化結構和算法。其結構如圖1 所示:

圖1 YOLOv5 模型結構

輸入端使用Mosiac 數據增強算法，采用隨機縮放、隨機裁剪、隨機排列等數據增強操作提高網絡的精度，同時提出了自適應anchor box 和圖像填充的方法。Backbone 采用Focus 切片結構，在Darknet53的基礎上，融合了CSPnet 的思想，形成了CSPDarknet53 的結構，在保證精度的同時有助于減少網絡模型的計算量。Neck 模塊位于Backbone 和Head 的中間，其主要采用FPN+PAN 模塊，實現淺深特征融合和感受野融合，從而提高網絡的魯棒性和多維特征提取能力。Head 模塊主要執行分類和回歸的功能，將圖像劃分為三個不同尺度的柵格圖，分別實現對小目標、中目標和大目標的檢測。

YOLO v5 的訓練損失函數由邊界框CIOU 損失、分類損失和目標檢測損失組成。

其中

wgt和hgt表示地面真理邊界框的寬度和高度。wp和hp求預測邊界框的寬度和高度的平均值。

三、所提方案

1.總體方案

由于YOLOv5 網絡可以從多維度提取和增強特征信息，但在應用到聲吶圖像目標識別時仍存在以下幾點缺陷：無法有效提取深度特征；忽略了不同特征信息的相關性和空間信息；提取精細特征的能力較差，導致一些較小的目標和特征不明顯的目標無法被識別，一些噪聲被錯誤地識別為目標。為了解決上述問題，本文在原有的YOLOv5 網絡模型的基礎上，提出了一種新的水下聲吶圖像目標檢測網絡。該模型主要通過在原有Backbone 的基礎上基于多頭注意力機制（Multi-Head Self-Attention，MHSA）引入C3MHSA 模塊和SE 注意機制，提高模型的收斂性和提取目標形狀和空間有效特征的能力。此外，在Backbone 中加入RFB 模塊，提高網絡在高感受野情況下學習重要信息的能力，獲得前景目標區域的語義特征和位置特征，來增強不同聲納目標的類別相關性和特征相關性，從而實現了聲納圖像目標的自動、準確檢測和識別。本文所提模型架構如圖2 所示：

圖2 本文所提模型架構

2.SE

由于網絡淺層的感受野較小，很難獲得足夠的信息來提取通道之間的關系。因此，在Backbone 的正常卷積層中加入SE 模塊，學習不同信道特征的重要程度，聚焦于重要特征。

采用SE 模塊增加了對信道維度的注意機制。其核心思想是利用損失來學習不同位置的特征權重，使其有效特征的Feature Map 權重更大，無效或效果小的Feature Map 權重更小，從而提高重要信息的比例，達到更好的效果。由于卷積只在局部空間中進行，因此很難獲得足夠的信息來提取通道相關特征。壓縮操作將通道上的整個空間特征編碼為全局特征，通過全局平均池化實現。公式如下：

上式中，F 為H×W×C 的輸入特征圖，uc表示輸入的第C 個二維矩陣，z 表示C 層的最終全局特征。然后，需要對全局描述信息進行特征權重學習，以捕獲通道之間的關系。SE 中的Excitation模塊參數主要用于為每個特征通道生成權重值，通道之間的相關性通過兩個完整的連接層建模。輸出權重值與輸入值相同。SE 模塊的流程圖如圖3 所示。

圖3 SE 注意力機制運行流程

3.RFBNet

RFB 參考了人類視覺系統中的單感受野機制，并考慮了RFS的大小和偏移量，顯著提高了檢測的準確性和魯棒性。RFB 使用多分支結構，每個分支的不同卷積核分別與不同速率的擴張Conv 連接，以增大感受野。最后，結合不同比例尺的特征圖，融合不同的特征。因此在YOLOv5 的Backbone 的高層加入RFBNet 可以有效 提高網絡在高感受野存在的情況下學習重要信息的能力。RFB 結構如圖4 所示。

圖4 RFBNet 架構

圖5 C3MHSA 模塊運行流程

4.C3MHSA

多頭自注意（MHSA）提供了多個“表示子間”，可以使模型在不同位置上關注來自不同“表示子空間”的信息，從而使模型可以捕捉到更加豐富的特征信息。引入該轉換器模塊，在檢測前計算像素的自注意力，使網絡將注意力集中在目標上，而不是背景或其他不重要的東西上。

BotNet[16]將ResNet 塊中的3×3 卷積替換為MHSA，并超越了COCO 驗證集上評估的ResNet。因此，本文也利用這一思想，用MHSA 替換掉C3 模塊中的3×3 卷積，形成C3MHSA 模塊，在快速獲取梯度流的同時，捕獲來自更多位置的空間特征信息，從而提升模型提取時空和目標深層特征的能力。其詳細流程如圖所示。

MHSA 分別使用相對距離編碼Rh和Rw來表示高度和寬度。MHSA 的推導式如下所示：

其中dk為Qh與Qh點積的方差，以緩解softmax 的梯度消失問題。

四、實驗評估

1.實驗環境

本文的實驗是在雙Intel 志強Sliver 4310 CPU 和單卡NVIDIA Tesla A100 80G GPU 環境下的Pytorch深度學習平臺上進行的。在實驗過程中，基于遷移學習方法對不同模型進行訓練和測試，然后比較分析算法的性能。對于各算法的數據集劃分，統一使用種子隨機選取數據集，按8:1:1 的比例劃分為訓練集、驗證集和測試集，以保證算法結果比較的權威性。

2.數據集介紹

本文實驗數據集采用SCTD[17]公開數據集，并自主擴充。原始數據集包含3 個聲納對象類別共596張圖片，分別為沉船（461 張）、失事飛機（90 張）和人體（45 張），圖6 為三類典型聲吶圖像目標的示意圖。為了緩解由于數據集中的樣本不均衡問題，分別采用旋轉、隨機裁剪等操作擴充、平衡原始數據集。擴充后數據集由9434 張聲納圖像組成，實驗隨機選擇6604 張作為訓練集，943 張作為驗證集，最后1887 張作為測試集。由于該數據集中，包含許多負樣本類別，本文使用隨機縮放、顏色通道變化和圖像反轉來增加原始數據集的數量，進一步穩定模型訓練過程，緩解過擬合現象。

圖6 STCD 數據集中的三類典型目標

3.實驗分析

（1）性能指標

本文使用mAP（Mean Average Precision）作為模型性能評測指標，其公式表示如下。mAP 表示P-R曲線的曲線下面積，各類目標AP 的平均值。mAP0.5 表示設置IOU 為0.5 時各目標的平均精度和mAP0.5:0.95 表示每步0.05 計算mAP 從mAP 0.5 到0.95 的平均mAP 值。

（2）結果

使用批訓練方法對數據集進行實驗，該模型遍歷所有訓練數據集為單次epoch，本實驗中設置epoch為1000 次。本模型訓練過程包括三個部分，首先使用COCO 數據集在原始目標識別網絡中進行預訓練，當模型收斂后使用該權重在SCTD 數據集中進行遷移學習，采用部分凍結訓練微調模型參數。本文提出的改進模型在SCTD 數據集中訓練1000 個epoch 過程中loss 變化圖和mAP 變化圖分別如圖7（a）（b）所示。

本文將所提出的模型與其他最先進的目標檢測模型YOLOv3 和YOLOv7[18]，以及本文的基線模型YOLOv5 在相同實驗環境中進行了比較實驗。各模型總體實驗結果如表1 所示。

表1 基于SCTD 數據集各模型mAP 對比數據

由表1 可知，本文所提模型在聲吶圖像目標識別性能均高于對比的其他現有的光學目標檢測模型，其中當IoU 為0.5 時，本模型比基線模型YOLOv5 的mAP 高4.8%，同時分別超過YOLOv3 和YOLOv7模型11.8%和3.6%。主要原因是這些模型主要針對光學圖像設計，當應用于聲吶圖像目標檢測時，由于受到海底混響噪聲的嚴重干擾，只能獲得聲納圖像中包含的簡單或單一的特征信息，忽略了全局上下文的影響，不能充分提取聲納圖像中包含的不同尺度的特征信息。本文所提方法充分利用聲納圖像中的不同特征信息，通過注意力機制和多梯度流擴大感受野，提取更多的時空特征信息從而提高目標檢測精度。

為了進一步說明所提出方法的有效性和優越性，對各目標類別的詳細實驗結果進行分析，其實驗結果如表2 所示。由表2 所知，YOLOv3 目標檢測模型在聲吶圖像中存在嚴重的目標誤檢現象，這主要是因為YOLOv3 的特征提取模塊主要通過深層次卷積獲取圖像的淺層及深層次特征，忽略了大量的小目標和空間信息，由于聲吶圖像的物體與背景環境的可分性差，從而使得特征“失效”。YOLOv5 與YOLOv7雖然得益于強大的特征提取網絡有效提取目標物理及空間特征，但是由于沒有針對小目標和聲吶圖像特性的改進，因此在各類別目標檢測精度中低于本文所提模型。本文在原有Backbone 的基礎上基于多頭注意力機制引入C3MHSA 模塊和SE 注意機制，提高模型的收斂性和提取目標形狀和空間有效特征的能力。此外，加入RFB 模塊，提高網絡在高感受野存在的情況下學習重要信息的能力。因此，本模型在小目標human 中較YOLOv3，YOLOv7 的AP 值分別提升了13.5%和7.4%，aircraft 和ship 兩個大目標中也有部分提升，驗證了本模型的聲吶圖像目標檢測能力。

表2 基于SCTD 數據集各模型AP 對比數據

本文基于YOLOv5 目標檢測模型提出了一種新的小目標聲納圖像目標檢測器。首先，在原有Backbone的基礎上基于多頭注意力機制引入C3MHSA 模塊和SE 注意機制，提高模型的收斂性和提取目標形狀和空間有效特征的能力。此外，在Backbone 中加入RFB 模塊，提高網絡在高感受野存在的情況下學習重要信息的能力。

實驗表明，多頭注意力機制和SE 結合可以通過提高模型的收斂性和提取目標形狀與空間有效特征的能力，從而在不增加權值和推理時間的情況下獲得更高的神經網絡的性能，這對未來的硬件實現具有重要意義。結合RFBNet，通過重新分配用于特征提取的通道信息的權重，改善網絡的接受域，增加特征的表達能力和學習重要信息的能力，進而提高有效信息提取的能力。在聲吶圖像目標檢測中明顯優于現有的主流光學目標檢測模型。但本模型仍然有部分缺陷，下一步的工作是繼續優化該聲吶圖像目標檢測網絡，使其更快，更輕，更準確，從而可以應用于小型嵌入式硬件系統中實現產品應用。