注意力機制在YOLOv5瓶頸層的改進與研究劉炫東

關(guān)鍵詞：YOLOv5；小目標(biāo)；協(xié)同注意力機制改；瓶頸層；深度可分離卷積

中圖分類號：TP391 文獻標(biāo)識碼：A

文章編號：1009-3044（2024）28-0001-07

0引言

目標(biāo)檢測一直是計算機視覺中的重要研究方向，被廣泛應(yīng)用于醫(yī)學(xué)、交通、工業(yè)、農(nóng)業(yè)、軍事、航天航空等眾多領(lǐng)域。隨著大數(shù)據(jù)時代的到來和GPU性能的提高，深度學(xué)習(xí)在計算機視覺各領(lǐng)域，尤其是目標(biāo)檢測任務(wù)中，得到了廣泛應(yīng)用。自2014年起，基于深度學(xué)習(xí)的目標(biāo)檢測算法不斷涌現(xiàn)。二階段網(wǎng)絡(luò)如RCNN、Fast RCNN[1]、Mask RCNN[2]等，雖然檢測的準(zhǔn)確性較高，但實時性不強，不適用于如公路車輛檢測、行人口罩佩戴情況檢測等高實時性要求的場景。為克服這一缺點，YOLO[3]于2016年問世。作為單階段目標(biāo)檢測網(wǎng)絡(luò)，YOLO具備極高的實時性，同時保持了與二階段網(wǎng)絡(luò)相近的準(zhǔn)確性。此后，更輕、更快的單階段目標(biāo)檢測網(wǎng)絡(luò)逐步進入學(xué)者們的視野，開啟了單階段目標(biāo)檢測網(wǎng)絡(luò)的新紀元，如不基于框的單階段目標(biāo)檢測FCOS[4]、CenterNet[5]以及基于框的單階段目標(biāo)檢測SSD[6]等也接連問世。

2020年，YOLOv5以其最高140FPS的檢測速度和小體積的優(yōu)勢，在各大目標(biāo)檢測領(lǐng)域取得了良好的效果。后續(xù)研究為提升其性能進行了多種嘗試，如將可變卷積[7]應(yīng)用于主干特征提取以獲取更多關(guān)鍵特征，然而這可能因?qū)W習(xí)多余的位移而降低網(wǎng)絡(luò)的實時性；還有將Backbone轉(zhuǎn)變成VGG[8]、Resnet[9]等網(wǎng)絡(luò)進行特征提取，但訓(xùn)練和預(yù)測的代價過高，難以滿足工業(yè)和交通領(lǐng)域的實時性要求。引入MobileNet[10]、Shuf?fleNet[11]作為Backbone，雖然提升了訓(xùn)練和檢測速度，但精確度也有所降低。

為了兼顧實時性和精度，人們引入SE（Squeezeand-Excitation）[12]、TA（Triplet Attention）[13]、CBAM（Con?volutional Block Attention Module）[14]、CA（Coordinate At?tention）[15]等注意力機制，通過增加計算量來換取更高的準(zhǔn)確性，且增加的計算量對實時性的影響微乎其微。文獻[16-18]在各自領(lǐng)域引入上述模塊進行了研究，均取得了不錯的效果。然而，改進后的模型未在如COCO、PASCAL VOC等一般數(shù)據(jù)集上進行性能驗證。同時，人們還發(fā)現(xiàn)YOLOv5s在目標(biāo)邊界框判定上不夠精準(zhǔn)；使用YOLOv5m、YOLOv5L因模型過大受到硬件限制，無法滿足更高實時性要求的場合。

因此，本研究提出了一個基于YOLOv5的算法改進，將協(xié)同注意力機制改（Coordinate Attention New） 引入瓶頸層以提高特征提取能力，并使用深度可分離卷積來降低網(wǎng)絡(luò)的復(fù)雜程度。改進后的算法能夠在一般數(shù)據(jù)集上實現(xiàn)精度與速度之間更好的平衡。

1 YOLOv5概述

YOLOv5網(wǎng)絡(luò)整體結(jié)構(gòu)如圖1所示。

YOLO算法基于將一張圖像劃分為若干網(wǎng)格來尋找目標(biāo)質(zhì)心，從而使用邊界框識別目標(biāo)類別。該算法演變到了YOLOv5階段，按照模型大小可分為s、m、l、x，這些模型在架構(gòu)上相同，僅在網(wǎng)絡(luò)的深度和寬度上有所不同。整個算法由輸入、Backbone和Head三個部分組成。輸入部分使用Mosaic技術(shù)、圖像剪切拼接等技術(shù)對輸入圖像進行預(yù)處理；Backbone部分則采用卷積、CSP改進和SPPF來進行特征提取；Head部分使用FPN+PAN的特征金字塔結(jié)構(gòu)，實現(xiàn)了在不同尺度特征圖上的目標(biāo)檢測。最終，通過計算中心坐標(biāo)損失、寬高坐標(biāo)損失、置信度損失和分類損失，并通過非極大值抑制（NMS） 減少冗余的邊界框，以提高檢測準(zhǔn)確性。

Conv是主干部分的卷積復(fù)合模塊，由卷積層、批標(biāo)準(zhǔn)化和激活層組成，具體結(jié)構(gòu)見圖2。

如圖3所示，Bottleneck是一種類似于殘差網(wǎng)絡(luò)的模塊結(jié)構(gòu)。該結(jié)構(gòu)通過兩個卷積（Conv） 模塊先減少再擴增通道數(shù)，以提取更顯著的特征信息，并使用加法（Add） 操作來控制是否進行殘差連接。

CSP[19]的改進在網(wǎng)絡(luò)架構(gòu)中被命名為C3，該架構(gòu)由瓶頸層和多個Conv模塊組成，與之前的YOLOv5的BottleneckCSP相比，減少了一個Conv模塊，如圖4所示。這種改進能夠在不降低檢測精度的情況下減少參數(shù)數(shù)量，從而提高運行速度。

SPPF是SPP（Spatial Pyramid Pooling） [20]的改進版，其結(jié)構(gòu)從并聯(lián)的三個最大池化轉(zhuǎn)換為串聯(lián)的三個最大池化。最終，將這三個最大池化的結(jié)果與原始權(quán)重進行拼接。這種轉(zhuǎn)變在不顯著損失精度的情況下，大幅提升了推理速度。具體結(jié)構(gòu)如圖5所示。

2 改進

2.1 協(xié)同注意力機制（CAN）

YOLOv5網(wǎng)絡(luò)能夠通過卷積獲取圖像的局部特征，但在捕獲圖像特征的過程中，卷積會逐漸損失圖像的位置信息，從而導(dǎo)致目標(biāo)邊界框回歸精度降低。CA機制通過將位置信息嵌入信道中，使網(wǎng)絡(luò)能夠在不顯著缺失位置信息的前提下進行特征提取，同時避免產(chǎn)生顯著的計算開銷。

然而，CA機制僅考慮了空間因素，而忽略了通道在特征提取過程中的影響。在YOLOv5的訓(xùn)練過程中，隨著卷積核數(shù)量的增加，通道的數(shù)量也隨之增加，需要通過評估來確定哪些通道包含關(guān)鍵信息。因此，本研究基于CA機制提出了一個新的模塊CAN。

CAN借鑒了SE機制，對特征圖的每個通道的重要性進行評估，從而獲取關(guān)于特征圖通道的權(quán)重因子。如果通道上包含的關(guān)鍵信息越多，則其權(quán)重數(shù)值越高。CAN結(jié)構(gòu)如圖6所示。

3 改進的網(wǎng)絡(luò)總體結(jié)構(gòu)

圖 9 為 CAN-YOLOv5 的整體網(wǎng)絡(luò)結(jié)構(gòu)。該網(wǎng)絡(luò)基于 YOLOv5，使用 CAN 模塊提高了網(wǎng)絡(luò)的特征提取能力和檢測精度，并引入分組卷積以降低網(wǎng)絡(luò)的復(fù)雜度。其中，星號 （*） 表示在 C3CAN 的 BottleneckCAN 中使用了深度可分離卷積。

4 實驗與結(jié)果分析

4.1 實驗環(huán)境與參數(shù)設(shè)置

具體實驗環(huán)境如表1所示。

所有 YOLO 模型初始學(xué)習(xí)率為 0.01，動量參數(shù)為0.937，最終學(xué)習(xí)率為 0.1，批量大小 （BatchSize）為 32，衰減參數(shù)γ 為32。使用官方的預(yù)訓(xùn)練模型YOLOv5s.pt，并采用 epoch 為 3、動量參數(shù)為 0.8的 warm-up 方法預(yù)熱學(xué)習(xí)率。在 warm-up 階段，采用一維線性插值更新學(xué)習(xí)率。預(yù)熱結(jié)束后，使用隨機梯度下降法更新學(xué)習(xí)率。測試和驗證的置信度閾值設(shè)置為0.001，IOU閾值設(shè)置為0.6。其余超參數(shù)均與官方給出的超參數(shù)文檔保持一致。

4.2 數(shù)據(jù)集與預(yù)處理

本研究采用 COCO 和 PASCAL VOC 數(shù)據(jù)集進行實驗。COCO2017 數(shù)據(jù)集共有 80 個類別，訓(xùn)練集使用 COCO2017 中的 train 部分進行訓(xùn)練，共 118 287 張圖像；驗證集使用 COCO2017 的 val 部分進行驗證，共 5 000 張圖像；測試集使用 test 部分進行測試，共4 070 張圖像，并將測試結(jié)果上傳到官方平臺進行評估。PASCAL VOC 數(shù)據(jù)集共有 20 個類別，訓(xùn)練集使用 train+val 2007 和 2012 進行訓(xùn)練，使用 test 2007 進行測試。

對于 640×640 的圖像，使用 k 均值聚類算法對目標(biāo)框進行聚類，在 VOC 數(shù)據(jù)集中獲得 99.8% 的最大可能召回率（BPR） ，在 COCO 數(shù)據(jù)集上獲得 99.5% 的BPR。相應(yīng)的三種尺寸的錨框，最終錨框尺寸如表 2 所示。

在數(shù)據(jù)集圖像上，使用了隨機裁剪、變換、翻轉(zhuǎn)、縮放以及調(diào)整亮度、曝光、色調(diào)、飽和度的方法進行數(shù)據(jù)增強。此外，還使用了 Mosaic 數(shù)據(jù)增強。Mosaic 數(shù)據(jù)增強首先生成一張空白畫板，隨機選擇一個位置作為目標(biāo)中心，通過裁剪、縮放、翻轉(zhuǎn)等操作，使多張圖像圍繞該中心進行拼接，生成一個新的圖像。這種方法有利于網(wǎng)絡(luò)在較短時間內(nèi)學(xué)習(xí)多張圖像的特征，同時能夠有效防止過擬合，增強魯棒性。Mosaic 數(shù)據(jù)增強的效果如圖10所示。

5 結(jié)束語

為了有效解決目標(biāo)邊界回歸精度不高以及誤檢率較高的問題，并提高小目標(biāo)檢測能力，本研究對 YO?LOv5 模型進行了改進。通過采用 CAN 模塊，提升了網(wǎng)絡(luò)對目標(biāo)邊界框回歸的精度，從而降低了誤檢率。為減少引入 CAN 模塊后增加的模型復(fù)雜度，采用了深度可分離卷積以減少參數(shù)量和計算量，提高了實時性。與 YOLOv5s 相比，CAN-YOLOv5 在 VOC 數(shù)據(jù)集上的mAP@0.5 和 mAP@0.5： 0.95 分別提升了 5.0% 和8.5%；在 COCO 測試集上的 AP、AP50、AP75、APS、APM 和APL 分別提高了 1.2%、1.2%、1.9%、2.5%、1.8% 和2.9%。參數(shù)量和計算量分別降低了 12.5% 和 18%，進一步降低了模型的復(fù)雜度，能夠更好地適用于移動應(yīng)用和其他實時性要求較高的應(yīng)用。未來的研究將嘗試將 CAN 模塊應(yīng)用于其他特征提取網(wǎng)絡(luò)。