融合GhostNet 的YOLOv5 垃圾分類方法*

李 耀，胡軍國，樂 楊

（浙江農林大學 數學與計算機科學學院，浙江 杭州 311300）

0 引言

近年來，隨著我國城市人口的增加，城市生活垃圾總量增長迅速。據相關統計，我國城市生活垃圾清運量已經從2004 年的15 509 萬噸增長為2021 年的24 869 萬噸。自黨的十八大以來，黨中央高度重視生態文明建設，垃圾處理問題已經成為城市生活中必須解決的問題，在城市社區生活中，居民垃圾分類的意識較弱，且較多依賴于傳統人工分揀，傳統人工分揀存在耗時長、效率低、工作環境差及精準度較低等問題。若有效地利用計算機視覺技術對垃圾進行目標檢測，通過對垃圾目標的快速定位和精確分類，將極大地減少人力資源的消耗，有效地提高垃圾分類效率，為后續的垃圾回收工作提供支持，進一步改善城市人居環境。

計算機視覺技術常用的目標檢測方法有3 種，分別是Blob 分析法（Blob Analysis）[1]、模板匹配法、深度學習法。Blob 分析是對圖像的連通區域進行檢測，從而識別目標。模板匹配法是通過研究某一特定對象物的圖案位于圖像的什么地方，進而識別對象物體。深度學習法首先提取出大量圈中對象的候選框，然后通過神經網絡將正確的候選框進行輸出。Blob 分析法和模板匹配法屬于人工設計其特征表示，遷移性差，精度低。深度學習法則是通過算法提取合適的目標特征表示，相比人工特征設計更高效，且能適用于更多場景。

目標檢測是計算機視覺領域的主要研究方向之一，在人臉識別、智慧交通、自動駕駛等領域廣泛使用，具有十分重要的研究意義。目前目標檢測領域的深度學習方法主要分為雙階段（tow-stage）算法和單階段（onestage）算法兩類。雙階段算法通過算法生成候選框，再使用卷積神經網絡對進行目標分類和定位，代表算法有Faster R-CNN[2]、R-FCN[3]、Fast R-CNN[4]。單階段算法通過滑窗的方式直接產生候選框，再進行分類與回歸識別目標，代表算法有YOLO[5?7]系列、SSD[8]系列。由于兩者的策略不同，導致前者在準確率和定位精度上占優，后者在檢測速度上占優。

隨著計算機視覺技術的成熟，許多學者針對垃圾目標檢測問題提出了深度學習解決方案。如:康莊等[9]提出基于Inception V3 特征提取網絡的垃圾分類算法，對自制數據集中兩大類垃圾的識別率達到99.86%；王莉等[10]提出基于YOLOv5s 網絡的垃圾分類算法，對具體的12 種垃圾，精度達到95.34%，而計算性能要求較高，網絡體積較大；陳志超等[11]提出基于MobileNet V2 的垃圾圖像分類算法，通過嵌入通道注意力算法，在自制數據集中14 類具體垃圾的精度為94.6%。上述方法中數據集分類無法完全滿足實際生活中垃圾分類場景的需求，且網絡體積較大，不適合移動端服務部署。

本文基于4 類城市垃圾分類檢測任務，提出一種融合GhostNet 網絡和改進版通道注意力的垃圾分類算法，使用輕量化卷積Ghost Module 降低特征模型體積和計算量，并保證模型精度，融合注意力機制加強特征圖的整體通道特征，得到識別精度高、推理速度快的輕量化模型。

1 理論基礎

1.1 YOLOv5 網絡結構

YOLOv5 識別精度高、推理速度快，同時YOLOv5 模型包含多尺度的檢測頭能檢測圖像中不同大小的目標，能通過參數控制網絡深度和寬度能自由選擇參數大小合適的模型。通過比較不同模型的精度、體積和推理速度，本文選擇YOLOv5s 作為基線模型。

YOLOv5s 網絡結構可分為輸入端、主干網絡、頸部網絡和檢測頭。輸入端負責圖像處理方法和自適應錨框計算，有效地提升了數據多樣性；主干網絡包含特征提取模塊CBS、跨階段局部網絡（Cross Stage Partial Network,CSPNet）[12]架構模塊C3 和金字塔池化模塊（Spatial Pyramid Pooling-Fast,SPPF）；頸部網絡采用路徑聚合網絡（Path Aggregation,PANet）[13]結構，充分融合了不同層的特征；Head 部分主要用于檢測目標。

1.2 GhostNet 原理

GhostNet[14]是一種使用少量的參數生成特征的網絡，其基本單元Ghost Module 分2 步生成特征圖，先使用少量卷積核進行傳統卷積生成通道較少的特征圖；再對第一步操作獲得特征圖進行逐層卷積獲得更多的特征，最后進行特征連接獲得完整的特征信息，Ghost Module 模塊原理如圖1 所示。

圖1 Ghost Module 模塊原理

Ghost Module 具體計算過程為：

第一步為普通卷積，式（1）中，X為輸入的特征圖，Y′為輸出的原始特征圖，f′為使用的卷積核；第二步操作是對第一步輸出的原始特征圖進行線性運算，式（2）中，yi'為Y′中的第i個特征圖，Φi,j為第j個線性映射，yi,j是由第i個原始特征圖生成的第j個幻影特征圖（ghost）。最后將第一步生成的特征圖與第二步操作生成的特征圖進行concat的操作，得到完整的特征圖。與傳統卷積相比，Ghost Module 不改變輸出特征圖大小，縮減了參數量和計算時間，實現模型輕量化[15]。

2 Ghost-YOLOv5 網絡模型設計

本文的模型設計以設計小體積、高精度垃圾分類模型為目標，以YOLOv5s 網絡為主干，融合高效通道注意力模塊、融合GhostBottleneck 的CSP 模塊和Ghost 卷積模塊形成新的特征提取網絡。具體網絡結構如圖2 所示，其中GhostC3 模塊代表融合GhostBottleneck 的CBS模塊，GhostConv 模塊是融合Ghost 卷積的特征提取模塊，改進后網絡結構如圖2 所示。

圖2 Ghost-YOLOv5 網絡結構圖

2.1 融合GhostNet 的主干網絡

YOLOv5 的主干網絡是借鑒了CSPNet 的架構。CSPNet 通過將梯度的變化集成到特征圖中，解決了梯度信息重復的問題。YOLOv5 中基礎的CSP 模塊為C3模塊。C3 模塊是3 個標準卷積層和多個殘差模塊Bottleneck 組成，C3 模塊結構如圖3 所示。

圖3 C3 模塊結構圖

為了使用最少的計算量和參數達到最佳的性能，本文參考華為提出的輕量級網絡GhostNet。GhostNet 中的殘差元GhostBottleneck 分為兩種結構，如圖4 所示。步長為1 時，直接進行兩個Ghost 卷積操作；步長為2 時，使用步長為2的DW卷積[16]連接2個Ghost Module，GhostBottleneck 結構如圖4所示。

圖4 GhostBottleneck 的結構圖

本文使用GhostNet 中的殘差模塊ChostBottleneck 替換C3 模塊中的標準殘差模塊，形成新的CSP 單元GhostC3 模塊。GhostC3 模塊計算簡易、體積小、計算量小，能有效降低網絡體積和計算速度。GhostC3 模塊結構如圖5 所示。

圖5 GhostC3 模塊結構圖

YOLOv5 主干網絡中另一個基礎模塊是卷積模塊CBS，CBS 模塊由二維卷積層、正則化層和激活函數層組成。本文結合CBS 模塊和Ghost Module 的設計原理，提出GhostConv 模塊。使用GhostConv 模塊后網絡體積進一步降低，CBS 模塊和GhostConv 模塊如圖6所示。

圖6 CBS 和GhostConv 結構圖

2.2 加權邊界框融合

YOLOv5 在預測階段產生了多個預測框，為了確定目標的位置，需要對預測框進行篩選。YOLOv5 采用非極大值抑制（Non-Maximum Suppression,NMS）[17]篩選預測框，NMS 判斷預測框之間的交并比（Intersection Over Union,IoU）[18]是否高于閾值，并舍棄其中IoU 低于閾值的框。因此會導致有用的目標信息丟失，造成誤檢或漏檢。本文提出采用加權邊界框融合（Weighted Boxes Fusion,WBF）[19]方法,WBF示意圖如圖7所示。其中(x1,y1)和(x2,y2)分別代表預測框左上角和右下角的坐標，c表示預測框的置信度得分，下標i表示第i個預測框的相關數據。

圖7 WBF 示意圖

WBF 通過置信度信息和每個預測框的位置信息生成最后的融合預測框，根據置信度分數賦予每個預測框權重，融合了每個預測框在檢測框生成中的作用。WBF 算法在計算過程中將檢測預測框與融合框的IoU 是否大于閾值，若符合要求，則按式（3）更新融合框。

其中，n表示符合條件的預測框數量。

圖8 為垃圾目標的預測結果示意圖，相較NMS 方法，WBF 在定位精度上有明顯提升。

圖8 垃圾目標預測示意圖

2.3 ECA 模塊

壓縮激勵網絡（Squeeze-and-Excitation Networks,SENet）[20]將信息通道注意力引入卷積塊，提升模型對通道特征的敏感性。改進通道注意力（Efficient Channel Attention,ECA）[21]在SE 注意力基礎上進行了改進，ECA 提出了用一維卷積實現了局部跨通道交互，可以在保持性能的同時顯著降低模型的復雜性。

ECA 模塊的具體做法是使用全局平均池化（Global Average Pooling,GAP）對特征圖進行空間特征壓縮，得到1×1×C的通道注意力特征圖，再對壓縮后的特征圖進行快速一維卷積，最后將通道注意力和原始特征圖進行逐通道相乘并輸出，ECA 模塊結構如圖9 所示。

圖9 ECA 模塊示意圖

在進行快速一維卷積時，ECA 模塊使用了動態的卷積核，來解決不同輸入特征圖，提取不同范圍特征的問題。ECA 使用了自適應的方法確定卷積核大小K，卷積核自適應函數如式（4）所示，C表示通道數，odd 表示K只取最接近的奇數，γ和b用于改變通道數C和卷積核大小之間的比例，本文中γ和b分別取2 和1。

3 實驗部署與結果分析

3.1 實驗平臺和訓練參數

本文實驗平臺基于PyTorch1.7.0 深度學習框架和CUDA 11.0.3 網絡加速庫，開發語言為Python3.7.0，使用Windows 10操作系統，GPU 為 NVIDIA GeForce RTX2070 super。實驗訓練超參數設置如表1 所示，實驗過程中使用余弦退火（Cosine Annealing）[22]優化算法控制學習率動態變化。

表1 訓練參數設置

3.2 實驗數據集

實驗使用數據集為自制垃圾數據集，該數據集包含4 大類圖片可回收垃圾（recyclable waste）、有害垃圾（hazardous waste）、廚余垃圾（kitchen waste）和其他垃圾（other waste）共2 748 張，通過網絡收集了2 300 張。另外通過手機拍攝生活垃圾照片作為數據集的補充，圖片均完成標注。圖10 為數據集中的部分樣本。

圖10 部分訓練數據集圖像

3.3 評價指標

本文選用精確率P（Precision）、召回率R（Recall）、平均精度均值（mean Average Precision,mAP）和F1 分數作為模型精度衡量指標。四者依賴于混淆矩陣（Confusion Matrix）的計算。混淆矩陣如表2 所示。

表2 混淆矩陣

精確率計算公式如式（5）所示，召回率的計算公式如式（6）所示。

由于P值與R值是矛盾的，一者上升則另一者下降，因此本文采用F1 值綜合評價模型的優劣，計算方法如式（7）所示。

mAP 指標表示多個類別的平均精度的均值，即所有AP 的平均值，AP 指單個垃圾類別的平均精度，計算方式見式（8）、式（9）。

3.4 不同注意力機制分析

為了證明改進算法的注意力機制有效性，在控制其他條件相同的情況下，僅對注意力機制類型進行修改，實驗結果如表3 所示。由表3 可知，ECA 注意力的mAP提高了3.9%，表明其特征信息的獲取能力更好。

表3 不同注意力機制對比

3.5 消融實驗

為了更好地分析各個模塊對模型的影響，本小節進行消融實驗。消融實驗以YOLOv5s 作為消融實驗的基準，將本文提出的各個改進模塊依次融合到YOLOv5s中，并保持每組實驗的實驗環境和模型超參數相同，在自制數據集上進行訓練，在相同的測試集進行性能測試，比較添加不同改進模塊對模型性能的影響。實驗結果如表4 所示。

表4 消融實驗結果

從實驗結果可知，融合GhostConv 和GhostBottleneck 能在保證精度的同時參數量減少了46.7%。在加入ECA 模塊后參數量僅增加4%，模型精度提升了3.6%。由此可知，本文所進行的模塊改進實現了精度提升和模型輕量化。

3.6 對比實驗

為了證明本文提出的輕量級目標檢測算法的有效，本節設計了對比實驗。對比算法的對象有YOLOv4、YOLOv5s、ShuffleNet V2[23]和GhostNet，參與對比的網絡模型輸入大小均為640 px×640 px。將本文提出的Ghost-YOLOv5 與其他目標檢測模型分別在本文數據集上進行訓練，然后比較它們在驗證集上的檢測性能，實驗結果如表5 所示。其中Ghost-YOLOv5 網絡參數數量約為3.85×106，mAP 值為76.3%，識別平均用時為11.23 ms，模型精度較高、參數量少，具有較好的實時能力。

表5 不同模型對比實驗

4 結論

本文對YOLOv5s 網絡進行了改進，使用Chost-Bottleneck 替換了C3 模塊中的標準殘差模塊，并采用線性變化的卷積模塊代替了傳統卷積模塊，保證網絡精度的同時實現了網絡的輕量化；在主干網絡引入注意力機制ECA，使用低消耗的局部跨信道交互策略加強了特征圖的整體通道特征，使模型更加關注感興趣的位置，提升了模型精度；在預測階段使用加權邊界框融合算法，有效解決了漏檢和預測結果偏移的問題。改進前后模型的對比實驗表明，在相同測試集下mAP 由67.8% 提升至76.3%，推理速度達到11.23 ms，模型參數量顯著降低。本文提出的算法速度快、精度高、體積小，適用于移動端設備的部署，滿足快速識別的需求。

本文研究算法主要解決了低復雜度、少目標圖像的分類識別問題，在后續工作中將著重提高模型在多目標、多類別和目標遮擋的復雜場景下的識別精度，拓寬模型應用場景。