改進RepVGG的鳥類識別分類算法

摘要：鳥類生活在多樣的生態環境中，其羽毛、體型、顏色等特征具有較大的隨機性和多樣性，因此需要有效的算法來實現精確的鳥類識別，有效識別各種鳥類目標，這具有重要的生態環境保護意義。本文使用改進后的RepVGG網絡對鳥類圖像進行分類。為了提取到更有效的特征表示，在RepVGG的特征提取網絡中插入了CBAM注意力機制模塊。這個模塊能夠自適應地調整特征圖的通道和空間注意力，從而增強重要特征的表達能力。另外，由于數據樣本存在不平衡問題，本文還引入了IB Loss的類平衡損失函數。該損失函數基于樣本對模型訓練的影響，為不同樣本分配不同的權重，以實現類平衡化。經過一系列實驗表明，基于RepVGG網絡和CBAM注意力機制的算法能夠在識別不同種類的鳥類圖像時取得較好的準確度。這表明本文的算法具備一定的實用性和準確性，對于鳥類目標的識別和生態環境的保護具有重要意義。

關鍵詞： 圖像分類；RepVGG；CBAM；IB Loss；鳥類識別

一、引言

變電站、輸電線路驅鳥是一項重要的任務，根據不同鳥類的種類，通過發送不同波段的光來實現驅鳥已被證明是一種有效的方法。因此，精確識別鳥類是驅鳥工作的關鍵環節 [1-2]。

目前，現有的鳥類圖像分類算法主要基于傳統的特征提取方法，如SIFT、HOG等，但這些方法需要手工提取特征，且存在識別精度低、分類速度慢等問題。人工處理圖像耗時費力，因此需要找到一種快捷、高效的鳥類圖像分類方法[3-5]。隨著深度學習技術的迅猛發展，圖像分類領域取得了顯著的進展。各種改進和創新的卷積神經網絡（CNN）架構相繼涌現，例如VGGNet[6]、ResNet[7]等。這些網絡的出現不僅在通用圖像分類任務中取得了顯著的成果，也在各種領域的特定圖像識別任務中取得了成功。

劉堅等人[8]通過CNN和OpenCV結合數字圖像處理技術對野生鳥類進行種類識別，取得了一定的識別能力和高精度，但是該系統受光線和環境的影響較大。在鳥類圖像識別的任務中，傳統的CNN模型仍然面臨著一些問題。鳥類圖像通常具有多樣性的外觀和姿態，并且不同鳥類之間的相似性較高，這使得區分它們變得更加困難。針對這些問題，一些研究者提出了特定的方法，以優化CNN在鳥類圖像識別任務中的性能。

RepVGG作為近年來提出的一種新型CNN架構，在多個圖像識別任務中表現出色，沈希忠等人[9]引入高效通道注意力，提高帶鋼表面缺陷識別的穩定性和準確率。最近的研究表明，注意力機制在圖像分類中具有顯著作用。例如，陳文豪[10]等人通過引入空間和通道注意力機制，顯著提升了圖像分類性能。然而，在鳥類圖像識別領域，RepVGG的應用尚未得到更加深入的研究。在本文中，筆者將嘗試將這些近期的方法與RepVGG相結合，以改進鳥類圖像識別分類算法的性能。

綜上所述，本研究旨在改進RepVGG在鳥類圖像識別分類任務中的性能，通過引入注意力機制，更好地應對鳥類圖像識別中的挑戰。此工作不僅可以為鳥類生態學等領域提供有益的技術支持，也為深度學習在特定領域圖像識別任務中的應用提供了新的思路和方法。

二、基于改進RepVGG的鳥類圖像分類算法

本文所提出的算法是在原始RepVGG網絡的基礎上引入一種注意力機制模塊CBAM[11]以及IB Loss。RepVGG網絡包含5個階段，每個階段由若干不同數量的3支路卷積塊堆疊而成。不同于原始的VGG網絡，RepVGG在每階段的第1個卷積塊中采用步長為2的卷積層將特征圖尺寸變換為輸入特征的一半。完成輸入圖像的特征提取后，網絡對第5階段的輸出執行全局平均池化，并通過1個全連接層實現鳥類圖像的分類。但原始RepVGG模型在訓練過程中，特征提取能力較弱[12]，會學習一些不必要的特征。

通過引入注意力機制模塊CBAM來提升有益特征的權重。并借助IB Loss對模型進行訓練，以解決鳥類圖像各類樣本差異性較大的問題。通過重新分配樣本權重，以解決樣本數量不平衡的問題，提升網絡對樣本數量較少的類的分類精度。

（一）CBAM注意力

通過卷積運算，RepVGG可以從通道和空間的混合信息中提取分類任務所需的特征表示。為了獲得更有效的特征表示，本文引入了CBAM。CBAM主要由通道注意力機制模塊和空間注意力機制模塊兩部分構成。

假設輸入特征為F，通道注意力機制模塊為Mc（·），空間注意力機制模塊為Ms（·），則有F'=Mc（F）×F以及F''=Ms（F'）×F'，其中，F'和F''分別表示通道注意力機制模塊和空間注意力機制模塊的輸出。

通道注意力機制模塊通過對輸入特征的空間維度作壓縮，CBAM實現了對空間信息的聚集[12]。CBAM設計了一種包含兩條支路的注意力機制模塊，將輸入特征Fc送入最大值池化支路和平均池化支路。隨后，CBAM將提取到的特征送入權重共享的多層感知器，并得到兩個通道注意力映射。將兩個映射按元素相加，并使用Sigmoid激活得到最終的通道注意力映射[13]。通道注意力的公式為：

空間注意力機制模塊會對經過通道注意力機制模塊強化的特征F'沿通道維度依次執行最大值池化和均值池化。通過將生成的兩種值池化按通道方向做拼接做卷積，CBAM可以生成最終的空間注意力映射。空間注意力機制模塊公式為：

如圖1所示，本文在每個階段的輸出和下一階段的輸入之間插入了CBAM模塊。不同于原始CBAM使用7*7的大尺寸卷積核，本文采用3*3卷積核尺寸。改變卷積核尺寸可以在保證檢測精度的前提下，減少模型的參數量。

（二）IB損失函數

由于不同的鳥類在自然界中的分布存在差異， 研究者常常面臨樣本數量不平衡的情況。樣本數量不平衡可能會對模型的訓練和性能產生影響。

為了解決以上問題，本文引入了IB Loss作為模型訓練的損失函數。通過降低造成決策邊界過擬合的樣本的權重來微調決策邊界，使其變得更加平滑。

假設模型w參數化后的表現形式是，f （x，w）設模型訓練的損失函數 ，則模型的最佳參數是 。其中xi表示第i個訓練樣本，yi表示它所對應的標簽。模型訓練分為兩步：首先使用普通的損失函數去訓練模型，訓練完成后，模型的參數w應處于最優w*附近，而損失函數應當趨近于0。然后，IB Loss會對模型做微調。

RepVGG的默認損失函數是交叉熵損失函數。因為IB Loss的研究目標是分類任務中決策邊界上出現的過擬合現象，所以需要關注網絡的最后一個全連接層。假設全連接層的輸入是，輸出是 ，

權重是 ， 則有。其中，σ是Softmax函數，fk是f （x，w）的第k個輸出。全連接層的損失梯度wkl表示為：

為實現樣本的均衡化，將梯度變化量的倒數作為系數和原始損失函數相乘得到了新的損失函數為：

三、實驗結果與分析

（一）數據集介紹

本次實驗所采用的數據集是網絡數據集，包含400種鳥類，其中58388張為訓練集，2000張為測試集，2000張為驗證集。測試集和驗證集都是從每一類中抽取5張圖片組成，所有圖片都是224×224×3的彩色圖像。

（二）實驗結果分析

本文基于Ubuntu 20.04.4 + Python 3.9.7 + Pytorch1.11.0，24GB的NVIDIA GeForce TITAN RTX顯卡進行模型訓練。模型訓練所使用的優化器為SGD，初始學習率為0.1。模型共計訓練了200個epoch。

為了驗證本文所提算法的有效性，本文對其執行了消融實驗，實驗結果如表1所示。其中，Baseline是原始RepVGG網絡在鳥類圖像分類任務上的表現，Proposed表示網絡同時采用CBAM注意力機制模塊和IB Loss損失函數時的表現。

由表2可知，在RepVGG特征提取網絡中插入CBAM注意力模塊，可以有效提升網絡的分類精度。

四、結束語

鑒于人工對鳥類圖像分類耗時費力，本文提出了一種智能分類算法，用于解決這一問題。在現有卷積神經網絡的基礎上，本算法引入了一種改進的網絡架構，并在特征提取階段插入了CBAM注意力機制模塊，以增強網絡對關鍵特征的關注。同時，本算法針對鳥類識別數據集中存在的類別不平衡問題，采用了IB Loss損失函數進行解決。該損失函數可以根據樣本對模型訓練的影響程度，為不同樣本分配不同的權重。

綜合實驗結果來看，本算法在鳥類識別任務中取得了顯著的性能提升。通過引入新的網絡架構和注意力機制，算法在分類精度方面表現出更好的效果。同時，通過使用IB Loss損失函數，成功地解決了類別不平衡問題。這些改進措施共同作用下，使得算法在鳥類識別任務上表現出了更好的性能。

作者單位：萬勇 李繼武 李維漢 邱宇晟 國網江蘇省電力有限公司泗洪縣供電分公司

參考文獻

[1]魏秀參，許玉燕，楊健. 網絡監督數據下的細粒度圖像識別綜述[J]. 中國圖象圖形學報，2022，27（7）：2057-2077.

[2]楊雪鶴，劉歡喜，肖建力. 多模態生物特征提取及相關性評價綜述[J]. 中國圖象圖形學報，2020，25（8）：1529-1538.

[3]青晨，禹晶，肖創柏，等. 深度卷積神經網絡圖像語義分割研究進展[J]. 中國圖象圖形學報，2020，25（6）：1069-1090.

[4]劉穎，劉紅燕，范九倫，等.基于深度學習的小目標檢測研究與應用綜述[J].電子學報，2020， 48（3）： 590.

[5]張順，龔怡宏，王進軍.深度卷積神經網絡的發展及其在計算機視覺領域的應用[J].計算機學報，2019，42（3）： 453-482.

[6]原忠虎，王維，蘇寶玲.基于改進VGGNet模型的外來入侵植物葉片識別方法[J].計算機與現代化，2021（9）：7-11.

[7]魏秀業，程海吉，賀妍，等.基于特征融合與ResNet的行星齒輪箱故障診斷[J].電子測量與儀器學報，2022，36（5）： 213-222.

[8]劉堅.基于深度神經網絡的鳥類圖像識別系統設計[J]. 農業裝備與車輛工程，2019，57（9）：113-116.

[9]沈希忠，謝旭.帶鋼表面缺陷的RepVGG網絡改進及其識別[J].現代制造工程，2023（5）：121-126.

[10]鄧文軒，楊航，靳婷.基于注意力機制的圖像分類降維方法[J].廣西師范大學學報（自然科學版）， 2021，39（2）： 32-40.

[11]華昕宇，祁云嵩.IC+IEffxNet：一種基于CBAM和改進通道注意力的EfficientNet的混合腦腫瘤分類方法[J].計算機與現代化，2023（5）：1-7.

[12]楊鵬強，張艷偉，胡釗政.基于改進 RepVGG 網絡的車道線檢測算法[J].交通信息與安全， 2022， 40（2）： 73-81.

[13]張建恒，楊智宇，夏利紅，等.融合注意力機制的輕量化道路交通標志檢測方法[J].電子測量技術，2023，46（21）：85-92.