基于改進YOLOv5s 的大熊貓姿態識別

楊斌，段昶 ，陳鵬

（1. 西南石油大學電氣信息學院，成都 610500；2. 成都大熊貓繁育研究基地，四川省瀕危野生動物保護生物學重點實驗室，成都 610086）

大熊貓Ailuropoda melanoleuca是我國特有的珍稀物種，有“活化石”和“中國國寶”等美譽，其保育工作受到國家和公眾的高度關注（王曉，張晉東，2019）。人們一直在探尋大熊貓行為模式，以增進對其的了解并制定對應的保護策略。大熊貓的姿態分析是行為模式研究的重要組成內容，識別大熊貓姿態是研究其行為的基礎（侯金等，2020）。傳統人眼直接觀察大熊貓行為效率低下，且需要長期專業知識儲備和經驗累積（劉赫等，2022）。將目標檢測技術用于自動識別大熊貓姿態和開展大熊貓行為研究，能更準確、及時掌握大熊貓狀態，提高大熊貓種群飼養管理和保育水平。

動物姿態識別領域已經取得了豐碩的成果，薛月菊等（2018）提出一種改進的Faster RCNN（Renet al.，2017）基于哺乳母豬姿態的識別算法，對主干網絡設計新的殘差結構和引入中心損失函數，平均精度達到93.25%；劉龍申等（2022）提出一種圍產期母豬姿態的識別方法，利用EfficientDet（Tanet al.，2020）網絡進行識別，平均精度達93.97%；許成果等（2022）提出一種自注意力機制與無錨點的仔豬姿態識別方法，使用Swin Transformer（Liuet al.，2021）作為基礎網絡，提取仔豬圖像的局部和全局特征，設計了一個特征增強模塊進行多尺度特征融合，最后將融合后的特征圖輸入檢測頭進行仔豬的定位和姿態識別，識別精度達到95.68%；林夢翔等（2022）提出一種基于全局與隨機局部特征融合的鳥類姿態識別模型，通過不同尺度的特征融合獲取全局特征，裁剪圖片獲取局部特征，兩者融合進行鳥類姿態識別。上述動物姿態識別方面的研究對本文大熊貓姿態識別具有借鑒意義。

本文以大熊貓為研究對象，提出一種基于改進YOLOv5s 的大熊貓姿態識別方法，可有效輔助后續的行為識別工作，為野外檢測識別提供技術參考。

1 研究方法

1.1 YOLOv5s改進

以YOLOv5s（https：//github. com/ultralytics/yolov5）作為基準大熊貓姿態識別方法，改進YOLOv5s 的主干網絡與頸部網絡以提高大熊貓姿態識別精度（圖1），紅色虛線框和加粗字體為本文改進部分。

圖1 YOLOv5s改進后的網絡結構Fig. 1 Improved network structure of YOLOv5s

YOLOv5s的主干網絡提取特征主要通過C3模塊實現。本文所使用的姿態數據集少量圖片目標存在遮擋，對于存在遮擋的目標，位置信息特別重要，但C3模塊未能有效利用目標的位置信息，以至于在特征提取階段造成目標位置信息丟失，使得網絡識別精度受限。故本文引入坐標注意力（coordinate attention，CA）（Houet al.，2021）改進C3模塊：第一，CA 可以捕獲跨通道信息，建立通道之間的依賴性，賦予權值比例，突出有效特征；第二，CA 還能捕獲目標的方向與位置信息，進一步提高檢測的準確率。改進后的模塊命名為C3CA，上路分支為深度卷積繼續加強特征的提取，擴大特征圖的感受野，下路分支進行特征壓縮，保留原始信息。2 路分支連接后，進行坐標注意力，對特征圖坐標位置編碼，最后通過卷積進行特征融合。輸入殘差征，同時進行特征X 方向全局平均池化和Y 方向全局平均池化。然后在空間維度上連接和卷積來壓縮通道，其中，r為卷積中的通道下采樣比例，通過批標準化和非線性來編碼垂直方向和水平方向的空間信息。接著在通道維度上進行分割，再各自通過卷積進行通道轉換，最終通過激活函數Sigmoid得到注意力權重，與輸入特征相乘，得到方向感知和位置敏感的特征圖（圖2，圖3）。

圖2 C3CA結構Fig. 2 C3CA structure

圖3 坐標注意力編碼注意過程Fig. 3 Coordinate attention coding attention process

在頸部網絡特征融合時，來自不同階段的殘差（Residual）特征圖直接連接會導致特征冗余（圖4：a）。Tan 等（2020）針對不同階段特征圖對識別結果的重要程度不同，提出雙向特征金字塔網絡（bidirectional feature pyramid network，BiFPN），該網絡結構特征融合過程中采用了加權求和的操作，給不同階段特征圖賦予權重比例，學習特征的重要性。不同階段的殘差特征圖乘以初始化參數w0、w1學習特征圖的重要性，然后進行特征相加，再通過1×1 卷積進行特征融合（圖4：b）。本文引入BiFPN 中的加權求和操作替換YOLOv5s 頸部網絡特征融合的直接連接操作。

圖4 特征融合（a）原連接（b）加權求和Fig. 4 Feature fusion （a） concatenation （b） weighted sum

在頸部網絡特征輸出時，采用傳統的卷積對于不規則目標的特征信息提取能力不足。本文所使用的大熊貓姿態數據集，圖片中的目標姿態多變，為不規則目標，為了適應不規則目標采用可變形卷積作為頸部網絡輸出階段的特征提取，不僅可以對規則目標的特征信息提取，還可以充分提取不規則目標的特征信息。Zhu 等（2019）提出可變形卷積，在傳統卷積的基礎上調整卷積核的方向向量，使得卷積核跟隨目標形狀自適應采樣。因此，為了適應各種形式的物體，本文引入了可變形卷積對采樣位置進行自由采樣，而不局限于方正的格點。傳統卷積神經網絡定位采樣方法難以適應物體的變形。該過程模型公式如下：

式中，x表示輸入特征圖，卷積核按照方正的網格點對其進行采樣。w表示權重，對于輸出y上的位置p0，輸出特征映射等于w賦予的采樣值之和。其中，R為位置信息，計算公式如下：

可變形卷積的主要特點是能夠對特征自適應采樣，具有學習空間幾何變形的能力。這非常適合于檢測不同大小和形狀的物體，而該方法只是在一定程度上增加了計算時間。對于每個采樣點具有額外學習目標偏移的可變形卷積公式如下：

對于每個采樣位置賦予偏置量Δpn后，采樣變得不規則，這使得新方法的變換建模能力優于傳統卷積神經網絡（圖5）。

圖5 標準卷積與可變形卷積Fig. 5 Standard and deformable convolution

1.2 數據集

姿態數據來源包含：成都大熊貓繁育研究基地、網絡爬蟲。成都大熊貓繁育研究基地采集的原始視頻，視頻總時長超過1 700 h，對原始視頻進行篩選，剔除遮擋嚴重、視野模糊的視頻，對視頻分幀處理獲得圖片，選取了12 235 張圖片；通過網絡爬蟲挑選出樣本較少的姿態圖片，共780張。這些照片包含6 類大熊貓姿態：站、立、坐、趴、躺臥、側臥（圖6）。使用LabelImg 標注大熊貓姿態。按照4∶1 將數據集分為訓練集和測試集，訓練集10 413張圖片，測試集2 602張圖片（表1）。

表1 大熊貓姿態數據集樣本數量Table 1 Sample number of giant panda pose dataset

1.3 實驗運行環境

本文所使用的實驗環境如表2所示。

表2 實驗環境Table 2 Experimental environment

1.4 評價指標與訓練參數設置

實驗以平均精度均值（mean average precision，mAP）、模型每秒檢測的圖像數量（frames per second，FPS）、網絡模型的參數及網絡模型權重的大小評價指標對模型進行評價。mAP（0.5）主要用于體現模型的識別能力，其中，（0.5）表示交并比（intersection over union，IOU）等于0.5，mAP（0.5∶0.95）由于要求的IOU閾值更高，主要用于體現定位效果及邊界回歸能力；FPS 是衡量運行速度，其值越大，實時性越高；模型參數量和模型權重大小是邊緣端部署的重要指標，在不損失精度的情況下，越小越好。

輸入圖像大小為640×640，采用SGD 優化器進行訓練，初始學習率設置為0.01，訓練總次數設置為100，批量大小設置為16。

1.5 姿態識別方法

為評估本文改進方法的性能，實驗中還與以下8 種方法在使用相同大熊貓姿態數據集訓練后進行對比：YOLOv3（Redmon & Farhadi，2018）、YOLOv3-tiny、YOLOv3-spp、YOLOv4-csp-s、YOLOv5s、YOLOv5m、YOLOv6-tiny（Liet al.，2022）、YOLOv7-tiny（Wanget al.，2022）。

2 實驗結果

本文改進模型相較于原生YOLOv5s，在mAP（0.5）、mAP（0.5∶0.95）、參數量、權重大小、FPS指標上均占優勢。相比YOLOv5s，3 個改進點結合形成的YOLOv5s+C3CA+BiFPN+DConv，其mAP（0.5）/mAP（0.5∶0.95）提高到3.12%/3.96%，模型參數減少8.6%（表3）。

表3 YOLOv5s改進前后實驗對比結果Table 3 Comparison of experimental results before and after YOLOv5s improvement

本文改進模型相較于其他姿態識別方法，綜合識別性能最佳（表4）。

表4 大熊貓姿態數據集對比實驗結果Table 4 Comparison of experimental results of giant panda pose datasets

各類方法在“站、立、坐”姿態的識別率較高，本文改進模型在“站”姿態AP（0.5）值為97.87%，達到 最 優；YOLOv5m 在“立”姿 態AP（0.5）值 為96.72%，達到最優；YOLOv4-csp-s 在“坐”姿態AP（0.5）值為93.89%，達到最優。在“趴、躺臥、側臥”姿態中，YOLOv6-tiny 在“趴”姿態AP（0.5）值為87.64%，提升較大；本文改進模型在“躺臥”姿態AP（0.5）值為89.73%，有明顯提升；YOLOv6-tiny 在“側臥”姿態AP（0.5）值為86.98%，提升較大。本文改進模型比改進前的YOLOv5s 模型在識別率較低的“趴、躺臥、側臥”姿態，分別提升了4.45%、7.44%、7.79%（表5）。

表5 基于不同模型的6類大熊貓姿態識別精度Table 5 Recognition accuracy of 6 pose types of giant pandas based on different models

為了更好地驗證本文提出改進后算法的可行性，在姿態測試集中選取部分數據進行測試，YOLOv5s 與YOLOv5s+C3CA+BiFPN+DConv 算法 在 不同圖片下的檢測結果對比顯示：YOLOv5s 識別結果中真值分別為“站（圖7：a）、站（圖7：c）、立（圖7：e）、躺臥（圖7：g）、側臥（圖7：i）”；但網絡出現了漏檢（圖7：a）、“站”被誤識別為“坐”（圖7：c）、“立”被誤識別為“坐”（圖7：e）、“躺臥”被誤識別為“坐”（圖7：g）、“側臥”被誤識別為“趴”（圖7：i）等問題。網絡出現這種結果的可能原因是：特征圖目標位置信息利用不足，對不規則目標識別難度較大。通過對網絡模型的改進，形成YOLOv5s+C3CA+BiFPN+DConv，改進后算法的識別結果均正確識別出“站、站、立、躺臥、側臥”（圖7：b、d、f、h、j），在遮擋物嚴重的情況下也能做出正確的識別。

圖7 改進前后識別效果對比Fig. 7 Comparison of recognition effect before and after improvement

3 討論與結論

本文聚焦于大熊貓姿態識別問題，提出一種改進YOLOv5s 大熊貓姿態識別方法，改進了包含主干網絡與頸部網絡，原YOLOv5s 主干網絡未能有效利用目標的位置信息，利用CA 設計C3CA 以改進主干網絡，提高對目標位置信息提取的能力；還采用BiFPN 中加權求和操作替換原頸部網絡特征融合采用的直連方式；在頸部網絡輸出階段采用可變形卷積，提高對不規則目標的識別能力。實驗結果表明，所有改進點相結合，大熊貓姿態識別精度最佳，實現了高精度自動化識別目標姿態，降低人力物力，為大熊貓行為分析奠定了基礎。

本文改進了YOLOv5s 大熊貓姿態識別方法，通過此方法訓練生成的模型與YOLOv5s 相比識別精度與檢測速度達到了較高的水平。該方法可以推廣到其他珍稀保護動物的姿態識別問題上，并且對實驗訓練環境要求較低。

此方法存在一定的局限性。在輸入圖像中，對于環境較暗的獸舍、目標不清晰的情況下，模型出現誤檢、漏檢現象。下一步將對YOLOv6、YOLOv7進行改進，提升大熊貓姿態識別的精度，并且通過姿態的識別對其行為進行分析。

致謝：感謝成都大熊貓繁育研究基地提供并授權使用大熊貓監控視頻數據。