基于BS-ResNeXt-50 的密云地區野生動物圖像識別

齊建東 馬鐘添 張德懷 田 赟

（1. 北京林業大學信息學院 北京 100083；2. 國家林業和草原局林業智能信息處理工程技術研究中心 北京 100083；3. 北京霧靈山保護區管理處 北京 101506；4. 北京林業大學水土保持學院 北京 10083）

近年來，在氣候變化、人為活動干擾等壓力下，一些自然保護地面臨生物多樣性下降、棲息地喪失等嚴重威脅（束祖飛等，2021）。物種多樣性是生物多樣性的關鍵，野生動物物種減少，生物多樣銳減，最終危害的是人類的幸福和健康（于莉莉，2017）。因此，野生動物保護工作越來越受到關注，調查、追蹤野生動物生活習性是生物多樣性保護的重要部分之一。野外環境條件復雜、天氣多變，僅靠人工采集野生動物的圖像較為困難，目前較常用的收集野生動物活動圖像的方式是野外布設紅外相機，對出現的野生動物自動抓拍。這種方式的優點是可在不影響野生動物活動的前提下對野生動物個體及種群信息進行收集、分析。在實際工作場景中，一方面，紅外相機拍攝的照片中有大量不包含野生動物的廢片，單純依靠人工從大量相片中挑選包含野生動物的相片，費時費力；另一方面，在包含動物的照片中，經常出現動物特別靠近相機或只拍攝到動物身體一部分、動物被周圍環境遮擋、光照變化、一張照片里出現多個動物等情況（Gomezet al.，2017，Norouzzadehet al.，2018），給圖像的識別和分類造成了很大干擾。

傳統的圖像識別問題主要使用k 近鄰、支持向量機、最大似然法等方式。這些方式都依靠人工進行特征提取，提取出的特征通常只針對特定數據集有效，識別準確率有限，在實際應用中表現欠佳（張毓等，2021）。近年來，隨著計算能力及數據量的提升，以卷積神經網絡為代表的深度學習算法在圖像分類、圖像識別、語義分割等細分領域中取得了較大進展。具有代表性的有AlexNet（Krizhevskyet al.，2012）、VGG（Simonyanet al.， 2014）、 GoogLeNet（Szegedyet al.，2015）、ResNet（Heet al.，2016）、DenseNet（Huanget al.，2017）、EfficientNet（Tanet al.，2019）等。在專門針對野生動物圖像識別的研究中，Gomez 等（2017）對Snapshot Serengeti 數據集中的26 種常見動物圖像制作成了4 個不同的數據集，測試了AlexNet、VGGNet、GoogLeNet 以及不同層數的ResNet 網絡，并在最壞情況下達到了35.4%的準確率，最好情況下達到了88.9%的準確率。劉文定等（2018）提出了全局—局部的雙通道VGG16 卷積，將數據集中的動物圖像利用目標檢測模型裁剪出來，將全局和局部圖像同時傳入到網絡中最后再對預測結果取均值，結果表明和VGG16 相比，5 種動物的預測準確率平均高了20%。Timm 等（2018）利用ImageNet 和iNaturalist 數據集對InceptionV3（Szegedyet al.，2016）模型進行預訓練，在2 000 張野生動物圖像上進行遷移學習，2 個訓練集訓練出的預訓練模型最終都達到了75%的準確率。Willi 等（2019）使用Snapshot Serengeti 數據集作為預訓練數據集在ResNet-18 上進行訓練，使模型在單一類別的準確率最高達到了92.7%。Xie 等（2019）使用SENet 進行增強特征提取，并與ResNet 的殘差模塊進行拼接構造出了SE-ResNet，在Snapshot Serengeti 數據集上SEResNet-101 比ResNet-101 平均準確率提升了6.4%。王柯力等（2018）針對傳統的水產動物識別問題中識別方式復雜、 準確率低等問題， 使用VGG16、InceptionV3、ResNet-50 網絡進行遷移學習后凍結前幾個卷積層參數，單獨對后幾層進行微調，并測試不同可訓練參數對模型的影響，使得3 個模型對水產品圖像的最高分類準確率達到97.4%。楊國國等（2017）結合GrabCut 算法對圖像中的昆蟲進行定位和分割，將AlexNet 進行優化，并利用優化后的AlexNet 結合顯著性分析對23 種茶園的主要害蟲進行識別，其比原始的AlexNet 識別準確率提高了至少3.2%。Guo 等（2019）構建出一種改進的Faster-RCNN（Renet al.，2015）網絡VCRPCN，使用RPN 中動物圖像和背景圖像提取圖像中動物位置的區域候選，將動物圖像與分類子網中的區域候選相結合來識別區域的類別。不僅解決了由于動物出現所造成的背景變化，還識別了圖像中潛在的動物區域并提取局部特征進行分類。何嘉（2019）應用了CycleGAN 技術將紅外相機夜間拍攝的黑白野生動物圖像進行上色處理，使模型對夜間野生動物圖像單一類別的識別準確率最高提升16%。邱志斌等（2021）建立了一種多卷積融合的神經網絡。利用遷移學習對AlexNet、ResNet、VGG16、InceptionV3共4 個模型進行訓練，再將分類的結果按不同權重系數進行加權，對88 種鳥類的識別準確率達到91.21%。

既有研究中已做了大量工作，但仍存在一些問題：其一，深度學習識別動物圖像需要大量的標記圖像，小規模數據集訓練的模型準確率不高。其二，公開的野生動物數據集大多都來自國外，數據集中包含的動物種類與國內常見動物存在差異，訓練出的模型無法很好地反映出對國內特定地區野生動物圖像的識別效果。基于上述問題，本研究采集并構建了北京市密云區的北京市級霧靈山自然保護區的野生動物圖像數據作為模型訓練、測試數據集，使模型輔助密云地區的國家級和北京市級野生動物保護及物種多樣性的研究。建立一種基于ResNeXt（Xieet al.，2017）的改進模型，通過修改殘差模塊，結合BlurPool（Zhang,2019）減少因動物出現在不同位置引發平移不變性丟失造成的誤判，再引入注意力機制SENet（Huet al.，2018）進一步提升模型對動物的特征提取能力，增強模型的分類準確率，改進模型可以對野生動物圖像進行高效、準確、快速的識別。

1 數據源

1.1 自建數據集

數據是由布設在北京市密云區的北京市級霧靈山自然保護區的30 個紅外相機于2014—2015 年拍攝的，在相關專家協助下，分為狍（Capreolus）、鳥、山羊（Capra）、松鼠（Sciurus）、豬獾（Arctonyx）、兔（Lepus）、豹貓（Prionailurus）、野豬（Sus）共8 個類別，圖像分辨率均為2 560×1 920。拍攝到的野生動物圖像中有國家二級保護動物豹貓，北京市一級保護鳥類紅嘴藍鵲（Urocissa erythrorhyncha）等。圖1 為紅外相機拍攝到的各類別野生動物圖片，圖2 為使用的紅外相機型號為獵科Ltl-6511，圖3 為紅外相機的布設位置。由于數據集中各類別圖像的數量差距較大，對數據集進行類別平衡調整。對于數量多的類別進行隨機抽樣，抽取出部分數據；數量少的類別使用平移、旋轉、翻轉、隨機噪聲、隨機擦除的方式將圖像數量擴充5 倍，調整后的數據集有2 172 張野生動物圖像，表1 為自建數據集各類別動物圖像的分布狀況。

表1 調整后的自建數據集各物種類別數量Tab. 1 Number of species in the adjusted self-built dataset

圖1 各類別野生動物圖像Fig. 1 Wildlife images of each category

圖2 ltl-6511 紅外相機Fig. 2 ltl-6511 camera trap

圖3 紅外相機布設位置Fig. 3 The location of camera traps

1.2 CCT 數據集

CCT（Caltech Camera Traps）數據集由布設在美國西南部的140 個紅外相機拍攝，數據集中圖像分為21 個類別。選取其中常見的14 個類別，所選類別有110 843張圖像，其中部分類別與自建數據集有重合，可用于檢驗模型的泛化能力。表2 為CCT 數據集中各類動物圖像分布，其中嚙齒類動物圖像中不含松鼠。

表2 CCT 數據集各物種類別數量Tab. 2 Set of species selected from CCT dataset

2 模型與訓練策略

2.1 ResNeXt 網絡

ResNeXt 是以ResNet 為基礎的改進網絡，其特點是將分組卷積引入ResNet 中，在做卷積操作時將卷積分為n個組，每一組都與輸入的特征圖做卷積，最后再將卷積的結果進行拼接。ResNeXt 的一個基本模塊如圖4 所示，對于輸入的特征圖將卷積核分為32 個組，每一組將輸入進1×1 的卷積將特征圖降至4 通道，之后使用3×3 卷積進行處理，最后用1×1 卷積將每一組特征圖的通道數升至256，再對每個組的結果進行拼接，得到的結果與殘差連接進行相加。

2.2 BlurPool

在神經網絡架構中，若輸入的圖像出現了平移，在最大池化下采樣和步長大于1 的卷積之后也會得到一個和之前差別很大的輸出，在很大程度上影響了模型判別的準確性。在野生動物圖像中，動物會出現在圖像中的不同位置，這種偏移給模型的判別增加困難。

為了度量圖像偏移的程度，引入了平移不變性（shift-invariance）的概念（Zhang, 2019），即輸入平移之后仍等于輸入，其定義如下：

對于步長為2 的最大池化（maxpooling）操作，將其分解為首先進行步長為1 的取最大值（max）操作，再進行步長為2 的下采樣（subsampling）操作。對拆分后的最大池化操作，中間增加了一層步長為1 的抗鋸齒操作（antialiasing）。如圖5 所示，抗鋸齒操作和下采樣操作在一起被稱為BlurPool。

圖5 抗鋸齒下采樣層Fig. 5 Antialiasing subsampling layer

在步長為2 的卷積中同樣可以使用BluePool 操作來維持平移不變性，就是將卷積（s=2）到激活函數的操作變為卷積（s=1）到激活函數，再將結果送入BluePool 中。

2.3 SENet

SENet 是一個能夠獲取到更多空間融合信息的結構。普通的卷積操作獲取到的特征是融合了感受野內的空間和通道信息的，而SENet 通過構建通道間的依賴關系，使其能夠獲取到野生動物圖像中不同通道的信息。圖6 是SENet 的模型結構。

圖6 SENet 結構Fig. 6 Structure of SENet

SENet 由Squeeze 過程和Excitation 過程組成。Squeeze 過程的主要目的是獲取全局特征，將輸入的特征圖進行全局平均池化，對每個通道進行壓縮。

Excitation 過程使用了2 個全連接層以及ReLU和Sigmoid 激活函數獲取到每個通道上的特征權值。最后將得到的通道上的權重與輸入的特征矩陣對應的通道進行相乘。

2.4 BS-ResNeXt 網絡設計

在拍攝到的野生動物圖片中經常會出現同一動物在圖片中不同位置的情況（圖7），但網絡對這種移動較為敏感，會破壞卷積的平移不變性。將圖像向下平移一個像素，卷積結果有30%的可能性發生變化，導致模型魯棒性不強（Azulayet al.，2018）。基于上文提到的結構，構建出一種改進的ResNeXt 網絡，增強對野生動物圖像的識別。通過在ResNeXt 的參殘差模塊中加入BlurPool 層來維持卷積的平移不變性，可以增加模型對移動中的動物的識別準確率，減少誤判，加強模型的魯棒性。之后在殘差模塊中嵌入SENet加強模型對各個通道的特征提取，模型可以更充分的學習到動物特征，使模型識別準確率繼續提升。

圖7 一個動物出現在圖像不同位置Fig. 7 An animal appears in different positions of image

圖8是BS-ResNeXt 的殘差模塊結構圖。輸入特征圖首先經過分組卷積進行特征提取，輸入BlurPool層進行抗鋸齒操作，維持卷積的平移不變性，之后進行Squeeze 過程也就是全局平均池化操作，再經過2個全連接層即Excitation 操作，將輸入特征圖與每個通道的激活值相乘使模型完成了對各個通道的權重的學習，最后再將殘差連接與SENet 的輸出相加。

圖8 BS-ResNeXt 殘差模塊結構Fig. 8 Structure of BS-ResNeXt block

根據上述分析，本研究改進的網絡整體結構如圖9。在每個殘差結構中，首先利用BlurPool 對照片中不同位置上的野生動物進行學習，再加入SENet 增強網絡對動野生物的特征提取能力，改進后的BSResNeXt-50 可以提取到更豐富的動物特征。

圖9 BS-ResNeXt-50 整體結構Fig. 9 Structure of BS-ResNeXt-50

2.5 訓練策略

2.5.1 余弦退火衰減 訓練模型時不同的學習率會影響模型收斂速度和識別準確率，不合適的學習率有一定概率使模型陷入局部最優解，動態調整學習率可使模型跳出局部最優解。余弦退火學習率（Loshchilovet al.，2016）采用熱重啟的方式，在學習率衰減到最小值后會突然增加再繼續衰減，讓模型跳出局部最優解。

余弦退火學習率公式如下：

式中，?max和?max是學習率的范圍，i表示第幾次重啟，Tcur是當自上一次重后前迭代的epoch 次數，Ti是第i次時的epoch 次數。

2.5.2 隨機增強策略 數據增強在提升模型的魯棒性上很有幫助，本文使用隨機增強（rand augment）（Cubuket al.，2020）策略進行數據增強。如圖10 所示，隨機增強使用了恒等變換（identity）、自動對比度（autoContrast)、平衡（equalize)、旋轉（rotate)、曝光（solarize)、顏色（color)、色彩分離（posterize）、對比度（contrast）、亮度（brightness）、銳化（sharpness）、X 方向錯切（shearX）、Y 方向錯切（shearY）、X 方向平移（translateX）、Y 方向平移（translateY）共14 種變換，訓練時隨機選擇其中的N 種方式對圖像進行變換。

圖10 14 種變換策略Fig. 10 14 transformation strategies

3 結果與分析

3.1 試驗環境及數據處理

本研究的試驗環境為：E5-2678 處理器、32GB 內存、RTX2080super 顯卡、Ubuntu20.04 系統、Python3.8環境，PyTorch1.8.1 框架。

試驗所使用的CCT 數據集和自建數據集均使用9∶1 分割訓練集和驗證集。使用隨機增強策略對數據集進行增強。訓練時使用Adam 優化器進行優化，批量大小為32。

3.2 不同模型改進方案的研究

試驗選擇ResNeXt-50 作為基礎網絡，設計3 種改進方案。第一種方案在原有的網絡中加入SENet，改進為SE-ResNeXt-50，增強模型特征提取能力。方案二將ResNeXt-50 中的最大池化層以及步長大于1 的卷積層使用BlurPool 改進為BP-ResNeXt-50，維持卷積的平移不變性。方案三同時加入SENet 和BlurPool，替換殘差模塊，構建出BS-ResNeXt50。試驗中4 個模型使用的數據集為自建數據集，使用10 折交叉驗證方式，選擇其中3 組數據進行試驗，迭代次數為50，學習率為0.000 2。

在3 次試驗過程中，ResNeXt-50 網絡的準確率達71.91%±0.15%，方案一SE-ResNeXt-50 及方案二BPResNeXt50 的準確率分別為75.16%±0.14%和73.74%±0.13%，方案三中聯合使用BlurPool 和SENet 的BSResNeXt-50 使準確率達78.04%±0.11%。此外3 組試驗結果偏差不大，說明數據集劃分較為合理。

表3為其中一次試驗結果，從表中可知，SE-NeXt-50 對于每個類別動物的識別準確率均有提升，但對于體型較大的野生動物識別準確率的提升更高，說明SENeXt-50 的增強特征提取對于體型較大的野生動物的效果更好。BP-ResNeXt-50 對于豬獾、鳥、狍、山羊類別的識別準確率提升超過2%。上述類別中，同種動物出現在相同場景的不同位置上的樣本較多，BPResNeXt-50 更擅長此類樣本的學習。BS-ResNeXt-50不但對于狍、山羊等體型較大動物的識別準確率有所增加，對于鳥、豬獾等中小類別的動物識別準確率也有明顯提升。

表3 不同改進方案對自建數據集各物種識別結果Tab. 3 Results of different enhancement schemes in self-built dataset

圖11是類激活特征熱力圖，從中可以看出ResNeXt-50 網絡可以提取出動物的特征，但獲取到的大多是局部特征，且有提取到無用信息的情況。使用BlurPool 改進的網絡其特征提取能力和ResNeXt-50網絡相差不大，但是b 組圖像中提取出了更多樹的特征，查看數據集發現該測試圖像在訓練集存在近似圖像，在學習時網絡誤認為樹和鳥為一體，由此可看出BlurPool 對于近似圖像的特征提取能力有增強，但容易學習到無用特征。使用SENet 改進的網絡增強了有效特征的提取能力，同時抑制了部分無效特征。同時使用BlurPool 和SENet 的改進網絡結合了二者的優勢，不但強化對動物整體的特征提取能力，同時也抑制無效特征部分的提取。

圖11 類激活特征熱力圖Fig. 11 Class activation feature heat map

3.3 不同學習率對模型的影響

為了使模型獲取更合適的學習率以達到更高的準確率，試驗采用了0.002、0.000 2 的固定學習率、起始為0.000 2 而每過15 輪學習率降低為原來一半的分段學習率、起始為0.000 2 的余弦退火學習率，探究不同學習率對BS-ResNeXt-50 的影響。

由圖12 可知，學習率為0.002 時，模型的準確率為73.67%，與0.000 2 的學習率相差4.37%。學習率為0.000 2 時最終準確率達到78.04%，且準確率曲線一直高于學習率為0.002 時的準確率曲線，0.000 2 學習率比0.002 學習率更適合數據集。使用初始學習率為0.000 2的余弦退火學習率時，26 輪之前與固定0.000 2 學習率的準確率近似，但是在26 輪之后準確率上升的幅度更大，最終準確率達到了81.54%，比固定的0.000 2學習率高了3.5%。在20 輪之后，固定學習率模型的準確率上升遲緩，使用分段學習率后可以使模型準確率進一步上升，但由于學習率下降不夠靈活，導致分段學習率模型的最終準確率仍低于余弦退火模型。

圖12 不同學習率下的BS-ResNeXt-50 的準確率變化Fig. 12 Accuracy variation curves of BS-ResNeXt-50 of different learning rate

不同的學習率對模型的預測準確率影響很大，分段學習率相比固定學習率會提高模型準確率，但效果有限。起始為0.000 2 的余弦退火學習率比固定0.002的學習率最終準確率提高7.87%，使用余弦退火學習率可以使模型在后期的準確率進一步提升，讓模型可以達到更好的效果。

3.4 不同數據集下的不同模型結果分析

為了探究模型在不同數據集上的泛化效果，選擇CCT 數據集作為訓練和測試的數據集，使用BSResNeXt-50、 ResNeXt-50、 VGG16、 EfficientNet-B0、InceptionV3、DenseNet-121 進行試驗。所有的模型均迭代100 個epoch，優化器使用Adam，學習率采用起始為0.000 2 的余弦退火學習率。

4 個模型的準確率曲線如圖13 所示，VGG16 的準確率達到85.5%，即便使用余弦退火學習率，后期準確率也上升較平緩，說明模型的特征提取能力已飽和。EfficientNet-B0 的準確率最終為90.23%，學習率曲線一直無明顯震蕩，說明模型各項參數的選取都較合適。InceptionV3、 ResNeXt-50、 DenseNet-121 和 BSResNeXt-50 分別達到91.38%、93.12%、93.3%和95.07%的準確率。InceptionV3、ResNeXt-50 和BS-ResNeXt-50 在前期震蕩較明顯，而DenseNet-121 準確率在第10 輪到50 輪上下波動，且無明顯上升趨勢，都說明了學習率對模型有較大影響。隨著迭代次數增加，學習率逐漸變化，模型趨于收斂。

圖13 不同模型的準確率變化曲線Fig. 13 Accuracy variation curves of different models

6 個模型預測各物種的準確率見表4，BSResNeXt-50 在2 個數據集中的表現均優于其他對比的模型。在“鹿”類別的識別準確率最高，達到了98.6%，而“臭鼬”類別的識別準確率最低，僅達到了88.9%。結合數據集分析可知，“鹿”類別不但數據量較大，且物種體積也較大，在6 個模型上的準確率都較高，而“臭鼬”類別不但照片數量較少，且該物種體積也比較小，給模型的準確判斷造成了困難，在4 種模型上的識別準確率都偏低。雖然“負鼠”類別照片數量是最多的，但是其在各個模型的準確率都不是最高的，在BS-ResNeXt-50 上的準確率不及“奶牛”、“貓”等數量少于它的類別，說明除了照片數量，物種體積對模型的學習有較大影響。

表4 不同模型對CCT 數據集各物種的識別結果Tab. 4 Classification results of various species by different models in CCT dataset

4 討論

本研究根據野生動物圖像環境信息復雜、相同動物在同一地區出沒等特點，使用SENet 以及BlurPool對ResNeXt-50 進行改進。ResNeXt-50 與SENet 相結合，讓網絡學習到了更多的野生動物體態特征，使網絡對野生動物圖像識別的準確率有明顯的提升，Xie等（2019）也得出了相似的結果。此外，使用BlurPool后也使得ResNeXt-50 更好地維持了卷積的平移不變性，對野生動物圖像識別的效果更好。

相比于ResNeXt-50，改進后的BS-ResNeXt-50 提取到的特征更加完整、準確，對于密云地區野生動物識別準確率提升明顯，可以應對密云地區日益增長的野生動物圖像自動識別需求，輔助密云地區物種多樣性研究。在公開數據的測試中，ResNeXt-50 的識別準確率也高于InceptionV3、DenseNet-121 等通用模型，說明ResNeXt-50 有較好的泛化能力，可滿足未來更多地區、更多類別野生動物圖像的自動識別工作。

本研究中自建數據集目前只收集了8 種野生動物，且有數據傾斜現象，部分種類的圖像數量較少，相比于其他大規模數據集的數據量還遠遠不夠。應更有針對性的將紅外相機布設在動物常出沒的地區，獲取更多野生動物圖像。

5 結論

本研究建立了包含8 種野生動物圖像的數據集，構建了ResNeXt-50 及3 種改進模型SE-ResNeXt-50、Blur-ResNeXt-50、BS-ResNeXt-50 對自建數據集進行識別，BS-ResNeXt-50 的準確率可達到78.04%±0.11%。測試了不同學習率情況下對模型的影響，最終在自建數據集上達到了81.54%的準確率，說明了余弦退火學習率的有效性。在CCT 數據集上對比了VGG16、EfficientNet-B0、InceptionV3、DenseNet-121、ResNeXt-50、BS-ResNeXt-50 模型，BS-ResNeXt-50 得到了95.07%的準確率，且在每個類別上的準確率也均高于其他模型。BS-ResNeXt-50 可以快速準確的對野生動物圖像進行識別，在不同野生動物圖像數據集上也有很好表現，泛化能力較好，結合紅外相機自動上傳的數據，可以有效地對其進行識別。BS-ResNeXt-50 還可對保護區內動物圖像進行監控和管理，輔助動物數據庫的構建和維護，最終服務于生物多樣性保護。

現實世界中的動物種類龐大，不同地區的動物種類也不相同，部分動物種間區別也很大。所以需要繼續收集更多地區的野生動物圖像數據，進一步對野生動物種間進行識別，使訓練出的模型有更大應用價值。