基于無人機視角下的PPYOLOE-IBN 目標檢測算法

摘要：為提升無人機視角下車輛檢測的性能，該實驗利用無人機設備，采集地面和高空視角下的車輛視頻數據。提出了PPYOLOE-IBN的檢測算法，將主干網絡淺層結構中BN層（Batch Normalization Layer） 的一半通道結構替換為IN層（In?stance Normalization Layer） ，降低了光照、視角等客觀因素的影響。在自建的車輛數據集上，算法的平均精度（Mean Aver?age Precision，mAP） 達到了81.8%，相比改進前的PPYOLOE算法提升了2.6%；與以Transformer為架構的RT-DETR算法相比，高出3.3%。最后在公開數據集UA-DETRAC上作進一步對比，驗證算法的有效性。

關鍵詞：無人機；小目標檢測；PPYOLOE

中圖分類號：TP399 文獻標識碼：A

文章編號：1009-3044（2024）31-0005-03

開放科學（資源服務）標識碼（OSID） ：

0 PPYOLOE-IBN 目標檢測算法

無人機視角下，遠距離處的目標往往非常小，這對算法在小目標檢測方面提出了更高的要求。為更好地提取車輛的外觀信息，對現有的PPYOLOE方法進行改進，提出PPYOLOE-IBN目標檢測算法。PPYOLOE是一種高效的目標檢測模型，結合了YOLO（You Only Look Once） 的快速檢測能力和PaddlePaddle 優化技術，用于實現實時且準確的目標識別。PPYOLOE 的主干網絡如圖1 所示，主要由多個CS?PResStage（CSPRes） 結構組成。

CSPRes的具體結構如圖2，主要是結合了CSP3[1]（Cross Stage Partial Network） 的模型思想，利用RepVGG模塊[2]對傳統殘差網絡ResNet[3]進行改進的一種網絡結構。其中具體的ResBlock 模塊和RepVGG模塊如圖3所示。

由圖3倒推可知，BN層是CSPRes網絡結構的重要組成部分。其在網絡中對整個批次的數據進行歸一化，如圖4（a） 所示。然而BN易受光照等因素[4]的干擾，若大量采用會影響網絡的特征提取及泛化能力。

而如圖4（b） 所示的IN[5]（Instance Normalization） 層則通過對單個樣本的同一通道特征進行歸一化[6]，可以降低圖像中顏色、光照、視角等因素的干擾。因此，將部分BN替換為IN，不僅可以彌補BN不足，減少外部因素干擾，還能夠保持網絡的泛化能力。在維持網絡性能的同時，增強網絡對環境變化的適應性。

與此同時，在淺層神經網絡中，由于卷積運算較少，網絡學到的是低層次的圖像特征，這些特征更接近原始圖像信息，有助于保留更多的原始信息，但也使得模型對光照、噪聲等外部因素更為敏感[7]。具體如圖5所示，淺層網絡的感受野較小，Layer2每個神經元只能覆蓋Layer1上3×3區域，當面臨光照變化或噪聲影響時，這些局部特征容易受到干擾，導致模型的穩定性下降。同時學習能力也相對較弱，難以對復雜的圖像變化進行魯棒性處理。相反，深層神經網絡通過多次卷積和池化操作逐漸提取高層次的抽象特征，具有更大的感受野，如圖Layer3的每個神經元不僅能夠覆蓋Layer2中相同的3×3區域，還能夠間接通過Layer2感知到Layer1上更大的5×5區域。從而能夠捕捉到圖像的全局結構和抽象模式，可以學習到更復雜、抽象的特征表示，從而對光照、噪聲等外部因素具有一定的魯棒性。

綜上，為避免大量使用BN層和在網絡淺層帶來的干擾和影響。本文提出了一種融合了批歸一化（BN） 和實例歸一化（IN） 的方法，改進了CSPRepResNet 中的CSPRes結構，如圖6所示。在主干網絡的淺層結構塊中，將原先CSPRes結構中卷積操作后的通道數一半替換為IN，其余部分保持不變（改動部分用紅色框標注）。改進后多個疊加而成的整體稱為CSPRepResNet-ibn，作為Backbone與Neck、Head等部分構成的整體結構稱為PPYOLOE-IBN，如圖7所示。

1 評價指標與實驗環境

目標檢測模型的性能評估主要依靠多個評價指標，其中，類別平均精度mAP是核心評估指標之一。mAP通過整合不同類別上的精確度與召回率曲線，進而計算得到的曲線下面積（AUC） ，以此作為衡量模型在廣泛類別上綜合性能的標準。mAP值越接近于1，表明模型的性能越佳。其計算公式如式（1） 所示，式中：k 為類別數，APi 代表第i 個類別的平均精度。speed為檢測速度，即每幀檢測耗時。

PPYOLOE-IBN 實驗采用paddle深度學習框架，以ubantu22.04.3 作為操作系統，采用4 張型號為NVIDIA GeForce RTX 2080Ti 的顯卡并行訓練，以CSPResNetb_s_pretrained.pdparams模型作為網絡的初始化權重，實驗的初始學習率為0.01，動量為0.9，每迭代10epoch保存一次訓練模型，共計20次。

2 數據集構建

運用DarkLabel軟件對無人機采集得到的數據進行標注。在此過程中，通過調整前后幀的圖片間隔增加圖片之間的差異性，有助于防止訓練過程中出現訓練速度緩慢和泛化能力變差的情況。最后將標注得到的17 931張xml文件按8∶1∶1 比例進行分配，其中訓練集14 345 張，驗證集1 794 張，測試集1 794 張，數據集類別為car、van、truck。

3 實驗結果

為了驗證本文提出車輛檢測方法的有效性，在自建數據集上對比其他常見主流算法的性能。（其余算法以上述同樣的實驗設置，在Pytorch框架下進行訓練和驗證），為防止偶然因素造成的實驗誤差，各進行3次實驗取平均值進行對比，最終的結果如表1所示。

由表1可知，本文提出的檢測算法Map達81.8%，均高于其他目標檢測算法。其中，與PPYOLOE檢測速度相近，Map則高出2.6%；與以Transformer為架構的RT-DETR檢測算法相比，Map高出3.3%，但由于參數量變大的原因，檢測時間也相應變大；與CSPDark?net-53為主干網絡的YOLOv5算法相比提高5.9%，而Fater-RCNN和SSD的檢測性能較差，mAP僅為66.4% 和70.2%，精度無法滿足要求。圖8從左到右各列分別為RT-DETR、PPYOLOE以及本文算法在同一幀下的測試效果對比圖。實驗結果表明，RT-DETR對小目標的檢測效果不佳，無法進行準確的識別，效果不及PPYOLOE以及本文算法。本文算法與PPYOLOE 相比，對目標的檢測更加穩定，不僅在置信度方面也有所提升，同時對于遠處小目標，也能夠檢測出來，更有助于無人機視角下車輛的檢測。

為作進一步驗證，在公開數據集UA-DETRAC上進一步對比了性能較好的RT-DETR、PPYOLOE以及本文算法，實驗結果如表2所示。

4 結束語

本文提出檢測算法PPYOLOE-IBN。將主干網絡淺層結構中BN層的一半通道結構替換為IN層，降低了模型因視角差異大、光照等因素的干擾。在自建的數據集下進行對比試驗，mAP達到了81.8%，為作進一步驗證，在公開數據集UA-DETRAC上進一步對比了性能較好的RT-DETR、PPYOLOE 以及本文算法。以上實驗結果表明，本文算法提升了對遠距離小目標車輛的檢測能力，更適用于無人機視角下的車輛檢測。

參考文獻

[1] WANG C Y，MARK LIAO H Y，WU Y H，et al.CSPNet：a newbackbone that can enhance learning capability of CNN[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Seattle， WA， USA. IEEE，2020：14-19.

[2] DING X H，ZHANG X Y，MA N N，et al.RepVGG：making VGGstyleConvNets great again[C]//2021 IEEE/CVF Conference onComputer Vision and Pattern Recognition （CVPR）. Nashville，TN，USA.IEEE，2021：20-25.

[3] HE K M，ZHANG X Y，REN S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vi?sion and Pattern Recognition （CVPR）. Las Vegas， NV， USA.IEEE，2016：27-30.

[4] 蘇育挺，陸榮烜，張為.基于注意力和自適應權重的車輛重識別算法[J].浙江大學學報（工學版），2023，57（4）：712-718.

[5] PAN X G，LUO P，SHI J P，et al.Two at once：enhancing learning and generalization capacities via IBN-net[M]//Lecture Notes inComputer Science. Cham： Springer International Publishing，2018：484-500.

[6] WU Y X，HE K M.Group normalization[M]//Lecture Notes in Computer Science. Cham： Springer International Publishing，2018：3-19.

[7] 周飛燕，金林鵬，董軍.卷積神經網絡研究綜述[J].計算機學報，2017，40（6）：1229-1251.

【通聯編輯：朱寶貴】

基金項目：中央引導地方科技發展專項（2022L3007） ；福建省自然科學基金（2020J05029） ； 福建省社會科學規劃項目（FJ2021C069）