面向擁擠行人檢測的改進DETR算法

樊 嶸，馬小陸

安徽工業大學 電氣與信息工程學院，安徽 馬鞍山 243002

行人檢測任務是目標檢測的一個分支領域，在安保監控、智能駕駛以及交通監控領域具有重要應用價值。實際行人檢測任務中，待測場景多為擁擠行人場景，場景中行人目標尺寸較小且相互間存在大量遮擋會給檢測帶來一定挑戰。主要表現在三個方面：（1）擁擠場景中行人密度較大，行人目標之間易產生相互遮擋現象。使得具有完整行人特征的目標缺失部分特征信息，影響模型的特征提取效率；（2）遮擋現象在減少目標特征的同時，會在行人的表征特征中引入噪聲干擾，使模型難以對重要特征進行有效提純；（3）擁擠場景下行人目標個數較多，單個目標的分辨率較低特征信息較少，易使模型產生漏檢現象。

針對擁擠行人檢測場景中部分被遮擋目標的漏檢問題，Xu等[1]提出了基于RCNN的提取行人特定部位信息的檢測算法，通過對人體關鍵點及部位進行檢測間接實現對行人目標的檢測。鄒梓吟等[2]通過在骨干網絡中引入注意力模塊，提出了一種基于注意力機制的特征提取增強檢測算法。李翔等[3]提出了一種改進YOLO-v3算法，通過對損失函數及特征融合進行優化提升了對遮擋行人的檢測性能。孫旭旦等[4]通過對被遮擋行人特征進行語義增強，減少了檢測場景中被遮擋行人的漏檢。謝斌紅等[5]通過在網絡中加入殘差密集網絡，實現了淺層與深層特征的直接融合，減少了被遮擋行人特征的丟失。Hou等[6]采用多相機視角綜合判斷減小了遮擋對行人檢測的影響。以上方法雖然有效提升了模型對遮擋目標的檢測能力，但面向含有大量小目標行人的擁擠行人檢測場景時仍易產生漏檢。

針對擁擠行人檢測場景中部分小目標行人的漏檢問題，邵香迎等[7]通過構造具有超分辨率思想的特征細化模塊，對小目標特征信息進行放大重構，緩解小目標漏檢問題。Hong 等[8]利用注意力機制、尺度增強模塊、尺度選擇模塊構建了一種用于小目標行人檢測的尺度選擇金字塔網絡，優化小目標檢測的效果。Zhao等[9]通過將不同尺度的特征進行融合，有效緩解了小目標特征信息不足的問題。Kim 等[10]通過生成不同尺度的特征并將其擴展到統一尺度聚合上下文信息，有效緩解了小目標特征信息不足的問題。以上方法雖然有效提升了對小尺寸目標的檢測能力，但主要通過特征融合與特征重構操作增強小目標的特征信息，當運用于含有大量噪音的密集遮擋行人檢測場景時，檢測效果提升有限。

為有效解決上述問題，本文在注意力模型DETR[11]的基礎上進行了以下三點改進：

（1）采用改進的EfficientNet[12]骨干網絡作為特征提取網絡，改進后的EfficientNet骨干網絡融入了通道空間注意力模塊[13]（convolutional block attention module，CBAM），對特征圖中的重要通道信息與空間信息有較高的提取與提純效率。

（2）采用可變形注意力編碼器[14]替代注意力編碼器[15]對多尺度特征圖進行注意力編碼，使算法可以自然聚合多尺度特征，增強對小目標物體的檢測能力。

（3）訓練時采用Smooth-L1 結合GⅠOU 作為損失函數，提升訓練效率并使模型可以收斂至更高的精度。

最后，在當前具有一定說服力且含有大量小目標行人與遮擋目標行人的Wider-Person 擁擠行人數據集上與現有的部分常用行人檢測算法進行了對比實驗。實驗結果表明，改進DETR算法具有較強的擁擠行人檢測能力。

1 改進DETR檢測算法

本文提出的改進DETR算法包含三個部分，分別是進行行人檢測的改進的注意力檢測模塊、將骨干網絡輸出特征進行預處理并輸出多尺度特征圖的頸部網絡以及進行特征提取的改進的EfficientNet 骨干網絡。進行行人檢測時，骨干網絡對送入的RGB 圖像進行特征提取并將網絡第6、7、8 層輸出的特征圖傳入頸部網絡。頸部網絡將得到的特征圖轉化為通道數均為256，尺寸不變的多尺度特征圖。注意力檢測模塊給頸部網絡轉化的多尺度特征圖加注可學習的位置編碼后送入可變形注意力編碼器（deformable transformer encoder）進行注意力編碼，編碼結束后由解碼器（transformer decoder）進行解碼并輸出檢測錨框。改進DETR 網絡結構圖如圖1所示。

圖1 改進DETR網絡結構圖Fig.1 Ⅰmproved DETR network structure diagram

1.1 改進的注意力檢測模塊

DETR采用注意力檢測模塊進行檢測結果輸出，但注意力檢測模塊難以有效利用含有較多小目標信息的多尺度特征圖，導致對小目標行人的檢測效率較低。針對此問題本文采用可變形注意力編碼器（deformable transformer encoder）對DETR 注意力檢測模塊進行改進。DETR注意力檢測模塊結構，如圖2所示。

圖2 DETR注意力檢測模塊Fig.2 DETR transformer detector module

1.1.1 注意力編碼器

注意力編碼器（transformer encoder）為注意力檢測模塊的編碼結構，加注可學習的位置編碼特征圖輸入注意力編碼器后，編碼器會計算特征圖中的采樣點與其他所有像素點之間的注意力權重，進而構建全局特征圖。其與注意力解碼器（transformer decoder）結合使模型擁有了全局建模能力。利用全局建模能力模型可以將目標檢測問題轉化為集合預測問題，在輸出檢測結果時不會輸出冗余的預測框，避免了使用對檢測性能影響較大的非極大值抑制后處理模塊。并且由于使用了注意力檢測模塊，在輸出檢測結果時模型會聚焦于特定的重要特征，緩解噪聲對目標檢測的干擾，使得模型可以在缺失部分目標特征的前提下完成遮擋目標檢測[11]，因而采用注意力檢測模塊的模型可以較好地應用于遮擋目標檢測任務。

1.1.2 可變形注意力編碼器

可變形注意力編碼器與注意力編碼器一樣擁有特征編碼能力，與解碼器結合使網絡保留了全局建模能力。不同于注意力編碼器，可變形注意力編碼器僅計算采樣點與其附近部分（由模型訓練得到）像素點之間的注意力權重，使模型在保留性能的同時降低了計算量，且可變形解碼器可以自然聚合不同尺度的特征圖，使模型在不使用特征金字塔[16]（feature pyramid network，FPN）結構的情況下也能有效地利用骨干網絡提取的多尺度特征圖，進而減少小目標語義信息在下采樣過程中的損失，提升對小目標物體的檢測性能。本文采用可變形注意力編碼器對注意力檢測模塊進行改進，使模型可以有效利用多尺度特征圖。采用可變形注意力編碼器的注意力檢測模塊結構，如圖3所示。

圖3 采用可變形注意力編碼器的注意力檢測模塊Fig.3 Attention detector with deformable attention encoder module

圖3中，Neck層輸出的多尺度特征圖按位置添加可學習的位置編碼后送入可變形注意力編碼器進行注意力權值更新，送入的多尺度特征圖通過三個全連接層分別轉化為像素點注意力權重W′m x，注意力偏移量?Pmlqk以及注意力權重系數Amlqk。其中注意力偏移量為當前參考點與其附近像素點進行偏移量計算后得出的與當前參考點相關聯的像素點的位置偏移量，注意力權重系數為與當前參考點相關聯的像素點所擁有注意力權重值。當可變形注意力編碼器關注到一個參考素點后，通過注意力偏移量計算與當前參考點關聯的所有像素點，并將這些像素點結合其對應的注意力權重與注意力權重系數更新當前參考點的注意力權值，進而完成對所有像素點的全局注意力權重編碼。完成全局注意力權重編碼的特征圖被送入解碼器后直接輸出檢測結果。多頭可變形注意力定義如式（1）所示：

其中，zq為輸入的原始特征，p?q為當前參考點的歸一化坐標，x為特征圖編號，Wm為多頭注意力，m為注意力編號（本文中m最大值為8），l為特征金字塔的維度編號，k為當前采樣點編號。

1.2 改進的骨干網絡

采用可變形注意力編碼器的DETR算法已經具備有效利用多尺度特征圖的能力，為了給可變形注意力編碼器提供高效的多尺度特征圖，本文采用改進的Efficient-Net 骨干網絡代替DETR 原有的ResNet-50 骨干網絡進行特征提取工作。

1.2.1 基礎網絡ResNet-50骨干網絡

DETR基于經典骨干網絡ResNet-50[17]搭建，ResNet-50系列網絡引入殘差結構緩和了深度神經網絡在訓練時產生的梯度消失問題，但ResNet-50 系列網絡采用增加網絡模塊層數的方式提升網絡性能，雖然獲得了較好的特征提取能力，但其本身參數量較大且堆疊層數較深，難以對信息量較少的被遮擋目標特征進行有效提取并為后續編碼網絡提供高效的多尺度特征圖。

1.2.2 基礎網絡EfficientNet骨干網絡

EfficientNetB0-B7 系列骨干網絡通過自適應神經架構搜索[18]（neural architecture search，NAS）得到，其中最小的EfficientNet-B0 骨干網絡已不到ResNet-50 骨干網絡四分之一的參數量，在ⅠmageNet 分類任務上領先ResNet-50約1%的TOP1準確率。EfficientNet骨干網絡的核心模塊為MBConv 模塊，此模塊由深度可分離卷積[19]（depthwise separable convolution）連接壓縮與激勵模塊[20]（squeeze and excitation，SE）并最終通過Swish激活函數構成。在MBConv模塊的作用下，EfficientNet骨干網絡在特征提取階段實現了對重要通道特征的高效提純。

1.2.3 通道空間注意力模塊

實際檢測任務中，目標間的空間信息是檢測被遮擋目標的重要依據，而在卷積過程中，特征圖尺寸逐漸減小，目標間的空間信息也因此而逐漸貧乏。為了更好地對空間信息進行提純進而提升算法對遮擋目標的檢測性能，本文采用通道空間注意力模塊替換MBConv模塊中的壓縮與激勵模塊。

通道空間注意力模塊是一種輕量級卷積注意力模塊，它會依次計算通道與空間兩個維度的注意力圖，并將注意力圖與特征圖相乘以進行自適應特征優化[21]。張宸嘉等[22]針對5個同型號電臺輻射源信號作為數據集進行仿真實驗，利用ECA-Net[23]、SE-Net、SK-Net[24]、ResNeSt[25]、CBAM、DANet[26]、PAFNet[27]等7 種不同注意力模塊，在相同網絡條件下對數據集進行分類識別，測得通道空間注意力模塊的效果最優。通道空間注意力模塊結構圖，如圖4所示。

圖4 通道空間注意力模塊Fig.4 Convolutional block attention module

由于現有的一些加速器無法充分支持深度可分離卷積，導致在淺層網絡中使用包含深度可分離卷積的模塊可能降低網絡工作效率[28]，為了減輕深度可分離卷積對網絡效率的影響并有效利用特征圖中的空間信息，本文設計了融合通道空間注意力模塊且包含深度可分離卷積的CBAMConv模塊以及不包含深度可分離卷積的Fused-CBAMConv模塊。兩模塊結構如圖5和圖6所示。

圖5 CBAMConv模塊Fig.5 CBAMConv module

圖6 Fused-CBAMConv模塊Fig.6 Fused-CBAMConv module

1.2.4 改進的EfficientNet骨干網絡

為了防止在淺層網絡中出現過多的深度可分離卷積影響網絡的檢測效率，本文將EfficientNet 骨干網絡的前4個層級模塊替換為Fused-CBAMConv模塊，最后3個層級模塊替換為CBAMConv模塊。以輸入圖像為3通道分辨率300×300的RGB圖像為例，改進的Efficient-Net骨干網絡參數，如表1所示。

表1 改進的EfficientNet骨干網絡參數Table 1 Ⅰmproved EfficientNet backbone network parameters

1.3 損失函數的優化

由于本文僅針對行人進行檢測與定位，在檢測階段屬于二分類問題。因此本文將GⅠOU[29]損失函數與Smooth-L1損失函數結合作為回歸損失，對檢測邊框進行預測回歸。

GⅠOU 損失函數考慮到了兩框的非重疊區域，可以有效反映出兩框的重疊情況，當兩框不重疊時也可以返回梯度便于優化。GⅠOU定義如式（2）所示：

式中，A表示預測框面積，B表示真實框面積，C表示能同時包住A與B的最小方框面積。

Smooth-L1損失函數結合了L1損失函數與L2損失函數的優點。模型的前50輪訓練中錨框與標定框的數值差距較大，Smooth-L1可以很好地對反向傳播梯度進行抑制，避免梯度爆炸；而在最后50 輪訓練中，錨框與標定框的數值差距較小，此時也可以繼續返回梯度使模型進一步收斂到更高精度[30]。其定義如式（3）所示：

式中，bσ(i)表示第i個索引的標定框，表示第i個索引的錨框。

Smooth-L1 損失函數在計算損失時僅使用了錨框與標定框的橫縱坐標值及長寬數值，無法描述錨框與標定框之間是否存在包含關系。針對此問題，在計算回歸損失時引入GⅠoU損失函數計算錨框與標定框之間的重疊損失。通過將以上兩種損失函數融合作為本文的回歸損失，使得模型的訓練效率得到提升。

2 實驗結果與分析

2.1 實驗數據集

本文在已公開的Wider-Person[31]擁擠場景行人檢測數據集與USC 行人檢測數據集上，對本文模型進行實驗驗證。Wider-Person數據集是室外行人檢測基準數據集，包含13 382張圖片，共計40萬個不同遮擋程度的人體目標，圖像來源于多種場景。本文選擇取了數據集中給出標簽的9 000張圖片按8∶2劃分為訓練集與驗證集進行對比實驗。USC 行人檢測數據集中圖像大多來源于監控視頻，共包含358 張圖片，共計816 個行人目標，存在少量遮擋目標。本文將358 張圖像全部重新標注后按8∶2劃分為訓練集與驗證集進行消融實驗。

由于采用transformer 編碼器的模型對訓練資源需求量較大且收斂較慢，為了便于模型的訓練與性能檢測，消融實驗階段使用圖片體量較小的USC 行人檢測數據集，驗證各個改進模塊的有效性；橫向對比實驗階段使用較為龐大的Wider-Person行人數據集，驗證本文算法在小目標與遮擋目標檢測中的性能優越性。

2.2 實驗設備與評價指標

本文在運行內存32 GB，Ryzen5-3600X 處理器，NVⅠDⅠA TeslaP40顯卡的硬件平臺上進行模型訓練，運行庫版本為CUDA11.6，軟件環境為Pytorch1.12.0 與MMDetection[32]。為了更好地與其他檢測網絡進行性能與體量對比，本文采用平均精準度（average precision，AP）來衡量模型檢測精度，平均精準度ⅠoU閾值取0.5以及0.5~0.95，分別記作AP50與AP50：95。為了進一步驗證本文對小目標的檢測性能，采用MSCOCO[33]數據集中的評價APs 來衡量對像素點小于32×32 的小目標的檢測性能，ⅠoU 閾值取0.5~0.95。采用GFLOPS 衡量模型的計算量。

2.3 消融實驗

為驗證本文所提改進模塊是否有效，設置了消融實驗。為便于性能對比，每組實驗模型僅替換DETR原模型的對應模塊。每組模型在USC行人檢測數據集上進行300 輪訓練。由于USC 行人檢測數據集包含少量遮擋行人及小目標行人，故使用AP50與AP50：95作為模型的性能衡量指標。所有實驗組均選擇Adam 優化器進行優化，學習率為0.000 1，實驗編號與結果如表2所示。

表2 消融實驗編號與結果Table 2 Ablation experimental number and results

表2 中實驗DETR 為使用ResNet-50 骨干網絡以及注意力編碼器的DETR原模型及其實驗結果，對比實驗DETR與實驗A可知，可變形注意力編碼器通過聚合多尺度特征圖有效提升了模型檢測精度；對比實驗A與實驗B 可知，EfficientNet 骨干網絡相較于ResNet-50 骨干網絡有更高的特征提取效率，有效增加了模型檢測精度；對比實驗B 與實驗C 可知，融入通道空間注意力模塊的改進的EfficientNet骨干網絡相較于EfficientNet骨干網絡有更高的特征提純效率，進一步提升了網絡檢測精度；對比實驗C 與實驗D 可知，優化后的損失函數使網絡進一步收斂至更高的檢測精度。以上結果表明所提改進方法均可有效提升DETR模型的檢測精度

2.4 橫向對比實驗

將本文算法與部分常用行人檢測模型進行對比實驗。每個模型在Wider-Person 擁擠場景行人數據集上進行200 輪訓練，由于Wider-Person 行人檢測數據集含有大量遮擋目標行人與小目標行人，故使用AP50、AP50：95與APs50：95作為模型的性能衡量指標。所有實驗組均使用Adam 優化器進行優化，學習率為0.000 1，實驗結果如表3所示。

表3 性能對比實驗結果Table 3 Performance comparison experiment results

由表3 可知，在密集行人檢測場景中，本文的常規檢測精度與小目標檢測精度均高于YOLO-x 以及YOLO-v5等常用行人檢測算法。

為了更好地對比本文與DETR原模型的檢測效果，本文在圖7中可視化了DETR原模型以及本文模型在擁擠行人場景中的檢測效果，左側為DETR 模型檢測效果，其中存在較多漏檢情況，右側為本文檢測效果，其中存在較少漏檢情況。本文模型可以較好地應用于擁擠行人檢測任務。

圖7 檢測效果對比Fig.7 Comparison of detection results

3 結束語

本文以DETR 作為基礎框架，提出了改進DETR 檢測算法。采用改進的注意力檢測模塊使模型可以聚合多尺度特征圖，有效提升了模型對小目標及被遮擋目標的檢測能力。采用改進的EfficientNet 骨干網絡作為特征提取網絡，提升模型對重要特征的提取能力以及提純效率，提高了模型的檢測精度。訓練時采用由Smooth-L1與GⅠoU結合構成的損失函數，使模型可以進一步收斂至更高精度。

本文在Wider-Person 密集行人檢測數據集中檢測精度高于YOLO-x 與YOLO-v5 等常見行人檢測算法。雖然采用注意力檢測結構的算法在遮擋目標與小尺度目標的檢測中更有優勢，但使用此結構的模型需要較多的計算資源。在本文單GPU實驗平臺及數據集上對改進DETR 算法進行200 輪訓練需要約145.6 小時，是YOLO-v5 算法消耗時間的5.4 倍。如何降低注意力檢測結構算法所需訓練資源并提升其訓練效率，仍是未來的研究重點。