基于全局信息的目標檢測標簽分配方法

張培培　呂震宇

摘要： 隨著深度學習框架的發展，新的目標檢測算法也不斷被提出，如一階段、二階段檢測模型等，它們很好地提高了檢測速度、解決了不同尺度目標檢測的問題，但對于交疊、遮擋等問題，仍沒能很好地解決。造成該問題的原因之一就在于模型訓練期間，標簽分配工作沒有做好。針對該問題，提出基于全局信息的目標檢測標簽分配方法，該方法在模型訓練階段，利用指派方法，根據損失函數，建立全局最優的標簽分配數學模型，給出了該模型與其他目標檢測模型的融合方式，以及該方法在目標檢測過程中所起到的作用。將該模型與常規的目標檢測模型相融合，進行目標檢測，實驗結果表明，在有交疊、遮擋等復雜檢測場景下，融合該方法的檢測模型，其精確率均優于沒有使用該方法的模型。

關鍵詞：

目標檢測;標簽分配;指派模型;深度學習

DOI：10.15938/j.jhust.2022.04.005

中圖分類號： TP391.41;TP18

文獻標志碼： A

文章編號： 1007-2683（2022）04-0032-07

Target Detection Label Assignment Method Based on Global Information

ZHANG Pei-pei，L? Zhen-yu

（College of Management ， North China University of Science and Technology， Tangshan 063000， China）

Abstract：With the development of deep learning framework， new object detection algorithms have also been proposed， such as first-stage and two-stage detection models， which have improved the detection speed and solved the problem of object detection at different scales， but they have not yet been well solved for overlapping， occlusion and other issues. One of the reasons for this problem is that during model training， label assignment is not done well. Aiming at this problem， this paper proposes a target detection label allocation method based on global information， which uses the assignment method to establish a global optimal label allocation mathematical model based on the loss function in the model training stage， and gives the fusion mode of the model with other object detection models， and the role played by the method in the process of object detection. The experimental results show that the detection model of the fusion method is better than that of the model that does not use the method under the complex detection scenarios such as overlapping and occlusion.

Keywords：object detection; label assignment; assign the model; deep learning

0引言

目標檢測是機器視覺領域較熱門的研究，其任務是在圖像中檢測到物體，并用框將該物體框上，給出物體類別。人頭檢測是目標檢測常用的情形之一，一般會用于基于靜態圖像的人數統計和基于動態視頻的人流量統計中，因視頻或圖像中人頭尺度大小不一、交疊、遮擋等各種復雜情形存在，已成為目標檢測的熱點和難點。

相比較傳統的機器學習算法，基于深度學習的檢測框架，大大提高了目標檢測性能。目前主流的基于深度學習的目標檢測方法主要有兩類：兩階段檢測方法和一階段檢測方法。所謂兩階段檢測方法是將目標檢測分為兩個階段來做，首先找到檢測目標的潛在邊界框，再通過分類的方式去判斷邊界框內目標所屬類別，從而判斷該邊界框是否真的包含目標[1-3]，該方法的檢測準確度比較高，但其檢測速度卻是較慢的，主流算法有R-CNN、Fast-RCNN和Faster-RCNN等。一階段檢測方法是由Joseph Redmon于2016年提出來的，該方法取名為You Only Look Once（YOLO）[4-5]，顧名思義，只需要經過一個階段就可以實現目標檢測的功能，該方法將目標檢測問題轉化為回歸問題，僅經過一個神經網絡，大大提高了檢測速度。2018年，Joseph Redmon又提出了YOLO v3，該方法采用多尺度融合的方式做檢測[6-9]，較好的實現了多尺度物體的檢測，也就是小目標檢測的目標。一階段檢測方法主要有YOLOv1-v5、RetinaNet 、CornerNet、FCOS等。

目標檢測算法一直都在尋求快速、準確的檢測方法，先是實現了快速檢測的目標，而后又實現了小目標檢測的目標，但始終沒能對于物體交疊的情形下存在漏檢、誤檢等問題，提出較好的解決方案。造成該問題的原因就是標簽分配沒有做好。雖然兩種方法的檢測機制不同，但都面臨著標簽分配不準的難題，甚至是需要手動的方式進行修改，但如果標簽分配沒有做好，就會影響檢測效果，就會出現漏檢、誤檢的情形，基于此，近兩年很多標簽分配的方法被提出。

1標簽分配方法

所謂標簽分配就是指檢測器在訓練階段區分正負樣本的過程，也就是給每個特征圖的每個位置分配一個合適的學習目標的過程。標簽分配主要應用于有錨框的應用場景和無錨框的應用場景，具體流程如下：

1.1有錨框機制

有錨框機制（anchor-based）方法在訓練前，利用聚類算法生成一些基礎錨框（anchor-box），然后根據錨框和目標框的交并比（intersection-over-union， IoU）來確定正負樣本[10-12]。如式1所示，當IoU大于閾值時，該錨框的真值為前景，低于閾值時，該錨框的真值為背景。使用有錨框機制的目標檢測算法既包含一階段檢測也包含二階段的檢測，如二階段的檢測方法Faster-RCNN和一階段檢測方法YOLO v3等。

1.2無錨框機制

無錨框機制（anchor-free）方法與有錨框機制不同，不需要預設錨框，它是基于點來判斷該點的最優錨框，訓練過程中自生成錨框，但無錨框機制的標簽分配仍需將真值指派給某組角點。其主要方法是根據上、下、左、右4個極值點，也就是角點（corner-point）來預測目標的幾何中點，再用該幾何中心點計算到目標中心點的距離，大于閾值時，4個角點的真值為一組真目標框，低于閾值時，4個角點的真值為一組假目標框[13-14]。使用無錨框機制的目標檢測算法主要有FCOS等。

1.3標簽分配存在的問題

無論是有錨框機制還是無錨框機制，它們都是對各種大小、形狀和類別的對象采用非全局的靜態分配標準（如區域偏移閾值或IoU閾值）來實現標簽分配的，這種簡單的閾值處理方式，就會造成每個真值對應多個錨框或多個角點的問題，或者某些真值沒有被分配錨框或角點的情形。當遇到兩個交疊目標時，就會容易陷入次優情況[15-17]，出現漏檢或誤檢的情形。針對靜態分配的問題，Zhang [18]等提出的ATSS方法利用概率統計的方法為每個真值生成不同的閾值，借助動態閾值，提高了真值與錨框的匹配度。但該方法只是基于每個真值而局部產生的最優匹配方法，沒有全局性的考慮，容易出現一個錨框或角點對應多個真值的情形，在該情形下，對其分配任何一個標簽都可能對網絡學習產生負面影響。2021年，Ge等[19]提出了OTA方法，利用運輸模型實現了標簽的全局最優匹配，該方法利用Sinkhorn-Knopp算法計算最優的匹配方案，避免出現一個錨

框或角點對應多個真值的情形，但該算法需知道每個真值所應提供正樣本的數量k，雖然利用每個真值擁有錨框的IoU之和來動態確定k的取值，但用來進行IoU相加的錨框個數是需手動設定，相加個數大則k值大，相加個數少則k值小，作者在COCO數據集中多次實驗之后將之設定為20，但在教室人頭檢測這樣單類別小目標檢測的數據集中，20個錨框相加動態獲得的k值卻并不能獲得好的檢測效果。另外，為了加快算法的訓練速度，OTA算法在損失函數上額外增加一個常數作為懲罰項，對不在一定范圍內的預測框不進行匹配，但范圍大小的設定又是一個超參。

針對這些問題，提出基于全局信息的標簽分配方法，該方法利用0-1指派模型直接生成1對1匹配，省去了動態設定k值的操作，另外，對于0-1問題的求解采用最大最小選擇法的計算方法，大大簡化了計算過程，加快了訓練速度，不需額外設定懲罰項來提高訓練速度。

2基于全局信息的標簽分配方法

指派模型將各種不同的資源分派給各種不同的用途，以尋求一種最優的分配方案。本文利用指派模型，提出全局最優標簽分配模型（global optimal label assignment model，GOLA）。

1.1數學模型

2.2損失函數

2.3最大最小選擇法

最大最小理論是馮諾依曼在兩人零和博弈中提出的最優選擇策略，在這里用來作為真值選錨的全局最優選擇法。如圖2所示，該方法從全局出發，每次利用最大最小選擇理論來進行選擇，直到最后只剩下2×1或2×2矩陣的時候，再選擇最小值作為最后的選擇方案。整體來說，該方法具有全局最優性和執行效率高的特點。

2.4與檢測模型的融合

2.5GOLA模型的作用

3實驗結果

將GOLA與YOLOv3相融合得到新的檢測模型GOLA_YOLO，將GOLA與FCOS相融合，形成新的檢測模型GOLA_FCOS，本文對GOLA_YOLO、YOLO v3、GOLA_FCOS和FCOS以及OTA這五個模型進行檢測比較。

本實驗的訓練環境均為CentOS 7操作系統，Keras框架，CPU為 Intel（R） Core（TM） i5-8250U，GPU為NVIDIA GeForce RTX3060，軟件環境為CUDA11.1、CuDNN8.0、Python3.6。輸入圖像統一縮放為 512×512的大小。初始參數設置為：學習率為1×10-4，Batch size為16。

本實驗收集高校不同水平拍攝角度的學生上課照片作為訓練集和測試集。照片數量共計11974張，有70%的照片為訓練集，共計8382張，有30%的照片為測試集，共計3592張，水平拍攝角度分為正面拍攝和背面拍攝，為同一教室同一時間不同角度的拍攝結果，正面和背面拍攝照片數量是相等的。每張照片有若干人頭，共計572052個人頭，同樣正面拍攝人頭數量與背面拍攝人頭數量是相等的，具體樣本分配情況如表1所示。

3.2訓練模型

運行5個檢測模型，其損失函數變化曲線如圖5所示，發現這5個檢測模型的收斂變化趨勢相差不多。

3.3測試模型

實驗對不同的標簽分配方法進行了精度比較，首先結合教室場景下頭部檢測的特點設計了人頭檢測準確率綜合評價指標AP以及誤報率綜合指標AR：人頭框選成功即為準確，背景取誤框即為誤報，比如所有測試樣本集中共100人，實際有效框選90人，誤框選背景區域20個，則準確率AP為90%，誤報率為20%。同時為更好地分析問題，設計AP10、AP10x、AP20和AP20x 4個準確率特殊指標，分別表示真實場景面積小于10×10無遮擋，真實場景面積小于10×10有遮擋、真實場景面積小于20×20無遮擋以及真實場景面積小于20×20有遮擋的4種容易出錯的情況。綜合結果如表2所示。GOLA_YOLO的準確率和誤報率均大于其他標簽分配的檢測精度。

3.4具體照片檢測結果分析

在測試集中，取正、背面各一張人頭密集的照片作為案例，正面人頭共計77，背面人頭共計64，采用不同方法、不同角度進行檢測，各方法的檢測結果如圖6、圖7所示，其中圓形框為漏檢、虛線矩形框為誤檢，實線矩形框為正確檢測的情況，其漏檢、誤檢結果如表3所示，結果表明在有交疊、遮擋等復雜檢測情形下，無論是正面拍攝還是背面拍攝，使用GOLA方法的檢測效果均相對較好。

GOLA全局標簽匹配能夠顯著提升模型檢測精度，測試結果表明，在教室人頭檢測場景下，GOLA加持的YOLOv3準確率提升了11.73%，誤報降低10.1%。在教室學生檢測這樣一個包含頭部交疊、大小差異巨大的復雜檢測場景中，使用全局標簽匹配能夠可以提高其檢測精度，更好地避免誤檢和漏檢的情形出現。GOLA模型與YOLO v3結合后與OTA相比較，檢測精度不相上下。數據表明GOLA模型具有很強的實踐推廣價值，不僅教室這樣的人頭檢測場景，其他場合涉及人頭交疊、遮擋等復雜檢測場景，都可以參考該模型。如圖8所示，我們利用GOLA與YOLOv3結合的模型對室外圖片進行了人頭檢測，場景更加隨機，具有更多交疊的情形，結果顯示模型具有良好的泛化性能。但模型對于視頻檢測中的極小目標交疊情況還存在漏檢和誤檢情況，后續需要對模型做進一步地改進。

4結論

針對目標檢測中存在的因為遮擋而漏檢的情形，提出了全局最優標簽分配模型——GOLA模型。該模型解決了標簽分配中一個錨框或角點對應多個真值的問題，同時，也解決了OTA等全局標簽分配方法超參依賴的問題。在模型訓練階段，將GOLA模型與其他目標檢測模型相融合，建立全局最優的標簽分配策略，在教室人頭檢測這一交疊、遮擋等復雜場景的目標檢測中，對正面和背面人頭進行檢測，實驗結果表明，將GOLA與其他目標檢測模型相融合，能夠顯著提升模型的檢測精度，具有很強的實踐推廣價值。

參 考 文 獻：

[1]REN S， HE K， GIRSHICK R， et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）：1137.

[2]HE Kaiming， GEORGIA Gkioxari， PIOTR Dollar， et al. Mask R-CNN[C]// In Proceedings of the IEEE International Conference on Computer Vision， Venice， October 22-29，2017： 2980.

[3]ROSS Girshick. Fast R-cnn[C]// In Proceedings of the IEEE international Conference on Computer Vision， Santiago， December 7-13 ，2015： 1440.

[4]JOSEPH Redmon， SANTOSH Kumar Divvala， ROSS B. Girshick， et al. You Only Look Once： Unified， Real-Time Object Detection [C]// IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， Las Vegas， ?June 27-30，2016： 779.

[5]LI Hengduo， WU Zuxuan， ZHU Chen， et al. Learning from Noisy Anchors for One-stage Object Detection[C]//In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， Seattle， June 13-19， 2020： 10585.

[6]JOSEPH Redmon， ALI Farhadi. Yolov3： An Incremental Improvement[C]//IEEE Conference on Computer Vision and Pattern Recognition， 2018： 89.

[7]DU Yuchuan， PAN Ning， XU Zihao， et al. Pavement Distress Detection and Classification based on YOLO Network[J]. International Journal of Pavement Engineering， 2020： 1.

[8]SHI Pengfei， JIANG Qigang， SHI Chao， et al. Oil Well Detection via Large-Scale and High-Resolution Remote Sensing Images Based on Improved YOLO v4[J]. Remote Sensing， 2021， 13（16）： 3243.

[9]LEE Jeonghun， HWANG Kwang. YOLO with Adaptive Frame Control for Real-time Object Detection Applications[J]. Multimedia Tools and Applications， 2021： 1.

[10]KONG Tao， SUN Fuchun， LIU et al. FoveaBox： Beyound Anchor-based Object Detection[J]. IEEE Transactions on Image Processing， 2020（99）： 7389.

[11]LIU Wei， DRAGOMIR Anguelov， DUMITRU Erhan， et al. SSD： Single Shot Multibox Detector[C]//In European Conference on Computer Vision，Netherlands， October 8-10， 2016：21.

[12]NEUBECK A， GOOL L J V. Efficient Non-Maximum Suppression[C]// International Conference on Pattern Recognition. IEEE Computer Society， Hong Kong， August 20-24，2006：649.

[13]ZHOU Xingyi， WANG Dequan， PHILIPP Krhenbühl. Bottom-Up Object Detection by Grouping Extreme and Center Points[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Long Beach， ?June 15-20， 2019：303.

[14]LAW H， DENG J. FCOS： Detecting Objects as Paired Keypoints[J]. International Journal of Computer Vision，2020（2）：642.

[15]TSUNG Yilin， PRIYA Goyal， ROSS Girshick， et al. Focal Loss for Dense Object Detection[C]//In Proceedings of the IEEE International Conference on Computer Vision， Venice，October 22-29，2017： 2999.

[16]LIU Songtao， DI Huang. Receptive Field Block Net for Accurate and Fast Object Detection[C]//ECCV 2018： In Proceedings of the European Conference on Computer Vision， Munich， ?September 8-14， 2018： 404.

[17]LIU Songtao， HUANG Di ，WANG Yunhong . Adaptive NMS： Refining Pedestrian Detection in a Crowd[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Long Beach， ?June 15-20， 2019， 2019： 6452.

[18]ZHANG Shifeng， CHI Cheng， YAO Yongqiang， et al. Bridging the Gap Between Anchor-Based and Anchor-Free Detection via Adaptive Training Sample Selection.2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Seattle， June 13-19，2020：9756.

[19]GE Zheng， LIU Songtao， LI Zeming， et al. OTA： Optimal Transport Assignment for Object Detection [C]// 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Nashville， ?June 20-25，2021： 303.

（編輯：溫澤宇）