王乃洲 金連文 趙清利 梁添才

（1.華南理工大學 廣東省廣州市 510640 2.廣電智能安全研究院 廣東省廣州市 510656）

隨著我國城鎮化的加速發展，城市人口流動頻繁，交通擁擠，安全監管難度大等問題日益嚴峻。為解決城市發展難題，智慧城市建設已成為當今世界城市發展不可逆轉的歷史潮流。近幾年，在政策的引導下，城市安全主動防控體系的建設如火如荼，其核心在于人、車的管控：通過智能監控設備,實現人、車的實時檢測、跟蹤與識別，將非結構化的視頻數據轉化為人和機器可理解的結構化、半結構化數據，并進一步轉化為警務實戰所需的情報數據，從而視頻數據向信息化、情報化的方向的轉化，達到視頻感知世界的智慧應用。

實際應用中，車型檢測易受尺寸、光照、角度、遮擋等因素影響。評價車型檢測效果的一個重要的性能指標是mAP(mean Average Precision)。如何提高檢測模型mAP成為車型檢測的一項重要研究內容。

傳統的檢測方法，主要采用邊緣特征、 形狀特征、統計特征或者變換特征等圖像的各類靜態特征來描述車輛等目標，其中，代表性的特征包括Haar小波特征[1]、HOG 特征[2]、Edgelet特征[3]等。隨著深度學習技術的發展以及GPU等智能硬件性能的提升，基于卷積神經網絡（CNN）特征提取方法在目標檢測方面取得了重大突破，主流方法可大致分為two-stage和one-stage兩類方法。Two-stage方法主要是指基于Region Proposal的算法，如R-CNN[4]、Fast-R-CNN[5]、Faster-R-CNN[6]等，該類算法首先在圖片上生成若干個Region Proposal，然后，通過CNN在Region Proposal上進行候選框分類和回歸。目前，該類方法精度最高，但檢測速度慢，實際應用中無法達到實時效果；one-stage方法使用一個CNN直接預測不同目標的類別與位置，屬于End-to-End方法，如工程中常用的SSD[7]、YOLO系列[8,10,11]等。

本文基于Diou loss[9]提出兩種基于Yolov3[10]框架的車型檢測方法。Diou考慮了預測框與ground-truth中心之間的距離，有效規避了IoU loss存在的收斂速度慢，特定情況下回歸精度低等問題，在不增加模型大小以及推理速度的情況下，提升車型檢測精度。最后，通過實驗證明所提技術的有效性。

1 Yolov3目標檢測原理

Yolov3在Yolov1和Yolov2[11]上作了較大的改進：

（1）采用Darknet-53的前52層作為基礎網絡，其中，Darknet-53較ResNet-152精度不變的情況下，速度上有明顯的提升；

（2）提出分級預測策略，具體地，通過三級預測，改進了小目標的檢測效果，如圖1, 2 所示。三級預測依次針對大、中、小三類目標進行檢測，以第一級為例，針對大目標檢測，輸出feature map大小為13×13,（以輸入圖片大小416×416為例，32倍下采樣結果），每個cell分配三個anchor box，共九個。對于之后兩級檢測，利用Up Sampling并Concatenate基礎網絡中的相應的feature map實現對中、小目標檢測，其中，anchor box可通過訓練樣本聚類獲得（注：通過實驗發現，以聚類獲得anchor box訓練效果可能欠佳，可通過對部分anchor依AP結果進行微調）。將為定值，若二者不相交時，IoU loss 恒為0，如圖4(a)所示。此時，從IoU loss計算結果，無法看出優化方向，從而影響檢測效果。 在2020年AAAI大會上，Zheng等人[9]提出了Diou loss (Distance IoU loss)：

圖1：Yolov3網絡結構圖

圖2：Convolutional Set網絡結構圖

圖3：Tiny Yolov3網絡結構圖

表1：檢測數據集類別描述

表2：四種模型性能測試結果對比

在獲得預測框bbox, Yolov3利用NMS(非最大化抑制)來過濾掉多余的預測框。在此過程中，對于獲得最大分數預測框M，我們采用Diou-NMS進行多余預測框過濾：

圖4：IoU與Diou示意圖

圖5：車型檢測數據集樣例

Yolov3重點提升的是目標檢測精度，尤其是小目標,而速度上略有下降。Tiny-Yolov3，是Yolov3的替代方案，如圖3所示。Tiny-Yolov3速度較Yolov3有極大的提升，一方面，其對骨架網絡進行了瘦身；另一方面，采用了兩級預測策略。mAP精度指標較Yolov3有明顯下降，在實際應用中，可通過場景需求選擇模型種類。

2 基于Diou改進的Yolov3

Yolov3是一種End-to-End目標檢測算法，其Loss函數由三部分組成：坐標誤差項，IoU誤差項和分類誤差項。IoU即是預測框bbox與ground-truth之間的交并比，如下式所示：

則，IoU loss 可表示為：LIoU=1-IoU。由IoU及IoU loss 定義可以看出,當預測框bbox與ground-truth呈現包含關系時，IoU loss

其中，ε是閾值，訓練與測試過程中均取為0.5，si分類得分。

3 實驗結果與分析

3.1 實驗數據集簡介

實驗數據來源于路邊、岔口等攝像機實際采集的視頻數據。將視頻數據按幀抽取，并通過labelImg進行手工標注，共獲得29847張標注好的圖像，如圖5所示，其中2985張圖像作為測試集，其他26862圖像作為訓練集，測試集與訓練集圖像數量之比約為1:9。各類車型名稱與標簽名稱如表1所示。

在實際系統中，檢測模塊主要用于目標定位于初分類，因此，這里將容易混淆的車型進行了合并，如：Car, MPV, SUV統一用Car表示。

3.2 實驗結果與分析

本文中，模型訓練與測試在Ubuntu16.0.4環境下進行，所使用的服務器安裝有4塊NVIDIA GTX 1080Ti顯卡。采用Darknet[11]框架進行訓練，網絡的訓練參數設置如下：采用Multistep學習策略，初始學習率為 0.001，max_batches設為12萬次，steps=30000,60000,80000,10000, decay為0.0005，訓練時batch size為32，測試時batch size為1，采用SGD學習策略，momentum為0.9。

實驗比較了四種網絡模型，分別為：Diou-Yolov3, Yolov3, Diou-Tiny-Yolov3和Tiny-Yolov3，實驗結果如圖6及表2所示。從實驗結果可以看出，Diou-Yolov3以及Diou-Tiny-Yolov3分別較Yolov3以及Tiny-Yolov3在Map都略有提示，分別提升0.06和0.2個百分點，而在平均精度avg_loss上也略有減小，分別減小了0.34和0.13個百分點。重要的是，Diou的引入并不會增加模型大小以及推理速度，是一種有效的提升模型性能的改進方案。圖7中對Diou-Yolov3和Diou-Tiny-Yolov3進行了驗證，可以看出，實測效果達到了預期目標。

4 結束語

本文研究了基于Diou-Yolov3及Diou-Tiny-Yolov3的車型檢測方法。該方法考慮了預測框與ground-truth中心之間的距離，有效規避了IoU loss存在的缺點，在不增加模型大小以及推理速度的情況下，提升了車型檢測精度。

圖6：檢測模型訓練曲線

圖7：模型測試效果展示