基于改進YOLOv5和DeepSort的交通流參數檢測方法

單振宇，張 琳，侯曉雯

（1. 長沙理工大學交通運輸工程學院，長沙 410114；2. 中國海洋大學信息與工程學部，青島 266100）

0 引言

交通流量、速度等交通流參數的檢測是交通調查外業工作中的主要任務之一，采集的交通流信息可用于靈活的交通管理與交通安全評價等任務。目前交通調查中常用的交通流參數檢測方法仍然以人工現場觀測為主，但人工方法存在效率低、誤檢率高、成本大等問題；此外，高峰時期車流量較大，現場觀測也存在一定的安全隱患。因此本研究基于外業采集的交通視頻，利用深度學習技術在內業完成流量與速度的自動檢測任務。

基于視頻的交通流參數檢測方法可分為傳統機器學習方法和深度學習方法。對于傳統機器學習方法，El Bouziady 等［1］通過背景差分法檢測車輛，由合加速穩健特征算法（speeded up robust features，SURF）對車輛顯著外型信息特征進行匹配并生成稀疏深度圖，經過像素坐標轉換后由幀差法計算車速。Tourani 等［2］把通過混合高斯背景差分法檢測到的車輛使用形態學變換與過濾算法進行匹配，結合斑點跟蹤算法跟蹤車輛，由幀間行駛距離估計車速。蔣建國等［3］借助視覺前景提取算法（visual background extractor, ViBe）分離背景，隨后基于像素以及視頻幀相結合的算法更新背景，最后由虛擬線圈法統計道路交通流量。張冬梅等［4］針對無人機（unmanned aerial vehicle,UAV）視頻，利用改進的多幀平均方法獲取初始背景，由混合高斯背景算法更新背景，通過背景差分法檢測車輛目標，最后由虛擬線圈法獲取實時交通流量。上述傳統機器學習方法檢測過程相對簡單，處理速度較快，但是對檢測環境要求較高，檢測精度不穩定。

對于深度學習方法，Arinaldi等［5］使用Faster R-CNN 檢測模型檢測交通視頻中的車輛目標，基于核相關濾波算法（kernel correlation filter，KCF）進行目標跟蹤，根據被跟蹤車輛行駛距離和時間檢測車速。Ke 等［6］利用組合Haar 級聯和卷積神經網絡（convolutional neural networks,CNN）來檢測UAV 視頻中的車輛目標，并通過KLT（Kanade Lucas Tomasi）跟蹤算法跟蹤車輛，進而獲取道路上車輛速度以及交通流量等信息。Liu 等［7］使用遷移學習后的深度神經網絡（deep neural network, DNN）檢測道路中的車輛，然后基于卡爾曼濾波算法進行跟蹤，根據跟蹤結果估計了車流量與車速。Li 等［8］提出一種基于Faster R-CNN 和域自適應（DA）的車輛檢測方法，通過空間金字塔Lucas Kanade光流法計算車輛在兩幀之間的行駛距離，并結合檢測道路區域面積和車輛數獲取流量、密度、速度信息。Li等［9］在YOLOv3目標檢測模型的基礎上引入了金字塔網絡結構，改進了小尺寸和遮擋場景下的車輛檢測效果，隨后使用多目標跟蹤算法（confidence multi-object tracking，CMOT）跟蹤車輛，構建了交通流三參數的檢測框架。賴見輝等［10］使用YOLOv3 目標檢測算法檢測路側采集的交通視頻，建立了透視投影變換加卡爾曼濾波預測加匈牙利分配的交通流量計數框架。

深度學習技術的發展有效降低了外界環境對目標特征信息提取的影響，提高了車輛檢測與跟蹤效果。然而，多數深度學習的方法采用的神經網絡結構復雜，模型參數量與計算量較大，不適合小算力的移動端設備使用，且難以在實際應用中實時運行。意識到了這一點，劉磊等［11］提出YOLO 檢測和Meanshift 快速跟蹤的車流量檢測方法。文奴等［12］通過使用可變性卷積和MobileNetV3 輕量化的YOLOv4 目標檢測模型接合DeepSort 算法實現了多車道的交通流量檢測。上述工作的改進雖有一定成效，但準確率和實時性仍有一定的提升空間。

因此，本文提出一種基于改進YOLOv5s 和DeepSort 的端到端的實時交通流參數檢測方法。為提高車輛檢測模型運行速度、降低對使用設備的算力要求，引入MobileNetV3 網絡作為YOLOv5s 的骨干網絡；為提高車輛檢測時的定位精度，使用SIoU Loss 作為車輛邊界框的損失函數。為提高車輛跟蹤算法的跟蹤精度與速度，輕量化原算法的外觀特征提取網絡并在車輛重識別數據集上重新訓練。最后，融合改進的YOLOv5s 目標檢測模型和DeepSort 多目標跟蹤算法實施交通流參數檢測任務。

1 交通流參數檢測模型

本文提出的實時交通流參數檢測方法主要分為車輛檢測、車輛跟蹤、交通流參數檢測三部分，整體流程如圖1所示。首先，使用改進的YOLOv5s 模型提取視頻中的車輛目標的位置與類型信息；其次，使用改進的DeepSort 多目標跟蹤算法結合車輛外觀信息與運動信息跟蹤車輛目標；最后，設置虛擬檢測線并構建檢測區域，通過檢測區域中車輛的行駛方向和時間計算流量與速度信息。

圖1 交通流參數檢測流程

1.1 車輛檢測

1.1.1 YOLOv5s

YOLOv5 是YOLO（you only look once）系列檢測模型的最新版本，較前代版本（YOLOv3、YOLOv4 等）在速度、精度上均有較大提升。YOLOv5按照模型大小，從小到大可分為YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x。鑒于實時性的考慮，本文選擇YOLOv5s作為基礎檢測模型。

YOLOv5s 模型的網絡結構主要包括輸入端、Backbone 骨干網絡、Neck 融合網絡和輸出端四部分。其中，輸入端對輸入圖像進行Mosaic 數據增強、自適應錨框計算以及自適應圖片縮放等數據預處理操作，豐富數據特征。Backbone骨干網絡提取不同層次的圖像特征，是占比整個模型參數量最大的部分，原模型使用Focus模塊、CSP 瓶頸層結構以及空間金字塔池化模塊SPPF。Neck 融合網絡的設計采用了路徑聚合結構PAN 加特征金字塔結構FPN 的結構，加強特征信息的融合能力，進一步擴大感受野，有效保留圖像的上下文信息。輸出端輸出檢測結果，包括目標位置和類別信息。

1.1.2 YOLOv5s改進

為進一步降低模型的參數量和計算量，使其更適合部署到移動端設備，本文使用Mobile-NetV3-Small［13］作為Backbone 骨干網絡。Mobile-NetV3 通過使用逆向殘差結構（inverted residual structure）、線性瓶頸模塊（linear bottleneck）、深度可分離卷積（depthwise separable convolutions）降低模型參數大小與計算量，并引入具有SE（squeeze and excite）機制的輕量級注意力機制模塊，通過神經結構搜索NAS來獲取網絡的最佳結構、參數配置，彌補網絡輕量化帶來的精度損失，既保持了良好的特征提取能力，又極大程度上壓縮了模型。此外，本文還改進YOLOv5s的邊界框損失函數，使用SIoU Loss［14］作為目標邊界框損失函數，相比原損失函數增加了預測邊界框和真實邊界框中心距離和長寬比例的懲罰項，可以加快網絡訓練時預測框的收斂，提高回歸定位精度。本文改進的檢測模型記作M-YOLOv5s，網絡結構如圖2所示。

圖2 改進的YOLOv5s網絡結構

1.2 車輛跟蹤

1.2.1 DeepSort

DeepSort算法是經典的多目標跟蹤算法，由Sort 算法改進而來，由于Sort 算法僅考慮了目標運動信息，當目標被遮擋后容易出現跟蹤丟失的問題。因此，DeepSort算法在運動信息的基礎上添加了外觀信息，即加入神經網絡提取目標的外觀特征信息，提高遮擋情況下的跟蹤準確率。除此之外，整體依舊延續了卡爾曼濾波算法預測和匈牙利算法匹配的技術路線，如圖3所示。首先，由卡爾曼濾波預測目標運動狀態，得到描述目標位置和狀態的信息（x,y,r,h,x?,y?,r?,h?）；其中：（x,y)表示檢測框的中心坐標；r,h分別表示檢測框的長寬比和寬度；（x?,y?,r?,h?）表示前四個參數對應的速度信息。其次，結合運動信息和外觀信息進行目標關聯，計算運動信息時使用馬氏距離描述卡爾曼濾波算法預測結果和檢測模型檢測結果之間的誤差，馬氏距離表達式為

圖3 DeepSort跟蹤算法流程

其中：dj表示第j個檢測結果的狀態向量，yi表示第i個預測結果的狀態向量。Si表示檢測結果和跟蹤結果之間的協方差矩陣。對于外觀信息，則先計算出每一個檢測框dj對應的外觀特征描述符rj。由于車輛和行人運動方式不同，車輛通常是直線運動，相鄰兩幀的外觀相似度變化不大，而行人會經常更換行進位置導致相鄰兩幀的外觀相似度變化較大。因此，對于車輛而言不需要再構建車輛外觀特征合集，只計算檢測結果和跟蹤結果最近時間的相似度即可，一定程度上簡化了算法復雜度。外觀信息相似度由深度余弦距離衡量，其定義為

隨后，使用線性加權的方式（見式（3））結合二者，λ為超參數，由匈牙利算法進行幀間目標匹配。

再次，對狀態確定的目標通過前后兩幀目標框之間的交并比（IoU）大小構建相似度矩陣，再次使用匈牙利算法匹配。最后，更新卡爾曼濾波算法。

1.2.2 DeepSort改進

在提取外觀信息時，原算法使用的是一個離線神經網絡（wide residual network，WRN），但由于WRN 參數量和計算量較大，使得Deep-Sort 算法相比Sort算法運行速度降低。鑒于實時性考慮，本文使用輕量型神經網絡Mobile-NetV3-Small 作為DeepSort 算法的外觀特征提取網絡。此外，原算法的特征提取網絡使用行人重識別數據集訓練，并把輸入圖片限定為128 × 64大小來擬合行人寬高比。因此，為使其更適用于車輛特征提取，本文將輸入圖像大小調整到64 ×128，并在車輛重識別數據集VeRi［15］上重新進行訓練。本文改進的跟蹤算法記作M-DeepSort。

1.3 交通流參數檢測

1.3.1 流量檢測

考慮到DeepSort 跟蹤算法中卡爾曼濾波需要一定的時間確保預測的穩定性，本文設置了虛擬檢測區域，如圖4灰色區域所示。當一個全新的車輛ID 通過檢測區域時，自動生成數據字典保存該ID 車輛在檢測區域出現的幀次數，根據其出現的次數判斷該次計數是否有效，可以減少車輛因出現身份切換IDs導致的流量統計錯誤，本文將其設置為三次。其次，根據同一ID車輛的在檢測區域的運動軌跡的起終點坐標計算一個矢量方向來判斷該車輛的運動方向。最后，根據行駛方向信息和流量計數區域的身份檢測信息進行雙向交通流量統計。

圖4 車輛檢測線與檢測區域示意圖

1.3.2 速度檢測

速度由車輛經過兩虛擬檢測線的時間除以檢測線之間的實際距離獲得。相比于根據像素距離推算車速的方法，本文方法優點如下：由于不需要對攝像機進行標定，該方法普適性更強；由于只需要計算車輛在兩個檢測線之間的行駛時間，方法更為簡單。速度的計算公式如下：

其中：f1為車輛ID 檢測框質點坐標經過檢測線1時的幀數，f2為經過檢測線2 時的幀數，FPS 為檢測視頻的幀率，S為兩條檢測線之間的實際距離，由實際測量確定。

2 實驗結果與分析

本文實驗在Windows 10環境下使用Python語言，基于PyTorch 深度學習框架進行，硬件配置為NVIDIA RTX3090 GPU，Intel（R）i9-10900K CPU。

2.1 模型訓練

本節模型訓練采用的評價指標包括檢測精度AP、運行速度FPS、模型參數量/MB，計算量/G，IDs/次，其中，前兩個指標的數值越高，表明模型效果越好，后三個指標的數值越低則表明效果越好。

2.1.1 車輛檢測模型訓練

車輛檢測模型訓練使用的數據集為UADETRAC 數據集，其由北京市、天津市的24 個不同卡口視頻截取組成，包括近14 萬幀圖像，121萬已標記的檢測框，由于兩幀圖像之間相似度較高，為了減少訓練時間，本文每隔10 幀抽取一張圖片，共獲得13402 張圖像，按照7∶3的比例劃分訓練集與測試集。

為保證實驗的客觀性，本文將YOLOv5s 和M-YOLOv5s在UA-DETRAC數據集上進行重新訓練時超參數的設置保持一致，均使用YOLOv5s預訓練模型進行權重初始化，加快網絡擬合速度，縮短訓練時間。訓練圖像大小為640×640，優化器為SGD，初始學習率為0.01，動量為0.935，衰減系數為0.0005，訓練次數100個輪次，批大小為16，由于僅保留car類目標，故沒有分類損失曲線。M-YOLOv5s 訓練過程的邊界框損失和置信度損失隨訓練輪次變化如圖5所示，網絡已經基本收斂。

圖5 M-YOLOv5s訓練損失

兩個模型測試結果見表1，本文輕量化的YOLOv5s 的模型參數量僅為3.54 MB，為原YOLOv5s的1/2；計算量為2.94 G，為原YOLOv5s的1/3，而準確率AP 較原模型僅下降1.2%，取得了更好的速度與精度之間的均衡，更適合低算力設備部署使用。

表1 車輛檢測實驗結果

2.1.2 車輛跟蹤模型訓練

將改進外觀特征提取網絡在VeRi 車輛重識別訓練集上重訓練，VeRi［15］數據集來自20 個不同位置的監控攝像頭，拍攝場景包括交叉口和道路斷面，包括776輛汽車以及從不同視角拍攝的近50000 張圖像。訓練圖像大小為64 × 128，訓練200個輪次，其余超參數與檢測模型訓練時的配置相同，訓練時的損失函數變化如圖6所示，訓練200個輪次后網絡損失函數變化基本穩定。

圖6 外觀特征提取網絡訓練損失

為驗證本文改進跟蹤算法的有效性，在UADETRAC測試集的MVI_123123、MVI_1234534上進行跟蹤效果測試，測試結果見表2。結果表明本文改進算法在所列跟蹤指標的表現中均優于原DeepSort，由于經過車輛重識別數據集的訓練，本文算法較原算法IDs 降低4 次。此外，輕量型外觀特征提取網絡使得算法整體運行速度較原算法提高17%，改進后的跟蹤算法更適用于車輛跟蹤任務。

表2 車輛跟蹤實驗結果

2.2 交通流參數檢測性能驗證

驗證使用的視頻共兩段，每段視頻時長5 min，分辨率為1080 p，S=5 m。視頻1、2分別對應平峰、高峰場景，每段視頻拍攝角度、位置固定。使用準確率評價性能，定義為公式（5），真實值由人工采集，估計值由算法自動采集。性能對比時本文算法指M-YOLOv5s+M-DeepSort，原算法指YOLOv5s+DeepSort。

2.2.1 流量檢測驗證

分別采用人工統計、本文算法、原算法統計每個視頻片段上行、下行與總的交通流量，結果如圖7所示。兩段視頻中真實的上行交通流量略小于下行交通流量，算法檢測到的交通流量也同樣符合此種情況。其次，本文算法較原算法的估計值更接近人工統計的真實值，表3展示了兩種算法的統計準確率，本文算法在上行、下行和總和的準確率均高于原算法，表明了本文改進算法的有效性。此外，視頻2中由于車流密度增加、車輛遮擋較為嚴重，本文算法的統計精度較視頻1中的精度降低，但精度仍穩定在94%以上，整體表現效果依舊良好。

表3 交通流量檢測準確率對比

圖7 不同視頻車流量檢測結果

2.2.2 速度檢測驗證

由于無法獲取每個車輛真實的行駛速度，故以平均速度為基準進行比較。視頻1的實際平均速度為41.56 km/h，視頻2 為39.87 km/h。由于車流密度增加，車輛之間的影響增大，車輛行駛速度會有所降低，因此視頻1中車輛平均速度較視頻2稍高，符合實際情況，且算法采集到數據樣本均值也符合此情況。此外由表4對比結果可知，本文算法在視頻1、2 中采集到的速度數據的平均值的準確率比原算法都高，再次證明本文算法的有效性。

表4 速度估計準確率對比

2.2.3 檢測實時性驗證

當車流密度增加時算法的運行速度會相應降低，為檢驗本文算法在高峰時期的運行速度的情況，對算法主要部分耗時情況進行了統計，結果見表5。車輛檢測任務耗時10.21 ms，占總消耗時間的61.25%，其次為車輛跟蹤任務耗時4.18 ms，最后為視頻讀取任務2.28 ms。相對于日常視頻25 幀/s 的速率，本文算法可達到59 幀/s，可滿足實時性的要求。圖8展示了本文算法的實際應用效果，從圖8可以看出本文算法具有較強的可靠性。

表5 算法實時性測試分析單位：ms

圖8 車流量與車速檢測效果

3 結語

本文提出了一種基于改進YOLOv5s和Deep-Sort 的交通流參數檢測方法，改進的YOLOv5s在精度較原YOLOv5s 僅降低1.2%的情況下，參數量和計算量分別降低1/2 和2/3；通過重構DeepSort外觀特征提取網絡，調整圖像輸入尺寸并進行車輛重識別訓練，使得改進DeepSort 算法更適合用于車輛的跟蹤任務。實際試驗結果表明，該方法的平均準確率在92%以上，運行速度可達59 幀/s，滿足實時使用的要求并具有較強的實用性。未來將進一步提高方法在雨、雪等惡劣天氣、夜間或者道路極度擁擠等場景下的適用性。