基于MF-DeepSORT的交通多目標跟蹤

黃 晨，胡愛群

(東南大學 信息科學與工程學院，江蘇 南京 211189)

0 引言

多目標跟蹤技術[1-2]是計算機視覺領域的重要研究方向，在行人監測[3]、智能交通監視[4]和自動駕駛[5]等領域有著廣泛的應用。近年來，隨著深度學習、目標檢測等技術的發展，多目標跟蹤技術取得了極大的進步。當前多目標跟蹤技術的主流方法主要有兩種:基于檢測加跟蹤的兩階段方案[6-8]和基于檢測和跟蹤聯合的一階段方案[9-11]，如：DeepSORT、JDE和CenterTrack等。在行人監測領域，多目標跟蹤已經取得了長足的發展，但是在交通目標跟蹤領域的研究較少，交通目標的跟蹤場景此前尚未出現公開、大型的多目標跟蹤任務。同時由于交通目標與行人目標跟蹤在特性上存在諸多差異，缺少交通多目標跟蹤數據使得難以衡量多目標跟蹤算法在道路交通場景的跟蹤性能，導致目前針對交通多目標跟蹤任務的研究不充分。

DeepSORT跟蹤算法是兩階段跟蹤框架中應用最為廣泛的算法，但是在交通場景跟蹤目標密集情況下，DeepSORT跟蹤算法難以保持目標的跟蹤狀態，并且高度依賴目標檢測器的檢測性能。為了在交通目標跟蹤場景獲得更好跟蹤性能，本文引入YOLOv5算法[12]作為DeepSORT的目標檢測器，并在以下兩個方面提出改進：① 提出用檢測框和跟蹤目標預測框二者的IOU度量運動相似度替代原本的馬氏距離度量方式；② 外觀相似度度量采用深度特征距離融合HOG[13]特征距離，提升外觀相似度度量的準確性，從而提高跟蹤的魯棒性。將改進的DeepSORT算法命名為MF-DeepSORT。

MF-DeepSORT算法在標注和構建的交通目標跟蹤數據集Car-MOT中取得了明顯優于DeepSORT的跟蹤性能。

1 MF-DeepSORT算法

本文提出的改進算法主要在兩個方面對DeepSORT進行改進。下面介紹MF-DeepSORT算法的整體框架，同時對改進和優化的部分進行進一步的介紹。

1.1 MF-DeepSORT的整體框架

圖1為MF-DeepSORT的整體框架示意圖，MF-DeepSORT算法包含兩個階段：目標檢測階段和跟蹤匹配階段。

圖1 MF-DeepSORT算法的整體框架

在目標檢測階段，首先采用YOLOv5目標檢測模型識別視頻每幀的輸入圖像，篩選得到檢測框；然后，檢測框通過卷積神經網絡模型提取得到深度特征以及提取手工HOG特征，這兩種特征被稱為檢測框的外觀特征；最后，將檢測框的外觀特征及表征其運動特征的位置信息輸入跟蹤匹配階段。

跟蹤匹配階段基于目標檢測階段得到運動特征和外觀特征，然后與現有跟蹤目標預測的運動特征和外觀特征分別度量相似度，融合關聯矩陣，進行級聯匹配;未能完成匹配的檢測框與跟蹤目標再次執行IOU匹配;通過兩次匹配過程，完成當前幀檢測框與現有跟蹤目標的配對;最后更新跟蹤器中跟蹤目標的狀態標記，并完成卡爾曼濾波器的更新和預測。

1.2 基于IOU的運動特征度量

為了更好地度量多目標跟蹤中的運動特征，本文提出采用檢測框與跟蹤目標預測框的IOU度量替代DeepSORT算法中的馬氏距離度量方式。

在DeepSORT中，檢測框與先前跟蹤目標預測位置運動特征的匹配程度通過二者的馬氏距離來刻畫。跟蹤目標i與檢測目標j的馬氏距離d′(i,j)表示為：

(1)

式中，xj和yi分別是檢測目標j的觀測量和跟蹤目標i運動的預測量，而Si代表卡爾曼濾波器的狀態協方差矩陣。馬氏距離越大，二者間的運動特征差異越大，通過對馬氏距離設置閾值門限，來排除錯誤的關聯。

然而這種馬氏距離度量僅僅使用到了檢測框與跟蹤目標的距離關系，不能準確刻畫二者的運動信息，當外觀特征相似的兩個目標接近時，容易導致ID切換問題，同時當跟蹤目標被遮擋一段時間后，馬氏距離受到卡爾曼濾波預測不確定性增大的影響，難以可靠的度量運動狀態。

基于IOU的運動特征度量比馬氏距離能夠更準確刻畫檢測框和跟蹤目標的位置關系，即運動特征。跟蹤目標i預測框Pi與檢測目標j的檢測框Qj的IOU計算如圖2所示，其計算公式為：

圖2 跟蹤目標預測框Pi與檢測框Qj的IOU計算示意圖

(2)

IOU(i,j)的取值范圍為[0,1]，定義跟蹤目標i與檢測目標j的IOU距離表示為：

dIOU(i,j)=1-IOU(i,j)。

(3)

通過IOU度量的方式，能夠更準確衡量檢測框與跟蹤目標之間的運動特征差異，可以得到運動特征閾值門限矩陣表達式：

bIOU(i,j)=I[dIOU(i,j)≤tIOU]，

(4)

式中，I為指示函數，符合條件取1，反之取0。經過實驗，tIOU設置為0.9，能夠剔除檢測框與跟蹤目標預測框絕大部分錯誤的關聯，提高跟蹤準確性，減少ID切換次數。

1.3 基于HOG特征融合的外觀特征度量

為了在跟蹤匹配階段更準確地關聯匹配檢測框和跟蹤目標，本文提出在級聯匹配外觀特征度量時融合深度特征距離與HOG特征距離。

HOG特征通過統計和計算圖像局部區域的梯度方向直方圖構成特征，常用于表征物體邊緣信息，廣泛用于圖像識別中，對于檢測框的幾何形變和光照變化能保持很好的不變性。并且，提取計算圖像的HOG特征，計算量小、運算快，對速度性能影響很小。通過引入HOG特征距離融合，能夠更好地反映目標的淺層圖像特征，提升外觀相似度度量準確性、魯棒性。

在目標檢測階段，將得到的檢測框Qj尺寸調整為256×128，輸入經過預訓練的ResNet-18網絡[15]，輸出得到512維的深度特征Dj。同時，提取檢測框的HOG特征，輸出8 505維的HOG特征Hj。

圖3為級聯匹配距離度量的算法結構。其中，深度特征距離和HOG特征距離采用最小余弦距離作為衡量準則，只針對跟蹤目標i最近的N幀內的特征計算，可以分別用如下公式表示。

圖3 級聯匹配距離度量算法結構

(5)

(6)

(7)

(8)

獲得外觀特征距離dd(i,j)和dHOG(i,j)后，對兩種特征距離通過加權平均進行融合，得到融合外觀特征距離dF(i,j)，計算公式如下：

dF(i,j)=λdd(i,j)+(1-λ)dHOG(i,j)。

(9)

可以調節λ的權重決定外觀特征距離更看重哪種特征。通過實驗，λ取值為0.85時取得良好效果。

同樣，外觀特征距離度量也存在閾值門限tF，避免錯誤匹配，其表達式為：

bF(i,j)=I[dF(i,j)≤tF]，

(10)

式中，tF通常設置為0.2。結合式(3)和式(9)兩個門限閾值，得到門限函數b(i,j)，其計算公式如下：

b(i,j)=bIOU(i,j)°bF(i,j)，

(11)

式中，°表示矩陣的哈達瑪積。融合關聯矩陣Ci,j可以由融合外觀距離得到，計算表達式為：

Ci,j=dF(i,j)°b(i,j)。

(12)

將融合關聯矩陣采用匈牙利匹配[16]法則進行匹配，獲得跟蹤目標和檢測框之間正確的對應關系。

2 實驗驗證

2.1 實驗數據集

本文采集并標注了一個含有6個交通場景的視頻數據集，并將這個數據集命名為Car-MOT。

Car-MOT包含6個城市交通場景視頻序列，從幀率為30幀/s的視頻中，每隔5幀提取一幀圖像，構成視頻序列。在實際應用中，多目標跟蹤框架需要對當前圖像進行推理，再提取視頻當前時刻的圖像，構建的跟蹤算法處理速度在10～15 幀/s，大約為視頻幀率的1/2～1/3，因此構建的Car-MOT符合交通多目標跟蹤算法實際應用場景。數據集具體信息如表1所示。

表1 Car-MOT數據集信息

2.2 評價指標

本文采用多目標跟蹤評估常用的4個性能指標[17]對算法在Car-MOT數據集的性能做客觀評價，分別為多目標跟蹤準確性(Multiple Object Tracking Accuracy, MOTA)、多目標跟蹤精度(Multiple Object Tracking Precision,MOTP)、ID切換次數(ID Switch,IDsw)、大多數目標被跟蹤的軌跡數量(Mostly Tracked,MT)。

其中，MOTA可以統計跟蹤中錯誤指標的積累，反映多目標跟蹤器跟蹤的準確性能；MOTP表示檢測框與真實標注框之間的重合程度，主要與目標檢測模型的檢測性能有關；IDsw用于衡量跟蹤算法對目標跟蹤狀態的保持能力；MT是指目標被成功跟蹤，且路徑長度占總路徑長度80%以上的數量，進而反映同一個目標在長時間內的跟蹤性能。

2.3 實驗平臺與參數設置

本文的實驗環境基于Ubuntu 16.04操作系統的服務器，同時深度學習架構采用Pytorch 1.7版本。服務器的主要硬件參數為：Intel (R) Core i5-9400F 6核6線程處理器、GeForce RTX 1060 6GB顯卡和32 GB內存。

MF-DeepSORT跟蹤算法的實驗參數設置與DeepSORT算法基本保持一致。跟蹤目標初始化幀數為3幀；IOU匹配最大閾值距離為0.7；丟失跟蹤最大保留幀數是30；外觀特征計算幀數N=100。

目標檢測模型YOLOv5使用輕量級模型YOLOv5s，保證最快的檢測速度；輸入模型的圖像大小為640×640；檢測框置信度閾值為0.3，保證足夠多的檢測框數量；YOLOv5中NMS非極大值篩選的IOU閾值為0.5。

2.4 實驗結果與分析

表2顯示了DeepSORT跟蹤算法和MF-DeepSORT跟蹤算法及各項改進在Car-MOT交通目標跟蹤數據集上消融實驗的結果。由表2中數據可知：在Car-MOT數據集中，MF-DeepSORT的兩種消融模型在大多數指標中優于DeepSORT跟蹤算法，并且最終的MF-DeepSORT各項性能評價指標均優于DeepSORT。具體來看，MF-DeepSORT在MOTA指標上提高了4.839%，達到了62.071%，跟蹤的準確性大幅度提高，在IDsw降低了94%，減少到兩次，幾乎不發生跟蹤ID的切換，證明對同一個跟蹤目標有很強的保持能力。由此可見本文提出的MF-DeepSORT在交通多目標跟蹤數據集上的跟蹤性能優于DeepSORT。

表2 MF-DeepSORT與DeepSORT在Car-MOT的消融實驗跟蹤性能對比

圖4和圖5直觀顯示了MF-DeepSORT和DeepSORT在Car-MOT數據集上的跟蹤效果。目標密集時，MF-DeepSORT的跟蹤精度更高，從圖4任務1的第42到第43幀可以看出，DeepSORT算法中，藍色箭頭指向的跟蹤ID為30的同一車輛，下一幀跟蹤ID切換為22，而在MF-DeepSORT算法中同一車輛保持跟蹤ID為24不變，這體現了MF-DeepSORT更好的跟蹤保持能力。

圖4 任務1中DeepSORT和MF-DeepSORT的性能對比

圖5 任務6中DeepSORT和MF-DeepSORT的性能對比

MF-DeepSORT具有更好的環境魯棒性，圖5中跟蹤任務6從第30到第31幀時，DeepSORT算法受到樹陰光照變化影響，紅色箭頭指向的同一車輛被賦予了兩個跟蹤ID，且兩個跟蹤框與車輛實際輪廓均存在較大差距。而MF-DeepSORT，對同一車輛則能保持正常的跟蹤狀態，不受影響。由此可知，MF-DeepSORT通過IOU度量運動特征，能夠極大程度避免空間上錯誤的匹配，保持跟蹤狀態，減少跟蹤ID的切換。外觀特征度量融合HOG特征距離，能夠提升外觀特征度量的準確性，提升跟蹤精度。

3 結論

本文針對交通場景下的目標跟蹤問題，構建了交通多目標跟蹤數據集Car-MOT,同時還提出了一種基于DeepSORT的交通目標追蹤算法MF-DeepSORT。MF-DeepSORT引入了HOG特征來表征目標信息，可以提高跟蹤匹配準確性，同時MF-DeepSORT采用IOU度量空間位置信息，可以提升跟蹤精度。實驗證明MF-DeepSORT是一種高效的交通多目標跟蹤算法。