多特征融合的端到端鏈式行人多目標跟蹤網絡

周海赟，項學智，王馨遙，任文凱

（1.南京森林警察學院 治安學院，南京 210023；2.哈爾濱工程大學 信息與通信工程學院，哈爾濱 150001）

0 概述

多目標跟蹤是指在視頻中持續對目標進行準確定位，在場景發生變化時仍能維持目標身份信息不變，最后輸出目標完整運動軌跡的技術。在復雜場景中，跟蹤目標數目不定、目標之間存在頻繁的遮擋以及交互、目標之間包含相似的外觀特性等因素都會給多目標跟蹤的實現帶來挑戰。由于行人是非剛體目標，且現有數據集中包含大量行人的視頻，因此當前多目標跟蹤中行人跟蹤的算法占多數［1］。行人多目標跟蹤主要分為離線跟蹤與在線跟蹤。在線跟蹤只能使用當前幀及之前的信息來進行跟蹤，而離線跟蹤對每一幀的預測都可以使用整個視頻幀的信息，因此離線跟蹤可以看成是一個全局優化的問題，常見解決方法是基于圖論的方式，將多目標跟蹤建模為網絡最大流問題［2］或距離最小成本問題［3］。由于離線跟蹤的全局優化方式增加了對算力的要求，且離線跟蹤不能應用于對跟蹤實時性有要求的場景，因此本文主要研究行人多目標在線跟蹤。

傳統多目標跟蹤網絡主要通過濾波算法來預測目標在下一幀的位置進行目標跟蹤，卡爾曼濾波器利用連續幀中相同目標的速度及協方差相關性最大原理進行目標狀態的預測與更新［4］。使用核相關算法訓練相關濾波器，并通過計算目標相關性獲得置信圖來預測跟蹤結果［5］。當前多目標跟蹤網絡主要采用基于檢測的跟蹤方法，即先對視頻中每一幀的目標進行目標檢測，之后利用各種數據關聯算法將檢測結果與跟蹤軌跡進行匹配，從而進行軌跡更新。

近年來，越來越多的研究人員致力于基于深度學習的多目標跟蹤網絡的研究。BEWLEY 等［6］提出Sort 網絡，檢測部分采用Faster R-CNN 網絡，利用卡爾曼濾波預測結果與檢測結果之間的交并比（Intersection over Union，IoU）進行匈牙利匹配來完成數據關聯。由于Sort 僅使用IoU 進行數據關聯，導致在人流較密集的場景下會產生大量的身份切換。因 此，WOJKE 等［7］提 出Deepsort，在Sort 網 絡IoU 匹配的基礎上增加級聯匹配，并使用一個行人重識別（Person Re-identification，ReID）網絡提取目標的外觀特征輔助數據關聯，有效解決身份切換問題。BAE 等［8］也利用預訓練的ReID 網絡提取可區分的行人特征，并將軌跡分為可靠軌跡與不可靠軌跡，再與檢測結果進行分級關聯。上述這些研究僅根據檢測結果進行軌跡更新，受檢測器性能的影響很大，當出現不可靠的檢測時，跟蹤性能也會下降。因此，CHEN 等［9］將檢測框與跟蹤的預測框同時作為軌跡更新的候選框，設計一種評分函數統一衡量所有的候選框，再利用空間信息和ReID 特征進行數據關聯。盡管這些基于檢測進行跟蹤的網絡取得了良好的效果，但這些網絡的檢測部分與跟蹤部分是完全獨立的，這直接增加了跟蹤的復雜性，不利于滿足實時性的要求。為解決該問題，BERGMANN 等［10］提出Tracktor++，利用檢測器的邊界框回歸思想直接預測目標在下一幀中的位置，完成檢測與跟蹤的聯合，并融入運動模型與ReID 網絡，以減少幀間身份切換。ZHOU 等［11］在CenterNet 檢測器的基礎上輸出當前幀中目標的尺寸、目標中心點的熱力圖及相較于上一幀的偏移量，依靠貪婪匹配實現數據關聯。WANG 等［12］提出JDE 網絡，將ReID 網絡與檢測網絡整合到一個網絡中，使網絡同時輸出檢測結果和相應的外觀嵌入，再根據目標的外觀信息與運動信息進行數據關聯。ZHAN 等［13］提出FairMOT 網絡，網絡中包含檢測與ReID 兩個同質分支，使用編解碼架構提取網絡的多層融合特征，提高網絡對物體尺度變換的適應能力。盡管上述方法進一步改善了目標跟蹤的性能，但上述方法不使用端到端的網絡，文獻［10-11］在一個網絡中聯合學習檢測與跟蹤，文獻［12-13］將檢測與ReID 網絡集成到一起，這些方法中的數據關聯過程仍被視為后處理部分，是一種部分端到端的網絡，仍然無法做到全局優化，需要復雜的數據關聯機制來處理不同模塊的特征，不利于滿足在線跟蹤的實時性要求。

本文基于鏈式結構［14］提出一種多特征融合的端到端鏈式行人多目標跟蹤網絡，利用鏈式特性降低數據關聯的復雜性。在鏈式結構中引入雙向金字塔，在傳統特征金字塔的基礎上增加一條聚合路徑以獲得更深入的融合特征。為適應目標形狀和尺度的改變，在雙向金字塔中采用具有采樣特征加權的改進可變形卷積。使用聯合注意力提高目標框的準確性，重點突出2 幀圖片中屬于同一目標的區域［14］。最后，設計多任務學習損失函數，優化成對目標邊界框回歸的準確性，提升整體跟蹤的性能。

1 多特征融合的鏈式跟蹤網絡

1.1 本文網絡架構

本文基于鏈式網絡結構提出多特征融合的跟蹤網絡，將目標檢測、特征提取和數據關聯融入到一個統一的框架中。與其他網絡不同，常見的在線多目標跟蹤逐幀進行檢測與數據關聯，網絡的輸入僅為單個幀，本文將相鄰的兩幀組成鏈節點作為網絡的輸入，完成鏈式跟蹤，鏈式跟蹤的整體流程如圖1 所示。給定一個共有N幀的圖像序列，Ft表示第t幀的圖像，每一個鏈節點由相鄰兩幀圖像組成，第1 個鏈節點為(F1,F2)，第N個節點為(FN,FN+1)，由于圖像序列最多只有N幀，將FN+1用FN表示，即將第N個節點改寫為(FN,FN)。將節點(Ft-1,Ft)輸入到網絡中，網絡會輸出2 幀中屬于相同目標的成對邊界框，其中nt-1表示相同目標對的數量，分別表示節點內Ft-1與Ft中相同目標的兩個邊界框。同理，下一個節點經過網絡的輸出表示相鄰節點的公共幀中相同目標的邊界框，本質上它們來自同一幀圖像，理論上僅存在微小的差異，故不需要復雜的數據關聯機制。計算之間的幀間交并比以獲取親和力矩陣，從而鏈接2 個相鄰的節點。應用匈牙利算法完成中相同目標檢測框的最優匹配任務，對于成功匹配上的邊界框對應用所在的軌跡進行更新。針對目標消失的情況，若目標出現在Ft-1幀而在Ft幀消失，節點(Ft-1,Ft)與(Ft,Ft+1)均不會檢測到該目標，因此可以認為該目標在Ft-1幀甚至是Ft-2幀就已消失，避免誤檢噪聲引起的跟蹤器的漂移現象。針對目標可能連續幾幀消失在可視范圍內導致檢測失敗的情況，保留消失目標的軌跡和身份σ幀，在這期間利用物體的勻速運動模型進行運動估計，持續預測目標位置并與當前檢測結果不斷進行匹配，嘗試把丟失的目標重新鏈接至軌跡中，保證在強遮擋情況下目標仍可以被有效跟蹤，減少身份切換的現象發生。若在σ幀之后仍沒有匹配成功，則認為該目標離開了場景，此時將該目標的相關軌跡以及身份信息刪除。

圖1 鏈式跟蹤的整體流程Fig.1 Overall process of chain tracking

針對場景中新目標出現的問題，在進行IoU 匹配時，將未匹配上的檢測框認為是新出現的目標，對其分配新的身份并且初始化新的軌跡。若目標不在Ft-1幀而出現在Ft幀，節點(Ft-1,Ft)旨在輸出相同目標的邊界框對，因此不會識別該目標，但如果該目標穩定出現在場景中，該目標在節點(Ft,Ft+1)的輸出就會被檢測到，并獲得初始化的新軌跡和身份標識。模型利用IoU 匹配進行數據關聯，同時運動估計保證了長軌跡的生成，增加模型應對遮擋的魯棒性。

為獲得每個節點中的邊界框對，網絡利用了目標檢測中的邊界框回歸思想，直接回歸出兩幀圖像中相同目標的邊界框對，網絡的整體架構如圖2 所示。

圖2 網絡整體架構Fig.2 Overall architecture of network

由圖2 可知，網絡采用孿生網絡結構將連續兩幀圖像共同輸入至網絡中，分別利用Resnet50 作為骨干網提取深層語義特征，并利用多特征融合的雙向金字塔結構輸出多尺度的特征表示。多特征融合的特征金字塔結構如圖3 所示。為獲得兩幀圖像中相同目標的位置，首先將骨干網絡生成的相鄰幀多尺度特征圖進行拼接，然后送入預測網絡中，以直接回歸出邊界框對。預測網絡由3 個分支組成，包括目標分類分支、身份驗證分支以及邊界框對回歸分支。目標分類分支針對每個檢測框預測前景區域置信度分數，以判斷該區域中是目標還是背景。身份驗證分支用于判斷成對的檢測框中是否包含同一個目標。若包含同一個目標，邊界框回歸分支同時預測兩個邊界框中該目標的坐標。

圖3 多特征融合的金字塔網絡Fig.3 Feature pyramid network with multi-feature fusion

為促進邊界框回歸過程可以集中于兩幀圖像中的相同目標，并且避免被無關信息干擾，預測網絡中使用聯合注意力模塊，使回歸過程更加關注組合特征中的有效信息區域［14］，身份驗證分支和目標分類分支的預測置信度圖均被用作注意力圖，將注意力圖與組合特征相乘后再輸入到邊界框對回歸分支，來自2 個分支的注意力起互補作用。利用預測網絡結構中3 個分支的特性構造聯合注意力模塊，充分利用分類分支與身份驗證分支的信息。相比只用于單個分支的常規注意力，聯合注意力可以共同利用2 個分支的結果作用于回歸過程。在執行邊界框回歸前，其他2 個分支的結果聯合作用于回歸分支，2 個分支的結果可以通過損失函數的設計來調節回歸過程，其中分類分支的注意力圖促進回歸過程更加關注包含有效信息的前景區域，身份驗證分支的注意力圖使網絡集中于相同目標檢測框對的回歸，能充分利用2 個分支的有效信息并且更好地監督回歸過程，在一定程度上促進了網絡中相同目標邊界框回歸的準確性。

網絡中將相鄰兩幀圖片組成一個節點作為輸入，網絡回歸出兩幀圖片中相同目標的邊界框對，不同節點之間由于存在公共幀，因此差異較小，故使用簡單的IoU 匹配完成節點之間的關聯，使用基礎的匈牙利算法就可以完成檢測框之間的最優匹配，從而完成幀間數據關聯過程。數據關聯的簡化有利于提高跟蹤的速度，滿足實時性的要求。根據網絡的輸出特性設計軌跡管理機制，若節點間的公共幀成功匹配，則更新軌跡狀態；若匹配失敗則進入軌跡丟失狀態，保存當前運動軌跡以及身份，同時使用運動估計嘗試重新關聯軌跡與目標。網絡節點間的鏈式特性降低了誤檢的影響，也降低了關聯機制的復雜度，實現了端到端的跟蹤過程。

1.2 多特征融合的特征金字塔結構

行人目標在視頻幀中處于移動狀態，目標尺度變化很大，如果利用檢測器的回歸思想直接回歸出圖像對的邊界框，就需要充分利用目標的語義信息保證回歸的邊界框坐標準確，同時增加小目標識別的準確性。常見的目標檢測網絡如Faster R-CNN 僅利用了骨干網提取的頂層特征來進行目標的識別與定位，圖像中小目標在下采樣過程中包含的有用信息會進一步減少甚至消失，這種方法不利于對小目標進行預測［15］。SSD 網絡使用了多尺度特征融合的方法，從骨干網的不同層中提取不同尺度的特征進行融合，但這仍沒有充分融合低層的語義信息［16］。因此，提出在骨干網后接入特征金字塔網絡（Feature Pyramid Networks，FPN）［17］，骨干網采用ResNet50 完成自底向上前向傳播的過程，將特征圖尺寸不變的層歸為一個階段。提取每個階段最后一層的輸出來完成特征融合，同時加入自頂向下的過程，來自頂層的特征圖經過上采樣與骨干網提取的相同尺寸的特征圖橫向連接并進行特征融合，以同樣的方式逐層進行特征融合獲得多尺度的特征圖，充分融合高層與低層的語義信息，進而適應目標的尺度變化。

本文為提高網絡對目標尺度的適應能力，在鏈式跟蹤網絡架構的基礎上引入多特征融合的雙向金字塔網絡，借鑒了PANet［18］的思想，在特征金字塔FPN 自頂向下的聚合路徑后增加一條自底向上的特征聚合路徑，形成多特征融合的特征金字塔結構，更加充分地利用網絡的淺層信息，有利于獲得目標的更多位置信息。同時，為適應目標的形狀變化特性，將原金字塔結構中的傳統卷積替換為采樣特征加權的改進可變形卷積（Deformable ConvNets v2，DCN v2），DCN v2 的具體結構見1.3 節。利用多特征融合的特征金字塔可同時適應目標的尺寸與形狀變化特性。

1.3 改進可變形卷積

傳統卷積方式使用尺寸固定的卷積核，對輸入特征圖采用規則采樣，一般采樣方式以矩形結構為主，提取的特征也是矩形框內的特征。然而，視頻序列中行人目標在不停移動，不同幀中目標的形狀以及尺度變化很大，傳統卷積方式對這種幾何變換的適應性較差，導致特征提取不完整，引入背景噪聲也容易影響最后的結果。為適應不同目標形狀和尺度的改變，在雙向金字塔網絡中引入DCN v2 卷積，DCN v2 卷積實現過程如圖4 所示。

圖4 DCN v2 卷積的實現過程Fig.4 Implementation process of DCN v2 convolution

在生成多尺度特征圖的過程中將傳統卷積替換為改進可變形卷積，根據當前目標的形狀和尺寸自適應地調整采樣點的位置，從而更加準確地提取目標特征。可變形卷積的主要思想是在標準卷積的規則網格采樣位置添加2D 偏移量，偏移量的計算通過另一個標準卷積過程實現，故偏移量可以在訓練過程中一起被學習，卷積核的大小和位置則可以根據學習到的偏移量進行動態調整，達到根據目標形狀與尺度自適應調整的目的［19］。

可變形卷積在實現的過程中并非根據偏移量直接改變卷積核，而是通過對卷積前圖片的像素值進行重新整合后再進行一般卷積操作，達到卷積核擴張的效果。可變形卷積的實現需要利用普通卷積中共N個采樣點提取特征圖，通過額外的卷積層從特征圖中進行偏移量的學習，偏移量具有和輸入特征圖相同的空間分辨率，且為2D 分量，每個采樣位置疊加1 個偏移量，分別包含x與y兩個坐標方向的偏移，故將輸出通道數設置為2N，表示N個采樣點的2D 偏移，偏移量隨著網絡訓練過程一起被學習。偏移量的變化以局部、自適應的方式取決于輸入特征圖中目標的形變，將獲得的偏移量疊加到原來的特征圖上獲得加入偏移后的坐標位置，通過雙線性插值的方式計算坐標位置對應的像素值。當獲得所有像素值后便得到一個新的圖像，將這個新圖像作為輸入，并進行常規的卷積操作。可變形卷積的使用對目標的形變等更具適應性，但偏移量的疊加傾向于使采樣點聚集在目標對象周圍，對物體的覆蓋不精確，且會引入無關的背景信息造成干擾。為每一個采樣點增加權重系數，通過給每一個偏移后的采樣位置賦予權重來區分當前采樣位置是否包含有效信息。采樣權重取值在［0，1］之間，采樣權重與偏移量一樣，都是通過對輸入特征圖采用卷積運算來獲得，即采樣權重也是可學習參數，可以根據采樣位置的變化在訓練中學習得到。對輸入特征圖進行卷積操作，輸出通道數由2N增加為3N，其中前2N個通道仍表示N個采樣點的2D 偏移量，剩余的N個通道被進一步送入Sigmoid 層以獲得采樣權重，將偏移量與采樣權重的初始值分別設置為0 和0.5，并在網絡訓練過程中不斷被優化。如果疊加了偏移后的采樣區域沒有目標信息，則通過學習使權重降低，從而使網絡可以更加集中于目標區域［20］。

2 損失函數

其中：參數λ可以控制簡單樣本的梯度變化，當λ較小時可以使簡單樣本產生較大的梯度，以平衡簡單樣本與困難樣本的梯度貢獻；參數η用于調整回歸誤差的上限；參數b保證了在x=1 時，損失函數有相同的值。3 個參數共同作用以滿足約束條件，使得當偏移差接近于0 時，梯度迅速下降，接近于1 時梯度緩慢上升，解決SmoothL1 Loss 在偏移差為1 時的突變問題，使網絡訓練可以更平衡。

由Lb(x)可得回歸分支成對檢測框的回歸損失Lreg的表示式如式（6）所示：

在獲得目標分類分支、身份確認分支與邊界框回歸3 個分支的損失函數后，以一定權重對3 個分支損失函數進行加權，獲得網絡總的損失函數Ltotal，其表達式如式（7）所示：

其中：參數m與n分別表示分類損失與身份確認損失在Ltotal的權重。

3 實驗結果與分析

本文所設計的網絡在MOT17 數據集上進行訓練與測試。MOT17 數據集發布于MOTChallenge上，相較于之前版本的視頻序列有更高的行人密度，共包括1 342 個身份標識及292 733 個目標框，總計11 235 幀。MOT17 數據集包含14 個視頻序列，既有靜態攝像機場景也有動態攝像機場景，還包含不同的光照場景，例如晚間人群密集的商業街、光線昏暗的公園、明亮的商場中運動攝像機的跟拍、街道上模擬自動駕駛場景等。本文將MOT17 數據集中7 個視頻序列用于訓練，其余7 個用于測試。

本文使用多目標跟蹤中最常用的CLEAR Metric［23］與IDF1［24］指標來評估模型的性能，其中CLEAR Metrics 主要包括多目標跟蹤準確度（Multiple-Object Tracking Accuracy，MOTA）、多目標跟蹤精度（Multiple-Object Tracking Precision，MOTP）、主要跟蹤軌跡（Mostly Tracked Trajectories，MT）、主要丟失目標軌跡（Mostly Lost Trajectories，ML）、身份切換總數（Identity Switches，IDS）、跟蹤速度等指標。

1）MOTA 是融合了誤檢、漏檢與身份切換3 種因素的綜合性指標，衡量模型在檢測目標和關聯軌跡時的整體性能，體現多目標跟蹤的準確度；

2）MOTP 為目標檢測框與真值框在所有幀之間的平均度量距離，衡量多目標跟蹤的精度，主要是檢測器的定位精度；

3）MT 指標衡量了目標存在期間與真值軌跡匹配高于80%的預測軌跡數目占軌跡總數目的比例；

4）ML 指標衡量目標存在期間與真值軌跡匹配低于20%的預測軌跡占總軌跡數的比例，MT 與ML兩個指標均不考慮目標是否發生身份切換，僅衡量目標跟蹤的完整性；

5）IDS 衡量整個跟蹤過程身份切換的數目，衡量跟蹤算法的穩定性；

6）跟蹤速度指標用幀率（Frame Per Seconds，FPS）來衡量，FPS 數值越大，跟蹤速度越快；

7）IDF1 指標衡量軌跡中身份標識的準確性。

以上指標中，MOTA 為最受關注的指標，體現了跟蹤整體的性能。

在網絡訓練過程中為防止過擬合，一般會利用4 種方法進行數據增強：以0.5 的概率隨機對圖像進行亮度調整；色彩與飽和度調整；水平翻轉；以[0.3,0.8]的尺度范圍對圖像進行隨機裁剪。將模型在MOT17 訓練集上訓練時的批量大小設置為8，采用標準的Adam 優化器對網絡訓練100 輪，初始的學習率設為5×10-5，在網絡訓練過程中連續3 輪損失不下降則衰減學習率，學習率衰減因子為0.1。為平衡訓練過程中的回歸損失與分類損失，將損失函數Ltotal中的參數m與參數n均設置為1.4，目標分類損失Lcls與身份驗證損失Lid中參數α與參數γ分別設置為0.25 與2.0，回歸損失Lreg中參數λ與參數η分別設置為0.5 與1.5。在錨框與真值框匹配階段將IoU 匹配閾值Tmax設置為0.5，在節點鏈接階段，根據IoU 匹配的鏈接閾值設置為0.4，消失的目標保留其身份與軌跡σ幀，此處σ設置為10。

本文設計消融實驗探究模型中各模塊對整體性能的影響，實驗結果如表1 所示。

表1 消融實驗結果Table 1 Ablation experiment results

由表1 可以看出，由于基礎鏈式結構中不包含多特征融合以及多任務損失模塊，在加入多特征融合的特征金字塔結構之后，MOTA 指標從66.6 提升到了68.4，MOTP 指標也提升了1.3，MT 指標、IDF1指標均得到大幅提升，但ML 指標與IDS 指標均有不同程度的下降。改進后的特征金字塔網絡增加了一條從下到上的特征融合路徑，將其與可變形卷積融合，使其在特征提取階段獲得適應多目標形變與多尺度變化的融合特征。充分利用淺層語義信息提取更多的目標位置信息，可以根據目標的變化動態調整感受野，使網絡更能適應目標的形變。由于實驗所用數據集人流密度較大且處于動態變化，因此網絡可以在目標發生形變時自適應地提取動態變化的特征，增強對目標形變的適應能力以及對小目標的檢測能力，進而提升MOTA、MOTP、MT 和ML 等指標。此外，檢測到的回歸框能夠進一步保證節點鏈接的準確性，因此相同目標的數據關聯過程更準確，能夠減少身份切換現象的發生，進一步優化了IDF1與IDS 指標。本文網絡引入BalancedL1 Loss 替換傳統的SmoothL1 Loss 損失函數，并進一步調整了損失函數的權重。雖然MT、ML 指標有一定波動，但是其他指標均有不同程度的提升，MOTA 指標獲得了1.2 的增益、MOTP、IDF1 指標分別提高了1.5、2.4，這表明在網絡訓練過程中平衡簡單樣本與困難樣本的梯度影響更有利于網絡回歸任務的均衡學習，提高了回歸邊界框對的準確性，進一步改善了跟蹤過程的準確度與精度。

多目標跟蹤網絡受檢測器的影響很大，為了公平地評價多目標跟蹤網絡的性能，將網絡分為Private 與Public 兩種。Public 方法使用數據集中提供的固定檢測器完成整個跟蹤模型的搭建，Private 方法可以使用任意檢測器。由于Private 方法可以使用任何一個性能更好的檢測器，因此同等條件下的Private方法比Public方法效果更好。MOT17數據集中的公共檢測器為DPM、SDP 與Faster R-CNN3 種檢測器，而本文網絡結構中檢測部分利用了RetinaNet 結構，屬于Private 方法。為公平比較，本文僅將所設計網絡與其他使用Private 方法的網絡比較，結果如表2 所示，表中加粗數字為該組數據的最大值。

表2 不同網絡在MOT17 數據集下的實驗結果Table 2 Experiment results of different networks under MOT17 date set

由表2 可知，基于本文網絡的方法具有較高的MOTA 值以及MOTP 值。分析原因可能是使用基于可變形卷積的多特征融合網絡增強了模型特征提取能力，提高了模型對行人目標尺度以及形變的適應能力，進而提高了整體跟蹤的精度與準確度。由表2還可知，本文網絡的MT 指標、ML 指標與IDS 指標相較于其他網絡效果略有降低，但是具有最高的幀率。這是因為本文網絡在鏈式跟蹤時節點之間僅使用IoU 進行匹配，利用節點之間公共幀的相似性進行數據關聯，省去了復雜的數據關聯算法，因此大幅提高了跟蹤算法整體的速度。但是本文網絡僅使用IoU 關聯，與其他復雜的關聯算法進行對比，關聯的準確率與精度有所下降，影響跟蹤過程的完整性，或者容易出現身份切換的現象，這表現在MT 指標、ML 指標與IDS 指標值的降低。測試結果中，本文網絡的幀率最高，MOTA 指標相較于其他網絡略有降低。這是因為數據關聯階段使用的IoU 匹配屬于簡單的基礎匹配方法，在一定程度上影響了匹配的準確性，從而降低了跟蹤精度。在通常情況下采用更復雜的匹配方式替換IoU 匹配可以提高跟蹤精度，但數據關聯需要對輸入的視頻幀進行逐幀匹配，數據關聯算法的復雜性增加后，整個視頻幀的跟蹤速度就會大幅降低。從跟蹤速度與精度權衡的角度考慮，本文選取了復雜性較低的基礎IoU 匹配方法。為了降低簡單匹配方式帶來的影響，本文還采用了鏈式結構，利用節點之間的公共幀保證匹配雙方具有強相似性，降低對復雜匹配方式的依賴性。此外，本文利用多特征融合結構與多任務損失提高邊界框回歸的精確性，進一步保證匹配過程的準確性。實驗結果表明，所設計網絡實現了速度與精度的權衡。

本文選取了測試集中2 個不同場景下連續3 幀的跟蹤結果進一步展示多目標跟蹤算法的實際效果。圖5 所示為本文網絡在MOT17-03 數據集下的可視化跟蹤結果示例（彩色效果見《計算機工程》官網HTML 版本），此場景為靜止的攝像機場景，地處晚間的商業街，光線較昏暗且人流密集度較大，具有一定的跟蹤難度。圖6 為本文網絡在MOT17-12 數據集下的跟蹤結果示例（彩色效果見《計算機工程》官網HTML 版本），此場景為運動攝像機視角下的場景。由圖5 可知，MOT17-03 數據集下大部分的目標都可以被成功檢測且在跟蹤過程中保持身份不變，在人流密集處也能有效地被檢測到，但是在嚴重遮擋環境下存在發生身份切換的可能性，例如圖6 中第1 幀圖像身份標識593 的目標在第2 幀中未被檢測到，在第3 幀身份標識切換成了594，即在嚴重遮擋情況下出現了漏檢、誤檢以及身身份切換的現象。在圖6 中身份標識為140 的目標在第1 幀沒有被檢測到，在后2 幀才被正確地識別與跟蹤。由于運動攝像機下相機與行人均處于運動狀態，目標的形狀與位置信息在通常情況下具有一定的模糊性，所以會發生誤檢以及漏檢的現象，除了140 號小目標之外其余目標都被成功跟蹤，這進一步說明了檢測結果對整體跟蹤性能的影響。實驗結果表明，本文設計的網絡可以較好地應對場景中的動態變化，在人流較高、光照改變、運動攝像機等復雜場景下仍具有一定的魯棒性。

圖5 本文網絡在MOT17-03 數據集下的可視化跟蹤結果示例Fig.5 Visual tracking results example of network in this paper under MOT17-03 date set

圖6 本文網絡在MOT17-12 數據集下的可視化跟蹤結果示例Fig.6 Visual tracking results example of network in this paper under MOT17-12 date set

4 結束語

本文設計一種多特征融合的端到端鏈式多目標跟蹤網絡，將目標檢測、外觀特征提取與數據關聯集成到一個框架中，并將多特征融合的雙向金字塔網絡引入框架中，在特征金字塔結構中融入具有采樣加權的改進可變形卷積，進一步增加對目標形變的適應能力。本文網絡可以根據目標的變化動態調整感受野，從而提升模型特征提取能力，從整體上改善跟蹤的性能。引入focalloss 與BalancedL1 Loss 兩種損失函數進行多任務學習，進一步解決回歸任務中正負樣本不平衡、簡單樣本與困難樣本梯度貢獻差距大的問題，實現網絡的均衡學習，提升跟蹤的精度與準確度。實驗結果表明，本文網絡實現了速度與精度的權衡，具有較高的應用價值。但本文網絡在數據關聯階段僅使用了IoU 匹配，雖然簡單的數據關聯算法可以提高整體的跟蹤速度，但是會影響關聯的準確性，導致身份切換的現象發生。下一步將使用級聯匹配、圖卷積等方法對數據關聯階段進行優化，設計更合理的關聯方法，并嘗試將該網絡應用于其他特定場景中。