基于深度學(xué)習(xí)的行人單目標(biāo)跟蹤

楊勇，張軼

（1.四川大學(xué)計算機(jī)學(xué)院，成都610065；2.四川大學(xué)視覺合成圖形圖像技術(shù)國家重點實驗室，成都610065）

0 引言

行人目標(biāo)跟蹤在無人駕駛、智能監(jiān)控、智能交通等方面都有重要意義的研究課題，在智能監(jiān)控，可以通過對行人軌跡實時分析，得到行人相關(guān)事件；在智能交通中，可以通過行人軌跡對行人運(yùn)行方向進(jìn)行預(yù)判，有效地預(yù)防交通事故；在人流統(tǒng)計方面，可以通過對行人軌跡分析，實施人流監(jiān)控等。總之，對任何行人相關(guān)分析都離不開對行人軌跡的分析，即要在保證跟蹤效果的前提下，提高系統(tǒng)跟蹤速度。本文在解決行人跟蹤速度的同時提高了系統(tǒng)行人跟蹤效果。

1 概述

1.1 行人目標(biāo)檢測概述

在傳統(tǒng)算法中，行人檢測效果主要取決于特征描述子，如何提取更優(yōu)的行人特征描述子成為眾多學(xué)者研究的重點。其中最為突出的當(dāng)是Dalal 等提出行人HOG 特征描述子是目前廣泛使用的行人檢測特征描述子，其對光照變化和小量的偏移并不敏感，能有效地刻畫出人體的邊緣特征[1]。然后訓(xùn)練SVM 分類器或者使用AdaBoost 算法構(gòu)建級聯(lián)分類器進(jìn)行行人檢測[2]。在此后也提出了很多基于行人檢測的特征描述子，例如Edgelet、邊緣模板、LBP 等，都取得了比較好的效果。但是在2012 年ImageNet 圖像識別比賽，CNN 網(wǎng)絡(luò)AlexNet 一舉奪得冠軍[3]，開啟了深度學(xué)習(xí)目標(biāo)檢測的歷史新篇章，不斷刷新目標(biāo)識別的檢測率，甚至超過人類肉眼的識別水平。相比于傳統(tǒng)方法，基于深度學(xué)習(xí)的目標(biāo)檢測算法能夠?qū)W習(xí)到更好的目標(biāo)特征，對目標(biāo)具有更豐富的表達(dá)能力，隨著深度學(xué)習(xí)在行人檢測方面的應(yīng)用，也極大地提高了行人檢測效果。

1.2 目標(biāo)跟蹤概述

TLD 算法為長時間跟蹤算法的經(jīng)典代表，該算法在當(dāng)保證效果的前提下基本上能夠達(dá)到實時，并且是為數(shù)不多的長時間跟蹤算法，提出了Tracking-By-Detect 方案，在線更新模板，使得算法能夠自適應(yīng)的跟蹤目標(biāo)[4]。陳東岳等人在Mean-shift 算法框架下提出一種基于多特征在線模板更新策略的魯棒目標(biāo)跟蹤算法，其具有較強(qiáng)的魯棒性和較高的準(zhǔn)確性[5]。相關(guān)濾波器相關(guān)算法仍是目前傳統(tǒng)跟蹤算法研究熱點，其中最具有代表性的為KCF 算法。KCF 使用目標(biāo)周圍區(qū)域的循環(huán)矩陣采集正負(fù)樣本，利用脊回歸訓(xùn)練目標(biāo)檢測器，并成功的利用循環(huán)矩陣在傅里葉空間可對角化的性質(zhì)將矩陣的運(yùn)算轉(zhuǎn)化為向量元素的點乘，大大降低了運(yùn)算量，使算法滿足實時性要求[6]。目前傳統(tǒng)跟蹤算法中效果較好且跟蹤速度能夠達(dá)到實時的算法為ECO+，其跟蹤效果能達(dá)到使用深度學(xué)習(xí)網(wǎng)絡(luò)跟蹤的效果[7]。

隨著深度學(xué)習(xí)的在目標(biāo)檢測的運(yùn)用，相繼探索深度學(xué)習(xí)在目標(biāo)跟蹤中的運(yùn)用，DLT 作為第一個將深度網(wǎng)絡(luò)運(yùn)用于單目標(biāo)跟蹤的跟蹤算法，提出了離線預(yù)訓(xùn)練＋在線微調(diào)的思路，很大程度的解決了跟蹤中訓(xùn)練樣本不足的問題[8]。FCNT 分析了CNN 不同層的特征特點，得到深度網(wǎng)絡(luò)高層特征擅長區(qū)分不同類別的物體，對目標(biāo)的形變和遮擋具有較好的魯棒性，但是對類內(nèi)物體的區(qū)分能力非常差[9]。低層特征更關(guān)注目標(biāo)的局部細(xì)節(jié)，可以用來區(qū)分背景中相似的干擾項，但是對目標(biāo)的劇烈形變不具備較好的魯棒性。2016 年Luca Bertinetto 等學(xué)者提出SiamFC 網(wǎng)絡(luò)，一個新穎的全卷積孿生網(wǎng)絡(luò)，并使用ILSVRC15 數(shù)據(jù)集進(jìn)行端到端訓(xùn)練。該算法達(dá)到了實時性要求，盡管它非常簡單，但在多個benchmark 上達(dá)到最優(yōu)的性能，將深度學(xué)習(xí)在目標(biāo)跟蹤領(lǐng)域推向一個新的里程碑。此后諸多學(xué)者在此網(wǎng)絡(luò)進(jìn)行改進(jìn)，例如Siamese-RPN 將SiamFC 和RPN網(wǎng)絡(luò)相結(jié)合[10]，SiamRPN++使用了深層網(wǎng)絡(luò)，且使用了多層網(wǎng)絡(luò)特征進(jìn)行融合[11]，均達(dá)到不錯的跟蹤效果。但是其并沒有實時更新匹配模板，由于行人不具備剛性條件，或者由于光照等原因，容易導(dǎo)致系統(tǒng)跟蹤失敗，從而導(dǎo)致算法不容易使用于實際項目中。

2 基于Faster R-CNN和SiamFC網(wǎng)絡(luò)融合算法的提出

2.1 行人目標(biāo)跟蹤方案分析

目前工程中使用行人單目標(biāo)跟蹤方案基本上可以分為兩種：方案一是使用行人識別算法對視頻幀進(jìn)行逐幀檢測，然后將行人目標(biāo)框連接，成為目標(biāo)軌跡，此方案能夠?qū)崿F(xiàn)目標(biāo)的長時間跟蹤；方案二是使用跟蹤算法，在第一幀手動框出行人目標(biāo)，或者是使用識別算法檢測出行人目標(biāo)，利用跟蹤算法對行人進(jìn)行跟蹤，此方案能夠?qū)崿F(xiàn)短時間跟蹤目標(biāo)。

在方案一中檢測網(wǎng)絡(luò)的效果和檢測時間成反比，檢測算法越復(fù)雜，系統(tǒng)能夠更好地提取圖像特征，則系統(tǒng)檢測效果更好，但由于網(wǎng)絡(luò)比較深，系統(tǒng)參數(shù)較多，導(dǎo)致系統(tǒng)檢測時間增加，無法進(jìn)行實時行人目標(biāo)跟蹤。反之，網(wǎng)絡(luò)的表達(dá)能力越弱，則其相應(yīng)的檢測精度就隨之下降，則算法容易導(dǎo)致系統(tǒng)行人跟丟。都不容易將算法運(yùn)用于實際場景。所以要使此方案運(yùn)用于實際場景，只能增加提高系統(tǒng)的運(yùn)算能力，增加系統(tǒng)配置。此方案的優(yōu)點在于能夠提取行人目標(biāo)的深度語義特征，識別能力比較強(qiáng)。但此方案缺點在于逐幀檢測，并未利用視頻上下文信息，所以不能提高系統(tǒng)檢測幀率，且在實時視頻目標(biāo)檢測時，使用Faster R-CNN 在使用NVIDIA 1080Ti 顯卡平臺下，該算法的速度只能達(dá)到13fps。且視頻圖片存在運(yùn)動模糊等情況，會導(dǎo)致現(xiàn)局部跟蹤失敗的情況，降低系統(tǒng)的跟蹤效率。如圖1所示，前兩幀圖像系統(tǒng)能夠正確檢測，但是視頻中行人存在運(yùn)動模糊，導(dǎo)致后兩幀系統(tǒng)無法檢測行人，導(dǎo)致局部跟蹤失敗。

圖1 檢測跟蹤算法檢測成功和失敗圖

方案二選擇跟蹤算法實現(xiàn)行人目標(biāo)，此方案的優(yōu)點在于跟蹤算法結(jié)構(gòu)簡單，能夠達(dá)到實時，但是其缺點為在跟蹤過程中，行人目標(biāo)容易發(fā)生形變、被遮擋、或者光照變化等原因，容易導(dǎo)致目標(biāo)跟丟的情況，并且跟蹤失效后無法重新找回目標(biāo)，從而導(dǎo)致算法失效。如圖2 所示，跟蹤算法在剛開始能夠準(zhǔn)的跟蹤目標(biāo)，但是由于行人走至樹下，表現(xiàn)為系統(tǒng)光照變化，導(dǎo)致行人目標(biāo)跟蹤失敗。且后續(xù)模板無法更新，導(dǎo)致系統(tǒng)無法找回目標(biāo)，跟蹤失敗。

圖2 跟蹤算法跟蹤失敗序列

針對現(xiàn)有行人目標(biāo)跟蹤方案一和方案二的優(yōu)缺點，利用檢測算法在關(guān)鍵幀初始化跟蹤網(wǎng)絡(luò)，降低跟蹤網(wǎng)絡(luò)誤差，避免由于視頻模糊、光照等使跟蹤網(wǎng)絡(luò)模板失效，導(dǎo)致跟蹤失敗，利用跟蹤網(wǎng)絡(luò)提取行人目標(biāo)淺層輪廓特征進(jìn)行跟蹤，提高系統(tǒng)跟蹤效率。

2.2 行人檢測算法網(wǎng)絡(luò)介紹

行人檢測算法使用Faster R-CNN 網(wǎng)絡(luò)為twostage 目標(biāo)檢測網(wǎng)絡(luò)，該網(wǎng)絡(luò)在R-CNN、Fast R-CNN 網(wǎng)絡(luò)上逐步改進(jìn)而提出，在R-CNN 和Fast R-CNN 網(wǎng)絡(luò)中，網(wǎng)絡(luò)的大部分時間花銷在提取預(yù)選框上[12]，F(xiàn)aster R-CNN 提出使用網(wǎng)絡(luò)直接提取預(yù)選框的方法。通過引入?yún)^(qū)域生成網(wǎng)絡(luò)（RPN）算法提取預(yù)選框，減少系統(tǒng)提取預(yù)選框的時間，RPN 從一組預(yù)先確定的錨點通過網(wǎng)絡(luò)的分類和回歸生成預(yù)選框。然后將預(yù)選框通過ROI Pooling 得到固定的特征圖，通過分類網(wǎng)絡(luò)將候選框進(jìn)行分類和回歸，得到最終的目標(biāo)和回歸更加精準(zhǔn)的目標(biāo)框。這不僅使檢測器更加準(zhǔn)確，并且預(yù)選框通過RPN 與檢測網(wǎng)絡(luò)的聯(lián)合訓(xùn)練，可實現(xiàn)端到端訓(xùn)練。即圖像一次性即可檢測出目標(biāo)。Faster R-CNN 的網(wǎng)絡(luò)結(jié)構(gòu)如下，由特征提取網(wǎng)絡(luò)VGG16[13]、RPN 網(wǎng)絡(luò)、ROI Pooling 網(wǎng)絡(luò)[14]和全連接層分類網(wǎng)絡(luò)構(gòu)成。

圖3 Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)圖

特征提取：本文引用VGG16 作為特征提取網(wǎng)絡(luò)，輸入圖像縮放到（600×800）通過13 個conv 層，13 個relu 層，和4 個pooling 層，得到系統(tǒng)的高維特征圖為輸入圖像寬和高的1/16，即（38×50）。

RPN 網(wǎng)絡(luò)：由VGG16 得到的特征層，映射到原圖得到候選區(qū)域，本文特征尺寸為（38×50），原論文中在選區(qū)錨點時使用參數(shù)為ratios=[0.5,1,2]，scales=[8,16,32]。每個點通過映射得到9 個錨點。在本論文中，由于檢測特定行人目標(biāo)，出于行人形狀考慮，本文將ratios 設(shè)置為[0.5,0.8,1]，使之更加符合行人形狀。得到38×50×9=17100 個錨點，通過RPN 網(wǎng)絡(luò)分類和回歸得到前景目標(biāo)框。其分類損失函數(shù)為：

式（1）中Lreg表示的是L1損失函數(shù)，其預(yù)測的是相對于錨點的偏量：

其中xpredict, ypredict, wpredict, hpredict為網(wǎng)絡(luò)預(yù)測目標(biāo)框；xanchor，yanchor，wanchor，hanchor為錨點目標(biāo)框；xtrue，ytrue，wtrue，htrue為真實行人目標(biāo)框；

式（1）中Lcls為Softmax 損失函數(shù)：

其中y 為樣本標(biāo)簽，zi為RPN 網(wǎng)絡(luò)預(yù)測類別值；

ROI Pooling 網(wǎng)絡(luò)：將RPN 得到的候選框在特征層上劃分為7×7 的區(qū)域，每個區(qū)域提取最大值，得到7×7的特征。

全連接層分類：將候選框得到的前景框的前300個目標(biāo)框進(jìn)行分類和回歸，得到最終的目標(biāo)框。

本文由于將Faster R-CNN 用于視頻目標(biāo)檢測，由于行人目標(biāo)跟蹤視頻圖像存在模糊情況，檢測網(wǎng)絡(luò)的效果直接決定跟蹤的效果，本文在訓(xùn)練行人目標(biāo)檢測網(wǎng)絡(luò)時，為提高行人檢測效果，在訓(xùn)練行人檢測目標(biāo)模型時，使用在城市環(huán)境中正常行駛的車輛拍攝的Caltech 數(shù)據(jù)集，同時也加入了目標(biāo)跟蹤OTB 數(shù)據(jù)集和視頻目標(biāo)檢測數(shù)據(jù)集VID2015 中的模糊行人數(shù)據(jù)集，提高了模型的檢測能力。

2.3 跟蹤網(wǎng)絡(luò)介紹

SiamFC 網(wǎng)絡(luò)為2016 年基于孿生網(wǎng)絡(luò)上改進(jìn)的用于目標(biāo)跟蹤領(lǐng)域的網(wǎng)絡(luò)[16]，該跟蹤器在速度達(dá)到實時性要求，雖然網(wǎng)絡(luò)比較簡單，但是在多個benchmark 上達(dá)到最優(yōu)的性能。SiamFC 網(wǎng)絡(luò)就是初始離線階段把深度卷積網(wǎng)絡(luò)看成一個更通用的相似性學(xué)習(xí)問題，然后在跟蹤時對目標(biāo)進(jìn)行在線的簡單估計。由于網(wǎng)絡(luò)非常簡單，僅僅是學(xué)習(xí)目標(biāo)之間的相似性，所以該算法能夠達(dá)到實時，該網(wǎng)絡(luò)結(jié)構(gòu)如圖4[17]。

圖4 SiamFC網(wǎng)絡(luò)結(jié)構(gòu)

該算法提出學(xué)習(xí)一個函數(shù)f( x,z )來比較樣本圖像z 和搜索圖像x 的相似性，分別通過相同網(wǎng)絡(luò)提取模板圖像和搜索圖像的特征圖，用公式φ 表示，如果兩個圖像特征相似性非常高的圖像，則返回較高分，否則返回低分。公式如下：

其中：函數(shù)φ 是一個特征提取函數(shù)；

函數(shù)*為特征的相關(guān)性，即為兩個圖像卷積；

其損失函數(shù)為：

其中：l 為邏輯回歸損失函數(shù)；

D 為網(wǎng)絡(luò)得到的得分Map，u 為得Map 中的點；

將匹配圖片縮放到不同尺度，得到不同尺度下的特征匹配圖片Di；

2.4 檢測跟蹤算法融合

本文為提高系統(tǒng)跟蹤速度和質(zhì)量，提出將目標(biāo)檢測網(wǎng)絡(luò)和目標(biāo)跟蹤網(wǎng)絡(luò)自適應(yīng)融合，利用Faster R-CNN 檢測網(wǎng)絡(luò)在視頻關(guān)鍵幀時提取系統(tǒng)深度語義特征，對行人進(jìn)行檢測跟蹤。在非關(guān)鍵幀時利用視頻前后幀行人目標(biāo)具有高度相似性，使用SiamFC 提取目標(biāo)淺層輪廓特征，在當(dāng)前幀中找到與模板具有高度相似的目標(biāo)，對行人進(jìn)行跟蹤。由于在對行人進(jìn)行跟蹤時，行人目標(biāo)形狀或者光照等變化，導(dǎo)致跟蹤網(wǎng)絡(luò)SiamFC 模板失效，所以在關(guān)鍵幀使用Faster R-CNN 檢測結(jié)果對跟蹤網(wǎng)絡(luò)SiamFC 模板進(jìn)行更新，提高跟蹤網(wǎng)絡(luò)質(zhì)量。由于跟蹤系統(tǒng)輸出結(jié)果應(yīng)具有連續(xù)性，當(dāng)在系統(tǒng)判定為跟蹤失敗時，啟動檢測和跟蹤算法對系統(tǒng)輸出結(jié)果進(jìn)行約束，并根據(jù)結(jié)果及時更新跟蹤系統(tǒng)模板。

系統(tǒng)正常跟蹤時在關(guān)鍵幀使用Faster R-CNN 檢測跟蹤，在跟蹤失敗時才同時啟動檢測和跟蹤網(wǎng)絡(luò)對跟蹤系統(tǒng)進(jìn)行約束跟蹤，F(xiàn)aster R-CNN 由VGG16、PRN以及分類網(wǎng)絡(luò)構(gòu)成，SiamFC 網(wǎng)絡(luò)由5 層簡單網(wǎng)絡(luò)構(gòu)成，降低了系統(tǒng)的計算量，因此融合方案可將跟蹤速度提高至方案一（逐幀使用Faster R-CNN 檢測跟蹤）的3倍左右。在關(guān)鍵幀或者系統(tǒng)判定為跟蹤失敗時都會利用Faster R-CNN 檢測的行人目標(biāo)時時更新跟蹤網(wǎng)絡(luò)模板，因此相比于方案二（跟蹤網(wǎng)絡(luò)未更新模板）提高了系統(tǒng)跟蹤質(zhì)量。

算法首先由檢測網(wǎng)絡(luò)檢測出行人目標(biāo)框，并初始化跟蹤網(wǎng)絡(luò)模板，然后使用跟蹤網(wǎng)絡(luò)對目標(biāo)進(jìn)行跟蹤。以下為視頻幀拆開序列算法邏輯圖如圖5。

圖5 行人檢測和跟蹤算法邏輯圖

跟蹤算法的結(jié)果應(yīng)該具有結(jié)構(gòu)性即每一幀圖像內(nèi)行人最多只出現(xiàn)在一個位置，相鄰幀間行人目標(biāo)運(yùn)動是連續(xù)的，連續(xù)幀的位置行人的軌跡可以構(gòu)成一條較平滑的軌跡。且相鄰幀間行人目標(biāo)框大小變化也具備連續(xù)性，不應(yīng)產(chǎn)生突變，即當(dāng)前幀中心點到上一幀中心點l2-norm距離以及當(dāng)前幀和上一幀的IOU（面積重疊度）應(yīng)該保持在一定范圍，超過此范圍則視為當(dāng)前跟蹤偏離了行人軌跡，需要使用檢測和跟蹤算法融合，本文通過目標(biāo)中心點l2-norm距離以及目標(biāo)框重疊度對系統(tǒng)檢測或者跟蹤結(jié)果進(jìn)行約束，保證系統(tǒng)目標(biāo)的連續(xù)性[18]。如果不滿足要求則啟動檢測網(wǎng)絡(luò)，并將檢測和跟蹤結(jié)果自適應(yīng)融合。其融合算法：

行人目標(biāo)框中心點自適應(yīng)融合算法和公式：

其中：Dis 為前幀行人目標(biāo)框中心點和當(dāng)前跟蹤行人目標(biāo)框中心點l2-norm距離；Plast為前幀行人目矩形框中心點；Pdetect為檢測行人框中心點；Ptrack為跟蹤行人框中心點；DisRatiodetect為檢測行人框中心點權(quán)重；文中Dis=30 為實驗值。

行人目標(biāo)框?qū)捄透咦赃m應(yīng)融合算法和公式：

其中：IOU 為前后兩幀人框重疊度；Wr為融合后行人框?qū)挾龋琖d為跟蹤行人框?qū)挾龋琖t為檢測行人框?qū)挾龋籋r為融合后行人框高度，Hd為跟蹤行人框高度，Ht為檢測行人框高度；IOURatiodetect檢測行人框?qū)挕⒏邫?quán)重；注：文中參數(shù)IOU=0.3 為實驗值；

檢測和跟蹤算法融合流程圖如圖6 所示。

圖6 檢測和跟蹤算法融合流程圖

3 算法實驗分析

3.1 檢測方案和檢測跟蹤融合算法方案對比分析（在跟蹤視頻幀中選取特定序列）

如圖7 所示僅使用檢測算法時，由于視頻序列存在模糊情況，使算法無法檢測到行人目標(biāo)，導(dǎo)致目標(biāo)跟蹤局部視頻序列跟蹤失敗，視頻序列中第35 幀檢測出行人，但是第36 幀，第37 幀并未檢測出行人，出現(xiàn)局部跟蹤失敗情況。如圖8 所示使用檢測與跟蹤算法融合時，當(dāng)檢測失敗，啟動跟蹤算法，跟蹤算法利用幀間行人目標(biāo)相似度，對目標(biāo)進(jìn)行跟蹤，由于跟蹤算法只是提取系統(tǒng)淺層輪廓特征，所以使得行人目標(biāo)能夠很好地進(jìn)行跟蹤，并且在系統(tǒng)判定為跟蹤失敗時，使用檢測和跟蹤算法融合，表現(xiàn)出良好的跟蹤質(zhì)量。圖9 為視頻跟蹤結(jié)果和標(biāo)定結(jié)果的中心點和重疊度曲線圖，藍(lán)色為只使用檢測算法系統(tǒng)跟蹤質(zhì)量曲線，紅色為使用檢測與跟蹤算法融合系統(tǒng)跟蹤質(zhì)量曲線，圖9a 中為系統(tǒng)跟蹤結(jié)果的行人目標(biāo)框中心點與標(biāo)定行人真實框中點l2-norm距離，其中大于100 以上的均為系統(tǒng)漏檢導(dǎo)致，紅色為檢測跟蹤融合算法行人目標(biāo)框中心點與標(biāo)定行人真實框中心點l2-norm距離。由實驗所得，只使用檢測算法進(jìn)行跟蹤時，系統(tǒng)平均l2-norm平均為26，而使用檢測和跟蹤算法融合時，系統(tǒng)平均l2-norm距離降低為11。圖9b 為系統(tǒng)跟蹤結(jié)果行人目標(biāo)框和標(biāo)定行人真實目標(biāo)框重疊度曲線，其中藍(lán)色重疊度小于0.4 的為使用檢測算法時漏檢導(dǎo)致跟蹤失效，其平均重疊度為0.86，而紅色曲線為檢測跟蹤融合算法重疊度，其平均重疊度為0.92，根據(jù)實驗證明檢測和跟蹤算法融合跟蹤質(zhì)量更高，系統(tǒng)跟蹤更加穩(wěn)定。

圖7 檢測算法結(jié)果

圖8 跟蹤和檢測融合算法結(jié)果

圖9 檢測和跟蹤融合算法和檢測算法l2-norm距離和重疊度結(jié)果

3.2 檢測跟蹤融合算法方案和跟蹤方案對比分析（在跟蹤視頻幀中選取特定序列）

如圖10 所示，在僅僅使用跟蹤算法時，系統(tǒng)由于只使用初始幀作為模板，而由于行人不具備剛性性質(zhì)，在跟蹤過程中容易發(fā)生形變，所以出現(xiàn)跟蹤丟得情況，如圖所示行人目標(biāo)在第134 幀以后跟丟，并且在后續(xù)過程中并未找回目標(biāo)，跟蹤失敗。圖11 所示為使用檢測跟蹤算法融合，系統(tǒng)根據(jù)跟蹤算法結(jié)果自適應(yīng)更新跟蹤模板，在系統(tǒng)跟蹤失敗以后，使用檢測網(wǎng)絡(luò)檢測重新初始化跟蹤網(wǎng)絡(luò)模板。圖12 為僅使用跟蹤網(wǎng)絡(luò)和使用檢測和跟蹤網(wǎng)絡(luò)融合系統(tǒng)跟蹤l2-norm距離和重疊度結(jié)果比較圖，其中藍(lán)色為僅使用跟蹤網(wǎng)絡(luò)結(jié)果曲線，紅色為檢測和跟蹤網(wǎng)絡(luò)融合結(jié)果曲線。其中圖12a 為算法結(jié)果行人目標(biāo)框和真實行人目標(biāo)框l2-norm距離，藍(lán)色曲線為跟蹤算法結(jié)果，藍(lán)色曲線突然上升是因為僅僅使用跟蹤網(wǎng)絡(luò)，系統(tǒng)無法更新匹配模板，由于遮擋導(dǎo)致跟蹤失敗，其平均l2-norm距離為36，而紅色曲線為檢測和跟蹤算法融合結(jié)果曲線，其平均l2-norm距離為3，圖12b 為算法結(jié)果行人目標(biāo)框和真實行人目標(biāo)框重疊度曲線圖，其中藍(lán)色重疊度突然下降，為系統(tǒng)由于遮擋導(dǎo)致跟蹤失敗，其平均重疊度為0.35，而紅色為檢測和跟蹤算法重疊度，其平均重疊度為0.65，根據(jù)實驗證明檢測跟蹤算法融合跟蹤質(zhì)量更高，其跟蹤效果更加穩(wěn)定。

圖10 跟蹤算法結(jié)果

圖11 檢測和跟蹤算法融合結(jié)果

圖12 檢測和跟蹤算法融合和跟蹤算法l2-norm距離和重疊度

3.3 算法結(jié)果數(shù)據(jù)表

表1 為使用相關(guān)算法對行人目標(biāo)進(jìn)行跟蹤得到的重疊度、中心點歐氏距離以及跟蹤幀率比較（16 個視頻平均數(shù)）。

表1 算法跟蹤指標(biāo)

在表1 中，其中Faster R-CNN 算法為對視頻逐幀進(jìn)行檢測跟蹤，并將檢測結(jié)果應(yīng)用于跟蹤，該方法優(yōu)點為除了由于視頻模糊等原因?qū)е孪到y(tǒng)漏檢，其余大部分幀能夠獲得很好的結(jié)果，由表中數(shù)據(jù)可知其l2-norm比較小且重疊度比較高，但是該方案由于使用深度網(wǎng)絡(luò)提取圖片語義特征，算法較為復(fù)雜導(dǎo)致系統(tǒng)幀率比較低。其中SSD 和Faster R-CNN 算法思想相同，其幀率比較高但漏檢率很高，導(dǎo)致系統(tǒng)跟蹤效果不理想。DCFNet 跟蹤算法雖然能夠時時跟蹤模板，但是其模板都是與前幀跟蹤結(jié)果相關(guān)，因為行人不具備剛性，所以容易導(dǎo)致系統(tǒng)跟蹤失敗。SiamFC 為簡單的跟蹤算法，其優(yōu)點是跟蹤速度快，但是系統(tǒng)并不能時時更新模板，更新導(dǎo)致系統(tǒng)不能長時間的進(jìn)行跟蹤。在跟蹤一段時間以后容易跟丟，導(dǎo)致系統(tǒng)的l2-norm距離比較高，重疊度比較低。DFF（視頻目標(biāo)跟蹤）在關(guān)鍵幀使用檢測算法，在非關(guān)鍵幀使用光流進(jìn)行輔助跟蹤，由于需要計算光流圖，導(dǎo)致系統(tǒng)的跟蹤速度比較慢。實驗證明檢測和跟蹤算法融合提高系統(tǒng)的跟蹤質(zhì)量且提高了系統(tǒng)跟蹤速度，達(dá)到實時跟蹤效果，其幀率平均為37fps。

如圖13 所示藍(lán)色曲線為真實的行人軌跡，紅色曲線為融合算法跟蹤軌跡，實驗表明檢測和跟蹤融合算法能夠準(zhǔn)確的對行人目標(biāo)進(jìn)行跟蹤。

圖13 算法跟蹤軌跡圖示意圖

4 結(jié)語

本文充分利用視頻序列幀間信息關(guān)系，使用檢測網(wǎng)絡(luò)提取視頻幀語義特征，在關(guān)鍵幀更新系統(tǒng)跟蹤網(wǎng)絡(luò)模板，由于目標(biāo)不會突變，在相鄰目標(biāo)保持一致性，使用SiamFC 網(wǎng)絡(luò)對行人目標(biāo)進(jìn)行跟蹤，提高系統(tǒng)算法速度。本文在NVIDIA 1080TI 顯卡配置下，視頻能夠達(dá)到37fps。同時綜合跟蹤和檢測網(wǎng)絡(luò)的優(yōu)點，對兩個網(wǎng)絡(luò)進(jìn)行融合，提高了系統(tǒng)跟蹤質(zhì)量，但是使用的為1080TI 顯卡，后續(xù)可以通過改進(jìn)檢測網(wǎng)絡(luò)，降低檢測網(wǎng)絡(luò)的復(fù)雜度，縮短檢測時間，從而讓系統(tǒng)在更低硬件配置下能夠達(dá)到實時行人目標(biāo)跟蹤。同時本文并未實現(xiàn)端到端訓(xùn)練，后續(xù)可考慮將兩個網(wǎng)絡(luò)融合為一個網(wǎng)絡(luò)，實現(xiàn)端到端訓(xùn)練。