一種基于視頻預測的紅外行人目標跟蹤方法

柳恩涵，張 銳，趙 碩，王 茹

(1.哈爾濱理工大學 自動化學院，哈爾濱 150080; 2.哈爾濱工程大學 計算機科學與技術學院，哈爾濱 150001)

紅外視頻與普通彩色視頻相比易受周圍環境的影響，目標的外觀常有較大的變化幅度，主要表現為輪廓變化和灰度分布變化，導致跟蹤困難[1-3].目前，紅外行人跟蹤廣泛應用的是三維中值濾波、圖像差分法、卡爾曼濾波、粒子濾波和mean-shift等方法[4].這些方法往往只能針對圖像的某些特征對目標進行識別，由于特征種類的限制，跟蹤的效果往往僅在幾種屬性上有較強效果但不夠全面.

深度學習方法具有強大的特征建模能力，近年它在完成目標跟蹤任務的準確度上表現出了突出優勢.目前主要有兩類方法.第一類是將卷積特征與相關濾波器結合.例如，Danelljan等提出了C-COT[5]算法，通過在連續的分辨率序列中學習, 創建時域連續的的相關濾波器, 可以將不同分辨率的特征圖作為濾波器的輸入, 使得傳統特征和深度特征能夠深度結合.在下一年Danelljan等又提出了C-COT的改進算法ECO[6]，通過構造一組更小的濾波器, 有效地利用矩陣分解操作, 降低了模型的大小，防止過高的維度導致的效率低下和過擬合問題.這一類方法的缺點是跟蹤速度較慢，在跟蹤數據集上訓練易造成過擬合.第二類是使用孿生網絡的方法.例如，文獻[7]提出了SINT算法，SINT可以說是第一個將孿生網絡應用到跟蹤領域的通過相似學習解決跟蹤問題.Bertinetto等又通過改進SINT算法提出了一種新的、經過端到端訓練的、全卷積的孿生網絡的跟蹤算法SiamFC[8]，它也是通過使用相似度學習的方法來解決追蹤任意目標的問題.SiamRPN[9]是由Li等提出的基于SiamFC改進來的算法，引入了Faster RCNN[10]中的RPN模塊，讓網絡可以回歸位置、形狀，省掉多尺度測試，提高算法性能.第二類方法極大地增強了跟蹤速度，使待搜索圖像大小不受限制，并且避免了在跟蹤數據集上訓練造成的過擬合.但此類方法的跟蹤模版始終為上一幀的被跟蹤目標，對被跟蹤幀的目標特征沒有預判，在處理目標形狀快速變化的跟蹤任務時仍有欠缺.

本文設計了VPSiamRPN目標跟蹤網絡.將SiamRPN網絡應用到紅外目標跟蹤任務中，根據紅外成像的特點，將視頻預測加入到網絡中，增強網絡對目標快速形變的適應能力，采用Pred Net[11]網絡對當前幀目標外觀進行預測，用預測出的目標作為模版在被檢測幀中進行搜索，完成目標跟蹤任務.

1 相關原理介紹

1.1 SiamRPN[8]目標跟蹤原理

SiamRPN將跟蹤問題抽象成單樣本檢測問題.SiamRPN結合了跟蹤中的孿生網絡和檢測中的區域推薦網絡：孿生網絡實現對跟蹤目標的適應，讓算法可以利用被跟蹤目標的信息，完成檢測器的初始化；區域推薦網絡讓算法可以對目標位置進行更精準地預測.經過兩者的結合，SiamRPN可以進行端到端的訓練.SiamRPN結構如圖1所示.

圖1 SiamRPN網絡結構[9]

孿生神經網絡可計算兩個輸入的相似度，同時將跟蹤模版圖像和被檢測幀圖像由上下兩個支路輸入，兩個支路由一個卷積網絡實現，它們共享權值，此網絡必須為全卷積網絡，以滿足平移不變性，該網絡的作用是分別提取模板幀和檢測幀的圖像特征.RPN網絡由兩部分組成，一是分類分支，用于區分目標和背景，另一個是回歸分支，它將候選區域進行微調.網絡的卷積基部分本文采用resnet50[12]結構.

網絡訓練采用COCO、YOUTUBEBB、DET、VID數據集進行訓練.

1)損失函數：cross-entropy loss用于分類，smooth L1用于回歸;

2)訓練方法：隨機梯度下降;

3)數據增強： 包括affine transformation(仿射變換)在內的數據增強;

4)正負樣本選擇策略：設置高低兩個閾值，大于0.6的為正樣本，小于0.3的為負樣本，一個pair中有64個樣本，其中正樣本最多16個.

1.2 PredNet[11]視頻幀預測原理

2)Al：輸入卷積層，對于第一層，為目標圖像；對于更高層，為前一層預測誤差E的卷積+Relu.

3)Rl：卷積LSTM層.

圖2 PredNet網絡結構[10]

2 本文提出的基于視頻預測的紅外行人跟蹤網絡VPSiamRPN

本文設計了一種基于視頻預測的紅外行人跟蹤網絡(Video Prediction with Siamese Region Proposal Network，VPSiamRPN)，將用于視頻預測的PredNet網絡添加到SiamRPN網絡的模版和與模版圖像所對應的卷積網絡之間.PredNet采用四層網絡，通過5幀目標圖像預測下一幀目標外觀，為使被預測包含部分視頻之初的目標特征，設計一個可以存儲5幀圖像的序列X，前3幀固定為被跟蹤視頻的第1～3幀圖像中的目標，后兩幀將跟蹤得到的目標圖像做為模版依次存入序列中，序列始終按照時間順序存儲最新的兩幀目標圖像.跟蹤過程最初的前5幀應用SiamRPN網絡進行跟蹤，從第6幀開始預測，將X中的數據輸入PredNet網絡，預測和生成下一幀的目標，將生成的目標圖像作為SiamRPN網絡的模板，在被檢測幀中，根據模版搜索目標并輸出.由于SiamRPN網絡在跟蹤時將上一幀目標圖像做為模版，這就造成一旦某一幀的跟蹤發生偏差，下一幀的模版就會隨之出現偏差.如果偏差過大，下一幀目標就會丟失，并再也無法找回目標.為防止由預測誤差造成的目標丟失，10幀中的后兩幀將第1幀的目標做為模版通過SiamRPN網絡進行跟蹤，不經過預測網絡.

由于孿生網絡計算相似度要求兩支路所表達的特征必須源自一種網絡結構，所以PredNet網絡依據前幾幀的目標信息預測出待測目標信息，并以輸出的目標圖像為媒介，將網絡所預測的特征信息轉換為resnet50網絡所表達的特征信息，將得到的特征輸入RPN網絡進行跟蹤.圖3為本文描述的網絡和SiamRPN網絡的跟蹤效果截圖，其中綠色框為被跟蹤目標的ground truth，紅色框為SiamRPN網絡的跟蹤效果，藍色框為本文設計網絡的跟蹤效果.圖4為VPSiamRPN網絡的結構.

非預測的網絡跟蹤過程為：將被檢測幀重塑為255×255×3并輸入卷積網絡作為被檢測幀.由于Prednet網絡只能輸出長寬為偶數的圖像，所以首先將第1幀目標圖像重塑為128×128×3，將重塑后的圖像存放在序列X中，再將圖像重塑為127×127×3作為模版幀輸入卷積網絡，將得到的兩組特征輸入RPN網絡完成跟蹤.根據目標位置信息對被檢測幀進行裁剪，將裁剪后得到的目標圖像重塑為128×128×3存入序列X中替換掉第1幀并將序列X按圖像存入的順序重新排序.

預測的網絡跟蹤過程為：PredNet網絡通過存儲在序列X中的8幀圖像預測出當前幀的目標圖像，輸出的圖像經重塑后大小為127×127×3作為模版幀.模板幀和被檢測幀經過相同的卷積結構分別得到6×6×256，22×22×256的特征，模版幀所產生的特征通過3×3的卷積核分別產生了4×4×(2k×256)和4×4×(4k×256)的特征，k值為RPN網絡所需的矩形框數.通過得到的兩組特征輸入RPN網絡得到目標位置信息.根據目標位置信息對被檢測幀進行裁剪，將裁剪后得到的目標圖像重塑為128×128×3存入序列X中替換掉第1幀并將序列X按圖像存入的順序重新排序.

圖3 本文描述的網絡和SiamRPN網絡的跟蹤效果

圖4 VPSiamRPN網絡結構

3 結果分析

本實驗軟件運行環境為Ubuntu18.04，平臺為Python3.7+PyTorch0.4.1開源機器學習框架，硬件配置為:Intel i7-8700k 3.7 GHz CPU,64 GB RAM, single GPU NVIDIA GTX 2 080 Ti.

本研究設計的網絡采用非端到端的訓練方法，將PredNet網絡和SiamRPN網絡分開訓練，PredNet網絡：從OBT50、OBT100、VOT2013、 VOT2014、VOT2015、VOT2016和VOT2018數據集中選取129個紅外行人視頻，將每個被標注的視頻序列中的每幀圖像依據標注進行裁剪得到一個只有目標沒有背景的圖像序列做為預測網絡的訓練集.SiamRPN網絡：采用經商湯開源的SiamRPN網絡卷積基采用resnet50版本的權重文件.

通過改變預測網絡層數、預測過程所需的被選目標圖像及圖像幀數、預測網絡參與跟蹤的頻率，設計了九組對比試驗，以找出性能最佳的網絡結構，具體設置如表1所示.

表1 9種網絡具體結構

采用PTB-TIR數據集[14]對本研究的9種網絡與SiamRPN網絡進行對比評估，測試網絡性能.該數據集包含60組紅外行人視頻序列，根據每個序列所包含的特性組合出了9種屬性(熱交叉、強度變化、遮擋、尺寸變化、背景雜波、低分辨率、快速運動、運動模糊和脫離視野)的數據集，評估通過OTB數據集[15]的評價標準計算本研究設計的網絡和SiamRPN網絡的跟蹤成功率和跟蹤精度，對網絡性能進行評價.

1)整體數據集.在整體數據集上，45fb網絡(PredNet中采用4層網絡，通過5幀目標圖像預測當前幀目標，其中前3幀固定為視頻的第1～3幀中的目標，每8幀的下2幀不預測)在跟蹤成功率和跟蹤精度上都表現出了較大優勢，得分為0.426和0.571，SiamRPN網絡的得分為0.419和0.557.

2)熱交叉.熱交叉屬性指視頻中具有相似強度的兩個目標相互交叉.在此屬性中45fb網絡的跟蹤成功率的得分為0.407，跟蹤精度的得分為0.610；SiamRPN網絡跟蹤成功率的得分為0.398，跟蹤精度的得分為0.581.在這種屬性上相對于SiamRPN網絡表現出了較明顯的優勢.48fb網絡在此屬性跟蹤成功率略高于SiamRPN網絡，得分為0.403.此項結果表明本文網絡對具有熱交叉屬性的紅外視頻在跟蹤性能上有提高.

3)強度變化.強度變化屬性指由于目標的溫度變化，目標區域的強度發生了變化.在此屬性中45fb網絡的成功率的得分為0.374，SiamRPN網絡的得分為0.350;45fb網絡跟蹤精度的得分為0.328，SiamRPN網絡的得分為0.334.網絡在此屬性中跟蹤成功率略高于SiamRPN網絡.在此屬性中38fq網絡在成功率和跟蹤精度上都表現出了較大優勢，得分為0.551和0.509.此項結果表明本文網絡對具有強度變化屬性的紅外視頻在跟蹤成功率上有所提高.

4)遮擋.遮擋屬性指目標被部分或完全遮擋.在此屬性中45fb網絡在跟蹤成功率和跟蹤精度上都表現出了較大優勢，得分為0.380和0.496，SiamRPN網絡的得分為0.370和0.486.此項結果表明本文網絡對具有遮擋屬性的紅外視頻在跟蹤成功率上有所提高.

5)尺寸變化.尺寸變化屬性指第1幀和當前幀中，目標大小的比率超出范圍[1/2，2].在此屬性中45fb網絡在跟蹤成功率上高于SiamRPN網絡，45fb網絡得分為0.408，SiamRPN網絡的得分為0.404;在跟蹤精度上略低，45fb網絡得分為0.508，SiamRPN網絡的得分為0.516.此項結果表明本文網絡對具有尺寸變化屬性的紅外視頻在跟蹤成功率上有所提高.

6)背景雜波.背景雜波屬性指目標附近的背景具有相似的紋理或強度.在此屬性中45fb網絡的成功率得分為0.411，48fb網絡的成功率得分為0.409;45fb網絡的跟蹤精度得分為0.548，48fb網絡的跟蹤精度得分為0.551；SiamRPN網絡的得分分別為0.398和0.534，本文網絡在成功率和跟蹤精度上對SiamRPN網絡都表現出了較大優勢.結果表明本文網絡對具有熱交叉屬性的紅外視頻在跟蹤性能上有提高.

7)低分辨率.低分辨率屬性指目標小于600像素.在此屬性中45fb網絡在跟蹤成功率上的得分比SiamRPN網絡低0.016，但在跟蹤精度上高0.033.

8)快速運動.快速運動屬性指目標在相鄰幀中的移動距離大于20像素.在此屬性中45fb網絡在跟蹤成功率上的得分比SiamRPN網絡低了0.014，跟蹤精度上高0.049.

9)運動模糊.運動模糊屬性指目標區域由于目標或攝像機運動而變得模糊.在此屬性中45fb網絡在跟蹤成功率上和SiamRPN網絡取得了相同的得分0.456，跟蹤精度上低了0.001;48fb網絡在跟蹤精度上的得分比SiamRPN網絡高了0.008.

10)脫離視野.脫離視野屬性指目標部分不在圖像區域內.在此屬性中45fb網絡在跟蹤成功率和跟蹤精度上都強于SiamRPN網絡.在此屬性中45fb網絡的跟蹤成功率的得分為0.456，SiamRPN網絡的得分為0.453;跟蹤精度的得分為0.497，SiamRPN網絡的得分為0.466.在兩種屬性上相對于其他網絡(包括SiamRPN網絡)都表現出了較明顯的優勢.此項結果表明本文網絡對具有脫離視野屬性的紅外視頻在跟蹤性能上有提高.

表2和表3分別列出了10種網絡在各個屬性上的成功率和精度.

表2 10種網絡在各個屬性上的跟蹤成功率

表3 10種網絡在各個屬性上的跟蹤精度

根據跟蹤結果可以看出45fb網絡在熱交叉、強度變化、遮擋、尺寸變化、背景雜波、脫離視野和總體數據集上相對于SiamRPN網絡在跟蹤成功率上有很大提高;在熱交叉、遮擋、背景雜波、低分辨率、脫離視野和總體數據集上相對于SiamRPN網絡在重疊率上表現出了明顯提升，綜合性能具有突出優勢，表明該方法有效、可行，圖5為45fb網絡和SiamRPN在PTB-TIR數據集上的跟蹤成功率和跟蹤精度的對比.此外，38fb網絡在熱交叉屬性上的成功率和重疊率都表現出了極大優勢，表明此網絡非常適合跟蹤帶有熱交叉屬性的視頻.

圖5 45fb網絡和SiamRPN在PTB-TIR數據集上的跟蹤成功率和跟蹤精度

4 總 結

1)針對紅外行人目標的跟蹤問題，提出了使用視頻預測網絡對跟蹤模板進行更新， 該方法能夠提高跟蹤模板與被跟蹤目標的相似度，增強網絡對紅外行人目標外觀輪廓和灰度分布變化所導致跟蹤困難的問題的處理能力，有利于目標跟蹤中的模型匹配.

2)通過改變預測網絡層數、預測過程所需的被選目標圖像及圖像幀數、預測網絡參與跟蹤的頻率，設計了9組對比試驗.在PTB-TIR數據集上，與SiamRPN網絡客觀定量對比和評估，實驗結果表明，45fb網絡對紅外目標的識別在熱交叉、強度變化、遮擋和尺寸變化等多種屬性上的跟蹤成功率和重疊率均較SiamRPN網絡有較大提高，顯示出對紅外行人跟蹤的良好性能，在這一領域將有廣闊的應用前景.