基于增強(qiáng)RPN的孿生網(wǎng)絡(luò)目標(biāo)跟蹤算法*

張長弓，楊海濤，馮博迪，王晉宇，李高源

(航天工程大學(xué) 航天信息學(xué)院,北京 101400)

0 引 言

單目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域的研究方向之一，其基本任務(wù)是獲取視頻中單個(gè)目標(biāo)在每一幀中的位置信息，為對目標(biāo)的運(yùn)動行為及規(guī)律的分析和理解提供基礎(chǔ)，以便完成更進(jìn)一步的研究。隨著計(jì)算機(jī)硬件性能的不斷提高，越來越多的領(lǐng)域開始出現(xiàn)基于單目標(biāo)跟蹤的具體應(yīng)用，如交通監(jiān)控[1]、行人檢測[2]。但由于復(fù)雜多變的現(xiàn)實(shí)環(huán)境，目標(biāo)跟蹤依舊面臨著許多挑戰(zhàn)。

近幾年，基于深度學(xué)習(xí)的目標(biāo)跟蹤方法取得了不錯(cuò)的研究成果，尤其是基于孿生網(wǎng)絡(luò)的一系列跟蹤器。Bertinetto等[3]首次提出將孿生網(wǎng)絡(luò)應(yīng)用于跟蹤問題中，開創(chuàng)性地將跟蹤問題轉(zhuǎn)化為了相似性學(xué)習(xí)問題，取得了又好又快的效果。而SiamRPN[4]等一系列跟蹤器則將目標(biāo)檢測領(lǐng)域的區(qū)域推薦網(wǎng)絡(luò)(Region Proposal Network,RPN)引入到孿生網(wǎng)絡(luò)中，將跟蹤問題轉(zhuǎn)換為基于孿生網(wǎng)絡(luò)的RPN檢測框架，提供了跟蹤器發(fā)展的新思路。

孿生跟蹤器使用模板匹配的方法，在海量視頻數(shù)據(jù)中進(jìn)行端到端離線訓(xùn)練，因此無法在線更新模板，在面對目標(biāo)發(fā)生特征變化的情況時(shí)，跟蹤器容易出現(xiàn)漂移、丟失等。此外，模板匹配方法僅通過目標(biāo)的外觀進(jìn)行推斷，導(dǎo)致豐富的背景上下文信息被忽略，而背景信息對于區(qū)分目標(biāo)周圍的相似物體極為重要。基于這些考慮，本文通過結(jié)合注意力機(jī)制和特征金字塔網(wǎng)絡(luò)，開發(fā)了一種利用豐富的上下文信息來增強(qiáng)目標(biāo)表征能力的孿生跟蹤器，它可以增強(qiáng)目標(biāo)表示，提高RPN的分類和回歸的準(zhǔn)確度，降低復(fù)雜背景和相似物體的影響，從而提高跟蹤器的魯棒性和準(zhǔn)確性。……