小型嵌入式平臺實時目標跟蹤算法的研究與實現(xiàn)

王向軍羅 仁徐小東

(1.天津大學(xué)精密測試技術(shù)及儀器國家重點實驗室，天津300072；2.天津大學(xué)微光機電系統(tǒng)技術(shù)教育部重點實驗室，天津300072)

目標跟蹤技術(shù)作為計算機視覺的一個重要部分，在精確制導(dǎo)、人機交互、視頻監(jiān)控等領(lǐng)域有著廣泛的應(yīng)用。 近年來隨著目標跟蹤技術(shù)的快速發(fā)展，相關(guān)濾波類與深度學(xué)習(xí)類跟蹤算法成為主流[1]。 其中深度學(xué)習(xí)類算法效果好[2-3]，但通常時間復(fù)雜度較高并且需要較大內(nèi)存空間，而小型嵌入式平臺往往計算能力有限且內(nèi)存空間相對較小，因此針對小型嵌入式平臺，相關(guān)濾波類算法是主流方向。 2010 年David S. Bolme 等人[4]提出平方誤差最小濾波器(Minimum Output Sum of Squared Error，MOSSE)，將信號處理中的相關(guān)概念引入到目標跟蹤領(lǐng)域。 隨后2012 年Henriques 等人[5]提出CSK 算法，引入循環(huán)矩陣提升樣本數(shù)量，增強了相關(guān)濾波算法的性能。 針對CSK 算法灰度特征表征力不足的缺點，Joao F.Henriques 等人[6]提出利用梯度直方圖特征(Histogram of Oriented Gradient，HOG)特征代替灰度特征的核化相關(guān)濾波跟蹤算法(Kernelized Correlation Filters，KCF)。 Martin Danelljan 等人[7]提出基于卷積特征的空間正則化濾波算法(Convolutional Features for Correlation Filter Based Visual Tracking，DeepSRDCF)對KCF 進行改進。 針對相關(guān)濾波類算法尺度適應(yīng)不足的問題，Jianke Zhu 等人[8]提出自適應(yīng)尺度變化的相關(guān)濾波跟蹤算法(Scale Adaptive Kernel Correlation Filter Tracker，SAMF)，通過建立尺度池，取響應(yīng)值最大的位置為最佳的位置與尺度。 Martin Danelljan 等人[9]提出判別式尺度跟蹤算法(Discriminative Scale Space Tracking，DSST)，通過構(gòu)建尺度金字塔，訓(xùn)練尺度濾波器判別尺度。

現(xiàn)有研究大多基于PC 架構(gòu)，主要通過使用更復(fù)雜的特征(HOG、顏色、卷積等)、構(gòu)造更多的樣本和使用更復(fù)雜的目標函數(shù)三個方向來提高算法性能，但是隨著算法性能的提升，時間和空間復(fù)雜度也在不斷增加，難以在嵌入式平臺上進行算法部署和實現(xiàn)[1]。 因此，能夠適用于小型嵌入式平臺、具有高實時性和魯棒性的目標跟蹤算法是一個重要的研究方向[11]。

針對此需求，本文以STC 算法為基礎(chǔ)模型[12]，利用貝葉斯概率模型，通過尋找目標概率置信圖的最大似然概率實現(xiàn)實時目標跟蹤；針對目標尺度變化的跟蹤問題，提出了低時間復(fù)雜度的灰度特征尺度池策略以實現(xiàn)尺度自適應(yīng)更新，提高了算法的尺度適應(yīng)性；針對目標遮擋以及形變問題，提出使用跟蹤置信圖最大似然概率值自適應(yīng)更新模型，增強了算法的抗遮擋性能，提高了算法的魯棒性。 為測試在小型嵌入式平臺的適用性，本文搭建了以DSP 為核心的小型目標跟蹤系統(tǒng)平臺，完成了本文算法的移植與實現(xiàn)。

1 算法原理與仿真

為提升時空上下文算法在小型嵌入式平臺的跟蹤性能，本文從尺度自適應(yīng)和抗遮擋兩個方面進行改進:針對時空上下文算法尺度適應(yīng)性不強的問題，通過建立尺度池的方案，比較不同大小區(qū)域計算的置信圖峰值旁瓣比對尺度進行選擇。 本文尺度池僅包含三個尺度因子，不僅能適應(yīng)目標的尺度變化還能夠保持時空上下文模型處理速度快的特點。 針對原算法抗遮擋性能不足的問題，本文提出一種新的跟蹤結(jié)果評價機制，以目標概率置信圖最大似然概率為基準，在保持算法低時間復(fù)雜度特點的基礎(chǔ)上自適應(yīng)更新模型。 可有效解決原算法中采用固定學(xué)習(xí)速率更新模型時出現(xiàn)的遮擋目標跟蹤丟失或漂移問題。

1.1 自適應(yīng)更新的時空上下文算法

1.1.1 時空上下文模型

時空上下文算法充分利用了目標周圍的空間上下文信息和幀間上下文信息，基于貝葉斯框架建立目標和周圍背景的空間上下文關(guān)系，使用求得的置信圖最大似然概率估計目標位置。 時空上下文模型的求解過程如下:

首先構(gòu)建置信圖的模型，如式(1)所示。 其中置信圖表示目標所在位置的可能性，經(jīng)過貝葉斯框架換算可將置信圖似然函數(shù)分解為條件概率和先驗概率。

式中:conf(x)定義為理想高斯函數(shù)，XC為上下文特征集合，P[x｜c(z)，o]表示條件概率，P[c(z)｜o]是局部上下文區(qū)域的先驗概率，定義為式(2)。

式中:I(z)表示圖像在z處的灰度特征，ωσ(z-x*)為加權(quán)函數(shù)，目標周圍局部區(qū)域里任意z點離目標中心x*越近，點z被賦予的權(quán)值越大，定義為式(3)。

式中:a是歸一化常量，σ為尺度參數(shù)。 式(1)中條件概率P(x｜c(z)，o)定義為式(4)。

式中:hsc(x-z)表示空間上下文模型，聯(lián)立式(1)～(4)得到式(5)。

對式(5)進行解算，然后通過FFT 進行加速計算，便可計算得到空間上下文模型hsc(x)，如式(6)所示。

根據(jù)空間上下文模型更新時空上下文模型算法，如式(7)所示。

式中:表示第t幀的時空上下文模型，第t＋1 幀的時空上下文模型根據(jù)第t幀的時空上下文模型和空間上下文模型更新，ρ表示更新速率。

1.1.2 自適應(yīng)更新模型

根據(jù)式(7)可知，時空上下文模型每幀都持續(xù)更新。 當跟蹤過程中出現(xiàn)部分遮擋，STC 算法也會根據(jù)前一幀的空間上下文模型更新當前幀的時空上下文模型，以致時空上下文模型中融入了遮擋的信息，導(dǎo)致跟蹤丟失。 因此，提出自適應(yīng)更新時空上下文模型的方法。 當判斷目標被部分遮擋時，不更新時空上下文模型，維持前一幀的時空上下文模型?；贠TB2013 數(shù)據(jù)集中具有遮擋屬性的視頻序列進行測試，實驗表明，改進算法的置信圖最大似然概率能夠很好的反映目標被部分遮擋的情況。 以其中的Suv 序列說明，如圖1 所示。 在第33 幀時，目標有一部分出視場，此時置信圖最大似然概率從均值0.007 下降到0.004，模型已經(jīng)出現(xiàn)更新有誤，但并未丟失。 在第210 幀時，目標再次被路邊障礙遮擋，最大似然概率降低到0.003 5。 536 幀時目標被部分樹木遮擋，最大似然概率降低到0.001 6，但是此時并沒有完全丟失目標，說明算法具備一定的抗遮擋能力，但是時空上下文模型誤差在不斷累積。 在680幀之后，由于誤差的累積與再次遮擋，導(dǎo)致丟失目標。 由以上分析可知，最大似然概率能夠較好反映遮擋情況。 因此本文基于設(shè)定閾值的方法更新時空上下文模型，更新方法如式(8)所示，當最大似然概率小于閾值時，不更新時空上下文模型。

式中:T表示置信圖最大似然概率，ρ表示更新速率，γ表示比例系數(shù)。Tthre定義為歷史幀的穩(wěn)定跟蹤部分最大似然概率的平均值。 穩(wěn)定跟蹤部分指當前置信圖最大似然概率以一定比例超過歷史幀的最大似然概率均值時的視頻幀，通過保存歷史穩(wěn)定跟蹤幀的最大似然概率以實現(xiàn)Tthre的自適應(yīng)更新。

圖1 Suv 圖像序列的最大似然概率分布和遮擋圖像

1.2 尺度自適應(yīng)更新

尺度變化是目標跟蹤過程中的常見問題，當目標尺度擴大，會造成選取圖像區(qū)域中包含背景信息，目標尺度縮小時，會導(dǎo)致選取圖像塊中只包含目標的局部信息，兩種情況都會導(dǎo)致跟蹤漂移。 尺度判別方法主要有SAMF 和DSST 算法，DSST 算法在KCF 的基礎(chǔ)上再訓(xùn)練一個尺度濾波器判別目標尺度，SAMF 算法采用灰度＋HOG＋CN 多特征融合的尺度池策略，取7 個尺度區(qū)域計算的最優(yōu)值。 盡管兩種方法效果較好，但算法的處理速度較低。 本文采用灰度特征的尺度池方案判別尺度，使用3 個尺度因子以適應(yīng)某些小型嵌入式平臺的需求。

尺度自適應(yīng)更新的方法分為三個步驟，示意圖如圖2 所示:首先以上一幀的目標中心獲取3 個不同大小區(qū)域；然后對3 個區(qū)域進行尺度統(tǒng)一，獲取3 個不同的先驗概率；最后通過先驗概率與上一幀的時空上下文模型得到三個置信圖，選擇目標最合適的尺度與中心位置。 過程涉及到兩個關(guān)鍵內(nèi)容，分別是對尺度大小的統(tǒng)一和最合適的尺度的選擇。 尺度統(tǒng)一常用方法有最近鄰插值、雙線性插值和雙三次插值法。 其中雙三次插值法選擇領(lǐng)域內(nèi)4×4 個點插值計算，效果好，但計算復(fù)雜度高，最近鄰插值選擇領(lǐng)域內(nèi)最近的點作為當前值，算法簡單但效果一般，雙線性插值法選擇領(lǐng)域內(nèi)2×2 個點線性插值計算，效果較好并且計算較簡單，綜合考慮，使用雙線性插值對尺度大小統(tǒng)一[13]。 最優(yōu)尺度的選擇，考慮到是對區(qū)域大小進行選擇，需要結(jié)合區(qū)域內(nèi)整體的值進行判斷。 置信圖的峰值旁瓣比(Peak Sidelobe Ratio，PSR)值反映了置信圖的峰值尖銳度，因此局部區(qū)域中PSR 值越大，越有可能是目標區(qū)域。 因此，本文根據(jù)PSR 選擇尺度，PSR 定義為式(9)。

式中:conf(xi)為尺度Si對應(yīng)的置信圖，max[conf(xi)]表示置信圖最大值，其中ui和σi表示置信圖峰值周圍區(qū)域均值和標準差。

圖2 加入尺度池的改進算法示意圖

1.3 算法仿真

本算法基于PC 平臺仿真，測試數(shù)據(jù)集采用OTB2013[14]中的50 組視頻序列，以驗證算法的綜合性能和處理速度。

仿真實驗使用的PC 平臺處理器為Inter(R)Core(TM)i5-4210U CPU＠ 1.70Hz-2.4G，編程環(huán)境為MATLAB R2016a，尺度因子S＝{0.95，1.00，1.05}。

仿真實驗使用OTB2013 中的跟蹤精度和成功率評價跟蹤情況[14]。 跟蹤精度定義為目標真實的中心位置坐標和跟蹤到的目標的中心位置坐標的歐式距離。 重疊率定義為真實的目標圖像與被跟蹤到目標圖像的交并比，用式(10)計算。

式中:Bt是跟蹤算法得到的目標框，Bg為事先標記的目標框，Area(·)表示區(qū)域的面積，當R超過0.5便認為是成功的。 成功率定義為R超過0.5 的幀數(shù)除以視頻的總幀數(shù)。

由于本文算法是應(yīng)用在小型嵌入式平臺，算法的處理速度在某種程度上比性能要優(yōu)先考慮。 使用OTB2013 中，測試本文算法、STC、CSK 和SAMF 四種算法能穩(wěn)定跟蹤的四個視頻序列的處理速度，結(jié)果如表1 所示。

表1 平均速率對比表 單位:FPS

圖3 跟蹤效果對比圖

從表1 中可看出，在PC 平臺中SAMF 算法雖然在同類算法中性能較優(yōu)，但處理速度很慢，不適用于小型嵌入式平臺。 本文算法的處理速度相對STC 算法有所降低，但高于CSK 算法，是一種快速的跟蹤算法，適用于小型嵌入式平臺。 為測試算法在復(fù)雜環(huán)境下的性能，采用OTB2013 中Dog、Suv、Woman 和Boy序列測試；Suv 序列具備遮擋、平面旋轉(zhuǎn)、出視場屬性；Woman 序列具有光照、遮擋、形變和運動模糊屬性；Boy 序列具有快速運動和運動模糊屬性；Dog 序列具有尺度變化和平面內(nèi)外旋轉(zhuǎn)的屬性。 如圖3 所示，實線、虛線、點線依次為STC、CSK、本文算法跟蹤效果，Dog 序列從869 幀后不斷變大，本文算法持續(xù)穩(wěn)定跟蹤，STC 算法隨著目標的變大而逐漸漂移，到第950 幀時丟失目標。 CSK 算法雖然持續(xù)跟蹤，但偏離目標中心，不適應(yīng)目標的尺度變化。 對于Suv、Woman和Boy 序列，本文算法也能夠穩(wěn)定跟蹤，而STC 和CSK 算法在后期均出現(xiàn)跟蹤丟失的情況。

使用OTB2013 全部視頻序列集測試本文算法的綜合性能，從跟蹤精度和成功率兩個評價指標對算法進行評價。 取定位誤差距離小于20 視為穩(wěn)定跟蹤精度，重疊率大于0.5 視為成功。 如圖4 所示，本文算法的跟蹤精度為58.9%，成功率為51.3%；跟蹤精度相比STC 算法提高5.1%，成功率提高15.4%；比CSK 算法精度高5.9%，成功率高7.8%；所提算法綜合性能優(yōu)于時間復(fù)雜度相近的STC 和CSK 算法。

圖4 跟蹤精度和成功率

2 嵌入式平臺的實驗驗證

圖5 系統(tǒng)硬件結(jié)構(gòu)圖

為驗證算法的有效性，本文搭建了一套以DSP為核心的小型嵌入式目標跟蹤平臺，系統(tǒng)硬件結(jié)構(gòu)如圖5 所示。 其中，左虛線框為小型嵌入式平臺，右虛線框為PC 測試平臺。 整個小型嵌入式系統(tǒng)平臺僅包含F(xiàn)PGA、DSP、CMOS 以及外圍電路，系統(tǒng)體積小于4 cm×4 cm×8 cm，符合小型嵌入式平臺的要求。 該DSP 是TI 達芬奇系列的DM6437 芯片，具有專用的視頻處理子系統(tǒng)( Video Processing Subsystem，VPSS)，主頻僅600MHz，內(nèi)部存儲空間為128 KB，是一款典型用于視頻圖像處理的DSP 芯片[15]。 其中FPGA 負責(zé)對CMOS 圖像的采集，經(jīng)預(yù)處理后，將圖像通過視頻處理前端(Video Processing Front End，VPFE)輸入到DSP，DSP 在收到PC 通過RS422 給出的初始目標坐標和大小后，便可實現(xiàn)持續(xù)穩(wěn)定的跟蹤。 整個系統(tǒng)中，小型嵌入式平臺用于實時目標跟蹤和輸出目標相對小型嵌入式平臺的坐標位置。 PC 平臺僅用于測試，只需要給出目標的初始位置，并進行目標跟蹤效果的可視化。

2.1 算法在DSP 中的移植與優(yōu)化

為提高算法在嵌入式平臺的實時性，需結(jié)合DSP 的硬件結(jié)構(gòu)特點進行優(yōu)化。 采取的優(yōu)化措施主要有軟件流水線技術(shù)、存儲空間的分配以及支持庫的使用三個部分。

軟件流水線技術(shù)用于優(yōu)化循環(huán)結(jié)構(gòu)的調(diào)度，使其能夠并行執(zhí)行多重迭代循環(huán)。 為使編譯器最大化使用軟件流水線技術(shù)，防止流水堵塞，在循環(huán)結(jié)構(gòu)中盡量使用內(nèi)聯(lián)函數(shù)代替自定義函數(shù)。 針對循環(huán)結(jié)構(gòu)，使用預(yù)處理指令＃pragma MUST＿ITERATE 告訴編譯器最小循環(huán)次數(shù)，使用restrict 關(guān)鍵詞表明指針是指向特定對象的唯一指針，消除指針之間存在的依賴性，更有利于循環(huán)展開與指令并行編碼。

DM6437 具有兩級緩存結(jié)構(gòu)，一級緩存結(jié)構(gòu)將數(shù)據(jù)和程序分開存儲，兩級片內(nèi)存儲加上片外存儲。 要充分利用這樣的結(jié)構(gòu)，需要提高DSP 內(nèi)核讀取數(shù)據(jù)時的命中率，即當DSP 內(nèi)核需要讀取數(shù)據(jù)/代碼時，能夠直接從L1 或者L2 的高速緩存Cache 中獲取，減少數(shù)據(jù)讀取過程中的等待時間，因此需要混合配置L2 的內(nèi)存，提高內(nèi)核讀取數(shù)據(jù)命中率。 根據(jù)實際數(shù)據(jù)和代碼測試，將128Kb 的L2 分配為80KB 的Cache和48KB 的SRAM。 另外由于圖像原始數(shù)據(jù)幀大小為1 280×1 024，存儲所占空間近似2M，需使用指令MEM＿alloc( )將其存儲在外部存儲DDR2 中，為了與L2 中Cache 的line 長度對應(yīng)，提高訪問速度，以128 byte 進行字節(jié)對齊，以一定的空間換時間效率。

DM6437 為32 位定點型DSP，計算浮點運算時會消耗更多的時鐘，因此采用IQmath 庫加速浮點運算。 IQmath 庫相當于先將浮點數(shù)轉(zhuǎn)換為整型，然后對整型計算后，再轉(zhuǎn)換為浮點型。 所以在使用IQmath 庫時，為提高計算精度，需要提前計算好待計算的數(shù)據(jù)值的范圍，選擇合適的IQmath 函數(shù)進行加速計算。

2.2 實驗測試結(jié)果

實驗測試部分，首先測試本文搭建的小型嵌入式平臺的跟蹤穩(wěn)定性。 該平臺對空中客機的跟蹤結(jié)果如圖6 所示，從Ailrliner 序列中可以看出，整個過程能夠?qū)δ繕朔€(wěn)定跟蹤。 然后利用旋翼機測試小型嵌入式平臺對尺度變化的適應(yīng)性，從Rotorcraft 序列可以看出，該小型旋翼機從遠逐漸飛近的過程中，平臺始終能夠準確判斷出目標的大小和位置。 接著測試平臺的抗遮擋性能，Balloon 序列中， Balloon 被騎自行車的人遮擋，此時跟蹤短暫丟失，當目標再次出現(xiàn)時，其依舊能持續(xù)跟蹤目標。 最后測試小型嵌入式平臺的處理速度，由于目標大小不同，平臺處理幀率也不同，實際測試中，當目標波門大小為64 Pixel×64 Pixel 時，跟蹤幀率為42 frame/s，能夠滿足實時性及工程實用性需求。

圖6 嵌入式平臺跟蹤實驗效果圖

3 總結(jié)

針對算力有限且實時性要求高的小型嵌入式平臺的應(yīng)用背景，提出一種處理速度快且魯棒性較高的目標跟蹤算法。 基于OTB2013 數(shù)據(jù)集的仿真測試結(jié)果表明，本文算法在性能和處理速度方面均優(yōu)于CSK算法，跟蹤精度優(yōu)于STC 算法。 盡管本文算法的精度低于多特征融合的SAMF、DeepSRDCF、深度學(xué)習(xí)類算法，但處理速度遠高于后者，更適用于小型化嵌入式平臺。 搭建以DSP 為核心的小型目標跟蹤硬件平臺，完成了本文算法的移植與實現(xiàn)。 實際測試中，當目標波門大小為64 Pixel×64 Pixel 時，跟蹤幀率可達42 frame/s，可滿足實時性及應(yīng)用需求。