基于嵌入式GPU的相關濾波跟蹤算法改進及實現

徐 卓，康雋睿，袁 博，韓冬艷，黨清新

(1 西安現代控制技術研究所，西安 710065； 2 西安科技大學管理學院，西安 710065)

0 引言

隨著精確制導技術的快速發展，基于圖像的目標跟蹤技術成為了制導領域的一項關鍵技術。然而在實際使用場景中，目標跟蹤任務存在以下重點和難點：1) 目標被局部或全部遮擋時，造成目標特征信息變化，導致目標丟失；2) 目標發生尺度變化時，跟蹤框無法適應目標變化，導致出現跟蹤到目標局部或背景；3) 當視場出現抖動，目標在搜索區域以外時，無法鎖定目標，導致跟蹤失敗；4) 由于軍事偵察、精確制導等領域的特殊性，對目標跟蹤技術有著強實時性的要求，但是嵌入式設備計算能力相對較弱，在基于嵌入式設備的高速跟蹤場景下表現差強人意，因此需要進行算法并行加速設計保證目標跟蹤算法的運算速度。

目前目標跟蹤算法中性能較好的主要有兩類，分別是深度學習類算法和相關濾波類算法。深度學習類算法的主要特點是生成具有深層特征的跟蹤器，極大地提高了跟蹤精度，但由于其計算量大，對設備要求較高，很難在嵌入式設備上實現。相關濾波類算法誕生之初就以速度著稱，這類算法將計算從時域轉換到頻域，很大程度減少了計算量，但相關濾波類算法在尺度變換、目標遮擋等方面仍有不足。

針對上述問題，對相關濾波跟蹤算法進行深入研究，提出一種基于多尺度特征自適應更新的相關濾波跟蹤算法，在特征提取階段引入特征金字塔，實現對目標尺度變化的處理，在模型更新階段引入自適應更新策略，判斷目標遮擋及丟失狀態，確保目標重入視場時的重新捕獲，并在嵌入式圖形處理器(graphic processing unit，GPU)上進行了算法加速，經過算法仿真，實驗表明文中算法在目標遮擋及視場抖動情況下跟蹤精度有明顯提升，可以綜合滿足了跟蹤精度和實時性的要求。

1 基于多尺度自適應更新策略的相關濾波跟蹤算法

2014年Henriques等在相關濾波基礎上提出了核相關濾波(kernelized correlation filter, KCF)算法，主要思想是利用相關濾波器對圖像進行度量，衡量兩個信號的相似度，如果兩個信號越相似，那么其相關值就越高。而在目標跟蹤領域的應用里，就是需要設計一個濾波模板，使得其作用在跟蹤目標上時，得到的響應最大，得到的最大響應值位置就是目標的位置。

KCF相關濾波跟蹤算法屬基于背景學習的跟蹤算法，基于背景學習的跟蹤算法主要包括兩大步驟：模型訓練和目標判別。相關濾波跟蹤算法采用循環矩陣來構造與目標具有一定差異的樣本，而不是通過按照采樣方式一個樣本一個樣本地在圖像中裁取。在模型訓練階段，這樣的構造方法能夠通過矩陣運算避免大量數據的重復采集、存儲、以及計算。在目標判別階段，這樣的構造方法能夠避免判別樣本單個逐一計算判別值，達到了預測目標位置的效果。相關濾波跟蹤算法利用循環矩陣構造訓練樣本，并結合快速傅立葉變換，提高了跟蹤速度；通過核函數對多通道的方向梯度直方圖(histogram of oriented gradient, HOG)特征進行融合，提高目標跟蹤的準確率。算法流程如圖1所示。

圖1 相關濾波跟蹤算法流程圖

KCF算法基于相關濾波跟蹤框架設計，跟蹤精度和跟蹤速度均有較好的表現，但由于其模板更新策略為逐幀更新，且有搜索區域的限制，當目標的尺度發生變化、目標被局部或全部遮擋、視場發生劇烈抖動時跟蹤精度會極度下降，容易導致目標丟失，因此，需要對其模板更新策略及目標搜索策略進行優化，提升算法跟蹤性能。

1.1 目標遮擋優化

由于相關濾波跟蹤算法的目標模板基于實時更新策略進行更新，因此當目標被遮擋時，很容易將遮擋物誤認為目標。針對這一問題，要及時在目標被遮擋時停止更新模板，同時擴大搜索區域，以在遮擋結束時快速找到目標。因此，需要在算法中添加目標是否被遮擋的判斷。

相關濾波跟蹤算法將學習到的目標特征濾波器與當前幀特征圖進行卷積處理得到響應圖如圖2所示。圖中軸、軸分別表示特征圖的兩個維度，軸表示特征圖中該點的響應值。響應圖中的響應極大值點代表當前幀特征圖與目標特征濾波器最相似的點，其值表征了二者的相似程度。當跟蹤目標未受到遮擋時，目標的檢測響應與二維正態分布類似，響應最大點為圖2(a)中響應圖最高點，響應極大值在0.2左右；而當目標被遮擋時，響應最大點為圖2(b)中的響應圖最高點，響應極大值在0.1左右，同時周圍點的響應值升高，在圖中表現為主響應峰周圍出現其他響應峰。

因此，可以用響應極大值的變化來判斷目標是否被遮擋，但針對不同目標其響應極大值差距較大，因此不能直接使用閾值來進行判斷。通過標準差來衡量當前跟蹤結果的置信度，分析響應圖的峰值分布，對當前幀是否被遮擋進行評估，具體算法如下：

1)從當前幀中提取個相關響應，并記錄響應值()及其出現概率()。

2)計算個響應值的期望：

(1)

式中：()為第個響應值；()為第個響應值出現的概率。

3)使用標準差計算當前跟蹤結果的置信度：

(2)

4)將與閾值進行比較，如果>閾值，則判定跟蹤正常，繼續更新跟蹤模型參數；如果<閾值，則判定目標被遮擋，停止更新跟蹤模型參數。

圖2 目標響應圖

1.2 尺度變化優化

在目標跟蹤場景下，由于目標會有相對相機的軸向運動，因此隨著目標與相機的位置變化，在成像時尺度變化。然而原始的KCF算法跟蹤窗口的大小是固定的，當目標尺度變大時，會導致跟蹤目標的局部特征，導致跟蹤位置偏移；而當目標尺度縮小時，會引入過多的背景信息，導致跟蹤精度降低。因此，需要引入多尺度信息來應對目標的尺度變化。

考慮到跟蹤算法的實時性，提出一種快速尺度估計算法。根據目標尺度變化情況設定1.3、1.1、1、0.9、0.7五個尺度，在下一幀圖像中提取5個尺度的目標框，將5個尺度的目標通過雙線性插值縮放為模板尺寸，并分別進行特征提取及互相關矩陣計算，將響應值最大的尺度確定為新的目標尺度。計算流程如圖3所示，其中，…，，…，分別為不同尺度的輸入圖像，，…，，…，分別為不同尺度的輸出特征圖。

圖3 尺度變化策略

1.3 視場抖動優化

相關濾波跟蹤算法在目標周圍鄰域內進行目標的匹配和判別，然而當視場出現抖動時，目標的幀間位移變大，使目標位置跳出搜索區域，導致無法匹配到目標，跟蹤失敗。針對此類問題，提出一種分階段目標搜索策略。

1)當目標占據視場比例較小時(≤10像素×10像素)，輕微抖動(幀間像素偏差≥25像素×25像素)即會導致跟蹤框丟失，將目標及其周圍背景作為搜索對象，提取目標及其周圍背景的特征進行判別，根據響應極大值判斷目標是否丟失，當目標出框時停止更新模板，并擴大搜索區域進行目標的重捕。

2)隨著相機逐漸接近目標，當目標擴大至50像素×50像素時，采用角點檢測算法對跟蹤區域進行處理，對目標及背景進行區分，實現對目標的重定位，同時對目標中心點位置進行確定，解決跟蹤末端的中心漂移問題。

2 基于嵌入式GPU的跟蹤算法加速

2.1 相關濾波跟蹤算法并行性分析

嵌入式GPU基于統一計算設備架構(compute unified device architecture, CUDA)提供了并行計算支持，利用嵌入式GPU具備的多線程優勢，可以同時對大量數據進行計算。將圖像獲取、顯示等邏輯部分在中央處理器(central processing unit，CPU)上進行處理，將特征提取及核相關計算放到并行計算能力強大的嵌入式GPU中實現。相關濾波跟蹤算法的CUDA實現處理流程如圖4所示。

圖4 相關濾波跟蹤算法CUDA實現處理流程

相關濾波跟蹤算法主要包括目標檢測和模型訓練兩部分，檢測部分主要在圖像搜索區域內進行多模板特征提取，并與模型訓練參數進行互相關匹配，當響應極大值超過一定閾值時，確定目標位置，實現目標跟蹤。訓練部分需要提取匹配到的目標特征，并進行特征的自相關計算，將計算結果更新到模型參數中。

目標檢測和模型訓練的主要計算步驟具有很大的相似性，可以總結為5個部分：圖像提取、特征提取、FFT變換、核相關計算、模型訓練。為統計算法各部分耗時，使用Visual Studio 2015軟件對相關濾波跟蹤算法進行了實現，并對各部分函數耗時進行了統計，統計結果如圖5所示。

圖5 相關濾波跟蹤算法耗時分析

整體程序主要耗時在特征提取及核相關計算部分，其中特征提取函數getFeatures占據總體耗時的16.4%，核相關計算函數gaussianCorrelation占據總體耗時的11.4%，因此，基于嵌入式GPU重點對特征提取及核相關計算兩個部分進行并行加速。

2.2 HOG特征提取并行加速

HOG特征的提取步驟為：計算梯度值、計算各梯度方向權值、計算Block的梯度直方圖、對梯度特征圖進行標準化和閾值截斷、進行特征圖降維，得到31維的PCA-HOG特征。完整的HOG特征的求解過程如圖6所示。

圖6 HOG特征提取流程圖

進行HOG特征提取時，梯度方向和幅值的計算、梯度圖標準化、閾值截斷、特征圖降維等都是逐像素計算的過程，都可以直接使用CUDA進行加速；統計梯度直方圖部分需要進行累加操作，對并行計算的同步性有一定要求，因此采取并行規約的方式進行計算。

在計算過程中，需要建立線程到像素點的一一映射，給每個線程分配一個固定內存位置的像素進行處理，線程塊、線程和圖像的對應關系如圖7所示。

圖7 線程塊、線程和圖像對應關系

每個線程格執行不同的程序，由多個線程塊組成。線程塊里包含多個線程，為了適配目標跟蹤算法，將線程塊設置為有二維的線程組成。線程是最小的處理單元，每個線程處理一個像素點的計算。GPU調度線程的最小單位是16個線程，因此將每個線程塊中線程的數量設置為(16，16)。設圖像的寬度為，高度為，則線程格中線程塊的數量為((+16+1)16,(+16+1)16)。建立好二維的線程格后，可以通過線程的索引映射到圖像中的每個像素點，計算方式為：

(3)

式中：、為像素點索引；、為線程索引；、為線程塊索引；、為線程塊尺寸。

介紹了圖像塊與線程的映射方案以及線程的索引方法后，各個部分的關鍵點為：

1)梯度計算

進行梯度計算時，需要分別對當前像素點的梯度幅值及方向進行計算，并根據梯度方向的計算結果，將該點劃分到對應的區間中。由于各個像素點的梯度計算與其他點的結果沒有相關性，因此可以直接使用GPU進行并行計算。

2)計算梯度方向直方圖

圖8 并行歸約示意圖

經過并行歸約，可以實現累加操作的部分并行，相比于串行操作的次累加，并行操作可以將累加速度提升8倍。

3)梯度圖歸一化和閾值截斷

對××27的梯度直方圖進行歸一化，使用×個線程對包含當前元胞的4個線程塊進行操作。首先分別計算每個線程塊(除去邊界)的前9維無符號方向特征向量的平方和，然后分別計算每個線程塊在各個方向上的前9維無符號方向特征向量的2-范數，之后用各個屬性(共27維)除以包含當前元胞的4個線程塊的2-范數，得到歸一化的27×4個屬性，每個線程僅處理當前元胞內部的16個點，由于不存在訪存沖突的問題，可以直接進行計算，得到××27×4維的特征圖，然后根據設定的閾值進行閾值截斷。

4)特征圖降維

使用主成分分析進行特征降維，將108維的特征圖壓縮為31維，仍然以元胞為單位進行處理，每個線程進行一個元胞的特征壓縮，對有符號梯度方向的18維向量分別做累加求和得到4維紋理特征，得到歸一化后的無符號方向特征、有符號方向特征向量和紋理特征向量后，一次存儲到全局內存中，得到31維HOG特征。

2.3 核相關計算并行加速

核相關計算是將當前目標特征圖與模板目標特征圖進行相關計算的操作，評估當前目標與原始目標的相似度。在進行處理時，需要先將特征圖通過快速傅里葉變換(fast fourier transform，FFT)轉到頻域，求得響應圖，之后再通過FFT逆變換轉回時域。

FFT變換在總時間中占比很大，在目標檢測階段需要進行的是二維傅立葉變換，使用CUDA加速FFT時，直接調用CUDA提供的函數cufftExecC2C及cufftExecC2R進行傅立葉正變換及傅立葉逆變換。在求解響應圖時，需要對兩張特征圖進行對應點乘操作，可參照HOG特征提取部分，建立線程到圖像的一一映射關系，使用多線程進行并行計算。

3 實驗分析

3.1 跟蹤性能分析

為評估算法的跟蹤精度，在嵌入式平臺上對算法進行驗證，部分結果如下：

1)目標遮擋效果

如圖9所示，視頻第126幀時正常跟蹤目標，第135幀時目標開始被局部遮擋，此時算法模板停止更新，開始擴大搜索區域進行目標搜索，第142幀時目標被完全遮擋，第149幀當目標重回視場后，實現對目標的重新捕獲。

圖9 目標遮擋測試

2)尺度變化

如圖10所示，視頻第370幀中初始目標尺寸為11×11，第1 482幀中目標尺寸為174×174，目標尺度變化達到10倍，本算法仍能穩定跟蹤目標。

圖10 尺度變化測試

3)視場抖動

圖11中，目標大小為8×8，515幀到520幀之間出現目標連續4幀丟失，丟失時相鄰幀目標偏差像素數達到20，相鄰3幀最大偏差像素數35，已經超出了原始相關濾波算法的搜索區域，此時算法開始逐漸擴大搜索區域，經過4幀后實現了對目標的重新捕獲。

圖11 視場抖動測試

3.2 加速效果分析

實驗使用Nvidia TX2開發板進行測試，實驗環境如表1所示。

表1 實驗環境

實驗選取了圖像尺寸和目標框尺寸不同的5組視頻進行測試，實驗結果如表2所示。

表2 測試結果

從實驗結果可以看出，GPU相比于CPU的加速比在3.3～4.1之間。一般情況下，圖像塊尺寸越大，加速比越大。實驗結果表明，使用GPU加速KCF算法效果明顯，對比原算法各個模塊的執行時間、整體的幀率及時延均得到大幅改善，測試視頻中幀率均達到了50 幀/s，能夠實現高速實時的目標跟蹤。

4 結論

傳統相關濾波算法尺度單一、模板更新策略簡單、搜索區域固定，因而在目標尺度變換、目標遮擋、視場抖動情況下跟蹤效果不佳。針對上述問題，提出多尺度下特征自適應更新的相關濾波算法，通過多尺度框架對目標進行尺度縮放，基于響應極大值的標準差來判斷目標被遮擋情況，當目標發生遮擋時停止模板更新，擴大搜索區域進行目標的重新捕獲。同時將改進后的算法在嵌入式GPU上進行了實現，對算法進行并行加速，達到了平均4倍的加速比，極大地提高了跟蹤算法的效率，在嵌入式設備上達到了50 幀/s以上的跟蹤速度。

對改進相關濾波算法進行了驗證，結果表明文中算法在尺度變化、目標遮擋、視場抖動等方面均表現良好，提升了相關濾波算法的應用價值，為目標跟蹤在實際應用中提供了可靠有效的現實方案。