基于改進的MOSSE目標跟蹤技術研究*

魏 峻 張寶富 李圣君

（公安部第三研究所 上海 201620）

1 引言

在計算機視覺領域，目標跟蹤是研究熱點，其在智能監控、交通疏導，打造智能化生活等方向應用普遍［1～2］。在第一幀圖像中目標初始狀態被給定的前提下，從而估算后續圖像序列中每一幀的目標位置是目標跟蹤的根本意義［3］。近些年來，雖然目標跟蹤領域取得了較大的進步發展，但是它仍有寬廣的應用空間，依舊存在深入研究的價值和意義。

目標跟蹤主要面臨三個挑戰：1）模型大小，例如使用了卷積神經網絡提取特征的跟蹤法，參數過多，導致速度慢［4～5］；又由于訓練數據少，容易過擬合；2）訓練集大小，這里所指的訓練集是指保存了每一幀的跟蹤結果的訓練集，所以隨著跟蹤的進行，訓練集也愈來愈大，保留新的樣本，舍棄老的樣本是目前較為常見的解決方法，但是還是存在模型過擬合的現象［6］。當目標出現被遮擋或丟失的情況時，就會造成新的樣本出現錯誤，從而出現模型漂移、背景污染、目標污染的概率就會增大，從而造成目標跟蹤結果錯誤；3）模型更新，顯然，模型如果每幀都更新，速度肯定比間歇更新要慢。針對以上問題，本文提出了相應的改進方法。

2 關鍵技術

隨著研究的逐步深入，越來越多的跟蹤方法涌現出來，然而光照變化、遮擋、姿態及尺度變化等外界因素依舊會給目標跟蹤帶來不良干擾［7］。在目標跟蹤中最關鍵的是有效的目標外觀模型，根據目標外觀模型使用的表達方法可以將已有的跟蹤方法分為生成式算法、判別式算法［8］。在線或離線狀態下建立目標外觀模型，接著確定圖像中與該模型最一致的部分作為目標就是生成式算法［9］；判別式算法是把目標跟蹤分類為目標和背景兩類，將目標和背景區別開來，在目標模型的表達與更新中使用機器學習的多樣在線學習方法，從而適應目標本身的自我變化以及外部環境的更新，通常這類算法也被稱作基于檢測目標的跟蹤算法［10］。

目標跟蹤可以借助設計的mosse自適應相關濾波器對目標外觀進行建模，它不僅可以快速適應目標外觀變化，而且可以準確區分目標和背景區域［11］。傳統顏色直方圖［12］的mean-shift算法只考慮了目標顏色的統計信息，不包含目標的空間信息，當目標顏色與背景顏色相近時，容易導致不準確跟蹤或跟蹤丟失［13］。本文在經典mean-shift模型基礎上加入了經典顏色直方圖特征進行尺度估計［14］，把先驗尺度不劇變和可能的最大偏當做正則項，反向尺度一致性檢查。當前幀以目標區域為正樣本，背景區域為負樣本，按照機器學習的方法訓練分類器，下一幀用訓練好的分類器找最優區域［15］。

2.1 Mosse相關濾波算法

f1，f2，……，ft是目標樣本區域，經過濾波器ht之后輸出gi，最小化均方誤差如式（1）所示。

對Ht求導，令導數為0，得式（2）所示。

如果在第t幀的目標區域內提取之后得出特征圖z，那么在t+1幀，計算ht與z的相關值如式（3）所示。

t+1幀中目標區域的中心點就是y的最大值的位置。當確保目標區域尺寸不變的前提下，把中心點移動到對應位置，即可獲得在新的一幀中的目標區域。然后在此區域中進行特征提取，接著在訓練集中更新模型得到ht+1后，再對下一幀進行目標檢測。在實際的追蹤過程中，一般使用如下方法來更新模型，其中η為學習率：

如果只評估目標區域中心點在幀間的平移運動這一單一因素，而沒有估算運動過程中目標折射在畫面上的尺度變化因素，那么當目標尺度出現變化時則難以適應。

針對此問題，本文提出的改進思路是兩組濾波器模板：d個大小為M×N的二維位置濾波器，d×M×N個大小為S的一維尺度濾波器。位置濾波器的訓練方法同前，在明確目標區域中心后，針對尺度因子s，尺度濾波器會提取出其對應區域的d個M×N的二維矩陣，把他塑造成一條向量，將其尺度因子s下的d×M×N維特征作為參照，構成尺度濾波器。

濾波器和特征圖由d×M×N改為d×M×N×S，S=num of scales，即構造金字塔。這導致復雜度增大為O（dMNS×log MNS）。

fHoG在傳統的hog特征上進行了一些改進，提供了一種把高維特征融入到相關濾波框架中的思路。本文提出使用fHoG替代灰度。設特征維數為d，則特征圖可記作fl，l=1，2，…，d。濾波器應和特征圖匹配，誤差函數如式（9）所示。

引入λ項是為了控制濾波器頻域參數求解過程中的除0，另一方面也可以控制濾波器參數變化范圍，λ越小，濾波器參數變化范圍越大。

對上式做傅里葉變換，求導，令導數為0，得如式（10）所示：

在實際操作中，可以用如式（11）、（12）、（13）更新模型：

新幀預測如下式（14）所示。

2.2 估算位置

在幀It中根據前一幀的位置pt_1和尺度因子st_1劃定區域提取特征zlocat；在zlocat與位置濾波器Alocat_1，Blocat_1做相關得到ylocat；將ylocat最大值點設為當前幀的目標中心pt。

2.3 估算尺度

在幀It中根據位置pt和前一幀的尺度因子st_1劃定區域，縮放后得到S個區域，提取特征zscalet；將征zscalet與尺度濾波器Ascalet_1，Bscalet_1做相關得到yscalet；將yscalet最大值點設為當前幀的目標尺度st。

更新模型：在幀It中根據估算出的位置pt和尺度st劃定區域提取特征，得到flocat和fscalet；更新位置濾波器得到Alocat，Blocat；更新尺度濾波器得到Ascalet，Bscalet；復雜度O（dMN×log MN+dMNS×log S）。

把濾波器模板參數主要分布在搜索區域中的目標中心區域附近，在目標區域以外的將背景區域處濾波器模板參數盡可能控制在0（示意圖如圖1所示）。

圖1 濾波器模板

定義新的誤差函數形式如式（15）所示。

其中w是我們指定的權重函數，由于我們希望hlt在目標區域盡可能大，在其他搜索區域盡可能小，因此w的取值應該在目標區域盡可能小，而在其他搜索區域盡可能大，如圖2所示。

圖2 w取值情況

一般可取w如式（16）所示。

對誤差函數做如式（17）傅里葉變換（對于某個變量a，a^表示a的傅里葉變換）。

經過一系列變換得到式（18）所示。

其中，對于某個變量a，a表示a向量化的結果。向量化的步驟是：1）設a原本為M×N的二維矩陣，經過傅里葉變換得到a^；2）a^的每一列被依次連接起來，形成一個MN×1維的列向量a。

特別地，f^向量化后，填充在一個MN×MN矩陣的對角線上，構成對角陣D(f^)；w^向量化后，轉置填充在矩陣D(w^)的第一行，接下來的每一行是前一行向右循環移動1位的結果。

圖3 相關濾波跟蹤算法執行過程示意圖

2.4 本文提出改進方法

從MOSSE到KCF、DSST、CN、SRDCF、C-COT，模型越來越復雜，速度也越來越慢，于是分析速度降低的三個最重要因素：模型大小、訓練集大小、模型更新。

ECO是在C-COT基礎上做的工作，主要有以下幾點貢獻：提出了一種新的卷積操作符來，因式分解的卷積操作，構建生成樣本模型，簡化訓練集。

2.4.1 C-COT簡介

C-COT將特征featuremap通過插值轉換到連續的空間域，提取的特征如式（19）所示。

其中f是每個維度的特征。那么學習相關濾波器的目標函數如式（21）所示。

轉換到頻域如式（22）所示。

2.4.2 因式分解卷積操作

提出一種新的模型更新策略，降低模型更新頻率，對抗模型漂移ECO簡化了特征提取過程。采用原有特征子集，從D維的特征中選取C維特征。一個維度的特征對應一個濾波器，n維的特征就有n個濾波器，但是很多濾波器在實際的應用過程中的權重值很小。如圖4所示，C-COT的大部分濾波器的實際作用能力不大。而為了優化ECO會選擇使用其中貢獻較多的濾波器，然后用這些濾波器的線性組合來表示每個特征。通常是簡單的根據濾波器中大于指定閾值的元素個數來確定C。

圖4 濾波器對比圖

新的檢測函數如式（23）所示。

其中P是一個D×C的矩陣，每行表示一個維度的特征對應的濾波器，用所有C個濾波器的線性組合系數，它是一個未知數，在第一幀中需進行學習，后續跟蹤保持不變。此刻學習濾波器的目標函數就會發生變化，現在目標函數如式（24）所示。

新目標函數里，z=J｛x｝，為了達到約束P的目的加入一項整定項，從而問題關鍵轉變為一個非線性最小二乘，其中第一項的具有雙線性，可以用Gauss-Newton和Conjugate Gradient把這個問題轉化為一個矩陣的因式分解問題。Model Size從D降到了C。相當于將特征換成了。

2.4.3 樣本產生模型

本項目采用了高斯混合模型（GMM）來生成不同的樣本分組，樣本分組之間存在較大的差異性，每一個樣本分組與相似的樣本一一對應，這樣就保持了訓練集的多樣性。通過樣本x和目標輸出y的聯合概率分布p（x，y），完善目標函數之后形成如式（25）所示。

由于目標輸出的y其實形狀都是一致的，是一個峰值在目標中心的高斯函數，只是峰值的位置不一樣。那么ECO將y都設置成一樣的，把峰值位置的平移量體現到x上，在頻域中可以簡單處理。那么p（x，y）就簡化了，只需要計算p（x）就行了。這里用GMM來建模如式（26）所示。

其中，把M個樣本縮減到為L個樣本分組。更新過程如下：伴隨著樣本的到來，即初始化一個樣本分組m，初始化πm=γ，μm=xj，當樣本分組的數量超過限制L，就舍棄一個權重最小的樣本。然后就合并兩個最近的樣本分組。

將原來的M個樣本減少為L個樣本分組的平均值，近似目標函數如式（28）所示。

現實過程中，把L設置為M的八分之一，可大幅度減少計算量，保證縮小訓練集大小。同時可以考慮增加了樣本的多樣性，從而提升實驗效果。

2.4.4 模型更新策略

設置每隔Ns幀進行一次更新。且只更新模型，對每一幀樣本都要做出更新。在最終實驗中把Ns設置為6。降低模型的更新頻率，節省實驗時間，盡可能避免不必要的模型漂移問題，但是也控制Ns不將其設置的太大，也可以改進實驗效果，否則會導致出現模型跟不上目標的變化速度的現象。

3 結語

針對目前目標跟蹤技術面臨的三個主要挑戰模型大小、訓練集大小、模型更新，本文在Mosse相關濾波算法基礎上提出了改進的思路，擴大搜索范圍，減小誤跟錯跟的概率，提高了魯棒性。在一定程度上比現有算法優化，值得進一步的研究與改進。