結合PLS表示與隨機梯度的目標優化跟蹤

金廣智　石林鎖　劉　浩　牟偉杰　蔡艷平（火箭軍工程大學五系西安710025）

?

結合PLS表示與隨機梯度的目標優化跟蹤

金廣智*石林鎖劉浩牟偉杰蔡艷平
（火箭軍工程大學五系西安710025）

針對實際視覺跟蹤中目標表觀與前背景的非線性變化，論文提出一種基于偏最小二乘分析（PLS）表示與隨機梯度的目標優化跟蹤方法。該方法將目標跟蹤轉化為表示誤差與分類損失的聯合優化問題。首先，為了提高算法對前背景表觀變化的穩定性，利用PLS理論的非線性對目標區域的前背景信息進行表達，并通過空間聚類構造多個線性外觀模型來描述目標區域的動態變化，建立帶約束條件的表觀特征庫；然后，提出一種確定性搜索機制，構造聯合優化目標函數，使表示誤差與分類損失最小化；結合表觀建模特點，構建隨機梯度分類器，對模型進行增量特征更新，最終實現對目標的穩定準確跟蹤。經多場景對比實驗驗證，該算法能有效應對目標前背景的多種復雜變化。

目標跟蹤；偏最小二乘；表觀模型；隨機梯度；聯合優化

1　引言

視覺目標跟蹤是計算機視覺領域的一項重要研究方向，目的是將目標從背景中準確分離出來，實質是目標的連續檢測與識別。然而由于實際跟蹤場景中，目標表觀與背景往往會出現各種不規律的變化，如光照突變、頻繁遮擋，目標旋轉、相機運動、背景突變等均對跟蹤算法帶來了較大挑戰。因此如何克服這些挑戰，有效提高跟蹤算法的魯棒性與準確性成為目前研究的熱點與難點［1］。

為了有效應對目標和背景表觀在跟蹤過程中的不斷變化，構建一個有效的目標表觀模型是關鍵，當前最為有效的方式之一是通過在線學習建立目標表觀模型［2，3］。文獻［4］結合經驗模態分解（EMD）方法與在線學習建立目標表觀模型，通過在線概率模型對其進行跟蹤，表現出了較好的跟蹤性能。文獻［5］通過稀疏編碼方法對目標表觀模型進行在線學習更新，獲得了具有較高區分度與穩定性的表觀特征，證明了在線學習目標表觀模型的優勢。文獻［6］方法使用線性子空間表示目標時刻的所有觀測數據，可以實現特征降維，有效解決小樣本學習問題，但長時間目標跟蹤序列往往是非線性的，容易造成誤差累積。文獻［7］通過半監督學習與在線提升提取出了目標的有效特征，并結合先驗知識學習在線分類器，可將目標從背景中有效分離出來（SST）。文獻［8］提出了多事例學習的在線跟蹤算法（M ILT），通過一系列的圖像子塊對表觀模型進行更新，參數少易于執行，可運行在實時跟蹤場景。文獻［9］提出了一種結合二值分類優化與結構化約束的跟蹤學習檢測（TLD）算法，通過正負樣本的約束與觀測數據的標簽化，引出了一種準確的目標檢測器，可較好地應用于目標跟蹤場景。文獻［10，11］將機器學習算法引入目標跟蹤，將其視為二值分類判別問題，可將目標與背景有效分離。

針對上述問題，本文將目標跟蹤看作二值分類問題，提出了一種基于偏最小二乘（PLS）特征表示與分類聯合優化的目標跟蹤算法。該方法通過PLS非線性理論下帶約束條件的過完備表觀特征庫、目標表示誤差與分類損失的聯合優化、隨機梯度分類器（Stochastic Gradient Classifier，SGC）下的增量特征更新，最終實現對復雜場景下視覺運動目標的穩定跟蹤。

圖1　表觀特征庫正負樣本的選取

2　基于PLS表示與隨機梯度的目標優化跟蹤

2.1引入PLS非線性理論建立表觀特征庫

目標跟蹤領域建立在線學習表觀模型有兩大方向：一是利用主成分分析（PCA）或其改進學習目標自身表觀，PCA分析的目的是求取能夠保留樣本數據最大變異信息的特征子空間，需要對高維空間進行窮舉搜索，效率較低，且學習過程中不能保留樣本類別信息，因此只能用于降維；二是利用Fisher線性判別分析（FLD）學習目標與背景的分類器模型，FLD分析的目的是保證樣本數據向子空間投影時類間散度最大而類內散度最小，即能保證較好的區分目標前景與背景兩類訓練樣本，但對于二值分類的目標跟蹤，FLD只能學習1維子空間，除非目標跟蹤被看作多值分類（如目標一類、背景多類）。而偏最小二乘分析（PLS）是由PCA演變來的一種非線性描述方式［12］，可以根據需求選擇不同的特征空間維度，并保留樣本的類別信息。因此，本文考慮將目標與背景的觀測樣本和其類別標簽分別看作兩類變量，如圖1所示，并將PLS非線性理論引入來增強觀測樣本和類別標簽的聯系，進而提高算法對前背景的鑒別能力。

對應PLS分析理論，本文目標跟蹤中的變量集合分別設定為對象特征向量與類別標簽兩類，如圖1所示，并用ix來描述對象的特征空間，使用iy來描述對象的類別標簽。首先，對首幀圖像進行目標狀態標定，可以提取出正樣本圖像1X，獲得目標初始狀態參數。令為正負樣本集合，為類別標簽集合，正負樣本數量分別為m與n。為了消除樣本均值對模型學習的影響，利用樣本均值x與y數據集合進行中心化得到因此引入PLS理論后，可得到式（2）。

其中，T與U分別為訓練樣本在相應特征子空間上的投影，P與Q為特征子空間的基向量，E與f為觀測數據在特征子空間上的殘差。由于僅含一個變量，屬于類別標簽集合，易知故僅需求解表示目標觀測數據的樣本空間X的值。令該子空間的權重向量集合表示為其中T，其他權重一般依次遞減，可通過式（3）換算：

權重向量iw的值反映了對應特征向量對目標與背景的鑒別能力，為了驗證其有效性，提取首幀原始圖的灰度值作為特征，學習維度為8的特征子空間，對應的PLS分析顯著圖如圖2所示。顯著圖歷經紅、橙、黃、藍等顏色，代表顯著性由高到低，可看出紅色點主要集中于目標輪廓內部，藍色點多出現來目標區域外部，說明即使未通過精確的目標分割，通過PLS分析也可給紅色區域賦予較高權重，相應的藍色區域賦予較低權重。

圖2　 PLS分析顯著圖

2.2子空間聚類的時間序列模型

為了使表觀模型更好地適應非線性變化場景，采用多個線性子空間對目標區域進行表觀建模。目標表觀在一定時間內的觀測數據對應的特征空間大都可聚類成K個子集［13］，而目標表觀在同一子集內部變化往往很小，子空間模型為故某時間序列上的表觀變化可通過多個子空間模型來描述，顯然此種表示方式更適合于描述目標長時間段的表觀變化。

2.3表示誤差與分類損失的聯合優化跟蹤

目標跟蹤問題在本文中被定義為表示誤差與分類損失的最小化問題，結合表觀建模特點，聯合優化目標函數J可表示為［14］

其中s，b是前背景分類器的決定性參數，即SGC分類器的參數。J通過與s，b建立聯系。通過參數1β，2β的引入，來有效平衡表示誤差與聚類的損失。同時為保證的有效性，參數β2值一般明顯小于β1。J值越小，即表示誤差與分類損失愈小，待測樣本屬于前景的概率愈大，通過目標函數的有效最小化，對目標運動狀態進行有效估計（p定義為目標運動狀態參數），問題即轉化為對目標函數的優化求解。因此，提出一種確定性優化機制，通過交替迭代p與如式（5），式（6），至優化函數J收斂或達到迭代次數上限。

2.4基于隨機梯度分類器的模型增量特征更新

為了進一步區分目標與背景，以更好適應目標表觀與背景的非線性變化，本文提出基于隨機梯度分類器［15］（Stochastic Gradient Classifier，SGC）的模型增量特征更新方法。采集一定數目正負樣本圖像后，利用滑動窗口來采集樣本圖像的局部灰度特征，即使用2.2節的方法對該特征進行聚類得到D，然后對D其進行初始化得到其中I為單位矩陣，I與-I表示平衡模板集合，用來表示視覺跟蹤中含有圖像噪聲、局部遮擋的特征集合。分類器的初始化，通過式（2）中的等式對目標局部特征進行稀疏編碼，得到并將編碼結果整體表示為訓練樣本表示形式即轉化為分類器目標函數如式（9），初始化可通過對其最小化來實現，其中，代表的仍是類別標簽，

假定t時刻觀測到一定數量的新增樣本數據，可利用新增樣本數據對分類器通過隨機梯度的方法進行迭代更新，其中，使用第k個樣本對分類器進行迭代更新的方式如式（10）：

其中，λ為更新步長，（）*k h s表示（）* E s對第k個新增樣本數據的一階梯度，可通過式（11）得出：

通過對新增樣本數據進行隨機排列，并使用全部新增數據利用式（10）依次更新隨機梯度分類器，直到獲得式（9）的最小值或達到更新迭代次數最大值，可獲得更新后的分類器參數*s。由于模型頻繁更新會耗費大量運算資源，故考慮設置跟蹤置信度e，僅在其滿足一定條件時才對SGC分類器模型進行更新。該環節為了準確獲得目標前背景的動態變化，模型更新時只利用當前時刻的正負觀測樣本以增加新增變異數據的權重，同時一定程度上避免了觀測噪聲被誤用于模型更新的風險，因此對運算內存需求較小，適用于不同場景的目標跟蹤。

2.5算法實現步驟

由于基于PLS的建模方法不但可以實現特征降維，還可從原始特征集中提取出更適用于區分目標與背景的特征子集；同時利用多個子空間來描述目標外觀的非線性變化，使其更適用于目標變化頻繁的跟蹤場景；并將問題轉化為表示與分類的聯合優化問題，有助于解決跟蹤漂移與提高目標跟蹤的精度。算法的實現步驟如表1所示。

表1　算法實現步驟

表2　 4段對比測試視頻

3　實驗與分析

3.1評價指標與測試視頻

運動目標跟蹤算法評估指標中平均跟蹤誤差（ATE）與幀均處理耗時（FPT）是兩個非常具有代表性的指標，表示的分別是算法的跟蹤精度與實時性。平均跟蹤誤差由ATEX與ATEY兩個指標共同決定，ATEX表示的是X方向的跟蹤誤差，ATEY表示的是Y方向的跟蹤誤差；令N表示測試視頻的總幀數，T表示跟蹤算法的處理時間，則ATE與FPT為

測試視頻從目標跟蹤常用數據集Tracker Benchm ark v1.0［16］中選擇，選定的視頻序列分別是Car4，FaceOcc1，CarScale，MotorRolling。測試視頻的數據指標及所代表的測試場景如表2所示。

3.2對比實驗與定量分析

為了更好的測試提出算法的有效性，對表1中包含多種目標與背景變化場景的測試視頻進行了測試，同時有針對性的選取了3種鑒別式跟蹤算法進行對比：基于半監督學習的在線提升跟蹤算法（SST）、基于多事例學習的在線跟蹤算法（M ILT）、結合二值分類優化與結構約束的跟蹤學習檢測算法（TLD）。為進一步增強對比針對性，均選取灰度特征對目標表觀進行建模，測試視頻包含了運動模糊、光線變化、目標旋轉、頻繁遮擋及尺度變化等多種類型場景。

圖3為本文算法與對比算法在多種場景下的對比實驗結果。在圖3（a）Car4場景下，第188幀目標進入橋洞時，光線突然變暗，對比算法均出現了不同程度的跟蹤漂移；第203幀目標進入橋洞場景穩定后，除TLD算法外，其他算法又找回了目標，從整體可看出僅有本文方法做到了對目標快速較準確的跟蹤。圖3（b）FaceOcc1場景，目標雖然存在頻繁局部遮擋、自身旋轉及表觀的部分變化，但本文算法相較于對比算法仍做到了更準確的跟蹤，并未受明顯影響，也印證了基于PLS非線性理論建模的優勢。圖3（c）CarScale場景，目標在快速行進中遇到了局部遮擋，自身亦出現了明顯的尺度變化，可看出本文方法的跟蹤效果并未受遮擋影響，且能較有效地適應目標的尺度變化，優于對比算法。圖3（d）MotorRolling場景，目標車手快速運動出現旋轉與運動模糊及尺度變化現象，TLD與本文方法均跟蹤到了運動目標，但本文算法更準確地捕捉到了目標的及時變化，SST與M ILT跟蹤算法均出現了跟蹤漂移現象。

圖3　多種表觀變化場景實驗對比

在驗證本文算法的有效性后，需對其做定量評估，通過數據來對目標跟蹤進行說明，以進一步驗證本文算法的優勢。如表3所示，可看出本文算法在ATE和APT兩個指標上，同對比算法相比有著較顯著的優勢，由于選取的測試視頻均存在多種復雜場景，更容易測試出本文算法在復雜場景下的適應能力，平均跟蹤誤差保持在10個像素以內，較其他算法跟蹤精度有明顯優勢，印證了基于表示與分類聯合優化跟蹤的有效性；同時保持了較高的跟蹤實時性，證明了基于隨機梯度分類器的模型更新對提高跟蹤效率的優勢。

4　結束語

本文針對視頻跟蹤過程中目標表觀與背景變化的復雜性，提出了一種基于PLS特征表示與隨機梯度的目標優化跟蹤算法。該算法為了提高對目標前背景復雜變化的適應能力，將PLS非線性理論成功引入到了目標跟蹤；將目標特征表示與前背景分類轉化為聯合優化問題，有效提高了跟蹤精度與降低了跟蹤漂移的風險；通過隨機梯度分類器的模型增量特征更新方式，對保證目標跟蹤實時性提供了可靠保證。實驗表明，該算法對多種前背景非平穩變化場景均取得了良好的跟蹤效果。

表3　算法定量評估對比

［1］YANG H，SHAO L，ZHENG F，et al.Recent advances and trends in visual tracking:A review［J］.Neurocomputing，2011，74（18）:3823-3831.

［2］ROSS D，LIM J，LIN R S，et al.Incremental learning for robust visual tracking［J］.International Journal of Computer Vision，2008，77（3）:125-141.

［3］ZHANG L and VANDER M ATTEN L J P.Preserving structure in model-free tracking［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，36（4）: 756-769.

［4］ORON S，BAR-HILLEL A，LEVID，et al.Locally orderless tracking［C］.2012 IEEE Conference on Com puter Vision and Pattern Recognition，Rhode Island，2012:1940-1947.

［5］ZHANG S，YAO H，ZHOU H，et al.Robust visual tracking based on online learning sparse representation［J］. Neurocom puting，2013，100（1）:31-40.

［6］POLING B，LEMAN G，and SZLAM A.Better feature tracking through linear subspace constraints［C］.2014 IEEE Conference on Com puter Vision and Pattern Recognition（CVPR），Colum bus，Ohio，2014:3454-3461.

［7］GRABNER H，LEISTNER C，and BISCHOF H.Sem isupervised on-line boosting for robust tracking［C］.European Conference on Com puter Vision，Crete Greece，2010: 234-247.

［8］BABENKO B，YANG M H，and BELONGIE S.Visual tracking w ith online multip le instance learning［C］.IEEE Conference on Computer V ision and Pattern Recogn ition，Colorado，2011:983-990.

［9］KALAL Z，MATASJ，and M IKOLAJCZYK K.P-N learning: Bootstrapping binary classifiers by structural constraints［C］. IEEE Conference on Com puter V ision and Pattern Recognition，California，2010:49-56.

［10］WANG Qing，CHEN Feng，XU Wen li，et al.On line discrim inative ob ject tracking w ith local sparse representation［J］.IEEE W orkshop on the Applications of Com puter V ision，2012，12（4）:425-432.

［11］CHEN Feng，WANG Qing，WANG Song，et al.Ob ject tracking via appearancemodeling and sparse rep resentation［J］.Image and Vision Computing，2013，29（11）:787-796.

［12］ROSIPAL R and KRAMER N.Overview and recent advances in partial least squares［J］.Latent Structure and Feature Selection，2010，18（3）:34-51.

［13］HU W，LIW，ZHANG X，et al.Single and multiple ob ject tracking using a multi-feature joint sparse rep resentation［J］. IEEE Transactions on Pattern Analysis and M achine Intelligence，2015，37（4）:816-833.

［14］ZOU H and HAST IE T.Regularization and variable selection via the elastic net［J］.Journal of the Royal Statistical Society: Series B，2011，67（2）:301-320.

［15］BORDERS A，BOTTOU L，and GALLINARI P.Sgd-qn: carefu l quasi-new ton stochastic gradient descent［J］.The Journal of M achine Learn ing Research，2014，98（10）: 1737-1754.

［16］WU Y，LIM J，and YANG M H.Ob ject tracking benchm ark［J］.IEEE Transactions on Pattern Analysis and M achine In telligence，2015，37（9）:1834-1848.

金廣智：男，1987年生，博士，研究方向為計算機視覺、模式識別.

石林鎖：男，1958年生，博士生導師，教授，研究方向為機電控制、模式識別.

劉浩：男，1985年生，博士生，研究方向為機電設備故障診斷、腦電信號分析處理.

牟偉杰：男，1984年生，博士生，研究方向為機電設備故障診斷、模式識別.

蔡艷平：男，1981年生，博士，副教授，研究方向為機電設備故障診斷、模式識別.

Object Optim ization Tracking viaPLSRep resentation and Stochastic Gradient

JIN Guangzhi SHILinsuo LIU Hao MUWeijie CAIYanping
（5th Department，Rocket Force University ofEngineering，710025，China）

In order to imp rove the stability and accuracy of the ob ject tracking under non linear conditions，an ob ject tracking algorithm based on Partial Least Squares（PLS）representation and stochastic grad ient ob ject op tim ization tracking is proposed.In this m ethod，ob ject tracking is defined as an optim ization task that m inim izes the representation error and classification loss.Firstly，it expresses ob ject appearance and background information by PLS theory，learnsmultiple low dimensional and discrim inative subspaces to describe the non linear appearance changes of the ob ject.Then，a joint optim ization ob jective function based on determ inistic search mechanism is proposed.Furthermore，an stochastic gradient classifier based on incremental features updating is proposed，and make sure that it can achieve a stable tracking.Experiments show favorab le perform ance of the proposed algorithm on sequences where the targets undergo a variety com p lex changes on foreground and background.

Ob ject tracking；Partial Least Squares（PLS）；Appearancemodel；Stochastic gradient；Joint optim ization

The National Natural Science Foundation of China（61501470）

TP391

A

1009-5896（2016）08-2027-06

10.11999/JEIT 151082

2015-09-23；改回日期：2016-05-10；網絡出版：2016-06-24

金廣智azhide1025@163.com

國家自然科學基金（61501470）