基于稀疏表達特征選擇的壓縮感知目標跟蹤算法

程中建 李康 谷懿 袁曉旭 王森

摘要：目標跟蹤是計算機視覺領域重要研究方向之一。壓縮感知跟蹤速度快、精度高，但是跟蹤被遮擋目標時使用被遮擋的哈爾特征構建分類器，導致分類器性能降低，目標容易丟失。為了解決該問題，提出了根據l1稀疏表示判斷哈爾特征是否被遮擋，然后使用未被遮擋的特征構建貝葉斯分類器。首先對每一幀跟蹤結果運用稀疏表示提取出未被遮擋特征的集合，在構建貝葉斯分類器時僅使用未被遮擋的特征。然后使用訓練好的分類器對下一幀候選樣本進行分類，選取具有最大分類響應的候選樣本作為跟蹤結果。實驗結果表明，該算法在跟蹤目標部分遮擋時相比CT算法有更高跟蹤準確度，算法能夠實時得到高效、準確的目標跟蹤結果。

關鍵詞：目標跟蹤；哈爾特征；稀疏表示；貝葉斯分類器

DOI：10.11907/rjdk.181200

中圖分類號：TP312

文獻標識碼：A文章編號：1672-7800（2018）007-0091-06

Abstract：Targettrackingisoneoftheimportantresearchdirectionsincomputervision.Compressedsensingtracking（CT）isfastandofhighprecision，buteasytolosetrackofthetargetswhichundergoocclusion.ThisismainlyduetouseofoccludedHaarfeaturesinthetrackingprocesstoconstructtheclassifier.Inordertosolvethisproblem，thispaperproposestojudgewhethertheHaarfeatureisoccludedaccordingtothesparserepresentation，andthenconstructtheBayesianclassifierusingthenon-occludedfeatures.Firstly，thesparserepresentationofeachframeisusedtoextracttheunobstructedfeaturesets，andonlytheunobstructedfeaturesareusedinconstructingtheBayesianclassifier.Thenthetrainedclassifierisusedtoclassifythecandidatesamplesofthenextframe，andthecandidatesamplewiththelargestclassificationresponseisselectedasthetrackingresult.TheexperimentalresultsshowthatthealgorithmhashighertrackingaccuracythantheCTalgorithmwhentrackingthetargetswithpartialocclusion，andthealgorithmcangetefficientandaccuratetargettrackingresultsinrealtime.

KeyWords：targettracking；Haarfeature；sparserepresentation；Bayesianclassifier

0引言

目標跟蹤是計算機視覺的重要研究課題之一，在實時監控、人機互動、運動捕捉、醫學成像等領域有廣泛應用。近年來，國內外大量跟蹤算法被開發出來[1-4]，但由于受到光照強度改變、目標外觀變換、目標部分遮擋和目標信息不足等眾多因素影響，開發出具有魯棒性的跟蹤算法仍有挑戰。

現有目標跟蹤算法按照外觀模型分為兩類：生成式模型和判別式模型。生成式算法模型[3-10]通過訓練樣本學習得到目標外觀模型，然后在候選樣本中選擇重構誤差最小的樣本作為目標。Adam等[3]利用積分圖計算多尺度強度直方圖表示目標特征。Zhang等[4]將目標跟蹤問題描述為多任務稀疏學習問題，設計出一種協同跟蹤算法。與判別式跟蹤算法相比，生成式算法跟蹤精度較高，但是在跟蹤環境較為復雜時結果不夠魯棒。

判別式算法模型[11-16]將目標跟蹤視為分類問題，使用正負樣本訓練分類器分離目標與背景，然后在候選樣本中選擇具有最大分類響應的樣本作為跟蹤結果。Zhang等[1]根據壓縮感知原理，利用稀疏矩陣對高緯度圖像特征進行降維，然后訓練貝葉斯分類器對候選目標進行分類。多實例目標跟蹤（MIL）[11]使用在線Boosting算法訓練分類器，能處理非線性分類問題，但算法需要在每一幀迭代地對弱分類器進行選擇，降低了跟蹤速度。判別式算法在跟蹤復雜環境中的目標時結果較為魯棒，但跟蹤外觀變化不大的目標時精度比生成式算法低。

近年來，CT算法因其快速跟蹤能力受到科研工作者關注[17-21]，但是該算法在跟蹤被部分遮擋的目標時，容易發生漂移，主要是因為跟蹤過程中使用被遮擋的哈爾特征構建分類器降低了分類器性能，為了解決該問題，本文結合生成式模型和判別式模型的優點，在CT算法基礎上使用稀疏表達對其特征進行選擇，以提高分類器的性能，并提出基于稀疏表達的特征選擇目標跟蹤算法（FST）。

1壓縮感知跟蹤（CT）算法

由稀疏感知理論可知，一個滿足RIP條件的稀疏矩陣在對一個高緯度的原始圖像特征空間投影后，產生的低緯度空間會較好地保留原始高維圖像空間的全部信息[1]。CT算法利用稀疏矩陣對多尺度卷積后的高緯度圖像向量進行降維處理，然后使用在線訓練的樸素貝葉斯分類器在降維后的特征上對候選樣本分類，選取具有最大分類響應的樣本作為跟蹤結果，基于該跟蹤原理，CT算法實現了魯棒性的跟蹤效果。

如圖1、圖2所示，CT算法在第t幀圖像選定的目標周圍不同范圍內采集正樣本和負樣本，然后分別提取正負樣本的低緯度特征更新分類器。對于每一個目標樣本Z∈Rw×h，通過多尺度卷積核{h1，1，h1.2，h1，3，......，hw，h}卷積樣本Z，其中hi，j定義為：

每一個卷積核卷積后將產生一個Rw×h維列向量。經wh個卷積核的卷積作用，原始圖像可以由一個高緯度向量U=u1，u2，u1，...，umT表示，其中m=wh2。對于一張普通照片，n的規模通常為108～1012，如圖3所示，為了降低計算復雜度，CT算法應用一個隨機高斯矩陣R=Rn×m（該高斯矩陣非常稀疏），將高緯度向量Z轉換為低緯度特征向量V，同時在該隨機高斯矩陣滿足RIP條件的情況下，V已包含了采樣向量Z中的大部分信息。即：

且文獻[15]指出向量V中所有元素vi均滿足獨立分布。為了從大量候選樣本中分類出目標樣本，CT算法建立樸素貝葉斯分類器。

2FST算法實現

具有較好分辨能力是魯棒跟蹤算法的必要條件[22]。CT運用稀疏矩陣壓縮感知得到大量類哈爾特征，此方法雖然有效地對壓縮域中的投影特征進行分類，避免計算時的維度災難，但在一個特定閾值范圍內，由增減稀疏矩陣行數帶來的哈爾特征個數變化不會影響跟蹤效果，例如，由100行和50行的稀疏矩陣投影后的哈爾特征集得到的跟蹤效果相似[21]；另一方面，CT的哈爾特征中部分特征的遮擋情況會影響分類器性能，導致在跟蹤被遮擋目標時容易發生漂移。基于該思想，本文通過稀疏表示選取哈爾特征集中未被遮擋的特征作為特征子集訓練分類器，完成目標跟蹤。

如圖4、圖5所示，本文算法結合了生成式模型和判別式模型的優點。在第t幀使用稀疏表示選取跟蹤結果的哈爾特征集中了未被遮擋的特征，并在遠離目標區域和靠近目標區域范圍內采樣得到正負樣本并更新分類器。在t+1幀時通過壓縮感知得到候選樣本哈爾特征，然后使用第t幀未被遮擋的特征子集進行分類器分類，選取具有最大分類響應的樣本作為跟蹤結果，從而完成第t+1幀目標跟蹤。

2.1基于哈爾特征子集的分類器

判別式模型通過建立分類器區分目標和背景，如式（3）所示，每個候選樣本的分類響應值H（v）被近似定義為目標所有哈爾特征屬于正樣本特征的概率累加和值，最終選取具有最大分類響應值H（v）的候選樣本作為跟蹤目標。因此，選取的特征與其分辨能力決定分類器的分類結果質量，然而CT算法選取壓縮感知后的整個特征空間作為原始哈爾特征集，未對投影得到的哈爾特征作預處理。該方法在跟蹤目標不存在遮擋并且目標和其背景存在較大差別的情況下可得到魯棒的跟蹤結果，但當目標區域內某些哈爾特征被遮擋后，CT算法發生漂移。主要是因為被遮擋的哈爾特征在分類時已經失去判別目標與背景的能力，使得分類器學習到大量非目標特征信息，非目標特征信息的累加減弱了分類器的分類效果。另一方面，實驗數據表明，在一定閾值范圍內，即使增加哈爾特征個數也不會改善分類器的分類效果，說明CT中哈爾特征數量冗余。因此，選取壓縮感知后的哈爾特征子集V'，作為構建貝葉斯分類器的分類特征集，計算分類響應值H（v）定義為：

2.2基于稀疏表示選取哈爾特征子集

圖7顯示了隨機產生一個特征的若干特征卷積塊的結果，為防止表示跟蹤目標特征i的若干卷積核產生重疊，影響樣本的特征稀疏表示，算法需多次調整選取合適的稀疏矩陣，并對各特征展開列向量Yi進行稀疏表示。

圖8表示跟蹤過程中兩個遮擋與未被遮擋的哈爾特征（綠色為遮擋，藍色為未被遮擋）。圖9為圖8中兩個哈爾特征稀疏表示得到的系數圖（上圖對應藍色，下圖對應綠色），橫坐標為模板，縱坐標為稀疏系數值ai，j，1≤j≤o。上圖對應的特征向量化后維度di為40，除第10個模板系數較大外，平凡模板的系數均趨近于0，其稀疏系數向量ci滿足稀疏性，該特征能由其特征模板稀疏表示；與此相反，在下圖中，各個模板系數分布密集，該特征不能由其特征模板稀疏表示，哈爾特征被遮擋。數據表明，通過稀疏表示能夠有效選取未被遮擋的哈爾特征，避免對分類器造成影響。

2.3分類器更新

為了使分類器適應目標與其背景變化，需在每一幀跟蹤結果周圍一定范圍內采集正負樣本更新分類器，從而避免繼續更新被遮擋的哈爾特征導致分類器學習到遮擋物體特征，影響分類器的分類效果。本文改進CT算法中分類器參數更新方式為：

2.4特征模板更新

為了適應目標所處環境的不斷變化，算法應及時更新目標特征模板。如果模板更新過快，模板產生的誤差會不斷積累，從而導致跟蹤結果發生偏移，相反如果不更新模板或者特征模板更新過慢，將無法準確選擇被遮擋的特征。

為了動態更新目標特征模板，本研究采用與Mei等[2]相同的特征更新方法。初始化特征模板時，將第一幀給定的目標中每個哈爾特征的若干特征框向各方向偏移一個像素點，選取若干個特征框，然后將特征框按照列向量展開形成該哈爾特征的特征模板Ti。更新算法流程如下所示：

2.5實驗結果與分析

本算法在Matlab2016a平臺上實現，操作系統為Win10，CPU為2.4GHzInteli5處理器，內存4G，算法特征數為50（經驗參數），稀疏表示誤差閾值M=0.002，學習因子λ=0.85（經驗參數），特征模板更新角度閾值γ=30（經驗參數），特征個數閾值為25，當稀疏表達選取的哈爾特征子集的特征個數小于25，選取稀疏表達誤差較小的前25個特征。

為了衡量算法跟蹤效果，評估其有效性，將本算法和CT及與其跟蹤原理相似的算法包括MIL、FRAG進行對比，得到4個算法在5個挑戰性視頻片段中（Basketball，David2，David3，Deduk，Woman）的跟蹤結果。數據表明，本研究提出的算法在目標部分遮擋、目標外觀變化等跟蹤環境下相較于CT等算法具有更高的跟蹤準確度。

2.5.1定性分析

如圖10所示，在目標外觀劇烈變化的視頻序列Basketball中，目標的背景隨著目標運動不斷變化，導致分類器在跟蹤目標與背景時產生混淆，造成跟蹤困難，其中CT和MIL在第278幀偏離目標，并在292幀漂移到非目標隊員身上。FRAG和本研究提出的算法能夠準確跟蹤目標。在目標區域較小，背景區域與目標相似的視頻序列David2中，難以投影出有效的哈爾特征，CT算法在第4幀丟失目標，MIL和FRAG在第445幀偏離跟蹤目標，并在第461幀丟失目標。而本研究提出的算法在第173、336、445、461幀目標外觀劇烈變化時仍能較為準確地跟蹤目標。在存在目標部分遮擋的跟蹤視頻序列Woman、David3中，被跟蹤目標在短時間內局部被完全遮擋，跟蹤結果顯示在Woman中，CT、MIL、FRAG都在第124幀丟失目標，在David3中，CT、MIL、FRAG分別在第89、105、167幀丟失目標。而本研究提出的算法由于在更新分類器和分類器分類時都使用了可以達到與原始哈爾特征集跟蹤效果相似的特征子集，避免了被遮擋的哈爾特征對分類器的影響，相比CT、MIL、FRAG，對局部遮擋目標實現了更好的跟蹤效果。在目標外觀和尺度縮放的視頻序列Dudek中，CT、MIL算法分別在第370、218幀偏離目標，僅有FRAG和本研究提出的算法完成準確跟蹤。

2.5.2定量分析

采用定量分析計算4個算法跟蹤效果指標：①跟蹤目標中心點與實際中心像素位置的平均誤差，結果如表1所示；②PASCALVOC評估標準，跟蹤目標框與實際目標框的平均重疊率，即score=area（RT∩RG）area（RT∪RG），其中RT表示算法跟蹤的結果區域，RG表示人工標定的目標區域，∪和∩分別表示兩種區域的并集和交集，函數area（·）返回區域中的像素個數如表2所示。

由表1和表2的數據可以看出（最好結果由粗體標出），本文算法較CT等目標跟蹤算法在跟蹤目標外觀、尺度變化及目標局部遮擋時，具有更高的跟蹤精確度，對比4個算法在5個挑戰性視頻序列中，除Dudek外，FST算法中心點誤差均為最小，平均重疊率均為最大，在Dudek跟蹤視頻序列中，本文算法和FRAG跟蹤效果接近。

3結語

本文提出一種新穎的特征選擇方法，通過稀疏表示選取更具判別力的哈爾特征改善CT分類器的分類效果。該算法選擇重構誤差較小的部分特征構建分類器，提高了CT跟蹤精度。對于被遮擋的部分哈爾特征，不更新其對應的分類器參數，避免了對分類器造成影響。該算法易于實現，可以完成實時跟蹤，通過在5個具有挑戰性的視頻序列上與CT等算法比較，取得了魯棒性的跟蹤效果，較CT有更高跟蹤準確性，對于目標外觀姿勢變化、目標局部遮擋都具有一定魯棒性，能夠處理目標實時跟蹤。在后續研究中，將重點研究在視野中消失又重現的目標跟蹤。

參考文獻：

[1]ZHANGK，ZHANGL，YANGMH.Real-timecompressivetracking[C].EuropeanConferenceonComputerVision，2012：864-877.

[2]MEIX，LINGH.Robustvisualtrackingusingllminimization[C].2009IEEE12thInternationalConferenceonComputerVision，2009：1436-1443.

[3]ADAMA，RIVLINE，SHIMSHONII.Robustfragments-basedtrackingusingtheintegralhistogram[C].2006IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition，2006：798-805.

[4]ZHANGT，GHANEMB，LIUS，etal.Robustvisualtrackingviamulti-tasksparselearning[C].2012IEEEConferenceonComputerVisionandPatternRecognition，2012：2042-2049.

[5]GAOX，TANGX.Unsupervisedvideo-shotsegmentationandmodel-freeanchorpersondetectionfornewsvideostoryparsing[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology，2002，12（9）：765-776.

[6]ATKINSONRC，SHIFFRINRM.Psychologyoflearningandmotivation[M].Pittsberg：AcademicPress，1968.

[7]MEIX，LINGH.Robustvisualtrackingandvehicleclassificationviasparserepresentation[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2011，33（11）：2259-2272.

[8]YUANY，EMMAUELS，FANGY，etal.Visualobjecttrackingbasedonbackwardmodelvalidation[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology，2014，24（11）：1898-1910.

[9]LIH，SHENC，SHIQ.Real-timevisualtrackingusingcompressivesensing[C].2011IEEEConferenceonComputerVisionandPatternRecognition，2011：1305-1312.

[10]WANGCL，HUOX.Objecttrackingunderlowsignaltonoiseratiowiththeinstantaneouspossiblemovingpositionmodel[J].SignalProcessing，2013，93（5）：1044-1055.

[11]BABENKOB，YANGMH，BELONGIES.Visualtrackingwithonlinemultipleinstancelearning[C].IEEEConferenceonComputerVisionandPatternRecognition，2009：983-990.

[12]SMEULDERSAWM，CHUDM，CUCCHIARAR，etal.Visualtracking：anexperimentalsurvey[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2014，36（7）：1442-1468.

[13]WUY，LIMJ，YANGMH.Onlineobjecttracking：abenchmark[C].2013IEEEConferenceonComputervisionandpatternrecognition，2013：2411-2418.

[14]YIS，HEZ，YOUX，etal.Singleobjecttrackingviarobustcombinationofparticlefilterandsparserepresentation[J].SignalProcessing，2015，110：178-187.

[15]GRABNERH，GRABNERM，BISCHOFH.Realtimetrackingviaonlineboosting[C].BritishMachineVisionConference，2006，1（5）：6.

[16]DANELLJANM，HAGERG，SHAHBAZKHANF，etal.Adaptivedecontaminationofthetrainingset：Aunifiedformulationfordiscriminativevisualtracking[C].ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.2016：1430-1438.

[17]SONGH.Robustvisualtrackingviaonlineinformativefeatureselection[J].ElectronicsLetters，2014，50（25）：1931-1933.

[18]LIUQ，YANGJ，ZHANGK，etal.Adaptivecompressivetrackingviaonlinevectorboostingfeatureselection[J].IEEETransactionsonCybernetics，2017，47（12）：4289-4301.

[19]WUY，JIAN，SUNJ.Real-timemulti-scaletrackingbasedoncompressivesensing[J].TheVisualComputer，2015，31（4）：471-484.

[20]黃慶俊，何儒漢.基于協方差矩陣的壓縮感知跟蹤算法[J].軟件導刊，2017，16（4）：31-35.

[21]LIK，HEF，CHENX.Real-timeobjecttrackingviacompressivefeatureselection[J].FrontiersofComputerScience，2016，10（4）：689-701.

[22]WANGN，SHIJ，YEUNGDY，etal.Understandinganddiagnosingvisualtrackingsystems[C].2015IEEEInternationalConferenceonComputerVision，2015：3101-3109.

（責任編輯：江艷）