基于壓縮感知的監控視頻多目標自適應跟蹤算法

劉旸波 李洪均 張 晨 謝正光

(南通大學電子信息學院 江蘇 南通 226019)

基于壓縮感知的監控視頻多目標自適應跟蹤算法

劉旸波 李洪均 張 晨 謝正光

(南通大學電子信息學院 江蘇 南通 226019)

針對壓縮感知跟蹤算法無法自動識別目標和易積累噪聲導致目標丟失的問題，提出一種融合圖像預處理的壓縮跟蹤算法。算法在初始化階段，采用背景建模和背景差分法實現自動識別目標區域和多目標的判定。隨后，使用壓縮跟蹤算法進行多目標的跟蹤。在跟蹤過程中，采用更新機制，減少噪聲的積累，防止目標丟失。更新背景模型，使算法適應光線變化。算法在監控視頻庫上進行測試，并與壓縮跟蹤算法進行了對比，實驗結果表明，提出的多目標自適應跟蹤算法，在主客觀性能方面較同類算法具有顯著提高，其跟蹤精度和魯棒性方面得到了改善。

壓縮感知 多目標跟蹤 自適應

0 引 言

據統計，人類對外界的信息接收百分之八十通過視覺系統。然而，人類的精力和視野都是有限的，不能長時間多角度接收信息，在使用上有很大的局限性。隨著電子計算機技術的飛速發展，計算機視覺[1]成為熱門的研究課題。智能視頻監控[2]已逐漸滲透至人們的日常生活，利用視頻序列圖像自動分析來檢測、跟蹤和識別監控場景中的目標，進而分析判斷目標并做出對策。而視頻目標跟蹤是智能監控系統中關鍵部分，融合了圖像處理、模式識別、信號處理和控制等多領域、多學科的課題。因此，針對監控系統中的視頻目標跟蹤研究很有必要。

在實際跟蹤過程中，光照變換、物體形變、物體旋轉、物體遮擋等問題使長時間穩定跟蹤成為了一個具有挑戰的工作。盡管大量的算法已被提出，目標跟蹤仍然是一個富有挑戰的問題。Avidan[3]用支持向量分類器來擴充光流法進行目標跟蹤。Collins等[4]認為最具有判斷力的特征可以通過在線學習來區分目標和背景。Grabner等[5]提出一種在線半監督提升方法來減輕漂移問題。Candès[6]等提出壓縮感知理論，隨后被Zhang[7]等引入目標跟蹤領域。近年來，Yang[8]等為了解決壓縮跟蹤算法不能適應尺度和旋轉變化的問題，提出了基于SIFT特征的壓縮跟蹤算法。為了解決漂移問題，Shu[9]等提出了將遷移學習引入壓縮跟蹤算法中。Gao[10]等提出自適應測量矩陣提高壓縮跟蹤算法性能。這些算法都是需要在視頻圖像序列的第一幀人工手動確定跟蹤目標區域。除此之外，噪聲在算法中的積累是比較迅速的，一旦跟蹤出現漂移，噪聲將快速引入分類器中，對之后的跟蹤造成越來越大的誤差。當跟蹤目標被完全遮擋后，再次出現在畫面中，算法不能再次準確跟蹤。

針對上述問題，本文將詳細研究壓縮跟蹤算法，設計監控視頻下多目標自適應跟蹤算法。監控視頻中攝像頭一般是固定不變的，所以背景場景固定不變。同時考慮到在實際場景中，存在多個運動目標，而且會不停有新目標進入或者離開鏡頭畫面。因此，本文將利用背景建模和背景差分法，自動識別目標，實時進行跟蹤。算法采用更新機制，削弱噪聲的累積，防止跟蹤漂移。

1 壓縮感知跟蹤

Zhang[7]等提出了壓縮跟蹤CT(Compressive Tracking)算法，主要分為三個部分，分別是特征提取、壓縮特征、構建和更新分類器。

1.1 壓縮感知理論

隨機矩陣R∈Rn×m，可以使數據從高維度空間x∈Rm投影到低維度空間v∈Rn：

v=Rx

(1)

其中，n?m。如果式(1)中的隨機矩陣R滿足Johnson-Lindenstrauss引理[11]，且x是可以壓縮的信號，那么可以以很大概率和最小的誤差從v來重建x。

1.2 特征提取

Haar-like特征[12]類似于Haar小波而得名，特征值是使用兩種矩陣的像素差值。每個Haar-like特征可以用式(2)表示：

(2)

式中，ωi是矩形ri的權值，Rect(ri)是矩形所圍成圖像的灰度積分，N是組成特征的矩形個數。在計算Haar-like特征值的時候采用積分圖的方法來簡化運算。

1.3 壓縮特征

對特征進行壓縮，采用一個十分稀疏的矩陣，定義如下：

(3)

當s取2和3的時，矩陣滿足Johnson-Lindenstrauss引理。那么，特征的壓縮可以通過式(4)來完成：

v=Rx

(4)

其中，x∈Rm為原始特征，矩陣R∈Rn×m為測量矩陣。

1.4 構建和更新分類器

樸素貝葉斯分類器構建模型：

(5)

在式(5)中參量的更新:

(6)

(7)

2 自適應跟蹤算法

文獻[7]提出的壓縮跟蹤算法無法自動識別目標，目標丟失后無法繼續跟蹤。本文提出了監控視頻多目標自適應跟蹤算法，該算法通過背景建模和背景差分法，實現了自動檢測運動目標，使用更新機制解決目標漂移和丟失問題。

2.1 背景建模

背景差分法實現運動目標的檢測是由背景建模和背景更新兩部分組成。中值法建模的基本原理是學習一組圖像，將各個圖像對應像素點的值構成集合Ai，在集合Ai中取中值，將這個值作為背景圖像的值。

背景更新的實質是使用當前幀的變化信息去修正正使用過去幀建立的模型。

Bn(x,y)=(1-α)Bn-1(x,y)+αCn(x,y)

(8)

式中，Bn(x,y)是經過更新后的背景，Bn-1(x,y)之前的背景模型，Cn(x,y)是當前幀，α是學習效率，代表當前幀中每個位置上的像素與背景相對應位置上的像素值的加權和。

在得到背景模型之后，進一步通過背景相減法進行運動目標的檢測。設當前幀圖像是C(x,y)，背景模型是B(x,y)，經過背景相減和二值化之后可得：

(9)

式中，T為判別閾值。

通常使用的濾波方法有鄰域平均法、中值濾波和邊界保持濾波。在不同的噪聲情況下，選擇不同的濾波方法，會使濾波效果更好。中值濾波對處理椒鹽噪聲的性能比較好，而對高斯噪聲的處理較差。領域平均法濾波對高斯噪聲的濾波性能較好，對椒鹽噪聲的處理較差。將采用兩種濾波方法的結合，抑制圖像中可能出現的噪聲。為了能夠更好消除噪聲，并且將目標形態更加明顯。將采用形態學處理中的開運算進行處理。

2.2 提取和壓縮特征

為了選取具有代表性的Haar-like特征，本文將采用隨機選擇矩形框的位置和大小的方法。在目標區域，使用隨機函數構建4個位置和大小不同的矩形區域，計算這4個矩形區域圖像的灰度積分相加即為Haar-like特征。為了能夠完整表述圖像，對每個目標區域進行同樣的五十次的Haar-like特征的提取。

由于提取的特征值比較龐大，運算量比較大，因而需要采用壓縮感知理論進行特征的壓縮。本文將使用十分稀疏的矩陣對4個矩形區域的灰度積分圖進行加權和得到Haar-like特征。在稀疏矩陣為零的地方，不進行圖像積分的運算，使得特征提取的運算量降低。同樣，根據壓縮理論，可以知道這些特征具有完整重建圖像的能力。

2.3 構建和更新分類器

本文算法中，對于貝葉斯分類器的構建是通過對正負樣本的學習。在目標區域附近4個像素點的范圍中取50個等大區域，提取Harr-like特征作為正樣本特征，在目標8到30個像素點的范圍之中取50個等大區域作為負樣本。在跟蹤過程中，在之前目標附近20個像素點的范圍中作為候選目標，通過分類器選取出最大匹配值，作為跟蹤目標。對于更新分類器，即在當前幀中，采用同樣的方法進行分類器的構建即為更新。

2.4 自適應壓縮跟蹤算法

初始化階段：進行圖像預處理，構建背景模型

輸入：第t幀圖像

1. 進行背景差分，判斷運動目標區域，得到目標位置和大小。

2. 使用第t幀圖像進行背景更新。

跟蹤階段：

輸入：第t+1幀圖像

1. 在t幀跟蹤到的目標位置附近采樣n個圖像片，然后對這些圖像片進行特征提取和降維得到每個圖像片的特征向量。

2. 使用式(5)中的分類器H(v)對v進行分類，找出最大分類數的圖像作為當前幀跟蹤到的目標。

3. 采集正負樣本集合，提取兩個樣本集合的特征，使用式(6)和式(7)進行分類器的更新，使用第t+1幀進行背景更新。

4. 當跟蹤5幀后，進行一次初始化。

輸出：跟蹤到的目標位置，更新后的參數，更新的背景模型。

3 實驗仿真與分析

3.1 參數配置

實驗是在Window 7的計算機(Inter(R)Core(TM) i5-2450M CPU@2.50 GHz)上進行，在Matlab 2014a環境下實現。在仿真試驗中算法均采用相同的參數配置。為了驗證本文方法的有效性，算法在公共測試視頻[13]和監控視頻下進行研究。

對于背景建模和差分法中所需要的學習效率α和判別閾值T進行參數分析，表1和表2給出了兩個視頻序列在不同學習效率α和判別閾值T下本文算法的表現，通過試驗發現，在視頻序列Pedestrian1中采用α=0.1和T=20是最優值，在視頻序列Pedestrian2中采用α=0.1和T=20是最優值，此時，算法的漏識幀數和錯識幀數最少。綜上所述，本文算法在不同視頻序列上的表現，具有較好的穩定性。

表2 判別閾值實驗

3.2 主觀性能分析

下面在公共測試視頻和監控視頻進行仿真試驗，從主觀性能上分析算法的跟蹤效果。采用了視頻庫中所有為監控視角的公共視頻作為測試視頻，在Biker、Board、Crossing、Sylverster、Walking和Walking2共六個公共視頻進行分析。圖1到圖3給出了本文算法和CT算法在公共視頻里的跟蹤結果。實線跟蹤框是本文算法跟蹤結果，虛線跟蹤框是CT算法跟蹤結果。

圖1是在視頻Crossing中的跟蹤結果。視頻中，有兩個物體離開監控畫面，一個物體進入畫面。本文算法能夠及時取消對離開目標的跟蹤，重新定位新進入的目標。在#77和#117幀中，目標背景的光照發生了變化，本文跟蹤依然穩定。而壓縮跟蹤算法的處理結果，目標在陰影處的跟蹤效果比較穩定，當目標從陰影處走出來的時候，由于光照的變化，跟蹤出現了丟失，無法進行跟蹤，如#117幀所示。圖2中，CT算法在目標被遮擋后進行了錯誤跟蹤，存在漏識情況，如#284幀所示。本文算法能夠正確識別和跟蹤。圖3中，CT算法在第77幀已經丟失目標，將繩子錯識成目標，而本文算法能夠正確跟蹤。

圖1 CT算法和本文算法在Crossing視頻序列跟蹤結果

圖2 CT算法和本文算法在Walking2視頻序列跟蹤結果

圖3 CT算法和本文算法在Board視頻序列跟蹤結果

圖4和圖5分別是采用CT跟蹤算法和本文算法在監控視頻Pedestrian1的結果。如圖4，在前80幀圖像中，CT算法可以很穩定地進行跟蹤。但是，從83幀以后，目標幾乎完全被樹木擋住，跟蹤算法完全丟失目標，在目標再次出現后，跟蹤算法已經無法工作了。在圖5中，可以發現在添加了圖像預處理模塊后，CT算法是可以同時進行多目標跟蹤的。在#387中，在目標重新出現后，本算法可以再次正確鎖定目標，并繼續進行跟蹤。

圖4 CT算法對Pedestrian1視頻的跟蹤結果

圖5 本文算法對Pedestrian1視頻的跟蹤結果

為了進一步說明算法魯棒性，圖6給出了本文算法在監控視頻Pedestrian2上的跟蹤結果。相比于Pedestrian1視頻，該視頻變換了拍攝角度，使畫面的視角更廣，且畫面中光線更強。在引入噪聲后，算法跟蹤性能不變。在#227幀中，對跟蹤目標已經丟失，在經過更新后，在#232幀中目標重新被正確跟蹤。

圖6 本文算法對Pedestrian2視頻跟蹤結果

3.3 客觀性能分析

為了進一步說明算法的優越性，更客觀地評價跟蹤效果，采用漏識率LRR(Leak Recognition Rate)和錯識率ERR(Error Recognition Rate)進行定量分析。漏識率是指視頻中出現運動物體而沒有識別出來的比率，定義為：

(10)

其中，n為漏識目標個數，Nimg為存在漏識圖像的幀數，ntarget圖像中總的目標個數，N為總幀數。錯識率是指對視頻畫面做出錯誤跟蹤的比率，定義為：

(11)

由于CT算法只能進行單目標跟蹤，所以CT算法對于客觀的結果只能存在正確跟蹤和錯誤跟蹤兩種，故沒有漏識率。

表3 漏識率和錯識率

由表3可知，本文算法對固定背景下，自動識別運動目標并進行跟蹤有很好的效果。在這八個視頻中，僅在Sylverster視頻中，本文算法不如CT跟蹤算法，主要原因是在該視頻中，目標運動不明顯，且與背景的區分不明顯，故而造成錯識率較高。綜上所述，在跟蹤目標框位置的主觀視覺和客觀定量分析方面，本文算法具有明顯的優勢。同時，可以穩定地對多目標同時進行跟蹤，并且可以對重新出現的目標進行自動識別跟蹤，更加適用于實際的監控系統之中。

4 結 論

本文針對目前壓縮跟蹤算法無法自動識別目標和目標丟失無法跟蹤的問題，提出了一種監控視頻多目標自適應壓縮跟蹤算法。該算法可以很好地適用在監控視頻的目標跟蹤之中。首先，對周邊環境進行背景建模，并不停更新，以適應光照的變化。隨后，進行背景差分，識別運動目標區域，使用壓縮跟蹤算法對運動目標區域進行跟蹤。采用更新機制，防止目標偏移和丟失。該算法可以在監控視頻中，穩定檢測出運動目標，進行多目標跟蹤，防止目標丟失，有很好的實用性能。實驗證明，本文算法對目標遮擋和外表變化的情況有很好的魯棒性。

[1] Nilakorn S, Ukrit W, Chaiwat N, et al. Acomputer vision based vehicle detection and counting system[C]//8th Ineternational conference on knowledge and smart technology, 2016:224-227.

[2] Chen T S, Lin M F, Chieuh T C, et al. An intelligent surveillance video analysis service in cloud environment[C]//International Carnahan Conference on Security Technology, 2015:1-6.

[3] Avidan S. Support vector tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004,26(8):1064-72.

[4] Collins R T, Yanxi L, Marius L. Online selection of discriminative tracking features[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(10):1631-1643.

[5] Grabner H, Leistner C, Bischof H. Semi-supervised On-Line Boosting for Robust Tracking[C]//Computer Vision-ECCV 2008, European Conference on Computer Vision, Marseille, France, October 12-18, 2008, Proceedings,2008:234-247.

[6] Candès E J, Tao T. Decoding by Linear Programming[J].IEEE Transactions on Information Theory, 2006,51(12):4203-4215.

[7] Zhang K, Zhang L, Yang M H. Real-Time Compressive Tracking[C]//European Conference on Computer Vision,2012:864-877.

[8] Yang H, Jiang X, Gao S. Adaptive Compressive Tracking Algorithm Based on SIFT Features[C]//2015 Third International Conference on Robot, Vision and Signal Processing, 2015:78-81.

[9] Shu Tian, Yin Xucheng, Xu Xi, et al. Transfer learning based compressive tracking[C]//The 2013 International Joint Conference on Neural Networks,2013:1-7.

[10] Gao Yun, Zhou Hao, Zhang Xuejie. Enhanced fast compressive tracking based on adaptive measurement matrix[J].IET Computer Vision, 2015,9(6):857-863.

[11] Achlioptas D. Database-friendly random projections: Johnson Lindenstrauss with binary coins[J].Journal of Computer and System Sciences,2003,66(4):671-687.

[12] Baraniuk R, Davenport M, Devore R, et al. A Simple Proof of the Restricted Isometry Property for Random Matrices[J].Constructive Approximation, 2015,28(3):253-263.

[13] http://cvlab.hanyang.ac.kr/tracker_benchmark/.

A MULTI-OBJECTIVE ADAPTIVE TRACKING ALGORITHM FOR VIDEO SURVEILLANCE BASED ON COMPRESSED SENSING

Liu Yangbo Li Hongjun Zhang Chen Xie Zhengguang

(SchoolofElectronicInformationEngineering,NantongUniversity,Nantong226019,Jiangsu,China)

Aiming at the problem that the compressed perceptual tracking algorithm can not automatically identify the target and easy to accumulate the noise, this paper proposes a compression tracking algorithm which combines image preprocessing. In the initialization phase, background model and background difference method are used to realize the automatic recognition of the target area and multi-target decision. Subsequently, the multi-target tracking is performed using the compression tracking algorithm. In the tracking process, the use of updated mechanisms to reduce the accumulation of noise, to prevent the loss of goals. Update the background model so that the algorithm adapts to changes in light. The algorithm is tested on the monitor video library and compared with the compression tracking algorithm. Experimental results show that the proposed multi-objective adaptive tracking algorithm has a significant improvement in the subjective and objective performance compared with the similar algorithms, and its tracking accuracy and robustness are improved.

Compressive sensing Multi-object tracking Adaptive

2016-04-27。國家自然科學基金項目(61171077，61401239)；江蘇高校品牌專業建設工程項目(PPZY2015B135);江蘇省基礎研究計劃(自然科學基金)資助項目(BK20130393)；2016年南通大學大學生創新訓練計劃項目(2016069)。劉旸波，碩士生，主研領域：圖像處理。李洪均，講師。張晨，本科生。謝正光，教授。

TP301

A

10.3969/j.issn.1000-386x.2017.05.026