基于異步時域事件的高速運動目標的跟蹤算法

楊帥　薛永江　王瑞昆

摘 要： 異步時域事件是由異步時域視覺傳感器獲得，其數據具有低冗余特點，適宜于高速運動目標的跟蹤。基于異步時域事件的跟蹤算法從數據源上降低了數據冗余，克服了基于“幀”數據的傳統跟蹤算法需要處理大量無用信息的缺點，極大地提高了跟蹤速度。文章提出的算法充分考慮了異步時域事件的數據集中性，在目標跟蹤中使用按周期更新的策略，降低了算法的時間復雜度，提高了跟蹤速度，并且跟蹤軌跡更加平滑。

關鍵詞： 異步時域事件； 目標跟蹤； 高速； 時間復雜度； 更新策略

中圖分類號：TP391 文獻標志碼：A 文章編號：1006-8228（2016）06-72-03

Abstract： Asynchronous transient event is obtained by asynchronous time-domain visual sensor， which has a low data redundancy feature， and is suitable for tracking high-speed moving targets. Tracking algorithm based on asynchronous transient event reduces data redundancy from the data source， and overcomes the shortcomings of traditional tracking algorithm based on the "frame" data which has large volume of useless information， and greatly improves the tracking speed. The proposed algorithm fully considers the concentration of asynchronous transient event， so use the periodically updated in target tracking， and greatly reduce the time complexity of the algorithm， so that the tracking speed is improved and the tracking trajectory is smoother.

Key words： asynchronous transient event； target tracking； high-speed； time complexity； periodically updated

0 引言

傳統目標跟蹤算法的基本思路是從包含有運動目標的視頻中檢測、提取、識別和跟蹤運動目標。傳統的目標跟蹤算法有卡爾曼濾波[9]、粒子濾波器[9]、Meanshift算法[8]、condensation算法[10]及動態貝葉斯網絡[11]等。這些算法的數據源都是視頻幀。由于視頻幀的高數據冗余性，傳統的目標跟蹤算法需要處理大量的冗余信息，所以算法的時間和空間復雜度較高。文獻[6]提出了一種基于異步時域事件的目標跟蹤算法，但該算法在處理異步時域事件時采用按事件更新的策略，存在大量的無用計算，效率較低。

本文提出了一種新的基于周期更新的策略，較之前的方法從兩方面進行了改進：①充分考慮了異步時域事件產生的時間集中性；②處理異步時域事件時采用了按周期更新的策略。該算法較傳統的目標跟蹤算法有更快的速度，比文獻[6]算法的時間復雜度低。本研究通過數學建模，使用軟件產生的異步時域事件，在PC平臺使用Matlab和C++編程進行算法測試。

1 異步時域事件產生模型的建立

1.1 異步時域事件

異步時域事件是由異步時域視覺傳感器產生，以串行方式輸出。異步時域事件僅包含光強發生變化像素，這種方式消除了冗余數據。一般物體的邊緣與背景的對比度最高，通過設置合理的參數可以使異步時域事件僅包含運動物體的邊緣信息。

異步時域事件包含三部分信息：時間戳、位置、變化量。其中時間戳表示該事件發生的時間；事件的位置可以映射為圖像的（x，y）坐標；變化量表示該時刻相對于上一時刻該點的光強變化量，這個變化量由異步時域視覺傳感器量化。

異步時域事件異步產生，并且產生頻率不固定，無法預測。若多個異步時域事件同時產生，輸出時就會發生競爭，則需要進行仲裁處理[7]。根據應用場景的不同，可以使用以下三種仲裁方式：輪權仲裁、中間區域優先、事件集中優先。輪權仲裁按照第一行至最后一行的順序決定優先權，適用于需要對全景信息采集，但對幀頻要求較低的視覺圖像采集領域。中間區域優先將優先輸出中間N行，上下邊緣各行輸出優先權較低，適用于僅關注場景中間區域的應用領域。事件集中優先則根據每行需輸出變化像素的個數決定輸出優先權，可以迅速反映場景的關鍵變化信息，適用于高速目標跟蹤領域。

1.2 從視頻文件產生異步時域事件的模型

由視頻文件的當前幀減去前一幀獲得異步時域事件。異步時域事件的位置信息使用幀圖像像素的行列信息表示。異步時域事件的變化量為當前幀與前一幀對應像素點的灰度值之差，該變化量是一個有符號數，正數代表該點亮度增大，負數代表該點亮度減小。

由于異步時域視覺傳感器在采樣和量化的過程中存在噪聲，所以該模型為得到的視頻幀添加噪聲，噪聲模型為高斯噪聲。根據異步時域視覺傳感器工作原理，該模型有一個閾值，當像素點的變化量的絕對值超過該閾值時，則輸出該事件，該變化量設置為該事件的變化量，該像素的行列信息映射為事件的位置信息。大于閾值的數據送入仲裁器，仲裁器根據選擇的仲裁方式為數據編號，該編號為該異步時域事件的時間戳。以當前幀的幀號和幀頻信息獲得仲裁器輸出的該幀中第一個事件的時間戳tst，該幀中其他事件的時間戳按照輸出順序依次編號，如公式⑴。

⑴

該異步時域事件的產生模型如圖1所示。

2 基于異步時域事件的高速目標跟蹤算法

該算法從異步時域事件產生模塊獲得一個周期的時域事件，并實時地處理這些事件。該算法需要緩存一個周期的時域事件，僅占用的很少的內存。根據事件與簇中心的距離可以將這些事件分配到不同的簇中，然后按周期更新簇的中心和簇的權重等相關屬性。以下簡要地描述該算法。

① 計算一個周期內所有的事件距離各簇中心的距離，如果事件xE=（i，j） 在以RK為搜索半徑的簇內，則把該事件分配到這個簇中，如式⑵，其中O為簇的中心。所有的簇將組成一個簇列表。

⑵

② 如果沒有合適的簇，那么就以該事件xE為中心創建一個簇，簇的權重、半徑速度屬性設為默認值，并將該簇加入簇列表；并為該簇分配一個惟一的ID。

③ 當該周期內的所有事件都加入到相應的簇中，就更新這些簇的所有屬性，更新方法后文將詳細描述。

④ 重復以上步驟就實現了目標的跟蹤，簇的中心代表目標的中心，簇中心的軌跡就是目標的運動軌跡，簇的速度代表目標的運動速度。

當兩個目標相互接近發生遮擋時，這兩個目標邊緣所產生的事件將根據公式⑵都被分配到較活躍的簇中，由公式⑹可知另一個簇的權重將會逐漸降低，因此一段時間過后該簇就被刪除了，有效地解決了目標遮擋問題。當這兩個目標又逐漸分離時，由于簇的搜素半徑在一定的范圍內，所以一些事件將找不到合適的簇，由算法步驟②可知這時將新建一個簇，從而解決了目標遮擋后又分離的問題。

3 實驗結果及分析

為了驗證本算法的效果，使用一個80m/s運動的子彈的高速視頻作為視覺激勵，該視頻時長1.7s。使用本文異步時域事件產生模型生成異步時域事件。異步時域事件共有16745個。分別用本文算法和文獻[6]算法進行測試，得到的跟蹤軌跡如圖2所示。

由圖2可見，本算法跟蹤得到的軌跡更平滑，更符合目標的運動軌跡。而文獻[6]的算法由于在跟蹤時使用按事件更新簇屬性的方法，使得簇中心跟隨事件頻繁移動，導致最終的跟蹤軌跡是以真實軌跡為中心的震動曲線。本算法使用按周期更新的策略，以40ms為周期的一段時間中的所有事件來計算目標的中心，這樣就有效地避免了簇中心的震動問題。

本文算法與文獻[6]算法在子彈跟蹤測試中耗時情況如表1所示。由表1可知，本文算法跟蹤速度更快。本文算法周期性地更新簇屬性，從而減少了計算量。本文算法不僅提高了跟蹤效果，并且加快了跟蹤速度。

4 結束語

本文提出一種從視頻文件產生異步時域事件的模型，并使用該模型產生的數據進行目標跟蹤，驗證了該模型的正確性，為研究基于異步時域事件的算法提供了數據源。本文提出一種基于異步時域事件的按周期更新的高速運動目標跟蹤算法，其優點是跟蹤軌跡與目標的運動軌跡更加吻合，并且時間復雜度更低，跟蹤速度更快。進一步的研究包括跟蹤誤差估計方法和在專有的硬件平臺上實現該算法。

參考文獻（References）：

[1] Tomoyuki Suzuki. Challenges of Image-Sensor Develop-

ment[C]. IEEE International Solid-State Circuits Conference， San Francisco， February，2010：27-30

[2] H. X. Yang， L. Shao， F. Zheng. Recent advances and

trends in visual tracking： A review[J]. Neurocomputing，2011.74（6）：3823-383

[3] R.J Vogelstein， U. Mallik， G. Cauwenberghs. Beyond

address-event communication： dynamically reconfigurable spiking neural systems[J].The Neuromorphic Engineering，2004.1（1）：1-12

[4] S. D. Liu， T. Delbruck. Neuromorphic sensory systems[J].

Current Opinion in Neurobiology，2010.20（3）：288-295

[5] Ahmed Nabil Belbachir， Michael Hofst?tter， Martin

Litzenberger， Peter Sch?n. High-Speed Embedded-Object Analysis Using a Dual-Line Timed-Address-Event Temporal-Contrast Vision Sensor[J]. IEEE Transactions On Industrial Electronics，2011.58（3）：770-782

[6] M. Litzenberger， C. Posch， D. Bauer ，et al. Embedded

Vision System for Real-Time Object Tracking using an Asynchronous Transient Vision Sensor[C]. Digital Signal Processing Workshop， 12th -Signal Processing Education Workshop， 4th， Sept，2006：173-178

[7] 于璐，姚素英，徐江濤.一種基于地址-事件表達的實時視覺

傳感器實現方法[J].光學學報，2013.33（1）.

[8] 顧幸方，茅耀斌，李秋潔.基于Mean Shift的視覺目標跟蹤算

法綜述[J].計算機科學，2012.12：16-24

[9] 徐林忠.基于粒子濾波和卡爾曼濾波的復雜場景下視覺跟蹤[D].

浙江大學碩士學位論文，2008.

[10] 徐巖柏.一種改進的Condensation人臉特征點跟蹤算法[J].

計算機應用與軟件，2015.12：154-159，213

[11] 吳孟俊，付鈿，劉建平，牛玉剛.基于動態貝葉斯網絡的多特

征目標跟蹤[J].計算機工程與應用，2011.30：183-187