多發(fā)光目標(biāo)的高速跟蹤*

孔凡輝, 陳青山, 劉 洋, 呂 勇

(北京信息科技大學(xué) 儀器科學(xué)與光電工程學(xué)院,北京 100192)

多發(fā)光目標(biāo)的高速跟蹤*

孔凡輝, 陳青山, 劉 洋, 呂 勇

(北京信息科技大學(xué) 儀器科學(xué)與光電工程學(xué)院,北京 100192)

研究了一種基于高速圖像采集與處理的多發(fā)光目標(biāo)跟蹤技術(shù)。采用現(xiàn)場(chǎng)可編程門陣列(FPGA)形成高速Camera Link CMOS相機(jī)的圖像采集與實(shí)時(shí)處理系統(tǒng)。通過(guò)對(duì)圖像數(shù)據(jù)進(jìn)行開窗、求重心等算法處理，實(shí)現(xiàn)對(duì)多發(fā)光目標(biāo)的跟蹤，并搭建由直流電機(jī)驅(qū)動(dòng)、具有兩個(gè)LED光源的發(fā)光靶標(biāo)進(jìn)行跟蹤測(cè)試。測(cè)試結(jié)果表明：相機(jī)輸出幀頻100 Hz時(shí)，運(yùn)動(dòng)目標(biāo)相對(duì)于相機(jī)角速度達(dá)1.93 rad/s，仍可實(shí)時(shí)跟蹤。系統(tǒng)的跟蹤能力正比于相機(jī)幀頻。

互補(bǔ)金屬氧化物體半導(dǎo)體(CMOS)高速圖像傳感器； 圖像處理； 跟蹤； 現(xiàn)場(chǎng)可編程門陣列

0 引 言

多目標(biāo)跟蹤系統(tǒng)無(wú)論在民用領(lǐng)域還是在軍事領(lǐng)域中均有著非常廣泛的應(yīng)用,例如對(duì)空中的多目標(biāo)探測(cè)、跟蹤，交通管制，海洋監(jiān)測(cè)，衛(wèi)星監(jiān)控系統(tǒng)和空間通信[1,2]等。

為了提高圖像跟蹤系統(tǒng)的精度和穩(wěn)定性的問(wèn)題，基于視頻圖像的運(yùn)動(dòng)目標(biāo)識(shí)別與跟蹤技術(shù)愈發(fā)得到重視。清華大學(xué)的童慧思設(shè)計(jì)了一種多目標(biāo)TBD(檢測(cè)前跟蹤)濾波器，提高了跟蹤的穩(wěn)定性[3]。印度Banasthali大學(xué)的Agarwal S利用不同的模型對(duì)圖像進(jìn)行分割，完成對(duì)人體的目標(biāo)識(shí)別和跟蹤[4]。以上的這些研究利用了復(fù)雜算法，提高定位跟蹤的精度，來(lái)完成對(duì)面目標(biāo)和復(fù)雜目標(biāo)的穩(wěn)定跟蹤。但是在面對(duì)高速運(yùn)動(dòng)的點(diǎn)目標(biāo)時(shí)，由于目標(biāo)具有簡(jiǎn)單，速度快的特點(diǎn)，以上辦法就不適用，尤其是針對(duì)多個(gè)高速運(yùn)動(dòng)的發(fā)光點(diǎn)目標(biāo)時(shí)，提高系統(tǒng)的算法處理速度就顯得十分重要。長(zhǎng)春光學(xué)精密儀器與物理研究所的高文等設(shè)計(jì)了一款實(shí)時(shí)目標(biāo)跟蹤系統(tǒng)，其跟蹤目標(biāo)為單目標(biāo)，每幀的平均處理時(shí)間為13.5 ms[5]。大連理工大學(xué)孟華以運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)重心作為跟蹤點(diǎn)，采用高速現(xiàn)場(chǎng)可編程門陣列(FPGA)并行運(yùn)算技術(shù)，在60 Hz的圖像幀頻下，可以實(shí)時(shí)的跟蹤300個(gè)運(yùn)動(dòng)目標(biāo)[6]。

在對(duì)高速運(yùn)動(dòng)的多發(fā)光點(diǎn)目標(biāo)跟蹤時(shí)，為了達(dá)到更好的跟蹤效果，提高算法執(zhí)行速度，提高系統(tǒng)的處理幀頻數(shù)，本文設(shè)計(jì)基于高速互補(bǔ)性氧化金屬半導(dǎo)體CMOS圖像傳感器，以FPGA為核心處理芯片，對(duì)圖像數(shù)據(jù)中目標(biāo)點(diǎn)進(jìn)行開窗迭代，改進(jìn)傳統(tǒng)的求重心算法，通過(guò)Verilog HDL硬件語(yǔ)言實(shí)現(xiàn)，使其能夠在FPGA硬件內(nèi)高速地執(zhí)行。并通過(guò)實(shí)驗(yàn)驗(yàn)證了系統(tǒng)的跟蹤效果。

1 高速跟蹤算法

在跟蹤系統(tǒng)的中，系統(tǒng)執(zhí)行算法的速度將直接影響到系統(tǒng)的跟蹤效果，在實(shí)現(xiàn)算法功能的前提下要采用盡量高速的算法，或者將已有的算法進(jìn)行提速優(yōu)化。本文設(shè)計(jì)了適用于FPGA的求重心算法和開窗迭代跟蹤算法。

1.1 求重心算法的改進(jìn)

在對(duì)于多個(gè)發(fā)光點(diǎn)目標(biāo)的跟蹤系統(tǒng)中，最常用的跟蹤方法是求取圖像的重心，來(lái)確定目標(biāo)的位置[7]。求重心算法的常用公式為

(1)

式中 j=1～M；k=1～N;f(j，k)為圖像在(j，k)點(diǎn)的像素灰度值；M,N分別為求取重心范圍內(nèi)的水平方向和垂直方向的像素個(gè)數(shù)。由式(1)可知，求取重心的算法需要進(jìn)行除法計(jì)算。FPGA的編程語(yǔ)言為硬件邏輯語(yǔ)言，F(xiàn)PGA在進(jìn)行除法計(jì)算時(shí)會(huì)消耗很多的內(nèi)部邏輯資源，更重要的是計(jì)算時(shí)間比較長(zhǎng)而且時(shí)間不確定。跟蹤系統(tǒng)的實(shí)時(shí)性要求算法的計(jì)算時(shí)間確定，運(yùn)行時(shí)間短。為了降低求重心算法的時(shí)長(zhǎng)，并使計(jì)算時(shí)間確定，采用移位迭代的方法做除法運(yùn)算，實(shí)現(xiàn)求取重心的功能。

移位迭代是將除數(shù)逐次左移與被除數(shù)進(jìn)行比較，來(lái)確定答案的各個(gè)二進(jìn)制位是置0還是置1。其算法流程圖如圖1所示，其中Denumber和Number分別為被除數(shù)和除數(shù)，Answer為所得到的商，k為商的二進(jìn)制位數(shù)，移位迭代法使用的前提是已確定商的范圍，即確定商的二進(jìn)制位數(shù)k，在已知k值的情況下，F(xiàn)PGA只要執(zhí)行k次移位比較就可以計(jì)算出商的值，也就是只需k個(gè)時(shí)鐘周期。加上算法用于取除數(shù)、被除數(shù)和商輸出所占有的兩個(gè)時(shí)鐘周期，執(zhí)行一次除法運(yùn)算只需k+2個(gè)時(shí)鐘周期。

圖1 除法器流程

由于FPGA除法器的除數(shù)和被除數(shù)的累加計(jì)算是伴隨采圖的過(guò)程同步進(jìn)行的，不產(chǎn)生延時(shí)。所以整個(gè)除法器的延時(shí)時(shí)間僅為8個(gè)時(shí)鐘周期。

1.2 開窗算法

系統(tǒng)對(duì)圖像中的目標(biāo)進(jìn)行跟蹤，采用開窗迭代跟蹤的方法。如圖2所示，系統(tǒng)對(duì)圖像中的目標(biāo)敏感區(qū)域進(jìn)行開窗，窗口大小為64×64個(gè)像素點(diǎn)，對(duì)窗口內(nèi)的圖像求取重心，并將重心坐標(biāo)作為下一次開窗的中心，再進(jìn)行開窗，求取新的目標(biāo)點(diǎn)的重心坐標(biāo)，作為下一次開窗的中心，依次迭代，完成對(duì)目標(biāo)的跟蹤。開窗跟蹤減少了FPGA的計(jì)算的數(shù)據(jù)量，節(jié)約了FPGA的內(nèi)部資源，降低了求重心的計(jì)算時(shí)間。

圖2 開窗算法

在對(duì)多發(fā)光點(diǎn)目標(biāo)的跟蹤時(shí)，由于FPGA為多線程的并行架構(gòu)，可以同時(shí)開多個(gè)窗口，且每個(gè)窗口重心計(jì)算的延時(shí)不疊加。開窗的窗口個(gè)數(shù)對(duì)系統(tǒng)的延時(shí)時(shí)間沒(méi)有影響。

2 系統(tǒng)的硬件設(shè)計(jì)和整體流程

處理板以FPGA(Cyclone II EP2C35F672C8N)為核心處理器，相機(jī)接口為Cameral link接口，Cameral link接口為高速的相機(jī)專用接口，最大的傳輸速率可以達(dá)到2.38 Gb/s。通過(guò)VGA顯示屏來(lái)觀察跟蹤的效果，通過(guò)串口來(lái)實(shí)現(xiàn)坐標(biāo)位置的輸出。

設(shè)計(jì)和制作的以FPGA為核心處理芯片的高速采集處理電路板主要模塊包括： Camera link接收電路模塊、VGA顯示電路模塊、串口電路模塊、電源電路模塊、FPGA最小系統(tǒng)和SRAM(靜態(tài)隨機(jī)存取存儲(chǔ)器)電路模塊等。

系統(tǒng)的算法流程如圖3所示。

圖3 算法流程

系統(tǒng)的初始化通過(guò)PLL模塊對(duì)外部時(shí)鐘倍頻，將50 MHz的晶振時(shí)鐘頻率倍頻到200 MHz，在初始化過(guò)程中完成對(duì)系統(tǒng)中的變量賦初值。

圖像濾波采用的是中值濾波算法，中值濾波利用基于排序理論的非線性平滑濾波[8]。它具有速度快和易于實(shí)現(xiàn)的特點(diǎn)，有很強(qiáng)的剔除脈沖噪聲的能力。在進(jìn)行濾波之后，對(duì)圖像中的敏感區(qū)域進(jìn)行開窗，求取重心，迭代跟蹤，并將跟蹤窗和目標(biāo)的位置疊加到圖像數(shù)據(jù)中，利用2塊SRAM芯片，采用乒乓機(jī)制，不斷切換2塊SRAM之間的讀和寫的狀態(tài)，實(shí)現(xiàn)圖像數(shù)據(jù)采集計(jì)算和圖像顯示的同步進(jìn)行。

系統(tǒng)軟件和硬件都是采用高速、低延時(shí)的設(shè)計(jì)，可以在采集完圖像時(shí)即計(jì)算出圖像的重心位置，采集和處理一幀圖像的時(shí)間就是相機(jī)輸出的一幀圖像的時(shí)間。

3 跟蹤識(shí)別實(shí)驗(yàn)

采用高速CMOS相機(jī)photonfocus MV1—D1024E—160—C，相機(jī)的輸出幀頻數(shù)可以改變，相機(jī)的數(shù)據(jù)接口為Cameral link接口，輸出像素大小為1 024×1 024，輸出的像素的灰度值為8 bit。

跟蹤靶標(biāo)采用直流電機(jī)帶動(dòng)兩端帶有LED(發(fā)光二極管)的旋桿，用旋轉(zhuǎn)的LED模擬高速運(yùn)動(dòng)的發(fā)光目標(biāo)，通過(guò)示波器測(cè)量電機(jī)尾部的光柵編碼器的輸出頻率，除以電機(jī)的轉(zhuǎn)速比，獲得電機(jī)的轉(zhuǎn)速。在已知電機(jī)轉(zhuǎn)速和靶標(biāo)旋轉(zhuǎn)桿桿長(zhǎng)的情況下，可計(jì)算出LED的運(yùn)動(dòng)線速度，再測(cè)得靶標(biāo)和相機(jī)之間的距離，計(jì)算出LED相對(duì)于相機(jī)的實(shí)時(shí)角速度[9]。

設(shè)置相機(jī)的輸出幀頻數(shù)為100幀/s，改變直流電機(jī)的供電電壓，使電機(jī)處于不同的旋轉(zhuǎn)速度，觀察不同目標(biāo)相對(duì)于相機(jī)的角速度的跟蹤效果。如圖4所示。

圖4 不同角速度的跟蹤顯示

將相機(jī)的每秒輸出幀頻數(shù)分別設(shè)置成50，75,100幀，改變直流電機(jī)的電壓，測(cè)得剛好發(fā)生目標(biāo)逃逸時(shí)，光柵編碼器的輸出頻率。計(jì)算出不同幀頻數(shù)下系統(tǒng)所能跟蹤的最大目標(biāo)角速度(如表1)。

表1 不同幀頻數(shù)跟蹤的最大跟蹤角速度

由表1可以看出:1)系統(tǒng)處理圖像的幀頻數(shù)直接影響系統(tǒng)的跟蹤效果，系統(tǒng)每秒采集處理的圖像幀頻數(shù)越高，則系統(tǒng)能夠跟蹤的目標(biāo)角速度更高。2)系統(tǒng)跟蹤的角速度的大小正比于相機(jī)的輸出幀頻數(shù)，說(shuō)明本系統(tǒng)的跟蹤能力只與相機(jī)的輸出幀頻數(shù)有關(guān)，即系統(tǒng)在圖像采集完成時(shí)已經(jīng)計(jì)算出目標(biāo)的重心。

4 結(jié) 論

研究了基于FPGA的高速、低延時(shí)跟蹤系統(tǒng)，通過(guò)CMOS高速圖像傳感器采集圖像，改進(jìn)了傳統(tǒng)的求重心的算法，提高其在FPGA里面的運(yùn)行速度，并利用開窗迭代跟蹤的方法，對(duì)多個(gè)發(fā)光點(diǎn)目標(biāo)進(jìn)行實(shí)時(shí)跟蹤，在VGA顯示屏顯示跟蹤效果。

系統(tǒng)在相機(jī)輸出幀數(shù)為100幀/s時(shí)，測(cè)得相機(jī)能跟蹤的雙目標(biāo)的相對(duì)于相機(jī)的最大角速度為1.93 rad/s。并通過(guò)對(duì)比相機(jī)每秒輸出不同的幀頻數(shù)所能跟蹤的最大角速度值，得到跟蹤的最大角速度正比于相機(jī)的輸出幀頻數(shù)，驗(yàn)證了系統(tǒng)的高速、低延時(shí)的特性。

[1] 毛建國(guó),柏方超,沈 峘，等.復(fù)雜場(chǎng)景下動(dòng)態(tài)目標(biāo)視覺(jué)跟蹤方法[J].傳感器與微系統(tǒng),2010,29(3):23-25,28.

[2] 趙偉軍，顧新艷，姜慶標(biāo)，等.起伏目標(biāo)檢測(cè)應(yīng)用研究[J].現(xiàn)代雷達(dá)，2015，37(6)：32-36.

[3] 童慧思,張 顥,孟華東,等.PHD濾波器在多目標(biāo)檢測(cè)前跟蹤中的應(yīng)用[J].電子學(xué)報(bào),2011,39(9):2046-2051.

[4] Agarwal S,S Mishra.A stody of multiple human tracking for visual surveillance[J].International Journal of Advances in Engineering and Technology,2012(5):361-374.

[5] 高 文,朱 明,劉 劍,等.基于DSP+FPGA框架的實(shí)時(shí)目標(biāo)跟蹤系統(tǒng)設(shè)計(jì)[J].液晶與顯示,2014(4):611-616.

[6] 孟 華,謝小飛,叢培超.多運(yùn)動(dòng)目標(biāo)高速實(shí)時(shí)跟蹤算法的實(shí)現(xiàn)[J].電視技術(shù),2012(3):134-136,140.

[7] 林潤(rùn)芝,楊學(xué)友,鄒 劍,等.面向大尺寸檢測(cè)CCD圖像中心提取精度的研究[J].傳感器與微系統(tǒng),2010,29(12):51-53.

[8] 胡越黎,計(jì)慧杰,吳 頻,等.圖像的中值濾波算法及其FPGA實(shí)現(xiàn)[J].計(jì)算機(jī)測(cè)量與控制,2008(11):1672-1675.

[9] 熊 帥.光電經(jīng)緯儀虛擬現(xiàn)實(shí)仿真平臺(tái)設(shè)計(jì)及關(guān)鍵技術(shù)研究[D].北京：中國(guó)科學(xué)院光電技術(shù)研究所，2013:12-14.

孔凡輝 (1989-)，男，碩士研究生，研究方向?yàn)楦咚賵D像采集與處理。

High speed tracking of muitilight-emitting targets*

KONG Fan-hui, CHEN Qing-shan, LIU Yang, Lü Yong

(School of Instrumentation Science and Optoelectric Engineering,Beijing Information Science & Technology University,Beijing 100192,China)

A technology for tracking multi light emitting targets based on high speed image collecting and processing.Using FPGA to form image acquisition and real-time processing system of high speed Cameral link CMOS camera.Tracking is achieved through window setting and Barycenter algorithm.Further,a light emitting target with two LED sources and driven by a DC motor is built to test the tracking and recognition capability.Test results indicate that,with a camera of 100 Hz output frame frequency,moving targets having 1.93 rad/s angular speed relative to the camera are still traceable,and that,the tracking ability is proportional to the fame frequency of the camera.

CMOS high-speed image sensor; image processing; tracking; FPGA

10.13873/J.1000—9787(2017)05—0033—03

2016—05—18

北京市優(yōu)秀人才培養(yǎng)資助項(xiàng)目(2013D005007000007)；北京市屬高等學(xué)校青年拔尖人才培育計(jì)劃項(xiàng)目(CIT&TCD201404124)

TP 391

A

1000—9787(2017)05—0033—03