基于運動分析的運動目標實時跟蹤系統(tǒng)

鞠升輝， 李楊民

(1.天津理工大學(xué) 機械工程學(xué)院 天津市先進機電系統(tǒng)設(shè)計與智能控制重點實驗室，天津 300384; 2.澳門大學(xué) 科學(xué)與技術(shù)學(xué)院 機電工程系，澳門 999078)

設(shè)計與制造

基于運動分析的運動目標實時跟蹤系統(tǒng)

鞠升輝1， 李楊民2

(1.天津理工大學(xué) 機械工程學(xué)院 天津市先進機電系統(tǒng)設(shè)計與智能控制重點實驗室，天津 300384; 2.澳門大學(xué) 科學(xué)與技術(shù)學(xué)院 機電工程系，澳門 999078)

機器人的視覺伺服是機器人領(lǐng)域重要的研究方向。著力于提高機器人視覺反饋系統(tǒng)的實時性，提出了基于運動分析的的運動目標實時跟蹤方法。該方法采用形態(tài)學(xué)方法標記連通域，并基于最小二乘法擬合運動軌跡曲線，預(yù)測下一時刻位置，設(shè)定連通域搜索范圍，從而提高搜索速度。仿真結(jié)果表明：該方法處理效果良好，能滿足后續(xù)系統(tǒng)實時性要求。

實時跟蹤； 視覺伺服； 位置預(yù)測； 運動分析

0 引 言

視覺圖像蘊含豐富的信息，從中提取本文作者感興趣的研究對象，分析其位置、形狀、顏色等特征，并將其用于視覺伺服[1,2]，從而實現(xiàn)對運動目標的跟蹤和反饋。在工業(yè)領(lǐng)域，如基于視覺傳感的儀表自動讀數(shù)系統(tǒng)[3]，微小群孔檢測[4],地鐵隧道變形檢測[5]等。Magana M E利用視覺圖像，從中提取倒立擺中小車和擺桿的特征點，計算運動參數(shù)，并結(jié)合模糊控制，從而實現(xiàn)了對直線倒立擺的穩(wěn)定性控制[6]；Petrovic I在一個橫梁和可以自由滾動的小球構(gòu)成的實驗平臺上，采用邊緣檢測從圖像中分離出橫梁的角度和小球的位置，實現(xiàn)了小球和橫梁相對位置的精確定位[7]。

這些研究雖然均能夠?qū)崿F(xiàn)對運動目標的精確控制，但是處理速度卻不夠理想，圖像速度最大僅僅15～20幀/s。

對于實時性要求更苛刻的運動目標，這些方法很難滿足應(yīng)用要求。因此，針對性工作很快展開并取得一系列進展。李盛陽[8]提出了基于網(wǎng)格的圖像快速處理方法，將閑置的計算機組成局域網(wǎng)，分割任務(wù)，并行處理，實現(xiàn)了速度的大大提升；黃文杰[9]提出圖像快速處理的積分圖方法，顯著地加速空間域圖像的處理速度；吳葉蘭[10]在運動目標的跟蹤中，提出了用局部模版來縮短模版匹配時間。

本文研究中，提出了一中基于運動分析的目標預(yù)測和跟蹤方法，即：依據(jù)歷史位置，采用最小二乘法擬合出一條運動軌跡曲線，根據(jù)運動軌跡曲線得到運動物體在下一個時刻的位置，同時，依據(jù)歷史預(yù)測的精度來推斷出適當?shù)乃阉鞣秶?，從而減小搜索的區(qū)域，準確快速的定位運動物體的實際位置。

1 最小二乘法的曲線擬合理論

在曲線擬合中，運用最小二乘法[11,12]，也即：使擬合數(shù)據(jù)與原始數(shù)據(jù)的偏差平方和最小。最小二乘法原理為極小值原理。記

(1)

多元函數(shù)存在極值的必要條件是

αnφn(xi)]=0,k=0,1,2,…,n

(2)

(3)

對任意函數(shù)h(x)和g(x)，引入

(4)

用向量內(nèi)積形式表示，可得

α0(φk,φ0)+α1(φk,φ1)+…+αn(φk,φn)=(φk,f), k=0,1,2,…,n

(5)

即

(6)

即為求α0,α1,…,αn的法向方程組，其矩陣的形式為

(7)

(8)

若

φ(x)=α0+α1x+α2x2+…+αnxn

(9)

則

(10)

(11)

最小二乘法的法方程為

(12)

根據(jù)上式可得α0,α1,…,αn，由此，可得到描述運動目標的軌跡曲線。

2 目標檢測基本原理

2.1 運動目標的提取和分離

本文采用連續(xù)差分法[13]提取運動目標，即：分別將當前幀與前一幀、下一幀與當前幀分別進行圖像的差分運算，即可得到差分后的兩幅圖像。然后對差分圖像進行二值化，從而將運動目標從差分圖像中分離出來。

2.2 運動目標連通分量提取與實現(xiàn)

在二值圖像中提取連通分量是許多自動圖像分析應(yīng)用中的核心任務(wù)。提取連通分量的過程實際上也是標記連通分量的過程，本文做法是，給原圖像中的每個連通區(qū)分配一個惟一代表該區(qū)域的編號，在輸出圖像中該連通區(qū)內(nèi)的所有像素的像素值就賦值為該區(qū)域的編號，即所謂的標記圖像[14]。采用形態(tài)學(xué)的膨脹操作提取聯(lián)通分量(如圖1和圖2所示)，算法如下：

初始化：B0=連通分量A1中的某個點

循環(huán)：doBi+1=(Bi⊕S)∩A

untilBi+1=Bi

圖1 含有兩個聯(lián)通分量的圖像AFig 1 Image A containing two connected components

圖2 A的連通分量標注Fig 2 Labeling of connected components of A

2.3 圖像處理

噪聲來源分析：數(shù)據(jù)會被噪聲和形變影響。這些影響來自真實世界的變化(天氣、光線、反射、運動)，鏡頭和機械結(jié)構(gòu)的不完美，傳感器長時間感應(yīng)(運動模糊)，從而在圖像上形成明顯易見的拖拽陰影。傳感器和其他電子器件上的電子噪聲，以及圖像采集后的圖像壓縮引入的變化[15]。這也是為什么背景完全相同的圖像，通過連續(xù)差分法獲得圖像、二值化處理并對連通域進行標記之后，連通域除了運動目標一處之外，卻另外還有50多處的原因。

圖3 原始圖像Fig 3 Initial image

圖4 二值化后圖像Fig 4 Image after binarization

規(guī)律分析： 由圖3與圖4分析可得，噪聲點較多，且噪聲的分布規(guī)律呈現(xiàn)一定的隨機性；噪聲點的形狀較小，比作為研究對象的運動目標小的多；本文研究對象中，對于影響較大的白光，其形狀呈現(xiàn)長條形，與運動目標的圓形區(qū)別明顯。

噪聲處理與運動目標提?。?在對運動目標進行檢測時，首先，通過擬合的曲線預(yù)測下一時刻運動目標可能的坐標，然后，以該預(yù)測的坐標為中心設(shè)定連通域的搜索范圍，最后，比對標記連通域的索引值和搜索范圍，落在搜索范圍內(nèi)的，且形狀為圓形的最大連通域即為運動目標。

搜索范圍確定[11]： 由于最小二乘法本身的誤差和圖像的畸變，預(yù)測的坐標和實際坐標之間的誤差是不可避免的。此外，目標有一定大小，應(yīng)該在以預(yù)測坐標為中心的一個范圍內(nèi)進行搜索。分析可知，越接近本次預(yù)測的歷史位置坐標對預(yù)測精度的影響越大；反之,越小。于是，采用1～m的自然數(shù)作為加權(quán)值，如下式所示

(13)

(14)

式中 Dx和Dy分別為搜索區(qū)域?qū)挾群透叨鹊陌霃?，b為常數(shù)，m為參考位置數(shù)目。

為了嚴謹，將搜索半徑與預(yù)測誤差進行對比，如圖5所示，由于本文m取值為5，所以，前5個搜索半徑無法預(yù)測，為了安全起見，取值較為保守為20，這是圖表中搜索半徑的起始部分為線段的原因。

系數(shù)的評估： 參考的歷史位置數(shù)量m、擬合曲線的最高次數(shù)n和權(quán)值b直接影響位置精度。表1列出了m和n的不同取值時的針對單幅圖像的仿真結(jié)果，仿真的硬件環(huán)境為E8400 3.00GBZPC，圖像為320像素×240像素，軟件環(huán)境為MATLAB12.0。 與 要根據(jù)實際情況選擇合適的賦值，文中選擇m=5,n=3,b=0.3。

2.4 算法性能比較

文獻[16]采用了粒子濾波方法，單個目標跟蹤時處理速度不大于10幀/s。文獻[17]采用卡爾曼濾波在類似的實驗條件下對運動目標的跟蹤速度為20幀/s。表2為分別采用運動分析法、粒子濾波法[18]和卡爾曼濾波法[17]對Y方向?qū)嶋H坐標位置進行預(yù)測的結(jié)果。視覺采樣的速率較慢，典型采樣頻率為30 BZ[1]。因此，本文方法可滿足實時性要求，圖6分別為第1,11,24幀時的跟蹤圖像。

表2 算法性能比較Tab 2 Performance comparison of different algorithms

圖6 基于運動分析的運動目標實時跟蹤方法下的目標圖像Fig 6 Target image by moving object real-time tracking method based on motion analysis

3 結(jié) 論

本文提出了一種基于運動分析的運動目標實時跟蹤算法，通過連續(xù)差分法提取運動目標，并標記連通域，依據(jù)歷史位置信息確定搜索范圍，從而準確快速地提取出運動目標的坐標位置信息。仿真實驗可知，處理每幀圖像的時間平均為25 ms。與卡爾曼濾波以及粒子濾波等方法比較，本文所采用的方法計算量小，實時性較好。然而，本文沒有選擇添加窗口，設(shè)定感興趣區(qū)域(region of interest,ROI)的方法，而是全局掃描并標記連通域方法，因此，算法的潛力沒有得到充分挖掘。接下來的工作中，會考慮設(shè)置ROI區(qū)域的方法，進一步優(yōu)化算法，加快運算速度。

[1] 田夢倩,羅 翔,黃惟一.視覺伺服機器人對運動目標操作的研究[J].機器人,2013,25( 6):548-553.

[2] Hutchinson S,Hager G,Corke P I.A tutorial introduction to visual servo control[J].IEEE Trans on Robotics and Automation,1996,12(5):651-670.

[3] 郭永彩,劉麗君,高 潮.基于圖像傳感器的儀表自動讀數(shù)系統(tǒng)[J].傳感器與微系統(tǒng),2012,31(11):115-121.

[4] 張劍劍,朱 荻,李寒松.基于數(shù)字圖像處理技術(shù)的微小群孔快速監(jiān)測系統(tǒng)[J].傳感器與微系統(tǒng),2009,28(6):73-79.

[5] 趙 炯,朱海濤,屈劍平,等.基于OpenCV的圓心定位在地鐵隧道變形檢測中的應(yīng)用[J].傳感器與微系統(tǒng),2013,32(11):139-145.

[6] Magana M E,Holzapfel F.Fuzzy-logic control of an inverted pendulum with vision feedback[J].IEEE Transactions on Education,1998,41(2):165-170.

[7] Petrovic I,Brezak M,Cupec R.Machine vision based control of the ball and beam[C]∥International Workshop on Advanced Motion Control,Piscataway, NJ,USA:IEEE,2002:573-577.

[8] 李盛陽,李愛軍,朱重光,等.基于網(wǎng)格的遙感圖像快速處理[J].計算機工程,2007,33(6):35-37.

[9] 黃文杰,陳 斌.一種快速圖像處理的積分圖方法[J].計算機應(yīng)用,2005,25(12):266-268.

[10] 吳葉蘭,楊 飛,劉 陽,等.基于顯微視覺的微小型零件跟蹤系統(tǒng)[J].傳感器與微系統(tǒng),2015,34(2):95-98.

[11] 鐘建冬,蘇劍波.基于視覺預(yù)測的運動目標實時跟蹤系統(tǒng)[J].機器人,2010,32(5):516-520.

[12] 海 嘯,朱志杰.最小二乘法和三次樣條曲線擬合的比色測溫誤差修正對比分析[J].激光雜質(zhì),2015,36(6):72-76.

[13] 楊 蕊,張涇周,李 榮,等.基于幀差法與邊緣信息的紅外目標檢測算法研究[J].科學(xué)技術(shù)與工程,2012,12(26):25-28.

[14] 張 錚,王艷平,薛桂香.數(shù)字圖像處理與機器視覺—Visual C++與Matlab實現(xiàn)[M].北京:人民郵電出版社,2010.

[15] Gary Bradski,Adrian Kaehler.學(xué)習(xí)OpenCV(中文版)[M].北京:清華大學(xué)出版社,2009.

[16] 程 建,周 越,蔡 念,等.基于粒子濾波的紅外目標跟蹤[J]．紅外與毫米波學(xué)報,2006,25(2)：113-117.

[17] 李鵬飛,喻建平,李良群.基于模糊自適應(yīng)α-β濾波的機動目標跟蹤[J].系統(tǒng)工程與電子技術(shù),2008,30(11):2138-2141.

Real-time tracking system of moving object based on motion analysis

JU Sheng-hui1, LI Yang-min2

(1.Tianjin Key Laboratory for Advanced Mechatronic System Design and Intelligent Control,School of Mechanical Engineering,Tianjin University of Technology,Tianjin 300384,China；2.Department of Electromechanical Engineering,Faculty of Science and Technology,University of Macao,Macao 999078，China)

Robotic visual servo system is an important research direction in the field of robotics.To enhance performance of real-time of robotic visual feedback system,method for realtime tracking of moving target based on motion analysis is proposed.The method uses morphological way to label connected domain,and fits trajectory curve based on least square method,predict position of the next and set searching scope of connected domain,so as to improve searching speed.Simulation results show that the approach is effective and can meet the requirements of real-time of system.

real-time tracking; visual servo; position prediction; motion analysis

10.13873/J.1000—9787(2016)07—0058—04

2015—11—05

TP 391

A

1000—9787(2016)07—0058—04

鞠升輝(1989-)，男，河南平頂山人，碩士研究生，主要研究方向為機器人視覺、自主導(dǎo)航。