乒乓球機(jī)器人視覺系統(tǒng)的實(shí)時(shí)跟蹤

季云峰 任杰 施之皓

摘 要： 針對(duì)乒乓球機(jī)器人視覺系統(tǒng)中的實(shí)時(shí)跟蹤問題，分別在高速和低速2種攝影條件下設(shè)計(jì)完全不同的算法對(duì)乒乓球進(jìn)行跟蹤識(shí)別研究。在高速攝影條件下主要利用乒乓球的5大特征信息（圓度、周長、面積、X距和Y距）設(shè)置閾值進(jìn)行識(shí)別;在低速攝影條件下將機(jī)器學(xué)習(xí)和圖像匹配的方法進(jìn)行代入，實(shí)現(xiàn)對(duì)帶拖影乒乓球的識(shí)別。采用基于注意力的圖像分割算法對(duì)圖片進(jìn)行預(yù)處理，可有效解決因環(huán)境干擾等造成的像素失真問題。提出規(guī)劃感興趣區(qū)（ROI）的算法，利用乒乓球的運(yùn)動(dòng)特征提前確定下一幀圖像中乒乓球的可能位置，從而降低計(jì)算量，縮短計(jì)算時(shí)間，實(shí)現(xiàn)跟蹤的實(shí)時(shí)性。

關(guān)鍵詞： 乒乓球機(jī)器人; 視覺系統(tǒng); 實(shí)時(shí)跟蹤; 注意力; 圖像分割; 機(jī)器學(xué)習(xí)

中圖分類號(hào)： G846 ? 文獻(xiàn)標(biāo)志碼： A ? 文章編號(hào)： 1000-5498（2020）06-0070-06

DOI： 10.16099/j.sus.2020.06.009

乒乓球機(jī)器人可以通過識(shí)別、預(yù)測(cè)、決策等多方面信息協(xié)調(diào)工作完成對(duì)乒乓球的擊打，且可成為一個(gè)實(shí)時(shí)智能的機(jī)器人運(yùn)動(dòng)伺服平臺(tái)，因其核心技術(shù)的應(yīng)用前景廣泛，日益受到學(xué)者們的關(guān)注。由于乒乓球具有體積小、質(zhì)量輕等特點(diǎn)，其運(yùn)動(dòng)速度快，故乒乓球機(jī)器人欲完成擊打任務(wù)，必須對(duì)快速運(yùn)動(dòng)的乒乓球進(jìn)行識(shí)別跟蹤。

針對(duì)乒乓球運(yùn)動(dòng)的跟蹤技術(shù)，目前常見的算法主要有顏色分割法、光流法、背景減除法和幀差法。如楊華等[1]利用顏色分割法針對(duì)特殊的黃色乒乓球進(jìn)行識(shí)別跟蹤，但該算法對(duì)環(huán)境以及攝像機(jī)清晰度的要求均較高，雖較為簡單卻適用性不強(qiáng)。有研究人員[2-4]通過計(jì)算位移向量光流場(chǎng)初始化基于輪廓的跟蹤算法，經(jīng)過迭代運(yùn)算，測(cè)出場(chǎng)景中的運(yùn)動(dòng)區(qū)域。Lampert等[5]利用乒乓球與背景之間的色彩差進(jìn)行圖像分割，計(jì)算像素顏色與期望顏色的相似度，將相似度高的連通區(qū)域標(biāo)記為目標(biāo)區(qū)域。張正濤等[6-8]采用幀差法將所采集的前后2幅圖像做差，出現(xiàn)2個(gè)亮的區(qū)域后再根據(jù)乒乓球速度方向判斷乒乓球位置。

目前，大多數(shù)關(guān)于乒乓球的跟蹤算法都在實(shí)驗(yàn)室中進(jìn)行，需要根據(jù)不同的實(shí)驗(yàn)環(huán)境設(shè)計(jì)不同的跟蹤算法，適用范圍受限[9-10]。同時(shí)，由于乒乓球的速度快，大部分跟蹤乒乓球的視覺系統(tǒng)均會(huì)選擇高速攝像機(jī)，以拍出較為清晰的圖片，方便后續(xù)識(shí)別;但由此產(chǎn)生的數(shù)據(jù)量較大，對(duì)系統(tǒng)的處理速度和傳輸速度均有較高要求。此外，少有學(xué)者使用低速攝像機(jī)拍攝乒乓球進(jìn)行跟蹤識(shí)別，主要原因是低速下拍攝的圖片不清晰，且低速攝影時(shí)常伴隨低速快門，會(huì)造成乒乓球的拖影效應(yīng)，給識(shí)別帶來困難。

因此，本文針對(duì)不同攝影條件下的難點(diǎn)，分別在高速和低速2種攝影條件下設(shè)計(jì)完全不同的算法對(duì)乒乓球進(jìn)行跟蹤識(shí)別，對(duì)比2種算法的優(yōu)勢(shì)和劣勢(shì)，并通過實(shí)驗(yàn)驗(yàn)證算法的準(zhǔn)確性。

1 基于注意力的圖像分割

在不同攝影條件下拍攝的圖片效果不同，計(jì)算機(jī)識(shí)別的圖片是一個(gè)像素矩陣，需要設(shè)計(jì)算法對(duì)其進(jìn)行處理，找出乒乓球所在區(qū)域像素矩陣的特點(diǎn)，從而完成對(duì)乒乓球的識(shí)別跟蹤。單張圖片中的像素矩陣比較混亂，計(jì)算機(jī)直接處理會(huì)出現(xiàn)計(jì)算量過大、方法過于復(fù)雜等問題，故需要對(duì)待處理圖片進(jìn)行預(yù)處理，明確圖片的特征信息，便于后續(xù)處理。

無論在高速還是低速攝影條件下，對(duì)圖片進(jìn)行預(yù)處理都是必須經(jīng)過的一個(gè)步驟，故本文采用圖像分割的方法對(duì)圖片進(jìn)行預(yù)處理，基于注意力方法將圖像中的顯著區(qū)域分割出來，再針對(duì)顯著區(qū)域進(jìn)行處理，找出其中與乒乓球特征最符合者記為乒乓球，即可完成乒乓球的識(shí)別跟蹤任務(wù)。

視覺注意機(jī)制是人類視覺感知系統(tǒng)的重要部分，當(dāng)生物體用眼觀測(cè)一幅圖像時(shí)，通常會(huì)將注意力有選擇地集中在某個(gè)或某些物體上，進(jìn)而對(duì)所選擇的特定物體進(jìn)行視覺信息處理。本文采用的注意力方法是基于視覺注意機(jī)制[11-13]，將3層高斯金字塔和多尺度中心周邊對(duì)比進(jìn)行有效融合，稱之為SMG（saliency map generation）算法[14]，可以實(shí)現(xiàn)將特征對(duì)比明顯的區(qū)域標(biāo)定為顯著性區(qū)域。由于被跟蹤的乒乓球是運(yùn)動(dòng)物體，并且與周圍環(huán)境對(duì)比度較大，故一般都可被識(shí)別為顯著性區(qū)域。圖像分割具體步驟如下：①輸入某張圖片，將其圖像分解為亮度、紅色、綠色、藍(lán)色和黃色等一系列單通道圖像。將圖像的紅、綠、藍(lán)和黃色像素分別用R、G、B、Y表示，亮度表示為I，則有I=（R+G+B）/3。再將圖像分解為2個(gè)對(duì)比通道圖像，通道分別為紅/綠（RG）和藍(lán)/黃（BY），閾值分別為RG=R-G和BY=B-Y。②將輸入圖像表示為3層的高斯金字塔，其中第0層是原圖像，第1層和第2層的大小分別是原圖像的1/2和1/4，使用3×3的高斯濾波器對(duì)原圖像進(jìn)行濾波和降采樣即可形成。③依次對(duì)每組圖像進(jìn)行中央-周邊差分（可將反差大的區(qū)域和運(yùn)動(dòng)區(qū)域顯現(xiàn)出來）及歸一化處理，生成3個(gè)通道下不同的特征圖。④將3個(gè)通道下的特征圖進(jìn)行多尺度特征融合操作，生成1組突出圖。⑤將3個(gè)通道下的突出圖進(jìn)行線性融合，即可生成顯著圖，實(shí)現(xiàn)圖像分割[15-17]。

2 不同攝影條件下的兵乓球識(shí)別

對(duì)圖片進(jìn)行預(yù)處理之后，便可對(duì)分割后的圖像進(jìn)行識(shí)別。針對(duì)高速和低速這2種不同攝影條件下的特點(diǎn)和難點(diǎn)，分別設(shè)計(jì)不同的算法對(duì)乒乓球進(jìn)行跟蹤識(shí)別。

2.1 基于高速攝影條件的乒乓球識(shí)別

將高速攝像機(jī)擺放在距兵乓球臺(tái)邊線1 m處，速度采用250幀/s，快門選擇1/2 000 s，對(duì)乒乓球的整個(gè)運(yùn)動(dòng)軌跡進(jìn)行拍攝。圖1（a）顯示的是高速攝像機(jī)所拍攝視頻中的1幀圖片，由于拍攝的速度足夠快，快門足夠高，故所拍攝的乒乓球整體輪廓較為清晰。對(duì)該圖片基于注意力系統(tǒng)進(jìn)行圖像分割，結(jié)果如圖1（b）所示。由于經(jīng)預(yù)處理后乒乓球的特征依然較為明顯，故可利用乒乓球的特征信息對(duì)乒乓球進(jìn)行識(shí)別。具體可根據(jù)表1中所列5項(xiàng)特征判定白色像素塊是否為乒乓球。

利用兵乒球識(shí)別的5項(xiàng)特征設(shè)置閾值，具體閾值根據(jù)實(shí)驗(yàn)值確定，若對(duì)象的檢測(cè)值均在設(shè)定的閾值內(nèi)，則認(rèn)定該對(duì)象為所需識(shí)別的乒乓球。識(shí)別乒乓球所在區(qū)域之后，去除3塊紅色方框，直接用紅框框住乒乓球，即完成乒乓球的識(shí)別跟蹤，識(shí)別結(jié)果如圖1（c）所示。

2.2 基于低速攝影條件的乒乓球識(shí)別

2.2.1 離線訓(xùn)練及圖像匹配

在低速攝影條件下拍攝的乒乓球整體輪廓不清晰，有拖影，需要進(jìn)行機(jī)器的離線訓(xùn)練和圖像匹配。首先對(duì)低速攝影下的圖片進(jìn)行圖像分割，結(jié)果如圖2（a）所示;再利用圖像匹配的方法進(jìn)行識(shí)別，將大量含不同場(chǎng)景、不同方向的拖影球圖片加入樣本進(jìn)行學(xué)習(xí)，利用adaboost算法訓(xùn)練強(qiáng)分類器，將圖像分割出的亮點(diǎn)區(qū)域加入分類器檢測(cè)識(shí)別，選取相似度最高區(qū)域并視為乒乓球所在區(qū)域。共收集100張不同拍攝速度、角度和背景的拖影球圖片，作為機(jī)器學(xué)習(xí)訓(xùn)練的正樣本，同時(shí)收集100張從不同乒乓球?qū)嵉剡\(yùn)動(dòng)場(chǎng)景中任意選取的非拖影球圖片，作為訓(xùn)練的負(fù)樣本。

在訓(xùn)練的正樣本中，由于拍攝速度不同，拖影球所形成的拖影長度不同，總體特征區(qū)別不大，根據(jù)此特征利用機(jī)器學(xué)習(xí)方法可對(duì)圖片進(jìn)行訓(xùn)練識(shí)別，主要分為以下2個(gè)步驟：①將訓(xùn)練樣本加入adaboost層級(jí)分類器進(jìn)行離線訓(xùn)練，分類器的訓(xùn)練步驟參考文獻(xiàn)[18-19];②將分割后的圖像加入分類器檢測(cè)，只檢測(cè)圖像中的顯著區(qū)域，選取相似度最高區(qū)域?yàn)槠古仪蛩趨^(qū)域。經(jīng)過分類器檢測(cè)后可以獲得乒乓球所在位置區(qū)域，如圖2（b）所示。

2.2.2 真實(shí)球心檢測(cè)

找到乒乓球所在區(qū)域后，由于乒乓球的拖影成像形似橢圓，故先對(duì)其進(jìn)行橢圓擬合。通過查找輪廓獲得目標(biāo)輪廓邊界點(diǎn)坐標(biāo)，利用最小二乘法可以擬合橢圓方程[20]。然而，檢測(cè)出的帶拖影乒乓球的中心坐標(biāo)并非真實(shí)的乒乓球所在位置，設(shè)計(jì)算法根據(jù)擬合的橢圓方程找到真實(shí)球心坐標(biāo)。

乒乓球產(chǎn)生拖影的原因是乒乓球運(yùn)動(dòng)速度太快，而攝像機(jī)的曝光時(shí)間過長，導(dǎo)致在曝光時(shí)間內(nèi)乒乓球與攝像機(jī)系統(tǒng)之間存在相對(duì)運(yùn)動(dòng)，從而使芯片上形成的圖像一直在變化，各個(gè)部位的像元在曝光過程中受到來自物體不同位置成像的影響，最終形成的圖片是一個(gè)連續(xù)變化圖像空間內(nèi)圖片的疊加。就單張拖影圖片而言，乒乓球?qū)嶋H位置處于運(yùn)動(dòng)方向最前端，拖影即曝光時(shí)間過長而產(chǎn)生的乒乓球運(yùn)動(dòng)軌跡重疊影像，故找出拖影圖像中乒乓球?qū)嶋H位置即找到了運(yùn)動(dòng)方向最前端圓形目標(biāo)的中心坐標(biāo)，如圖3所示。

3 預(yù)測(cè)感興趣區(qū)（ROI）

在乒乓球跟蹤實(shí)驗(yàn)中，需要處理視頻中的多幀圖片信息，而光照、背景等干擾因素會(huì)造成識(shí)別誤差，且如果對(duì)每張圖片均進(jìn)行全圖檢測(cè)會(huì)造成計(jì)算量巨大、耗費(fèi)時(shí)間長和識(shí)別錯(cuò)誤多等一系列問題。另外，視頻中的圖片均按照一定時(shí)間序列連續(xù)播放，每2幀圖像之間有較大關(guān)聯(lián)性。據(jù)此提出預(yù)測(cè)ROI的方法，通過針對(duì)前幾幀圖片的檢測(cè)結(jié)果預(yù)測(cè)下一幀乒乓球的位置，即提前設(shè)置一個(gè)ROI，僅對(duì)ROI內(nèi)部進(jìn)行識(shí)別，從而在縮短識(shí)別時(shí)間的同時(shí)提高識(shí)別準(zhǔn)確率。ROI范圍的選取：以經(jīng)識(shí)別（計(jì)算）的球心坐標(biāo)為中心，以乒乓球在圖像平面運(yùn)動(dòng)的最高速度和采樣平均時(shí)間間隔的乘積再加長20%為半徑，確定一個(gè)圓形區(qū)域，該區(qū)域必定可以包含下一時(shí)刻乒乓球運(yùn)動(dòng)位置，將這個(gè)圓形區(qū)域的外接正方形區(qū)域定義為移動(dòng)ROI，即圖像下一時(shí)刻的搜索范圍。如此，利用對(duì)移動(dòng)ROI的預(yù)測(cè)進(jìn)行乒乓球的檢測(cè)識(shí)別，可大大縮短識(shí)別時(shí)間。

預(yù)測(cè)ROI的方法對(duì)高速攝影和低速攝影條件均適用，區(qū)別在于在高速攝影條件下每2幀圖片時(shí)間間隔很短，乒乓球運(yùn)動(dòng)距離不會(huì)很長，預(yù)測(cè)ROI時(shí)可適當(dāng)縮小范圍，進(jìn)一步降低計(jì)算量。圖5顯示在高速攝影條件下連續(xù)2幀圖片預(yù)測(cè)ROI的結(jié)果，紅色圓框代表識(shí)別的乒乓球位置，藍(lán)色方框即為移動(dòng)ROI范圍。可以看出，由于高速相機(jī)頻率很高，乒乓球運(yùn)動(dòng)距離很小，故可將ROI設(shè)置為較小的范圍，并保證下一幀圖像中乒乓球不會(huì)移動(dòng)出ROI范圍。另外還可發(fā)現(xiàn)后一幀圖像亮度比前一幀高，這主要是實(shí)驗(yàn)場(chǎng)景中使用的照明燈采用交流供電，從而造成高速視頻交替閃動(dòng)的結(jié)果。但此處選擇的算法在圖像分割時(shí)已考慮到環(huán)境及燈光變化會(huì)導(dǎo)致圖片顏色失真的問題，并采用3個(gè)通道融合的方法加以解決，故后續(xù)識(shí)別時(shí)較為準(zhǔn)確。

在低速攝影條件下，采樣頻率較低，每2幀圖片間的乒乓球運(yùn)動(dòng)距離較長，需要形成的ROI相較于高速攝影范圍更大。圖6顯示的是在低速攝影條件下連續(xù)2幀圖片設(shè)置移動(dòng)ROI的結(jié)果，紅色圓框代表識(shí)別的乒乓球位置，藍(lán)色方框即移動(dòng)ROI范圍?？梢钥闯?，在低速攝影條件下連續(xù)2幀的乒乓球運(yùn)動(dòng)距離比高速攝影條件下更遠(yuǎn)，故設(shè)置的ROI范圍比在高速攝影條件下大很多，甚至向上的方向已超出攝像機(jī)視野范圍。這并不影響對(duì)球體的檢測(cè)，因?yàn)榍蛟谶\(yùn)動(dòng)過程中以向前的方向?yàn)橹?，在這個(gè)方向上不會(huì)超出攝像機(jī)視野范圍，可保證在下一幀圖像的移動(dòng)ROI中檢測(cè)識(shí)別出乒乓球。

4 實(shí)驗(yàn)效果驗(yàn)證

使用高速攝像機(jī)（速度為250幀/s，快門為1/2 000 s）共拍攝2段視頻，使用低速攝像機(jī)（速度為30～50 幀/s，快門為1/250～1/30 s）共拍攝10段視頻，分別進(jìn)行驗(yàn)證實(shí)驗(yàn)。使用低速攝像機(jī)時(shí)選擇不同的速度和快門進(jìn)行拍攝，可獲得不同的視頻進(jìn)行驗(yàn)證;同時(shí)，由于低速攝像機(jī)頻率低，每段視頻長度均較短，增加視頻拍攝段數(shù)可避免數(shù)據(jù)量過少而無法驗(yàn)證實(shí)驗(yàn)的情況。實(shí)驗(yàn)效果用單張圖片跟蹤準(zhǔn)確率和跟蹤時(shí)間評(píng)定：將正確識(shí)別乒乓球的單張圖片記為跟蹤準(zhǔn)確圖片，單張圖片跟蹤準(zhǔn)確率=跟蹤準(zhǔn)確圖片數(shù)量/視頻圖片總量;單張（正確識(shí)別）圖片的跟蹤時(shí)間是指程序中處理一個(gè)圖片（完成識(shí)別）所需要的時(shí)間。具體結(jié)果如表2所示。

從表2可以看出，高速攝像機(jī)拍攝的跟蹤準(zhǔn)確率明顯高于低速攝像機(jī)，且單張圖片識(shí)別時(shí)間更短。結(jié)果顯示，在高速攝影條件下圖片清晰，利用特征信息識(shí)別乒乓球比利用圖片匹配識(shí)別效果好，但此時(shí)的問題在于圖片數(shù)據(jù)量較大，不便傳輸。另外，盡管在低速攝影條件下的不清晰圖片給識(shí)別帶來一定困難，使跟蹤準(zhǔn)確率受影響（如本文準(zhǔn)確率為74.68%，這在一定程度上是因?yàn)閳D片數(shù)據(jù)集偏?。?，但當(dāng)訓(xùn)練樣本量足夠大時(shí)，將可緩步提高識(shí)別準(zhǔn)確率。另外，在低速攝影條件下單張圖片的跟蹤時(shí)間平均為23 ms，基本可以滿足實(shí)時(shí)跟蹤的要求。

5 小 結(jié)

主要針對(duì)乒乓球的跟蹤識(shí)別問題，從高速攝影和低速攝影2個(gè)角度展開研究。在高速攝影條件下利用乒乓球的特征信息進(jìn)行識(shí)別，在低速攝影條件下將圖像分割、機(jī)器學(xué)習(xí)和圖像匹配方面的知識(shí)進(jìn)行整合與利用，從而完成識(shí)別。最終用實(shí)驗(yàn)進(jìn)行驗(yàn)證，實(shí)現(xiàn)目標(biāo)跟蹤。創(chuàng)新之處有以下幾點(diǎn)。

（1）乒乓球識(shí)別前利用VOCUS系統(tǒng)對(duì)圖像進(jìn)行分割，可在一定程度上解決環(huán)境及燈光變化導(dǎo)致圖片顏色失真的問題，拓寬方法的適用面。

（2）在高速攝影條件下提出用圓度、周長、面積、X距和Y距等5個(gè)特征設(shè)置閾值，并據(jù)此識(shí)別乒乓球。

（3）在低速攝影條件下將機(jī)器訓(xùn)練和學(xué)習(xí)理論引入乒乓球識(shí)別中，由于訓(xùn)練和學(xué)習(xí)都是離線進(jìn)行的，不占用在線識(shí)別時(shí)間，可通過多收集訓(xùn)練數(shù)據(jù)提高識(shí)別的準(zhǔn)確率。該方法可應(yīng)用于不同實(shí)驗(yàn)環(huán)境，只需要提前將新的實(shí)驗(yàn)環(huán)境加入訓(xùn)練樣本即可，突破了受環(huán)境干擾的局限性。

（4）針對(duì)在低速攝影條件下圖像識(shí)別的特殊性設(shè)計(jì)了一種算法，可根據(jù)拖影球的位置和球的運(yùn)動(dòng)方向計(jì)算真實(shí)球體的位置。

（5）規(guī)劃移動(dòng)ROI算法可在很大程度上降低計(jì)算量，縮短計(jì)算時(shí)間。

雖然通過實(shí)驗(yàn)的方法完成了高速及低速攝影條件下的乒乓球跟蹤，但仍有一定的局限性和不足之處，主要有以下幾點(diǎn)。

（1）在圖像處理方法上創(chuàng)新性不夠。所使用的方法基本上都是已經(jīng)成熟的算法，雖起到整合方法的作用，但并未提出新的圖像處理算法。

（2）機(jī)器學(xué)習(xí)的樣本量不夠。主要針對(duì)某些特定現(xiàn)實(shí)場(chǎng)景進(jìn)行實(shí)驗(yàn)驗(yàn)證，如要應(yīng)用于其他場(chǎng)景，還需要對(duì)訓(xùn)練樣本加以更新。

（3）未考慮遮擋下的識(shí)別問題。

雖然乒乓球跟蹤實(shí)驗(yàn)存在一些不足，但針對(duì)高速和低速攝影條件提出的不同算法，基本可滿足正常的跟蹤需要。乒乓球的跟蹤問題一旦解決，即可獲得乒乓球運(yùn)動(dòng)的軌跡，這對(duì)乒乓球的旋轉(zhuǎn)反推和落點(diǎn)預(yù)測(cè)都起到了很大的提示作用。今后將會(huì)繼續(xù)針對(duì)乒乓球跟蹤問題進(jìn)行研究，以克服現(xiàn)有不足，爭(zhēng)取實(shí)現(xiàn)在實(shí)時(shí)基礎(chǔ)上保證最高的準(zhǔn)確率，為將乒乓球機(jī)器人做成一個(gè)完美的視覺系統(tǒng)提供參考。

作者貢獻(xiàn)聲明：

季云峰：設(shè)計(jì)論文框架，拍攝圖片數(shù)據(jù)，做實(shí)驗(yàn)，撰寫、修改論文;

任 杰：提出論文選題，修改論文;

施之皓：審核、指導(dǎo)、修改論文。

參考文獻(xiàn)

[1] 楊華，衣燕慧，劉國東，等.拖影情況下快速飛行乒乓球體的實(shí)時(shí)識(shí)別與跟蹤[J].沈陽航空航天大學(xué)學(xué)報(bào)，2014，31（1）：47-51

[2] STAUFFER C，GRIMSON W E L.Adaptive background mixture models for real-time tracking[J].Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition，1999，2：246-252

[3] HORN B K P，SCHUNCK B G.“Determining optical flow”：A retrospective[J].Artificial Intelligence，1993，59（1-2）：81-87

[4] INCE S，KONRAD J.Occlusion-aware optical flow estimation[J].IEEE Transactions on Image Processing，2008，17（8）：1443-1451

[5] LAMPERT C H，PETERS J.Real-time detection of colored objects in multiple camera streams with off-the-shelf hardware components[J].Journal of Real-Time Image Processing，2012，7（1）：31-41

[6] 張正濤.乒乓球機(jī)器人視覺測(cè)量與控制[D].北京：中國科學(xué)院，2010：26-37

[7] 張正濤， 徐德. 基于智能攝像機(jī)的高速視覺系統(tǒng)及其目標(biāo)跟蹤算法研究[J].機(jī)器人，2009，31（3）：229-234

[8] ZHANG Z，XU D，TAN M.Visual measurement and prediction of ball trajectory for table tennis robot[J].IEEE Transactions on Instrumentation and Measurement，2010，59（12）：3195-3205

[9] 季云峰，朱玲，沈晏妮.基于OpenCV的比賽圖片中的乒乓球球體識(shí)別[J].微型電腦應(yīng)用，2016，32（4）：68-70

[10] 季云峰，施之皓，王朝立，等.基于視頻識(shí)別的乒乓球發(fā)球裁判系統(tǒng)實(shí)驗(yàn)研究：針對(duì)拋球高度和拋球角度問題[J].計(jì)算機(jī)工程與應(yīng)用，2016，52（10）：207-212

[11] HURVICH L M，JAMESON D.An opponent-process theory of color vision[J].Psychological Review，1957，64（6）：384-404

[12] FRINTROP S，WERNER T，MARTIN GARCIA G.Traditional saliency reloaded：A good old model in new shape[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015：82-90

[13] KLEIN D A，F(xiàn)RINTROP S.Center-surround divergence of feature statistics for salient object detection[C]//2011 IEEE International Conference on Computer Vision （ICCV）.Barcelona：IEEE，2011：2214-2219

[14] 李青山.基于注意力選擇機(jī)制的圖像分割與場(chǎng)景理解[D].上海：上海交通大學(xué)，2012：11-21

[15] BORJI A，SIHITE D N，ITTI L.Quantitative analysis of human-model agreement in visual saliency modeling：A comparative study[J].IEEE Transactions on Image Processing，2013，22（1）：55-69

[16] BRUCE N D B，TSOTSOS J K.Saliency，attention，and visual search：An information theoretic approach[J].Journal of Vision，2009，9（3）：13-24

[17] OLSHAUSEN B A，ANDERSON C H，VAN ESSEN D C.A neurobiological model of visual attention and invariant pattern recognition based on dynamic routing of information[J].Journal of Neuroscience，1993，13（11）：4700-4719

[18] XIAO P，ZHAO G，CHEN Y.An algorithm for ellipse detection based on geometry[C]//2009 Chinese Conference on Pattern Recognition.Nanjing：IEEE，2009：1-4

[19] ITTI L，KOCH C，NIEBUR E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20（11）：1254-1259

[20] VIOLA P，JONES M.Fast and robust classification using asymmetric adaboost and a detector cascade[C]//Advances in Neural Information Processing Systems.Lake Tahoe：Neural Information Processing Systems Foundation，Inc.（NIPS），2002：1311-1318

Abstract The problems of real-time tracking of table tennis in the visual system of table tennis robot are focused on.Two completely different algorithms are designed to track the table tennis under two different photography conditions of high-speed and low-speed. Under high-speed photography， the five kinds of major characteristic information of table tennis are mainly used to set the threshold for identification which include roundness，circumference，area，X-distance and Y-distance. In the low-speed photography，the machine learning and matching methods are used to achieve a smearing table tennis recognition. A kind of attention-based image segmentation algorithm is used to pre-process the image，which can effectively solve the problem of pixel distortion due to environmental interference and other factors.The algorithm of planning region of interest（ROI） area is proposed. The possible position of table tennis in the next frame image is determined in advance by the movement characteristics of table tennis，which can be used to reduce the calculation amount，shorten the calculation time，and achieve the real-time tracking.

Key words： table tennis robot; visual system; real-time tracking; attention; image segmentation; machine learning