基于乒乓球機器人視覺系統的單色乒乓球旋轉三維速度測定

季云峰, 陸愛發, 任 杰, 施之皓

(上海體育學院 中國乒乓球學院,上海 200438)

?

基于乒乓球機器人視覺系統的單色乒乓球旋轉三維速度測定

季云峰, 陸愛發, 任 杰, 施之皓

(上海體育學院 中國乒乓球學院,上海 200438)

旋轉是乒乓球最核心的制勝因素,故獲得乒乓球的旋轉信息是乒乓球機器人視覺中必不可少的任務。提出基于單目視覺的測算乒乓球旋轉三維速度的方向及大小的算法,用于測量無標記的乒乓球旋轉,將其應用于乒乓球機器人的視覺識別,獲得乒乓球的旋轉信息,對機器人后續運動規劃和控制決策起重要的作用。對所提算法進行驗證,得到與理論結果誤差較小的實驗數據,驗證了方法的可行性。

乒乓球; 視覺系統; 三維速度; 旋轉; 機器人

Author’s address China Table Tennis College, Shanghai University of Sport, Shanghai 200438, China

乒乓球機器人是研究快速視覺感知和運動控制的良好平臺。自20世紀80年代Billingsley提出舉辦乒乓球機器人比賽的倡議以來,各國先后展開了乒乓球機器人方面的研究[1]。Andersson[2-3]、Acosta等[4],Matsushima等[5-7]先后設計了不同的機器人系統,成功實現了人機對打。

實現乒乓球機器人的人機對打,主要需要機器視覺和運動控制的共同配合。先通過機器視覺找到乒乓球的空間位置,再通過對乒乓球進行動力學分析或經驗判斷預測乒乓球的運動軌跡,傳達給控制端,選擇一個合適的回球落點,將乒乓球拍移動到相應位置,完成擊球。在乒乓球運動中,旋轉球是運動員使用最多也是最具特色的一項技術,是運動員比賽制勝的重要法寶。一直以來很少有人根據旋轉運動過程對運動軌跡進行分析,旋轉球基本未應用到乒乓球機器人之中。目前無論是國外還是國內乒乓球機器人,大多數的預測軌跡工作都是圍繞無旋球展開的,針對旋轉球的預測目前只集中在經驗學習方法中的模糊預測。Zhang等[8]根據受力情況采用近似的物理模型對乒乓球運動軌跡進行預測,優點是預測時間短,可以滿足實時性,但其中參數的不確定性導致不能精確建模,難以推廣到旋轉球的應用中。

實際打球過程中,球拍與乒乓球、球桌與乒乓球之間都有摩擦力的作用,使得乒乓球所受合力偏離了球的中心而產生旋轉。現階段也有文獻對乒乓球的旋轉進行探討,Leung等[9]詳細分析了旋轉球與球拍和球臺碰撞過程,并創建了一種旋轉球與球拍和球臺的反彈模型。Akira等[10-12]在分析了旋轉球與球臺反彈模型的基礎上,提出相應的旋轉球的飛行軌跡預測算法,但這些算法都未針對特定的旋轉類型和大小設計。

以上這些算法都是通過對乒乓球進行受力分析預測乒乓旋轉球的軌跡,但該預測只能獲得旋轉的大概信息,到目前為止缺乏準確計算無標記乒乓球旋轉的算法。有學者在乒乓球上做標記測算旋轉速度,Nakashima等[13-15]在球上做標記通過高速視覺對球的旋轉進行測算,但在乒乓球上做標記會增加乒乓球的質量,對乒乓球的圓度也會產生一定影響,在比賽中不可能使用添加標記的乒乓球,故該方法并不能被廣泛應用于測算乒乓球旋轉中。

到目前為止,并沒有學者提出一個精確的不做標記的方法對球體旋轉的三維速度進行測量。本文主要針對球體旋轉速度大小及方向問題,利用球體旋轉中的一些特征,提出一種基于單目攝像機的測量球體三維速度的方法,并用實驗驗證算法的有效性。

1 實驗準備

目前乒乓球機器人的視覺系統一般由多臺攝像機共同定位乒乓球的空間位置,事先對攝像機進行標定,根據乒乓球的特征對其進行識別跟蹤。由于大部分乒乓球機器人的視覺系統都是針對無旋轉乒乓球進行識別,故將乒乓球當成一個白色球體進行識別,獲得其中心的空間坐標。

本文提出一種全新的測算乒乓球旋轉速度和方向的方法,主要利用乒乓球面的商標相對于球的運動計算旋轉速度。同樣利用高速攝像機作為視覺系統,高速攝像機的幀率保證能看到連續幾幀乒乓球商標即可。在機器人視覺系統中,如果使用多目攝像機進行乒乓球定位,會由于定標、環境的影響造成誤差多倍放大,故本文采用的是基于單目攝像機測算旋轉速度的方法。由于乒乓球在空中是有旋轉的,故攝像機架在球桌四周皆可,只要幀率跟上球的旋轉速度即可,一般將攝像機放在裁判席附近。因為在實驗中需要識別乒乓球的商標,所以要確保攝像機能夠拍到商標,故在實驗中采用2臺攝像機放在乒乓球桌的兩邊,并且高度不同。在實驗過程中只對可以識別商標的那臺攝像機進行算法處理,故覆蓋范圍較大,在大部分情況下可以識別商標,所以對于前后旋轉的乒乓球也可以進行識別,本文的算法基本適用于任何旋轉速度的識別計算。

由于本文測算旋轉主要依靠乒乓球面的商標,故選取所拍視頻中的一張圖像進行處理實驗,經過二值化,腐蝕和膨脹,查找輪廓,以乒乓球中心點作為原點建立坐標系,可以獲得商標中心的坐標(圖1)。在乒乓機器人視覺系統中,獲得幾幀圖片中乒乓球的商標中心坐標,再利用這幾個中心坐標間的關系測算乒乓球的旋轉速度和方向。

2 乒乓球旋轉速度測試方法

2.1 乒乓球旋轉模型 乒乓球在空中的旋轉必將繞某一個旋轉軸進行旋轉,故乒乓球上任意一點旋轉一周必將形成一個圓形。用單目攝像機從某一角度拍,這個角度不一定是正對旋轉軸,若將商標中心作為標記點,形成的軌跡在單目視覺中將形成一個橢圓。本文需要基于單目攝像機對旋轉乒乓球進行拍攝,利用旋轉乒乓球的旋轉特征計算乒乓球的旋轉速度的大小和方向;先利用乒乓球的旋轉建立一個旋轉球體模型,對旋轉乒乓球的特征進行分析(圖2)。

圖1 獲得乒乓球商標中心坐標

Figure 1. The acquisition of the coordinate of table tennis brand’s center

圖2 乒乓球旋轉模型

假設乒乓球在空間坐標系Oxyz中進行旋轉,圖2中的2個圓代表旋轉的乒乓球,其中實線圓代表乒乓球投影在xOy平面形成的圓,虛線圓代表球體上任意一個截面所形成的圓。2個方框代表2個圓形所在的截面,在空間中2個平面相交會產生一條交線,在圖中2個平面相交的交線即為中間那條黑色直線;而這2個圓形截面的交線,即為虛線圓的直徑,記為直徑m,屬于2個平面交線的一部分。

2.2 乒乓球三維速度分解 高速旋轉的乒乓球必將沿著某條通過球心的軸轉動,故可將求解高速旋轉的乒乓球的三維速度方向問題轉化為求解轉動軸空間位置問題。現假設此球體旋轉方向為沿著虛線圓旋轉,則此球體的轉動軸為垂直于虛線圓所在截面的直徑m的中垂線所在直線,即為直線L。

如圖3所示,將高速旋轉的乒乓球投影到xOy平面上,可以得到球體在新的坐標系x′O′y′的平面圖形。此時,空間坐標中的實線圓保持不變,而虛線圓將在平面中被投影成一個橢圓。此外,空間中的轉動軸L將被投影到平面x′O′y′中,成為橢圓長軸m′的中垂線L′。故可將求解旋轉乒乓球轉動軸L空間位置問題轉化為2個問題:①直線L′在平面x′O′y′的位置;②直線L′與平面x′O′y′的夾角。

圖3 旋轉乒乓球投影

2.3 求解旋轉軸方向

2.3.1 直線L′在平面x′O′y′的位置 先解決直線L′在平面x′O′y′位置問題,可轉化為求解橢圓長軸m′與x軸傾角及橢圓中心點坐標問題。對于任意一個橢圓,都可以用其一般方程

Ax2+Bxy+Cy2+Dx+Ey+1=0

表示,總共有A、B、C、D、E5個系數,即只要找到橢圓上面任何5個點的坐標就可以解出橢圓的一般方程。在乒乓球旋轉測定中,可以利用乒乓球上面的商標中心作為識別對象,記下5幀圖像中商標中心位置即可。假設找到橢圓上任意5個點的坐標(xn,yn),n=1,2,3,4,5,則可以得到以下五元一次方程組:

(1)

在方程組(1)中,x、y都是已知數,未知數是系數A、B、C、D、E,它們都是一次的,故解出這個方程組的解是唯一的,利用5張圖像即可求出橢圓軌跡方程。

利用Matlab軟件編程求解方程(1)的解,獲得系數值,從而得到橢圓一般方程之后,開始計算橢圓長軸m′與x軸傾角及橢圓中心點坐標。令

F(x,y)= Ax2+Bxy+Cy2+Dx+Ey+1

(2)

由于橢圓屬于中心型曲線,故中心點坐標(x0,y0)滿足

(3)

代入F(x,y),有

(4)

即得橢圓中心坐標為(x0,y0)。

(5)

令F(x,y)=0,將式(5)代入,可得

(6)

其中,

(7)

2(C-A)sinβcosβ+B(cos2β-sin2β)=0

(8)

利用二倍角公式,有

(9)

化簡得

(10)

即可得到橢圓長軸m′與x軸傾角β的值:

(11)

至此,計算出乒乓球的旋轉軸L在平面x′O′y′內的投影L′與x、y軸夾角分別為:

2.3.2 直線L′與平面x′O′y′的夾角 接下來解決直線L′與平面x′O′y′夾角,在單目攝像機視角下,一個與攝像機視角平面傾角為α的平面中的一個圓會被識別成一個橢圓。其主要原因是將原本平面中圓投射到攝像機視角平面中,從而導致圖像變形,橢圓的短軸就是因為原本直徑投射到新平面下縮短所形成的。

如圖4所示,假設攝像機視角平面為x1Oy1平面,則計算機視角平面與圓所在平面的夾角為α,投影形成的三角形的三條邊長分別為a、b、c,原本圓的直徑為c,投影到x1Oy1平面上變成橢圓短軸b,則有

(12)

此處的夾角α即為直線L′與平面x′O′y′夾角,三角形的邊長b和c即為橢圓的長軸和短軸,記橢圓長軸為a′,短軸為b′,可得

(13)

圖4 空間夾角轉換關系

故可將問題轉化為求解橢圓長軸a′和短軸b′問題。根據前文計算結果,可知橢圓中心坐標為(x0,y0),假設一條直線過橢圓中心點與x軸夾角為φ,則這條直線的參數方程為

(14)

式中:t為參數;φ為直線與x軸夾角。

令F(x)=0,將式(14)代入,可得

(Acos2φ+Bsinφcosφ+Csin2φ)t2+

[(2Ax0+By0+D)cosφ+

(Bx0+2Cy0+E)sinφ]t+H=0

(15)

式中,

(16)

將前文算出的中心坐標值代入式(16),可得

(17)

(18)

易知

t1+t2=0

(19)

故可得

(20)

由韋達定理可得

(21)

故可得

(22)

由式(22)可求得傾角為φ的以(x0,y0)為中點的弦的長度,因為橢圓的長軸、短軸分別是其弦中最長和最短的兩根弦,當Acos2φ+Bsinφcosφ+Csin2φ取得極值時,對應的弦即為橢圓的長軸和短軸。

令G=Acos2φ+Bsinφcosφ+Csin2φ,則

(23)

經化簡,可得

G=(A+C)/2+

(24)

易知

(25)

故可得

(26)

由此可求得橢圓的長軸a′和短軸b′長度如下:

(27)

根據式(13)、(17)、(27)可得直線L′與平面x′O′y′夾角α的計算公式如下:

(28)

根據式(28),計算出乒乓球的旋轉軸L與空間坐標系z軸夾角為:

(29)

至此,計算出乒乓球旋轉軸與空間3個軸的夾角,即算出乒乓球旋轉速度的三維方向。

2.4 求解旋轉速度大小 精確地計算速度大小的方法是先計算任意2幀圖像中同一點運動的弧線的距離,然后除以2幀圖像相隔時間,即得到球體轉速大小。其計算量會相對較大,在高速旋轉球體上,可以將兩點間的弧線距離近似為兩點間的直線距離,從而可以大幅度降低計算量,縮短計算時間。本文選取了橢圓上的5個點,即同一個點連續5幀的運動軌跡。為了降低誤差,將選取這5個點中每相鄰2點之間距離的平均值。

根據前文可知,橢圓上任意5個點的坐標為(xn,yn),n=1,2,3,4,5,記球體旋轉速度大小為v,每2幀之間間隔時間為t,物體實際大小與圖像中像素大小比值為k,則得出

(30)

式(30)可以計算出的v為選取坐標點的線速度,可以根據線速度v計算球體旋轉的角速度。球體是繞旋轉軸進行旋轉的,本文所選取的點的運動軌跡是垂直于旋轉軸的一個圓,但是這個圓不一定會經過球心,所以不能簡單地利用球體的半徑計算角速度。

本文計算角速度利用所選取點運動軌跡圓的半徑,而在單目視覺中,該半徑即為橢圓軌跡的長軸a′。故利用式(28)和式(30)可算得球體旋轉的角速度計算公式為:

(31)

2.5 實驗驗證 為了驗證設計算法的正確性,本文利用攝像機拍攝視頻進行實驗驗證。將2臺攝像機擺放在乒乓球桌兩邊,用一個智能發球機進行發球,發球的旋轉速度事先調試、測試好,控制在60 r/s,再利用2個攝像機同時進行拍攝。攝像機的幀率采用100幀/s,最終用拍攝到乒乓球商標的視頻進行實驗驗證。

2臺攝像機放在球桌兩邊,且高度有一點差異,便于確保有一臺攝像機可以拍攝到乒乓球的商標運動軌跡,再針對拍攝的視頻進行算法代入,從而進行實驗驗證。拍攝的視頻截圖如圖5所示,經過二值化、去噪、腐蝕膨脹、查找輪廓燈一系列圖像處理操作,可找出乒乓球的商標中心坐標。

圖5 圖像處理

經過一系列圖像處理操作之后可以找到乒乓球的商標相對于乒乓球中心點的坐標,根據模型驗證,選取連續5幀圖像的商標中心坐標為:(67,-25),(31,-58),(2,-64),(-30,-58),(-61,-35),代入橢圓一般方程,用Matlab計算可得:

(32)

利用上面模型可以算出中心坐標為(-1.107,-2.645),此外夾角如下:

(33)

(34)

由于選擇坐標系中心點盡量靠近坐標軸,故理想中的β值為0ο,測量中可能會由于中心不準有一定誤差,在可接受范圍內。

根據實際測量數據,攝像機鏡頭中心離地面距離112.5cm,球體中心離地面87.5cm,鏡頭中心離球體中心距離為62.5cm,根據實際數據可測得攝像機拍攝平面與球體平面夾角α計算公式如下:

(35)

可計算出:

(36)

至此,可以驗證算法中關于求解乒乓球旋轉三維速度方向問題基本正確。

再利用上面角速度模型可以計算出角速度為:

(37)

角速度與實際測量角速度之間的誤差為:

(38)

即

(39)

角速度計算誤差控制在1.83%,基本可以驗證本算法對于乒乓球旋轉速度計算的正確性。至此,在誤差允許的范圍內,已用對照實驗驗證了本算法的正確性。

以上是針對一般情況下的實驗驗證,特殊情況分為2種情況:① 當M軸與攝像機的主光軸是平行的,這時形成的運動軌跡將不是一個橢圓,此時算出的軌跡方程將會是一個圓的軌跡方程;再利用公式可以算出此時L線與攝像機光軸的角度為90°,即垂直。② 當商標處于旋轉軸上時,商標相對于球體中心的坐標是不變的,此時獲得的5個x、y坐標是一樣的,代入方程組中有無窮多解,這種情況下無法獲得軌跡方程。這是最特殊的情況,此時L線與攝像機光軸線是平行的,即夾角為0°,這應特別加以說明。

3 結論及展望

本文利用乒乓球商標的運動軌跡參數方程,根據一些空間轉換關系獲得乒乓球旋轉的三維速度及大小,并用實驗驗證了算法的有效性。在后續研究中,主要從以下2個方面進行深入:① 算法中軌跡點的數量要減少,盡量嘗試用更少的點進行旋轉速度計算,從而降低對攝像機拍攝視頻的要求;② 在圖像處理算法上深入學習研究,爭取提高圖像識別精度,減少處理時間,滿足機器人視覺系統的實時性要求。

[1] Zhang Z,Xu D,Yu J.Research and latest development of ping-pong robot player[C]∥Proceedings of the 7thWorld Congress on Intelligent Control and Automation.Chongqing:IEEE,2008:4881-4886

[2] Andersson R L.A robot ping-pong player:Experiment in real time intelligent control[M].Cambridge,CA:MIT Press,1988:11-19

[3] Andersson R L.Aggressive trajectory generator for a robot ping-pong player[J].IEEE Control System Magazine,1989,9(2):15-21

[4] Acosta L,Rodrigo J,Mendez J A,et al.Ping-pong player prototype,a PC-based,low-cost,ping pong robot[J].IEEE Robotics and Automation Magazine,2003,10(4):44-52

[5] Matsushima M,Hashimoto T,Trkeuchi M,et al.A learning approach to robotic table tennis robotics[J].IEEE Transactions on Robotics and Automation,2005,21(4):767-771

[6] Matsushima M,Hashimoto T,Miyazaki F.Learning to the robot table tennis task-ball control and rally with a human[C]∥Proceedings of IEEE Conference on System,Man and Cybernetics.Washington D C,USA:IEEE,2003:2962-2969

[7] Miyazaki F,Matsushima M,Takeuchi M.Learning todynamically manipulate:a table tennis robot controls a ball and rallies with a human being[M].Advance in Robot Control.Berlin,Germany:Springer Berlin Heidelberg,2006:317-341

[8] Zhang Zhengtao,Xu De,Yu Junzhi.Visual measurement and prediction of ball trajectory for table tennis robot[J].IEEE Transactions on Instrumentation and Measurement,2010,59(12):3195-3205

[9] Leung H,Wang H Q,Cao C X.An improved locally weighted regression for a converter re-vanadium prediction modeling[C]∥The 6thWorld Congress on Intelligent Control and Automation.Dalian:[s.n.],2006:1515-1519

[10] Huang Yanlong,Xu De,Tan Min,et al.Trajectory prediction of spinning ball for ping-pong player robot[C]∥2011 IEEE/RSJ Int Conf on Intelligent Robots and Systems.San Francisco:[s.n.],2011:3434-3439

[11] Chen Xiaopeng,Tian Ye,Huang Qiang,et al.Dynamic model based ball trajectory prediction for a robot ping-pong player[C]∥The 2010 IEEE Int Conf on Robotics and Biomimetics.Tianjin:[s.n.],2010:603-608

[12] Akira N,Yosuke K,Yuki O,et al.Modeling of rebound phenomenon between ball and racket rubber[C]∥ICROSSICE Int Joint Conf.Fukuoka:[s.n.],2009:2295-2300

[13] Nakashima A,Yuki Ogawa.Robotic table tennis based on physical models of aerodynamics and rebounds[C]∥Conference:Robotics and Biomimetics(ROBIO),IEEE International Conference,2011:2348-2354

[14] Nakashima A,Tsuda Y,Liu C,et al.A real-time measuring method of translational/rotational velocity of a table tennis ball[C]∥Proceeding of 5thIFAC Symposium on Mechatronic Systems,2010:732-738

[15] Liu C,Hayakawa Y,Nakashima A.A registration algorithm for on-line measuring the rotational velocity of a table tennis ball[C]∥Proceeding of IEEE/RSJ International Conference on Intelligent Robots and Systems,2011:428-438

3D Velocity Measurement of Single-color Table Tennis Rotation Based on Visual System of Table Tennis Robot

JI Yunfeng, LU Aifa, REN Jie, SHI Zhihao

Rotation is the key winning factor to table tennis, thus acquiring the rotating information of the table tennis ball is an essential task of the table tennis robot vision. This paper presents the algorithm based on the monocular vision that can calculate 3D velocity of high-speed rotating sphere, which can be used to calculate the rotating velocity of table tennis ball with no marks. The algorithm can be applied to the vision recognition of table tennis robot to acquire the rotating information of table tennis ball, which plays an important role in motion planning and control decision of robot at the subsequent stages. The experimental results of the proposed algorithm are verified with little error, which proves the feasibility of the proposed method.

table tennis; visual system; 3D velocity; rotation; robot

2016-11-16；

2017-01-03

上海市科委科研計劃項目(15490503100);國家體育總局科研課題(2014B072)

季云峰(1990-),男,安徽合肥人,上海體育學院博士研究生;Tel.:15021307809,E-mail:ji_yunfeng2015@163.com 通信作者簡介:陸愛發(1958-),男,上海人,上海體育學院副教授;Tel.:13816860417,E-mail:luaifa2009@163.com

G846

A

1000-5498(2017)03-0083-06

DOI 10.16099/j.sus.2017.03.013