機器人足球比賽是近年來在國際上迅速興起的以高科技為支持的競技對抗活動。它涉及到多個領域的知識,包括機器人、自動控制、機械學、通信、傳感、圖像處理、視覺識別及人工智能等[1]。大場地比賽是MiroSot足球機器人發展的必然方向,但由于MiroSot Large League 11 vs 11具有前所未有的超大比賽場地和更多的機器人,使得原有的視覺識別子系統在精確度、識別速度和正確率等方面都面臨著新的挑戰[2,3]。本文研究了MiroSot大場地足球機器人系統的幾個特有問題。
一、系統結構
1.1系統結構
國際機器人足球聯盟(FIRA)規定,MiroSot Large League比賽場地的標準尺寸為400cm×280cm,且雙方各派11個隊員上場。超大規模的比賽場地和更多的目標信息給硬件設備、視覺和決策都提出了新的難題,主要問題存在于:
1由于場地面積和機器人目標個數的增加,使得需要處理的信息量成倍增長,只靠單個計算機將難以保證系統的實時性。
2如果仍然采用單攝像機來采集整個場地的信息,由于攝像機的分辨率有限,所采集到的球和機器人色塊小,噪聲干擾大,難以滿足目標定位的精確性和可靠性要求。
在考慮比賽規則的基礎上,為充分發揮系統的性能,本文設計了一種基于“遠程腦”的雙機互連結構來分別進行圖像和策略的處理。“遠程腦”控制的思想最早是由日本東京大學的井上博允提出的[4],在此基礎上,崔世剛等人將“遠程腦”的概念擴展為遠程大腦和遠程小腦兩部分,這樣能更好地平衡遠程大腦的計算負荷,也便于系統各個組成部分實現模塊化管理[5]。將“遠程腦”的概念引入足球機器人系統,能夠明顯地改善系統的性能,解決以上所述問題。系統結構如圖1所示。
視覺子系統包括兩個攝像機和一臺視覺處理計算機(遠程小腦),每個攝像機采集半個比賽場地,將圖像信息傳送給與之相連的遠程小腦,由遠程小腦完成兩幅圖像的處理如場地的拼接、目標識別、位置提取與跟蹤,并將結果傳送回策略子系統(大腦),供大腦進行策略規劃,并產生左右輪速信息,由通訊子系統傳輸給機器人,機器人執行動作。
1.2 視覺子系統
視覺子系統對現場數字圖像的處理采用了離線和在線兩種方式:賽前采用離線方式對系統進行設置,通過人機交互的方式調整攝像機的參數,并進行場地標定和特征提取,構建場地和目標圖像知識庫;比賽開始后,采用在線方式進行實時圖像處理,將兩幅圖像進行信息融合以獲取全部目標的位置和運動信息,同時可以根據識別的實際效果修正目標圖像知識庫。MiroSot 11Vs11視覺子系統處理流程圖如圖2所示。
后面主要探討大場地足球機器人系統中場地標定以及目標信息融合的問題,考慮系統的不同工作狀態,離線方式下為了保證場地標定的精確性,提出了一種大場地兩步標定法;在線方式下為保證系統運行的實時性,應用基于特征級信息融合的方法實現左右半場目標信息融合。
2場地標定
2.1基本思想
機器人足球視覺系統中場地標定的本質是要找到所拍攝圖像與真實場景之間的幾何映射關系,進而從圖像中恢復實際場景的幾何信息。由于11v11比賽采用了超大規模的比賽場地,每個攝像機只能拍攝到半個場地(如圖3所示),因此我們采取了兩步標定法,即先對左右兩個半場分別進行標定,然后將標定結果進行拼接來實現整個場地的標定。由于攝像機鏡頭存在加工和裝配誤差,所拍攝圖像存在著一定程度的非線性幾何失真,故在進行標定之前,對圖像進行矯正處理是必要的。
2.2 圖像畸變校正
為了在短物距下獲得大范圍視場,我們一般采用短焦廣角鏡頭,這種鏡頭在成像過程中,都存在著不同程度的幾何失真,足球機器人視覺系統的失真主要是由光學鏡頭的徑向畸變所引起,從拍攝到的圖像可以看出,場地邊界略呈弧形。
令 和 分別為理想攝像機拍攝的像面坐標; 和 分別為實際攝像機拍攝的像面坐標,則有如下的數學關系[6,7]:
2.3 左右半場標定
由于經過了畸變矯正,場地圖像信息恢復了線性特征,故可直接采用線性方法進行標定。首先對左右半場分別標定,只需以場地中一些位置已知的特征點作為標定點,在圖像中找到其匹配點,再通過計算得到攝像機坐標系和世界坐標系的映射關系。以左半場為例,具體標定過程如下:
1.在圖像上選擇場地的四個角 作為標定點,這四個點的屏幕坐標和其相對應的世界坐標都為已知,如圖4(b)和4(c)所示;
其中, L、W分別為世界坐標中A、D兩點和A、B兩點之間的實際距離。
3.若假設世界坐標系原點 (即 )對應的屏幕坐標為 ,矯正圖像中任意一點 的像面坐標為 ,由此可以推導出 的世界坐標 :
用同樣方法可對右半場進行場地標定,從而得到左右半場的矯正坐標系 、 與其世界坐標系 、 的映射關系 和 :
2.4 場地拼接
左右半場世界坐標系 、 與全場世界坐標系 存在如下關系:
1. 的坐標原點與 的坐標原點重合;
2. 的坐標原點在 下的坐標為(200,0);
3. 、 的x軸和y軸分別與 的x軸和y軸平行。
故通過線性轉換即可計算出 、 到 的映射關系 :
綜上,由(3)、(6)、(7)可得到左右攝像機的像面坐標系 、 到全場世界坐標系的映射關系R:
三、實驗
實驗采用了視覺和策略兩臺計算機,通過對等網線相連構成雙機直接網卡互連結構,并使用兩臺BASLER數字攝像機采集左右半場信息,通過IEEE1394傳輸線連接到視覺計算機的采集卡上,采用雙緩沖區交替采集圖像時視覺子系統的處理周期可達到25ms,視覺和策略用雙線程實現并行處理,可使整個系統的運行周期減小到30ms,從而保證了系統運行的實時性。
運用兩步標定法進行了標定實驗,經過畸變校正和兩步標定后的實驗結果如表1所示:
實驗1和實驗2分別為在左右半場測試的數據,從實驗結果可看出,只有少量誤差出現在場地的周邊位置,場地標定精度較高,可滿足系統精確性的要求。
利用前面所述目標信息融合算法對場上的目標進行實時定位跟蹤,連續采集3000幀圖像,其中跟蹤我方機器人失誤6幀,跟蹤對方失誤4幀,跟蹤球4幀。實驗數據表明,該算法可滿足目標定位的可靠性要求。
四、結論
本文首先分析了大場地機器人足球比賽的特殊性,針對其瓶頸問題展開探討,設計了基于“遠程腦”概念的雙機互連結構,改善了系統的性能。在此基礎上,討論了視覺系統中的雙攝像機視場下的場地標定問題,提出了一種左右場地分別標定然后進行拼接的大場地兩步標定法。實驗證明,該設計方案可滿足大場地足球機器人系統實時性和可靠性要求。
參考文獻
[1]洪炳熔,韓學東.機器人足球比賽研究[J],機器人ROBOT,Vol 25,No.4 July,2003.
[2]彭強,江浩. 大場地足球機器人視覺子系統及其識別算法. 西南交通大學學報,2005,4,168-172.
[3]毛強, 高浩, 韓家新, 等. 半自主足球機器人11vs11的雙機互聯設計與實現. 福建電腦, 2013,6:3-4
[4]INOUE Hirochika. A platform for robotics research based on the remote-brained robot approach[J]. The International Journal of Robotics Research, 2000,19(10):933-954.
[5]崔世剛,廉正光,邴志剛,董錦旗. 基于ARM的新型遠程腦服務機器人控制系統設計. 天津工業大學學報,2006,8,8-10.
[6]廖中士,高培煥,蘇藝,王大鵬.一種光學鏡頭攝像機圖像幾何畸變的修正方法.中國圖形圖像學報,2000,5(A)(7) 594-597.
[7]S. Liao, P. Gao, Y. Su, D. Wang. A geometric rectification method for lens camera. Journal of Image and Graphics, vol.5, no.7, pp.594-597, July 2010.
(作者單位:1.中信戴卡股份有限公司;2.瑞和安惠項目管理集團有限公司;3.秦皇島職業技術學院)