基于單目視覺的全自動撿球機器人控制算法設計*

高長旭, 孫巧妍, 陳祥光, 張德軍

(1.煙臺南山學院 人文學院,山東 煙臺 265713； 2.煙臺南山學院 工學院,山東 煙臺 265713；3.北京理工大學 化學與化工學院,北京 100081)

0 引 言

乒乓球運動是我國的國球運動,在我國有很深的群眾基礎。在乒乓球訓練基地和乒乓球俱樂部等大中型訓練場館,人工撿球工作較為繁重,設計一種全自動撿球機器人是很有實用價值的。全自動撿球機器人應包括三部分功能:一是自動識別場地中的乒乓球,二是自動規(guī)劃最優(yōu)行進路線,三是自動撿球。目前國內(nèi)的研究大多側(cè)重于撿球機械手或者撿球小車的機構(gòu)設計,此類撿球小車多為半自動。而對于全自動識別乒乓球圖像及位置自動規(guī)劃最優(yōu)行進路線的研究較少[1,2]。

1 整體方案設計

為減小撿球機器人的體積和成本,機器人的執(zhí)行機構(gòu)大多采用嵌入式系統(tǒng)結(jié)構(gòu)。嵌入式結(jié)構(gòu)的主處理器一般分為8位、16位和32位三種。即使是32位芯片也不具備實時快速處理彩色圖片的能力。因此,本設計采用安裝在小車上的單目視覺攝像頭采集圖像,然后通過無線傳輸給個人電腦(PC)。PC為上位機,根據(jù)訓練場地的大小,可配置1～4個撿球小車作為下位機。PC用于圖像識別和最優(yōu)運行路徑規(guī)劃算法的程序運行。攝像頭采集圖像傳送至上位機,上位機周期性采集圖片處理完畢后把識別結(jié)果傳送給下位機,再由下位機驅(qū)動電機控制小車運行和撿球動作。

2 球心坐標識別算法

圖1 采集的原始圖片

該房間鋪設的地磚顏色很淺,所采用的乒乓球為使用中的乒乓球,即顏色因陳舊或臟斑造成變色或不均勻。采集的時間是傍晚,房間內(nèi)已打開照明燈。由于本次實驗采用的乒乓球為白色,圖片中明顯有和乒乓球直徑相近的燈光光斑干擾。

具體的球心坐標識別算法流程如下:

1)將采集到的RBG彩色圖片降為灰度圖像。經(jīng)對比驗證采用RGB三維數(shù)據(jù)中的B維分量圖像數(shù)據(jù)相較于其他方法所得到的結(jié)果更有利于后續(xù)步驟的判定。

2)設定燈光光斑閾值。由于采集到的圖片中乒乓球為白色,故設定閾值為250。然后測試灰度圖像大小,新建一個相同大小的全0標記圖像I3,查找原灰度圖中的每一個像素,如果I(i,j)>250則標記圖像中對應點位置設為1,即為粗選的光斑區(qū)域。其中,I(i,j)為圖像對應行列位置的灰度值。若采用的乒乓球為黃色球,則通過顏色判斷更容易判別光斑區(qū)域。

3)將光斑區(qū)域標記圖像I3進行3次處理半徑為3的自適應中值濾波[3],使圖像更為平滑。

4)標記I3中的連通區(qū)域,使用普通質(zhì)心算法獲得質(zhì)心的位置[4～6]。計算公式如下

(xc,yc)=∑ijxijIij/∑ijxij

寧夏圖書館流通部主要服務于14歲以上的普通讀者，根據(jù)普通讀者對寧夏圖書館利用的目的，大致可以分為以下幾種類型：①常年到館的老讀者。這類讀者往往有良好的閱讀習慣，他們對圖書館某些文獻了解得比較清楚。②做專題的讀者。需要查閱大量文獻的研究性讀者。③只查閱某種特定文獻的讀者。這類讀者查完所需的特種文獻后就離開圖書館了，目的性比較強。④隨便看看的讀者。沒有什么特別的具體目的，僅僅為了娛樂消遣，放松心情。

(1)

式中xc,yc為計算得到的質(zhì)心坐標,Iij為圖像上對應位置的像素點光強。使用加權(quán)質(zhì)心算法的效果雖然更精準,但是算法帶來的微小誤差完全可以由硬件撿球裝置的設計彌補。普通質(zhì)心算法能夠達到控制要求,且計算相對簡單,程序執(zhí)行速度快。

5)計算光斑半徑,然后用接近地面顏色的其他數(shù)據(jù)遮蓋光斑區(qū)域進行補償。燈光光斑在地面上呈現(xiàn)圓形圖像,根據(jù)圓形面積公式A=πr2可計算出光斑半徑,面積在上一步計算質(zhì)心坐標時即能得到。遮蓋光斑后,圖像如圖2所示。

圖2 遮蓋光斑后圖像

6)將補償后的圖像進行灰度值調(diào)整后二值化。實驗處理中將0.5～0.75之間的灰度擴展到0～1整個范圍,將乒乓球顏色所在區(qū)域灰度加強，再以0.8為閾值進行二值化。

7)將上一步處理完畢的圖像進行10次處理半徑為3的自適應中值濾波,去噪，再去掉面積小于2 000的小區(qū)域,進一步去干擾。處理后圖像如圖3所示。

圖3 將二值化圖像進一步降噪

8)對上一步處理后的圖像采用普通質(zhì)心算法獲得質(zhì)心的位置[7]，處理后的結(jié)果如圖4所示。明顯可看出實驗圖片有9個乒乓球,執(zhí)行算法后找到的具體質(zhì)心坐標如表1所示。

表1 執(zhí)行算法后得到的乒乓球質(zhì)心坐標

由圖4可看出,由于燈光、陰影、乒乓球表面臟斑等問題,通過上述算法找到的個別乒乓球質(zhì)心坐標有明顯偏差。但根據(jù)國際國際乒聯(lián)手冊(2016)規(guī)定,通用乒乓球的直徑為40.00 mm。上述質(zhì)心算法可能產(chǎn)生的最大誤差小于10 mm。而制作的撿球小車撿球機構(gòu),寬度為170.00 mm,顯然誤差不影響撿球執(zhí)行機構(gòu)的運作。

圖4 乒乓球質(zhì)心位置

3 最佳軌跡尋找算法

找到每個乒乓球的質(zhì)心坐標后,下一步是要規(guī)劃一個最短路徑用以撿球機器人高效快捷運行。尋找最短路徑的算法屬于經(jīng)典的“旅行商問題”,處理該問題的算法很多,例如遺傳算法、蟻群算法、模擬退火算法等[8～9]。考慮到實際應用時對最優(yōu)化程度和執(zhí)行時間要求并不高,本設計采用遺傳算法解決問題。設小車當前坐標位置為1號位置即(2 016,3 024),設置種群規(guī)模為200,最大遺傳代數(shù)為1 000,經(jīng)過選擇、交叉、變異后,可求得最短路徑1→6→9→8→10→7→5→4→2→3。將識別后的圖片按上述算法執(zhí)行后標記路徑行進順序如表2所示,路線圖如圖5所示。

表2 路徑規(guī)劃后的行進順序

圖5 規(guī)劃后的最優(yōu)路線

用上述算法處理另一張圖片,結(jié)果如圖6所示。小車實際執(zhí)行撿球時,由于每次拍攝圖片時乒乓球數(shù)量隨機,路線各異,撿球速度是不定的,且整個算法是周期性拍攝識別并控制的,因此,撿球機器人并不是完全按照識別的最優(yōu)路線方案行走完畢,而是動態(tài)調(diào)整的。

圖6 采集到的另一張圖片處理結(jié)果

PC將處理好的乒乓球質(zhì)心坐標和規(guī)劃好的最短路徑通過藍牙無線模塊傳送至安裝在小車上的下位機。

4 小車嵌入式芯片處理思路

小車上的嵌入式系統(tǒng)根據(jù)上位機傳送的小球質(zhì)心坐標值及其順序,根據(jù)勾股定理可求得兩球心坐標之間的距離。

設攝像頭安裝高度為h,安裝位置與地面法線所夾角度為Φ,如圖7所示。可通過拍攝靜態(tài)圖片實際標定所拍攝區(qū)域長度為l,寬度為w。根據(jù)拍攝圖片的像素大小可獲得圖片像素與實際地面位置的對應關系。顯然,實際區(qū)域的寬度w與拍攝圖片寬度成固定比例k。而實際區(qū)域的長度l與圖片高度的比例為k/cosΦ。實際地面中兩球心距離為

圖7 攝像頭安裝與拍攝區(qū)域示意

(2)

式中d為際地面中兩球心距離,x1,x2為求兩個球心的列坐標,y1,y2為圖像中所求兩個球心的行坐標。為了使拍攝的圖像清晰,拍攝圖片時小車處于靜止狀態(tài)[10]。

確定兩質(zhì)心之間的距離后,可通過光電碼盤等技術(shù)手段控制小車行進的距離。設行進路線上相鄰的3個質(zhì)心坐標為(x1,y1),(x2,y2),(x3,y3),在轉(zhuǎn)折位置可通過式(3)計算小車所需做的轉(zhuǎn)角度數(shù)

(3)

撿球小車從初始位置出發(fā),周期性拍攝圖像用于小球位置判別和行進路徑規(guī)劃。如果當前拍攝的圖像中沒有識別出乒乓球的存在,則可控制小車向前行進l距離,再拍照,遇到墻壁障礙后向右旋轉(zhuǎn)90°,若持續(xù)一段時間未找到乒乓球,則視為所有球均減取完畢,可控制小車回到初始位置。

撿球執(zhí)行機構(gòu)采用滾筒結(jié)構(gòu),橫截圖如圖8(a)所示。滾動撿球時,兩個齒輪逆向旋轉(zhuǎn),乒乓球的運動路徑呈現(xiàn)“S”形。采用這種結(jié)構(gòu)方案相比機械手方案效率高,按照設計要求實際制作的小車執(zhí)行機構(gòu)如圖8(b)所示,經(jīng)實驗驗證該方案可以高效完成撿球動作。

圖8 撿球執(zhí)行機構(gòu)截面示意與實物

5 結(jié) 論

為了減輕乒乓球訓練中心、乒乓球俱樂部等集中訓練場地的人工撿球工作,本文設計采用了一種雙齒輪逆向旋轉(zhuǎn)的滾筒式結(jié)構(gòu)進行撿球操作。通過單目視覺進行周期性的圖片采集,將采集到的圖像傳送到PC,使用MATLAB軟件通過降噪、去干擾光斑、球心坐標識別、最優(yōu)路徑規(guī)劃等算法處理,可以得到每個乒乓球的質(zhì)心坐標和規(guī)劃后的最優(yōu)行進路線。通過無線傳送到撿球小車的嵌入式系統(tǒng)中,控制小車按照既定軌跡運行,以達到全自動撿球的目的。經(jīng)過仿真和實踐,證明方案切實可行。