基于視覺的機(jī)器人采摘實驗平臺設(shè)計與實現(xiàn)

杜文龍， 徐雪峰

(淮安信息職業(yè)技術(shù)學(xué)院， 江蘇 淮安 223003)

0 引 言

機(jī)器人通常采用視覺伺服控制，自主地抓取和操縱各種感興趣的物體[1-2]。現(xiàn)代視覺伺服控制方案可以分為基于圖像的、基于位置的和先進(jìn)的方法。這些視覺伺服方案往往需要推導(dǎo)一個機(jī)器人—目標(biāo)交互矩陣之間的圖像特征和機(jī)器人運(yùn)動學(xué)。然而，推導(dǎo)相互作用矩陣并不是一個簡單的問題，特別是對于一個未標(biāo)定的視覺伺服系統(tǒng)。此外，交互矩陣與每個圖像特征點相對于攝像機(jī)幀的深度值有關(guān)，這在單目視覺系統(tǒng)中很難測量。因此，許多先進(jìn)的視覺伺服方案都需要使用一個估計過程來估計當(dāng)前相機(jī)目標(biāo)配置的每個視覺特征或交互矩陣的深度值。這一要求對視覺伺服控制系統(tǒng)的視覺和估計設(shè)計提出了更高的要求。本文提出了一種視覺伺服系統(tǒng)，將基于圖像和位置的視覺伺服系統(tǒng)集成到一個可變結(jié)構(gòu)框架中，無需使用交互矩陣、模糊建模或模糊規(guī)則庫。

1 機(jī)器人采摘系統(tǒng)

1.1 采摘機(jī)器人概述

近年來，由于出生率下降和農(nóng)民老齡化的影響，農(nóng)業(yè)勞動力短缺問題日益嚴(yán)重。為解決這一問題，可利用采摘機(jī)器人，進(jìn)行快速的農(nóng)產(chǎn)品采摘并保持高品質(zhì)。采摘機(jī)器人在水果識別、切割系統(tǒng)、移動系統(tǒng)等方面存在一定的困難。利用攝像機(jī)對水果進(jìn)行圖像處理，是一種新的水果識別方法[3-5]。為此，研究了農(nóng)產(chǎn)品采摘機(jī)器人系統(tǒng)。本文針對采摘機(jī)器人應(yīng)用常用的圖像處理技術(shù)進(jìn)行了開發(fā)和可行性研究，構(gòu)建了采摘物及其位置的識別系統(tǒng)、切莖攝像定位系統(tǒng)和使用這些系統(tǒng)的采摘機(jī)器人。

1.2 采摘機(jī)器人結(jié)構(gòu)分層

機(jī)器人采摘系統(tǒng)采用分核控制的方式，如圖1所示，將獨(dú)立的功能模塊綁定到單獨(dú)的CPU上，對于每個核可以單獨(dú)設(shè)置最大的負(fù)荷、時基以及可能的周期時間；各獨(dú)立模塊間通過共享數(shù)據(jù)、系統(tǒng)文件及網(wǎng)絡(luò)通訊等方式進(jìn)行數(shù)據(jù)交互，實現(xiàn)功能的完全解耦。IV型控制器采用分核控制的方式，將獨(dú)立的功能模塊綁定到單獨(dú)的CPU上，對于實時內(nèi)核環(huán)境使用的每個核，可以單獨(dú)設(shè)置最大的負(fù)荷、時基以及可能的周期時間；各獨(dú)立模塊間通過共享數(shù)據(jù)、系統(tǒng)文件、網(wǎng)絡(luò)通訊等方式進(jìn)行數(shù)據(jù)交互，實現(xiàn)功能的完全解耦。這里，對其中各分層的設(shè)計功能解析可闡釋如下。

(1)RSP層：將原有獨(dú)立的導(dǎo)航算法和手臂控制算法統(tǒng)一整理到通用算法庫，并結(jié)合系統(tǒng)管理和總線功能，向上提供機(jī)器人系統(tǒng)所需的基本功能。

(2)通用平臺層：在RSP層的基礎(chǔ)上，調(diào)用不同的算法和總線協(xié)議接口，重新構(gòu)建不同方向的機(jī)器人平臺。

(3)信息數(shù)據(jù)交互層：負(fù)責(zé)跟手臂平臺的示教盒、移動平臺的PAD和車隊管理系統(tǒng)進(jìn)行數(shù)據(jù)通信。車隊管理系統(tǒng)負(fù)責(zé)整個復(fù)合機(jī)器人的：車隊編隊、地圖編輯和手臂任務(wù)觸發(fā)。

圖1 軟件系統(tǒng)結(jié)構(gòu)

整個機(jī)器人控制軟件系統(tǒng)包括機(jī)器人控制器軟件和上位機(jī)調(diào)度軟件。研究可得各部分的設(shè)計闡述如下。

(1)操作系統(tǒng)：采用風(fēng)河實時操作系統(tǒng)。

(2)基礎(chǔ)函數(shù)庫：為機(jī)器人系統(tǒng)提供基礎(chǔ)功能函數(shù)。包括：

① 機(jī)器人服務(wù)平臺，將機(jī)器人系統(tǒng)與操作系統(tǒng)隔離，并實現(xiàn)基本的總線協(xié)議棧和數(shù)據(jù)工具；

② 機(jī)器人算法庫，實現(xiàn)機(jī)器人手臂、底盤相關(guān)算法功能。

(3)機(jī)器人基礎(chǔ)系統(tǒng)：整個機(jī)器人系統(tǒng)由3個單獨(dú)的進(jìn)程構(gòu)成。包括：

① 機(jī)械臂平臺進(jìn)程，用于控制復(fù)合機(jī)器人的機(jī)械臂，實現(xiàn)模型正反解、軌跡規(guī)劃及位置插補(bǔ)等功能；

② 移動平臺進(jìn)程，用于控制復(fù)合機(jī)器人的底盤，實現(xiàn)底盤在二維激光傳感器下的地圖創(chuàng)建、實時定位、軌跡規(guī)劃、運(yùn)動控制及安全保護(hù)等，對于不同的移動底盤，可以開啟不同的移動平臺進(jìn)程；

③ 協(xié)調(diào)進(jìn)程，用于控制整個復(fù)合機(jī)器人系統(tǒng)，包括系統(tǒng)的上下電、手臂底盤的任務(wù)協(xié)調(diào)等。

2 機(jī)器人運(yùn)動控制

對串聯(lián)機(jī)器人逆運(yùn)動學(xué)問題的研究已有幾十年的歷史。因其在機(jī)械手的控制中是必需的。求解逆運(yùn)動學(xué)在計算上是可拓的，在機(jī)械手的實時控制中通常需要很長時間。圖2為斯坦福機(jī)械手的關(guān)節(jié)軸和尺度分配﹐就既能幫助渡過運(yùn)動不確定位置﹐又能增加最大啟動牽引力。機(jī)械手執(zhí)行的任務(wù)是在直角坐標(biāo)系中進(jìn)行的，而執(zhí)行機(jī)構(gòu)是在關(guān)節(jié)空間中進(jìn)行的。笛卡爾空間包括方向矩陣和位置向量。然而，關(guān)節(jié)空間由關(guān)節(jié)角表示。將機(jī)械手末端執(zhí)行器的位置和姿態(tài)由笛卡爾空間轉(zhuǎn)換為關(guān)節(jié)空間，稱為逆運(yùn)動學(xué)問題。解析地推導(dǎo)逆運(yùn)動學(xué)解有2種解法，即幾何解法和代數(shù)解法。這里采用幾何方法。

圖2 機(jī)械手的關(guān)節(jié)軸和尺度分配

2.1 運(yùn)動學(xué)正解

機(jī)器人正運(yùn)動學(xué)是為了解決末端位置的求解問題，已知關(guān)節(jié)軸的轉(zhuǎn)角，通過運(yùn)動學(xué)正解即可求解末端姿態(tài)和位置。矩陣T為2個坐標(biāo)系相互之間的對應(yīng)關(guān)系，矩陣?yán)@各個軸的相對關(guān)系如下：

(1)

根據(jù)機(jī)械構(gòu)型，求得各連桿變換矩陣如下：

(2)

(3)

其中，di為連桿位置偏距。推導(dǎo)過程：c23與s23分別為θ2與θ3之和的c(θ2+θ3)余弦與s(θ2+θ3)正弦。即：

(4)

最后，得到6個連桿坐標(biāo)變換矩陣的乘積：

(5)

其中，rii為旋轉(zhuǎn)關(guān)系元素；pi為空間位置。

研究可得，位置末端的數(shù)學(xué)公式可寫為如下形式：

(6)

研究可得，工具末端的數(shù)學(xué)公式可寫為如下形式：

(7)

2.2 運(yùn)動學(xué)反解

(8)

(9)

(10)

(1)解析第一軸。利用上面公式，計算求得第一關(guān)節(jié)的角度θ1。運(yùn)算時用到如下數(shù)學(xué)公式：

0?sin(φ-θ1)=

(11)

(2)解析第三軸。計算求得第三關(guān)節(jié)的角度θ3。運(yùn)算時需用到如下數(shù)學(xué)公式：

(12)

將上式分別平方后相加，得：

d2d3cos(θ23-θ2)+d2d4sin(θ23-θ2)=

[(c1px+s1py-d1)2+pz2-d22-d32-d42]/2

sin(φ+θ3)=[(c1px+s1py-d1)2+pz2-

d22-d32-d42]/(2ρ)=k;

(13)

(3)解析第二軸。計算求得第二、三關(guān)節(jié)的角度之和θ23，進(jìn)而求得第二關(guān)節(jié)角度θ2。運(yùn)算時需用到如下數(shù)學(xué)公式：

(14)

令式兩邊元素(1,4)和元素(2,4)相等得到：

(15)

θ23=atan2(s23,c23)?θ2=θ23-θ3.

分析可知，θ2有4個值。

(4)解析第四軸。計算求得第四關(guān)節(jié)的角度θ4。運(yùn)算時需用到如下數(shù)學(xué)公式：

(16)

當(dāng)關(guān)節(jié)5不處于零位，由元素(1,3)和元素(3,3)以求得關(guān)節(jié)4的值:

(17)

θ4=atan2(s1r13-c1r23,c1c23r13+s1c23r23+s23r33),

(18)

θ5=0時，操作臂處于奇異位形，此時關(guān)節(jié)軸4和關(guān)節(jié)軸6成一條直線，機(jī)器人末端連桿的運(yùn)動只有一種，在這種情況下，所有結(jié)果都是θ4和θ6的和或差，這種情況可以通過檢查θ4的反正切的2個變量是否趨近于零來判斷。如果都趨近于零，則θ4可以任意選取，之后選取θ6時，可以參照θ4進(jìn)行選取。

(5)解析第六軸。計算求得第六關(guān)節(jié)的角度θ6。可以求得關(guān)節(jié)6的值。運(yùn)算時需用到如下數(shù)學(xué)公式：

(19)

θ6=atan2(c1s23r12+s1s23r22-c23r32,-c1s23r11-s1s23r21+c23r31),

(20)

(6)解析第五軸。計算求得第五關(guān)節(jié)的角度θ5。可以求得關(guān)節(jié)5的值。運(yùn)算時需用到如下數(shù)學(xué)公式：

(21)

(22)

(23)

θ5=atan2(s5,c5),

(24)

由于操作臂腕關(guān)節(jié)“翻轉(zhuǎn)“可以得到另外4個解，即：

(25)

綜上研究匯總后，可得整體涉及的數(shù)學(xué)公式詳見如下：

(26)

3 機(jī)器視覺伺服

3.1 視覺伺服系統(tǒng)

本次研究中，圖像處理系統(tǒng)由兩臺彩色CCD攝像機(jī)、一塊采集板和圖像處理應(yīng)用程序組成。圖像處理系統(tǒng)配置的相機(jī)是RF系統(tǒng)的高成像質(zhì)量CCD相機(jī)，規(guī)格為68萬像素1/4英寸CCD, 450電視線分辨率。圖像采集板為Leutron PicPort，圖像處理應(yīng)用為MVTec HALCON。將兩臺攝像機(jī)并聯(lián)放置，用立體視覺法檢測待采摘物的位置。相機(jī)的定位系統(tǒng)如圖3所示，在該定位系統(tǒng)中，攝像機(jī)可以在水平方向、垂直方向和深度方向上跟隨待采摘物進(jìn)行定位。定位系統(tǒng)各尺寸均有滑軌、正時帶和直流電機(jī)。所有電機(jī)均由DSP控制器控制。圖像處理系統(tǒng)將位置信息提供給控制器。定位系統(tǒng)根據(jù)這些信息控制攝像機(jī)的位置。

圖3 采摘機(jī)器人視覺機(jī)構(gòu)框圖

3.2 圖像處理

本次研究是開發(fā)一種能夠識別待采摘物的位置的采摘機(jī)器人，可以切下甜椒莖，作為農(nóng)民將采摘物放入容器中。該拾取機(jī)器人所需的主要功能如圖4所示。故而，這既是一種識別技術(shù)，也是一種采摘技術(shù)，一種移動技術(shù)。為了實現(xiàn)這些功能，采摘機(jī)器人具有平行立體視覺的圖像處理系統(tǒng)、通過視覺反饋控制跟蹤被識別甜椒的定位系統(tǒng)和切割裝置。摘選機(jī)器人大約有1 000 mm寬，550 mm深，1 400 mm高。當(dāng)車輪不動時，工作范圍水平方向230 mm，垂直方向180 mm，深度方向180 mm。在此范圍內(nèi)，采摘裝置固定在安裝2個攝像頭的機(jī)架上。啟動后，可向前移動80 mm，并用修枝機(jī)將被識別的甜椒的莖部剪掉。

圖4 圖像處理系統(tǒng)

工件識別只解決了搬運(yùn)哪個工件的問題，至于要搬的工件在哪，還需要對工件進(jìn)行準(zhǔn)確的定位。如本文開篇所述，工件定位包括工件的位置定位和工件的姿態(tài)定位，位置定位是依據(jù)中心定位實現(xiàn)的，姿態(tài)定位是通過確定工件長軸的朝向?qū)崿F(xiàn)的。

在圖像經(jīng)平滑、二值化、多目標(biāo)分塊處理一系列過程后，各工件就被分割成獨(dú)立的區(qū)域，利用圖像的幾何不變矩特征求取區(qū)域的質(zhì)心，對于二值圖像來說，該區(qū)域的質(zhì)心也就是工件的中心。

圖像的幾何不變矩特征主要表現(xiàn)了圖像區(qū)域的幾何特征，又稱為幾何矩，由于其具有旋轉(zhuǎn)、平移、尺度等特性的不變特征，所以又稱其為不變矩。具體地對于區(qū)域大小為M×N的數(shù)字圖像f(x,y)，其(p+q)階矩定義為：

(27)

其中，f(x,y)相當(dāng)于一個像素的質(zhì)量；Mpq為不同p、q值下的圖像的矩。零階矩M00是區(qū)域密度的總和，即：

(28)

一階矩M10為圖像對y軸的慣性矩；M01為圖像對x軸的慣性矩。

(29)

在采摘機(jī)器人目標(biāo)抓取時，計算的中心在圖像中的坐標(biāo)代入攝像機(jī)標(biāo)定的關(guān)系矩陣，可得工件表面中心在機(jī)器人坐標(biāo)系中的位置，即可獲取抓取的位置中心。

4 系統(tǒng)實驗

4.1 抓取實驗的設(shè)置

本文采摘針對的是蔬菜采摘，不存在遮擋問題，同時要求機(jī)器人抓取和搬運(yùn)速度快，時間復(fù)雜度小。結(jié)合上述分析，本文采用基于位置的視覺控制方式的單目Eye-to-Hand方案，即將單目攝像機(jī)固定在操作臺上方，通過對工件圖像處理進(jìn)行工件識別，并確定工件相對于機(jī)器人坐標(biāo)系的位置，從而生成控制信號，完成機(jī)器人對蔬菜采摘搬運(yùn)操作。工件識別與定位是機(jī)器人采摘工件的前提和基礎(chǔ)，其識別的結(jié)果正確與否和定位的精度直接影響到機(jī)器人操作結(jié)果的準(zhǔn)確性。蔬菜采摘識別是依賴于機(jī)器視覺的圖像匹配過程，是通過比較工件圖像與模板圖像來實現(xiàn)的。研究得到的抓取訓(xùn)練耗時的實驗結(jié)果見表1。

表1 抓取訓(xùn)練耗時

4.2 機(jī)械臂控制實驗

為了驗證機(jī)器人抓緊過程準(zhǔn)確率，共進(jìn)行了200次的實驗過程，結(jié)果見表2。

表2 采摘任務(wù)的結(jié)果

從測試結(jié)果看，視覺識別的準(zhǔn)確率為94.5%，從結(jié)果看基本達(dá)到要求。

5 結(jié)束語

本文視覺伺服系統(tǒng)控制器利用基于圖像的視覺伺服來抓取附近感興趣的對象，對攝像機(jī)標(biāo)定誤差和圖像噪聲具有較強(qiáng)的魯棒性。其次對采摘機(jī)器人進(jìn)行了運(yùn)動學(xué)正反關(guān)系的建模，同時進(jìn)行了機(jī)器人抓手控制。再次，對采摘機(jī)器人的圖像處理部分進(jìn)行了詳細(xì)的分析，提出了一種系統(tǒng)量化的不確定性，對期望的末端執(zhí)行器速度的定位誤差也做了研究測試。該控制器利用基于圖像的視覺伺服來抓取附近感興趣的對象，對攝像機(jī)標(biāo)定誤差和圖像噪聲具有較強(qiáng)的魯棒性。這種基于反應(yīng)的方法簡化了視覺伺服系統(tǒng)的設(shè)計，提高了可靠性和適用性。最后將所提到的方法應(yīng)用到智能采摘系統(tǒng)的實驗中，證明了運(yùn)動學(xué)和圖像處理算法的有效性，驗證了該視覺伺服控制方法在實際場景中對采摘物識別效率。