基于機(jī)器視覺的圣女果采摘機(jī)械臂的動(dòng)作研究

陳肖宇，馬興錄，劉 揚(yáng)

(青島科技大學(xué) 信息科學(xué)技術(shù)學(xué)院，山東 青島 266061)

0 引言

隨著人工智能及機(jī)器人技術(shù)的不斷發(fā)展，機(jī)器人、機(jī)械臂等智能化的機(jī)械設(shè)備逐步被用于我們復(fù)雜社會(huì)生活的各個(gè)方面。不僅在生活中，在工、農(nóng)生產(chǎn)制造中，機(jī)器人等機(jī)械設(shè)備的使用甚至更加必要和廣泛[1-3]。在農(nóng)業(yè)采摘方面，以圣女果種植產(chǎn)業(yè)為例，圣女果的采摘工作成本高，工作量大，而且當(dāng)前農(nóng)業(yè)勞動(dòng)力短缺，研發(fā)智能采摘機(jī)器人來(lái)解決當(dāng)前圣女果采摘所面臨的難題是非常必要的，實(shí)現(xiàn)機(jī)器人全自動(dòng)采摘也順應(yīng)了農(nóng)業(yè)智能機(jī)械化的發(fā)展要求[4]。

在國(guó)內(nèi)，為保證圣女果的商業(yè)價(jià)值，其采摘基本要求帶有果蒂，而目前所見的圣女果采摘機(jī)器人無(wú)法保證帶有果蒂的采摘[5]。如當(dāng)前較為成熟的美國(guó)RootAI公司研發(fā)的圣女果采摘機(jī)器人，其采摘方式為使用夾爪夾住圣女果果實(shí)后進(jìn)行旋轉(zhuǎn)摘下，這種方式采摘下來(lái)的果實(shí)基本不會(huì)保留果蒂；于豐華等人設(shè)計(jì)的日光番茄采摘機(jī)器人通過(guò)柔性?shī)A爪抓緊果實(shí)進(jìn)行采摘，并未根據(jù)果實(shí)姿態(tài)對(duì)機(jī)械臂的采摘?jiǎng)幼鬟M(jìn)行設(shè)定[6]；付鑫等人發(fā)明的一種圣女果采摘方法及圣女果采摘機(jī)械手通過(guò)切割的方式進(jìn)行采摘，這種采摘方式會(huì)保留較長(zhǎng)的果梗，還需要后期的人工處理。

根據(jù)圣女果果蒂生長(zhǎng)特點(diǎn)以及人工采摘的技巧，實(shí)驗(yàn)團(tuán)隊(duì)制定出一套模仿人手采摘圣女果的方案，即機(jī)械臂末端機(jī)械爪在采摘時(shí)能夠保持與圣女果果蒂方向基本一致，使用折果蒂的方式將帶有果蒂的圣女果采摘下來(lái)，從而使機(jī)械臂采摘下來(lái)的圣女果具備與人工采摘同樣的價(jià)值。

本文通過(guò)獲取的目標(biāo)圣女果圖片來(lái)分析圣女果的成熟與否、方向以及距離等信息，由此生成機(jī)械臂采摘時(shí)末端執(zhí)行器的目標(biāo)位姿，從而通過(guò)求解機(jī)械臂運(yùn)動(dòng)學(xué)逆解獲得機(jī)械臂各關(guān)節(jié)角度，生成特定的采摘?jiǎng)幼鳎礄C(jī)械臂末端執(zhí)行器達(dá)到抓取位置時(shí)能夠與圣女果果蒂方向保持一致，為進(jìn)一步實(shí)現(xiàn)帶果蒂的采摘做鋪墊。

1 系統(tǒng)整體設(shè)計(jì)

1.1 系統(tǒng)運(yùn)作流程

系統(tǒng)的主要運(yùn)作流程如圖1所示，置于機(jī)械臂末端的單目相機(jī)通過(guò)顏色識(shí)別獲取當(dāng)前視野范圍內(nèi)的成熟圣女果，并遍歷篩選出其中最大的圣女果作為目標(biāo)圣女果，經(jīng)過(guò)腐蝕、膨脹、濾波等操作之后獲取較為完整的目標(biāo)圣女果二值化圖像，獲取目標(biāo)圣女果的形心坐標(biāo)，同時(shí)對(duì)其進(jìn)行細(xì)化，提取相應(yīng)的骨架，通過(guò)“以直代曲”法獲取圣女果的中線以及中線方向，其中中線方向即為目標(biāo)圣女果的生長(zhǎng)方向。使用分類法對(duì)圣女果生長(zhǎng)方向進(jìn)行分類，圣女果的生長(zhǎng)方向分別對(duì)應(yīng)機(jī)械臂末端的最終方向。獲取了方向信息后，通過(guò)單目相機(jī)水平遷移測(cè)距法進(jìn)行測(cè)距，使得機(jī)械臂在移動(dòng)的過(guò)程中即獲得距離信息。對(duì)方向、距離等信息進(jìn)行進(jìn)一步處理后，求解出機(jī)械臂運(yùn)動(dòng)后的最終目標(biāo)位姿，即機(jī)械臂末端抓取方向與圣女果方向一致的位姿。

圖1 系統(tǒng)運(yùn)作流程圖

1.2 系統(tǒng)總體架構(gòu)

如圖2所示，系統(tǒng)總體架構(gòu)分為3個(gè)層面：硬件層、驅(qū)動(dòng)層和軟件層。

圖2 系統(tǒng)總體架構(gòu)圖

其中實(shí)驗(yàn)所用到的硬件設(shè)備為高清單目相機(jī)、樹莓派4B核心控制板、高斯六軸機(jī)械臂。高清單目相機(jī)獲取的圖片的分辨率為640×480；圖3為樹莓派4B為本實(shí)驗(yàn)的核心控制板，它擁有64位、1.5 GHz的四核CPU，內(nèi)存為1 GB，且擁有兩個(gè)USB3.0和兩個(gè)USB2.0通信端口，燒錄了基于Linux的桌面型RasBian System[7]；圖4為本實(shí)驗(yàn)所使用的高斯六軸機(jī)械臂，其最大工作半徑為437 mm，垂直行程為687 mm，水平行程為874 mm[8]。

圖3 樹莓派4B

圖4 高斯六軸機(jī)械臂

驅(qū)動(dòng)層包括USB_Cam相機(jī)驅(qū)動(dòng)、電機(jī)驅(qū)動(dòng)等。軟件層包含多種算法及功能包，如成熟圣女果識(shí)別算法、測(cè)距算法、圣女果方向識(shí)別算法以及ROS軟件包等，其中圣女果生長(zhǎng)方向識(shí)別算法又包括對(duì)于圣女果二值化圖像的骨架提取算法和使用“以直代曲”法獲得圣女果中心方向的算法等。

2 算法研究與創(chuàng)新

2.1 成熟圣女果目標(biāo)獲取算法

成熟圣女果獲取算法流程如圖5所示。在圖像處理中使用較多的是 HSV 顏色空間，它比 RGB 更接近人們對(duì)彩色的感知經(jīng)驗(yàn)，能非常直觀地表達(dá)顏色的色調(diào)、鮮艷程度和明暗程度，方便進(jìn)行顏色的對(duì)比[9]。成熟的圣女果外觀特點(diǎn)鮮明，使用單目相機(jī)獲取當(dāng)前視野RGB圖片后將其轉(zhuǎn)換到HSV顏色空間，然后根據(jù)成熟圣女果相應(yīng)顏色閾值對(duì)圖像進(jìn)行二值化，二值化的一般算法如式(1)，如果輸入圖像的像素點(diǎn)對(duì)應(yīng)HSV值在成熟圣女果對(duì)應(yīng)閾值范圍內(nèi)則將該像素點(diǎn)值置為最大，否則將其置為0[10]。

(1)

圖5 成熟圣女果識(shí)別流程圖

成熟圣女果在二值化圖像中具有明顯的區(qū)域輪廓，但圣女果種植環(huán)境復(fù)雜，光照影響等原因會(huì)產(chǎn)生區(qū)域面積明顯小于正常果實(shí)的噪聲，因此采用中值濾波對(duì)圖像進(jìn)行處理以獲取更加完整的成熟圣女果輪廓圖。中值濾波采用非線性的方法，它在平滑脈沖噪聲方面非常有效，同時(shí)它可以保護(hù)圖像尖銳的邊緣，選擇適當(dāng)?shù)狞c(diǎn)來(lái)替代污染點(diǎn)的值，所以處理效果比較理想。

由于成熟圣女果的二值化圖像輪廓為封閉圖形，因此可以采用公式(2)的格林公式來(lái)求解連通域面積，在此情景下則是計(jì)算目標(biāo)的輪廓內(nèi)面積[11]。

(2)

遍歷每個(gè)符合條件的輪廓，獲取其面積S、矩形邊框起始點(diǎn)坐標(biāo)(u，v)以及像素寬度w和長(zhǎng)度h等參數(shù)，記錄其中最大面積S′對(duì)應(yīng)的輪廓起始點(diǎn)坐標(biāo)，并由此計(jì)算出目標(biāo)圣女果中心坐標(biāo)點(diǎn)(u′，v′)，u′與v′的計(jì)算方法如公式(3)所示。至此便已完成獲取成熟圣女果位置坐標(biāo)的工作。

(3)

2.2 單目相機(jī)水平前移測(cè)距法

機(jī)械臂在抓取的時(shí)候還有一個(gè)必要的參數(shù)便是距離，因?yàn)楸緦?shí)驗(yàn)只采用一個(gè)單目相機(jī)，將單目相機(jī)固定在機(jī)械臂末端，用“眼在手上”的方法獲取參數(shù)并將機(jī)械臂末端以一定姿態(tài)伸至目標(biāo)位置，所以對(duì)于距離參數(shù)的獲取也是使用單目相機(jī)來(lái)進(jìn)行的。通過(guò)分析相機(jī)成像原理即物像之間的大小關(guān)系換算原理可得單目相機(jī)水平前移測(cè)距法[12-14]。

相機(jī)拍攝物像大小關(guān)系如圖6所示，目標(biāo)物大小用H來(lái)表示，相機(jī)焦距f是固定不變的，在左側(cè)相機(jī)位置對(duì)目標(biāo)物進(jìn)行拍照，所成像為左側(cè)像，其大小用w1來(lái)表示，此時(shí)相機(jī)與目標(biāo)物的距離記為l1，則有物像大小關(guān)系如式(4)所示：

(4)

圖6 物像大小關(guān)系示意圖

使相機(jī)向目標(biāo)物水平移動(dòng)距離d并拍照，如圖6中右側(cè)相機(jī)所示，所得像為右側(cè)像，其大小用w2來(lái)表示，此時(shí)相機(jī)與目標(biāo)物的距離記為l2，則有物像大小關(guān)系如式(5)所示：

(5)

相機(jī)前移前后的兩個(gè)位置與目標(biāo)物的距離分別是l1與l2，相機(jī)前移的距離為d，則有式(6)：

l1=l2+d

(6)

通過(guò)聯(lián)立式(4)～(6)可以得到相機(jī)前移之后的位置與目標(biāo)物的距離l2即圖中L，如式(7)所示：

(7)

在實(shí)際測(cè)距過(guò)程中，w1與w2分別為相機(jī)前移前后獲得的同一目標(biāo)物在照片中的像素寬度。此方法可以在機(jī)械臂末端對(duì)準(zhǔn)目標(biāo)之后水平遷移過(guò)程中進(jìn)行圖片獲取與距離計(jì)算。表1為測(cè)試此測(cè)距法的結(jié)果，選取不同顏色的不同物體各進(jìn)行了10次測(cè)試，誤差距離單位為毫米。由于實(shí)驗(yàn)后期要設(shè)計(jì)的機(jī)械爪閉合時(shí)需要在爪內(nèi)部形成一定的空間來(lái)包裹圣女果，并且在圣女果前后會(huì)留有一定的容錯(cuò)空間，此容錯(cuò)為±0.4 cm。由測(cè)試結(jié)果可以得出，對(duì)相機(jī)前移前后兩張圖片中不產(chǎn)生形變的物體的測(cè)距更加準(zhǔn)確，比如紅色球體和紅色方塊，其方差分別為1.00和0.64，相對(duì)都比較小，結(jié)果穩(wěn)定性較高。由于實(shí)驗(yàn)采用顏色識(shí)別來(lái)尋找目標(biāo)物體，因此外界環(huán)境比如光照等因素會(huì)產(chǎn)生一定的干擾，從而使得目標(biāo)物體的像素寬度產(chǎn)生微小的變化。對(duì)于實(shí)際要抓取的圣女果的測(cè)距誤差均值為3.3 mm，處于中等水平，而方差1.61是在5種目標(biāo)物體中最高的，這是因?yàn)槭ヅ耐庑翁卣鞑煌易R(shí)別效果穩(wěn)定性比形狀固定的物體略低，測(cè)距結(jié)果受到圣女果自身以及環(huán)境影響相對(duì)略大。實(shí)驗(yàn)過(guò)程使用機(jī)械臂進(jìn)行前移操作，機(jī)械臂理論運(yùn)動(dòng)學(xué)模型與實(shí)際模型之間不可避免存在誤差，這也會(huì)增大結(jié)果的誤差值。從測(cè)試數(shù)據(jù)和總體結(jié)果來(lái)看，此測(cè)距法雖然相對(duì)于存在一些誤差，但對(duì)于紅色圣女果的測(cè)試結(jié)果在預(yù)期范圍內(nèi)。在后期提高測(cè)距精度方面，對(duì)于外部環(huán)境的干擾可以規(guī)范其使用環(huán)境，降低光照、遮擋等因素帶來(lái)的影響；對(duì)于機(jī)械臂本身運(yùn)動(dòng)誤差需要通過(guò)標(biāo)定進(jìn)一步提高機(jī)器人的絕對(duì)位置精度。

表1 測(cè)距法測(cè)試數(shù)據(jù)表

2.3 圣女果方向識(shí)別算法改進(jìn)

由于圣女果果實(shí)與果蒂處于同一中軸線上，為使得機(jī)械臂末端在抓取時(shí)的方向與圣女果果蒂的水平方向一致，因此需要對(duì)更容易分析的圣女果果實(shí)的方向進(jìn)行識(shí)別與研究。本文實(shí)驗(yàn)所使用的圣女果果實(shí)外形與橢圓相似，并且在生長(zhǎng)時(shí)是自然向下的，因此可以利用其外形特點(diǎn)進(jìn)行圖像形態(tài)學(xué)處理，改進(jìn)傳統(tǒng)方法，保留圣女果的總體外形特征，來(lái)獲取其實(shí)際意義上的中軸線，從而獲取實(shí)驗(yàn)所需要的方向。

在第2.1小節(jié)中對(duì)圖7(a)獲取成熟圣女果目標(biāo)后可以得到如圖7(b)所示的二值圖，由于正面光照影響，圣女果光滑的表面會(huì)呈現(xiàn)反光效果，這對(duì)圣女果整體輪廓的獲取產(chǎn)生了一定的影響，如果不加處理則會(huì)影響對(duì)其形狀的分析，因此要對(duì)輪廓內(nèi)部點(diǎn)進(jìn)行填充，填充規(guī)則如式(8)所示：

(8)

圖7 圖像處理示意圖

其中：(xu，yv)為目標(biāo)輪廓內(nèi)部點(diǎn)，當(dāng)輸入像素點(diǎn)是輪廓內(nèi)部點(diǎn)且值為0時(shí)，則將其置為valmax，否則不作操作[15]。填充操作后的二值圖像如圖7(c)所示。

經(jīng)過(guò)圖像處理獲得的目標(biāo)圣女果輪廓二值圖相較于真實(shí)的圣女果形態(tài)并不是很完整，直接通過(guò)輪廓特征處理二值圖獲得輪廓的擬合直線會(huì)得到與實(shí)際方向偏差較大的結(jié)果，如圖8所示，穿過(guò)圣女果輪廓的灰色線存在明顯偏差[16]。

圖8 輪廓的擬合直線

為使得輪廓的特征更加明顯，此處增加對(duì)二值圖像的細(xì)化操作。根據(jù)圣女果輪廓的對(duì)稱性以及非窄距性，采用獲取其中軸線的方法實(shí)現(xiàn)對(duì)目標(biāo)輪廓的細(xì)化，進(jìn)一步凸顯輪廓的特征[17-18]。獲取的中軸線如圖9所示，由于實(shí)驗(yàn)對(duì)象選取的是識(shí)別難度較大的近圓形的圣女果，因此中軸線會(huì)相對(duì)較小，而對(duì)更加接近橢圓的圣女果的識(shí)別效果會(huì)更加明顯。

獲取到更加能夠凸顯目標(biāo)輪廓的特征中軸線之后再次計(jì)算其擬合直線，可以得到如圖10(a)中的深灰色線條結(jié)果，能夠近似反映圣女果的方向。

最終獲取的方向需要作為機(jī)械臂的運(yùn)動(dòng)參數(shù)，為了得到更精確的結(jié)果，本文根據(jù)輪廓的擬合直線思想進(jìn)行了算法的適應(yīng)性改進(jìn)：

改進(jìn)后擬合算法流程如圖11所示，首先采用Scikit-image的骨架提取功能獲取目標(biāo)輪廓特征中軸線，對(duì)目標(biāo)輪廓的特征進(jìn)行進(jìn)一步凸顯，然后獲取質(zhì)心，做一條經(jīng)過(guò)質(zhì)心的直線，計(jì)算中軸線上的每個(gè)像素點(diǎn)到該直線的距離之和，取最小值對(duì)應(yīng)直線作為圣女果真正的中軸線，取其傾斜角作為最終需要得到的圣女果的方向。

圖11 改進(jìn)后擬合算法流程圖

其中對(duì)于質(zhì)心的獲取是在OpenCV中使用矩來(lái)計(jì)算得到的，圖像矩是圖像像素強(qiáng)度的一種特殊的加權(quán)平均值。目標(biāo)圖像轉(zhuǎn)換為二值圖像后由式(9)便可得到目標(biāo)質(zhì)心，其中Cx為質(zhì)心的x軸坐標(biāo)，Cy為質(zhì)心的y軸坐標(biāo)。由質(zhì)心坐標(biāo)以及直線傾斜角θ便可通過(guò)公式y(tǒng)=kx+b獲得直線方程，其中k=tan-1θ，b=Cy-Cxtan-1θ。由式(10)點(diǎn)到直線距離公式可得中軸線上像素點(diǎn)(xi，yi)到該直線的距離d，其中A=tan-1θ，B=-1，C=Cy-Cxtan-1θ，進(jìn)而可得圖像中n個(gè)像素點(diǎn)到該直線的距離之和D[19]，如式(11)所示。對(duì)于以Δθ為變化率的每條經(jīng)過(guò)質(zhì)心的直線均需要求一次距離之和，并求出最小值Dmin及對(duì)應(yīng)的傾斜角θ，此θ便是最終需要獲取的圣女果方向。

(9)

(10)

D=

(θ≠90°)

(11)

如圖10(b)所示，淺灰色線為本文改進(jìn)之后的擬合算法所得結(jié)果，圖10(c)為對(duì)輪廓的擬合直線(a線)與本文算法所得結(jié)果(b線)在同一幅二值圖像中的對(duì)比顯示，從中可以明顯看出本文算法在對(duì)于該次實(shí)驗(yàn)?zāi)繕?biāo)圣女果方向識(shí)別更加準(zhǔn)確。為驗(yàn)證算法的準(zhǔn)確性和穩(wěn)定性，對(duì)不同的圣女果分別使用傳統(tǒng)方法與本文方法進(jìn)行了多次實(shí)驗(yàn)，對(duì)比測(cè)試數(shù)據(jù)如表2所示，對(duì)比測(cè)試誤差如圖12所示。圖中橫坐標(biāo)為對(duì)應(yīng)的實(shí)驗(yàn)序號(hào)，縱坐標(biāo)為該次實(shí)驗(yàn)對(duì)應(yīng)的誤差，取絕對(duì)值后，傳統(tǒng)方法的誤差均值為4.45，本文方法的平均誤差值為2.9，就單次實(shí)驗(yàn)來(lái)說(shuō)兩種方法的誤差方向具有相似性，但本文所用方法會(huì)相對(duì)更加精確一些。傳統(tǒng)方法誤差值方差為9.20，本文方法誤差值方差為4.29，所以本文通過(guò)圖像分析來(lái)計(jì)算圣女果方向的方法相對(duì)更加穩(wěn)定，也更適合在實(shí)際應(yīng)用中使用。

表2 對(duì)比測(cè)試數(shù)據(jù)表

圖12 對(duì)比測(cè)試誤差圖

3 機(jī)械臂動(dòng)作生成

機(jī)械臂正運(yùn)動(dòng)學(xué)求解是在已知各連桿相對(duì)位置關(guān)系的情況下計(jì)算得到末端執(zhí)行器的位姿，而機(jī)械臂逆運(yùn)動(dòng)學(xué)求解是在已知機(jī)器人末端執(zhí)行器的目標(biāo)位姿的情況下求解出機(jī)械臂末端執(zhí)行器到目標(biāo)位置過(guò)程中各關(guān)節(jié)需要轉(zhuǎn)動(dòng)的角度值[20-21]。本實(shí)驗(yàn)將已獲得的圣女果的位置及果蒂方向作為機(jī)械臂末端夾爪的最終位姿，并由此反推機(jī)械臂各關(guān)節(jié)的狀態(tài)，因此求解機(jī)械臂逆運(yùn)動(dòng)學(xué)是本小節(jié)的關(guān)鍵。本文以高斯機(jī)械臂為研究對(duì)象，對(duì)機(jī)械臂進(jìn)行D-H法建模[22]，D-H參數(shù)如表3所示，機(jī)械臂連桿坐標(biāo)系如圖13所示。

表3 高斯機(jī)械臂D-H參數(shù)表

圖13 高斯機(jī)械臂連桿坐標(biāo)系

機(jī)械臂逆運(yùn)動(dòng)學(xué)求解就是求出每個(gè)關(guān)節(jié)的角度，對(duì)于本實(shí)驗(yàn)所用六自由度機(jī)械臂而言就是求θ1、θ2、θ3、θ4、θ5、θ6。機(jī)械臂的D-H參數(shù)已集成至ROS的URDF文件中，通過(guò)MoveIt！功能包中的KDL(Kinematics and Dynamics Library)進(jìn)行逆運(yùn)動(dòng)學(xué)的求解[23]，求解過(guò)程為：節(jié)點(diǎn)初始化，選擇機(jī)械臂移動(dòng)組，指定機(jī)械臂的末端操作，指定參考坐標(biāo)系，調(diào)用位姿描述函數(shù)，給定坐標(biāo)系的位姿，選擇運(yùn)動(dòng)方案，運(yùn)動(dòng)規(guī)劃執(zhí)行。

4 實(shí)驗(yàn)測(cè)試與結(jié)果分析

4.1 實(shí)驗(yàn)測(cè)試

實(shí)驗(yàn)設(shè)備硬件層主要由六軸高斯機(jī)械臂、樹莓派4B、高清單目相機(jī)以及個(gè)人電腦組成，相關(guān)硬件參數(shù)已由第1節(jié)給出。機(jī)械臂由配置了機(jī)器人控制系統(tǒng)(ROS)的樹莓派來(lái)進(jìn)行控制，高清單目相機(jī)連接到樹莓派USB端口，同時(shí)將個(gè)人電腦通過(guò)網(wǎng)線與樹莓派相連接。成熟圣女果識(shí)別算法、圣女果方向分析算法、測(cè)距算法均部署在個(gè)人電腦上以減輕高斯機(jī)械臂上樹莓派的運(yùn)算壓力。在樹莓派上部署Master，用來(lái)控制整個(gè)系統(tǒng)流程。

本實(shí)驗(yàn)屬于綜合性實(shí)驗(yàn)，前部分的實(shí)驗(yàn)結(jié)果會(huì)對(duì)之后的操作產(chǎn)生一定影響，因此需要對(duì)成熟圣女果識(shí)別率，最大圣女果識(shí)別效果，果實(shí)輪廓完整性，方向識(shí)別算法誤差值以及機(jī)械臂位姿誤差等方面進(jìn)行實(shí)驗(yàn)記錄與分析。

實(shí)驗(yàn)過(guò)程：由單目相機(jī)在機(jī)械臂初始位置且靜止?fàn)顟B(tài)完成當(dāng)前視野圖片的獲取，利用2.1小節(jié)的成熟圣女果目標(biāo)獲取算法在當(dāng)前視野獲取最大成熟圣女果作為目標(biāo)，利用2.3小節(jié)的圣女果方向識(shí)別算法來(lái)對(duì)目標(biāo)圣女果進(jìn)行方向識(shí)別，利用2.2小節(jié)的測(cè)距算法實(shí)現(xiàn)對(duì)目標(biāo)圣女果與機(jī)械臂末端的距離獲取，將以上得到的圣女果位姿信息(x，y，z，θ)作為機(jī)械臂末端執(zhí)行器的目標(biāo)位姿，通過(guò)ROS軟件平臺(tái)控制機(jī)械臂達(dá)到目標(biāo)位姿。機(jī)械臂初始位姿運(yùn)動(dòng)到目標(biāo)位姿如圖14所示。在正常的日光條件下，同樣的步驟對(duì)于不同位置、不同品種的圣女果共進(jìn)行了16次，每次均需要記錄以下數(shù)據(jù)：目標(biāo)圣女果是否判斷為成熟，目標(biāo)圣女果是否為當(dāng)前視野最大圣女果，果實(shí)輪廓完整率，測(cè)距誤差值，方向識(shí)別誤差值，機(jī)械臂末端方向誤差值，具體數(shù)據(jù)如表4所示。

表4 實(shí)驗(yàn)數(shù)據(jù)記錄表

圖14 機(jī)械臂運(yùn)動(dòng)狀態(tài)示意圖

上述16次實(shí)驗(yàn)中機(jī)械臂動(dòng)作生成所用時(shí)間分別為：{3.6，4.0，3.9，3.5，4.6，5.0，3.9，3.4，3.5，3.8，3.4，4.1，4.3，3.8，3.9，5.2 s}，動(dòng)作生成平均用時(shí)為3.9 s。

外部環(huán)境變量中，光照和遮擋是影響實(shí)驗(yàn)結(jié)果最重要的因素，本實(shí)驗(yàn)基于機(jī)器視覺，因此需要盡可能地減少對(duì)目標(biāo)圣女果的遮擋。除上述正常日光條件下的測(cè)試外，本實(shí)驗(yàn)在相同遮擋條件下對(duì)上述目標(biāo)圣女果在夜間使用照明燈的環(huán)境下進(jìn)行了16次對(duì)比測(cè)試，實(shí)驗(yàn)表明，平均圣女果輪廓完整率相對(duì)于日光條件下降了約4.6%，測(cè)距誤差增大了約1%，方向識(shí)別誤差增大約1.8%，機(jī)械臂末端方向誤差增大約1.5%，機(jī)械臂動(dòng)作生成平均時(shí)間為3.9秒。

4.2 結(jié)果分析

本次綜合實(shí)驗(yàn)對(duì)過(guò)程中的各分項(xiàng)步驟均進(jìn)行了數(shù)據(jù)的測(cè)量和記錄，機(jī)械臂最終動(dòng)作的生成依賴之前獲得的圖片分析結(jié)果，實(shí)驗(yàn)有明顯的誤差是正常的。本文除了在正常日光條件下進(jìn)行了16次詳細(xì)測(cè)量數(shù)據(jù)的實(shí)驗(yàn)之外，還對(duì)同樣的目標(biāo)圣女果在保持遮擋條件一定的情況下，在夜間使用照明燈的環(huán)境下進(jìn)行了同樣16次測(cè)試。除此之外還進(jìn)行了額外的34次有針對(duì)性記錄的實(shí)驗(yàn)，平均動(dòng)作生成時(shí)間為3.6 s。

在準(zhǔn)確率方面，對(duì)于目標(biāo)果實(shí)是否成熟的判斷，本實(shí)驗(yàn)采用的是顏色識(shí)別，成熟與不成熟有較大的區(qū)別，因此在識(shí)別過(guò)程中獲得的結(jié)果均是正確的。對(duì)于目標(biāo)果實(shí)是否為當(dāng)前視野區(qū)域最大成熟果實(shí)的判斷，由于圣女果生長(zhǎng)環(huán)境復(fù)雜，圣女果與圣女果之間以及圣女果與枝葉之間有互相遮擋的情況，這就給識(shí)別帶來(lái)了困難。對(duì)于比較復(fù)雜的情形會(huì)容易產(chǎn)生識(shí)別錯(cuò)誤，以上32對(duì)比次實(shí)驗(yàn)中有兩次是因?yàn)檎趽鯁?wèn)題識(shí)別失敗，從后續(xù)進(jìn)行的34次實(shí)驗(yàn)也可以看出只要獲取到了目標(biāo)就不會(huì)對(duì)后續(xù)步驟產(chǎn)生較大的影響。對(duì)于目標(biāo)圣女果二值圖的獲取，如表4中輪廓完整率所示，輪廓的獲取受外部影響較大，比如圣女果外表光滑，較強(qiáng)的外部光照會(huì)在圣女果表面產(chǎn)生反光，而正常的日光與夜間照明燈的光照條件也會(huì)對(duì)實(shí)驗(yàn)結(jié)果產(chǎn)生不同的影響。圣女果的果蒂也會(huì)在圣女果頭部形成一定程度的遮擋，這就使得在獲取圣女果二值圖的時(shí)候，反光以及被遮擋的部分均變?yōu)楸尘啊恼w實(shí)驗(yàn)來(lái)看，獲取的成熟圣女果輪廓的完整率平均在82%以上，日光條件下的識(shí)別效果優(yōu)于夜間照明燈條件下的識(shí)別效果，對(duì)于非枝葉遮擋圣女果的識(shí)別效果達(dá)到預(yù)期目標(biāo)。針對(duì)二值圖不完整的問(wèn)題，本文2.3小節(jié)有提到對(duì)二值圖進(jìn)行內(nèi)部填充，盡可能減小反光的影響，使得可以識(shí)別到的部分達(dá)到較為完整的效果，從而為后續(xù)進(jìn)行果實(shí)姿態(tài)分析時(shí)使用的中軸線獲取算法提供較準(zhǔn)確的輸入。對(duì)于測(cè)距算法，實(shí)驗(yàn)結(jié)果和本文2.2小節(jié)所做測(cè)試相近，環(huán)境因素以及圣女果自身的弧度會(huì)使目標(biāo)物體的像素寬度產(chǎn)生微小的變化，總體來(lái)看雖有一些誤差，但是測(cè)試數(shù)據(jù)和結(jié)果顯示達(dá)標(biāo)率為84%。在圣女果方向的識(shí)別方面，對(duì)于圣女果輪廓識(shí)別較為完整或者經(jīng)過(guò)填充后的二值圖較為完整的目標(biāo)，方向識(shí)別誤差值會(huì)比較小，在對(duì)近橢圓形的圣女果進(jìn)行識(shí)別時(shí)尤其準(zhǔn)確。對(duì)于輪廓識(shí)別完整度不高的目標(biāo)，由于其二值圖中軸線無(wú)法體現(xiàn)出圣女果本身的特點(diǎn)，也就導(dǎo)致方向偏差較大，但是整體達(dá)標(biāo)率是86%，結(jié)果符合預(yù)期。最終機(jī)械臂末端到達(dá)目標(biāo)位置后的方向準(zhǔn)確度十分依賴圖片識(shí)別的結(jié)果，對(duì)于距離和方向的誤差值均比較小的實(shí)驗(yàn)，機(jī)械臂最終位姿的誤差也是比較小的；而對(duì)于前期輪廓識(shí)別誤差大，方向誤差大的目標(biāo)，機(jī)械臂的最終位姿誤差也比較大。從以上實(shí)驗(yàn)數(shù)據(jù)來(lái)看，機(jī)械臂位姿的達(dá)標(biāo)率能夠達(dá)到80%，符合預(yù)期目標(biāo)。在速度方面，機(jī)械臂從初始狀態(tài)運(yùn)動(dòng)達(dá)到目標(biāo)位姿的平均用時(shí)為3.75 s，這個(gè)過(guò)程不包括機(jī)械臂末端的采摘以及采摘之后的返回時(shí)間。本實(shí)驗(yàn)著重針對(duì)機(jī)械臂生成特定采摘位姿做了研究，機(jī)械臂過(guò)快的運(yùn)動(dòng)速度需要配以較重的底盤來(lái)穩(wěn)定主體機(jī)器，因此3.75秒的平均動(dòng)作生成時(shí)間符合預(yù)期目標(biāo)。

從實(shí)驗(yàn)室的實(shí)驗(yàn)結(jié)果來(lái)看，整體效果能夠達(dá)到預(yù)期目標(biāo)，方案可行，但是可提升空間比較大。圣女果表面反光會(huì)影響輪廓識(shí)別的完整性，不同的光照條件下的識(shí)別效果是不同的，后期應(yīng)避免環(huán)境有較強(qiáng)的直射光，減少反光對(duì)于RGB圖像的獲取效果，尤其需要提升夜間照明燈條件下的識(shí)別效果。圣女果植株生長(zhǎng)比較復(fù)雜，尤其是枝葉遮擋情況比較嚴(yán)重，這對(duì)識(shí)別效果會(huì)產(chǎn)生較大影響，采摘前需要將圣女果周圍遮擋嚴(yán)重的枝葉進(jìn)行修剪，盡可能地將圣女果裸露出來(lái)，這樣可以降低機(jī)器人運(yùn)作的難度。

5 結(jié)束語(yǔ)

圣女果種植范圍廣，人工采摘成本高且工作量大，研發(fā)智能采摘機(jī)器人來(lái)解決當(dāng)前圣女果采摘所面臨的難題是非常必要的，實(shí)現(xiàn)機(jī)器人全自動(dòng)采摘也順應(yīng)了農(nóng)業(yè)智能機(jī)械化的發(fā)展要求。但是目前大多數(shù)圣女果采摘機(jī)器人都處在實(shí)驗(yàn)室階段，少數(shù)可以實(shí)現(xiàn)采摘，但是不能保證帶有果蒂的采摘。本文在帶蒂采摘方法上展開探索，通過(guò)模擬人手采摘的流程，使機(jī)械臂末端機(jī)械爪在達(dá)到目標(biāo)圣女果位置時(shí)能夠與圣女果果蒂方向基本一致，從而保證在后期研發(fā)中能夠使用折果蒂的方式將帶有果蒂的圣女果采摘下來(lái)，使機(jī)械臂采摘下來(lái)的圣女果具備與人工采摘同樣的商業(yè)價(jià)值。模擬人手采摘流程需要制定特定的采摘機(jī)械爪，而目前機(jī)械爪還在設(shè)計(jì)階段，因此本實(shí)驗(yàn)是對(duì)機(jī)械臂采摘之前的位姿生成進(jìn)行了方法探索，為后續(xù)完成完整的采摘?jiǎng)幼髯鱿落亯|。

綜合本文算法設(shè)計(jì)和實(shí)驗(yàn)結(jié)果，對(duì)圣女果進(jìn)行目標(biāo)識(shí)別與方向分析進(jìn)而生成機(jī)械臂特定采摘位姿的方法具有一定的適用性和可行性。針對(duì)實(shí)驗(yàn)中的光照、環(huán)境干擾問(wèn)題進(jìn)行了對(duì)比測(cè)試，后續(xù)實(shí)驗(yàn)應(yīng)該降低環(huán)境問(wèn)題對(duì)算法的影響，進(jìn)一步驗(yàn)證算法的準(zhǔn)確率。在實(shí)際應(yīng)用之前，圣女果在種植時(shí)應(yīng)該進(jìn)行相應(yīng)改變來(lái)方便機(jī)器人進(jìn)行采摘，比如在采摘之前整理側(cè)枝，同時(shí)將果實(shí)所在莖稈單獨(dú)裸露在通道方向，這樣既能保證對(duì)圣女果的營(yíng)養(yǎng)輸送，又能為機(jī)器視覺提供廣闊的視野。

未來(lái)會(huì)著重提高算法在復(fù)雜環(huán)境條件下的適用性和準(zhǔn)確度，必要時(shí)會(huì)更換相關(guān)算法思路來(lái)提高實(shí)用性，同時(shí)結(jié)合具有人手采摘特點(diǎn)的機(jī)械爪進(jìn)行采摘實(shí)驗(yàn)，實(shí)現(xiàn)完整的采摘流程。