農(nóng)業(yè)機器人并聯(lián)采摘臂視覺伺服控制*

薛 梁， 周 俊

(南京農(nóng)業(yè)大學(xué) 工學(xué)院 江蘇省農(nóng)業(yè)智能化裝備重點實驗室，江蘇 南京 210031)

農(nóng)業(yè)機器人并聯(lián)采摘臂視覺伺服控制*

薛 梁， 周 俊

(南京農(nóng)業(yè)大學(xué) 工學(xué)院 江蘇省農(nóng)業(yè)智能化裝備重點實驗室，江蘇 南京 210031)

介紹了一種基于視覺伺服的農(nóng)業(yè)機器人并聯(lián)采摘系統(tǒng)，該系統(tǒng)由視覺系統(tǒng)、上位機、下位機、并聯(lián)機構(gòu)等4部分組成。視覺系統(tǒng)采集目標(biāo)圖像并傳遞給上位機，上位機對圖像進行處理，識別和定位目標(biāo)，計算并聯(lián)機構(gòu)的運動控制量，通過串口通信發(fā)送給下位機，下位機接收到控制量后，根據(jù)運動控制量驅(qū)動繼電器模塊作相應(yīng)的開關(guān)動作，完成并聯(lián)采摘臂的控制。實驗證明：該系統(tǒng)對于實現(xiàn)農(nóng)業(yè)機器人采摘作業(yè)具有可行性。

視覺伺服； 農(nóng)業(yè)機器人； 采摘； 并聯(lián)機構(gòu)

0 引 言

我國是農(nóng)業(yè)大國，擁有眾多果蔬和農(nóng)副產(chǎn)品，大多數(shù)果蔬采摘都要由人工完成，而采摘作業(yè)辛苦勞累，環(huán)境惡劣[1]。農(nóng)業(yè)機器人應(yīng)運而生，它的應(yīng)用可減輕工人勞動強度，提高采摘效率[2，3]。視覺傳感器是重要的傳感器，為機器人提供外界環(huán)境信息[4]。采摘機構(gòu)是農(nóng)業(yè)機器人完成采摘作業(yè)的基礎(chǔ)性部件，其特點決定機器人采摘性能，因此，研究基于視覺傳感器的農(nóng)業(yè)機器人采摘系統(tǒng)具有重要意義。

視覺傳感器在各領(lǐng)域的應(yīng)用已經(jīng)相當(dāng)廣泛。楊福剛[5]利用視覺傳感器，實現(xiàn)了在線對輸液中異物和雜質(zhì)的檢測。杜東亮等人[6]運用視覺傳感器采集煙葉圖像，根據(jù)煙葉顏色特征實現(xiàn)自動分級。丁萌等人[7]通過安裝在無人機上的視覺傳感器獲得無人機與跑道邊緣的夾角，為無人機安全著陸提供幫助。日本Hayashi等人[8]利用視覺傳感器識別定位草莓位置，研制了草莓采摘機器人。南京農(nóng)業(yè)大學(xué)的顧寶興等人[9]使用視覺傳感器實現(xiàn)目標(biāo)蘋果的識別與定位，研制了一種智能移動式水果采摘機器人。

目前,應(yīng)用較多的采摘臂是關(guān)節(jié)型串聯(lián)機械臂，但并聯(lián)機構(gòu)相比串聯(lián)機構(gòu)在農(nóng)業(yè)生產(chǎn)中具有獨特的優(yōu)勢，比如剛度好、響應(yīng)速度快、精度高且無累積誤差等[10]。正因為上述優(yōu)點，使得并聯(lián)機構(gòu)可用于末端采摘口姿態(tài)的快速調(diào)整。本文設(shè)計了基于視覺伺服的并聯(lián)采摘系統(tǒng)，選取棉花作為典型的采摘對象，以攝像頭作為視覺傳感器，計算機作為上位機處理圖像，對目標(biāo)進行識別定位，找到圖像中目標(biāo)位置信息與并聯(lián)采摘機構(gòu)運動控制量之間的對應(yīng)關(guān)系，計算出運動控制量，以串口通信將控制量發(fā)送給單片機，單片機通過繼電器模塊完成對并聯(lián)采摘機構(gòu)的運動控制。該視覺伺服的采摘臂可以廣泛應(yīng)用于采摘西紅柿，蘋果，草莓等果蔬。

1 并聯(lián)采摘機構(gòu)設(shè)計

本文在機器人機構(gòu)學(xué)相關(guān)研究成果的基礎(chǔ)上，根據(jù)農(nóng)業(yè)機器人采摘作業(yè)時采摘口位姿調(diào)整的需要，建立了可調(diào)整性強的3—SPS/S并聯(lián)機構(gòu)作為采摘時的姿態(tài)調(diào)整機構(gòu)，實現(xiàn)對目標(biāo)的快速采摘。

如圖1所示為3—SPS/S并聯(lián)采摘臂簡圖，其主要由采摘口、3—SPS/S并聯(lián)機構(gòu)和固定支架組成。該3—SPS/S并聯(lián)機構(gòu)有固定平臺和運動平臺兩個平臺，3個均勻?qū)ΨQ分布的運動鏈分支分別與運動平臺和固定平臺組成球副連接，中間約束分支分別固定在運動平臺與固定平臺的中心，中間為球副連接。采摘口與運動平臺固定，固定支架與固定平臺連接。三個運動分支伸縮，可以實現(xiàn)固定在運動平臺上的采摘頭作出姿態(tài)的相應(yīng)調(diào)整。

圖1 3—SPS/S并聯(lián)采摘臂簡圖

在采摘頭內(nèi)側(cè)固定安裝直徑5.5 mm、30萬像素的內(nèi)窺鏡攝像頭，采摘系統(tǒng)硬件連接如圖2所示。

圖2 采摘系統(tǒng)硬件連接示意圖

2 視覺伺服系統(tǒng)

2.1 圖像采集和處理

本文實驗所使用的棉花來自南京市江浦農(nóng)場，將攝像頭與PC相連，打開圖像采集程序，得到大小為320像素×240像素的原始圖像，如圖3(a)所示。由于攝像頭直接獲取的圖像包含大量無用背景，所以將原始圖像進行恰當(dāng)?shù)奶幚硎窍乱徊竭M行特征提取、識別和定位必不可少的重要環(huán)節(jié)。

如果直接處理RGB彩色圖像，計算量將會十分龐大，計算分析方法也會更加復(fù)雜，運算時間大大增加。圖像灰度化后可以減少運算數(shù)據(jù)量，加快后續(xù)處理速度，圖3(b)為灰度化后的圖像。棉花灰度值與其余背景的灰度值有明顯的差別，這就提供了基于閾值化處理來劃分區(qū)域的可操作性。經(jīng)過實驗驗證，當(dāng)閾值為128時處理效果最佳，不僅可以去除大量無用的背景信息，而且可以十分鮮明地突出目標(biāo)棉花區(qū)域和輪廓。閾值化后的圖像如圖3(c)所示。

在結(jié)構(gòu)元素選擇時，應(yīng)盡可能的使圖像中雜亂無章的背景小亮點去除，提高棉花區(qū)域在圖像中的可區(qū)分性，同時也要盡可能的使棉花區(qū)域輪廓與棉花實際輪廓相似，輪廓平滑度較好。經(jīng)過比較分析后，發(fā)現(xiàn)選用10×10的結(jié)構(gòu)元素對閾值化后的圖像進行開閉運算效果最好，圖像經(jīng)過開閉運算后，背景中細(xì)微的干擾信息有明顯的消除，平滑了較大目標(biāo)輪廓邊界。開閉運算后的圖像如圖3(d)所示。

圖3 圖像處理效果

2.2 目標(biāo)定位與控制策略

在攝像頭視場中往往會出現(xiàn)多個棉花，而采摘口的結(jié)構(gòu)形式?jīng)Q定了每次只能采摘一朵。由于攝像頭安裝在采摘口前端，且靠近棉花，通常待收獲棉花直徑相差不大，說明圖像中面積最大輪廓對應(yīng)的棉花距離采摘口最近，采摘機構(gòu)姿態(tài)調(diào)整量最小，采摘最為容易，優(yōu)先采摘該目標(biāo)棉花。圖4(a)中曲線區(qū)域為該幅圖像中面積最大的棉花區(qū)域輪廓。

圖4 目標(biāo)輪廓區(qū)域

棉花輪廓復(fù)雜且不規(guī)則，直接求取其質(zhì)心坐標(biāo)比較困難，為了簡便計算和提高運算效率，作該輪廓的外接矩形，如圖4(b)所示。把矩形任意兩個對角坐標(biāo)代入式(1)，可以計算出該矩形中心點的坐標(biāo)，即為該朵棉花質(zhì)心坐標(biāo)

(1)

攝像頭采集的圖像坐標(biāo)原點位于圖像左上角，X軸水平向右，Y軸垂直向下，采摘算法的原理如圖5所示。攝像頭光軸中心位于圖像中心處，光心在圖像中坐標(biāo)為(160，120)。設(shè)計的采摘口位于攝像頭正下方40mm處，通過實驗得到采摘口在圖像中對應(yīng)坐標(biāo)為(160，190)。

圖5 采摘算法原理圖

設(shè)棉花坐標(biāo)(x1,y1);采摘口坐標(biāo)(x2,y2);采摘口與棉花直線距離為d;采摘口和棉花的連線與X軸的夾角為ψ。那么通過式(2)可以計算出采摘口與棉花的距離d，通過式(3)可以計算出棉花和采摘口的連線與X軸的夾角ψ。距離d決定并聯(lián)采摘機構(gòu)彎曲的角度，表征并聯(lián)采摘機構(gòu)彎曲程度；夾角ψ決定采摘口彎曲方向，因為采摘口可以朝向整個圓周的任意方向，必須同時給定彎曲的角度和方向才能實現(xiàn)目標(biāo)棉花的采摘

(2)

ψ=arctan[(y2-y1)/(x2-x1)]

(3)

圖6為采摘機構(gòu)彎曲方向和角度示意圖，將圓周360°等分成6份，每份60°，共定義6個方向，分別為0°，60°，120°，80°，240°，300°，用字符‘a(chǎn)’～‘f’代表這6個彎曲方向。設(shè)計的并聯(lián)機構(gòu)能夠彎曲的最大角度為24°，等分成3份，每份8°，定義為0°,8°,16°,24° 4種彎曲程度，當(dāng)計算出的彎曲角大于24°時，將其設(shè)置成24°，用字符‘g’～‘j’代表這4種彎曲程度。

圖6 采摘機構(gòu)彎曲方向和彎曲角度示意圖

彎曲方向和角度分別用字符表示后，由上位機發(fā)送給單片機，單片機接收后還原出相應(yīng)的彎曲方向和角度。初始時3根推桿為完全收縮狀態(tài)，1根推桿完全伸出，其余2根靜止，或者1根推桿靜止，另外兩根推桿完全伸出時彎曲角度最大。每根推桿分別由2個繼電器控制其伸縮，總共使用6個繼電器，他們的IN控制輸入引腳分別連接單片機P1.0～P1.5引腳，繼電器模塊低電平觸發(fā)，按要求對單片機P1.0～P1.5引腳分別賦值，完成相應(yīng)動作。方向角與各桿狀態(tài)之間的對應(yīng)關(guān)系描述如表1所示。

給定P1引腳值只能確定運動方向，彎曲程度得由P1引腳值的保持時間決定。通過實驗知道推桿整個行程在延時函數(shù)中對應(yīng)的時間參數(shù)為930，平均3等分：0°時時間參數(shù)值為0；8°時時間參數(shù)值為310；16°時時間參數(shù)值為620；24°時時間參數(shù)值為930，達(dá)到最大彎曲角。到達(dá)相應(yīng)角度后，令P1=0XFF關(guān)閉所有繼電器，等待采摘完成后，使并聯(lián)采摘機構(gòu)復(fù)位，等待下次采摘任務(wù)。

表1 方向角與各桿狀態(tài)的對應(yīng)關(guān)系

3 采摘實驗

為了驗證所提出的基于視覺伺服的農(nóng)業(yè)機器人并聯(lián)采摘機構(gòu)的有效性和可行性，搭建了并聯(lián)采摘臂實物如圖7所示。選取棉花作為實驗對象，初始時采摘口靠近棉花，3根推桿全部處于完全收縮狀態(tài)。

圖7 并聯(lián)采摘臂實物圖

實驗過程如下所述：運行上位機程序采集棉花圖像，處理后得到最大棉花區(qū)域輪廓，計算出棉花質(zhì)心坐標(biāo)，得到采摘口與棉花之間的像素距離d和理論彎曲方向角β及需要彎曲的角度和方向，PC發(fā)送2個代表方向和角度的字符給單片機，單片機通過繼電器模塊驅(qū)動并聯(lián)采摘機構(gòu)作出相應(yīng)調(diào)整。

本文在不同的場景中，進行了5次實驗，圖8為第1次實驗的過程圖，表2列出了實驗過程中采摘系統(tǒng)各參數(shù)的實驗結(jié)果。

圖8 實驗過程圖

圖8中可以觀察到：經(jīng)過并聯(lián)采摘機構(gòu)姿態(tài)調(diào)整后，以前偏離采摘口位置的目標(biāo)棉花，現(xiàn)在處于采摘口附近區(qū)域；表2中可以看到：以前采摘口與目標(biāo)棉花之間距離d較大，姿態(tài)調(diào)整后，它們之間的距離縮小。說明本文設(shè)計的基于視覺傳感器的農(nóng)業(yè)機器人并聯(lián)采摘系統(tǒng)對于目標(biāo)采摘是有效可行的。

表2 采摘系統(tǒng)實驗結(jié)果

4 結(jié) 論

本文基于視覺傳感器設(shè)計了農(nóng)業(yè)機器人并聯(lián)采摘系統(tǒng)。視覺傳感器采集目標(biāo)圖像并傳遞給上位機，上位機對圖像進行處理，識別和定位目標(biāo)，計算并聯(lián)機構(gòu)運動控制量，發(fā)送給下位機，下位機接收到控制量后驅(qū)動繼電器模塊作相應(yīng)的開關(guān)動作，完成并聯(lián)機構(gòu)的控制。實驗證明，該系統(tǒng)對于實現(xiàn)農(nóng)業(yè)機器人采摘作業(yè)具有可行性。

[1] 宋 健,張鐵中,徐麗明,等.果蔬采摘機器人研究進展與展望[J].農(nóng)業(yè)機械學(xué)報,2006,37(5):158-162.

[2] 方建軍.移動式采摘機器人研究現(xiàn)狀與進展[J].農(nóng)業(yè)工程學(xué)報,2004,20(2):273-278.

[3] 湯修映,張鐵中.果蔬收獲機器人研究綜述[J].機器人,2005,27(1):90-96.

[4] 何東健,張海亮,寧紀(jì)鋒,等.農(nóng)業(yè)自動化領(lǐng)域中計算機視覺技術(shù)的應(yīng)用[J].農(nóng)業(yè)工程學(xué)報,2002,18(2):171-175.

[5] 楊福剛.基于視覺傳感器的輸液中異物檢測系統(tǒng)設(shè)計[J].傳感器與微系統(tǒng),2010, 29(3):74-76.

[6] 杜東亮,毛鵬軍,王 俊,等.基于計算機視覺的煙葉自動分級系統(tǒng)硬件設(shè)計[J].傳感器與微系統(tǒng),2008,27(4):77-79.

[7] 丁 萌,曹云峰.利用計算機視覺獲取無人機飛行姿態(tài)角[J].傳感器與微系統(tǒng),2007,26(11):65-68.

[8] Hayashi S,Shigematsu K,Yamamoto S,et al.Evaluation of a strawberry-harvesting robot in a field test[J].Biosystems Engineering,2010,105(2):160-171.

[9] 顧寶興,姬長英,王海青,等.智能移動水果采摘機器人設(shè)計與試驗[J].農(nóng)業(yè)機械學(xué)報,2012,43(6):153-160.

[10] 張艷偉,韋 斌,王 南,等.空間轉(zhuǎn)動3—SPS—S并聯(lián)機構(gòu)運動學(xué)性能分析[J].農(nóng)業(yè)機械學(xué)報,2012,43(4):212-215.

Visual servo control of parallel manipulator of agricultural robot*

XUE Liang, ZHOU Jun

(Key Laboratory of Intelligent Equipment for Agriculture of Jiangsu Province,College of Engineering，Nanjing Agricultural University,Nanjing 210031,China)

A kind of agricultural robot parallel picking system based on visual servo is presented,which is composed of 4 parts:the visual system, the upper computer,the lower computer and the parallel mechanism. Images of targets are acquired by the visual system and transfer to the upper computer.The upper computer processes images,and identifies and locates object,calculates motion control quantity of parallel mechanism,send the motion control quantity to the lower computer through the serial communication.According to the motion control quantity,the lower computer drives relay modules to finish corresponding switch action and complete parallel manipulator control.Experiments show that the system is feasible for the implementation of agricultural robot picking operation.

visual servo; agricultural robot; picking; parallel mechanism

10.13873/J.1000—9787(2017)05—0123—04

2016—06—22

國家自然科學(xué)基金資助項目(31471419);教育部博士點基金資助項目(20130097110043)

TP 391

A

1000—9787(2017)05—0123—04

薛 梁(1992-)，男，碩士,從事農(nóng)業(yè)機器人及模式識別工作。