基于語(yǔ)義分割視覺(jué)伺服的種苗自動(dòng)夾取系統(tǒng)設(shè)計(jì)

翟永杰，王家豪，張?chǎng)危鷸|陽(yáng)，王乾銘，徐大偉,2，劉亞軍

（1. 華北電力大學(xué) 自動(dòng)化系, 河北 保定 071003; 2. 中國(guó)科學(xué)院自動(dòng)化研究所 復(fù)雜系統(tǒng)管理與控制國(guó)家重點(diǎn)實(shí)驗(yàn)室, 北京 100190; 3. 湖北壹鳴生物科技有限公司, 湖北 鐘祥 431900）

植物組織培養(yǎng)技術(shù)是一種先進(jìn)的營(yíng)養(yǎng)繁殖技術(shù)，可在短時(shí)間內(nèi)生產(chǎn)出高質(zhì)量和無(wú)病害的植物[1]。然而，這一過(guò)程非常煩瑣且勞動(dòng)強(qiáng)度大[2]。為了減少勞動(dòng)力成本，提高產(chǎn)量，并通過(guò)減少人的接觸來(lái)降低污染風(fēng)險(xiǎn)，需要開(kāi)發(fā)出自動(dòng)化種苗夾取系統(tǒng)[3]。雖然農(nóng)業(yè)機(jī)器人研究起步較早，但是當(dāng)前還沒(méi)有成熟的應(yīng)用在實(shí)際現(xiàn)場(chǎng)無(wú)菌環(huán)境下的自動(dòng)化種苗夾取系統(tǒng)。

在過(guò)去幾十年中，世界各地的研究人員對(duì)機(jī)器人采摘水果蔬菜等進(jìn)行了大量研究[4]，Ringdahl 等[5]2019 年研究并設(shè)計(jì)了一種單臂甜椒采摘機(jī)器人，室內(nèi)環(huán)境能夠穩(wěn)定采摘甜椒；Van 等[6]研究并設(shè)計(jì)了一種黃瓜采摘機(jī)器人，該機(jī)器人搭載一個(gè)7 自由度的機(jī)械臂； Wang 等[7]設(shè)計(jì)的番茄采摘機(jī)器人由小車搭載機(jī)械臂在園區(qū)完成了采摘作業(yè)；Mu 等[8]設(shè)計(jì)了一種獼猴桃采摘機(jī)器人，獨(dú)特的夾具設(shè)計(jì)能在多個(gè)獼猴桃中準(zhǔn)確夾取；Sarabu 等[9]設(shè)計(jì)了一種基于雙臂操作的蘋果采摘機(jī)器人，這些機(jī)器人全部使用了現(xiàn)代協(xié)作機(jī)械臂，根據(jù)采摘對(duì)象不同設(shè)計(jì)不同的末端夾具完成采摘作業(yè)。在目標(biāo)的識(shí)別和定位方面，李天華等[10]提出了一種基于YOLO v4 與HSV(hue, saturation,value)相結(jié)合的識(shí)別方法，以實(shí)現(xiàn)自然環(huán)境下成熟期番茄的準(zhǔn)確識(shí)別。 孫紅等[11]提出使用SSDLite-MobileDet 網(wǎng)絡(luò)模型識(shí)別玉米拔節(jié)期冠層，Quan 等[12]基于Faster-RCNN 模型開(kāi)發(fā)了一種玉米幼苗檢測(cè)機(jī)器人，在有大量雜草存在的背景下能有較高的檢測(cè)精度。Zahid 等[13]提出在蘋果樹修剪機(jī)器研發(fā)設(shè)計(jì)中，采用基于深度學(xué)習(xí)的圖像分割算法為剪枝定位提供數(shù)據(jù)支持。Philipp 等[14]研究了一種田間雜草的語(yǔ)義分割網(wǎng)絡(luò)，能夠?qū)﹄s草進(jìn)行分割分類。Shi 等[15]研究了一種基于深度學(xué)習(xí)的表型方法，實(shí)現(xiàn)了對(duì)植物種苗各組成部分的分割。以上這些研究對(duì)本文提出的種苗夾取點(diǎn)定位方法有一定的啟發(fā)性，另外在夾取機(jī)構(gòu)設(shè)計(jì)方面，為了盡量避免誤傷種苗，并且考慮到夾取之后的移植工作，種苗自動(dòng)夾取系統(tǒng)需要考慮末端夾取機(jī)構(gòu)的結(jié)構(gòu)、組成材料以及種苗的夾取點(diǎn)和可夾取范圍，所以需要設(shè)計(jì)一種新型夾取機(jī)構(gòu)來(lái)完成夾取作業(yè)。

蝴蝶蘭是最受歡迎的蘭花品種之一，但是它們的無(wú)性繁殖困難，依賴于植物組織培養(yǎng)技術(shù)[16-18]。本文以蝴蝶蘭種苗為典型種苗對(duì)象，分析了蝴蝶蘭種苗的形態(tài)、顏色特征之后，結(jié)合夾取需求，通過(guò)深度學(xué)習(xí)模型訓(xùn)練并提取了蝴蝶蘭種苗特征，設(shè)計(jì)了一種基于語(yǔ)義分割視覺(jué)伺服的種苗自動(dòng)夾取系統(tǒng)，該系統(tǒng)根據(jù)種苗自身特性，自動(dòng)識(shí)別出夾取點(diǎn)的位置和姿態(tài)，驅(qū)動(dòng)末端夾取執(zhí)行機(jī)構(gòu)完成夾取作業(yè)。該種苗自動(dòng)夾取系統(tǒng)擬在保護(hù)種苗結(jié)構(gòu)不被破壞的前提下完成夾取工作，以解決人工夾取勞動(dòng)強(qiáng)度大，勞動(dòng)內(nèi)容枯燥的問(wèn)題。

1 基于視覺(jué)伺服的種苗自動(dòng)夾取系統(tǒng)

基于視覺(jué)伺服的種苗自動(dòng)夾取系統(tǒng)的硬件組成包括上位機(jī)和機(jī)械手兩個(gè)主要部分，它們之間通過(guò)Wi-Fi 進(jìn)行通信。上位機(jī)通過(guò)USB2.0 端口接收攝像頭拍攝的照片，照片發(fā)送到伺服控制模塊后，經(jīng)過(guò)手眼標(biāo)定后的坐標(biāo)轉(zhuǎn)換得到目標(biāo)的位置和姿態(tài)信息，然后由上位機(jī)的運(yùn)動(dòng)控制模塊根據(jù)位置和姿態(tài)制定夾取計(jì)劃，通過(guò)逆運(yùn)動(dòng)學(xué)將空間路徑轉(zhuǎn)化為機(jī)械手的各個(gè)關(guān)節(jié)角度，共計(jì)6 個(gè)關(guān)節(jié)角度和1 個(gè)夾具張開(kāi)角度發(fā)送給機(jī)械手，機(jī)械手和末端夾具進(jìn)行夾取動(dòng)作。圖1 為種苗夾取平臺(tái)示意圖。

圖1 種苗夾取平臺(tái)Fig. 1 Seedling clamping platform

2 基于視覺(jué)伺服的種苗自動(dòng)夾取系統(tǒng)

機(jī)械手的視覺(jué)伺服控制是國(guó)內(nèi)外研究的熱點(diǎn)之一，根據(jù)攝像機(jī)的數(shù)量可分為單目、雙目和多目。視覺(jué)伺服被分為基于圖像的視覺(jué)伺服[19]和基于位置的視覺(jué)伺服[20-21]。基于位置的視覺(jué)伺服相比于基于圖像的視覺(jué)伺服具有控制器易于實(shí)現(xiàn)的優(yōu)點(diǎn)[22]，因此種苗自動(dòng)夾取系統(tǒng)選用基于位置的視覺(jué)伺服控制。本文使用的是海康威視高清單目工業(yè)相機(jī)。

2.1 系統(tǒng)設(shè)計(jì)

整個(gè)控制系統(tǒng)如圖2 所示。首先攝像機(jī)拍攝圖片，在處理圖片中，利用DP-BiseNetV2 語(yǔ)義分割網(wǎng)絡(luò)，根據(jù)目標(biāo)顏色和幾何特征完成圖像分割，再通過(guò)分割好的圖像顏色特性在HSV 空間求取夾取點(diǎn)和夾取角度。以目標(biāo)夾取點(diǎn)和角度作為機(jī)械臂的輸入， 機(jī)械臂在得到夾取點(diǎn)和角度信息后，判斷末端是否超出硬件限制，機(jī)械臂是否在初始位置，如果二者均無(wú)問(wèn)題，則機(jī)械臂移動(dòng)到夾取點(diǎn)上方，并通過(guò)調(diào)整機(jī)械臂關(guān)節(jié)來(lái)改變夾取角度，完成種苗的夾取。

圖2 夾取系統(tǒng)流程Fig. 2 Clamping system flow

2.2 語(yǔ)義分割視覺(jué)定位方法

在進(jìn)行夾取時(shí)，需要找到合適的夾取點(diǎn)以及夾取角度，分析了部分種苗器官之間的位置關(guān)系，發(fā)現(xiàn)很多種苗的器官之間有固定的相對(duì)關(guān)系，且不會(huì)隨著種苗形狀改變而發(fā)生位置變化，于是本文將夾取點(diǎn)選擇在主干莖上，角度通過(guò)圖像處理的方法得到。由于種苗的形態(tài)不是固定的，傳統(tǒng)的圖像處理算法局限性太大，無(wú)法識(shí)別出每個(gè)種苗的姿態(tài)，所以本文中使用語(yǔ)義分割方法先對(duì)種苗進(jìn)行區(qū)域分割，再利用分割出來(lái)的黑色塊莖和主莖干的相對(duì)關(guān)系計(jì)算出種苗的位姿。如圖3 所示，將主干莖的質(zhì)心點(diǎn)S作為夾取點(diǎn)，G是黑色塊莖的質(zhì)心點(diǎn)，根據(jù)兩者固定的幾何關(guān)系，計(jì)算出夾取點(diǎn)的角度信息。分析了部分種苗的根莖關(guān)系，

圖3 種苗位姿估計(jì)Fig. 3 Seedling position estimation

2.2.1 基于改進(jìn)的BiseNetV2 的種苗語(yǔ)義分割

蝴蝶蘭種苗圖像主要分為4 部分，分別是葉片、莖干、根莖、黑色塊莖。這幾個(gè)部分姿態(tài)各異，傳統(tǒng)的閾值分割和色差分割算法難以對(duì)其進(jìn)行準(zhǔn)確識(shí)別和分割。為實(shí)現(xiàn)種苗自動(dòng)夾取系統(tǒng)高效準(zhǔn)確夾取，需要選擇識(shí)別效率高且準(zhǔn)確率較高的語(yǔ)義分割模型[23-25]，本文提出了新型的深度語(yǔ)義分割模型DP-BiseNetV2 對(duì)蝴蝶蘭種苗各組成部分進(jìn)行識(shí)別和分割。DP-BiseNetV2 的網(wǎng)絡(luò)結(jié)構(gòu)稱為融合位置注意力機(jī)制的雙邊分割網(wǎng)絡(luò)，整個(gè)網(wǎng)絡(luò)有兩個(gè)分支：語(yǔ)義分支和細(xì)節(jié)分支。語(yǔ)義分支具有深層和窄通道計(jì)數(shù)，允許快速下采樣和更多上下文語(yǔ)義信息，窄通道計(jì)數(shù)有助于提高速度。細(xì)節(jié)分支(DP-Branch)則相反，具有淺層和寬通道，因此可以將注意力集中在局部細(xì)節(jié)上，以減少細(xì)節(jié)損失，為了降低模型的計(jì)算量，同時(shí)提高模型的準(zhǔn)確度，將原始模型BiseNetV2 的細(xì)節(jié)分支中的普通卷積替換成了深度可分離卷積，并在細(xì)節(jié)分支中加入了位置注意力機(jī)制，顯著提高了準(zhǔn)確度。最后，通過(guò)引導(dǎo)聚合層將兩個(gè)分支的特征合并，以實(shí)現(xiàn)特征的互補(bǔ)融合。這種高效的網(wǎng)絡(luò)架構(gòu)在速度和準(zhǔn)確性之間提供了極好的平衡。我們將該網(wǎng)絡(luò)用于語(yǔ)義分割任務(wù)，并調(diào)整其數(shù)據(jù)加載部分以適應(yīng)數(shù)據(jù)集的形式。

DP-BiseNetV2 接收來(lái)自工業(yè)相機(jī)的圖片，并執(zhí)行像素級(jí)語(yǔ)義分割。對(duì)圖像上目標(biāo)對(duì)象的像素進(jìn)行分割和著色，最終輸出分割好的圖片。圖4是DP-BiseNetV2 的網(wǎng)絡(luò)結(jié)構(gòu)。圖中L1、L2、L3是深度可分離卷積(DWConv)， φ表示激活函數(shù)， ?和⊕分別表示元素乘法和元素加法，G1、G2、G3、G4表示聚集和擴(kuò)展層。位置注意力模塊中，reshape 表示將特征圖B、F、D的C×H×W格式重塑成C×N格式，transpose 表示將矩陣從C×N格式轉(zhuǎn)換成N×C格式，softmax 表示歸一化指數(shù)函數(shù)。

圖4 DP-BiseNetV2 網(wǎng)絡(luò)結(jié)構(gòu)Fig. 4 DP-BiseNetV2 network structure

2.2.2 求取夾取點(diǎn)坐標(biāo)及斜率

原圖和分割結(jié)果對(duì)比如圖5。

圖5 原圖和分割結(jié)果對(duì)比Fig. 5 Comparison of original image and segmentation result

DP-BiseNetV2 分割好的結(jié)果如圖5(b)所示，藍(lán)色部分代表背景，綠色部分代表主干莖，紅色部分代表黑色塊莖，深藍(lán)色和紫色分別代表葉片和根莖。上文介紹到，需要獲取的是夾取點(diǎn)和夾取點(diǎn)末端夾具的角度，所以只關(guān)注語(yǔ)義分割結(jié)果中蒙版的紅色部分和綠色部分。基于這一點(diǎn)，選擇將分割結(jié)果轉(zhuǎn)化為HSV 格式，HSV 顏色空間能通過(guò)調(diào)整hue(色調(diào))、saturation(飽和度)和value(亮度)3 個(gè)通道的參數(shù)選擇提取圖片中固定的顏色，可以把紅色部分(黑色塊莖) 和綠色部分(主干莖)單獨(dú)分離出來(lái)，如圖5(c)、5(d)所示。

如圖5 所示，將這兩部分分離出來(lái)之后，根據(jù)圖像矩的定義求兩部分的幾何中心，由于灰度圖密度分布均勻，所以幾何中心就是質(zhì)心，根據(jù)如下公式：

圖像的零階矩：

圖像的一階矩：

圖像的質(zhì)心為

其中：V(i,j)是點(diǎn)(i,j)處的像素值，圖像的零階矩表示像素值之和，一階矩表示橫坐標(biāo)和對(duì)應(yīng)像素值的乘積和縱坐標(biāo)和對(duì)應(yīng)像素值的乘積。

如此求出兩部分各自的質(zhì)心坐標(biāo)。將綠色主干莖的質(zhì)心S=(xS,yS)選為夾取點(diǎn)，紅色根莖的質(zhì)心為G=(xG,yG),在世界坐標(biāo)系中將S點(diǎn)和G點(diǎn)連接起來(lái)得到直線SG，計(jì)算SG的斜率kSG:

得到了夾取斜率后，根據(jù)斜率和角度的關(guān)系，即可求出夾取點(diǎn)角度θ。至此，已經(jīng)獲得了夾取點(diǎn)坐標(biāo)和夾取角度信息，記為(xS,yS,θ)。斜率和角度的關(guān)系為

如圖5(e)是夾取點(diǎn)角度示意圖。

2.3 夾取方案設(shè)計(jì)

作為整個(gè)系統(tǒng)的核心部分，夾取策略應(yīng)根據(jù)目標(biāo)位姿與當(dāng)前位姿之間的偏差，使機(jī)械手安全、準(zhǔn)確、快速地完成夾取動(dòng)作。夾取機(jī)械臂選擇JAKA-Zu3，該機(jī)械臂的本體結(jié)構(gòu)如圖6 所示，主要由6 個(gè)關(guān)節(jié)和2 個(gè)鋁制臂桿組成，基座用于機(jī)器人本體和底座連接，工具端用于機(jī)械臂與工具連接。另外，根據(jù)實(shí)驗(yàn)平臺(tái)的可操作空間和攝像頭的識(shí)別范圍，設(shè)計(jì)了一種小電機(jī)繩驅(qū)長(zhǎng)桿形狀?yuàn)A具來(lái)完成夾取任務(wù)。

圖6 機(jī)械臂本體結(jié)構(gòu)Fig. 6 Robotic arm body structure

2.3.1 末端夾具

機(jī)械臂的執(zhí)行末端機(jī)構(gòu)是進(jìn)行種苗夾取和移動(dòng)的部件，安裝部位在機(jī)械臂第6 個(gè)自由度的末端。根據(jù)作業(yè)要求，機(jī)械臂需要利用該夾具進(jìn)行取苗操作，并且需要在取苗之后，插入到培養(yǎng)基所在的敞口瓶中，考慮到這一過(guò)程種苗的姿態(tài)需要旋轉(zhuǎn)90°(如圖7 所示)，再以工業(yè)相機(jī)的準(zhǔn)確識(shí)別范圍和機(jī)械臂的工作空間為參考，將夾具的機(jī)械結(jié)構(gòu)末端設(shè)計(jì)成外形為“L”型，便于在工作時(shí)夾苗。

圖7 夾具工作示意圖Fig. 7 Fixture working diagram

2.3.2 夾取姿態(tài)分析

圖8 是末端夾具示意圖，夾取姿態(tài)如圖9 所示，由于種苗所處平臺(tái)是恒定水平的，在坐標(biāo)系OP中，ZP恒垂直于水平面，所以?shī)A取姿態(tài)的選擇中，末端坐標(biāo)系OJ只有ZJ軸是在旋轉(zhuǎn)的，結(jié)合上文講到Z軸的高度固定，所以機(jī)械臂的末端位姿(x,y,z,rx,ry,rz)中只有x、y、rz是變化量，其余的全部是固定值。這3 個(gè)未知量在2.2.2 節(jié)已經(jīng)求取，即夾取點(diǎn)坐標(biāo)和夾取角度。

圖8 末端夾具Fig. 8 End clamps

圖9 夾取時(shí)末端姿態(tài)Fig. 9 End posture during clamping

3 實(shí)驗(yàn)結(jié)果與分析

區(qū)別于大多數(shù)農(nóng)業(yè)機(jī)器人在戶外場(chǎng)景試驗(yàn)，本實(shí)驗(yàn)面對(duì)的是組織培養(yǎng)蝴蝶蘭種苗的移植，這需要無(wú)菌環(huán)境，因此，需要在室內(nèi)環(huán)境搭建工作臺(tái)。室內(nèi)搭建的工作臺(tái)背景比較簡(jiǎn)單，與圖像采集時(shí)使用的場(chǎng)景保持一致。

3.1 語(yǔ)義分割實(shí)驗(yàn)

3.1.1 評(píng)價(jià)指標(biāo)

夾取點(diǎn)識(shí)別主要由兩部分組成：語(yǔ)義分割和圖像處理。分割結(jié)果如圖5(b)所示，由于在圖像處理時(shí)的色彩是不變的，所以在圖像處理部分使用圖像一階矩求質(zhì)心。由于色彩的不變性，這一步的輸出結(jié)果是完全固定的。

在語(yǔ)義分割部分，選擇DP-BiseNetV2 為分割模型，采用幀率 (frame rate, FR)、均交并比(mean Intersection over Union，mIoU)、像素準(zhǔn)確度(pixel accuracy, pixAcc）和模型大小(Size)作為模型的評(píng)價(jià)指標(biāo)。mIoU 是語(yǔ)義分割的標(biāo)準(zhǔn)度量，計(jì)算所有類別交集和并集之比的平均值。mIoU 的公式為

式中：k是類別數(shù)，k+1 表示加上了背景類，i表示真實(shí)值，j表示預(yù)測(cè)值，pij表示將類別i預(yù)測(cè)為j的像素的數(shù)目，pji將類別j預(yù)測(cè)為i的像素的數(shù)目，pii表示實(shí)際類別為i、預(yù)測(cè)類別也為i的像素的數(shù)目。

像素準(zhǔn)確度用預(yù)測(cè)對(duì)的像素的數(shù)量除以總的像素?cái)?shù)量來(lái)反映準(zhǔn)確度，計(jì)算公式為

幀率是圖像處理領(lǐng)域中的定義，是指畫面每秒傳輸幀數(shù)，通俗來(lái)講就是指動(dòng)畫或視頻的畫面數(shù)。FR 是測(cè)量用于保存、顯示動(dòng)態(tài)視頻的信息數(shù)量。每秒傳輸幀數(shù)越多，所顯示的動(dòng)作就會(huì)越流暢。放在本實(shí)驗(yàn)中，是為了看模型處理一張圖片需要多長(zhǎng)時(shí)間，由于本系統(tǒng)要求盡量提高工作效率，需要識(shí)別速度盡量快，所以FR 是一個(gè)很關(guān)鍵的指標(biāo)。

3.1.2 種苗數(shù)據(jù)集獲取和標(biāo)注

種苗的數(shù)據(jù)集構(gòu)建使用工業(yè)相機(jī)分別對(duì)A 類蝴蝶蘭種苗、B 類蝴蝶蘭種苗、A 類模型苗和B 類模型苗等4 類種苗進(jìn)行拍攝，得到原始數(shù)據(jù)集(圖10(a))，然后對(duì)原始圖像用labelme 軟件進(jìn)行人工標(biāo)注，標(biāo)注完成后得到每幅圖像的JSON 數(shù)據(jù)(圖10(b))，然后把數(shù)據(jù)集格式改成Cityscapes 數(shù)據(jù)集格式，獲得對(duì)應(yīng)的掩膜圖片(圖10(c))，圖中紅色標(biāo)簽對(duì)應(yīng)的是種苗的葉，綠色部分是主干莖，黃色部分是根莖，藍(lán)色部分是黑塊莖，黑色是背景色。將標(biāo)注完的2 000 張A 類蝴蝶蘭種苗圖片按照8∶2 的比例隨機(jī)分為訓(xùn)練集和驗(yàn)證集，用于模型的有監(jiān)督訓(xùn)練。將500 張B 類蝴蝶蘭種苗和500 張A、B 兩類模型苗按照同樣方式進(jìn)行訓(xùn)練。

圖10 數(shù)據(jù)集構(gòu)建過(guò)程Fig. 10 Dataset construction process

3.1.3 種苗分割效果分析

為了測(cè)試語(yǔ)義分割模型對(duì)種苗的分割效果，實(shí)驗(yàn)中使用了A 類蝴蝶蘭種苗、B 類蝴蝶蘭種苗、A 類模型苗和B 類模型苗等4 種不同種類的種苗進(jìn)行訓(xùn)練和語(yǔ)義分割操作。DP-BiseNetV2 的分割結(jié)果如圖11 所示，圖11(a)是A 類蝴蝶蘭種苗的分割結(jié)果，圖11(b)是B 類蝴蝶蘭種苗的分割結(jié)果，圖11(c)、圖11(d)分別是A 類模型苗和B 類模型苗的分割結(jié)果。

圖11 不同種苗的分割結(jié)果Fig. 11 Segmentation results of different seedlings

在分割效果圖中，可以看出模型DP-BiseNetV2 能夠準(zhǔn)確地分割出4 類種苗的各組成部分，能夠?qū)⒎N苗的黑色塊莖和主干莖分割出來(lái)（即圖11中的紅色和綠色部分）。

3.1.4 A 類蝴蝶蘭種苗分割結(jié)果與分析

為了驗(yàn)證模型的先進(jìn)性和優(yōu)越性，本文以數(shù)據(jù)集圖像和數(shù)量最多的A 類蝴蝶蘭種苗作為整體實(shí)驗(yàn)對(duì)象，對(duì)比了BiseNet[26]、BiseNetV2[27]、DeeplabV3+[28]、DFANet[29]、DABNet[30]、Fast-SCNN[31]語(yǔ)義分割模型。設(shè)置mIoU、幀率、像素準(zhǔn)確率(pixAcc)和模型大小(Size)為評(píng)價(jià)指標(biāo)。對(duì)比實(shí)驗(yàn)中，保持模型所設(shè)置初始參數(shù)一致，輸入圖像分辨率大小為3 072×2 048，檢測(cè)結(jié)果如表1 所示。

表1 不同模型分割效果對(duì)比Table 1 Results of seedling cutting test

原始種苗的輸入圖像分辨率是3 072×2 048，在這樣的高分辨率情況下，能同時(shí)保證準(zhǔn)確度和處理圖片的速度是目前語(yǔ)義分割研究的熱門問(wèn)題。種苗數(shù)據(jù)集的背景為純色，分割部位與背景的顏色對(duì)比明顯，所以pixAcc 的結(jié)果均能達(dá)到較高指標(biāo)，DeeplabV3+不屬于輕量級(jí)語(yǔ)義分割模型，整體參數(shù)量和計(jì)算量都要比其余幾個(gè)模型大，模型大小為164.21 MB，雖然pixAcc 達(dá)到了較高的98.32%，但是該模型參數(shù)冗余量較大，影響推理速度。而本文提出的基于BiseNetV2 框架的DPBiseNetV2 的模型大小僅為11.63 MB，小于BiseNet-V2，并且mIoU 達(dá)到了63.51%，pixAcc 達(dá)到了98.28%，兩項(xiàng)指標(biāo)均領(lǐng)先于其他幾個(gè)模型，在處理圖片的速度上雖然不及Fast-SCNN，但是Fast-SCNN 的準(zhǔn)確率太低，無(wú)法勝任分割任務(wù)。權(quán)衡幾種模型的優(yōu)缺點(diǎn)，本文提出的DP-BiseNetV2 模型在保證分割精度的同時(shí)模型更輕量，推理速度較快，適合用于種苗的分割任務(wù)。DP-BiseNetV2 的檢測(cè)結(jié)果如圖12 所示。

圖12 A 類蝴蝶蘭種苗的分割結(jié)果Fig. 12 Results of segmentation of class A phalaenopsisseedlings

3.2 種苗夾取實(shí)驗(yàn)

為了驗(yàn)證方法的實(shí)際夾取效果，選取60 株A 類蝴蝶蘭種苗進(jìn)行實(shí)驗(yàn)。表2 給出了當(dāng)使用視覺(jué)系統(tǒng)引導(dǎo)夾具到指定的夾取位置，然后夾具夾取種苗所獲得的結(jié)果。如果滿足以下條件，則判定夾取操作成功：1)指定夾取點(diǎn)位于植株的主干莖上，2)夾取并抬起植株成功，3)橫移10 cm 種苗不脫落。

表2 種苗夾取實(shí)驗(yàn)結(jié)果Table 2 Results of seedling clamping experiments

種苗夾取實(shí)驗(yàn)現(xiàn)場(chǎng)如圖13 所示，圖13(a)的機(jī)械臂和夾具屬于待機(jī)狀態(tài)，經(jīng)過(guò)視覺(jué)系統(tǒng)檢測(cè)和坐標(biāo)轉(zhuǎn)換之后，將夾取點(diǎn)坐標(biāo)傳輸給機(jī)械臂控制系統(tǒng)，驅(qū)動(dòng)機(jī)械臂到達(dá)目標(biāo)位置，并驅(qū)使夾具夾取種苗。圖13(b)是機(jī)械臂和夾具已經(jīng)移動(dòng)到了夾取點(diǎn)正上方，圖13(c)是夾具已經(jīng)成功夾取種苗。

圖13 種苗夾取實(shí)驗(yàn)現(xiàn)場(chǎng)Fig. 13 Seedling clamping experiment site

夾取統(tǒng)計(jì)結(jié)果如表2 所示，其中完成夾取操作條件的種苗有49 株，成功率為81.7%。

不成功夾取統(tǒng)計(jì)中，其中有4 株種苗是因?yàn)樽R(shí)別過(guò)程中葉片遮擋住黑色塊莖，導(dǎo)致沒(méi)能分割出黑色塊莖和主干莖，進(jìn)行夾取點(diǎn)檢測(cè)時(shí)檢測(cè)不到夾取位置以致于角度求取失敗，機(jī)械臂無(wú)法調(diào)整夾取角度，導(dǎo)致夾取失敗；有5 株種苗因?yàn)橹鞲汕o比起正常種苗要幼小，為了保護(hù)種苗，末端夾具在投入使用前要調(diào)整好夾取力度，由于種苗的幼小使得夾取力度不夠大，導(dǎo)致在移動(dòng)過(guò)程中脫落；2 株種苗由于擺放角度超出機(jī)械臂的旋轉(zhuǎn)范圍，導(dǎo)致機(jī)械臂角度超限，作業(yè)失敗，機(jī)械臂之所以角度超限，是因?yàn)樵谠O(shè)計(jì)夾具之初，要考慮到夾取之后的栽種工作，以致于在夾取時(shí)調(diào)整角度并不是只調(diào)整機(jī)械臂第6 個(gè)自由度，而是調(diào)整至少3 個(gè)自由度，于是在夾取種苗過(guò)程中機(jī)械臂有可能會(huì)出現(xiàn)奇異點(diǎn)，從而導(dǎo)致夾取作業(yè)停止。

實(shí)驗(yàn)結(jié)果表明，正常條件下，該種苗自動(dòng)夾取系統(tǒng)能夠適應(yīng)大部分種苗的夾取作業(yè)，夾取失敗的案例是因?yàn)閭€(gè)別苗本身生長(zhǎng)結(jié)構(gòu)的偏差造成，在后續(xù)的改進(jìn)中，可以在視覺(jué)系統(tǒng)中針對(duì)這類苗進(jìn)行單獨(dú)分類，進(jìn)行單獨(dú)處理。

4 結(jié)束語(yǔ)

1)本文設(shè)計(jì)了一種基于語(yǔ)義分割視覺(jué)伺服的種苗自動(dòng)夾取系統(tǒng)，提出了輕量化語(yǔ)義分割模型DP-BiseNetV2 作為種苗識(shí)別檢測(cè)器，基于種苗自身結(jié)構(gòu)設(shè)計(jì)了由分割模板在HSV 空間分離引導(dǎo)的夾取點(diǎn)定位算法，通過(guò)手眼標(biāo)定建立視覺(jué)采集系統(tǒng)和夾取執(zhí)行系統(tǒng)間映射關(guān)系，配合機(jī)械臂夾取控制策略可以完成對(duì)蝴蝶蘭種苗的自動(dòng)化夾取作業(yè)。針對(duì)種苗的夾取需求設(shè)計(jì)了一種夾具，該夾具能在保證夾取末端穩(wěn)定、有效完成夾取作業(yè)。

2) 對(duì)比BiseNet、BiseNetV2、DeeplabV3+、DABNet、Fast-SCNN 等5 種常見(jiàn)的語(yǔ)義分割算法，輕量級(jí)語(yǔ)義分割算法DP-BiseNetV2 的mIoU 達(dá)到63.51%，幀率達(dá)到22.65 f/s，像素準(zhǔn)確率達(dá)到98.28%，模型大小為11.63 MB。

3)實(shí)驗(yàn)證明該種苗自動(dòng)夾取系統(tǒng)能在保證種苗結(jié)構(gòu)不被破壞的前提下有效完成夾取任務(wù)。在60 株種苗夾取試驗(yàn)中系統(tǒng)夾取合格率高于81.7%。

針對(duì)種苗各部位間可能存在的遮擋或重疊情況，需要控制機(jī)械臂先將種苗調(diào)整到系統(tǒng)可以操作的姿態(tài)，再進(jìn)行視覺(jué)系統(tǒng)識(shí)別和夾取，目前單機(jī)械臂難以完成如此復(fù)雜的夾取任務(wù)。下一步研究中，擬在視覺(jué)系統(tǒng)中采用識(shí)別復(fù)雜種苗的單一分支任務(wù)，單獨(dú)對(duì)復(fù)雜結(jié)構(gòu)種苗進(jìn)行特殊夾取。