基于深度學習的多品種鮮食葡萄采摘點定位*

李惠鵬，李長勇，李貴賓，陳立新

(1. 新疆大學機械工程學院，烏魯木齊市，830047； 2. 機械制造系統工程國家重點實驗室，西安市，710054)

0 引言

中國是一個農業大國，在2020年我國葡萄產量高達14 314 kt[1]。現在種植的葡萄主要分為釀酒葡萄和鮮食葡萄。對于釀酒葡萄，市面上已經有了許多類型的葡萄收獲機。但鮮食葡萄由于其品種繁多、生長環境復雜以及無損采摘的要求，目前仍依靠人工進行采摘。在農業勞動力緊缺、采摘成本不斷增加的情況下，使用葡萄采摘機器人代替人工采摘具有重大的意義和廣闊的市場前景[2]。

葡萄采摘點的定位主要分為果實的分割和采摘點的確定。許多分割方法已經被應用到水果的采摘中。梁喜鳳等[3]采用了形態學的多尺度提取和番茄邊界提取相結合的方法實現了對番茄的分割。Xiong等[4]首先將RGB圖像轉化到YIQ顏色模型中，并采用模糊聚類的方法實現了夜間荔枝的準確分割。苗玉彬等[5]提出了一種基于Zernike矩邊緣檢測的分水嶺算法，用于葡萄輪廓的特征提取。同時，很多算法也被應用在水果采摘過程中以完成果實的圖像分割，主要包括Otsu[6]算法、蟻群算法[7]和k-means[8]聚類算法等。

在采摘點定位中，羅陸峰等[9]提出了點線最短距離法來確定葡萄采摘點。熊俊濤等[10]通過擾動葡萄來計算葡萄單擺運動的周期和擺角進而確定采摘點。張同勛等利用模板匹配的方法來識別葡萄并確定采摘點。Xiong等[4]對荔枝的果梗處使用Harris角點檢測，通過分析角點之間的水平和垂直位置的變化率來確定采摘點。雷旺雄等[11]對葡萄果梗區域使用角點檢測，然后對角點數據進行分析，進而確定采摘點。

傳統算法只對單一品種的葡萄有較好的分割效果，當葡萄顏色與背景顏色相似時，葡萄圖像分割精度下降，導致采摘點的定位誤差增大。為解決鮮食葡萄采摘過程中采摘點定位精度低、定位速度慢的問題，本文利用PSPNet語義分割模型對葡萄圖像進行分割，同時利用果梗邊緣搜尋的采摘點定位方法，實現多品種鮮食葡萄采摘點的快速準確定位。

1 材料與方法

1.1 圖像獲取與采摘系統

1.1.1 圖像獲取

在本試驗中，于2020年7—9月多次在新疆石河子葡萄田中使用松下G95相機(5 184 pixels×3 888 pixels)采集不同光照、不同角度的葡萄圖像。采集時距離目標約60～150 cm之間，葡萄圖像的光照條件包括晴天順光、晴天逆光、晴天遮陰。采集完成后將圖像尺寸統一調整至720像素×960像素。采集樣本信息如表1所示。本文共采集克瑞森、陽光玫瑰、紅提、黑金手指4種葡萄，樣本中的葡萄包含不同的表皮顏色和不同的果實形狀。共采集葡萄圖像2 859幅，挑選出360幅葡萄圖像用于分割定位試驗，1 749幅制作訓練集，375幅制作測試集，375幅制作驗證集，訓練集、測試集、驗證集的比例約為7∶1.5∶1.5。利用Labelme對數據集進行標注，標注文件與原始圖片以VOC2007數據集的格式進行存放。

表1 葡萄圖像信息Tab. 1 Grape image information

1.1.2 采摘系統

采摘平臺主要由視覺系統和采摘系統組成。視覺系統由CCD相機和固定支架組成，CCD相機的型號為Basler aca1300-60gc，圖像分辨率為1 280 pixels×1 024 pixels。采摘系統由6軸機械手臂和氣動夾持器組成，六軸機械臂采用ER3A-C60型6軸多關節型機器人。葡萄采摘模擬試驗平臺如圖1所示。

圖1 葡萄采摘模擬平臺

1.2 圖像分割算法

葡萄采摘點的求解分為兩步：第一步對圖像中的葡萄進行識別分割，第二步利用分割圖像的參數設置興趣區域，在興趣區域內部確定采摘點的位置。常用的傳統分割算法有k-means、Otsu、分水嶺算法等。傳統的分割算法在光照不均的復雜環境下分割精度會明顯下降。常用語義分割的算法主要有SegNet[12]、PSPNet[13]、RefineNet[14]、DeepLabv1[15]、DeepLabv2、DeepLabv3、U-Net[16]等。基于卷積神經網絡的分割算法魯棒性好，能夠適應不同的光照場景。本文選用PSPNet(MobileNetv2)[17]語義分割網絡分割葡萄。

1.2.1 PSPNet語義分割

PSPNet語義分割模型主要分為主干特征提取網絡、金字塔池化網絡、預測網絡3個部分。模型結構如圖2所示。本文使用MobileNetV2[18]作為PSPNet模型的主干特征提取網絡，其網絡各層結構如表2所示。

本文使用的PSPNet模型主干網絡共有8層，其中：conv2d為普通卷積，bottleneck為反向殘差結構的深度可分離卷積，t表示中間卷積通道的擴張系數，c表示輸出通道個數，m表示該層的重復次數；s表示卷積的步長。網絡在提取特征時大量地使用了深度可分離卷積，減少了模型的參數量，提高了檢測速度。在主干特征提取網絡的最后兩層使用了空洞卷積，增大了網絡的感受野，提高了模型的分割精度。

圖2 網絡結構

表2 MobileNetV2網絡各層結構Tab. 2 MobileNetV2 network layer structure

主干網絡提取到葡萄的特征層后，金字塔池化網絡將特征層劃分成1×1、2×2、3×3、6×6的網格，在每個網格內進行平均池化。該網絡能夠聚合不同區域的上下文信息，從而提高獲取全局信息的能力。將得到的特征進行上采樣，使得輸出層與輸入層有相同的尺寸，最后利用Softmax函數對圖片中的每一個像素分類，獲得每一個像素屬于葡萄的概率。Softmax損失函數計算如式(1)所示。

(1)

式中：n——預測類別總數；

fi——樣本i的預測輸出；

fj——樣本j的預測輸出。

1.2.2 模型評估

為了驗證本文提出方法對葡萄圖像分割的有效性，本文采用Recall、MPA和MIoU對訓練好的模型進行評估。假設圖像分類類別為k+1，pij為本屬于i類但被預測為j的像素數量，pji為本屬于j類但被預測為i的像素數量，pii為真實像素數量，評價語義分割指標的計算公式如下。

1)Recall表示對每一類真實像素預測正確的概率，計算如式(2)所示。

(2)

2)MPA(Mean Pixel Aaccuracy)表示對每一類預測正確總像素的比例的平均值，計算如式(3)所示。

(3)

3)MIoU(Mean Intersection over Union)表示數據集中每一個類的交并比的平均值，計算如式(4)所示。

(4)

1.3 使用自適應閾值果梗方向Canny邊緣檢測定位采摘點

葡萄采摘機器人采摘過程中，獲取采摘點的精確位置是一個關鍵的步驟。利用語義分割尋找果梗的成功率較低，因此本文采用尋找果梗特征的方法來獲取采摘點。首先去除語義分割后的圖像上的小面積區域，然后利用分割區域的信息獲取葡萄的質心坐標、最高點坐標、外接矩形，利用這些參數在葡萄上方設定一個矩形的興趣區域，在興趣區域內部進行自適應閾值果梗方向Canny邊緣檢測；對檢測到的果梗邊緣信息進行累計概率霍夫變換檢測直線并進行直線擬合；擬合直線與興趣區域水平對稱軸的交點作為采摘點。

1.3.1 設定興趣區域

葡萄在重力的作用下普遍呈現向下懸掛的姿態，為了提高采摘點的定位速度，減少計算機的數據處理量，本文在葡萄上方設定興趣區域求解采摘點。選取葡萄圖像的最高點作為興趣區域的最低點，設置興趣區域的高ROI_H=0.1Hmax，興趣區域以X=X0作為垂直對稱軸，Hmax為葡萄果實的最大高度，興趣區域的寬ROI_W=0.4Wmax，Wmax為葡萄外接矩形的最大寬度，興趣區域模型圖如圖3所示。

圖3 興趣區域模型

1.3.2 對興趣區域進行自適應閾值果梗方向Canny邊緣檢測

由于葡萄的生長環境復雜，在興趣區域內部中同時存在枝葉、枝干、葡萄果梗及其他背景，其中葡萄果梗具有規律的朝向，因此本文將35°～145°的區域定義為果梗方向(圖4)，其余方向定義為非果梗方向。

圖4 果梗方向示意圖

本文利用自適應閾值果梗方向Canny邊緣檢測提取果梗的邊緣，忽略非果梗方向的邊緣。該方法首先利用高斯濾波對興趣區域的圖像降噪。其次使用Sobel垂直算子對降噪后的興趣區域進行卷積計算，進一步得到圖像的梯度幅值。像素點的梯度方向與邊緣方向正交，對于邊緣方向為[0°，35°]和[145°，180°]兩個區間內的邊緣進行抑制。然后將圖像分為A1，A2，A3三類，其中A1代表圖像中的非果梗邊緣點，其包含的梯度幅值分別為{t1，t2，…，tk}，A2代表圖像中需要判斷是否為果梗邊緣點的點，其包含的梯度幅值分別為{tk+1，tk+2，…，tm}，A3代表圖像中的果梗邊緣點，其包含的梯度幅值分別為{tm+1，tm+2，tL}[19-20]。利用各個像素的梯度幅值求出圖像梯度分布概率

(5)

式中：N——葡萄圖像總的像素數；

nj——梯度幅值等于tj的像素數。

根據圖像梯度分布概率計算整個區間的梯度期望

(6)

根據區間梯度期望可以求出A1、A2、A3類中的梯度幅值期望

(7)

最后計算類間方差的最大值，最大值對應的tk、tm的值作為Canny邊緣檢測的高低閾值，即為A1、A2、A3的分界點，σ2(k,m)的計算公式如式(8)所示。

(8)

利用自適應閾值果梗方向Canny邊緣檢測之后，葡萄的枝干、枝葉等背景信息明顯被抑制，葡萄果梗邊緣信息得到了保留。自適應閾值果梗方向Canny邊緣檢測處理過程如圖5所示。

(a) 原圖 (b) Canny邊緣檢測

(c) 自適應閾值 (d) 最終結果

1.3.3 求解采摘點

在經過自適應閾值果梗方向Canny邊緣檢測后，利用累計概率霍夫變換對檢測到的線段進行直線檢測。將累加平面閾值設置為4、最低線段長度設置為k，可有效地將噪聲點線段去除，保留的線段大概率為果梗輪廓。k的計算公式為

(9)

最后對累計概率霍夫變換求到的直線進行直線擬合，本文采用的距離函數

(10)

其中C=2.984 6。

將擬合直線與興趣區域水平對稱軸的交點確定為葡萄的采摘點。采摘點求解過程如圖6所示。

(a) 直線檢測 (b) 直線擬合

(c) 確定采摘點

2 試驗結果與分析

2.1 葡萄分割試驗

本文試驗平臺硬件為CPU intel i5-8500，運行頻率為3.00 GHz，核心數為6個，內存為12 G，硬盤為256 G固態硬盤，操作系統為Win 10操作系統，GPU為GTX 1050Ti。軟件配置的環境是python3.7、tensorflow2.2.0、CUDA10.1。本文所有對比試驗均在該平臺下運行。

在訓練過程中本文采用了遷移學習。首先利用PSPNet(MobileNetv2)對PASCAL-VOC2012訓練200個epoch。用MAP最好的權重文件作為訓練葡萄數據集的預訓練權重。利用制作的葡萄數據集進行訓練，Batch Size大小設置為2，訓練200個epoch。在葡萄圖像分割中，只需要設置兩個類，一個類是葡萄，一個類是背景。訓練采用Adam優化器，初始學習率設置為0.001，當訓練集損失函數在連續3個訓練周期沒有衰減時，學習率變為原來的1/2。在訓練過程中利用Tensorboard將數據保存在日志文件中，每訓練1個周期保存1次。根據生成的權重文件計算MAP、MIoU。本文葡萄分割系統中的優先級為MAP>MIoU。在第168個epoch時生成權重文件的MAP最高。

利用U-Net、PSPNet(RseNet50)和PSPNet(MobileNetv2)模型在相同的訓練參數下進行200個epoch的訓練，挑選出MAP最高的模型作為試驗模型對375張測試集葡萄圖進行分割試驗，試驗對比結果如表3所示。

表3 3種網絡性能指標Tab. 3 Three network performance indicators

由表3可知，PSPNet(MobileNetv2)模型的MAP和MIoU分別為97.73%和95.49%。其中MAP比U-Net模型高0.94%，比PSPNet(RseNet50)模型高2.05%。PSPNet(MobileNetv2)模型的檢測速度為23.12幀/s，是U-Net模型的5.05倍，是PSPNet(RseNet50)模型的2.66倍。本文采用的PSPNet(MobileNetv2)模型在分割葡萄方面具有更高的分割精度和分割速度。

2.2 采摘點定位試驗

為驗證本文定位采摘點方法的準確性，本文分別在晴天順光、晴天逆光、晴天遮陰3種光照條件下采集克瑞森、陽光玫瑰、紅提、黑金手指4個品種的葡萄圖像各30張，共計360張葡萄圖像進行采摘點定位試驗。

為分析采摘點定位精度，設置興趣區域內的果梗區域為A，本文引入像素定位誤差σ。

(11)

式中：x、y——計算的采摘點像素坐標；

xi、yi——果梗區域坐標；

σ——采摘點到果梗區域內最短的歐氏距離。

當采摘點位于果梗區域內時，σ=0，果梗直徑設為d，當σ小于0.5 d時，均算準確定位。

本文利用Photoshop軟件測量計算出采摘點到果梗的像素定位誤差。圖7為克瑞森、紅提、黑金手指、陽光玫瑰4種葡萄的定位過程。表4為克瑞森、陽光玫瑰、紅提、黑金手指在3種光照條件下的采摘點定位誤差。

從表4可以看出，本文算法的平均定位誤差為0.129d，平均定位速度為237.3 ms。在晴天遮陰情況下采摘點的定位誤差為0.121d，比晴天逆光條件下低0.008d，比晴天順光條件下低0.16d。當光照強度較大時，容易產生曝光過度的現象，導致果梗與枝干、枝葉等干擾物體的對比度降低，導致定位誤差增大。當葡萄果梗較直時，有利于Hough變換檢測直線段，采摘點定位精度較高，采摘點會定位在果梗上(如圖7(d)、圖7(h)、圖7(p)所示)。當果梗存在彎曲時定位精度會略微下降，這是由于非果梗方向的梯度幅值抑制使邊緣線段被打斷，從而導致累計概率霍夫變換檢測到的果梗上的直線變少、噪聲占比增加使得定位誤差增大。當興趣區域內存在多個豎直方向的果梗或枝干時，算法無法抑制非果梗的邊緣，檢測出的所有邊緣都成為直線擬合的點集，會增大定位誤差(如圖7(l)所示)。

在360張試驗樣本中278個樣本定位在了葡萄果梗上，53個樣本的σ小于0.5d，331個樣本定位成功，29個樣本的σ大于0.5d，定位成功率為91.94%。在29個定位失敗的樣本中9個樣本是由于果梗處有枝葉遮擋導致，20個樣本是由于豎直方向上有枝條、枝干干擾導致。本文方法在晴天順光、晴天逆光、晴天遮陰3種光照條件下定位成功率為91.94%，運行時間為187.47 ms。

(a) 原圖

(b) 求解質心

(c) 定位結果

(e) 原圖

(f) 求解質心

(g) 定位結果

(h) 局部放大圖

(i) 原圖

(j) 求解質心

(k) 定位結果

(l) 局部放大圖

(m) 原圖

(n) 求解質心

(o) 定位結果

(p) 局部放大圖

表4 不同光照下的采摘點定位誤差和定位時間Tab. 4 Positioning error and positioning time of picking points under different illumination

2.3 采摘試驗

為了進一步驗證本文算法對葡萄采摘點定位的可行性，本文模擬搭建試驗平臺進行葡萄采摘試驗。相機曝光時間參數設置為5 000，末端執行器夾持器的開口設置為10 mm。采摘結果如表5所示。

表5 試驗結果Tab. 5 Experiment results

在200次采摘試驗中，171串葡萄采摘成功，29串葡萄采摘失敗，采摘成功率為85.5%。黑金手指葡萄采摘成功率最高是因為葡萄與背景差異大，有利于分割，葡萄果實重且果梗筆直，有利于采摘點的定位。陽光玫瑰葡萄與枝葉顏色相近，分割準確率降低導致采摘點定位誤差大，采摘失敗率增加。在采摘失敗的樣本中，因為采摘點定位失敗而導致采摘失敗的有18串，而因為左相機和右相機特征點匹配失敗導致采摘點三維位置信息計算錯誤的有11串。

3 結論

1) 為了準確地分割葡萄圖像，本文對PSPNet網絡進行了改進。通過對比U-Net、PSPNet(RseNet50)和PSPNet(MobileNetv2)三種模型，本文采用的PSPNet(MobileNetv2)模型對于不同品種的葡萄具有更好地分割效果，平均分割精度為97.73%，分割速度為23.12幀/s。

2) 為了快速準確地定位葡萄采摘點，本文提出了一種果梗搜尋的采摘點定位方法。通過對克瑞森、陽光玫瑰、紅提、黑金手指4種葡萄在晴天順光、晴天逆光、晴天遮陰3種光照條件下進行采摘點定位試驗，證明了該方法的可行性，該方法的采摘點定位準確率為91.94%，運行時間為187.47 ms。在模擬試驗中葡萄采摘成功率為85.5%。

3) 本文算法能夠滿足葡萄采摘機器人對多品種鮮食葡萄采摘點的定位需求，為葡萄采摘機器人高效地采摘多品種鮮食葡萄提供了新思路。