果園環(huán)境下采摘機(jī)器人水果目標(biāo)識(shí)別的研究分析

徐曉婧 許來(lái)濤

（嘉興職業(yè)技術(shù)學(xué)院，浙江 嘉興 314000）

1 研究背景

農(nóng)業(yè)是國(guó)民經(jīng)濟(jì)的基礎(chǔ)。近幾年，我國(guó)的水果產(chǎn)業(yè)緊隨糧食產(chǎn)業(yè)和蔬菜產(chǎn)業(yè)之后，成為第三大種植業(yè)［1］。2018年、2019年、2020年我國(guó)的水果產(chǎn)量分別為2.55億t、2.62億t、2.7億t［2］。為滿足人們的日均水果攝入量需求，預(yù)計(jì)我國(guó)未來(lái)幾年的水果產(chǎn)量將會(huì)保持持續(xù)增長(zhǎng)的趨勢(shì)。

與此同時(shí)，水果產(chǎn)業(yè)的一些問(wèn)題也隨著市場(chǎng)競(jìng)爭(zhēng)的加劇而日益凸顯。地段、價(jià)格已經(jīng)不再是影響產(chǎn)業(yè)鏈的主要因素，智能化的種植、精細(xì)化運(yùn)營(yíng)管理成為關(guān)鍵。要滿足新時(shí)代農(nóng)業(yè)發(fā)展需求，必須加快農(nóng)業(yè)現(xiàn)代化建設(shè)，加快新技術(shù)、新產(chǎn)品研發(fā)。傳統(tǒng)行業(yè)和新技術(shù)有機(jī)結(jié)合的一個(gè)典型案例就是機(jī)器人在現(xiàn)代農(nóng)業(yè)采摘中的應(yīng)用，這對(duì)于引領(lǐng)傳統(tǒng)水果產(chǎn)業(yè)迅速邁向智能化、自動(dòng)化和規(guī)模化發(fā)展具有重大意義。

嘉興地區(qū)很早就開始了葡萄栽培。目前，當(dāng)?shù)仄咸逊N植面積高達(dá)8 580 hm2，年產(chǎn)優(yōu)質(zhì)葡萄18.27萬(wàn)t［3］。30多年的商品化種植使葡萄產(chǎn)業(yè)成了嘉興市農(nóng)民增收的一條重要途徑，葡萄逐漸成了嘉興農(nóng)業(yè)的一張“金名片”［4］。

葡萄果期在每年的7—9月。此時(shí)正值夏季，高溫給本就繁重的采摘分揀工作增加了難度。人工分揀既費(fèi)時(shí)又費(fèi)力，而且增加了果農(nóng)的種植成本。提高采摘實(shí)時(shí)性和工作效率、降低生產(chǎn)成本的有效途徑之一是利用采摘機(jī)器人。

對(duì)于采摘機(jī)器人來(lái)說(shuō)，其視覺系統(tǒng)對(duì)水果的識(shí)別和定位能力決定了采摘的作業(yè)效率和自動(dòng)化程度，是能否準(zhǔn)確成功采摘水果的關(guān)鍵因素。但是自然環(huán)境下，準(zhǔn)確識(shí)別目標(biāo)水果還是比較困難，很多學(xué)者都把研究目光投向這個(gè)領(lǐng)域。

2 國(guó)內(nèi)外研究現(xiàn)狀和發(fā)展趨勢(shì)

20世紀(jì)70年代，水果圖像識(shí)別技術(shù)就已經(jīng)開始被研究。果蔬采摘機(jī)器人的概念最早是被Schertz和Brown在20世紀(jì)70年代提出，水果檢測(cè)主要是利用果實(shí)和樹葉的電磁光譜反射；2006年，在自然環(huán)境下的葡萄識(shí)別中，Chamelat用到了顏色信息、Zemike距；2010年，Shebiah通過(guò)小波變換統(tǒng)計(jì)特征最小距的分類，并且融入果實(shí)的紋理和顏色，進(jìn)行果實(shí)識(shí)別［5］；Berenstein等人也在同年進(jìn)行葡萄識(shí)別時(shí)，用到了果實(shí)及枝葉邊緣分布的差異性；2013年，Bansal等人通過(guò)比較樹葉和果實(shí)的快速傅里葉變換獲得閾值，從而開發(fā)了一種從室外圖像中檢測(cè)綠色未成熟柑橘類水果的技術(shù)［6］；2015年，F(xiàn)ont等人進(jìn)行自適應(yīng)閾值分割處理時(shí)，用到了HSV顏色空間中的H分量對(duì)圖像進(jìn)行處理；Rizon等人利用隨機(jī)霍夫變換，采用紋理特征參數(shù)和形態(tài)算子結(jié)合的方式識(shí)別被遮擋的水果果實(shí)，并取得了較好的成效；2017年，Bargoti等人對(duì)蘋果進(jìn)行圖像處理和分割時(shí)用到了卷積神經(jīng)網(wǎng)絡(luò)和多尺度多層感知器兩種算法。

相比于國(guó)外，我國(guó)開展水果圖像自動(dòng)識(shí)別的研究較晚。熊俊濤等人識(shí)別出荔枝的果實(shí)和枝梗時(shí)，用到Retinex算法濾除圖像噪聲，在YCbCr顏色空間中分割目標(biāo)的Cr分量［7］；Feng等人提取HSI顏色空間的H分量和幅度作為融合的圖像，對(duì)果實(shí)識(shí)別具有更好的穩(wěn)健性和準(zhǔn)確性［8］；毛亮等人對(duì)荔枝進(jìn)行圖像分割時(shí)，用到了HSV彩色空間中的H分量的旋轉(zhuǎn)分量［9］；孫颯爽等人通過(guò)三點(diǎn)定圓法來(lái)進(jìn)行果實(shí)識(shí)別，這里面用到了Ncut算法和GrabCut模型提取出果實(shí)之間的遮擋區(qū)域［10］；羅陸峰等人利用改進(jìn)的蟻群聚類算法，使葡萄的識(shí)別準(zhǔn)確率達(dá)到了90.33%［11］。

目前，基于模糊聚類的分割和色彩空間的閾值分割、基于形狀模板的檢測(cè)是國(guó)內(nèi)外研究者對(duì)水果目標(biāo)識(shí)別的主要方法。雖然相關(guān)領(lǐng)域的算法已經(jīng)很多，但是因?yàn)樗幁h(huán)境變化多樣，使得很多算法只適用于某個(gè)特定的環(huán)境或是某個(gè)特定類型的水果品種，其通用性較差。除此之外，果實(shí)被樹枝、樹葉或其他果實(shí)遮擋的現(xiàn)象普遍存在，目前常用的識(shí)別算法不能運(yùn)用于所有遮擋情況，具有一定的局限性［12］。

3 擬解決的關(guān)鍵科學(xué)問(wèn)題

3.1 成串綠色葡萄的特征提取

在自然環(huán)境下，對(duì)果實(shí)目標(biāo)進(jìn)行識(shí)別時(shí)，可根據(jù)果實(shí)顏色特征分為果實(shí)與背景顏色差異較大、果實(shí)與背景顏色相近這兩種情況。其中，在果實(shí)與背景顏色相近的情況下，僅僅依靠顏色特征難以將目標(biāo)區(qū)域提取出來(lái)，并且其識(shí)別效果較差、精確度低。因此，基于顏色和紋理兩個(gè)空間角度對(duì)葡萄果實(shí)進(jìn)行特征的分析和提取，能極大地提高識(shí)別率、精確度。

3.2 果園環(huán)境里的葡萄識(shí)別算法和圖像分割

目前，在對(duì)葡萄果實(shí)的圖像分割和識(shí)別中，對(duì)紫色葡萄的識(shí)別率已經(jīng)在90%以上，但是對(duì)綠色葡萄的目標(biāo)識(shí)別效果還不太理想。例如，僅通過(guò)顏色空間特征，利用樣本值分割圖像，對(duì)紫色葡萄的識(shí)別率較高，而綠色葡萄僅為52%。而且傳統(tǒng)的模糊聚類算法常帶來(lái)局部最優(yōu)問(wèn)題，使目標(biāo)果實(shí)的識(shí)別陷入困境。因此，利用基于紋理特征的支持向量機(jī)、（SVW）基于顏色空間的Otsu閾值分割辦法和AdaBoost算法，既能加快采摘機(jī)器人識(shí)別速度，又能提高圖像分割的準(zhǔn)確率。

4 研究?jī)?nèi)容

水果采摘機(jī)器人在進(jìn)行采摘前，首先要在復(fù)雜的環(huán)境中把水果識(shí)別出來(lái)，然后再根據(jù)果實(shí)的成熟度來(lái)決定是否采摘［13］。但因?yàn)樽匀画h(huán)境的復(fù)雜性和不確定性，以及果實(shí)受光照、枝葉等環(huán)境因素的干擾較大，使得采摘機(jī)器人對(duì)果實(shí)的目標(biāo)識(shí)別成為了難題。

針對(duì)不同的水果，有的利用基于紋理、形狀的識(shí)別方法，有的利用基于色彩空間的識(shí)別算法。研究對(duì)象是綠色陽(yáng)光玫瑰葡萄，其果實(shí)顏色和樹葉顏色相對(duì)接近，在一定程度上加大了果實(shí)目標(biāo)識(shí)別的難度。因此，先分析果實(shí)圖像的顏色特征，采用基于Otsu閾值算法對(duì)圖像進(jìn)行初步的分割；然后通過(guò)圖像紋理特征，采用支持AdaBoost算法和向量機(jī)（SVW）算法對(duì)圖像進(jìn)行進(jìn)一步的精細(xì)化處理，從而獲得準(zhǔn)確的陽(yáng)光玫瑰葡萄識(shí)別圖像。具體流程見圖1。基于此，此項(xiàng)研究包括以下兩大塊內(nèi)容。

圖1 葡萄圖像分割與識(shí)別流程

一是基于顏色空間的初步檢測(cè)處理，包括顏色空間及特征分析、顏色分類提取、Otsu閾值算法進(jìn)行初步分割三個(gè)方面。

二是基于紋理的精確檢測(cè)處理，包括基于LBP的支持向量機(jī)（SVM）算法、基于LBP的adaboost算法、兩種算法的精確度比較三個(gè)方面。

本項(xiàng)目旨在研究基于顏色及紋理兩種外在特征基礎(chǔ)下的圖像分割算法，分析不同算法的果實(shí)識(shí)別率及其精確度，實(shí)現(xiàn)在自然環(huán)境下對(duì)葡萄果實(shí)識(shí)別率達(dá)到90%以上的目標(biāo)，從而為采摘機(jī)器人準(zhǔn)確定位及實(shí)施采摘行為奠定基礎(chǔ)。

5 結(jié)語(yǔ)

2019年嘉興市優(yōu)質(zhì)葡萄的年產(chǎn)量達(dá)18.27萬(wàn)t，葡萄的種植和采摘工作相比其他水果品種對(duì)勞動(dòng)力的需求更大。若將采摘機(jī)器人應(yīng)用于其中，能大大降低勞動(dòng)強(qiáng)度、節(jié)約生產(chǎn)成本、提高生產(chǎn)效率，能產(chǎn)生很大的經(jīng)濟(jì)效益。對(duì)葡萄果實(shí)的圖像分割和識(shí)別，是采摘機(jī)器人視覺系統(tǒng)中果實(shí)采摘點(diǎn)空間位置確定的基礎(chǔ)，直接影響采摘機(jī)器人工作的精確性和效率。

隨著不斷深度學(xué)習(xí)，傳統(tǒng)的圖像識(shí)別方式已經(jīng)被逐漸淘汰。通過(guò)構(gòu)建多層深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，模擬人類大腦的認(rèn)知規(guī)律，并將其運(yùn)用于農(nóng)業(yè)自然環(huán)境下的果實(shí)目標(biāo)識(shí)別，將會(huì)是一個(gè)非常有潛力的方向和研究重點(diǎn)。