蘋果機器人采摘存在的關鍵問題及對策

陳光明， 孔浩然， 章永年， 李佩娟

(1.南京農業大學工學院，江蘇南京210031；2.江蘇省智能化農業裝備重點實驗室，江蘇南京210031；3.南京工程學院工業中心/創新創業學院，江蘇南京211167)

在世界各國推廣農業機械化的歷史進程中，大多數國家都認識到果蔬采收技術的機械化水平是阻礙農業機械化水平提高的主要障礙之一[1]。果蔬采收存在周期短、采收時期集中、工作強度高的問題，并且采收工作量占總工作量的比例大、勞動力短缺、人工成本高等問題較多[2-3]。因此，降低采收工作強度、提高果蔬采收效率和采收機械智能化水平，是提高中國農業現代化水平的內在必然要求[4]。

基于電動的蘋果采摘機器人關鍵系統組成如圖1所示。一款適用于商業化要求的采摘機器人系統一般由信息采集系統、控制系統、機械系統、能源裝置等組成。信息采集系統由各種傳感器組成，包括相機、全球定位系統(GPS)及各種類型的傳感器，主要負責收集各種信息，并將其傳遞給控制系統；控制系統會對各種信息進行處理分析，進而控制機械系統進行整機和機械臂移動以及控制末端執行器進行采摘等動作；機械系統作為執行機構，完成控制系統指定的命令。本研究通過研究分析近年來國內外蘋果采摘機器人的最新研究成果，對采摘機器人關鍵系統面臨的難點進行分析，并提出相應對策。

1：雙目攝像頭；2：柔性夾爪；3：協作機械臂；4：下果臺；5：柔性夾爪控制箱；6：協作機械臂控制箱；7：顯示器；8：工控機；9：電機驅動器；10：全球定位系統(GPS)天線；11：電氣箱；12：履帶式移動底盤；13：鋰電池系統。圖1 雙臂式蘋果采摘機器人示意圖Fig.1 Schematic diagram of double-arm apple picking robot

1 國內外有關蘋果采摘機器人的研究進展

美國在20世紀40-50年代便實現了大田作物生產全過程的機械化，并開始進行水果生產機械化的研究。在20世紀50年代末，美國研究人員在世界范圍內開始了蘋果機械收獲的研究，并取得了很多成果，日本、荷蘭等國同樣處于領先地位。然而目前國內大多數智能采摘機器人的研究僅處于設計和試驗驗證階段，與大多數發達國家相比，中國農業采摘機器人的智能化程度還有很大的發展空間[5-6]。

1.1 國外蘋果采摘機器人的研究現狀

圖2是美國一家創業公司于2016年開發的一款負壓式蘋果采摘機器人，它能通過其搭載的三維掃描雷達實現自動駕駛，通過人工智能技術實現基于視覺的蘋果及其質量的實時探測，使用負壓式末端執行器從果樹上吸取蘋果，從而降低果損率，并開發了機器人自動操作軟件，單果采摘耗時2 s。然而，由于負壓管道運動距離較短，因此很難從樹冠內部摘取蘋果。

圖2 負壓式蘋果采摘機器人Fig.2 Picking robot of apples based on negative pressure

為了解決上述機器人負壓管道運動距離較短的問題，2021年美國密歇根州立大學的Zhang等[7]對機械系統進行了優化，其開發的氣動式長沖程蘋果采摘機器人如圖3所示。采摘機構在云臺模塊的基礎上增加了1個棱柱關節，以擴大機械手工作空間的深度，棱柱關節是1個行程長度為0.61 m的氣動無桿氣缸和1個滑塊組成，氣動系統由1臺113.56 L的空氣壓縮機驅動，使采摘系統可以在1 s內完成整個行程；末端執行器采用直徑為0.064 m的軟硅膠真空杯，采摘時其貼合蘋果以降低果實損傷率。機器人收獲單個蘋果的總時長為8.8 s，在無人控制的情況下，采摘成功率為64%[7]。目前，該機器人仍處于試驗階段，沒有配套果實收集轉運系統。

圖3 氣動式長沖程蘋果采摘機器人Fig.3 Picking robot of apples based on pneumatic type

圖4為以色列一家科技公司于2017年公布的水果收獲機FFRobot，其能夠將成熟、健康的蘋果與其他蘋果加以區分并進行精確定位。各機械手均采用3個單關節手指的結構，手指內部呈弧形并配有柔質護墊，模仿人手抓取蘋果時的形態，抓取蘋果后，通過扭轉或旋轉方式從樹上摘下蘋果，采摘成功率為85%。雖然機械手的運動沖程較大，能夠克服普通機械手難以對樹冠內部蘋果進行采摘的難點，但采摘過程中容易損壞毗鄰蘋果[8]。

圖4 FFRobot三爪機械手蘋果采摘機器人Fig.4 Picking robot of apples based on three-claw manipulator FFRobot

日本農業和食品技術綜合研究機構、日本立命館大學和汽車零部件制造商日本電裝公司聯合于2021年公布1款全自動采摘機器人(圖5)，該機器人通過錯位安裝2個機械臂進行協同工作，單臂、單次采摘流程用時12 s，每個機械臂配備2個相機，采集數據經控制系統處理后，能夠實現果實的識別定位、采摘姿態選取、雙臂防碰撞等功能，可對高度為0.8～2.0 m的蘋果樹等9種果樹進行果實識別與采摘工作，相對于單臂采摘機器人而言可以提高工作效率。

圖5 日本雙機械臂果實采摘機器人Fig.5 Japanese double-arm fruit picking robot

1.2 國內蘋果采摘機器人的研究現狀

南京農業大學顧寶興[9]于2012年設計了1款智能水果采摘機器人(圖6)。該機器人選用工業機械臂與自設計末端執行器方案，以工控機為上位機，結合機械臂、末端執行器、移動平臺控制器以形成完善的控制系統，此外，通過系統搭建采摘機器人遠程視頻監控，開發了視覺與DGPS結合的導航系統，使得導航偏差率相對于單視覺導航與DGPS導航方式降低了30%。

圖6 智能水果采摘機器人Fig.6 Smart fruit picking robot

南京農業大學的李國利等[10]于2016年設計了1種多末端蘋果采摘機器人機械手(圖7)，該機器人機械手通過雙目相機采集傳輸圖像，經上位機計算，在遵循“最短路徑”與“主臂多動，從臂少動”原則的基礎上，對采摘點坐標進行確定和任務分配。經試驗驗證，相較于夾持式末端執行器，該機械手采摘單果的平均耗時減少了22.4%，其在實驗室環境下的采摘成功率為82.14%，與單末端執行器采摘單果的平均耗時(16.1 s)相比，多末端蘋果采摘機器人機械手采摘單果的平均耗時為4.5 s，降幅達72%[10-12]。

圖7 多末端蘋果采摘機器人機械手Fig.7 Manipulator of apple picking robot with multiple ends

2 蘋果機器人采摘存在的關鍵問題及對策

2.1 機器人采摘存在的關鍵問題

2.1.1 工作環境復雜多變 中國蘋果生產以小微農戶為主，種植區域集中在渤海灣、西北高原和黃河故道，這些地區的地形以山地、丘陵和高原為主，地面不平坦，地勢起伏較大，土壤情況復雜，氣候多變，對移動底盤的爬坡能力、抗傾覆能力要求較高；種植區域行距、株距較小，且各地環境不同，導致蘋果果園農藝標準差異過大[13]，使得在設計采摘機器人的過程中，不得不考慮車身尺寸、機械臂種類與工作空間廣度、機械系統與能源系統成本之間的協調性問題，個性化的設計不利于商業化推廣，且在多種因素限制下，采摘機器人無人化駕駛技術仍處于試驗階段。

2.1.2 復雜環境下的目標果實識別較難 果實、樹枝和樹葉之間相互遮擋會影響判斷，加上真實工作環境下光照條件對采集圖像質量造成的不確定性影響以及果實振蕩等因素，均會影響蘋果果實的識別、定位精度[14]。根據設計思路不同，有時還需對果梗、果梗方向和果實質心進行識別與特征提取。以上問題對信息采集及處理系統的要求較高，雖然能夠通過相應算法在一定程度上解決果實被遮擋及果梗振蕩等問題，但是準確性較低，并且如果有實時性分析的要求時，則對控制系統處理器的算力要求較高。

2.1.3 機械系統末端執行器設計難度大 在多方面條件的限制下，即使換用不同機械采摘系統，采摘過程中的剛性碰撞也不可避免，導致果實、果樹受損。相機參數標定、目標識別定位、機械臂運動等過程中產生的誤差都會導致實際工作時末端執行器不能準確移動至目標果實處。這個問題雖然可以通過末端執行器的設計來消除誤差，但增大了設計難度。

2.2 解決蘋果機器人采摘關鍵問題的思路對策

2.2.1 農業采摘機器人與標準化果園農藝相結合 結合國內情況，學習國外先進果園種植方法，通過農藝手段，使蘋果盡可能生長在同一垂直面上，既可以省去復雜視覺定位算法的處理過程，又能消除樹冠內部果實難采摘的問題，提高采摘率，做到農業采摘機器人與標準化果園相結合。

2.2.2 模塊化可重構底盤的設計 將履帶式移動平臺和輪式移動平臺集中在一起，通過改進底盤機構，可在復雜果園與平坦道路環境中自由切換履帶式與輪式底盤，以增強采摘機器人的環境適應能力，減少能量損耗，降低使用成本，提高移動底盤的使用效率。該設計具有一定的經濟價值，模塊化的設計便于功能模塊的選擇與產品使用和維護，能夠提高移動底盤的使用率。

2.2.3 視覺識別和快速定位 蘋果的準確識別和快速定位是提高采摘效率的基本前提和保證，不同類型視覺方案的特點如表1所示[15]。通過相機獲取圖像后，由上位機進行圖像處理。傳統處理圖像的方法是針對識別目標物色彩與外形特征進行特征信息的分析提取工作，流程包括但不限于基于方向梯度直方圖(HOG)的特征提取、基于窮舉策略的區域選擇和基于自適應提升(Adaboost)的分類器分類等[16]。隨著基于深度學習的深度卷積神經網絡(DCNN)的發展，視覺識別有了新的思路，其工作流程一般分為兩類，一類是基于區域生成方法，首先由相應算法生成目標候選框，然后針對候選框內的目標進行識別分類；另一類是基于回歸方法，目標定位與預測分類工作同時進行。第1種方法的識別成功率高，錯識率低，但工作周期長，難以滿足實時工作的需求；第2種方法的識別速度快，準確性也接近第1種方法。與DCNN法相比，傳統圖像處理方法運行函數的復雜性更高，泛化能力差，并且后者需要足夠量的數據集，且對控制系統算力的要求較高。

表1 不同類型視覺方案的特點

隨著芯片技術的突破，DCNN的使用將更廣泛。在現階段，基于實時性探測需求與硬件成本考量，傳統圖像處理與深度學習混合探測方案已成為主流趨勢之一，既能提高識別精度，又占用相對少的系統資源。

2.2.4 采摘機械臂的選擇 目前，中國大多數采摘機器人都選擇工業機械臂作為機械手系統，這樣做的優點很多：能夠縮短采摘機器人的研發時間；使用壽命長，定位精度高；有完整的支持程序，可以在現有程序的基礎上重新處理；具有良好的轉動慣量協調性，可有效提高采摘速度。但是該系統也存在成本高、功耗大、無法適應復雜多變的采摘環境等問題。相比之下，自設計機械臂雖然在一定程度上解決了工業機械臂功率過大、成本較高、工作環境適應性差的問題，但會延長開發周期，并且工作效率低于工業機械臂。

結合國內外成熟的采摘機器人，選用協作機械臂較為合適，各個機械臂分別負責不同的區域，并可有效提高采摘效率。直角坐標系機械臂適配經特定農藝處理的果園，加裝可伸縮末端執行器，可進行樹冠內部果實的采摘工作。現階段，關于定點運動、直線及圓弧插補運動的控制早已趨于成熟，但在機械臂的柔順控制、運動過程避障、相鄰機械臂的防碰撞系統等方面仍有較大研發空間。

2.2.5 末端執行器設計 采摘效率和采摘過程中因機械剛性碰撞引起的果實損傷率是評估采摘機器人性能的2個重要指標。末端執行器作為和蘋果果實直接接觸的執行機構，其結構設計和采摘動作的設計是降低果實損傷率、延長果實貯藏期最直接有效的方法。不同類型的蘋果采摘端執行器的特性如表2所示。

表2 不同類型蘋果采摘末端執行器的特點

末端執行器的設計應集成到采摘機器人的整個工作流程中。首先針對不同品種果樹果梗及不同時期果實力學特性(如果實受壓情況等)，建立專門的機械損傷評估分類模型，并以此為依據，進行末端執行器機械結構的輔助設計[17-18]，復合式末端執行器的設計是結構設計的主流趨勢，通過創新性結構拓展末端執行器的通用性，一種結構能夠適應多種形狀相似的果蔬品種采摘工作，從而提高末端執行器的使用頻率。同時，使用柔性傳感器代替剛性傳感器安放于末端執行器與果實接觸部位，實時進行力學數據的采集，通過多傳感器融合采集相關信息以實現柔順控制，降低果實損傷率[19-20]。

3 展望

蘋果采摘機器人的關鍵系統如下：以基于GPS等導航系統進行定位移動的底盤行走機構作為“腳”，以機械臂與末端執行器作為“手”，以末端視覺識別與快速定位系統作為“眼”，以基于人工智能的總控制系統作為“腦”，以機械車體作為“身”。隨著充電樁的普及，電池和驅動電機組成的新能源系統將代替內燃機作為“動力源”。與之配合工作的還有蘋果收集裝置與適合采摘機器人大展拳腳的智慧果園。

根據實際研發需求，重點進行現代果園無人化收獲農藝-農機融合模式研究與鮮食果品高效低損采收、現場預分選分級、果箱收集轉運等無人化關鍵技術與裝備的研發，進而構建現代果園無人化收獲成套技術體系并建立示范基地，以期有效解決國內果園收獲裝備亟缺、勞動力成本上升等問題。

蘋果采摘機器人的研發需要多領域、多學科交叉融合，涉及農藝、機械設計、電氣系統、傳感器、機器人視覺、深度學習、控制算法、系統集成等多方面的關鍵技術，研發難度大、成本高。針對國內蘋果采摘機器人發展較為滯后、農藝和農機結合不緊密的現狀，本研究為國內未來蘋果采摘機器人各系統的設計給出優化設計方案。研制出一款適應復雜環境的高效率、低果實損傷、低成本、維護簡單、功能較全且操作難度低的商用蘋果采摘機器人，具有十分重要的現實意義。