休眠期果樹修剪機器人視覺感知系統研究現狀

關鍵詞：休眠期果樹；修剪機器人；剪枝；視覺感知系統；枝干識別；農業機器人

0 引言

冬季果樹修剪通過去除多余的樹枝控制樹形結構以達到增加后期產量的目的[1]。傳統的修剪是以人工修剪為主，但是人工剪枝過程靠自身的經驗，隨意性較強，并且用工成本高，勞動強度大，修剪效率低。而機械化的整株幾何修剪主要針對帶葉果樹的粗剪，由于錯剪、漏剪比較嚴重，不適合休眠期果樹的精確剪枝。機器人修剪是一種選擇性修剪的方式，通過視覺定位剪枝點引導機械臂到達目標位置完成修剪作業。果樹修剪機器人一般由視覺感知系統、末端執行器、機械臂、控制系統及移動平臺等組成，目前研究的修剪機器人基本處于田間試驗階段，主要針對休眠期的果樹進行剪枝。在機器人剪枝過程中，最關鍵的一步是對果樹枝干信息進行獲取并識別出待修剪的枝條。因此，果樹修剪機器人首要解決果樹枝干的高精度信息獲取和快速準確識別剪枝點的問題。本研究重點對果樹枝干的信息獲取與識別方法進行總結歸納，分析修剪機器人視覺感知系統存在的問題，并指出其未來研究的方向。

1 信息獲取系統

修剪機器人首先要獲取高質量的果樹枝干三維信息，通常利用立體視覺、激光雷達、深度相機等傳感設備獲取果樹枝干的三維信息。蔡健榮等[2]采用雙目視覺方法采集柑橘樹的左右圖像，通過左右視差獲得枝干的深度信息。WUC等[3]采集2幅無葉核桃樹圖像進行重建，提取其骨架并結合軟件重建完整的核桃樹。胡少軍等[4]獲取果樹稀疏的圖像，利用交互式建模的方式重建樹的三維結構，重建過程所需時間較長。TABBA等[5]利用在機械臂上安裝的RGB相機采集休眠期蘋果樹的圖像數據，融合分割及輪廓概率圖算法重建其三維模型，重建的平均時間8.47min，并提取修剪所需參數，如樹干長度、直徑和角度等信息。采用立體視覺重建果樹枝干三維模型時，不僅需要依賴果樹枝干具有豐富的紋理信息，還要克服復雜的自然光照環境影響。

激光雷達傳感器可以主動獲取果樹枝干的三維信息，并且光照對其影響較小。MEDEIROSH等[6]利用激光雷達傳感器（2D）獲取休眠期蘋果樹40幅不同視角下的三維點云，結合擬合、聚類等算法重建其三維模型，1h內可以重建2棵樹，但重建過程復雜且重建結果誤差較大。BAIJ等[7]利用車載平臺搭載2D激光雷達采集無葉蘋果樹點云數據，并提取蘋果樹的形態參數，為后續蘋果樹的粗剪提供數據支持。吳志鵬等[8]通過搭建的點云獲取平臺采集休眠期棗樹兩側的稀疏點云，然后對兩幅點云進行配準并提取棗樹外部輪廓尺寸參數。許林云等[9]通過2D激光雷達搭建的移動平臺在室內獲取休眠期銀杏樹的三維點云，結合配準算法重建銀杏樹的完整枝干點云。2D激光雷達傳感器獲取的點云數據分辨率較低，重建后的果樹模型很難得到枝干的細節信息，而3D激光雷達設備相比于2D激光雷達，具有較高的分辨率。CHAKRABORTYM等[10]通過移動平臺搭載的3D激光雷達傳感器采集蘋果園的三維點云，通過聚類得到單棵蘋果的點云并提取樹冠的體積參數。同樣，MAHMUDMS等[11]利用3D激光雷達獲取帶葉蘋果樹的三維點云，根據采集的數據分析了蘋果樹冠層密度的分布情況。同時，許多研究人員利用激光掃描儀采集果樹更稠密的三維點云數據，KEIGHTLEYKE等[12]利用掃描儀（ILRIS3-6D）在室內對休眠期葡萄樹進行多視角點云獲取，結合白色圓球作為參考點以配準得到較完整的葡萄樹模型，然后提取其幾何參數（樹高、體積），但整個重建及采集過程比較復雜。

相對于2D/3D激光雷達傳感器，深度相機的價格便宜并能夠獲取較稠密的三維點云，在采集果樹三維信息時得到了廣泛應用。KARKEEM等[13]利用搭建的深度相機系統獲取多個角度的休眠期蘋果樹的點云信息，通過配準算法得到蘋果樹較完整的三維點云，并對提取的樹骨架進行分析以識別出待修剪的枝條。WANGQ等[14]采用2個KinectV1（結構光原理）深度相機并間隔90°搭建了一套采集系統，能夠重建出較好的無葉荔枝樹的三維點云，但是在自然光照條件下重建荔枝樹的結果有待進一步驗證。ELFIKYNM等[15]通過KinectV2（ToF原理）深度相機采集2幅休眠期蘋果樹前后的點云，并結合KinectFusion算法對果樹點云進行部分重建。同樣，付昱興等[16]利用KinectV2分別采集無葉棗樹前后2幅點云信息，并結合標定球方法對點云配準，然后利用Alpha-shape算法對棗樹進行表面重建，得到主要的枝干尺寸誤差控制在7%以內。深度相機在室外環境下使用時，受自然光照影響比較大，因此在搭建視覺系統時需要額外的遮光措施。

2 識別方法

2.1 基于二維圖像的枝干識別方法

在非結構化的果園環境下，準確、快速地識別出果樹的枝干信息比較困難。黃彪等[17]對帶葉的枇杷樹圖像進行枝干識別，準確率達91.2%，然后提取其枝干的直徑及中心坐標等信息，為后續剪枝提供數據依據。AMATYAS等[18]利用貝葉斯分類算法對采集的帶葉荔枝樹圖像進行4分類，其中荔枝樹主干的分割準確率89.2%。JIW等[19]采用顏色空域轉換算法對蘋果樹枝干圖像進行處理，然后利用枝干之間的灰度值差異進行分割，并分析了不同光照條件的識別情況，為后期蘋果自動采摘避障提供依據。TABBA等[20]通過藍色背景對復雜的果園環境信息進行去除，利用圖像超像素算法區別于背景顏色對應的區域，結合最大類間方差算法識別出果樹的枝干信息。劉慧等[21]采用超像素方法對帶葉的果樹圖像進行處理，結合深度信息提高果樹枝干識別的準確率，并與其他分割算法進行對比，分割結果的召回率及準確率都得到了提高。上述文獻都是利用傳統的算法對復雜背景下果樹枝干進行識別，提出的算法通用性不強且處理過程比較煩瑣。

近幾年深度學習技術不斷發展，在二維圖像領域取得了巨大進步，研究人員利用該技術對果樹枝干進行識別。ZHANGJ等[22]利用R-CNN神經網絡對于融合的RGB圖像和深度信息進行特征提取，識別出休眠期蘋果樹的側枝，通過計算檢測框中心點位置擬合枝干的長度。楊長輝等[23]利用實例分割網絡MaskRCNN對復雜結構的柑橘樹枝干進行分割，平均準確率98.15%，結合離散點擬合算法對枝干斷點進行擬合。MAJEEDY等[24]利用目標檢測FasterR-CNN神經網絡（基于ResNet特征提取）對不同時期的葡萄樹進行檢測，通過擬合檢測框的中心點坐標確定在疏枝作業時的路徑軌跡。同樣，MAJEEDY等[25]利用不同的語義分割模型FCN和SegNet對休眠期葡萄樹圖像進行分割，對得到的最好分割結果利用多項式擬合，以確定葡萄樹的枝干長度。馬保建等[26]利用語義分割網絡DeepLabV3+對去除背景的棗樹圖像進行分割，得到棗樹的主干和修剪枝的像素，然后提取其修剪枝的骨架，為后續剪枝點的準確定位提供依據。

崔永杰等[27]利用深度學習方法對不同生長階段的獼猴桃樹干進行特征提取，探究不同的網絡層數對特征提取的影響，并以可視化的方式解釋特征提取的差異程度。ZHONGZ等[28]利用不同相機獲取荔枝樹圖像，采用深度學習YOLACT實例分割算法對圖像中的荔枝和枝干進行識別，提取枝干的掩膜，通過最小二乘法進行擬合，在擬合得到的枝干上確定采摘點，其識別準確率89.7%。LINGC等[29]在自然環境下利用深度相機獲取柚子樹圖像，利用MaskR-CNN深度學習方法對圖像進行分割得到背景、柚子和枝干3類語義信息，其中對于枝干的分割評價指標F1分數0.415。FOURIEJ等[30]利用卷積神經網絡對空間結構一致的無葉葡萄樹進行枝干識別，確定需要修剪的葡萄樹枝。SONGZ等[31]基于不同特征提取網絡的DeepLabV3+深度學習模型對獼猴桃的圖像進行語義分割，得到獼猴桃、樹干和鐵絲3類，并提取鐵絲的像素點，利用PPHT概率算法重建鐵絲線以引導末端執行器進行避障。CHENZ等[32]利用3種不同的語義分割網絡Pix2Pix、U-Net和DeepLabV3對部分遮擋的蘋果樹枝干進行分割，分析不同模型對于不同遮擋程度的蘋果樹枝干分割效果，結果表明，DeepLabV3模型能夠更好地對蘋果樹枝干進行分割。王輝等[33]利用MaskR-CNN算法對柑橘樹冠進行分割，單株的分割準確率95%，并與SegNet算法進行對比，其準確率提高5個百分點，為柑橘果園的自動化噴藥提供數據支撐。FERNANDESM等[34]基于不同層數的ResNet特征提取網絡的MaskR-CNN深度學習模型對采集的休眠期葡萄樹圖像進行樹干和樹枝（藤條）的分割，結合圖方法確定樹干和樹枝的連接點，利用連接點和樹枝上的節點確定潛在的修剪位置。雖然基于深度學習的方法對果樹枝干及冠層分割結果較好，但是缺少枝干的空間位置信息，后續需要進一步結合深度信息確定剪枝點位置。

2.2 基于三維點云的枝干識別方法

從點云中分割出果樹枝干能夠得到其空間信息，但大部分研究集中在利用傳統算法進行果樹主干的識別。牛潤新等[35]對獲取的果園點云數據通過聚類方法去除地面和雜草等噪聲點，識別果樹主干的準確率95.5%，為丘陵地形的機器人導航提供了參考。DEYD等[36]利用運動恢復結構算法（SFM）重建帶葉葡萄樹的點云信息，結合支持向量機（SVM）算法對提取的特征進行3分類（樹葉、葡萄和樹枝），葡萄的分類準確率98%，未提及其他兩類的識別精度。STRAUBJ等[37]通過運動恢復結構算法重建了9棵休眠期蘋果樹，結合隨機森林算法去除地面等噪聲點云，然后利用聚類算法和圖理論分析的方法識別蘋果樹樹干和枝干信息，整個算法流程較復雜。UNDERWOODJP等[38]通過移動機器人獲取整個蘋果園點云，然后采用半馬爾可夫算法對單棵樹進行識別，得到每棵樹的位置，并分析了不同季節對定位誤差的影響。TAOY等[39]對獲取的蘋果樹點云首先進行顏色特征和幾何特征的提取，然后基于支持向量機算法對提取的特征進行3分類（蘋果、枝干和葉子），最后利用遺傳算法對分類結果進一步優化，枝干分類準確率88.03%。DIGUMARTIST等[40]對帶葉樹點云提出了一種幾何特征提取方法，然后結合隨機森林算法對其進行分類，得到了91%的樹干分類準確率。

與果樹樹干識別相比，對于自動剪枝所需的修剪枝識別方法研究較少。KARKEEM等[41]對獲取的20幅單樹干休眠期蘋果樹點云利用ICP（IterativeClosestPoint）算法重建一棵完整的蘋果樹，然后利用鄰域規則分析其骨架，最后識別出樹干和修剪枝，其中修剪枝的識別精度77%。ELFIKYNM等[15]獲取單主干蘋果樹前后2幅點云并利用幾何特征進行配準得到完整的蘋果樹，利用RANSAC算法對樹干進行擬合，并結合聚類算法識別出修剪枝，蘋果樹的主要修剪枝識別準確率96%。YOUA等[42]利用圖方法分析U型櫻桃樹的三維點云數據，將其分為樹干、支撐干、頂枝和側枝4類，然后對29棵櫻桃樹的骨架進行分析，結果表明，平均分類精度70%。上述對于果樹修剪枝識別的研究采用的是傳統的算法或者特定的規則，不僅通用性不強，而且設計的算法復雜度較高。隨著深度學習在三維點云領域取得較大的進展，開始有研究人員利用深度學習方法對果樹修剪枝點云進行識別，但是相關的文獻較少。MAB等[43]對重建的休眠期棗樹點云利用SPGNet神經網絡識別出修剪枝，并利用聚類算法提取出單個修剪枝，為剪枝機器人的修剪作業提供定位參考。

3 存在問題

盡管國內外研究人員對果樹修剪機器人視覺系統進行了大量研究，并取得了一些研究進展，但是搭建的視覺系統在自然環境下的性能不穩定及泛化性差。首先，在自然光照環境下，獲取果樹枝干三維信息比較困難，現有的休眠期果樹三維重建算法實時性較差，更多研究局限于在實驗室內進行果樹重建，而在室外環境下重建的精度和穩定性有待進一步提高。其次，休眠期果樹樹形結構比較復雜，枝干之間的顏色信息沒有差異，而且枝干之間相互遮擋，對于修剪枝的識別定位難度較大。在識別出果樹修剪枝的基礎上，對剪枝點進行定位的相關研究較少；不同休眠期果樹的修剪策略不同，剪枝點的位置也不同，導致相關研究之間沒有參考價值。

4 未來展望

休眠期果樹修剪機器人的實際工作場景在自然環境下進行，采集果樹枝干三維信息時受到不同光照情況的影響（晴天、陰天、順光、逆光等），造成枝干信息缺失嚴重。在自然環境下搭建遮光裝置并引入主動光源措施以減少自然光照變化對視覺系統的影響。考慮到果農的經濟成本和經濟效益，修剪機器人在滿足作業要求的情況下，需降低成本，選用市場上價格低廉、性能較好的傳感器搭建視覺采集系統。深度學習方法在三維點云處理方面取得較大的突破，為非結構環境下的復雜果樹枝干識別提供了可能性。由于不同果樹剪枝方法不同，如何準確、快速定位剪枝點位置是果樹自動修剪研究的重點內容。

5 結束語

目前果樹修剪機器人研究仍然處于初始階段。首先，實現修剪機器人的落地應用還需結合農藝方面的改進，開展農機農藝相融合的宜機化種植模式研究。其次，構建宜機化種植模式下休眠期果樹修剪機器人整機系統，提高剪枝效率。最后，機器換人能幫助果農解決人手不足的問題，大大降低果樹修剪成本，進一步促進果樹種植產業的規模化與可持續發展。