基于5G與人工智能技術的果品采摘機器人平臺設計

王越 康凱 武曦

(山西農業大學果樹研究所，山西 太原 030031)

近年來隨著設施農業、精準農業和高新技術的發展，各類果樹種植范圍不斷擴大，特別是土地流轉加速了果業生產規模化、集約化，果園人均管理面積大幅增加，導致了在短暫的果品采收期內面臨時間緊、雇工難、良品率難以保證等問題。

目前國內果品采摘作業基本上都是人工完成，采摘是生產鏈中最耗時、最費力的環節之一。隨著果業的快速發展和種植面積迅速增長，所需勞動力也越來越大，投入的人工成本也指數級增長。研究并裝備果品采摘機器人，實現果品采摘機械化、自動化和智能化，降低人工成本，是果業發展中亟待解決的重要問題之一。

將5G通信技術和人工智能技術結合應用于果品采摘機器人。果品采摘機器人平臺由基于SOM K-Means算法的果實串識別與定位、基于改進型YOLO的復雜環境下果實串快速檢測、基于剪夾一體式無損傷果實串采摘末端執行器和采摘機器人控制中心平臺4大模塊組成。每個模塊都采用最新技術及算法，并進行大量數據的驗證測試及現場環境測試，在不降低工作效率的前提下，實現采摘機器人在復雜環境下對輸入數據流(現場采集的果實、枝蔓等圖像)的快速響應、處理、反饋、果實智能識別、實時精確定位及智能化高效采摘，如圖1所示。

圖1 基于5G與人工智能的果品采摘機器人構架設計

1 基于SOM K-Means算法的果實識別與定位

以SOM神經網絡為代表的機器學習領域快速發展，已廣泛應用于語音識別和圖像識別等各個領域?；赟OM神經網絡本身訓練的預測準確率置信區間，提出了一種使用K-Means加速和壓縮SOM神經網絡的方法。通過將卷積過程中的輸入特征圖采用K-Means壓縮來減少計算量；通過將全連接層的權重壓縮來減少存儲量。所提方法對AlexNet網絡單個卷積層的計算量能降低2個數量級，加入合適的K-Means層，整個網絡的處理時間加速比能達到2.077，對網絡壓縮率達到8.7%。

針對部分樹種(山楂、核桃等)多個果實重疊時難以識別與定位的問題，采用一種基于RGB-D圖像和K-Means優化的自組織映射(Self Organization Map，SOM)神經網絡相結合的果實串識別與定位算法。利用RGB-D攝相機拍攝果實串圖像，對圖像進行預處理，獲取果實串的輪廓信息；提取果品串輪廓點的平面和深度信息，篩選后進行處理；將處理后的數據輸入到采用K-Means算法優化的SOM神經網絡中，得到點云聚類結果；根據聚類點，通過坐標轉換得到世界坐標信息，擬合得到各個果實串的位置和輪廓形狀。具體流程如圖2所示。

圖2 果實串識別與定位流程

采摘機器人對果實精準定位非常重要，但是受圖像采集像素和采集光線等因素影響，故會帶一些線性定位誤差。在每次采摘圖像區域里設置2個標準參考點，通過平臺和算法對果實串識別與定位時，同時做一次標準參考點識別與定位，得出一個識別與定位基準誤差，把該識別與定位基準誤差補償到對果實串識別與定位里面去，從而實現對果實串識別與定位差分補償修正。

2 基于改進型YOLO的復雜環境下果實串成熟度快速檢測

YOLO算法主要通過3步實現，將輸入圖像歸一化；卷積網絡特征提取，預測邊界框置信度；通過非極大值抑制算法過濾邊界框，得到最優結果。利用YOLO算法對圖像中的目標進行特征提取分類識別，實現圖像特征提取和分類識別的自動化，摒棄了傳統圖像識別過程中依靠手工標注圖像特征的方法，其網絡結構是在GoogleNet模型之上建立的。

為實現采摘機器人對果實串成熟度的快速、精確識別，采用一種改進型多尺度YOLO算法(IMS-YOLO)。對YOLO網絡模型進行篩選和改進,設計一種含有殘差模塊的Darknet-53主干網絡，同時融合多尺度檢測模塊，構建一種復雜環境下果實串快速識別網絡模型。該網絡模型層數較少，但能夠提取更多特征信息，且采用多尺度檢測結構，同時返回果實串的類別和預測框，以此提升果實串成熟度檢測速度和精度。

IMS-YOLO模型檢測精度高、速度快，可兼顧精度和實時性要求，在溫室復雜環境下可以滿足采摘機器人識別果實串成熟度的要求。IMS-YOLO檢測模型如圖3、圖4所示。

圖3 果實串快速檢測流程

圖4 IMS-YOLO模型

采摘機器人的果實成熟識別度和前面說的果品識別與定位一樣，都面臨采收環境因素的影響，也會產生稍許線性定位誤差。在每次采摘圖像區域里設置一個標準參考點，通過平臺和算法對果實成熟度識別，同時做一次標準參考點成熟度監測，得出一個標準參考值，把標準參考值作為果實成熟度參考值，從而實現對成熟度識別進行補償修正。

3 基于剪夾一體式無損傷果實串采摘末端執行器

部分樹種果品成簇生長，人工采摘時先用手指夾持并固定串果母枝，然后剪切母枝并將串果取下。根據其采摘方式，并針對果實串低損、高效的機械化采摘，設計提出剪夾一體式結構的果品采摘末端執行器，并設計具有單動力源驅動、抗遮擋干擾能力和對果實串無損傷的剪夾一體式果品采摘末端執行器。采摘時對果母枝采用剪切方式，夾持手可穩定夾持果實串母枝，避免因旋轉切割造成果實及其周邊枝、葉受損。該末端執行器由剪枝模塊、夾持模塊、動力輸出模塊、機械臂連接組件4部分組成，如圖5所示。

圖5 末端執行器整體結構

設計的末端執行器具有良好的夾持和負載能力，負載重量為100～800g，果實串母枝直徑為3～10mm。采摘時能快速剪切母枝并穩定夾持果實，理想剪夾時間為3s，采摘成功率為80%～90%。

4 采摘機器人控制中心平臺

開發采摘機器人控制中心平臺，功能包括作業類型(如采摘、打老葉、噴藥等)，啟停，遠程控制，行走方向(前進、后退、轉彎)，部件監測與報警(如電池電量)，光照度檢測，工作強度(如作業時間、采摘重量等)，統計報表等。

5 結論

在我國農業自動化裝備需求空間巨大，農業機器人使用密度還處于極低水平。裝配基于5G與人工智能技術的果品采摘機器人，必將強有力地推動果業的現代化與智能化，在改善生產條件、提高種植戶收入、降低生產成本、增強綜合生產能力等方面有重要意義。