一種臍橙采摘機器人視覺快速識別方法的探討

盧峰，胡利軍

（江西環境工程職業學院，341000，江西贛州）

在國家實施鄉村振興戰略的背景下，贛南臍橙產業逐步成為贛南果農的主要收入來源。但是，以往的臍橙采摘主要采用較為傳統的人工采摘作業方式，需要耗費大量的勞動力資源，工作量巨大。隨著我國農業科技的不斷發展及農業勞動人口總額的降低，臍橙采摘正在向智能化、自動化的方向發展。現階段，絕大多數臍橙種植地區仍然主要依靠人工采摘，如何利用臍橙采摘機器人提高采摘效率，解決我國農業勞動力不足正是我們研究的問題。在臍橙采摘機器人完成采摘作業的過程中，需要利用視覺系統對果實進行識別與定位，機器人的果實識別準確度與定位效率決定了視覺系統的性能水平，從而對臍橙采摘效果帶來直接影響。

基于此，必須對臍橙采摘機器人的視覺系統進行深入研究與創新，研發一種視覺系統，使得臍橙采摘機器人在采摘過程中可以實時、快速定位空間果實并準確采摘。

1 臍橙采摘機器人視覺系統概述

應用臍橙采摘機器人是臍橙智能采摘的趨勢，可以實現對臍橙的實時定位并快速采摘。在實時定位的過程中，識別定位的精準度與效率是最關鍵的影響因素。因此不斷提升視覺系統識別定位的準確度與實時性，可以改進并優化臍橙采摘機器人的工作性能，從而提升采摘效率，有利于進一步推廣應用。

臍橙采摘機器人的視覺系統一般由以下幾個部分組成：攝像機、計算機、圖像處理與距離測量設備。現階段，大部分臍橙采摘機器人應用一個或兩個攝像機，所以應用的識別技術主要為單目視覺技術或雙目視覺技術。在采摘前，臍橙采摘機器人會應用視覺系統中的攝像機捕捉果實的實時圖像，在獲取圖像后進行處理與分析，從而分辨并識別出果實部位，最后確定臍橙的精準空間坐標。

本文研究的臍橙采摘機器人采用控制器、攝像頭、上位機組成的視覺系統，其中控制器采用美國國家儀器公司（簡稱NI）的myRIO-1900 作為圖像處理設備，NI myRIO 是針對教學和學生創新應用的嵌入式系統開發平臺，內嵌Xilinx Zynq 芯片，使用戶可以利用雙核ARM Cortex-A9 的實時性能及Xilinx FPGA 定制化I/O，學習從簡單嵌入式系統開發到具有一定復雜度的系統設計，用戶可以實時應用，通過myRIO-1900 自帶的內置WiFi 功能模塊進行無線操作，也可以通過USB有線傳輸程序下載。圖1 為myRIO 實現WiFi 連接的不同方式：myRIO 可以通過一個外置的無線路由器來實現WiFi 連接，如圖1（a）所示；myRIO 自身也可以被配置為一個WiFi 熱點，上位機和其他智能終端都可以通過其發射的無線網絡連接至myRIO上，如圖1（b），這樣就不需要再通過第三方的無線路由器來實現連接，在實際應用中會顯得更加便捷。

圖1 myRIO 實現WiFi 連接的不同方式

系統采用單個攝像頭進行圖像采集，上位機應用編程處理。由于myRIO 有豐富的板載資源，擁有40 條數字I/O線，支持SPI、PWM 輸出、正交編碼器輸入、UART 和I2C，以及8 個單端模擬輸入、2 個差分模擬輸入、4 個單端模擬輸出和2 個對地參考模擬輸出，可方便地通過編程控制與連接各種傳感器及外圍設備，因此視覺系統組成框圖如圖2 所示。

圖2 視覺系統組成框圖

2 臍橙采摘機器人視覺系統的果實識別

本文研究的臍橙采摘機器人視覺系統采用NI 公司的LabVIEW 軟件,它是一種圖形化的編程語言開發環境，已經廣泛地被工業界、學術界和研究實驗室所接受，被視為一個標準的數據采集和儀器控制軟件，其采用圖形化編輯語言G 編寫使用。對于臍橙采摘我們使用LabVIEW 軟件中的Vision Development Module 視覺開發模塊，其優勢在于機器視覺應用的開發可在之前采集的程序基礎上，增加機器視覺相關的算法。LabVIEW 提供了豐富的功能算法，例如邊緣檢測、顆粒分析、模式匹配、文字識別等，方便了對臍橙采摘的視覺識別。圖像采集處理過程如下。

（1）臍橙圖片采集。通過圖像采集系統中的Acquire Images 相機采集臍橙實物圖片，分別對不同光照程度下的臍橙進行數據采集。

（2）采集臍橙數據模板。使用Color Classification顏色分類模塊，創建顏色分類樣本，選取臍橙樣本，盡可能選取不同光照條件下有不同陰影的臍橙。采集完顏色模板后，對其進行訓練，采集的模板越多，機器人視覺識別越精細，隨后保存采集到的顏色模板。

（3）圖像存儲。將圖像存儲到緩存中，方便重新利用它們。將當前的圖像復制到一個圖像緩存中，以便后續的步驟再利用此圖像。圖像緩存共有10 個可以利用。

（4）抽取彩色平面。從HSL 圖像中抽取飽和度平面，將彩色圖像轉換成灰度圖像。由于我們采摘的臍橙圖片是彩色的，我們需要得到一幅灰度圖像，以便處理函數能接受灰度圖像。

（5）二值化處理。對灰度圖像進行二值化處理，處理后圖像中只有黑白兩色，而不是灰度圖或彩色圖。采用手動二值化，選擇Manual Threshold 手動，可以手動調整閾值范圍，從而得到所需的目標。

（6）填充缺口。對圖像中丟失的模塊進行填充，使得臍橙圖像更易識別。

（7）臍橙大小檢測。選擇合理的臍橙圖像半徑范圍，得到滿足條件的臍橙圓心坐標和半徑，如圖3 所示，為方便機器人后續采摘提供條件。

圖3 臍橙檢測

我們通過以上對臍橙采摘圖像的處理，目標是優先選取圖像中臍橙直徑識別最大的臍橙個體進行采摘，更易實現我們采摘機器人的采摘功能。

3 實驗分析

本研究提出的快速視覺系統由攝像機、上位機、NI myRIO-1900 控制器等組成。在應用過程中通過多角度拍攝20 組圖像，采用VI 程序文件進行實時識別實驗。為了驗證系統的識別情況，采用攝像機隨機選取20 個直徑范圍為50～120 mm 的目標臍橙進行識別測試，如圖4 所示，記錄和測量坐標中心點和臍橙直徑。結果臍橙識別成功17次，漏檢1 次（未檢出水果），誤檢2 次。除此之外，在特征分析的過程中所采集的臍橙圖片樣本具有良好的代表性，能達到較好的采集效果；但如果遇見干擾性較強的橙色背景光線，識別效果較差，還需要進行樣本優化或進行其他數據處理。

圖4 臍橙識別試驗

4 結語

本文對臍橙采摘機器人的視覺系統加以探討，并提出了一種臍橙機器視覺識別的方法，希望可實現采摘機器人的快速視覺識別與精準定位。考慮進一步提升采摘識別效率及減少橙色背景光線的干擾，本方法還有一定的改進提升空間。