基于機器視覺的類球狀水果采摘機械目標識別方法

趙 毅

（南陽技師學院，473000，河南南陽）

機械化采摘水果有效減少人工勞動力，節省成本，且采摘效率與采摘安全性更高[1-2]。但是類球狀水果的機械化采摘難度較高，需要采摘機械目標高精度識別信息數據的支持[3]。現階段，機械目標識別無法有效地將水果采摘機械目標與背景作出合理區分，導致采摘效果差[4]。機器視覺技術能夠改善這一問題，并且采用相應的識別算法，提取圖像特征，分割水果采摘機械目標與背景，實現機械目標識別與定位[5]。基于此，本文在傳統水果采摘機械目標識別方法的基礎上，引入機器視覺技術，以類球狀水果為例，提出了一種全新的采摘機械目標識別方法，為提高水果采摘效率、促進農業機械自動化發展作出貢獻。

1 類球狀水果采摘機械目標識別方法設計

1.1 類球狀水果圖像采集與預處理

結合實際情況，利用高性能相機采集類球狀水果圖像，采集過程中，控制相機雙目攝像頭與待采摘類球狀水果之間的距離，保持距離在50～100 cm 范圍內，通過多角度的拍攝方式，采集各種環境條件下的類球狀水果的RGB 圖像與同幀下的深度圖像。圖像采集時，時段分為上午、下午，數量均為200 張，天氣分為晴天和陰天，數量分別為210 張和190 張。

完成采集后，預處理類球狀水果圖像，減少圖像中存在的噪聲[6]。引入中值濾波降噪方法，計算類球狀水果圖像中目標像素鄰域的像素值，使用計算后的像素值代替初始像素值，以此種方式，減少類球狀水果圖像中存在的孤立噪聲點。結合濾波降噪電子設備，開啟設備后，使其產生一定的脈沖噪聲，通過脈沖噪聲，既可以去除圖像中含有的多余噪聲，又可以保證圖像中類球狀水果特征不失真[7]。

1.2 基于機器視覺設計類球狀水果圖像分割算法

完成圖像采集和預處理后，引入機器視覺技術原理[8-9]，設計圖像分割算法，分割類球狀水果圖像。引入機器視覺是因為其可以根據圖像信號的動態變化，有效獲取類球狀水果的顏色信息、形態信息與位置信息。分割過程利用機器視覺技術，將待分割的水果圖像劃分為n*n 個網格狀，采用修改細化的方法，不斷細化水果圖像的超像素邊緣，使圖像的內部特征達到一致，并利用機器視覺技術，定義類球狀水果圖像超像素中更新像素邊緣與顏色密度分布的能量函數，表達式為：

式中：T（s）為圖像超像素中顏色密度分布項；d 為圖像顏色密度與邊緣值的權重；E（s）為圖像超像素形狀的邊界項。

通過該表達式，獲取類球狀水果圖像超像素的能量函數，將圖像劃分為多個超像素塊，利用直方圖統計的方法，統計各個超像素塊的顏色變化，用若干個箱格表示各個區域的顏色變化。實時記錄圖像超像素邊界的局部不規則性變化，得到類球狀水果圖像的平滑邊緣，保證圖像超像素形狀邊界項中包含多個超像素標簽。采用重復迭代運算的方法，控制R(s)能量函數的動態變化，直至迭代運算次數達到上限，完成類球狀水果圖像超像素分割，并將圖像分割邊緣附近的像素，緩慢移入相鄰的超像素塊內，使類球狀水果顏色分布得更加集中。

1.3 類球狀水果采摘機械目標識別

在上述基于機器視覺設計類球狀水果圖像分割算法結束后，識別類球狀水果采摘機械目標[10]。引入圓檢測技術，結合最小二乘法求解檢測值中的未知量，對類球狀水果采摘機械目標進行識別。首先，在進行類球狀水果圓檢測識別前，對其2D 圖像進行預處理，將其中不可能構成圓形的邊緣剔除，如圖1 所示。

圖1 非圓形圖像邊緣剔除原理

如圖1 所示，在非圓形圖像上進行取點，其中：p1位于非圓形圖像的邊緣起始點，p2位于非圓形圖像邊緣的1/3 處，p3位于非圓形圖像邊緣的2/3 處。對三個取點進行共線判斷，若三點共線，則類球狀水果2D 圖像不是圓形邊緣，需要進行剔除處理，并在此基礎上，利用三個取點，擬合形成一個圓形，標記圖像的圓心與半徑。采用最小二乘法，獲取類球狀水果2D 圖像的圓參數，并描述圓參數對應相等的程度。綜合考慮類球狀水果復雜的背景環境，引入融合特征的圖像顯著性檢測方法，增強類球狀水果2D 圖像強度的均勻性，分別對圖像的邊緣特征與超像素塊特征進行排序顯著性檢測，得出類球狀水果兩種不同特征的識別節點。

在此基礎上，采用如圖2 所示的類球狀水果采摘機械目標識別流程與處理步驟，全方位識別目標水果的圖像。

圖2 類球狀水果采摘機械目標識別流程

圖2 為本文設計的類球狀水果采摘機械目標識別的整體流程。輸入目標圖像后，采用像素增強方法，增強待采摘水果目標圖像。對像素增強后的圖像進行超像素分割處理，根據分割結構，構建采摘機械目標識別模型，通過模型的迭代訓練，提取類球狀水果采摘機械目標的背景特征與前景特征的流行排序，將二者融合處理后，利用流行排序顯著性檢測方法，獲取融合特征的類球狀水果采摘機械目標識別顯著圖。經過以上一系列前期處理與識別流程，實現類球狀水果采摘機械的單個目標與多個目標識別。

在類球狀水果采摘機械目標識別結束后，本文認為，在后期的類球狀水果采摘中可以引入卷積神經網絡技術原理進行采摘，此種采摘方法對被抓取目標物體的位置結構具有準確的分析性能，能夠精確地獲取被抓取目標物體的位置結構信息，學習功能較強，有助于提高類球狀水果機械化采摘的效率。

2 實驗分析

為了驗證本文提出的目標識別方法的可行性及其為水果采摘工作提供的幫助，進行了如下所述的實驗。在本次實驗中，為了使實驗結果能夠更加直觀清晰地呈現，采用對比分析的實驗方法，設置了兩組對照組、一組實驗組。將文獻[3]提出的基于Softmax 的水果采摘目標識別技術、文獻[4]提出的基于CenterNet 的水果采摘目標識別技術設置為對照組，將本文提出的基于機器視覺的水果采摘識別方法作為實驗組，開展以下實驗。

2.1 實驗準備

由于實驗條件具有一定的限制，本次實驗僅在實驗室中進行，選取仿真蘋果植株作為研究對象，進行測試。首先，按照上述提出的論述，采用特殊的固定方式，將蘋果目標固定在高精度攝像頭的前方，通過攝像頭，對其進行拍攝。標定相機，設定相機圖像的左上角作為圖像的初始坐標點，基于機器視覺技術，對蘋果目標圖像進行預處理，檢測并計算蘋果的相關信息，包括蘋果長軸與短軸，通過二維坐標變換的方式，得出蘋果目標的采摘端點坐標與采摘頂點坐標，進而確定蘋果采摘點。引入顯著性檢測技術，獲取蘋果目標的內在圖形結果，并在圖形中作出局部標記。

2.2 結果分析

選取1 500 張蘋果目標RGB 圖像，按照一定的比例，隨機選取其中300 張規格為512*512 的RGB 圖像作為實驗的測試集，對RGB 圖像進行75 個周期的訓練。設定采摘機械目標識別的精確率、召回率與F1值作為本次實驗評測的指標。其中，精確率指的是采摘機械目標識別正確的圖像占全部識別為正的比例，公式為：

式中：TP 表示采摘機械目標識別為正，實際也為正的測試集圖像數量；FP 表示采摘機械目標識別為正，實際為負的測試集圖像數量。

召回率指的是采摘機械目標識別正確圖像數量占全部正測試集圖像數量的比例，公式為：

式中：FN 表示采摘機械目標識別為負，實際為正的測試集圖像數量。

F1值指的是上述兩個評測指標的調和均值，能夠同時衡量精確率與召回率，其計算公式為：

將訓練后的測試集圖像分別應用三種水果采摘機械目標識別方法，通過公式（2）、（3）、（4），獲取其對應的采摘機械目標識別的評測指標，并對比，如表1 所示。

表1 三種方法采摘機械目標識別評測指標對比 %

從表1 的評測指標對比結果能夠看出，本文提出的基于機器視覺的類球狀水果采摘機械目標識別方法，三個評測指標均達到了≥95.38%，明顯高于另外兩種識別方法，且具有較大的差異。由此不難看出，本文提出的類球狀水果采摘機械目標識別方法的識別精度較高，具有較強的泛化能力，應用效果優勢顯著。

3 結語

為了改善傳統水果采摘機械目標識別方法在類球狀水果采摘中應用效果較差、無法精確識別采摘目標的問題，在傳統機械目標識別方法的基礎上，作出了優化設計，引入機器視覺技術，提出了一種全新的類球狀水果采摘機械目標識別方法。通過本文的研究，能夠實現對類球狀水果物理特性的分析，融合了類球狀水果的前景特征與背景特征，有效地提高了類球狀水果采摘機械目標識別的精度與效率，對促進我國現代農業機械化可持續發展具有重要研究意義。