果實圖像識別新方法在蘋果采摘機器人中的應用研究

唐栩超

（上海郵電設計咨詢研究院有限公司，上海 200082）

0 引言

隨著我國農業自動化的快速發展，果實采摘機器人技術也得到了深入研究和廣泛應用，例如基于區域特征的番茄果實識別技術主要利用像素灰度值的突變對圖像進行分割，再對分割后的區域進行分析，從而識別果實。該技術還可以以圖斑為特征變量，從不同的方向提取果實的特征，通過數據建模來估算單株果樹的產量。這些方法的缺點是只能對單個果實進行識別，如果存在覆蓋或者被遮擋的情況，就會導致識別率變低，從而導致出現漏摘的情況[1]。為了解決這類問題，該文提出了一種新的果實圖像識別方法，將極大值作為特征進行提取和檢測，通過高斯濾波原理可以確定果實的位置并提取果實的圖像顏色特征[2]。為了驗證該文提出的方法的正確性，該文以蘋果采摘機器人為例進行一系列的測試，并與傳統的Hough 變換檢測效果進行對比。測試結果表明，該文提出的方法對果實的識別率更高，特別是在存在遮擋的情況下，其優勢更明顯。

1 圖像去噪原理

在進行圖像識別的過程中，噪聲的干擾是實時存在的，因此圖像特征參數就會被改變和破壞，從而對果實特征的識別和提取造成很大的影響，為了保證圖像的質量，必須對圖像進行降噪處理。去噪方法種類很多，常用的有中值濾波和矢量中值濾波等[3]。

1.1 中值濾波去噪分析

該方法實際上就是一個順序統計濾波器，其基本原理是首先在圖像中確定一個小窗口。其次，按大小的順序對窗口中的像素灰度值進行排列。最后，通過奇偶條件得到一個中間值，這個中間值就是窗口中心位置的像素值，如公式（1）所示。

式中：Y為中值濾波結果；f1~fn為一維序列。

該方法的去噪效果由區域像素點的排序決定，不需要考慮圖像的整體特性，這樣可以很好地保護圖像的邊緣區域，問題是選取的窗口越大，處理的速度就會越慢，實時性很差[4]。

1.2 均值濾波去噪分析

均值濾波的基本原理如下：首先，在待識別的圖像上確定一個區域，這個區域的特點是不但包括待處理的像素，而且還包括其相鄰的像素。其次，計算該區域中所有像素的平均值，計算的結果就是待處理像素的值。因此，均值濾波是常見的線性濾波算法，該方法的優點是可以對圖像進行平滑處理且速度快，缺點是經處理后的圖像比較模糊，其原因是處理時是同時對圖像上所有像素進行處理。該方法在一定程度上可以削弱噪聲，但是并不能完全消除噪聲。

1.3 矢量中值濾波去噪分析

其基本原理是通過中值濾波處理彩色圖像中的矢量，1幅彩色圖像如公式（2）所示。

式中：Ci為待處理圖像；Ri、Gi和Bi分別為3 個灰度分量。

如果{WK}為某個區域中第K個矢量集合，就可以把輸出的中值向量表示出來，也就是各矢量間最小距離所對應的向量，如公式（3）所示。

式中：Wj為第j個區域的矢量合集；Wi為第i個區域的矢量合集。

該方法的優點是計算簡單、處理速度快且去噪效果好。因此，該文選用該方法對蘋果圖像進行去噪處理。

2 蘋果圖像處理方法分析

2.1 蘋果圖像分割方法

圖像分割技術是圖像處理的重要組成部分，其原理就是根據一些重要參數（例如灰度、色彩以及紋理等）科學、有效地將圖像分割成不同的區域，再提取具體的特征[5]。應用最廣泛的圖像分割方法是Otsu 閾值法，該方法是利用最小二乘法的原理確定合適的閾值，再與各像素點的灰度值進行比較，最終得到像素點所在的區域，如果出現閾值大于灰度值的情況，就表明像素點屬于背景區域；如果相反，就表明屬于興趣區域。該方法的優點是分割效果好，基本不受光照強度等條件的影響，以蘋果圖像為例，分割的效果如圖1 所示。

圖1 蘋果圖像分割效果圖

2.2 蘋果邊緣檢測方法

邊緣檢測的效果直接決定圖像識別的結果，邊緣檢測點像素的強度值可以很好地區分邊緣點和普通像素點。在實際的應用中，經常會出現2 種情況，一是顏色分量會出現突變，二是灰度值會出現階躍變化，這2 種情況都會影響邊緣提取的效果，因此邊緣檢測方法的選擇非常重要。

常用的邊緣檢測方法主要包括Sobel 算法、Prewitt 算法以及Canny 算法。在3 種算法里，Sobel 算法的優點比較明顯，主要體現在邊緣輪廓連續、清晰，同時去噪效果也比較明顯[6]。蘋果圖像檢測效果如圖2 所示。

圖2 Sobel 算法的檢測效果

該算法的基本原理如下：對1 個3×3 的模板和需要檢測的圖像中的每個像素點進行卷積運算，可以得到2 個重要的參數（水平邊緣和垂直邊緣），通過確定的閾值就可以對需要檢測圖像的邊緣進行提取，如公式（4）所示。

式中：a＇x（x，y）為水平邊緣的值；ay＇x（x，y）為垂直邊緣的值。

如果a（x，y）是灰度值函數，那么梯度如公式（5）所示。

2.3 基于局部極大值蘋果圖像特征提取

要提高蘋果采摘機器人的工作效率，關鍵就在于能夠準確地提取蘋果圖像特征。應用較多的方法是 Hough 變換法，該方法的缺點是運算速度慢、時效性差，特別是在有遮擋的情況下，其果實識別率更低[7]。

因此，該文提出了一種新的果實圖像識別方法，即基于局部極大值進行蘋果圖像特征提取，該方法充分利用了高斯濾波器的原理，首先，對滑動的高斯模板和需要識別的蘋果圖像進行卷積運算，同時在高斯濾波器的輸出端輸出得到的加權平均值，從而提取蘋果的形狀[8]。通常情況下，一維和二維高斯濾波函數如公式（6）、公式（7）所示。

式中：δ為尺度因子。

在提取蘋果圖像特征的過程中，需要確定一個零點，該零點的確定必須要滿足2 個條件，一個是圖像中心響應值最大，另外一個是灰度值突變較大的邊緣的響應值最小。檢測的過程分為2 步：1） 對蘋果圖像進行高斯濾波。2） 進行局部極大值檢測，出現極大值的位置就是蘋果的中心位置[9]。

如果用Q為原始圖像，P為高斯響應值，那么高斯卷積相應如公式（8）所示。

高斯濾波后需要把局部極大值檢測出來，選擇一個合適的正方形窗口在蘋果圖像上滑動，滑動的目的就是檢測窗口中的圖像像素的灰度值，這樣就可以很好地確定局部極大值的具體位置，通過公式（8）可以計算高斯卷積響應值最大的地方就是蘋果的中心。確定圓心后就可以通過圓心到邊緣的距離判斷蘋果的半徑和大小。通過該方法對蘋果進行檢測的結果如圖3 所示。

圖3 局部極大值法檢測結果

2.4 方法流程

該方法使用編程語言C++實現，因為C++代碼運行效率比較高，所以可以提高圖像識別的速度，具體的方法流程如圖4 所示。

圖4 實現流程圖

整個方法的實現流程總共分5 個步驟（第三步、第四步和第五步是核心步驟）：1） 選擇需要識別的蘋果圖像，初始化主要參數。2） 選擇使用矢量中值濾波對待處理的蘋果圖像進行降噪處理。3） 通過Otsu 閾值法對待處理蘋果圖像進行分割，并判斷像素點屬于背景區域還是屬于目標區域，如果屬于背景區域，就重復操作，直到像素點屬于目標區域再進行下一步操作。4） 通過Sobel 算法、公式（4）和公式（5）進行邊緣檢測，并清晰、連續地展現待檢測圖像目標區域的輪廓。5） 通過公式（6）和公式（7）進行局部極大值檢測，并定位待檢測目標區域的中心位置，通過公式（8）判斷蘋果的半徑和大小，最后輸出檢測結果。

3 測試結果

為了驗證該文提出的方法的正確性，須進行一系列對比測試。

使用蘋果采摘機器人對隨機選取的288 個蘋果進行測試，假設B1為無遮擋的蘋果數量，B2為有遮擋的蘋果數量，Z為測試的準確率；J為測試蘋果的總數量；K為機器人識別出的蘋果數量，那么識別準確率如公式（8）所示。

由測試數據可知，與Hough 變換法相比，該文提出的方法的采摘準確率更高，對無遮擋的蘋果來說，這種方法采摘準確率差別不大，但是對有遮擋的蘋果來說，該文提出的方法的優勢更明顯。

4 結語

隨著果實采摘機器人的廣泛應用，對采摘準確率的要求也越來越高，如果要提高采摘準確率，就要求機器人必須能準確識別果實圖像。因此，該文提出了一種果實圖像識別新方法，該方法主要通過局部最大值進行特征提取，從而確定果實的中心位置，同時還能夠確定果實的直徑和大小。為了驗證該文提出的方法的正確性，將傳統的Hough 變換法與該文提出的方法應用到蘋果采摘機器人中進行對比測試，由測試數據可知，該文提出的方法對蘋果的識別率更高，可以廣泛地應用到果實采摘機器人中。