一種新型蘋果果實特征提取算法

陳乾輝

吳德剛

(商丘工學院，河南 商丘 476000)

蘋果果實的分級效果直接影響中國蘋果在國際市場上的競爭力，而分級的智能化亦將具有巨大的經濟效益和市場前景，因此，為解決蘋果果實分級過程中存在的勞動強度大、精度要求高及實時性強等問題，用于蘋果果實分級的機器人開始出現在人們的視野[1]。目前，基于計算機視覺的蘋果果實分級是通過提取蘋果果實的特征來實現的，Paulus I等[2]通過蘋果直徑、表面積及體積的特征提取實現對蘋果果實的大小分級；Leemans等[3]研究了一種基于蘋果缺陷實時檢測的分級系統，該系統采用順序前進法對蘋果花萼和果柄特征提取以實現果實的分級，分級準確率可達93.5%；馮斌等[4]將水果表面顏色分布的分形維數作為特征對水果進行分級，精確度可達95%。蘋果果實的分級主要是對蘋果的果形和顏色特征進行有效的提取，其特征參數的精確提取是決定蘋果分級能否正確識別果實的關鍵。

目前，蘋果果實的特征提取方法主要有Hough算法、隨機Hough算法，但這些特征提取算法存在運算復雜、實時性差等缺陷[5-6]。本文擬提出利用一個滑動高斯模板和蘋果圖像進行卷積運算提取蘋果圓形的特征提取方法，以期達到蘋果快速分級的目的。

1 Hough算法

傳統的Hough算法是通過變換，將被檢測圖像空間上的點映射到參數空間，并在參數空間完成對被檢測蘋果圖像的特征提取，Hough算法常用來對圖像空間中的圓形和直線進行檢測[7-8]。

1.1 直線檢測

在被檢測二維圖像空間x-y中，直線上的任何一點(xi,yi)都可用斜截式方程表示，見式(1)：

yi=axi+b，

(1)

式中：

a——斜率；

b——截距。

對式(1)變換，得到以a、b為變量的等式方程，即

b=-xia+yi。

(2)

對比式(1)可以看出，式(2)同樣構成了一個二維圖像空間a-b，將該二維圖像空間a-b稱為參數空間。由式(1)和式(2)可知，被檢測二維圖像空間x-y中的任何一點(x,y)與參數空間a-b中的一條直線是對應的，同理，被檢測二維圖像空間中的任意直線的方程取決于參數空間中的點(a,b)，由此可表示出被檢測二維圖像空間和參數空間的映射關系：被檢測二維圖像空間中的任意一點可映射為參數空間中的一條由(a,b)決定的直線，見圖1；而被檢測二維圖像空間中的任意一條直線上的點可映射為參數空間中通過同一點的一簇直線，見圖2。

若用數組表示出參數空間(a,b)中的所有取值，即可以通過式(2)求出對應于a的所有b值，通過Hough算法對已知(a,b)值進行累加運算，根據累加結果獲得峰值點，即為較多線的公共點，由圖2可知，參數空間中的這些共點的線可認為在某個平面是共線的，即被檢測圖像空間共線，且直線方程滿足式(1)。

圖1 被檢測二維圖像到參數空間的映射Figure 1 Mapping of two-dimensional image to parameter space

圖2 被檢測圖像上的直線到參數空間的映射Figure 2 Mapping from a straight line of the detected image to a parameter space

為準確識別、檢測任意直線方程，避免出現斜率無窮大時，無法完成直線檢測的情況，可以用三角函數式代替式(1)，即

ρ=xcosφ+ysinφ。

(3)

由式(3)可以看出，參數空間由(a,b)空間變為了(ρ,φ)空間，而被檢測二維圖像空間和參數空間之間的映射關系保持不變。

1.2 圓形檢測

在被檢測二維圖像空間(x,y)中，圓方程為

(x-a0)2+(y-b0)2=r2，

(4)

式中：

r——半徑，m；

(a0,b0)——圓心。

若將被檢測二維圖像空間x-y中的圓映射到參數空間x-y-r可知，在被檢測圖像空間x-y中，圓上任何一點與x-y-r參數空間中的一個圓是相對應的，且x-y-r參數空間的所有圓應交于(a0,b0,r)點，即被檢測二維圖像空間中的任何一點對應參數空間的一個錐面，見圖3。

根據Hough算法建立數組，通過累加運算找到錐面的公共點，即x-y-r參數空間的(a0,b0,r)點，進而檢測出被檢測二維圖像x-y中的圓。

圖3 圓參數空間圖像Figure 3 Space image of circle parameter

2 新型特征提取算法

由于傳統Hough算法存在運算復雜、實時性差等缺陷，難于精確提取不規則蘋果果實的特征，尤其是當蘋果果實重疊和相鄰2種情況時的提取效果更差，進而影響蘋果果實的分級效果。本文提出了一種新型蘋果果實特征提取算法，該算法利用滑動的高斯模板和蘋果圖像進行卷積運算提取蘋果的圓形。

高斯濾波器是根據高斯分布函數確定各位置權重的一種平滑線性濾波模板，一維、二維高斯濾波函數分別見式(5)和式(6)。

(5)

(6)

式中：

δ——尺度因子,由實際情況確定。

利用濾波模板領域內像素的加權平均值代替被檢測圖像中的像素點，并將其作為高斯模板的輸出，會使圖像的平滑效果更好。由于加權均值是利用不同系數和像素進行的積運算，這樣會使處于模板中心的像素具有較大的權值，而處于模板邊緣的像素具有較小的權值，即像素點的權值隨與中心點距離的減小而增加。也就是說高斯模板的中心具有最大的響應值，邊緣處則具有較小的響應值，因而可以利用滑動的高斯模板與被檢測蘋果圖像進行卷積運算以提取果實的圓形。

因此，將高斯模板與分割的被檢測蘋果圖像進行卷積運算，最大響應值應處于蘋果的中心，而階躍點或零點則在灰度變化較為明顯的邊緣。若對平滑后的被檢測蘋果圖像進行最大響應值運算，則最大響應值處即是蘋果的中心。

假設I為被檢測二維圖像，g為高斯模板響應值，則高斯模板與被檢測蘋果圖像進行卷積運算后的響應值h為：

h(x,y)=I(x,y)×g(x,y)。

(7)

設高斯模板：x=[-128∶1∶128]；y=[-128∶1∶128]，原點為模板中心，則模板中任意一點的g(i,j)為：

(8)

獲得任意一點的g(i,j)后，需根據式(7)對被檢測圖像做卷積運算，而后利用新型特征提取算法進行最大響應值檢測。

最大響應值檢測：利用半徑為σ的正方形在被檢測圖像上滑動，用于對蘋果果實最大響應值的檢測，可設σ=3，即在一個3×3窗口對被檢測蘋果圖像的灰度最大值進行檢測，根據新型蘋果果實特征提取算法，可將該正方向窗口放于被檢測圖像中蘋果果實所處的位置，可知最大響應值應位于蘋果的中心，從而獲得蘋果的中心點。

2.1 單一果實特征提取

單一蘋果中心點檢測見圖4。

圖4 單一蘋果中心檢測Figure 4 Center detection of single apple

由圖4(c)可知，曲線的峰值點僅有1個，正好對應被檢測蘋果圖像中的1個圓形的果實，即蘋果所在的圓處具有較大響應值，而蘋果果實之外的其他區域，具有較低的響應值，根據該方法，不僅可以獲得處于最大響應值點的蘋果的圓心，亦可以根據局部最大響應值方法獲取蘋果果實的圓形。

2.2 相鄰果實特征提取

相鄰蘋果中心點檢測見圖5。由圖5(c)可以看出，曲線的峰值點有2個，正好對應被檢測蘋果圖像中的2個圓形的果實，而蘋果所在的圓處也具有較大響應值，而蘋果果實之外的其他區域，具有較低的響應值，且最大響應值點位于蘋果的圓心。

2.3 相鄰且重疊果實特征提取

實際蘋果果實不僅僅是以單一或相鄰存在的，還有一些蘋果果實是以多個堆在一起的，雖然在被檢測蘋果圖像上也是以相鄰方式存在的，但還存在重疊的現象，其蘋果中心點的檢測見圖6。

圖5 相鄰蘋果中心點檢測Figure 5 Detection of adjacent apple center points

圖6 相鄰、重疊中心點檢測Figure 6 Detection of adjacent and overlapping center points

由圖6(c)可以看出，曲線的峰值點有3個，正好對應被檢測蘋果圖像中的3個圓形果實，同樣，蘋果所在的圓處也具有較大響應值，而蘋果果實之外的其他區域，具有較低的響應值，且最大響應值點位于蘋果的圓心。

2.4 果實半徑獲取

半徑獲取方法：根據上述獲得的蘋果近似圓心，求取其到所在連通域內邊緣的距離，并通過對該距離值進行取整計算，獲得一些整數距ri，進而統計出與各個ri的距離在2個像素內的ri的數量，最后取數量最多的ri作為蘋果果實的半徑。

2.4.1 存在的問題

(1) 顏色分布不均：蘋果果實顏色存在偏黃、偏青的現象，比如圖7(a)中右邊的蘋果，若檢測中將其誤認為背景色，則會使圖7(a)中右邊的蘋果的提取偏離果實圓形的現象。根據上述半徑獲取方法可知，半徑的獲取依賴于所檢測的蘋果邊緣的精確度，即被檢測蘋果圖像的顏色分布不均，使得獲取的半徑不合格。

(2) 果實分布重疊：自然放置的蘋果果實容易受其他果實的遮擋，使得被檢測蘋果圖像的果實表面出現不完整和凹陷的現象，見圖8(a)。根據半徑獲取方法，將獲取不合格的果實半徑。

圖8 果實分布重疊時的蘋果果實半徑獲取Figure 8 Acquisition of apple fruit radius with overlapping fruit distribution

2.4.2 方法改進 使用被檢測蘋果圖像所在連通區域的最小包絡矩陣，通過計算獲取矩形框邊長的最大值，并以此最大值限制被檢測蘋果圖像中果實的最大半徑。同理，計算出矩形框邊長的最小值，并以此最小值限制被檢測蘋果圖像中果實的最小半徑，試驗結果見圖9，進而避免獲取的半徑過大、過小的現象。

圖9 改進蘋果果實半徑獲取Figure 9 Improved algorithm of apple fruit radius acquisition

3 試驗分析

選用200幅光照強度不同條件下拍攝的蘋果圖像作為被檢測圖像，其中共含有蘋果果實401個。根據蘋果果實的特點，將本次試驗分為3類：

①A1：單一狀態下蘋果；

②A2：相鄰且不重疊狀態下的蘋果；

③A3：相鄰且重疊狀態下的蘋果。

在Hough算法和新型特征提取算法下，對3種不同狀態下的被檢測蘋果果實進行特征提取。

3.1 單一蘋果果實的特征提取

單一蘋果果實的圓形特征提取見圖10。

圖10 單個蘋果果實圓形特征提取對比Figure 10 Comparison of circular feature extraction from single apple fruit

3.2 相鄰不重疊蘋果果實的特征提取

相鄰且不重疊情況下，蘋果果實的圓形特征提取見圖11。

圖11 相鄰不重疊蘋果果實圓形特征提取對比Figure 11 Extraction and comparison for circular features of adjacent apple fruits

3.3 相鄰和重疊蘋果果實的圓形檢測

相鄰且重疊情況下，蘋果果實的圓形特征提取見圖12。

圖12 相鄰且重疊蘋果果實圓形特征提取對比Figure 12 Extraction and comparison of circular features between adjacent and overlapping apple fruits

3.4 結果分析

若用準確率的高低作為此次試驗的評價，則可表示為：

(9)

式中：

p——準確率，%；

M——試驗圖像總數；

NR——能準確檢測和識別的蘋果果實圖像。

根據式(9)，3類蘋果的準確率見表1。

由表1可知，在新型特征提取算法下，A1果實識別的準確率可高達96.6%。A3果實的識別率較低，也可達94.1%。

表1 蘋果果實準確率Table 1 Accuracy of apple fruit

在被檢測蘋果圖像中，無相鄰、遮擋及重疊的蘋果屬于A1。由于沒有遮擋和重疊的現象，A1果實的新型特征提取算法下的檢測最準確，因而識別準確率最高。

在被檢測蘋果圖像中，相鄰、不重疊的蘋果屬于A2。A2果實可以在通過去除小面積噪聲后，使用新型特征提取算法獲取蘋果的圓形特征，識別率亦較高。

在被檢測蘋果圖像中，相鄰、重疊的蘋果屬于A3。由于A3果實受外界條件的影響，蘋果果實表面將有大面積噪聲產生，在小面積遮擋情況下，新型特征提取算法具有較高的準確率，若被檢測蘋果圖像中有大面積遮擋的現象，則會影響蘋果果實識別的準確率，此種情況下蘋果的識別準確率較低，但也能達到94.1%。

Hough算法僅僅在邊緣平滑的情況下，對近似圓形果實的識別率較高，若被檢測圖像的邊緣出現殘缺，則就難以檢測出相應的圓形，見圖12(c)。另外，Hough算法具有較大的計算量，過多的資源占用率，若被檢測圖像的背景復雜，其檢測圓形的能力相當差，見圖11(c)。

由圖10～12可知，A1、A2、A33類不同狀態的蘋果果實，在新型蘋果果實特征提取算法下都能有較高的果實識別率，而利用Hough算法僅僅對A1果實有較高的準確率，A2、A3果實的識別率較低，因此，本試驗提出的新型蘋果果實提取算法的魯棒性更強，即使在A3情況下也能有較好的果實識別率。

4 結論

針對傳統Hough算法在蘋果相鄰及重疊檢測中準確度低、實時性不強的缺陷，提出了一種新型的果實提取算法，該算法利用一個滑動的高斯模板和蘋果圖像進行卷積運算提取圓形，使用被檢測蘋果圖像所在的連通區域的最小包絡矩陣，獲取果實的半徑。通過試驗發現，該圓形檢測算法比傳統圓形檢測算法的效果更好，且果實的檢測準確率可達96.6%，能夠滿足果實分級的要求。然而，該算法對于復雜場景的蘋果檢測還存在實時性提高的空間，需要加以改進。

[1] 王丹丹, 宋懷波, 何東健.蘋果分級機器人視覺系統研究進展[J].農業工程學報, 2017, 33(10): 59-69.

[2] PAULUS I, DE BUSSCHER P, SCHREVENS E.Use of image analysis to investigate human quality classification of apples[J].J.Agric.Engng Res., 1997, 68(4): 341-353.

[3] LEEMANS V, MAGEIN H, DESTAIN M F.Defects segmentation on ‘Golden Delicious’ apple by using colour machine vision[J].Computer Electron Agric., 1998, 20(2): 117-130.

[4] 馮斌, 汪懋華.基于計算機視覺的水果大小檢測方法[J].農業機械學報, 2003, 34(1): 73-75.

[5] 付鵬.基于機器視覺的蘋果檢測與識別關鍵技術研究[D].楊凌: 西北農林科技大學, 2012: 24-35.

[6] 徐凱.基于圖像識別的蘋果果實檢測技術[J].實驗室研究與探索, 2016, 35(10): 36-39.

[7] 張健, 張莉華.基于改進二進制粒子群算法的蘋果多特征提取分級研究[J].浙江農業學報, 2016, 28(9): 1 609-1 615.

[8] 談英.蘋果采摘機器人在線分級系統設計[D].南京: 南京農業大學, 2014: 7-28.