基于輪廓分析的雙串疊貼葡萄目標識別方法

羅陸鋒 鄒湘軍 王成琳 陳 雄 楊自尚 司徒偉明

(1.華南農業大學南方農業機械與裝備關鍵技術教育部重點實驗室， 廣州 510642；2.天津職業技術師范大學機械工程學院， 天津 300222)

基于輪廓分析的雙串疊貼葡萄目標識別方法

羅陸鋒1,2鄒湘軍1王成琳1陳 雄1楊自尚1司徒偉明1

(1.華南農業大學南方農業機械與裝備關鍵技術教育部重點實驗室， 廣州 510642；2.天津職業技術師范大學機械工程學院， 天津 300222)

為準確定位疊貼情況下的葡萄目標，提出了一種基于輪廓分析的雙串疊貼葡萄目標識別方法。首先提取最能突顯夏黑葡萄的HSV顏色空間中的H分量，通過改進K-means聚類方法對葡萄圖像進行分割，運用形態學去噪等處理獲取葡萄圖像區域，再提取該區域邊緣輪廓和左右輪廓的類圓中心。然后以該中心點為原點建立基于輪廓分析的疊貼葡萄串分界線幾何求解與計算模型，分別在逆時針方向45°～135°和225°～315°區域內沿葡萄輪廓搜索距離原點最近的點，進而確立兩疊貼葡萄輪廓拐點及其分界線，最終實現對疊貼葡萄目標的分別提取。對從果園采集的27幅雙串疊貼葡萄圖像進行試驗，結果顯示：24幅圖像中的疊貼葡萄串被正確識別和提取，成功率達88.89%，目標像素區域的識別精準度為87.63%～96.12%，算法處理時間在0.59～0.68 s之間。將算法移植到自主研制的機器人上進行視覺定位試驗，結果表明所提方法可很好地用于兩疊貼葡萄目標的識別與定位。

疊貼葡萄； 圖像分割； 輪廓分析； 目標識別； 拐點

引言

近年來，我國葡萄產量逐年增加，截止到2014年，我國葡萄栽培面積已達76.72萬hm2，產量已躍居世界前列[1]。然而，目前我國葡萄收獲基本靠人力采摘，隨著人口老齡化加劇，研發葡萄采摘機器人將具有重要的現實意義。基于機器視覺的采摘機器人作業時需首先準確識別和定位果園環境中的水果，但由于果園環境的復雜性和不確定性，加之葡萄是簇生水果且其輪廓不規則，使得重疊和貼靠等情況下葡萄串的識別和定位成為難題[2]。本文將2串前后部分重疊或左右貼靠葡萄統稱為疊貼葡萄。

圖1 圖像顏色空間轉換及H分量直方圖Fig.1 Space conversions of color image and histograms of color component H

多年來，疊貼目標的識別與定位一直是采摘機器人研究領域的熱點[3]。國內外學者圍繞這一主題進行了大量研究[4-12]。綜合上述方法，可將其大致分為基于數學形態學的方法和基于活動輪廓模型的方法。這些方法主要針對多個單果(例如蘋果、柑橘、桃等)重疊的檢測與定位。而就簇生水果葡萄來說，目前的研究主要針對單串葡萄識別與定位[13]和葡萄果粒尺寸檢測[5-6]等，還很少見有針對多串疊貼葡萄串目標識別和提取的研究。鑒于上述，本文提出一種基于輪廓分析和幾何約束相結合的疊貼葡萄串目標提取方法。該方法先對疊貼葡萄進行圖像分割和輪廓提取，建立基于輪廓分析的疊貼葡萄分界線幾何計算模型。該模型通過幾何約束方法求解疊貼葡萄邊緣輪廓交界處拐點，進而確立疊貼葡萄串分界線，實現對目標的分別提取，為采摘機器人的視覺定位提供方法支持。

1 圖像采集及預處理

1.1 葡萄圖像獲取

為驗證本文所提方法的實用性，于2015年7月在天津市茶淀葡萄科技園采集2串相互疊貼的夏黑葡萄圖像(27幅)。所用相機為尼康D5200型數碼相機，相機曝光模式設置為自動曝光，曝光時間為1/100 s，拍攝距離為600～1 000 mm。采集圖像尺寸為2 592像素×1 944像素。為減少圖像處理時間和便于分析算法的實時性，利用雙三次插值法將圖像尺寸調整至640像素×480像素。因葡萄生長位置的隨機性，使得葡萄疊貼的形態不一，但大體可分為上下疊貼和并行疊貼。其中上下疊貼是指兩葡萄果梗位置存在高度偏差，而并行疊貼指葡萄果梗高度基本齊平，如圖1a、1e所示。

1.2 圖像預處理

圖像預處理是葡萄目標識別前的重要環節。為準確分割出葡萄串圖像，本文將葡萄彩色圖像轉換至便于圖像分割的顏色空間，將最佳顏色分量輸入后續識別算法。常用的顏色空間有RGB、HSV、HIS、YCbCr和Lab等。其中RGB又稱為三原色，以三原色為基礎，經過線性或非線性變換可以轉換成另外的顏色空間[14]。

通過對比和分析夏黑葡萄與葉子、枝干、地面等背景元素之間的顏色差異，將圖像轉換至HSV、HIS、YCbCr、Lab等顏色空間，發現夏黑葡萄在HSV顏色空間中的H分量圖中與背景具有明顯的顏色反差，且直方圖雙峰效果明顯。如圖1d、1h所示，葡萄的顏色強度與周圍背景區分明顯，且H分量的像素直方圖呈現良好的波峰波谷效果，盡管圖1c中左側出現2座小波峰，但其附屬的主峰與右側主峰距離較遠，因而，適合運用聚類方法進行快速分割。其中H分量計算式[15]為

(1)

式中G——RGB顏色空間的綠色分量B——RGB顏色空間的藍色分量

2 基于輪廓分析的雙串疊貼葡萄目標識別方法

本文提出的雙串疊貼葡萄目標識別方法流程如圖2所示。首先通過改進的K-means聚類算法對提取的H分量圖進行圖像分割，再利用形態學去噪等處理獲取疊貼葡萄圖像區域并提取該區域邊緣輪廓。然后計算輪廓中左右極值點及類圓中心，以該中心點為原點建立基于輪廓分析的疊貼葡萄分界線幾何計算模型，分別在逆時針方向45°～135°和225°～315°區域內搜索距離原點最近的葡萄輪廓點，得到疊貼葡萄邊緣輪廓交界處拐點，進而確立兩疊貼葡萄串分界線，最終實現對疊貼葡萄目標的分別提取。

圖2 算法處理流程圖Fig.2 Flow chart of algorithmic process of the developed method

2.1 疊貼葡萄串輪廓信息獲取

2.1.1 圖像分割與噪聲剔除

在經過圖像預處理提取HSV顏色空間的H分量后，通過K-means聚類算法對H分量圖進行分割。K-means聚類算法是一種無監督學習算法，它通過迭代搜索將單一數據劃分為指定的簇[8]。該算法采用距離作為相似性的評價指標，將距離最為靠近的對象組成一類，通過迭代得到一組緊湊且相互獨立的類，最終實現對數據的分類。該算法具體流程如下：

(1)輸入數據集D={x1,x2,…,xm}和聚類數k。從D中隨機選取k個樣本作為聚類Ci(i=1,2,…,k)的初始聚類中心{μ1,μ2,…,μk}。

(2)對數據集進行迭代分類，設i,j=1, 2, …,k，且i≠j，若‖xm-μj‖<‖xm-μi‖，則將xm劃分為Cj類。

(3)通過步驟(2)將數據分類后，重新計算每個聚類的平均值作為新的聚類中心μ′i

(2)

(4)對于全部聚類中心，若相鄰2次迭代中的聚類中心μ′i=μi，則停止迭代。否則，轉至步驟(2)繼續迭代。

從上述算法流程可知，K-means聚類算法需先確定聚類個數和初始聚類中心，且其理想程度直接影響聚類劃分的效率和結果。考慮到圖像預處理中提取的H分量直方圖呈現良好的雙峰(即背景和葡萄)效果，所以本文將聚類數設置為2。在原始K-means算法中，初始聚類中心通常是隨機選取，如果選取不當，則需耗費較多時間進行迭代最優聚類中心，甚至容易導致局部極值[16]。為此，對聚類中心初始化進行改進，通過求解H分量直方圖的2座最高波峰所對應的灰度來初始化聚類中心，縮短算法的迭代次數和時間。但由于直方圖常摻雜有類似波峰的圖像噪聲，這給波峰的自動檢測帶來一定干擾。為降低噪聲的影響，采用高斯濾波對直方圖進行平滑處理[17]。圖1c和圖1d以及圖1g和圖1h分別為圖1a和圖1e在高斯濾波前與濾波后的直方圖。圖3a為圖1a未進行高斯濾波的分割結果，圖3b為圖1a通過高斯濾波后的分割圖像。

從圖3b可以看出，通過K-means聚類算法對圖像進行分割后，圖像中還存在一些噪聲和一些殘缺葡萄圖像的小面積背景。對于這些小面積背景，本文采用面積閾值法進行去除。經過調試和預備試驗，將面積小于圖像中1/4最大面積的對象作為背景刪除。再通過形態學開閉運算剔除圖像中的粘連噪聲。最后對目標區域進行空洞填充，得到一個完整封閉的葡萄圖像區域。最終分割結果如圖3c所示。

圖3 葡萄圖像分割與輪廓提取Fig.3 Image segmentation and contour extraction

2.1.2 疊貼葡萄輪廓提取

葡萄輪廓提取是實現疊貼目標檢測的重要前提。目前，最可靠的輪廓邊緣檢測方法是使用一階和二階導數來檢測邊緣灰度值的不連續性。通過選用或設計邊緣梯度檢測算子來提取邊緣圖像。設圖像中像素點值用函數f(x,y)表示，(x,y)為像素點坐標。體現邊緣不連續性的方向向量可以用有限差分來計算，圖像中像素點的梯度為

(3)

其中fhs(x,y)=0.5(f(x+1,y)-f(x-1,y))

fvs(x,y)=0.5(f(x,y+1)-f(x,y-1))

本文選Canny算子[18]作為邊緣檢測算子，該算子通過尋找圖像f(x,y)梯度的局部最大值來發現邊緣像素點，再對圖像梯度幅值進行閾值劃分得到葡萄區域的邊緣二值圖像，圖3d為提取后的葡萄邊緣輪廓圖像。

2.2 基于輪廓分析的疊貼葡萄目標識別

因葡萄輪廓不規則，且果園環境中疊貼葡萄串的相對位置具有不確定性，致使難以通過傳統的霍夫變換或凹點檢測方法來實現對疊貼葡萄目標的提取。通過分析多幅疊貼葡萄的輪廓后發現：大多數情況下兩疊貼葡萄串在交界處輪廓會出現換向拐點，且拐點靠近輪廓中心區域，同時這種拐點往往是成對出現。因此，本研究提出通過求解兩疊貼葡萄邊緣輪廓交界處拐點來實現對雙串疊貼葡萄目標分別提取。

2.2.1 邊緣輪廓交界處拐點的幾何計算模型

為求解疊貼葡萄串輪廓交界處拐點，根據輪廓特征構建如圖4所示的拐點幾何計算模型。設圖像列坐標方向為X軸正向，圖像行坐標方向為Y軸正向。該計算模型首先求解2.1.2節中所提取的葡萄輪廓的左右極值點A和B，然后連線A、B并計算其中點O，可視該點為葡萄左右輪廓的類圓中心，并設置該點為原點，以水平向右為起點，分別提取逆時針方向45°～135°和225°～315°區域內的葡萄輪廓作為拐點感興趣區域，構成上拐點搜索區域和下拐點搜索區域。因拐點必須位于輪廓上，所以圖中曲線FG和曲線DE可視為上、下拐點感興趣區域。在提取疊貼葡萄交界處拐點感興趣區域后，再通過最小距離約束分別求解上下輪廓中的拐點。

圖4 交界處輪廓拐點的幾何計算模型Fig.4 Geometric calculation model of intersection point of two grape clusters’ edges

2.2.2 疊貼葡萄交界處拐點計算及分界線提取

在提取出疊貼葡萄串的輪廓后，得到葡萄區域邊界的二值圖像，即輪廓像素值設為1(白色)，其余區域設為0(黑色)。為求得輪廓左右極值點，通過搜索輪廓中像素在X方向上坐標的最大值和最小值來獲得輪廓中的左右極值點。然后連線該兩點，求解其連線的中點坐標，該點即為疊貼葡萄左右的類圓中心，如圖5a所示。為求解輪廓交界處拐點，本研究通過搜索葡萄上輪廓和下輪廓距原點O最近的點作為上、下拐點。其求解方程為

(4)

式中 (xo,yo)——原點坐標 (x,y)——圖像中葡萄輪廓上像素點的坐標

為防止左右輪廓和一些奇異輪廓對求解結果造成干擾，設置如下3個約束來求解方程(4)：

(1)對于上輪廓拐點，其像素點坐標須位于原點O上方，同理，下輪廓拐點須位于原點O下方。

(2)角度區域范圍約束，將上拐點搜索范圍限制在逆時針方向45°～135°之間，如圖4中OGF區域；下拐點搜索范圍限制在逆時針方向225°～315°之間，如圖4中OED區域。通過該約束可剔除一些冗余邊緣，得到感興趣的拐點邊緣輪廓，如圖5b所示。

(3)上、下拐點須是兩疊貼葡萄邊緣輪廓上的點，即拐點必須包含于邊緣輪廓。

因此，對于兩疊貼葡萄輪廓交界處拐點可通過約束式

(5)

對方程(4)進行解算，求得上拐點(xH,yH)。

同理，可用約束式

(6)

對方程(4)進行解算，求得下拐點(xL,yL)，如圖5b所示。

通過上述方法求得上、下拐點H和L后，連線HL得到兩疊貼葡萄串的分界線，如圖5c所示。

2.2.3 葡萄串質心計算

提取兩疊貼葡萄串分界線后，將疊貼葡萄區域劃分為2個獨立的部分，再分別計算兩區域的質心作為各自提取的葡萄串目標中心點。為計算葡萄質心坐標，在分界后的葡萄二值圖像基礎上依據圖像質心矩的定義[15]，將葡萄質心坐標定義為

(7)

式中 (xc,yc)——質心坐標

所求得的葡萄圖像質心如圖5c所示。

圖5 疊貼葡萄輪廓交界處拐點及分界線的提取過程Fig.5 Extracting process of two overlapping and adjacent grape clusters

3 試驗與分析

為驗證所提方法的實用性，首先對從果園采集的27幅雙串疊貼葡萄圖像進行試驗，計算和分析了算法對疊貼目標識別的精準度和實時性，圖像處理所用計算機配置為：Intel (R) Core (TM) i5-3230M CPU @ 2.60 GHz，4 G內存，Windows 7操作系統。算法編程平臺采用Matlab 2015b。然后，在實驗室環境下搭建疊貼葡萄試驗臺，將本文算法移植到自主研制的采摘機器人上進行疊貼葡萄定位試驗。

3.1 目標識別精準度和實時性試驗

根據葡萄疊貼的相對位置，本研究將準確度試驗分為上下疊貼和并行疊貼2種情形。在27幅葡萄試驗圖像中，上下疊貼葡萄圖像13幅，并行疊貼葡萄圖像14幅。運用本文方法進行圖像處理后，得到兩葡萄輪廓及其分界線，進而提取每一串葡萄的圖像區域。為評價本文方法對疊貼葡萄目標識別的精準度，試驗中先通過人工利用Photoshop軟件對兩疊貼葡萄串進行分別提取。然后將用本文方法提取的葡萄圖像區域與人工提取的圖像區域進行求交和求差運算，目標識別的精準度(Accuracy)和假陽錯誤率(False positive rate,FPR)計算式為

(8)

(9)

式中Ralgorithm——通過本文方法提取的葡萄串圖像區域面積Rmanual——人工方法提取的葡萄圖像區域面積

部分試驗案例如圖6所示，從圖中的2個案例中可看出，本文方法可較好地將兩疊貼葡萄分別提取出來。

圖6 試驗案例Fig.6 Testing examples

為便于認定疊貼葡萄檢測的成功與失敗，經過統計與分析，本研究設定目標識別精準度閾值為75%，低于閾值時認定為檢測失敗，高于閾值則認為檢測成功。2種疊貼情形下葡萄目標識別的精準度統計情況見表1。通過統計，成功識別疊貼葡萄目標圖像24幅，總成功率為88.89%。其中正確識別上下疊貼葡萄圖像為11幅，目標識別精準度在87.63%～95.23%之間。有2次精準度低于75%，出現較大偏差，且假陽錯誤率明顯高于其他，如圖7a、7b所示，從圖中可以看出，2種情況均因為疊貼葡萄輪廓形狀復雜，使得葡萄下輪廓拐點計算失敗，最終導致疊貼葡萄識別精準度過低、目標識別失敗。

并行疊貼葡萄的正確識別圖像為13幅，目標識別精準度在88.35%～96.12%之間。其中有1次精準度僅為65.42%，低于設定閾值，假陽錯誤率為41.26%，如圖7c所示，兩葡萄串疊貼區域大，且輪廓拐點非常不明顯，從而使得上、下拐點計算均失敗，最終導致目標識別失敗。

為統計本文算法所消耗的時間，對采集的27幅試驗圖像進行實時性測試，每幅圖像所消耗的時間見表1。從表中看出，每次試驗運行的時間各不相同，但時間基本都在0.59～0.68 s之間，由此可知，本文算法的實時性可滿足采摘機器人作業需求。

盡管所提方法能較好地識別兩疊貼葡萄串，但由于本文算法是通過上、下2個拐點的連線來進行分界，這種用直線分界的方法有時候不可避免地導致一些果粒被誤分。另外，還有一些因素會影響疊貼葡萄的識別：①變化光照下的過分割和欠分割會導致葡萄邊緣輪廓提取不夠精準，使得拐點提取出現偏差。②葡萄串輪廓細節，特別是在拐點處的輪廓細節對該算法存在較大影響，且葡萄串的重疊率及枝葉對葡萄串輪廓的遮擋對該算法影響也較大。③如果有不成熟果粒(綠色)夾雜在葡萄串中，圖像分割精度會下降，也會導致算法性能下降。

3.2 采摘機器人室內視覺定位試驗

將本文算法調試編譯后移植到自主研制的六自由度采摘機器人工控機上進行兩疊貼葡萄室內視覺定位試驗。從市場購買葡萄串，將其懸掛于搭建好的葡萄架上，通過改變兩葡萄的相對疊貼位置進行 了10次定位試驗，其中5次為上下錯位疊貼，5次為并行疊貼。定位試驗以提取的葡萄串質心點作為目標點，通過本文算法提取疊貼葡萄串區域質心后，利用采摘機器人雙目視覺對目標點進行立體匹配和三維反求，求出目標點的空間坐標，再將空間坐標發送給機器人控制系統，最后由控制系統驅動機械臂運動至目標點正前方30 mm處。測量末端執行器夾指與葡萄質心點之間的相對距離，當誤差在0～10 mm(自主研制的末端執行器夾指的容錯范圍大于10 mm[19-20])內時，視為定位成功。結果顯示，在10次定位試驗中，本文算法均能較好地計算出各疊貼葡萄串的質心。有9次定位獲得成功，其中1次由于雙目視覺系統中的立體匹配出現較大偏差而導致定位失敗。室內試驗如圖8所示。視覺定位試驗結果表明本文方法適用于兩疊貼葡萄的識別與定位。

表1 2種不同疊貼情況下目標識別統計結果

圖7 3次失敗案例Fig.7 Three examples of failure recognition

4 結束語

為實現果園環境下重疊、貼靠葡萄目標的準確視覺識別與分別提取，本文提出一種基于K-means聚類圖像分割、輪廓分析與幾何約束建模相結合的雙串疊貼葡萄目標識別與提取方法。運用27幅疊貼葡萄圖像對所提方法進行試驗，同時，將算法移植到機器人上進行了室內視覺定位試驗。有24幅試驗圖像中的疊貼葡萄被成功識別，成功率達88.89%。在成功識別的葡萄串中，其像素區域識別的精準度在87.63%～96.12%之間。算法對每幅圖像的處理時間基本都在0.59～0.68 s之間。室內機器人視覺定位試驗表明本文方法可用于兩疊貼葡萄目標的識別與定位。

圖8 采摘機械人室內視覺定位試驗Fig.8 Positioning experiment of harvesting robot in laboratory

1 晁無疾.調整提高轉型升級促進我國葡萄產業穩步發展[J]. 中國果菜, 2015(9): 12-14

2 LUO Lufeng, TANG Yunchao, ZOU Xiangjun, et al. Vision-based extraction of spatial information in grape clusters for harvesting robots[J]. Biosystems Engineering, 2016, 151: 90-104.

3 GONGAL A, AMATYA S, KARKEE M, et al. Sensors and systems for fruit detection and localization: a review [J]. Computers and Electronics in Agriculture, 2015, 116: 8-19.

4 JULIO C P, THOMAS R. Novel image processing approach for solving the overlapping problem in agriculture[J]. Biosystems Engineering, 2013, 115(1): 106-115.

5 宋懷波，張傳棟，潘景朋，等. 基于凸殼的重疊蘋果目標分割與重建算法[J]. 農業工程學報，2013，29(3)：163-168. SONG Huaibo, ZHANG Chuandong, PAN Jingpeng, et al. Segmentation and reconstruction of overlapped apple images based on convex hull [J]. Transactions of the CSAE, 2013, 29(3): 163-168. (in Chinese)

6 趙德安, 沈甜, 陳玉, 等. 蘋果采摘機器人快速跟蹤識別重疊果實[J].農業工程學報,2015,31(2):22-28. ZHAO Dean, SHEN Tian, CHEN Yu, et al. Fast tracking and recognition of overlapping fruit for apple harvesting robot[J]. Transactions of the CSAE, 2015, 31(2): 22-28. (in Chinese)

7 謝忠紅,姬長英,郭小清,等. 基于凹點搜索的重疊果實定位檢測算法研究[J].農業機械學報,2011,42(12):191-196. XIE Zhonghong, JI Changying, GUO Xiaoqing, et al. Detection and location algorithm for overlapped fruits based on concave spots searching[J].Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(12): 191-196. (in Chinese)

8 徐越,李盈慧,宋懷波,等.基于Snake模型與角點檢測的雙果重疊蘋果目標分割方法[J].農業工程學報,2015,31(1):196-203. XU Yue, LI Yinghui, SONG Huaibo, et al. Segmentation method of overlapped double apples based on Snake model and corner detectors[J]. Transactions of the CSAE, 2015, 31(1): 196-203. (in Chinese)

9 項榮，應義斌，蔣煥煜，等. 基于邊緣曲率分析的重疊番茄識別[J/OL]. 農業機械學報, 2012, 43(3): 157-162. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20120329&flag=1. DOI: 10.6041/j.issn.1000-1298.2012.03.029. XIANG Rong, YING Yibin, JIANG Huanyu, et al. Recognition of overlapping tomatoes based on edge curvature analysis[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(3): 157-162. (in Chinese)

10 曾慶兵, 劉成良, 苗玉彬, 等. 基于形態學圖像處理的重疊葡萄果徑無損測量[J].農業工程學報, 2009, 25(9): 356-360. ZENG Qingbing, LIU Chengliang, MIAO Yubin, et al. Non-destructive measurement of diameter of overlapping grape fruit based on morphological image processing[J]. Transactions of the CSAE, 2009, 25(9): 356-360.(in Chinese)

11 陳英, 李偉, 張俊雄. 基于圖像輪廓分析的堆疊葡萄果粒尺寸檢測[J]. 農業機械學報, 2011, 42(8): 168-172. CHEN Ying, LI Wei, ZHANG Junxiong. Overlapped grapes berry size inspection based on image contour analysis[J]. Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(8): 168-172. (in Chinese)

12 楊慶華, 劉燦, 荀一, 等. 葡萄套袋機器人目標識別方法[J/OL]. 農業機械學報, 2013, 44(8): 234-239. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20130840&flag=1. DOI: 10.6041/j.issn.1000-1298.2013.08.040. YANG Qinghua, LIU Can, XUN Yi, et al. Target recognition for grape bagging robot[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(8): 234-239. (in Chinese)

13 羅陸鋒，鄒湘軍，熊俊濤，等. 自然環境下葡萄采摘機器人采摘點的自動定位[J].農業工程學報, 2015, 31(2):14-21. LUO Lufeng, ZOU Xiangjun, XIONG Juntao, et al. Automatic positioning for picking point of grape picking robot in natural environment[J]. Transactions of the CSAE, 2015, 31(2): 14-21. (in Chinese)

14 WEI Xiangqin, JIA Kun, LAN Jinhui, et al. Automatic method of fruit object extraction under complex agricultural background for vision system of fruit picking robot[J]. Optik-International Journal for Light and Electron Optics, 2014, 125(19): 5684-5689.

15 RAFAEL C G, RICHARD E W, STEVEN L E.Digital image processing using Matlab[M]. Beijing: Publish House of Ecectronics Industry, 2012: 152-158.

16 熊俊濤, 鄒湘軍, 彭紅星, 等. 擾動柑橘采摘的實時識別與采摘點確定技術[J/OL]. 農業機械學報, 2014,45(8):38-43. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20140807&flag=1. DOI: 10.6041/j.issn.1000-1298.2014.08.007. XIONG Juntao, ZOU Xiangjun, PENG Hongxing, et al. Real-time identification and picking point localization of disturbance citrus picking[J/OL].Transactions of the Chinese Society for Agricultural Machinery,2014,45(8):38-43. (in Chinese)

17 孟慶寬,張漫,楊耿煌, 等.自然光照下基于粒子群算法的農業機械導航路徑識別[J/OL].農業機械學報,2016,47(6):11-20. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20160602&flag=1. DOI: 10.6041/j.issn.1000-1298.2016.06.002. MENG Qingkuan, ZHANG Man, YANG Genghuang, et al. Guidance line recognition of agricultural machinery based on particle swarm optimization under natural illumination[J/OL].Transactions of the Chinese Society for Agricultural Machinery,2016,47(6):11-20. (in Chinese)

18 CANNY J. A computational approach to edge detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, 8(6): 679-698.

19 ZOU Xiangjun, YE Min, LUO Chengyu, et al. Fault-tolerant design of a limited universal fruit-picking end-effector based on visoin positioning error[J]. Applied Engineering in Agriculture, 2016, 32(1):5-18.

20 葉敏, 鄒湘軍, 楊洲, 等. 荔枝采摘機器人擬人指受力分析與夾持試驗[J/OL]. 農業機械學報, 2015, 46(9):1-8. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20150901&flag=1. DOI: 10.6041/j.issn.1000-1298.2015.09.001. YE Min, ZOU Xiangjun, YANG Zhou, et al. Clamping experiment on humanoid fingers of litchi harvesting robot[J/OL].Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(9): 1-8. (in Chinese)

Recognition Method for Two Overlaping and Adjacent Grape Clusters Based on Image Contour Analysis

LUO Lufeng1,2ZOU Xiangjun1WANG Chenglin1CHEN Xiong1YANG Zishang1SITU Weiming1

(1.KeyLaboratoryofKeyTechnologyonAgriculturalMachineandEquipment,MinistryofEducation,SouthChinaAgriculturalUniversity,Guangzhou510642,China2.CollegeofMechanicalEngineering,TianjinUniversityofTechnologyandEducation,Tianjin300222,China)

The recognition and location of overlapping or adjacent grape clusters in vineyard is one of the difficulties of grape picking robot vision system. In order to locate the grape clusters accurately, a method for targets detection and extraction in two overlapping and adjacent grape clusters was proposed based on image contour analysis. Firstly, theHcolor component images that can well distinguish the summer black grape clusters from the background were extracted from the HSV color space, the grape clusters in the extracted images were segmented by using the improvedK-means clustering method, and subsequently the noises in the segmented images were eliminated by using morphological operations. Secondly, the edges of grape clusters were extracted, and the midpoint of the line crossed the extreme points on the left and right edge of grape clusters was calculated out. Thirdly, midpoint was taken as the original point, and a geometry calculation model for solving the dividing line between two grape clusters was built after analyzing the contour characteristics. The two intersection points of the adjacent grape clusters’ edges were computed by using the minimum distance constraint between the original point and the specified edges. Finally, the dividing line of two grape clusters was obtained by connecting the two intersection points, and the two grape clusters were extracted separately. To verify the robust of the proposed method, totally 27 vineyard images with two overlapping and adjacent grape clusters were tested, and the results showed that the grape clusters in 24 images were correctly identified and extracted. The success rate reached up to 88.89%, and the accuracy of the extracted pixel region was from 87.63% to 96.12%. The elapsed time of the developed algorithm was 0.59 ～ 0.68 s. Moreover, the developed algorithm was transplanted to the self-developed harvesting robot, and the running results showed that the proposed method could be used to localize two overlapping and adjacent grape clusters.

overlapping and adjacent grape clusters; image segmentation; contour analysis; target recognition; intersection point

10.6041/j.issn.1000-1298.2017.06.002

2016-10-12

2016-11-09

國家自然科學基金項目(31571568)、廣東省科技計劃項目(2015A020209111、2015A020209120、2014A020208091)、廣東省工程中心建設項目(2014B090904056)和廣州市科技計劃項目(201510010140)

羅陸鋒(1982—)，男，博士生，天津職業技術師范大學講師，主要從事機器視覺技術研究，E-mail： luolufeng617@163.com

鄒湘軍(1957—)，女，教授，博士生導師，主要從事農業機器人和智能設計與制造研究，E-mail： xjzou1@163.com

TP391.41

A

1000-1298(2017)06-0015-08