基于極值的重疊蘋果識別方法研究

胡嬋莉，趙德安，趙宇艷，陳　玉，賈偉寬，姬　偉

(1.江蘇大學 電氣信息工程學院，江蘇 鎮江　212013；2.常州信息職業技術學院，江蘇 常州　213164)

?

基于極值的重疊蘋果識別方法研究

胡嬋莉1，趙德安1，趙宇艷2，陳玉1，賈偉寬1，姬偉1

(1.江蘇大學 電氣信息工程學院，江蘇 鎮江212013；2.常州信息職業技術學院，江蘇 常州213164)

摘要：針對采摘機器人對重疊果實無法識別采摘問題，提出了一種基于極值的重疊蘋果識別定位方法。首先，利用色差法對圖像進行分割；然后采用OTSU分割和孔洞填充提取輪廓；最后利用一種快速計算圓內的點到邊緣最小距離的算法找到局部極大值，從而確定圓心和半徑。實驗表明：這種方法對提取的蘋果輪廓較完整的情況定位效果較好，且實時性高，具有較強的實用性。

關鍵詞：色差法分割；重疊蘋果；極值；OTSU分割

0引言

在蘋果采摘機器人視覺系統的研究中，對蘋果的識別與定位是關鍵，其快速性和準確性直接關系到系統的實時性和可靠性。在自然條件下，蘋果受樹葉、枝干遮擋或者蘋果間互相遮擋，會很大程度上影響識別效果和定位精度。

目前，國內外學者對重疊果實的定位進行了大量的研究,并取得了一定的成果[1-10]。Petros等[1]提出了結合分水嶺算法與梯度距離的重疊染色體分割算法，對于重疊染色體的識別率可達到80.4%。Yu等[2]提出了基于數學形態學的粘連細胞圖像分割、重建算法。王開義、張水發等[5]提出一種融合分水嶺和改進馬爾科夫隨機場(MRF)的分割方法，對馬鈴薯丁粘連問題的分割正確率可達95%。謝忠紅、姬長英等[6]利用色調分量的統計規律分離背景，采用鏈碼跟蹤法、方向編碼、凹點及改進的Hough變換得到果實的圓心、半徑。該方法可有效解決重疊果實分離和測量問題，但對于多果粘連重疊問題會造成識別丟失現象。蔡健榮、趙杰文[7]提出一種基于圓形Hough變換的遮擋果實特征提取方法，能夠自適應調整搜索半徑的區間和累加器的單元尺寸，并采用高斯算子對累加器數據進行平滑處理，設置領域系數，停止搜索閾值來避免假目標。該方法準確率較高，但在果實遮擋較嚴重時會導致誤差較大。荀一、陳曉等[9]利用BP神經網絡進行分割，由目標輪廓曲率的變化擬合出圓心、半徑。該方法在近景蘋果識別率較好，全景圖像蘋果則較差。

鑒于上述，本文提出利用極值方法進行重疊圓擬合，將色差法分割出的蘋果目標進行OTSU分割提取輪廓；并利用一種快速計算圓內的點到邊緣的最小距離的算法得到最小距離函數，則這個函數的局部極大值即為圓心，而極大值對應的距離即為半徑，以此實現重疊果實的識別定位。

1圖像分割及輪廓提取

圖像分割是后續處理效果的決定因素之一，分割的效果直接對后續的處理有著決定性的影響。

1.1色差分割法

顏色信息是彩色圖像最基本的屬性之一，在RGB顏色空間下蘋果圖像的R分量圖、G分量圖及B分量圖如圖1所示。

(a)　蘋果原圖　　　　　　　 (b)　R分量

(c)　G分量　　　　　　　 (d)　B分量

通過觀察R-G、R-B、G-B圖像(見圖2)可知，R-G圖已較好地分割出蘋果目標，只需進行輪廓提取即可進行蘋果的擬合。

(a)　R-G圖　　　　　　　　　(b)　R-B圖

(c)　G-B圖

1.2蘋果輪廓的提取

為獲得蘋果的輪廓，需要對色差分割得出的蘋果圖像進行OTSU分割和孔洞填充。

(1)

(2)

(3)

(4)

從最小灰度值到最大灰度值遍歷T，當T使得式(5)最大時，T即為分割的最佳閾值。則有

σ2=w0·(u0-uT)2+w1·(u1-uT)2

(5)

蘋果圖像的OTSU結果如圖3所示。由圖3可以看出：分割出的蘋果輪廓仍存在孔洞，需要進行孔洞填充。

(a)　OTSU分割　　　 　　　　　 (b)　孔洞填充

2基于極值的重疊圓定位算法

蘋果的輪廓可以看成是類圓形，所以可以采用圓擬合方法來實現蘋果的識別定位。

2.1圓心的確定

圓內的點到邊緣的最小距離是確定圓心的關鍵，找出這個最小距離函數的局部極大值即找到了圓心。但是，如果直接計算每個輪廓內的點到邊緣的距離必定會包含大量的數據，而且該計算過程會非常耗時，占用大量的存儲空間，如此便造成程序的實時性變差。因此，本文采用文獻[17]中的快速生成距離函數方法解決該問題。此方法只需對圖像輪廓內像素點進行4次掃描，即可準確地計算出所有輪廓內點離邊緣的最小距離值。

定義4個掃描迭代方向：

(x+,y+)方向掃描為從左到右，從上到下；

(x-,y+)方向掃描為從右到左，從上到下；

(x+,y-)方向掃描為從左到右，從下到上；

(x-,y-)方向掃描為從右到左，從下到上。

方法的具體實現過程如下：

2)對{(x+,y+),(x-,y+),(x+,y-),(x-,y-)}4個方向掃描蘋果輪廓，每次掃描時，更新每個像素點E(不含標記為Visited的點)的距離值Dk。更新方法如下：

(1)(x+, y+) 方向。對于每一個輪廓內像素點E(i,j)，比較其左、上兩鄰接點(i-1,j)與(i,j-1)的距離值：若其中較小的距離值min加1后小于掃描點E(i,j)的距離值，則掃描點E(i,j)的距離值為min+1；否則掃描點E(i,j)的距離值不變。

(2)(x-, y+) 方向。對于每一個輪廓內像素點E(i,j)，比較其左、下兩鄰接點(i+1,j)與(i,j-1)的距離值：若其中較小的距離值min+1后小于掃描點E(i,j)的距離值，則掃描點E(i,j)的距離值為min+1；否則掃描點E(i,j)的距離值不變。

(3)(x+, y-) 方向。對于每一個輪廓內像素點E(i,j)，比較其右、上兩鄰接點(i-1,j)與(i,j+1)的距離值：若其中較小的距離值min+1后小于掃描點E(i,j)的距離值，則掃描點E(i,j)的距離值為min+1；否則掃描點E(i,j)的距離值不變。

(4)(x-, y-) 方向。對于每一個輪廓內像素點E(i,j)，比較其右、下兩鄰接點(i+1,j)與(i,j+1)的距離值：若其中較小的距離值min+1后小于掃描點E(i,j)的距離值，則掃描點E(i,j)的距離值為min+1；否則掃描點E(i,j)的距離值不變。

上述4個方向都掃描后，輪廓內每個點與其4臨接點都比較過，取最小值，從而得到一個最小距離函數。由此畫出其三維曲面圖，如圖4所示。

圖4　距離函數三維曲面圖

由圖4可以得出距離函數含有2個局部極大值，即輪廓內的2個圓心，證明此方法有效地找到了圓心坐標。

2.2半徑的確定

由最小距離函數得到的局部極大值點所對應的坐標為蘋果輪廓的圓心，而此極大值處對應的最小距離即為蘋果輪廓的半徑。

3對比方法

為了驗證極值法的有效性和實時性，本文還提出采用腐蝕法和Hough變換方法對重疊蘋果進行對比實驗。

由于兩個圓重疊時，信息會互相干擾，因而可以采用腐蝕方法將兩個圓的圓心分開。該方法基本思想為：對圖像不斷進行形態學腐蝕處理，使兩個圓逐漸分開，直到圖像中的輪廓變為單個像素點，則這個像素點即為輪廓的圓心。半徑采用圓心到邊緣最小距離確定。腐蝕方法處理效果如圖5所示。

(a)　原二值圖　 　　　　　　 (b)　2次腐蝕

(c)　20次腐蝕　　　　　　　(d)　30次腐蝕

從圖5可以看出：隨著腐蝕次數的增加，原先重疊的兩個圓逐漸分開。實驗結果表明該方法能夠較好地找到重疊蘋果的圓心，但實時性不高。

文中用到的Hough變換為標準的Hough變換方法。其基本思想是將圖像空間中的邊緣點映射到參數空間中，然后將在參數空間中得到的所有坐標點元素對應的累加值進行累加統計，根據累加值判斷圓的大小和圓心所在位置，在笛卡爾坐標系下圓的方程為

(x-x0)2+(y-y0)2=R2

(6)

要確定x0、y0、R需要一個三維的參數矩陣P(x0,y0,R)。x0、y0、R這3個參數生成了一個帶有立方單元和累加器P(x0,y0,R)的三維參數空間。這個過程是增加x0,y0解出滿足式(5)的R。R的解為

(7)

同時，更新對應于三元組(x0,y0,R)相關單元的累加器，最后累加器P中累加極大值Pmax(x0,y0,R)所對應的坐標便是圓心坐標(x0,y0)。

4實驗結果與分析

本實驗采用的仿真軟件是MatLab2011b，分別對圖6(a)和(b) 進行了Hough變換方法、腐蝕方法和極值法的仿真對比實驗。圖6(a)是一幅分辨率為462×300的彩色圖片，圖6(b)是一幅分辨率為827×592的彩色圖片。由于Hough變換方法計算量大，直接用原圖進行擬合運行時間過久，因而本文先對兩幅原圖降分辨率處理，使之降為原來的1/4后再進行Hough圓擬合。3種方法的實驗結果如表1所示。

由圖6的對比結果可以看出：極值法能準確地找到蘋果的圓心，且對半徑的檢測效果較精確，重疊蘋果的擬合效果好，能夠達到采摘機器人對精度的要求。從表1可以得出：相比Hough變換方法和腐蝕方法，極值法具有明顯的速度優勢，能夠達到采摘機器人對實時性的要求。但是，極值法也存在缺陷，即在蘋果邊緣不完整的情況下會出現誤差較大的擬合偏移，導致定位不準，因而對此情況需要先進行圖像修補再進行擬合。

(a)　原圖1　　　　　　　 (b)　原圖2

(c)　Hough變換 　　　　　　　(d)　Hough變換

(e)　腐蝕方法 　　　　　　　 (f)　腐蝕方法

(g)　極值法　　　　　　 (h)　極值法

ms

5總結

1)利用色差法進行分割可以有效且快速地分割出蘋果目標。

2)采用OTSU閾值分割可以較好分割出蘋果輪廓，再進行孔洞填充可使輪廓更完整。

3)利用極值法能夠準確地找到蘋果輪廓的圓心和半徑，該方法能夠較好地實現重疊蘋果的分離定位。

實驗結果表明：極值法在重疊圓的遮擋不是特別嚴重且邊緣較完整的情況下效果較好，且在精度和速度上優于Hough變換和腐蝕方法，能夠滿足采摘機器人對準確性和實時性的要求，具有較強的實用性。

參考文獻：

[1]謝忠紅,姬長英.基于凹點搜索的重疊果實定位檢測算法研究[J].農業機械學報,2011,42(12): 191-196.

[3]Hongpeng Yin, Simon X Yang.Ripe tomato recognition and localization for a tomato harvesting robotic system [C]//2009 International Conference of Soft Computing and Pattern Recognition，2009.

[4]蔡健榮,趙杰文.基于圓形Hough變換的遮擋果實特征提取[C]//中國農業機械學會2006年學術年會論文集，2006.

[5]彭輝,吳鵬飛.基于視差圖像的重疊果實圖像分割算法[J].農業機械學報,2012,43(6): 167-173.

[6]荀一,陳曉.基于輪廓曲率的樹上蘋果自動識別[J].江蘇大學學報：自然科學版，2007,28(6):461-464.

[7]叢培盛,孫建忠.分水嶺算法分割顯微圖像中重疊細胞[J].中國圖象圖形學報,2006,11(12):1781-1784.

[8]張鐵中,陳利兵,宋健.基于圖像的草莓重心位置和采摘點的確定[J].中國農業大學學報,2005,10 ( 1) : 48 -51.

[9]Petros K, Aristidis L, Dimitrios I, et al. Identifying touching and overlapping chromosomes using the watershed transform and gradient paths[J].Pattern Recognition Letters, 2010, 31(16): 2474-2488.

[10]Yu Dongguang, Tuan D P, Zhou Xiaobo. Analysis and recognition of touching cell images based on morphological structures[J].Computers in Biology and Medicine, 2009, 39(1): 27-39.

[11]Adelina-Iulia Sarpe, Craiova,Romania.Image Segmentation withClustering K-Means and Watershed Transform [C]//2010 Second International Conferences on Advances in Multimedia, 2010.

[12]Bibhas Chandra Dhara, Bhabatosh Chanda. A Fast Interactive Image Segmentation to Locate Multiple Similar-colored Objects [C]//2011 Third National Conference on Computer Vision, Pattern Recognition, Image Processing and Graphics, 2011.

[13]Rong Xiang, Yibin Ying, Huanyu Jiang. Research on Image Segmentation Methods of Tomato in Natural Conditions[C]//2011 4th International Congress on Image and Signal Processing,2011.

[14]李光，王朝英，侯志強.基于K均值聚類與區域合并的彩色圖像分割算法[J].計算機應用,2011,30(2):354-358.

[15]王開義，張水發.基于分水嶺和改進MRF的馬鈴薯丁粘連圖像在線分割[J].農業機械學報,2013,44(9)：187-192.

[16]陳科尹, 鄒湘軍.基于視覺顯著性改進的水果圖像模糊聚類分割算法[J].農業工程學報,2013,29(6): 157-166.

[17]董吉文，楊海英，張冰.水平集方法中符號距離函數的快速生成[J].計算機工程與應用,2009,45(34):180-182.

Research on Localization Method for Overlapped Apples Based on Maxima

Hu Chanli1，Zhao De’an1，Zhao Yuyan2，Chen Yu1，Jia Weikuan1，Ji Wei1

(1.School of Electrical Information Engineering,Jiangsu University，Zhenjiang 212013,China；2. Changzhou Institute of Information Technology，Changzhou 213164,China)

Abstract：In natufral scenes, the apple picking robot can not recognize overlapped apples. To solve this problem, an overlapped apple recognizing and locating algorithm was proposed in this paper.First, an image is segmented by chromatic difference method. Then OTSU segmentation and holes filling was used to get the outline of the apples. In the end, the center point and radius was determined by a fast calculating method, in which the minimum distance of the points in the circle to the edge of the circle was calculated and the local maximal value was found. The experiment results showed that this method worked very well when the outline of the apples is complete, and the real-time performance and practicability was very good.

Key words：chromatic difference method； overlapped apples； maxima； OTSU segmentation

文章編號：1003-188X(2016)03-0042-05

中圖分類號：S126；TP391.41

文獻標識碼：A

作者簡介：胡嬋莉(1987-)，女，浙江溫州人，碩士，(E-mail)hu0041@126.com。通訊作者：趙德安(1956-)，男，江蘇常州人，教授，博士生導師，(E-mail)dazhao@ujs.edu.cn。

基金項目：高等學校博士學科點專項科研基金聯合資助項目(20133227110024)

收稿日期：2015-03-05