櫻桃小番茄腋芽去除點定位方法研究

王　萌　李建平　喻擎蒼　季明東　朱松明

(1.浙江大學生物系統工程與食品科學學院， 杭州 310058； 2.浙江理工大學信息學院， 杭州 310018)

?

櫻桃小番茄腋芽去除點定位方法研究

王萌1李建平1喻擎蒼2季明東1朱松明1

(1.浙江大學生物系統工程與食品科學學院， 杭州 310058； 2.浙江理工大學信息學院， 杭州 310018)

為實現對櫻桃小番茄腋芽去除點的精確定位，用藍色LED光源對目標植株腋芽部位進行照射染色，區分目標植株與背景，提取獲得圖像的RGB顏色空間B通道分量，分割后得到完整目標圖像；通過快速傅里葉變換(FFT)，使用低通濾波器去除毛刺和噪聲，保留基本輪廓特征；由形態學膨脹算法突出腋芽兩側特征點，通過Shi-Tomasi角點檢測算法，找到目標圖像角點，再經過特征點判別算法，找到特征點，由此判別腋芽存在與否，定位腋芽去除點，最后摘除腋芽。實驗結果表明，腋芽識別成功率為93.94%，腋芽摘除成功率為88.9%，能夠滿足自動去除的要求。

櫻桃小番茄； 腋芽； 去除點定位； 藍光染色； 角點檢測

引言

櫻桃小番茄具有較高的經濟價值，溫室內種植時，需要每隔20 d左右摘除從主莖與側枝基部之間長出的腋芽，以減少新生腋芽的營養消耗。

目前腋芽采用人工摘除，在大規模種植時，需要投入大量人力，生產成本高。使用摘芽機器人自動摘除腋芽，可減少用工量，且可全天候工作，及時摘除櫻桃小番茄腋芽。

為自動摘除腋芽，需要機器人具有自動識別腋芽的能力。為此，需要解決兩個關鍵問題，一是對采集到的圖像進行分割。國內外收獲機器人通過顏色特征，使用不同的顏色空間識別柑橘、蘋果和橄欖[1-4]；PAYNE等[5-6]在人工光源輔助下采集接近成熟的芒果圖像，利用其在YCbCr顏色空間中的顏色和形狀紋理特征識別芒果個數；FONT等[7]借助人工光源采集成熟葡萄圖像，在RGB顏色空間，通過計算葡萄表面的球面反射峰值確定葡萄個數；徐惠榮等[8-12]通過顏色模型或灰度特征分割圖像，再根據形狀特征尋找目標；毛罕平、袁挺等[13-14]利用近紅外光譜和可見光譜反射，分割出植物果實。二是從圖像中確定腋芽去除點。張鐵中等[15-16]用圖形學和解析幾何方法從圖像中提取南瓜幼苗的生長點；呂谷來等[17]提出了利用側視拍攝的幼苗圖像，通過細化和計數像素點，計算砧木高度并提取砧木的抓取點。

由于去芽機器人的作業對象是櫻桃小番茄的腋芽，其顏色特征與周圍枝干相似，難以利用前述方法進行識別。為了使包含腋芽的目標圖像與背景有較顯著差別，易于進行圖像分割，本文采用藍色LED光源，對目標植株進行照射染色，在RGB顏色空間進行分割，通過快速傅里葉變換去除圖像中的噪聲和毛刺，利用形態學分析和角點檢測方法找到特征點，識別出腋芽并定位腋芽去除點，最后通過安裝在六自由度機械臂末端的氣動剪摘除腋芽。

1　試驗材料與圖像采集系統

試驗材料使用荷蘭金滿園櫻桃小番茄植株，試驗時植株生長天數為60 d，腋芽長度為3～10 cm。

圖像采集系統如圖1所示，選用MVC3000B型彩色數字工業攝像頭(北京微圖圖像公司)采集圖像；選用1個波長為430 nm的藍光LED燈為光源，功率為3 W；選用1個光照傳感器(廣州龍戈電子科技公司)，最大量程65 536 lx，測量精度為1%；選用1個KS109型超聲波測距傳感器，量程為3～10 m，精度為2 mm；軟件應用NI公司的LabVIEW 2009、Vision Assistant 1.0和OpenCV 2.4。

圖1　圖像采集系統示意圖Fig.1　Sketch map of image acquisition system1.光照傳感器　2.藍色LED光源　3.工業攝像頭　4.櫻桃小番茄植株　5.超聲波測距傳感器　6.氣動剪　7.六自由度機械臂

圖1中，l是攝像頭鏡頭與櫻桃小番茄主莖的距離，當l=13 cm時，無葉片遮擋且獲得的圖像完整。

2　圖像采集與處理

2.1藍色光源染色與圖像獲取

圖像采集時，為突出目標，減少背景干擾，使用藍色LED光源對目標進行照射染色(圖2a)，使其與周圍枝干、葉片有顏色差異，提取RGB顏色空間中藍色通道(B通道)的分量圖(圖2b)。通過對其灰度圖縱坐標值進行對數變換，發現峰谷較為明顯(圖2d)，選取最小谷底值為閾值[18-19]進行分割,得到完整的目標圖像(圖2c)，但圖像存在噪聲和毛刺。

圖2　藍色光源照射采集的圖像Fig.2　Image of blue light source illumination

2.2毛刺去除

利用二維快速傅里葉變換(FFT)將閾值分割后的圖像轉換為頻譜圖，并將圖像低頻部分集中在頻譜圖中心，高頻部分向外延伸[20-21]。由于圖像的基本外形輪廓特征在低頻部分，噪聲和毛刺處于高頻部分。使用低通濾波器，將頻譜圖中高頻部分過濾，留下低頻部分。濾波器傳遞函數計算式為

(1)

其中

fc=λfmax

(2)

式中C(f)——低通濾波器傳遞函數

f——頻率fc——截止頻率

fmax——圖像中的最大頻率

λ——通過率，%

設置通過率作為區分高頻與低頻的閾值，通過率從圖像中最大頻率fmax的100%(未濾波)逐次遞減，濾波后再進行FFT逆變換。通過對多幅圖像處理發現，通過率λ為2.8%時，濾波效果最好，噪聲與毛刺消失，基本保留了原圖像的輪廓(圖3)。

當原圖中毛刺較粗或過于密集時，濾波后的目標物體邊緣會產生起伏和形變，如圖3a所示，但并不影響后續處理。

圖3　圖像低通濾波效果Fig.3　Results in low-pass filter

2.3角點檢測

角點是輪廓上高曲率的點，是重要的局部特征。宗澤等[22]通過莖葉角點計算玉米株葉傾角，楊蜀秦等[23]利用角點檢測算法識別籽粒尖端。

腋芽分別與主莖、側枝形成兩個夾角，夾角的頂點就是角點，兩個角點連線中點即為腋芽去除點。圖像中也會存在其他角點，為便于區別，把由腋芽與主莖、側枝形成的角點，稱為腋芽的特征點，將其他角點稱為干擾點。

使用7×7十字結構元素，對低通濾波后的圖像進行膨脹運算，增大特征點的曲率(圖4)。提高角點檢測算法的閾值，降低算法敏感性，可排除一部分曲率較低的干擾點，保留包括特征點在內的高曲率角點。用Shi-Tomasi角點檢測算法[24]對圖4進行遍歷，閾值設定為0.4，檢測到4個角點。其中，角點A、B為干擾點，角點Pl、Pr為特征點。從所有角點中提取出特征點Pl、Pr，做進一步的判別。

圖4　角點檢測結果Fig.4　Corner detection results

2.4特征點判別

根據主莖和腋芽的直徑，設定Δxmin=1.3 mm、Δxmax=2 mm、Δymax=2 mm。

為了判別特征點，將檢測出的角點存入數組A[P1(x1,y1),P2(x2,y2), …,Pn-1(xn-1,yn-1),Pn(xn,yn)]。若數組中只有1個點，可判定無腋芽；如果輸出2個或2個以上角點，則將所有角點兩兩成對根據判定條件分別進行判別：若無成對符合條件的特征點，說明不存在腋芽；若有一對符合條件的特征點，說明存在唯一腋芽；若有多對符合條件的特征點，說明存在多個腋芽。

2.5腋芽去除點確定

當成功提取到一對或多對特征點時，可得到腋芽去除點的位置，即

(3)

式中xc、yc——去除點的坐標值

2.6腋芽去除

去除腋芽前需將圖像坐標轉換為世界坐標，因此，需對攝像頭進行標定。標定結果：焦距為(455.848 89，456.544 61)；主點為(113.877 53，120.542 51)；像素點傾斜度為零；鏡頭畸變系數矩陣為[-0.175 27-0.195 28-0.002 11-0.003 840.000 0]。

去芽機器人運行時，先通過機械臂上的測向機構自動確定櫻桃小番茄側枝方向，攝像頭繞主莖旋轉到由櫻桃小番茄主莖、側枝與腋芽所組成平面的正面，避免腋芽被主莖或側枝遮擋。如圖5所示，將機械臂的基坐標系ObXbYbZb作為世界坐標系原點。根據各關節的角度和長度得到末端坐標為(xm,ym,zm)，氣動剪的坐標為(xm,ym-15,zm+190)，攝像頭坐標為(xm,ym+45,zm+175)。通過攝像頭內、外參數和距離l得到腋芽去除點的世界坐標(xo,yo,zo)后，控制機械臂末端執行器上的氣動剪，在腋芽去除點處剪斷腋芽。

圖5　坐標與尺寸關系Fig.5　Relationship between coordinates and dimensions

3　試驗與分析

在試驗中，采集了132幅圖像，其中有腋芽的圖像90幅，無腋芽的圖像42幅。

通過對有腋芽的圖像進行處理，能夠正確識別出82幅圖像有腋芽生長；無腋芽的圖像正確識別42幅。腋芽識別成功率為93.94%。

將機器視覺自動定位確定的腋芽去除點與人眼觀察得到的腋芽生長點進行對比后發現，兩點坐標平均距離為9.37 mm(最大值為16.98 mm，最小值為3.2 mm)，原因是經過膨脹運算后，雖然突出了特征點，卻使目標圖像發生形變，令腋芽去除點的位置相對于生長點向外延伸(圖6a)，圖6c為摘除腋芽后的留茬長度。按照農藝要求，腋芽留茬在1 cm左右，符合要求。

圖6　試驗結果Fig.6　Experimental results

試驗中，90個有腋芽樣本，成功識別出82個樣本，成功摘除腋芽的有80個樣本，摘除成功率為88.9%。

個別情況下，腋芽與側枝之間夾角過小時(圖6b)，經膨脹運算后，兩特征點水平距離和垂直距離均大于判別算法中Δxmax和Δymax，導致無法識別出腋芽。經統計，這種情況出現概率不足2%。另一種情況是腋芽過于細小，2個特征點X軸向距離小于Δxmin，可待腋芽長大后進行識別。

4　結論

(1)采用藍色LED光源對目標染色，能夠解決櫻桃小番茄枝干與背景顏色相似而不易被區分的問題；提取B通道分量，取灰度直方圖最小谷底值為閾值進行圖像分割，實現對櫻桃小番茄側枝基部圖像的完整采集。

(2)通過快速傅里葉變換將圖像轉換為頻域圖，再使用低通濾波器濾波，通過率λ為2.8%時，可有效去除噪聲和毛刺，保留枝干的基本特征，便于圖像后續處理。

(3)利用形態學膨脹運算凸顯腋芽特征點，再用Shi-Tomasi角點檢測算法，可準確檢測出圖像上包括特征點在內的所有角點位置，防止算法遺漏特征點，造成判別失敗。

(4)使用特征點判別條件可識別是否生長腋芽，準確定位腋芽去除點。在試驗中，判別腋芽成功率達到了93.94%；腋芽摘除成功率為88.9%，滿足農業要求。

1BULANON D M, KATAOKA T. Fruit detection system and an end effector for robotic harvesting of Fuji apples [J]. Agricultural Engineering International: CIGR Journal, 2010, 12(1): 203-210.

2KONDO N, MONTA M, OGAWA Y. Cutting providing system and vision algorithm for robotic chrysanthemum cutting sticking system [C]∥Proceeding of the International Workshop on Robotics and Automated Machinery Bio-productions, 1997: 7-12.

3CHOIK, LE E G, HAN Y J, et al. Tomato maturity evaluation using color image analysis [J]. Transactions of the ASAE, 1995, 38(1): 171-176.

4GABRIEL GATICA C, STANLEY BEST S, JOSE’ CERONI, et al. A new method for olive fruits recognition [C]∥Proceedings of International Conference on Progress in Pattern Recognition, Image Analysis, Computer Vision and Applications, 2011: 646-653.

5PAYNE A B, WALSH K B, SUBEDI P P, et al. Estimation of mango crop yield using image analysis—Segmentation method [J]. Computers and Electronics in Agriculture, 2013，91: 57-64.

6PAYNE A B, WALSH K B, SUBEDI P P, et al. Estimating mango crop yield using image analysis using fruit at stone hardening’ stage and night time imaging [J]. Computers and Electronics in Agriculture, 2014，100: 160-167.

8徐惠榮，葉尊忠，應義斌. 基于彩色信息的樹上柑橘識別研究[J]. 農業工程學報, 2005, 21(5): 98-101.

XU Huirong, YE Zunzhong, YING Yibin. Identification of citrus fruit in a tree canopy using color information [J]. Transactions of CSAE, 2005, 21(5): 98-101. (in Chinese)

9趙海波，周向紅. 基于計算機視覺的番茄催熟與正常熟識別[J]. 農業工程學報, 2011, 27(2): 355-359.

ZHAO Haibo, ZHOU Xianghong. Recognition of artificial ripening tomato and nature mature tomato based on computer vision [J]. Transactions of the CSAE, 2011, 27(2): 355-359. (in Chinese)

10李斌，WANG Ning，汪懋華，等. 基于單目視覺的田間菠蘿果實識別[J]. 農業工程學報，2010，26(10)：345-349.

LI Bin, WANG Ning, WANG Maohua, et al. In-field pineapple recognition based on monocular vision [J]. Transactions of CSAE, 2010, 26(10): 345-349. (in Chinese)

11毛亮，薛月菊，孔德運，等. 基于稀疏場水平集的荔枝圖像分割算法[J]. 農業工程學報，2011，27(4)：345-349.

MAO Liang, XUE Yueju, KONG Deyun, et al. Litchi image segmentation algorithm based on sparse field level set [J]. Transactions of CSAE, 2011, 27(4): 345-349. (in Chinese)

12熊俊濤，鄒湘軍，陳麗娟，等. 基于機器視覺的自然環境中成熟荔枝識別[J]. 農業機械學報，2011，42(9)：162-166.

XIONG Juntao, ZOU Xiangjun, CHEN Lijuan, et al. Recognition of mature litchi in natural environment based on machine vision [J]. Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(9): 162-166. (in Chinese)

13毛罕平，李明喜. 基于多源機器視覺信息融合的番茄目標匹配[J]. 農業工程學報，2009, 25(10): 142-147.

MAO Hanping, LI Mingxi. Tomato target matching based on multi-sensors machine vision information fusion [J]. Transactions of the CSAE, 2009, 25(10): 142-147. (in Chinese)

14袁挺,李偉,譚豫之,等.溫室環境下黃瓜采摘機器人信息獲取[J].農業機械學報, 2009, 40(10): 151-155.

YUAN Ting, LI Wei, TAN Yuzhi, et al. Information acquisition for cucumber harvesting robot in greenhouse [J]. Transactions of the Chinese Society for Agricultural Machinery, 2009, 40(10): 151-155. (in Chinese)

15張鐵中，魏劍濤. 蔬菜嫁接機器人視覺系統的研究(I)：用圖像形態學方法檢測瓠瓜苗生長點[J]. 中國農業大學學報，1999，4(4)：45-47.

ZHANG Tiezhong, WEI Jiantao. Study on vision system of vegetable grafting robot (I): searching for growth point of cucurbit seedling with morphological method [J]. Journal of Chinese Agricultural University, 1999, 4(4): 45-47. (in Chinese)

16張鐵中，魏劍濤. 蔬菜嫁接機器人視覺系統的研究(II)：用解析幾何方法檢測南瓜苗生長點[J]. 中國農業大學學報，1999，4(4)：48-50.

ZHANG Tiezhong, WEI Jiantao. Study on vision system of vegetable grafting robot (II): searching for growth point of pumpkin seedling with geometrical method [J]. Journal of Chinese Agricultural University, 1999, 4(4): 48-50. (in Chinese)

17呂谷來，李建平，李鏘，等. 基于機器視覺的砧木定位識別方法[J]. 浙江大學學報：工學版，2011，45(10)：1766-1770.

Lü Gulai, LI Jianping, LI Qiang, et al. Method for rootstock position recognition based on machine vision [J]. Journal of Zhejiang University：Engineering Science, 2011, 45(10): 1766-1770. (in Chinese)

18PREWITT J M S, MENDELSOHN M L. The analysis of cell images [J]. Annals of the New York Academy of Sciences, 1966, 128(3): 1035-1053.

19GLASBEY C A. An analysis of histogram-based thresholding algorithms [J]. Cvgip Graphical Models and Image Processing, 1993,55: 532-537.

20RAO K R, KIM D H, HWANG J J. 快速傅立葉變換：算法與應用[M]. 萬帥，楊付正，譯. 北京：機械工業出版社，2010.

21苗中華，沈一籌，王小華，等. 自然環境下重疊果實圖像識別算法與試驗[J]. 農業機械學報，2016,47(6):21-26.

MIAO Zhonghua, SHEN Yichou, WANG Xiaohua, et al. Image recognition algorithm and experiment of overlapped fruits in natural environment[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016,47(6):21-26. (in Chinese)

22宗澤, 張雪, 郭彩玲, 等. 基于骨架提取算法的作物表型參數提取方法[J]. 農業工程學報, 2015, 31(增刊2): 180-185.

ZONG Ze, ZHANG Xue, GUO Cailing, et al. Crop phenotypic parameters extraction method based on skeleton extraction algorithm [J]. Transactions of the CSAE, 2015, 31(Supp.2): 180-185. (in Chinese)

23楊蜀秦，寧紀鋒，何東健.基于Harris算子的籽粒尖端識別方法[J]. 農業機械學報, 2011, 42(3): 166-169.

YANG Shuqin, NING Jifeng, HE Dongjia. Identification of tip cap of agricultural kernel based on Harris algorithm [J]. Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(3): 166-169. (in Chinese)

24SHI J, TOMASI C. Good features to track[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 1994: 593-600.

25張成梁，李蕾，董全成，等. 基于顏色和形狀特征的機采棉雜質識別方法[J]. 農業機械學報，2016,47(7):28-34.

ZHANG Chengliang, LI Lei, DONG Quancheng, et al. Recognition method for machine-harvested cotton impurities based on color and shape features[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016,47(7):28-34. (in Chinese)

Positioning Method of Axillary Bud Removal Point for Cherry Tomato

Wang Meng1Li Jianping1Yu Qingcang2Ji Mingdong1Zhu Songming1

(1.CollegeofBio-systemsEngineeringandFoodScience,ZhejiangUniversity，Hangzhou310058,China2.SchoolofInformaticsandElectronics,ZhejiangSci-TechUniversity,Hangzhou310018,China)

The existence of axillary buds of cherry tomato growing between stem and branches will waste nutrients, resulting in a decrease in production. So they should be removed regularly. At present, they are removed manually, which increases the cost of production greatly. Using robots instead of by hands can reduce the costs. The key issue was the position of cherry tomato buds growing point detected by machine vision. An image processing method based on blue light staining was proposed. A monocular camera assisted with ultrasonic displacement sensor was used for capturing images and getting the 3D coordinate of axillary bud growing point. It was difficult to segment image, because the color of the axillary buds, branches and stems of cherry tomato was same to those of background. A blue LED light source was used to irradiate the axillary buds in order to dye the buds blue. The background was the other tomato plants whose color was green, so it was easy to extract the object from image. The image collected was complete, when the distance between the LED light source and the plant was 13 cm.Bcomponent image in RGB spatial domain was a gray image and its histogram was bimodal. The gray value was selected as a threshold, and then the image was segmented, the outline of the object could be gotten clearly. However, there were burrs on the edge of the outline, so the gray image should be translated into frequency-domain diagram by fast Fourier transform (FFT). A low pass filter was used to filter out the burrs at high frequency, and the outline at low frequency was retained. The cutoff frequency was set to 2.8% of the maximum frequency of the image. After the inverse transformation, the burrs could be removed completely. Deformation would occur at the edge of the contour, but it did not affect the subsequent processing. The corner points at both ends of the axillary bud were key feature points. In order to highlight the characteristics of the key feature points, the morphological dilation of image was processed by the 7×7 cross structure element. Then all the corners on the image were found out by using the Shi-Tomasi corner detection algorithm. A discriminant condition was set after analyzing the growth characteristics of cherry tomato axillary buds. Then all the corners were iterated over, if there were two corners in accordance with the discriminant requirement, then the two points were the key feature points, and the mid-point of the two points was the axillary bud growth point. If there was not a couple of corners meet the requirement, then there was no axillary bud growth. If there were two couples corner points meet the discriminant requirement, it showed that there were two buds. There were errors between the axillary bud growth points located by the images and actual points. The error could be accepted since it was within 1 cm. 90 images of cherry tomato plants with axillary buds growing were identified, 82 images could be detected the axillary bud successfully, the correct recognition rate was 93.94%. After the removal of axillary buds, stubble length less than 1 cm accounted for 88.9%.

cherry tomato； axillary bud； location of removal point； blue-light coloration； corner detection

10.6041/j.issn.1000-1298.2016.09.004

2016-03-14

2016-04-01

國家自然科學基金面上項目(51375460)和浙江省科技廳公益技術應用研究計劃項目(2014C32105)

王萌(1982—)，男，博士生，主要從事農業機器人研究，E-mail: 10913005@zju.edu.cn

李建平(1962—)，男，教授，博士生導師，主要從事農業機械與自動化研究，E-mail: jpli@zju.edu.cn

TP391.41

A

1000-1298(2016)09-0023-06