基于機(jī)器視覺的果園導(dǎo)航中線提取算法研究

聶　森，王丙龍，郝歡歡，陳　軍

(西北農(nóng)林科技大學(xué) 機(jī)械與電子工程學(xué)院，陜西 楊凌　712100)

?

基于機(jī)器視覺的果園導(dǎo)航中線提取算法研究

聶森，王丙龍，郝歡歡，陳軍

(西北農(nóng)林科技大學(xué) 機(jī)械與電子工程學(xué)院，陜西 楊凌712100)

摘要：為實(shí)現(xiàn)果園作業(yè)自動(dòng)化，對(duì)基于機(jī)器視覺的果園自然情況下的導(dǎo)航路徑擬合方法進(jìn)行了研究。針對(duì)果園環(huán)境特點(diǎn)，基于HSV色彩模型和最大類間方差法對(duì)果園果樹樹行特征進(jìn)行了增強(qiáng)。同時(shí)，使用Hough變換對(duì)果樹樹行線進(jìn)行了擬合，并最終獲得了相鄰兩樹行的中線作為導(dǎo)航路徑。最終試驗(yàn)結(jié)果表明：該方法能有效克服行間生草、光照陰影和修剪枯枝的干擾，可提取果園果樹樹行線并擬合出果園導(dǎo)航中線。

關(guān)鍵詞：果園環(huán)境；機(jī)器視覺；導(dǎo)航；Hough變換；圖像處理

0引言

我國(guó)雖然是水果的生產(chǎn)大國(guó)，但與發(fā)達(dá)國(guó)家相比，果園管理技術(shù)和果樹種植技術(shù)較為落后，果園管理機(jī)械化水平較低，大多數(shù)果園植保機(jī)械為大田作業(yè)通用機(jī)械，造成了水果生產(chǎn)效率較低，水果成本較高[1]。針對(duì)這一問題，研究開發(fā)適合果園的現(xiàn)代化和自動(dòng)化的果園機(jī)械裝備在很大程度上可以解決這種問題。

隨著計(jì)算機(jī)科學(xué)和傳感器技術(shù)的發(fā)展，果園移動(dòng)機(jī)器人成為了近年來(lái)國(guó)內(nèi)外研究的重點(diǎn)。在研究之初，國(guó)外學(xué)者基于物理導(dǎo)軌導(dǎo)航技術(shù)開發(fā)了物理軌道的自動(dòng)噴藥和運(yùn)輸機(jī)器人[2-4]；但這種導(dǎo)航方式需預(yù)先在果園內(nèi)鋪設(shè)物理軌道，道軌鋪設(shè)成本較高。國(guó)內(nèi)外學(xué)者還就基于電磁導(dǎo)航技術(shù)開發(fā)了一套基于電磁導(dǎo)航的果園移動(dòng)植保機(jī)器人，但此類方法存在結(jié)構(gòu)復(fù)雜、后期設(shè)備維護(hù)維修較為困難等問題，不適宜大范圍推廣[5-7]。后來(lái)，為簡(jiǎn)化果園機(jī)器人結(jié)構(gòu)和減少果園機(jī)器人運(yùn)行成本，一些學(xué)者開發(fā)了基于超聲波導(dǎo)航、激光導(dǎo)航和視覺導(dǎo)航的果園機(jī)器人，優(yōu)點(diǎn)是使用了果園現(xiàn)有果樹作為導(dǎo)航參照物，不需要再鋪設(shè)導(dǎo)航軌道，且適應(yīng)性較強(qiáng)[8-12]。

在基于機(jī)器視覺的導(dǎo)航機(jī)器人研究中最為重要的就是移動(dòng)機(jī)器人的導(dǎo)航路徑擬合。袁佐云通過(guò)處置投影法對(duì)大豆作物行進(jìn)行提取，獲取了基于大豆作物行的導(dǎo)航方法[13]。袁池等通過(guò)利用Lab色彩模型對(duì)果園圖像進(jìn)行處理最終使用最小二乘法獲取了果園導(dǎo)航中線[14]。Torri等學(xué)者利用作物和溝底的特征差異及最小二乘法擬合出了導(dǎo)航路徑[15]。

目前，許多基于機(jī)器視覺的導(dǎo)航方法都被用于 大田作業(yè)中，而果園方面的應(yīng)用較少。本文選取HSV色彩模型中H通道和V通道差值對(duì)果園樹行特征進(jìn)行增強(qiáng)，然后對(duì)圖像進(jìn)行閾值分割和邊緣檢測(cè)。最后，利用Hough變換提取果樹樹行線并擬合出導(dǎo)航中線。

1圖像預(yù)處理

1.1　顏色空間轉(zhuǎn)換

采集的原始圖像如圖1所示。由于果樹樹冠和地面的顏色差異，因此在不同的顏色空間下對(duì)圖像進(jìn)行分割會(huì)產(chǎn)生明顯的區(qū)別。HSV(Hue, Saturation, Value)是1978年由A. R. Smith創(chuàng)建的一種顏色空間，也稱六角錐體模型。HSV色彩空間中這3個(gè)通道分別代表色調(diào)(H)、飽和度(S)，亮度(V)。通過(guò)大量果園照片對(duì)比發(fā)現(xiàn)，HSV模型中H分量和V分量的差值可以很好地從圖像中分離出果樹樹行特征。但是，一般采集的圖像多為RGB圖像，因此在做處理前需將圖像從RGB空間轉(zhuǎn)換到HSV空間，轉(zhuǎn)換公式為

V=max(R,G,B)

IfH<0 thenH=H+360

on output 0≤H≤1, 0≤S≤1, 0≤H≤360

圖1　果園采集原始圖像

在對(duì)圖像進(jìn)行色彩空間轉(zhuǎn)換后，提取HSV色彩空間中H分量和V分量并做差，其結(jié)果如圖2所示。

圖2　HSV空間H分量和V分量差值圖

1.2　基于灰度直方圖的陰影圖像分割方法

Ostu方法又叫最大類間方差法，是一種使用十分廣泛的圖像分割算法。其基本原理是：通過(guò)初始閾值將圖像分成兩類，然后計(jì)算這兩類圖像之間的方差，接著更新閾值，然后重新計(jì)算類間方差；當(dāng)所計(jì)算的方差滿足類間方差最大時(shí)，所求閾值即為最優(yōu)閾值。基于Ostu方法圖像分割結(jié)果如圖3所示。

圖3　最大類間方差法處理結(jié)果

1.3　圖像的形態(tài)學(xué)處理與邊緣檢測(cè)

圖像的形態(tài)學(xué)處理是利用具有形態(tài)結(jié)構(gòu)的元素去度量和提取圖像中對(duì)應(yīng)形狀已達(dá)到圖像分析和識(shí)別的目的。圖像的形態(tài)學(xué)處理一般為一種鄰域運(yùn)算形式，其主要用途是簡(jiǎn)化圖形，保持圖像中物體的基本形狀，并將不相關(guān)結(jié)構(gòu)剔除。開運(yùn)算和閉運(yùn)算是圖像形態(tài)學(xué)處理的重要操作，開運(yùn)算可以使圖像輪廓變平滑、分離較小的狹頸并消除細(xì)小的突出；而閉操作的功能剛好與開操作相反，閉操作通常彌合較窄的間斷和細(xì)長(zhǎng)的溝壑，可以消除小的空洞和填補(bǔ)物體的輪廓線。為消除經(jīng)過(guò)閾值分割后圖像中的干擾點(diǎn)，對(duì)其依次進(jìn)行開運(yùn)算和閉運(yùn)算，結(jié)果如圖4所示。

圖4　開運(yùn)算閉運(yùn)算結(jié)果

圖像的邊緣檢測(cè)可以大幅減少所要處理的數(shù)據(jù)量，剔除不相關(guān)的信息，保留樹行特征主要信息。因此，在利用Hough提取樹行線之前，為提高這種檢測(cè)方法的實(shí)時(shí)性，本研究利用Soble算子對(duì)圖像進(jìn)行邊緣檢測(cè)，結(jié)果如圖5所示。

圖5　邊緣檢測(cè)結(jié)果

2基于Hough變換的導(dǎo)航路徑擬合

Hough變換是1962年由Paul Hough提出一種從圖像空間到參數(shù)空間的映射關(guān)系。由于其具有良好的容錯(cuò)性和魯棒性，長(zhǎng)期以來(lái)多被用于圖像空間內(nèi)直線或曲線的檢測(cè)。

Hough變換主要使用表決原理的參數(shù)估計(jì)技術(shù)，利用圖像空間和Hough參數(shù)空間的點(diǎn)線對(duì)偶性，將圖像空間的直線檢測(cè)問題轉(zhuǎn)化到了參數(shù)空間進(jìn)行運(yùn)算。在直角坐標(biāo)系中，直線方程可用y=kx+b表示。Hough的主要原理就是將方程中的參數(shù)(k,b)和變量(x,y)進(jìn)行交換，即利用k、b作為變量，x、y作為參數(shù)并將轉(zhuǎn)換后的方程轉(zhuǎn)化到極坐標(biāo)中。在進(jìn)行直線檢測(cè)時(shí),凡是在同一條直線的點(diǎn)都會(huì)在參數(shù)空間中變成相交的正弦曲線，因此利用這種原理對(duì)圖像空間的直線進(jìn)行檢測(cè)。極坐標(biāo)方程為

r=xcosθ+ysinθ

其中，r為直線到原點(diǎn)的直線的距離；θ為r和x軸正方向的夾角。

極坐標(biāo)中對(duì)應(yīng)直線方程為

通過(guò)極坐標(biāo)中檢測(cè)出的r和θ通過(guò)上式可以求得直線方程，本研究利用Hough變換提取的樹行線如圖6所示。

圖6　Hough變換

最后，通過(guò)求取樹行線的中線可以獲取移動(dòng)機(jī)器人導(dǎo)航路徑，如圖7所示。

圖7　檢測(cè)結(jié)果

3試驗(yàn)結(jié)果及分析

圖像采集于西北農(nóng)林科技大學(xué)果園試驗(yàn)園，采集了自然環(huán)境下20幅果園樹行照片。 采集設(shè)備為尼康D750相機(jī)，2 504×1 664像素大小，采集天氣為晴天。圖像處理過(guò)程在2.5 GHz處理器，4GB內(nèi)存的筆記本電腦上完成。所編程序均在在MatLab R2013a軟件中運(yùn)行。試驗(yàn)結(jié)果表明：本算法能夠克服果園行間生草、修剪枯枝及光照陰影對(duì)果樹樹冠提取的影響，能夠有效地提取出適合導(dǎo)航要求的果園樹行線并擬合出導(dǎo)航中線。

4結(jié)論

1)基于HSV色彩模型中H通道和V通道的差值和最大類間方差方法將果園果樹樹行信息特征進(jìn)行了增強(qiáng)，并能夠在一定程度上克服地面生草和修剪枯枝的影響。

2)基于Hough變換利用果樹樹冠信息提取了果園果樹樹行線，并成功擬合出了導(dǎo)航中線，為果園視覺導(dǎo)航提供了參考。

3)圖像處理平均時(shí)間為1 166ms，為提高圖像處理實(shí)時(shí)性，可將圖像劃分區(qū)域，然后只對(duì)樹冠所在感興趣區(qū)域進(jìn)行處理。

4)本研究所提出的算法在光照較差或落葉季節(jié)可能出現(xiàn)失效，可利用多傳感器融合的方法提高系統(tǒng)魯棒性。

參考文獻(xiàn)：

[1]王萬(wàn)章，洪添勝，李捷，等.果樹農(nóng)藥精確噴霧技術(shù)[J]．農(nóng)業(yè)工程學(xué)報(bào)，2004，20(6)：98-101.

[2]朱磊磊，陳軍，白曉鴿，等．基于曲柄滑塊機(jī)構(gòu)原理導(dǎo)航的農(nóng)業(yè)機(jī)器人設(shè)計(jì)[J]．農(nóng)業(yè)機(jī)械學(xué)報(bào)，2009，40(S1)：33-36.

[3]M Kanamitsu,S Yamanoto,K AJiki, et al. Development of multipurpose monorail for hillside orchards(Part 2): development of S-shaped monorail system and the results of field test[J].Journal of the Japanese Society of Agricultural Machinery, 2008, 70(3): 115-123.

[4]K Okazaki, M Miyazaki, Y Nagasaki, et al. Automation of farm work by an overhead monorail system in steep sloped citrus orchard[J].Journal of the Japanese Society of Agricultural Machinery,1996,58(3):103-169.

[5]宋健,張賓,張鐵中.電磁誘導(dǎo)式噴霧機(jī)器人導(dǎo)航系統(tǒng)[J]．農(nóng)業(yè)機(jī)械學(xué)報(bào)，2005，36(12)：91-94.

[6]K Tosaki, S Miyahara, T Ichikawa, et al.Development of microcomputer controlled driverless air blast Sprayer (Part 1), Unmanned Traveling System[J].Journal of the Japanese Society of gricultural Machinery, 1996, 58(6):101-110.

[7]S.-S. Yang, B. Zhang, S.-F. Yu, et al. Design and implementation of the navigation system for an electromagnetic guided agricultural spraying robot [J].Jiqiren/Robot, 2007,29 (1):78-81,87.

[8]J. Tang, X. Jing, D. He, et al. Visual navigation control for agricultural robot using serial BP neural network[J].Nongye Gongcheng Xuebao/Transactions of the Chinese Society of Agricultural Engineering, 2011, 27 (2):194-198.

[9]T. Torii. Research in autonomous agriculture vehicles in Japan[J].Computers and Electronics in Agriculture, 2000,25 (1-2):133-153.

[10]N. Harper, P. McKerrow. Recognizing plants with ultrasonic sensing for mobile robot navigation [J]. Robotics and Autonomous Systems, 2001, 34(2-3):71-82.

[11]L. V. Mogensen, S. Hansen, J. C. Andersen, et al. Kalmtool used for laser scanner aided navigation in orchard[C]//15th IFAC Symposium on System Identification,SYSID 2009, July 6, 2009- July 8, 2009. Saint-Malo.France: IFAC Secretariat,2009:764-769.

[12]V.Mendez, H. Catalan, J. R. Rosell, et al. SIMLIDAR-Simulation of LIDAR performance in artificially simulated orchards [J].Biosystems Engineering, 2012, 111(1):72-82.

[13]袁佐云，毛志懷，魏青．基于計(jì)算機(jī)視覺的作物行定位技術(shù)[J]．中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào)，2005，10(3):69-72．

[14]袁池,陳軍,武濤,等.基于機(jī)器視覺的果樹行中心線檢測(cè)算法研究[J].農(nóng)機(jī)化研究,2013,35(3):37-39,45.

[15]Toru T, Satoshi K, Tsukasa T, et al. Crop row tracking by autonomous vehicle using machine Vision (part1)[J].Journal of the Japanese Society of Agricultural Machinery,2000,62(2):41-48.

[16]Toru T, Akira T, Tsuguo O, et al. Crop row tracking by autonomous vehicle using machine Vision (part2)[J].Journal of the Japanese Society of Agricultural Machinery,2000,62(5):37-42.

Navigation Line Extraction Based on Machine Vision in Orchard

Nie Sen， Wang Binglong， Hao Huanhuan， Chen Jun

(College of Mechanical and Electronic Engineering, Northwest A&F University,Yangling 712100，China)

Abstract：In order to realize automation in orchard. This study provides a kind of method about navigation path fitting method in orchard environment for the machine vision navigation.According to the orchard environment,HSV color model and Ostu were used to enhance the features of fruit tree line in orchard. Hough transform was Used to detect fruit tree row lines, and the midline, as a navigation path, was acquired between the two adjacent tree rows. Finally the experimental results show that this method can effectively extract the orchard fruit tree row lines and obtain the navigation line with overcoming the interference of grass, shadow and deadwood.

Key words：orchard environment; machine rision; navigation; Hough transform; image processing

中圖分類號(hào)：S127；TP391.41

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1003-188X(2016)12-0086-04

作者簡(jiǎn)介：聶森(1990-)，男，陜西楊凌人，碩士研究生，(E-mail)nis428@163.com。通訊作者：陳軍(1970-)，男，寧夏固原人，教授，博士生導(dǎo)師，(E-mail)chenjun_jdxy@nwsuaf.edu.cn。

基金項(xiàng)目：高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金項(xiàng)目(20130204110020);中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)(ZD2013015)

收稿日期：2015-11-09