基于Kinect視頻技術(shù)的葡萄園農(nóng)藥噴施路徑規(guī)劃算法

肖 珂，高冠東，馬躍進(jìn)

?

基于Kinect視頻技術(shù)的葡萄園農(nóng)藥噴施路徑規(guī)劃算法

肖 珂1,2，高冠東3，馬躍進(jìn)2※

（1. 河北農(nóng)業(yè)大學(xué)信息科學(xué)與技術(shù)學(xué)院，保定 071001； 2. 河北農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院，保定 071001； 3. 中央司法警官學(xué)院信息管理系，保定 071000）

為實(shí)現(xiàn)對葡萄園的精準(zhǔn)噴施，減少藥品浪費(fèi)和污染，該文使用微軟Kinect融合彩色和深度圖像信息，提出了基于樣條區(qū)域的葉墻區(qū)域（leaf wall area，LWA）平均距離計(jì)算方法以及基于路徑偏差的噴施路徑規(guī)劃方法，并實(shí)現(xiàn)了一套軟件路徑規(guī)劃算法和硬件噴施實(shí)驗(yàn)平臺相結(jié)合的精準(zhǔn)噴施算法及系統(tǒng)。算法首先使用形態(tài)學(xué)方法對Kinect采集的彩色視頻圖像進(jìn)行圖像分割，以準(zhǔn)確劃分LWA區(qū)域；進(jìn)一步結(jié)合深度圖像，提出基于樣條區(qū)域的LWA平均距離計(jì)算方法，用于準(zhǔn)確測算噴施設(shè)備距LWA的距離；最后，提出路徑偏差及矯正規(guī)劃方法，引導(dǎo)噴施系統(tǒng)保持最佳行進(jìn)路徑。并且，為了能夠?qū)珳?zhǔn)噴施算法進(jìn)行實(shí)際檢驗(yàn)，設(shè)計(jì)實(shí)現(xiàn)了噴施臂可調(diào)的自走式噴施試驗(yàn)平臺。試驗(yàn)結(jié)果證明，路徑規(guī)劃算法計(jì)算的噴施距離和路徑偏差與測量值差值及方差都較小，算法結(jié)果精確；能夠準(zhǔn)確測算噴施距離并規(guī)劃最優(yōu)路徑，實(shí)現(xiàn)葡萄園的精準(zhǔn)噴施。

算法；農(nóng)藥；圖像分割；深度圖像；葡萄園；葉墻區(qū)域；噴施距離

0 引 言

長期以來，由于農(nóng)藥的有效利用率低，不僅浪費(fèi)了大量的農(nóng)業(yè)化學(xué)品和水資源，還對環(huán)境造成污染。為了緩解農(nóng)藥大量噴灑給環(huán)境造成的壓力，精準(zhǔn)噴施技術(shù)越來越受到人們的重視[1-5]。精準(zhǔn)噴施技術(shù)主要有2個(gè)研究方向，一是目標(biāo)識別，即識別和定位靶標(biāo)區(qū)域。農(nóng)藥噴施時(shí)的主要標(biāo)靶區(qū)域是葉墻區(qū)域（leaf wall area，LWA），其主要參數(shù)需要通過傳感器進(jìn)行采集[6-8]。二是路徑規(guī)劃，即規(guī)劃出噴施設(shè)備的噴施路徑，以實(shí)現(xiàn)精準(zhǔn)噴施。

在靶標(biāo)探測技術(shù)方面，激光雷達(dá)靶標(biāo)探測技術(shù)[9-10]通過發(fā)射激光點(diǎn)云獲得樹冠的內(nèi)部結(jié)構(gòu)，但沒有對噴施路徑進(jìn)行規(guī)劃。基于超聲傳感靶標(biāo)探測技術(shù)[11-14]通過發(fā)射聲波實(shí)現(xiàn)對樹冠外形輪廓的檢測，聲波的反射易受果樹葉片角度及運(yùn)動影響，影響探測精度。紅外傳感靶標(biāo)探測技術(shù)[15-16]可以快速實(shí)現(xiàn)對樹冠外形的檢測，精度和分辨率高。近紅外傳感器探測范圍小且不均勻，需要多個(gè)傳感器協(xié)同運(yùn)作，增加了處理難度和誤差。基于機(jī)器視覺靶標(biāo)探測技術(shù)[17-18]中，攝像機(jī)能夠根據(jù)顏色信息分割出葉墻區(qū)域和高度、密度等參數(shù)，缺乏距離信息的采集，而且葉墻區(qū)域的檢測容易受復(fù)雜背景的影響。

在噴施路徑的規(guī)劃方面，目前部分研究采用能夠調(diào)節(jié)高度、角度的多噴頭裝置，在一定范圍內(nèi)隨時(shí)調(diào)節(jié)各噴頭的高度、角度和噴施量，即針對每個(gè)噴頭規(guī)劃噴施路徑[19-20]。Osterman等[21]提出了使用多個(gè)采樣點(diǎn)的距離信息和線性估計(jì)方法計(jì)算噴施路徑，隨著采樣點(diǎn)數(shù)量的增多影響了系統(tǒng)的實(shí)時(shí)性，最終只能選擇5個(gè)距離信息采樣點(diǎn)。Tarquis 等[22]介紹了一種基于激光的對果園目標(biāo)區(qū)域進(jìn)行估計(jì)的方法。由Kim[23]提出通過計(jì)算機(jī)和激光雷達(dá)模擬產(chǎn)生一個(gè)果園，給出每個(gè)激光位置的距離值。為了模擬樹木，L系統(tǒng)被應(yīng)用在果園中[24-25]。在車輛上安裝激光雷達(dá)傳感器以建立相關(guān)樹木模型，將雷達(dá)數(shù)據(jù)融合GPS創(chuàng)建一個(gè)當(dāng)?shù)氐臉淠救S地圖，進(jìn)而估算噴施命中率，控制噴霧器流量[26-29]。

本文采用圖像形態(tài)學(xué)方法對LWA區(qū)域進(jìn)行分割，然后結(jié)合深度圖像數(shù)據(jù)，提出了基于樣條區(qū)域的LWA平均距離檢測方法，用于計(jì)算噴施設(shè)備與LWA間的距離，并進(jìn)一步提出路徑偏差計(jì)算方法及路徑矯正規(guī)劃方法，以實(shí)現(xiàn)對噴施設(shè)備偏離最佳噴施路徑時(shí)進(jìn)行路徑矯正和規(guī)劃，使噴施設(shè)備能夠保持處于最佳噴施路徑，實(shí)現(xiàn)精準(zhǔn)噴施。

1 噴施參數(shù)估計(jì)及路徑規(guī)劃方法

為了實(shí)現(xiàn)對果園果樹的智能化精準(zhǔn)噴施，首先需要對果樹葉墻區(qū)域進(jìn)行識別，檢測其與噴施系統(tǒng)的距離，并估計(jì)噴施參數(shù)，調(diào)整噴頭噴施距離及強(qiáng)度，進(jìn)一步才能夠?qū)娛┞窂竭M(jìn)行規(guī)劃，并實(shí)現(xiàn)噴施距離達(dá)到最優(yōu)的路徑規(guī)劃結(jié)果，保證噴施藥品和能耗的最小化。

1.1 LWA距離檢測方法

機(jī)器視覺檢測LWA的研究中，大多采用圖像處理技術(shù)對視頻序列中的各幀圖像進(jìn)行分析和處理，只依賴于獲取的彩色圖像信息，利用顏色差異、亮度信息和邊緣信息等提取出LWA。通過圖像腐蝕的方法細(xì)化獲得LWA區(qū)域[16]。但是，當(dāng)后排果樹作為背景時(shí)會被誤判為LWA區(qū)域，存在易受光照及背景影響的缺點(diǎn)，且存在距離估算不準(zhǔn)確問題。Kinect不僅能夠采集彩色視頻信息，還能夠通過紅外發(fā)射器獲得深度圖像，深度圖像中每個(gè)像素點(diǎn)的像素值代表距離，因此可以獲得更為精確的距離信息，輔助檢測LWA及各項(xiàng)參數(shù)。

1.1.1 LWA分割算法

LWA距離檢測首先要從視頻圖像中準(zhǔn)確分割出LWA區(qū)域。由于葡萄為藤本植物，其種植需要人工搭建葡萄架，供其攀爬和生長，因此一般會形成明顯規(guī)整的綠色葉墻，有利于LWA區(qū)域的分割和定位。本文采用顏色分割的方法確定LWA，對RGB圖像的彩色圖層進(jìn)行減法運(yùn)算，并進(jìn)一步對其進(jìn)行圖像形態(tài)學(xué)處理，以獲得準(zhǔn)確的LWA分割結(jié)果。

首先，對LWA的分割首先使用顏色分割的方法對彩色圖像進(jìn)行處理，利用RGB圖像的Green層和Red層的像素值進(jìn)行減法運(yùn)算，所得結(jié)果值大于0即為圖像綠色區(qū)域，并獲得二值化圖像。由于是計(jì)算圖像彩色層間的差值，根據(jù)差值是否大于0作為閾值決定二值化結(jié)果，因此這種相對差值減少了天氣環(huán)境（主要為亮度差異和變化）對二值化分割的影響，具體的計(jì)算公式如下

式中I(,)、I(,)分別為彩色圖像Green層和Red層在()處的像素值，I(,)為二值化結(jié)果圖像。

由于葉墻存在葉片間隙和陰影，獲得的二值化結(jié)果圖像中存在一些分布不均勻的小間隙和小空洞，在噴施時(shí)無法避開這些小空隙，過多的小間隙也容易影響LWA輪廓的提取，對噴施控制效果也會造成一定影響，因此需要填充圖像中的小間隙和空洞。本文采用膨脹算法對LWA內(nèi)的小空隙進(jìn)行填充，具體采用形態(tài)學(xué)圖像閉運(yùn)算的算法[17]，使用5×5正方形矩陣的結(jié)構(gòu)元素對圖像中的白色像素進(jìn)行一次膨脹和一次腐蝕處理，實(shí)現(xiàn)對LWA內(nèi)“空洞”的填充。但是，一些干擾噪聲會因此形成噪點(diǎn)，并且有些葉墻中較大的空隙仍然存在，因此本算法進(jìn)一步使用300像素去噪聲處理，初步濾除小區(qū)域及噪點(diǎn)，并采用空洞填充的方法，使用鄰域4連通的方式對較大空洞進(jìn)一步填充，最終獲得完整的待噴施LWA區(qū)域。LWA分割過程示意圖如圖1所示，其中1a為原始圖像；1b為G、R顏色層相減后二值化結(jié)果圖；圖1c為圖像經(jīng)閉運(yùn)算填充，再經(jīng)開運(yùn)算去噪后的結(jié)果圖；1d為經(jīng)空洞填充后的LWA分割結(jié)果。由于天氣環(huán)境比較惡劣是不適合進(jìn)行農(nóng)藥噴施的，因此采集圖像和試驗(yàn)是在天氣情況較好的環(huán)境即晴朗或陰天、微風(fēng)的條件下進(jìn)行。

圖1 LWA分割過程示意圖

1.1.2 基于樣條區(qū)域的LWA平均距離檢測方法

為了有效估算LWA與噴施設(shè)備間的距離，并進(jìn)一步測算噴施設(shè)備與LWA間的垂直距離，首先需要采集深度圖像中的距離信息。由于LWA中葉片位置參差不齊、伸展方向有一定差異，使得深度圖像中小區(qū)域內(nèi)的距離信息存在較大差異，單點(diǎn)距離差值較大，導(dǎo)致距離測算的不準(zhǔn)確。因此，需要計(jì)算LWA小區(qū)域內(nèi)的平均距離，以平均距離值作為噴施設(shè)備與LWA的距離用于垂直距離的測算。

本文提出基于樣條區(qū)域的LWA平均距離檢測方法。由于本系統(tǒng)需要測算出圖像場景兩側(cè)LWA與Kinect的距離，以進(jìn)一步估算出Kinect與LWA間的垂直距離。而由于葡萄葉自然生長，葉墻表面凹凸不平且存在葉間縫隙，假如只取LWA中的某點(diǎn)的距離值作為LWA與Kinect的距離，會存在較大誤差。因此本文在圖像兩端各標(biāo)出寬度為20像素值的豎直樣條區(qū)域，分別計(jì)算深度圖像中，位于兩樣條內(nèi)并屬于LWA區(qū)域的像素點(diǎn)的距離均值，作為測算的LWA與噴施設(shè)備上Kinect間的平均距離，以減少單點(diǎn)測算帶來的誤差影響。計(jì)算公式如式（2）所示。

式中D(,)為深度圖像在(,)處的像素值，即距離值；為像素點(diǎn)個(gè)數(shù)；LWA為LWA二值化分割圖像；S為樣條區(qū)域?qū)挾龋琺m；、分別為圖像寬度和高度，mm；Dis為LWA平均距離，mm。

樣條區(qū)域的位置取在圖像的兩端是由于：第一，圖像場景為縱深圖像，圖像兩端位置的葉墻與噴施設(shè)備距離最近，Kinect測量的深度數(shù)據(jù)也較為準(zhǔn)確；圖像中心位置葉墻與噴施設(shè)備距離較遠(yuǎn)，場景縱深一般為10 m以上，超出了Kinect的測量范圍。第二，便于計(jì)算葉墻與噴施設(shè)備的垂直距離。由于Kinect的水平視角為54°，其中心方向與設(shè)備行進(jìn)方向一致，因此便于根據(jù)平均距離計(jì)算設(shè)備與葉墻間的垂直距離。由于彩色圖像邊緣經(jīng)一系列處理后會出現(xiàn)干擾和瑕疵點(diǎn)，深度圖像邊緣也會出現(xiàn)空白條帶，因此本文在選取樣條位置時(shí)向圖像中心水平偏移了10個(gè)像素寬度，以減少干擾。用于計(jì)算LWA平均距離的樣條區(qū)域如圖2中標(biāo)出的位于圖像兩側(cè)的豎直樣條區(qū)域所示，樣條中非LWA區(qū)域會被去除。

圖2 用于計(jì)算LWA平均距離的樣條區(qū)域

1.2 噴施路徑規(guī)劃方法

噴施路徑的規(guī)劃主要根據(jù)噴施設(shè)備與LWA的間距、噴頭最佳噴施距離和噴施設(shè)備當(dāng)前方位，對噴施設(shè)備的行進(jìn)路線進(jìn)行計(jì)算和規(guī)劃，當(dāng)行進(jìn)路徑與規(guī)劃路徑相偏離時(shí)，能夠提示矯正偏差的規(guī)劃路徑，達(dá)到最優(yōu)化的噴施行進(jìn)路徑，并調(diào)節(jié)噴頭連接桿的長度，以使噴施設(shè)備的噴頭與LWA間保持最優(yōu)距離，從而獲得最佳的噴施效果、最小的藥品損耗及減少藥品擴(kuò)散污染。

1.2.1 噴施距離測算

噴施路徑規(guī)劃首先要獲得噴施設(shè)備（主要為視頻采集設(shè)備Kinect）與LWA間的垂直間距，再減除噴施設(shè)備的寬度，即為測算出的噴施距離。因此，需要由Kinect采集的深度圖像信息計(jì)算出的LWA平均距離，作為Kinect視場內(nèi)與LWA間的距離值，再根據(jù)Kinect水平視角范圍計(jì)算出與LWA的垂直間距。噴施距離的具體計(jì)算方法如圖3所示。

注： O為Kinect攝像頭鏡頭位置，矩形框?yàn)镵inect的視場范圍，A為LWA樣條中值點(diǎn)，B為O點(diǎn)的垂點(diǎn)，C為拍攝視場中心點(diǎn)。

圖中左側(cè)直線代表葉墻區(qū)域LWA，Kinect的水平視角為54°，則其采集圖像的中心與邊緣的夾角∠約為水平視角的1/2，在此近似取∠≈27°，而∠=90°，因此可以求得∠=∠?∠=63°，又由于長度已知，為式（2）的計(jì)算結(jié)果Dis，則Kinect與LWA間垂直間距可由以下公式求得：

求得的結(jié)果再減去噴施設(shè)備幅寬的一半即為LWA與噴頭之間的距離，即

式中W為噴施設(shè)備幅寬，mm；Dis為噴頭與LWA間的噴施距離，mm。

1.2.2 路徑偏差計(jì)算

為了對噴施路徑進(jìn)行規(guī)劃使其達(dá)到最優(yōu)，就需要計(jì)算葡萄行間路徑、行進(jìn)方向及最優(yōu)噴施距離間的差值，以規(guī)劃和矯正行進(jìn)路徑。因此，首先需要定位葡萄行間路徑范圍，即LWA與地面的分界線，從而獲得地面可行進(jìn)路徑范圍。

由于LWA邊緣線較為曲折，無法使用霍夫變換等方法計(jì)算其直線的分界線，因此本文采用最小二乘法對LWA邊緣點(diǎn)進(jìn)行線性擬合，以獲得分界線。LWA邊緣點(diǎn)由LWA分割結(jié)果圖像經(jīng)過圖像形態(tài)學(xué)的邊緣檢測算法獲得，邊緣檢測公式如式（5）所示。

獲得LWA邊緣檢測結(jié)果圖像后，以邊緣上每個(gè)點(diǎn)的坐標(biāo)作為線性擬合的數(shù)據(jù)集，使用最小二乘法擬合LWA邊界直線，要求得的線性擬合的直線公式如下

需根據(jù)LWA邊緣點(diǎn)集求得直線公式中的系數(shù)、，以獲得擬合的分界直線。其中系數(shù)、的最佳估計(jì)值計(jì)算公式如下

式中x,y∈I為LWA邊緣點(diǎn)，并且由于LWA及邊緣線主要在圖像下半部分，因此y∈[/2,]，為圖像高度，為邊緣點(diǎn)集的數(shù)量。由于葡萄LWA一般位于視場內(nèi)的左右兩側(cè)，因此需要根據(jù)LWA左右兩部分邊緣點(diǎn)集，擬合獲得左右兩側(cè)LWA分界線。

LWA邊緣檢測及分界線擬合如圖4所示，圖4a是對圖1d進(jìn)行邊緣檢測的結(jié)果，圖4b為分界線擬合結(jié)果，圖4c為分界線標(biāo)注結(jié)果。

擬合獲得LWA分界線后，根據(jù)噴施設(shè)備當(dāng)前位置下與LWA的噴施距離，結(jié)合噴頭最佳噴施距離和葡萄行間距，即可計(jì)算最優(yōu)路徑與當(dāng)前路徑的水平方向偏差，用于路徑矯正。路徑的偏差值首先根據(jù)式（4）計(jì)算獲得的左右兩邊噴施距離，求取與距離均值間的差值，即為路徑偏差值，其計(jì)算公式如下

或者

式中Dis和Dis分別為利用式（4）求得的左右兩側(cè)噴施距離，mm；為路徑偏差值，mm，其值為負(fù)數(shù)表示噴施設(shè)備應(yīng)向左移動，為正數(shù)則應(yīng)向右移動，以減小偏差值并矯正噴施路徑。

圖4 LWA邊緣檢測及分界線擬合結(jié)果

此外，利用擬合的2條LWA分界線，能夠劃定葡萄行間可行駛路徑，用于檢驗(yàn)路徑偏差值是否會超出可行駛路徑區(qū)域，即計(jì)算當(dāng)前行駛路徑是否在2條LWA分界線內(nèi)，以保證規(guī)劃的路徑在可行駛路徑范圍內(nèi)。當(dāng)前行駛路徑的計(jì)算以視場底部中心點(diǎn)為基準(zhǔn)，按照噴施設(shè)備寬度計(jì)算其在視場圖像中的行駛路徑。因此，需要把現(xiàn)實(shí)世界中的設(shè)備寬度轉(zhuǎn)換為圖像二維坐標(biāo)寬度，即進(jìn)行三維世界坐標(biāo)系到二維圖像坐標(biāo)系的轉(zhuǎn)換。設(shè)世界坐標(biāo)系中點(diǎn)及其坐標(biāo)為(,,)，其對應(yīng)的圖像坐標(biāo)中的點(diǎn)(,)，則其對應(yīng)轉(zhuǎn)換關(guān)系為

式中f為攝像機(jī)焦距，mm。本文中Kinect攝像頭焦距已知；Z為測得深度值，mm；噴施設(shè)備輪距寬度為940mm，即為X值；則可計(jì)算出噴施設(shè)備在圖像中的寬度，并據(jù)此計(jì)算出設(shè)備在圖像中的行進(jìn)路線，標(biāo)示于圖中，如圖5所示。圖中中間的虛線為設(shè)備中心延伸線，兩邊的2條直線為噴施設(shè)備行進(jìn)路線。

1.2.3 路徑矯正及規(guī)劃線的生成

本文的精準(zhǔn)噴施系統(tǒng)需要根據(jù)路徑偏差對噴施設(shè)備的行進(jìn)路徑進(jìn)行矯正，并生成用于矯正路徑的規(guī)劃線，以引導(dǎo)設(shè)施系統(tǒng)按照最佳噴施路徑行進(jìn)。根據(jù)式（9）或式（10）計(jì)算出的路徑偏差值，帶入到式（11）中，轉(zhuǎn)換為二維圖像坐標(biāo)，即可求出行進(jìn)路徑在采集圖像中的路徑矯正值。為了生成矯正路徑規(guī)劃線，需要先計(jì)算出噴施設(shè)備的轉(zhuǎn)向角度，設(shè)圖像坐標(biāo)中設(shè)備中心延伸線上某點(diǎn)(,)路徑偏差值為Δ（行進(jìn)路徑的矯正主要為水平方向的矯正，因此偏差值也僅為軸上的差值），則轉(zhuǎn)向角度計(jì)算方法如下

然后，進(jìn)一步計(jì)算噴施設(shè)備轉(zhuǎn)向路線，噴施車輛轉(zhuǎn)向路徑示意圖如圖6所示，則噴施車輛左側(cè)車輪的行進(jìn)軌跡方程為

右側(cè)車輪的行進(jìn)軌跡方程為

式中(x,y)、(x,y)分別為左右兩輪在圖像中的坐標(biāo)點(diǎn)（即1.2.2中標(biāo)出的噴施設(shè)備寬度線在圖像最下方的兩端點(diǎn)），為噴施車輛前后軸距，mm；W為前輪輪距，mm。

注：為噴施車輛前后軸距，mm；W為前輪輪距，mm；為轉(zhuǎn)向角度，rad。

Note:is the wheelbase of spraying vehicle, mm;lis tread of front wheel, mm;is the steering angle, rad.

圖6 噴施車輛轉(zhuǎn)向示意圖

Fig.6 Rotation diagram of spraying vehicle

以上公式計(jì)算出的行進(jìn)路線圖為俯視圖，而實(shí)際在Kinect拍攝圖像中應(yīng)該顯示以Kinect攝像頭為中心點(diǎn)坐標(biāo)的軌跡，即世界坐標(biāo)下的駕駛員視角。因此，其軌跡坐標(biāo)也應(yīng)進(jìn)行世界坐標(biāo)的變換，并生成矯正路徑規(guī)劃線，顯示于彩色圖像內(nèi)，路徑規(guī)劃結(jié)果如圖7所示，7a、7b圖像分別表示在種植品種為玫瑰香和巨峰的葡萄園內(nèi)運(yùn)用本算法進(jìn)行路徑規(guī)劃的結(jié)果圖，并且分別為不同狀態(tài)下的檢測結(jié)果，圖7a中噴施設(shè)備位于葡萄行間路徑偏右位置，因此矯正路徑規(guī)劃線偏向左側(cè)；7b中噴施設(shè)備位于路徑左側(cè)，因此矯正路徑規(guī)劃線偏向右側(cè)。

根據(jù)矯正路徑規(guī)劃線，可以引導(dǎo)噴施設(shè)備保持在路徑正中位置行駛，再根據(jù)式（4）計(jì)算出的噴施距離，可以輸出控制左右噴施臂在0～10 cm范圍內(nèi)進(jìn)行調(diào)節(jié)，使噴頭與LWA保持最佳噴施距離，實(shí)現(xiàn)精準(zhǔn)噴施。算法規(guī)劃的路徑也即為最佳噴施路徑。

注：綠色虛線所示曲線為矯正路徑規(guī)劃線，藍(lán)色虛線為噴施試驗(yàn)平臺中心線，綠色實(shí)線為噴施試驗(yàn)平臺行進(jìn)線，紅色實(shí)線為路徑邊界線。

2 精準(zhǔn)噴施實(shí)驗(yàn)平臺軟硬件設(shè)計(jì)

本文研究的精準(zhǔn)噴施實(shí)驗(yàn)平臺分為果樹識別控制算法軟件和可控硬件平臺2部分，果樹識別控制軟件部分主要完成LWA檢測、噴施控制參數(shù)估計(jì)、行進(jìn)路徑規(guī)劃等果樹識別和噴施控制算法功能，可控硬件平臺部分包括裝有Kinect和噴霧器臂的自走式噴施平臺、便攜式工控機(jī)、電源等。

2.1 噴施控制算法框架設(shè)計(jì)

本文主要利用精準(zhǔn)噴施算法軟件處理系統(tǒng)規(guī)劃最優(yōu)噴施路徑，實(shí)現(xiàn)對噴施設(shè)備的控制，達(dá)到精準(zhǔn)噴施的設(shè)計(jì)目標(biāo)。總體算法流程如圖8所示：首先，通過Kinect獲取彩色及深度視頻圖像。進(jìn)而，使用彩色圖像的RGB圖像層進(jìn)行處理，以獲得圖像中綠色區(qū)域，初步分割出LWA區(qū)域。然后，把分割出的LWA區(qū)域與深度圖像進(jìn)行匹配，根據(jù)深度圖像數(shù)據(jù)測算LWA平均距離。進(jìn)一步，根據(jù)噴施設(shè)備寬度、噴頭的噴施范圍、噴施距離等設(shè)備參數(shù)，測算噴施設(shè)備的最佳噴施距離。然后，根據(jù)深度圖像測算獲得的LWA平均距離以及設(shè)備最佳噴施距離，計(jì)算最佳噴施路徑，以及當(dāng)前路徑與最佳噴施路徑間的差值，即路徑偏差。最后，為了實(shí)現(xiàn)對噴施系統(tǒng)行進(jìn)路線的優(yōu)化并保證噴施間距的最優(yōu)化，需要對噴施路徑進(jìn)行規(guī)劃和預(yù)測，即根據(jù)路徑偏差對行進(jìn)路徑進(jìn)行矯正，并且規(guī)劃出用于導(dǎo)航的最優(yōu)規(guī)劃路徑，使噴施系統(tǒng)達(dá)到噴施效果的最優(yōu)化。

圖8 精準(zhǔn)噴施算法流程圖

2.2 噴施系統(tǒng)硬件平臺設(shè)計(jì)

本噴施系統(tǒng)中的Kinect被固定安裝在平臺上，通過一臺拖拉機(jī)拖拽行駛。Kinect完全掃描果園某一行植株時(shí)，拖拉機(jī)沿現(xiàn)場勻速行駛。本系統(tǒng)還包括液壓閥、移動式噴霧器臂、空氣導(dǎo)管、空氣輔助噴霧器、視頻處理設(shè)備。噴霧器臂包含上、中、下4組扇形噴霧噴頭，最佳噴施距離為3～40 cm，由液壓桿控制可以調(diào)整噴霧器臂水平方向距離，調(diào)整范圍為0～10 cm。噴施系統(tǒng)可以通過處理軟件輸出控制信號調(diào)節(jié)噴施距離。如圖9所示。

圖9 噴施系統(tǒng)硬件平臺

本系統(tǒng)的視頻處理部分主要由一臺微軟Kinect和一臺電腦組成并配備一個(gè)移動電源。Kinect通過將標(biāo)準(zhǔn)的RGB攝像機(jī)和深度傳感器相結(jié)合，能夠獲取場景的3維特征信息[30]。試驗(yàn)使用的是微軟出的XBOX 360 Kinect1.0傳感器，型號為1473。為了初步驗(yàn)證本文算法的有效性，試驗(yàn)中首先使用Kinect Studio采集視頻圖像。噴施系統(tǒng)算法的開發(fā)使用了Matlab與VC++混合編程，以快速實(shí)現(xiàn)算法并進(jìn)行試驗(yàn)。此外，為了對路徑規(guī)劃效果進(jìn)行檢驗(yàn)，在平臺上還安裝了全球定位系統(tǒng)GPS，以準(zhǔn)確得知系統(tǒng)的全局位置。

3 試驗(yàn)結(jié)果及分析

3.1 試驗(yàn)條件

本文的試驗(yàn)場地為中國河北省保定市（中國北方）的葡萄園。試驗(yàn)中的葡萄品種為玫瑰香和巨峰2種，均為5 a樹齡，種植株距為1 m，行距為3 m，架高2 m，果樹的平均高度約為2.2 m。噴施農(nóng)藥時(shí)，噴施設(shè)備沿葡萄架行間路徑行進(jìn)，對路徑兩側(cè)葡萄同時(shí)進(jìn)行噴施。試驗(yàn)時(shí)間為2016年5月20～24日，試驗(yàn)時(shí)的氣象條件值為：平均溫度20～24 ℃，相對濕度20%～40%，風(fēng)力為1～2級。

3.2 噴施距離測算結(jié)果及分析

為了檢驗(yàn)噴施距離的測算結(jié)果與實(shí)際距離值之間是否有差異，及存在差值的分布情況，本文對算法計(jì)算的噴施距離結(jié)果與實(shí)際測量距離間的關(guān)系進(jìn)行了試驗(yàn)，并對試驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì)和分析。

試驗(yàn)過程中，在果園的不同葡萄架行間使噴施系統(tǒng)靜止，使用本文算法，根據(jù)Kinect采集數(shù)據(jù)，按照式（3）測算噴施距離計(jì)算值LWA；同時(shí)噴施系統(tǒng)向前移動到Kinect采集數(shù)據(jù)的位置，用卷尺測量Kinect兩攝像頭中心位置到兩側(cè)葡萄LWA的垂直距離，每個(gè)位置共測量3次，取3次測量結(jié)果的平均值作為實(shí)際噴施距離的測量值，然后對2組數(shù)據(jù)進(jìn)行統(tǒng)計(jì)和分析。試驗(yàn)在葡萄園中隨機(jī)選取了30個(gè)測量點(diǎn)，在測量點(diǎn)上使噴施設(shè)備位于路徑偏左、中心和偏右位置的次數(shù)達(dá)到平均值，每點(diǎn)測量左右兩側(cè)距離，因此試驗(yàn)共測量和計(jì)算了60組噴施距離數(shù)據(jù)。表1列出了試驗(yàn)數(shù)據(jù)值，并計(jì)算了測量值及算法計(jì)算值的均值及與的均方誤差（MSE）。從表1中的30組數(shù)據(jù)可以看出，除了個(gè)別差異較大的數(shù)據(jù)（如第14、18、25組的計(jì)算值與測量值差異稍大），測量值與計(jì)算值的均值差異較小，左右兩側(cè)計(jì)算值與測量值差值的均方誤差MSE分別為3.7和1.9 cm，差值較小。

表1 噴施設(shè)備距左右側(cè)LWA距離數(shù)據(jù)

綜上所述，通過對試驗(yàn)數(shù)據(jù)的分析可以看出，本文算法計(jì)算的噴施設(shè)備到LWA間距離與實(shí)際測量值差異較小，證明算法能夠較為準(zhǔn)確的計(jì)算出噴施設(shè)備與LWA間的距離。

3.3 路徑偏差計(jì)算結(jié)果及分析

為了檢驗(yàn)計(jì)算的路徑偏差值是否準(zhǔn)確，即檢驗(yàn)路徑矯正和規(guī)劃線是否準(zhǔn)確有效，本文利用式（9）路徑偏差值計(jì)算公式，對30個(gè)數(shù)據(jù)采集點(diǎn)的路徑偏差測量值和計(jì)算值進(jìn)行了計(jì)算和對比。試驗(yàn)結(jié)果如圖10所示。

圖10 路徑偏差值折線圖

由圖10可知，測量值和計(jì)算值2條曲線之間差異較小，曲線在約±30 cm范圍內(nèi)擺動，其中正值表示噴施設(shè)備偏左，負(fù)值表示噴施設(shè)備偏右；其差值曲線在0軸上下擺動幅度較小，說明計(jì)算值與測量值之間的差值較小。此外，計(jì)算了計(jì)算值與測量值差值的方差為2.29 cm，證明兩值間差值較小。

由試驗(yàn)證明，本文算法計(jì)算的路徑偏差值與實(shí)際測算的路徑偏差值之間的誤差較小，噴施設(shè)備噴頭最佳噴施距離范圍為30～40 cm，計(jì)算誤差基本不會對噴施設(shè)備保持最佳噴施距離產(chǎn)生較大影響，因此試驗(yàn)證明本文算法計(jì)算的路徑偏差值準(zhǔn)確，即本文算法對噴施行進(jìn)路徑的矯正和生成的規(guī)劃路線也準(zhǔn)確有效。

此外，本文對算法處理速度進(jìn)行了檢測，在未對算法進(jìn)行優(yōu)化的情況下，檢測了30個(gè)數(shù)據(jù)采集點(diǎn)的算法處理時(shí)間，其處理單幀圖像所耗平均時(shí)間為0.574 9 s。對算法的優(yōu)化和實(shí)時(shí)算法的實(shí)現(xiàn)為本項(xiàng)目下一步研究的重點(diǎn)內(nèi)容之一。

4 結(jié) 論

1）本文提出了基于樣條區(qū)域的LWA平均距離檢測方法，其中采用圖像彩色層差值進(jìn)行二值化分割，可以減小天氣環(huán)境對檢測結(jié)果的影響。本算法用于計(jì)算噴施設(shè)備與LWA間的距離，為噴施路徑規(guī)劃打下基礎(chǔ)。

2）本文提出了路徑偏差計(jì)算方法及路徑矯正規(guī)劃算法，以實(shí)現(xiàn)對噴施設(shè)備偏離最佳噴施路徑時(shí)進(jìn)行路徑矯正和規(guī)劃，并對噴施設(shè)備在路徑中偏左和偏右等多種狀態(tài)下進(jìn)行了實(shí)驗(yàn)檢測，均能通過導(dǎo)航線引導(dǎo)噴施設(shè)備處于最佳噴施路徑，實(shí)現(xiàn)精準(zhǔn)噴施。

3）為了檢驗(yàn)方法的準(zhǔn)確度，本文在葡萄園中進(jìn)行了實(shí)地試驗(yàn)，針對2項(xiàng)關(guān)鍵數(shù)據(jù)噴施距離和路徑偏差，共采集測量了30個(gè)位置點(diǎn)的試驗(yàn)數(shù)據(jù)。通過對關(guān)鍵數(shù)據(jù)測量值和計(jì)算值的統(tǒng)計(jì)及分析證明：本算法計(jì)算的左右兩側(cè)噴施距離與實(shí)際測量值差值的方差分別為3.7和1.9 cm，可見差值較小；路徑偏差計(jì)算值與測量值差值的方差為2.29 cm，差異也較小。由此可以證明，本文算法計(jì)算的噴施距離和路徑偏差數(shù)值準(zhǔn)確。

[1] 廖娟，臧英，周志艷，等. 作物航空噴施作業(yè)質(zhì)量評價(jià)及參數(shù)優(yōu)選方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(增刊2)：38－46.

Liao Juan, Zang Ying, Zhou Zhiyan, et al. Quality evaluation method and optimization of operating parameters in crop aerial spraying technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(Supp.2): 38－46. (in Chinese with English abstract)

[2] 羅陸鋒，鄒湘軍，程堂燦，等. 采摘機(jī)器人視覺定位及行為控制的硬件在環(huán)虛擬試驗(yàn)系統(tǒng)設(shè)計(jì)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，33(4)：39－46.

Luo Lufeng, Zou Xiangjun, Cheng Tangcan, et al. Design of virtual test system based on hardware-in-loop for picking robot vision localization and behavior control[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(4): 39－46. (in Chinese with English abstract)

[3] Plessen M M G, Bemporad A. Reference trajectory planning under constraints and path tracking using linear time-varying model predictive control for agricultural machines[J]. Biosystems Engineering, 2017, 153: 28－41.

[4] Fai?al B S, Freitas H, Gomes P H, et al. An adaptive approach for UAV-based pesticide spraying in dynamic environments[J]. Computers and Electronics in Agriculture, 2017, 138: 210－223.

[5] 陳盛德，蘭玉彬，李繼宇，等. 植保無人機(jī)航空噴施作業(yè)有效噴幅的評定與試驗(yàn)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(7)：82－90.

Chen Shengde, Lan Yubin, Li Jiyu, et al. Evaluation and test of effective spraying width of aerial spraying on plant protection UAV[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(7): 82－90. (in Chinese with English abstract)

[6] Walklate P J, Cross J V. Regulated dose adjustment of commercial orchard spraying products[J]. Crop Protection, 2013, 54(12): 65－73.

[7] Gil E, Gallart M, Llorens J, et al. Spray adjustments based on LWA concept in vineyard. Relationship between canopy and coverage for different application settings[J]. International Advances in Pesticide Application, Aspects of Applied Biology, 2014, 122: 25－32.

[8] Xiao Ke, Ma Yuejin, Gao Guandong. An intelligent precision orchard pesticide spray technique based on the depth-of-field extraction algorithm[J]. Computers and Electronics in Agriculture, 2017, 133: 30－36.

[9] Duga A T , Delele M A , Ruysen K, et al. Development and validation of a 3D CFD model of drift and its application to air-assisted orchard sprayers[J]. Biosystems Engineering, 2016, 154: 62－75.

[10] 蘇偉，展郡鴿，張明政，等. 基于機(jī)載LiDAR數(shù)據(jù)的農(nóng)作物葉面積指數(shù)估算方法研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016，47(3)：272－277.

Su Wei, Zhan Junge, Zhang Mingzheng, et al. Estimation method of crop leaf area index based on airborne LiDAR data[J]. Transactions of the Chinese Society of Agricultural Machinery, 2016, 47(3): 272－277. (in Chinese with English abstract)

[11] 俞龍，洪添勝，趙祚喜，等. 基于超聲波的果樹冠層三維重構(gòu)與體積測量[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2010，26(11)：204－208.

Yu Long, Hong Tiansheng, Zhao Zuoxi, et al. 3D-reconstruction and volume measurement of fruit tree canopy based on ultrasonic sensors[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(11): 204－208. (in Chinese with English abstract)

[12] Tomas P, Andrew J L. Real time canopy density estimation using ultrasonic envelope signals in the orchard and vineyard[J]. Computers and Electronics in Agriculture, 2015, 115: 108－117.

[13] 姜紅花，白鵬，劉理民，等. 履帶自走式果園自動對靶風(fēng)送噴霧機(jī)研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016，47(增刊1)：189－195.

Jiang Honghua, Bai Peng, Liu Limin, et al. Caterpillar self-propelled and air-assisted orchard sprayer with automatic target spray system[J]. Transactions of the Chinese Society of Agricultural Machinery, 2016, 47(z1): 189－195. (in Chinese with English abstract)

[14] Li H, Zhai C, Weckler P, et al. A canopy density model for planar orchard target detection based on ultrasonic sensors[J]. Sensors, 2016, 17(1): 31.

[15] Zou W, Wang X, Deng W, et al. Design and test of automatic toward-target sprayer used in orchard[C]//IEEE International Conference on Cyber Technology in Automation,Control and Intelligent Systems, IEEE ,2015: 697－702.

[16] Narváez F J Y, Pedregal J S D, Prieto P A, et al. LiDAR and thermal images fusion for ground-based 3D characterisation of fruit trees[J]. Biosystems Engineering, 2016, 151: 479－494.

[17] Li M, Shi Y, Wang X, et al. Target recognition for the automatically targeting variable rate sprayer[J]. IFIP International Federation for Information Processing, 2010, 346: 20－28.

[18] Hoevar M, ?irok B, Jeji V, et al. Design and testing of an automated system for targeted spraying in orchards[J]. Journal of Plant Diseases and Protection, 2010, 117(2): 71－79.

[19] Jej?i? V, Gode?a T, Ho?evar M, et al. Design and Testing of an ultrasound system for targeted spraying in orchards[J]. Strojniski Vestnik, 2011, 7-8(57): 587－598.

[20] Stajnko D, Berk P, Le?nik M, et al. Programmable ultrasonic sensing system for targeted spraying in orchards[J]. Sensors, 2012, 12(11): 15500－15519.

[21] Osterman A, Gode?a T, Hocˇevar M, et al. Real-time positioning algorithm for variable-geometry air-assisted orchard sprayer[J]. Computers and Electronics in Agriculture, 2013, 98: 175－182.

[22] Tarquis A M, Méndez V, Walklate P J, et al. L-system tree model and LIDAR simulator: Estimation of spray target area[J]. WSEAS Transactions on Biology and Biomedicine, 2006, 3(2): 81－88.

[23] Kim A M. Simulating full-waveform LIDAR[D]. Monterey:Naval Postgraduate School,2009.

[24] Prusinkiewicz P, Karwowski R, Měch R, et al. L-studio/cpfg: A Software System for Modeling Plants[C]// Applications of Graph Transformations with Industrial Relevance, International Workshop, Kerkrade, The Netherlands, Proceedings. DBLP, 1999: 457－464.

[25] Costes E, Smith C, Renton M, et al. MAppleT: simulation of apple tree development using mixed stochastic and biomechanical models[J]. Functional Plant Biology, 2008(35): 936－950.

[26] Polo J R R, Sanz R, Llorens J, et al. A tractor-mounted scanning lidar for the non-destructive measurement of vegetative volume and surface area of tree-row plantations: A comparison with conventional destructive measurements[J]. Biosystems Engineering, 2009, 102(2): 128－134.

[27] Campoy J, Gonzalez-Mora J, Dima C. Advanced sensing for tree canopy modeling and precision spraying[C]//ASABE Annual International Meeting, 2010,0300(10): , 1009470.

[28] Khot L R, Ehsani R, Albrigo G, et al. Air-assisted sprayer adapted for precision horticulture: Spray patterns and deposition assessments in small-sized citrus canopies[J]. Biosystems Engineering, 2012, 113(1): 76－85.

[29] Wellington C, Campoy J, Khot L, et al. Orchard tree modeling for advanced sprayer control and automatic tree inventory[J]. 2012.https://www.researchgate.net/publication/265437727

[30] Kamel Boulos M N, Blanchard B J, Walker C, et al. Web GIS in practice X: A Microsoft Kinect natural user interface for Google Earth navigation[J]. International Journal of Health Geographics, 2011, 10(45): 1－14.

Pesticide spraying route planning algorithm for grapery based on Kinect video technique

Xiao Ke1,2, Gao Guandong3, Ma Yuejin2※

(1.,,071001,; 2.,,071001,; 3.,,071000,)

This paper performs a precise spraying algorithm and builds an experimental platform including hardware of spraying equipment and software of spraying route planning algorithm. With the color images and depth images captured by Microsoft Kinect, it proposes leaf wall area (LWA) average distance calculation method based on spline regions and spraying route planning method based on route deviation for precise spraying of grapery. The purpose of this algorithm is to optimize the spraying route for keeping the suitable distance between LWA and sprinkling nozzle, and reduce the waste or pollution of the pesticides. The algorithm consists of 2 modules including LWA segmentation and distance estimation module, and optimal spraying route planning module. Firstly, to detect the distance between the platform and LWA, the morphological method is adopted to segment the color video frames captured by Kinect for dividing the LWA region accurately. The binary images were created by green layer minus red layer in color images. Then, closing and opening operation were performed for filling and de-noising. And to get continuous LWA, 300 pixels filling algorithm was used to fill the hollows or gaps in LWA. Secondly, a method of calculating LWA average distance based on spline regions is proposed combined with the information of depth image, which is used to accurately estimate the distance between spraying equipment and LWA precisely. The average distance is more reliable than single point distance because there are usually some hollows and gaps in LWA, which will lead to big errors when fetching the distance data from depth image. Finally, a route deviation and correction planning method is presented to guide and keep the spraying system in the optimal route. The errors that result from the spraying system drifting off the route center were computed by the LWA average distance to adjust the spraying arm into optimal spraying distance. And the corrective navigation lines were calculated by these errors and drawn in the video to plan the best spraying route. In the hardware of the precise spray experimental platform, the self-propelled spraying equipment with adjustable sprayer arms was designed and implemented. The self-propelled spraying platform included an air assisted sprayer and 2 moving sprayer arms with 4 nozzles, a Kinect at the head of platform, a laptop PC (personal computer) for planning the spraying route, and a power supply. To test the effectiveness of this algorithm, the experimental data were collected at 30 positions randomly within a big grapery in the North China. The experimental results showed that the differences and variance of the spray distance and route deviation between calculated values and measured values were small. The mean square errors of spraying distance were 3.7 and 1.9 cm respectively at the left and right of spraying system. And the variance of route deviation was 2.29 cm, which is also small. According to the adjusting range of sprayer arms, it will not affect the results of estimating best spraying distance and route. Therefore, it is proved that the results of this algorithm are accurate, and this spraying system can accurately estimate the spraying distance and plan the optimal route to spray precisely in grapery. Moreover, the processing time of the algorithm was also tested, which is 0.574 9 s per frame without program optimization. Hence improving the speed and realizing the real-time system is one of the important parts in our further work

algorithms; pesticides; image segmentation; depth image; grapery; leaf wall area; spraying distance

10.11975/j.issn.1002-6819.2017.24.025

TP391

A

1002-6819(2017)-24-0192-08

2017-08-10

2017-11-04

國家重點(diǎn)研發(fā)計(jì)劃（2016YFD0201100）；河北省研究生創(chuàng)新項(xiàng)目（1099009）

肖 珂，副教授，博士生，主要從事農(nóng)業(yè)信息化研究工作。 Email：xiaoketeaching@sina.com

馬躍進(jìn)，教授，博士生導(dǎo)師，主要從事農(nóng)業(yè)機(jī)械化研究。 Email：mayuejin58@126.com

肖 珂，高冠東，馬躍進(jìn). 基于Kinect視頻技術(shù)的葡萄園農(nóng)藥噴施路徑規(guī)劃算法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(24)：192－199. doi：10.11975/j.issn.1002-6819.2017.24.025 http://www.tcsae.org

Xiao Ke, Gao Guandong, Ma Yuejin. Pesticide spraying route planning algorithm for grapery based on Kinect video technique[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(24): 192－199. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2017.24.025 http://www.tcsae.org