

















摘要:
為在實際果園中實現(xiàn)果樹的在線識別檢測,設(shè)計一種基于機器視覺的果樹靶標(biāo)識別裝置。首先提出一種應(yīng)用在DSP端的在線果樹靶標(biāo)識別算法,用HSV色度分割法對圖像背景進行分割,然后對分割后的樹冠信息(白色像素占有率的數(shù)值變化規(guī)律)進行研判,設(shè)計橫框和豎框兩種識別算法,并設(shè)計一臺搭載識別裝置的移動小車進行田間試驗。預(yù)試驗發(fā)現(xiàn)光照度變化對識別效果的影響較小;選光照度為650Lux開展進一步試驗。結(jié)果表明,在車載速度分別為0.2m/s、0.4m/s和0.8m/s時,橫框識別算法的識別準(zhǔn)確率分別為88%、84%、34%,識別準(zhǔn)確率隨小車速度的增大呈現(xiàn)遞減規(guī)律,從攝像頭對準(zhǔn)靶標(biāo)植株中心的時刻起,到系統(tǒng)判斷出存在有效靶標(biāo)植株時,產(chǎn)生0.4~0.8s的檢測延時。而相同條件下,豎框識別算法的識別準(zhǔn)確率分別為88%、86%、84%,且識別延時較小(0.2~0.3s)。豎框識別算法的優(yōu)點是識別速度快、反饋的位置信息豐富,橫框識別算法則能同步分析果樹樹冠輪廓的大小,根據(jù)兩種算法得到的位置信息有利于進一步優(yōu)化控制單棵植株的噴霧時間。
關(guān)鍵詞:果樹;機器視覺;靶標(biāo)探測;DSP;橫框識別算法;豎框識別算法
中圖分類號: S126; TP391
文獻(xiàn)標(biāo)識碼: A
文章編號:2095-5553 (2025) 01-0164-07
Online fruit tree target recognition device based on machine vision
Zhong Yuan1, 2, Chen Zehong1, Zheng Junbin3, Song Shuran1, Sun Daozong1, Liu Hongshan1
(1. "College of Electronic Engineering/College of Artificial Intelligence, South China Agricultural University, Guangzhou,
510642, China; 2. Zhuhai Vocational Training Guidance and Service Center (Zhuhai High-skilled Talent Public
Training Center), Zhuhai, 519000, China; 3. Guangdong Greenway Technology Co., Ltd., Dongguan, 523129, China)
Abstract:
In order to realize online identification and detection of fruit trees in actual orchards, a fruit tree target identification device based on machine vision is designed. Firstly, an online fruit tree target recognition algorithm applied to DSP is proposed, and the background of the image is segmented by HSV chroma segmentation method. Then, the crown information after segmentation (the numerical change law of white pixel occupancy) is judged, and two recognition algorithms, horizontal frame and vertical frame, are designed. A mobile car equipped with identification device is designed and tested in the field. It is found in the pre-experiment that the change of illumination has little influence on the recognition effect. Further experiments were carried out under the illumination of 650Lux. The results showed that when the vehicle speed was 0.2 m/s, 0.4 m/s and 0.8 m/s, the recognition accuracy of the horizontal frame recognition algorithm was 88%, 84% and 34%, respectively, and the recognition accuracy was decreasing with the increase of the vehicle speed. From the time when the camera aligns with the center of the target plant to the time when the system determines that there was an effective target plant, the detection delay of 0.4-0.8 s was generated. Under the same conditions, the recognition accuracy of the mullion recognition algorithm was 88%, 86% and 84% respectively, and the recognition delay was short (0.2-0.3s). The advantages of the vertical frame recognition algorithm are fast recognition speed and rich feedback position information, while the horizontal frame recognition algorithm can synchronously analyze the size of the crown contour of fruit trees. The position information obtained from the two algorithms is conducive to further optimizing and controlling the spraying time of a single plant.
Keywords:
fruit tree; machine vision; target detection; DSP; horizontal frame recognition algorithm; vertical frame recognition algorithm
0"引言
病蟲害防治是果園管理作業(yè)中重要的環(huán)節(jié)[1],但是我國采用的大容量淋雨式噴霧法農(nóng)藥有效利用率低[2],大量藥液流失到地面或飄移到空氣中[3],引發(fā)環(huán)境污染、農(nóng)藥殘留超標(biāo)、作物藥害及施藥者中毒等問題[4]。
隨著傳感器和控制技術(shù)的發(fā)展,根據(jù)不同作物對象變量控制藥液噴施量和風(fēng)速的精確噴霧的概念應(yīng)運而生。要完成變量噴霧,必須先對作物的生長特性進行探測,常用的有紅外、超聲波以及激光探測傳感器[5],它們在靶標(biāo)探測方面已經(jīng)很成熟,但因為返回結(jié)果簡單[6]而遇到發(fā)展瓶頸。隨之機器視覺技術(shù)被引進到農(nóng)業(yè)領(lǐng)域[7],通過采集果樹圖像的信息,獲取樹形、輪廓等特征,從而建立更精確的掃描式噴霧系統(tǒng)[8]。
李睿遠(yuǎn)[9]采用自動閾值分割法提取出目標(biāo)靶標(biāo)的關(guān)鍵參數(shù),根據(jù)參數(shù)控制車載風(fēng)送噴霧機上每個噴嘴的開閉及步進擺動。張俊雄等[10]研發(fā)了一套可進行病害信息診斷的溫室內(nèi)移動對靶噴霧系統(tǒng),通過圖像分析將采集區(qū)域單元化確定病害等級,以控制噴霧時間實現(xiàn)變量噴霧。周鳴川[11]搭建的對靶噴霧平臺,基于超綠色模型灰度化及分割方法完成對綠色靶標(biāo)植株的有效提取,指導(dǎo)噴頭精準(zhǔn)對靶噴霧。丁為民等[12]構(gòu)建了樹冠面積與樹冠體積對數(shù)之間的線性關(guān)系模型,進一步提出了基于機器視覺的果樹樹冠體積單點和多點測量方法,該方法通過面積以及輪廓特征量均能很好地表達(dá)樹冠體積特征。
國外很早就嘗試將機器視覺應(yīng)用到農(nóng)業(yè)靶標(biāo)植株探測上,2004年Giles等[13]通過對靶標(biāo)特征的檢測來自動調(diào)節(jié)藥液濃度與噴嘴流量。次年,該團隊通過攝像頭采集圖片來定位種植壟的中心線,進而控制噴嘴以植株為靶標(biāo)進行噴霧,使對靶噴霧的自動化水平進一步提升。Mario等[14]開發(fā)出一種通過圖像將靶標(biāo)形狀和顏色進行融合處理的方法,并將其應(yīng)用于萵苣收獲機器人,大幅提高了辨別率。Kang等[15]將激光掃描技術(shù)與機器視覺相結(jié)合,基于超綠算法設(shè)計出葡萄根蘗位置識別系統(tǒng)。Calderón等[16]利用無人機搭載高分辨率的多光譜儀以及熱成像攝像頭實時監(jiān)測罌粟的霜霉病情況,再根據(jù)PC端的分析結(jié)果對不同區(qū)域的罌粟實施按需噴藥。Shalat等[17, 18]采用激光和圖像技術(shù)相結(jié)合的方法研究并獲得果園靶標(biāo)樹干位置探測方法,該方法還能成功區(qū)分樹樁和果樹支撐架等非樹干物體。Asaei等[19]開發(fā)了一個基于機器視覺的傳感器系統(tǒng)和一個除草劑的選擇性控制系統(tǒng)并將其固定在噴霧器中,根據(jù)樹木的綠色冠層精確施用農(nóng)藥,較傳統(tǒng)方法節(jié)省54%的化學(xué)藥品消耗。
目前視覺技術(shù)在靶標(biāo)探測的應(yīng)用多數(shù)集中于實驗室內(nèi)的可控環(huán)境;攝像頭采集的圖像需要經(jīng)過PC端處理再傳送至噴霧執(zhí)行機構(gòu);受各種軟硬件條件的制約,使得機器視覺在農(nóng)業(yè)領(lǐng)域的應(yīng)用市場化還比較困難。為解決當(dāng)前對于機器視覺在果園精細(xì)噴霧研究中存在的實時識別技術(shù)空缺問題,本文采用機器視覺技術(shù)實現(xiàn)靶標(biāo)識別功能,設(shè)計一種基于TMS320DM642的靶標(biāo)識別裝置,并對該裝置進行田間在線靶標(biāo)識別試驗,為植保機器的智能化作業(yè)提供研究基礎(chǔ)。
1"算法設(shè)計
1.1"圖像分割處理
1.1.1"提取顏色特征
HSV顏色空間由色調(diào)(H)、飽和度(S)、明度(V)組成,色調(diào)用角度度量,紅色為0°,綠色為120°,藍(lán)色為240°。針對柑橘樹跟圖像背景在色度上的視覺差異,提取柑橘樹的色調(diào)通道來進行獨立分析,如圖1所示。
對110°~125°的色度區(qū)間進行提取,如圖2所示,成功去除雜草、土壤、滴灌管道以及其他生活雜物的干擾。在190°~210°的色度區(qū)間,可以清晰地看到其他干擾物的輪廓。
采用形態(tài)學(xué)濾波對果樹與背景分離后的圖像進行零散干擾的排除。對比圖3四種處理效果可得,先開運算后閉運算組合的零散干擾過濾效果更優(yōu)。
圖4是果園中生長期為一年的柑橘樹圖像,可見經(jīng)過色度提取以及形態(tài)學(xué)濾波以后的圖像已經(jīng)可以排除大部分非植株靶標(biāo)的干擾,中間的白色區(qū)域是要提取出來的柑橘樹樹冠信息,背景分割工作初步完成。
1.1.2"果樹輪廓匹配算法
在進行柑橘樹識別時,通過分析新采集圖像的輪廓,提取某些特征矩,再與系統(tǒng)中預(yù)先存取的果樹輪廓進行匹配對比,從而判斷實時采集的圖像中是否存在柑橘樹。利用OpenCV提供的cvFindContours函數(shù)查找經(jīng)過背景分割后果樹圖像的外輪廓,如圖5所示。
在實際應(yīng)用中,搭載在小車上的攝像頭會受到運動抖動的影響,造成圖像在輪廓提取時出現(xiàn)較大的偏差,同樣,圖像的紋理特征以及形狀特征也會受到影響。在我國南方的果園中,果樹的種植間距小,種植不規(guī)范以及修剪不統(tǒng)一,這些農(nóng)藝上的特點也制約了紋理、形狀和輪廓等特征在柑橘樹識別上的應(yīng)用。在動態(tài)的圖像采集中,相比于紋理、形狀和輪廓特征,顏色特征具有較強的穩(wěn)定性,因此,選擇顏色特征作為靶標(biāo)識別的基礎(chǔ)。
1.2"基于DSP端的靶標(biāo)識別算法
靶標(biāo)識別算法的實際應(yīng)用需要部署在可移動的邊緣設(shè)備上,因此選擇滿足運算性能需要且可編程的高性能的數(shù)字信號處理器(DSP),使硬件端的靈活性達(dá)到PC端的水平。
1.2.1"硬件選型
完成動態(tài)的在線靶標(biāo)識別功能需要選擇專門用于視頻圖像領(lǐng)域的DSP芯片,由于在進行動態(tài)靶標(biāo)識別時,視頻幀率需要達(dá)到10幀/s以上,輸入和輸出視頻通道各需要1個,整個系統(tǒng)的功耗要盡量低,故在進行初步篩選后,選擇TMS320DM642作為本設(shè)計的主控芯片:在保留C64x原有內(nèi)核機構(gòu)及大部分外設(shè)的基礎(chǔ)上增加3個雙通道數(shù)字芯片口,可同時處理多路數(shù)字視頻流。為方便項目的開發(fā),選擇以TMS320DM642為主處理芯片的系統(tǒng)板(QXD-DM642DVS)作為算法移植的硬件端。
在PC端完成靶標(biāo)識別算法編寫并對其功能進行驗證后,需要將算法移植到TMS320DM642的硬件端。移植與優(yōu)化過程需注意語言的使用規(guī)范及內(nèi)存的合理分配,同時要對讀取到的CCD攝像頭采集的YUV格式圖像轉(zhuǎn)換為HSV色彩模型,并以9×9的方式進行切割分塊以縮短處理時間。
1.2.2"冠層不同位置白色像素占有率計算
不同于PC端,DSP端的算法設(shè)計面臨兩大問題:(1)采集圖像容易受外界因素的影響;(2)算法的復(fù)雜度。進行柑橘樹的識別,提取出來的特征量要盡量穩(wěn)定且識別度高,分析算法要盡量簡便以免影響識別的實時性。基于以上考慮,選用顏色特征作為柑橘樹識別的特征量。在對比果園多種場景的背景分割圖后,發(fā)現(xiàn)采集的圖像中對應(yīng)柑橘樹的位置背景分割圖會存在大片的白色區(qū)域。基于這種對應(yīng)關(guān)系,設(shè)計一種白色區(qū)域占有率的分析算法。
首先對背景分割圖進行分層,在720像素×576像素的背景分割圖中,加入500像素×576像素的取景框,并從上到下平均分成3個部分,分別對應(yīng)樹冠的上中下層。分析冠層不同位置白色像素占有率的變化趨勢,通過白色像素占有率的數(shù)值大小來推斷取景框內(nèi)是否存在有效的靶標(biāo)植株,如圖6所示。
取景框的3個不同位置對應(yīng)的矩形框大小均是192像素×500像素,則冠層不同位置以及取景框內(nèi)白色像素占有率的計算如式(1)和式(2)所示。i=1表示冠層底部;i=2表示冠層中部;i=3表示冠層頂部;i=4表示整個取景框內(nèi)。
ti=si192×500×100%"i=1,2,3
(1)
t4=s4576×500×100%
(2)
式中:
ti——框i的白色像素占有率,%;
si——框i中白色像素的總個數(shù)。
為驗證該算法能否識別柑橘樹,在硬件端上進行仿真試驗。
1.2.3"冠層不同位置白色像素占有率分析
在柑橘樹正前方,勻速地將攝像頭從柑橘樹的右側(cè)平行移動到左側(cè)。為凸顯經(jīng)過背景分割后的靶標(biāo)植株部分,在硬件端算法中加入反色程序。如圖7所示,硬件端的處理效果達(dá)到PC端處理的標(biāo)準(zhǔn)且實時性強。
記錄圖7各取景框內(nèi)白色像素占有率數(shù)值大小,如表1所示。在圖7(c)中t1,t2,t3和t4達(dá)到最大值,對照原圖可見,此時柑橘樹整個樹冠正好完全出現(xiàn)在取景框內(nèi)。
為深入觀察取景框內(nèi)白色像素占有率的波動,在視頻流中按時序均勻的截取9個點,將各點取景框內(nèi)白色像素占有率的數(shù)值整合成折線圖,如圖8所示。在視頻流的第五點處,正好對應(yīng)視頻流的內(nèi)容是柑橘樹完整的出現(xiàn)在取景框內(nèi),進一步驗證這種基于白色像素占有率的分析算法不但可以識別柑橘樹,還能分析柑橘樹在冠層不同位置的大小,為精準(zhǔn)噴霧的實現(xiàn)提供技術(shù)支持。將基于這種思想的算法稱為橫框識別算法。
在完成數(shù)據(jù)分析后,TMS320DM642需要將分析結(jié)果輸出到下位機中,由下位機完成噴霧工作。為簡化數(shù)據(jù)分析與傳輸,在算法中,設(shè)定當(dāng)冠層不同位置白色像素的占有率超過一定百分比的時候,對應(yīng)輸出高電平。
2"靶標(biāo)識別裝置設(shè)計
為檢驗該算法在室外的在線識別效果,設(shè)計一輛可搭載靶標(biāo)識別裝置的小車,小車由3部分組成,分別為驅(qū)動模塊、圖像處理模塊及圖像采集模塊。除底板用不銹鋼板搭建外,其他兩層均使用亞克力板,中間的承接部位使用鋁型材。
車載裝置的底板由一塊不銹鋼板、4個鋁合金輪子、4個直流電機及其支架、2個電機驅(qū)動模塊、1個主控制模塊、1個AS-13數(shù)據(jù)傳輸模塊以及2個12 V電源組成,主要負(fù)責(zé)電機的驅(qū)動控制,實現(xiàn)速度可控的直線前進與后退運動。驅(qū)動時通過AS-13數(shù)據(jù)傳輸模塊,將控制指令通過串口傳輸?shù)杰囕d裝置的主控模塊中,車載裝置的主控模塊根據(jù)指令內(nèi)容改變IO口的輸出電平以及PWM信號的占空比,直流電機模塊根據(jù)車載裝置主控模塊的輸出信號改變直流電機的運動速度以及運動方向。
2.1"驅(qū)動部分
1) 電機驅(qū)動模塊:為兼顧負(fù)重與速度,采用直流減速電機,由于電機扭力需大于0.245N·m,轉(zhuǎn)速不低于300r/min,選用AQMH2407ND直流電機驅(qū)動模塊,搭配峰值電流3A、轉(zhuǎn)速366r/min、扭力0.294N·m 的37GB-385直流減速電機,利用MOS管搭建的雙H橋電路及光耦隔離技術(shù),實現(xiàn)對大電流電機的安全有效驅(qū)動。
2) 主控制模塊:該車載裝置為四輪啟動,采用4個直流減速電機,需要4個PWM輸出口,8個普通IO口,AS13-TTL數(shù)據(jù)傳輸模塊進行串口通信另需1個串口。在滿足系統(tǒng)IO口要求的基礎(chǔ)上,選擇STM32F103C8T6作為車載裝置主控芯片。
3) 數(shù)據(jù)傳輸模塊:車載靶標(biāo)識別裝置在運動控制及TMS320DM642系統(tǒng)板傳輸處理結(jié)果時均需使用數(shù)據(jù)傳輸模塊。考慮到信息傳輸?shù)目煽啃耘c信息讀取的方便性,選用AS13-TTL無線數(shù)據(jù)傳輸模塊,采用Silicon最新的SI4463主芯片,TTL電平輸出,可兼容3.3V與5V的IO口電壓。
4) 電源選型:在驅(qū)動部分,電機運轉(zhuǎn)需要12 V電壓,當(dāng)4個電機同時運轉(zhuǎn)時,峰值電路可達(dá)12 A。選擇DC1298A大容量鋰聚合物電池,其輸出電壓為12.6V,電流為20 A,容量為9800mA。
2.2"圖像處理部分
1) 攝像頭選型:由于攝像頭采集的圖像色彩還原度及清晰度直接影響后續(xù)的數(shù)據(jù)處理及靶標(biāo)識別,因此,在對攝像頭進行選型時,考慮信號制式、鏡頭大小、清晰度,選擇1/3英寸索尼CCD攝像頭,具有480電視線,信號制式為PAL:752H×582V,信號比≥48,視頻輸出幅度為BNC 1.0Vp-p/75Ω。
2) 圖像采集:主要由攝像頭、云騰三腳架及監(jiān)控顯示屏組成。攝像頭將實時采集的圖像傳輸?shù)絋MS320DM642系統(tǒng)板中,經(jīng)系統(tǒng)板內(nèi)部算法處理后,經(jīng)視頻傳輸線將圖像顯示于監(jiān)控顯示屏。
3) 圖像處理:圖像處理部分由TMS320DM642系統(tǒng)板、決策讀取模塊和AS13-TTL數(shù)據(jù)傳輸模塊組成。工作時,攝像頭將實時采集的圖像傳輸?shù)絋MS320DM642系統(tǒng)板中,經(jīng)系統(tǒng)板內(nèi)部算法分析處理后,生成的決策結(jié)果通過IO口傳輸?shù)經(jīng)Q策讀取模塊,決策讀取模塊根據(jù)決策內(nèi)容生成噴霧指令,經(jīng)過AS13-TTL數(shù)據(jù)傳輸模塊,將噴霧指令傳輸?shù)絿婌F執(zhí)行機構(gòu)。
4) 圖像處理效果顯示:為能實時觀察算法處理后的圖像效果,在車載靶標(biāo)識別系統(tǒng)上添加監(jiān)控顯示屏,方便實時調(diào)節(jié)處理算法,結(jié)合車載裝置尺寸,選用對比度為350∶1,制式為PAL/NTSC的監(jiān)控顯示屏。
3"果園識別試驗
3.1"預(yù)試驗
影響在線識別效果的因素主要有光照度和車載裝置的速度,但通過人為判斷一定范圍內(nèi)光照強度變化對圖像的影響較小,因此進行預(yù)試驗驗證該判斷是否正確。預(yù)試驗在華南農(nóng)業(yè)大學(xué)工程學(xué)院北樓6樓果園進行,在過道的左右兩側(cè)各分布著5棵果樹,行距為2.5m,株距為1.8m,根據(jù)其排布規(guī)律,將右側(cè)果樹命名為A組,左側(cè)果樹命名為B組。
基于橫框識別算法,在車載裝置移動速度為0.4m/s的前提下,3種不同光照度情況(250Lux,650Lux,1750Lux)下對兩組柑橘樹(一共10棵果樹)分別進行10次識別測試,每棵果樹的識別準(zhǔn)確率如表2所示。
對表2的數(shù)據(jù)進行綜合分析可以發(fā)現(xiàn),在3種不同光照度(250Lux,650Lux和1750Lux)下,在線靶標(biāo)識別裝置在0.4m/s的移動速度下對柑橘樹的識別準(zhǔn)確率分別為83%、85%和82%。可見該范圍內(nèi)光照度的變化對在線靶標(biāo)識別的影響較小。
3.2"豎框識別算法
在預(yù)試驗過程中發(fā)現(xiàn)橫框識別算法有0.4~0.8s檢測延時。因為橫框識別算法提取的是正對靶標(biāo)植株時取景框內(nèi)不同冠層白色像素占有率的數(shù)值特征,所以只有當(dāng)攝像頭經(jīng)過靶標(biāo)植株中心時系統(tǒng)才采集到超過決策識別閾值的數(shù)值。針對采集與檢測不同步問題,將實時采集的圖像從縱向上分成3塊,如圖9所示。
每個分框的大小為240像素×576像素。這樣不需要等植株完全進入到取景框內(nèi)才開始識別,只要監(jiān)測并分析出3個分框內(nèi)白色像素占有率的數(shù)值變化規(guī)律,即可對靶標(biāo)植株進行識別,還可以進一步探測出靶標(biāo)植株與攝像頭的相對位置。實時采集的圖像在3個豎框內(nèi)白色像素占有率的數(shù)值大小計算如式(3)所示,i=5表示右側(cè)豎框;i=6表示中間豎框;i=7表示左側(cè)豎框。
ti=si576×240×100%nbsp;i=5,6,7
(3)
選擇正對果樹左側(cè)邊緣、果樹正中間、果樹右側(cè)邊緣以及兩棵果樹中間的位置點為觀察點, 19個果樹觀察點的選擇如圖10所示,果樹在攝像頭右側(cè)時的觀察點記為E1~E19,左側(cè)記為F1~F19。
19個位置點遵循著“黑色—中灰—淺灰—無”的變化規(guī)律,相應(yīng)攝像頭對準(zhǔn)的位置關(guān)系是“果樹左側(cè)邊緣—果樹正中間—果樹右側(cè)邊緣—兩棵果樹中間”從這些規(guī)律的色彩變化即可推斷出攝像頭與有效靶標(biāo)植株之間的相對位置。通過以上分析,結(jié)合車載裝置的運動方向,即可設(shè)計出豎框識別算法,判別決策如圖12所示。
如圖12所示,根據(jù)攝像頭與靶標(biāo)植株的相對關(guān)系,設(shè)立4種位置狀態(tài)。當(dāng)靶標(biāo)識別移動裝置對行進路徑右側(cè)的果樹進行識別時,在程序內(nèi)部,當(dāng)系統(tǒng)由狀態(tài)3向狀態(tài)4轉(zhuǎn)變時,判定出現(xiàn)有效靶標(biāo)植株,當(dāng)系統(tǒng)由狀態(tài)4向狀態(tài)2轉(zhuǎn)變時,判定靶標(biāo)植株正在離開攝像頭;靶標(biāo)識別移動裝置對行進路徑左側(cè)的果樹進行識別時,在程序內(nèi)部,當(dāng)系統(tǒng)由狀態(tài)2向狀態(tài)4轉(zhuǎn)變時,判定出現(xiàn)有效靶標(biāo)植株。當(dāng)系統(tǒng)由狀態(tài)4向狀態(tài)3轉(zhuǎn)變時,判定靶標(biāo)植株正在離開攝像頭。
3.3"基于兩種算法的靶標(biāo)識別試驗
基于預(yù)試驗可知,光照度變化對在線靶標(biāo)識別的影響較小,所以正式試驗只進行車載裝置在不同移動速度下的識別試驗。在650Lux的光照度下,在線靶標(biāo)識別移動裝置在3種速度v擋下(0.2m/s,0.4m/s,0.8m/s),對兩組果樹進行10次識別測試,橫框和豎框識別準(zhǔn)確率如表3及表4所示。
對表3、表4綜合分析可知,橫框識別算法分別在不同速度0.2m/s、0.4m/s和0.8m/s時,對柑橘樹的識別準(zhǔn)確率為88%、84%、34%。速度越大識別準(zhǔn)確率越低。因為圖像處理系統(tǒng)處理的并不是連貫的圖像流,而是在內(nèi)容上有一定殘缺的視頻流,如果車載裝置速度過快,圖像流的殘缺率就會上升,影響判斷結(jié)果。相同條件下,豎框識別算法的識別準(zhǔn)確率分別為88%、86%、84%,而且檢測延時較少(0.2~0.3s)。這種算法對信息量的要求不高,在視頻流殘缺率較高的情況下,依然能保持較高的識別準(zhǔn)確率。
4"結(jié)論
設(shè)計一種基于機器視覺的在線靶標(biāo)識別算法,實時采集的圖像進行背景分割后對提取的樹冠信息(白色像素占有率)分割出不同的矩形框,根據(jù)矩形框內(nèi)白色像素占有率的數(shù)值變化規(guī)律設(shè)計橫框識別算法和豎框識別算法。在識別裝置的硬件基礎(chǔ)上,測試兩種識別算法在不同外界環(huán)境下對果園柑橘樹的識別準(zhǔn)確率。
1) 光照度變化對識別效果影響較小。車載速度為0.4m/s時,在不同光照度250Lux、650Lux和1750Lux時,橫框識別算法的識別準(zhǔn)確率分別為83%、85%、82%。
2) 識別準(zhǔn)確率隨速度增大呈遞減規(guī)律,速度越高,遞減規(guī)律越明顯,識別準(zhǔn)確率越低。光照度為650Lux時,在車載速度0.2m/s、0.4m/s和0.8m/s時,橫框識別算法的識別準(zhǔn)確率分別為88% 、84%、34%。在從攝像頭對準(zhǔn)靶標(biāo)植株中心到系統(tǒng)判斷存在有效靶標(biāo)植株時有0.4~0.8s的檢測延時。相比橫框識別算法,豎框識別算法在0.8m/s的速度下依然能保持80%以上的識別準(zhǔn)確率,且識別延時較小(0.2~0.3s)。
3) 豎框識別算法的優(yōu)點是識別速度快,反饋的位置信息豐富,系統(tǒng)可以根據(jù)這些位置信息推斷出靶標(biāo)植株進入與離開攝像頭拍攝范圍的時間,有利于進一步控制單顆植株的噴霧時間。但相比于橫框識別算法,豎框識別算法無法同步分析果樹樹冠輪廓的大小。
參"考"文"獻(xiàn)
[1]
顧家冰, 丁為民, 邱威, 等. 果園變量施藥機械及施藥技術(shù)研究現(xiàn)狀與趨勢[J]. 果樹學(xué)報, 2014, 33(6):1154-1157.
Gu Jiabing, Ding Weimin, Qiu Wei, et al. Current research situation and development trend of equipment and technology for orchard spraying [J]. Journal of Fruit Science, 2014, 33(6):1154-1157.
[2]
鄒雪劍, 臧秀法, 王曉勇. 我國植保機械與施藥技術(shù)現(xiàn)狀及發(fā)展措施[J]. 農(nóng)業(yè)科技與裝備, 2014(12):49-50.
Zou Xuejian, Zang Xiufa, Wang Xiaoyong. Current situation and development measures of plant protection machinery and application technology in China [J]. Agricultural Science and Technology and Equipment, 2014(12):49-50.
[3]
賈衛(wèi)東, 張磊江, 燕明德, 等. 噴桿噴霧機研究現(xiàn)狀及發(fā)展趨勢[J]. 中國農(nóng)機化學(xué)報, 2013,34(4):19-22.
Jia Weidong, Zhang Leijiang, Yan Mingde, et al. Research status and development trend of spray bar sprayer [J]. Journal of Chinese Agricultural Mechanization, 2013, 34(4):19-22.
[4]
張海鋒, 許林云. 果園噴霧機發(fā)展現(xiàn)狀及展望[J]. 中國農(nóng)機化學(xué)報, 2014,35(3):112-118.
Zhang Haifeng, Xu Linyun. Development status and prospect of orchard sprayer [J].Journal of Chinese Agricultural Mechanization,2014, 35(3):112-118.
[5]
邱白晶, 閆潤, 馬靖, 等. 變量噴霧技術(shù)研究進展分析[J]. 農(nóng)業(yè)機械學(xué)報, 2015,46(3): 59-72.
Qiu Baijing, Yan Run, Ma Jing, et al. Analysis of the research progress of variable spraying technology [J]. "Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(3):59-72.
[6]
Brown D L, Giles D K, Oliver M N, et al.. Targeted spray technology to reduce pesticide in runoff from dormant orchards [J]. Crop Protection, 2008, 27(3): 545-552.
[7]
李寒. 基于機器視覺的目標(biāo)檢測在精細(xì)農(nóng)業(yè)中的關(guān)鍵技術(shù)研究[D]. 北京:中國農(nóng)業(yè)大學(xué), 2014.
Li Han. Research on key technologies of target detection based on machine vision in precision agriculture [D]. Beijing: China Agricultural University, 2014.
[8]
胡天翔. 智能對靶噴霧機軟件系統(tǒng)設(shè)計與集成研究[D].南京:南京林業(yè)大學(xué), 2009.
Hu Tianxiang. Research on design and integration of software system of intelligent target sprayer [D]. Nanjing: Nanjing Forestry University, 2009.
[9]
李睿遠(yuǎn). 車載超低容量噴霧機及其目標(biāo)靶圖像識別的研究[D]. 武漢:武漢理工大學(xué), 2007.
Li Ruiyuan. Research on vehicle-mounted ultra-low-capacity sprayer and its target image recognition [D]. Wuhan: Wuhan University of Technology, 2007.
[10]
張俊雄, 曹崢勇, 耿長興, 等. 溫室精準(zhǔn)對靶噴霧機器人研制[J]. 農(nóng)業(yè)工程學(xué)報, 2009(S2):70-73.
Zhang Junxiong, Cao Zhengyong, Geng Changxing, et al. Development of greenhouse precise target spraying robot [J].Transactions of the Chinese Society of Agricultural Engineering, 2009(S2):70-73.
[11]
周鳴川. 脈寬調(diào)制(PWM)變量噴霧及視覺輔助對靶植保技術(shù)研究[D]. 杭州:浙江大學(xué), 2015.
Zhou Mingchuan. Study on pulse width modulation (PWM) variable spray and vision-assisted plant protection technology for target [D]. Hangzhou: Zhejiang University, 2015.
[12]
丁為民,趙思琪,趙三琴,等.基于機器視覺的果樹樹冠體積測量方法研究[J].農(nóng)業(yè)機械學(xué)報, 2016, 47(6): 1-10, 20.
Ding Weimin, Zhao Siqi, Zhao Sanqin, et al. Research on measurement method of fruit tree crown volume based on machine vision [J]. Transactions of the Chinese Society for Agricultural Machinery, 2016,47(6):1-10, 20.
[13]
Giles D, Downey D, Slaughter D. Liquid property and nozzle effects on flight time of pulsed jet spray [J]. Atomization amp; Sprays, 2004, 14(2): 111-126.
[14]
Mario F, Renina G. Agricultural robot radicchio harvesting [J]. Journal of Field Robotics, 2006, 23(6-7): 363-377.
[15]
Kang F, Wang H, Pierce F J, et al. Sucker detection of grapevines for targeted spray using optical sensors [J]. Transactions of the ASABE, 2012,55(5):2007-2014.
[16]
Calderón R, Montes-Borrego M, Landa B B, et al. Detection of downy mildew of opium poppy using high-resolution multi-spectral and thermal imagery acquired with an unmanned aerial vehicle [J]. Precision Agriculture, 2014, 15(6): 639-661.
[17]
Shalal N, Low T, McCarthy C, et al. Orchard mapping and mobile robot localisation using on-board camera and laser scanner data fusion-Part A: Tree detection [J]. Computers and Electronics in Agriculture, 2015,119: 254-266.
[18]
Shalal N, Low T, McCarthy C, et al. Orchard mapping and mobile robot localisation using on-board camera and laser scanner data fusion-Part B: Mapping and localisation [J]. Computers and Electronics in Agriculture, 2015, 119: 267-278.
[19]
Asaei H, Jafari A, Loghavi M. Site-specific orchard sprayer equipped with machine vision for chemical usage management [J]. Computers and Electronics in Agriculture, 2019, 162: 431-439.