















摘要:行間機(jī)械自主導(dǎo)航有助于提高果品生產(chǎn)效率,降低人工成本。樹木是行間導(dǎo)航的天然地標(biāo),可以為機(jī)器人提供導(dǎo)航信息。結(jié)合深度學(xué)習(xí)和最小二乘法,提出一種基于機(jī)器視覺的行間導(dǎo)航場(chǎng)景的導(dǎo)航線提取方法。首先,收集實(shí)際環(huán)境下的樹干圖像,并對(duì)圖像進(jìn)行翻轉(zhuǎn)、裁剪等操作擴(kuò)充樹干數(shù)據(jù)集;其次,構(gòu)建YOLOv5網(wǎng)絡(luò)模型,并基于該模型來對(duì)行間樹干進(jìn)行識(shí)別,提出利用識(shí)別框下邊中點(diǎn)替換根部中點(diǎn)的方法,以此來確定樹行擬合的定位基點(diǎn);最后,基于最小二乘法完成果園單側(cè)樹行線和樹行中心線的擬合。試驗(yàn)結(jié)果表明,所構(gòu)建的YOLOv5網(wǎng)絡(luò)檢測(cè)模型對(duì)樹干的平均識(shí)別正確率為85.5%。所提出的根點(diǎn)替換定位法的直線像素距離平均誤差為5.1像素,樹行中心導(dǎo)航線的平均橫向偏差為5.8像素,符合行間導(dǎo)航的要求。
關(guān)鍵詞:果園導(dǎo)航;深度學(xué)習(xí);YOLOv5;樹干識(shí)別;根點(diǎn)替換;直線擬合
中圖分類號(hào):TP18; S23" " " 文獻(xiàn)標(biāo)識(shí)碼:A" " " 文章編號(hào):2095?5553 (2024) 08?0217?06
Research on tree trunk detection and navigation line fitting algorithm in orchard
Xu Zhenhui, Li Xiaojuan
(College of Mechanical Engineering, Xinjiang University, Urumqi, 830000, China)
Abstract: Inter?line mechanical autonomous navigation is helpful to improve fruit production efficiency and reduce labor cost. Trees are natural landmarks for navigating between lines and can provide cues for robots. In this paper, combining deep learning and least square method, a navigation line extraction method based on machine vision for inter?line navigation scene is proposed. Firstly, the tree trunk image was collected in the actual environment, and the image was flipped and clipped to expand the tree trunk data set. Secondly, the YOLOv5 network model was constructed, and based on this model, the interline trunk identification was carried out. The method of replacing the middle point of the root with the middle point under the identification box was proposed, so as to determine the positioning basis point of the tree line fitting. Finally, the least square method was used to fit the single tree line and center line of tree line in orchard. The experimental results show that the average recognition accuracy of the YOLOv5 network detection model is 85.5%. In the proposed root point replacement positioning method, the average error of the distance between the midpoint of the bottom of the identification box, the linear pixel distance between the positioning base point and the actual root midpoint, is 5.1 pixels, and the selection error of the positioning base point is within the reliable range. The average lateral deviation of the navigation line in the center of the tree line is 5.8 pixels, which meets the requirements of inter?line navigation.
Keywords: orchard navigation; deep learning; YOLOv5; tree trunk recognition; root point replacement; linear fitting
0 引言
目前我國(guó)的果園作業(yè)多是以人工操作進(jìn)行,生產(chǎn)效率低且容易對(duì)操作人員的身體造成損害,不利于實(shí)現(xiàn)現(xiàn)代果園管理。而果園機(jī)器人自主導(dǎo)航技術(shù)是精準(zhǔn)實(shí)施現(xiàn)代果園管理的關(guān)鍵,該技術(shù)可使機(jī)器人做到自主行走,完成如施肥、噴藥、割草、采摘、運(yùn)輸?shù)纫幌盗腥蝿?wù),從而降低操作工人的勞動(dòng)強(qiáng)度,使林果生產(chǎn)的效益得到提升。目前以衛(wèi)星定位導(dǎo)航、激光雷達(dá)導(dǎo)航和視覺導(dǎo)航為主的農(nóng)業(yè)機(jī)器人導(dǎo)航技術(shù)發(fā)展迅速。其中視覺導(dǎo)航因具有可獲取特征信息豐富,相機(jī)成本較低等優(yōu)點(diǎn),被廣泛用于果園環(huán)境導(dǎo)航。機(jī)器人通過相機(jī)感知到周圍環(huán)境特征后,采用圖像處理等技術(shù),對(duì)本身位置進(jìn)行定位同時(shí)對(duì)相關(guān)環(huán)境特征進(jìn)行處理,進(jìn)而規(guī)劃出機(jī)器人的導(dǎo)航行進(jìn)路線,以此來引導(dǎo)機(jī)器人自主行走。導(dǎo)航線生成的準(zhǔn)確性對(duì)機(jī)器人果園作業(yè)有著重要的影響。
目前,國(guó)內(nèi)外對(duì)機(jī)器人果園導(dǎo)航展開了初步研究。Radcliffe等[1]以樹行樹冠與天空中的背景為研究對(duì)象,根據(jù)樹冠與天空的分水線來確定樹行位置,從而擬合出導(dǎo)航線。Montalvo等[2]利用二次Otsu算法來取得地面雜草和果樹樹葉顏色差信息,然后通過最小二乘法擬合出導(dǎo)航線。李云伍[3]、李文洋[4]等以成行的土埂為目標(biāo),采用HSV色彩空間的V分量閾限來對(duì)道路進(jìn)行切割處理,而后通過直線擬合算法獲得導(dǎo)航線。彭順正等[5]將果樹與背景分割后,選取果樹與地面交界處為參考點(diǎn)進(jìn)行直線擬合,并選取線上幾個(gè)中心點(diǎn)以此生成導(dǎo)航線。
傳統(tǒng)的圖像處理方式容易受到果樹自身及周圍環(huán)境的影響,不利于導(dǎo)航線的生成。隨著卷積神經(jīng)網(wǎng)絡(luò)近幾年的快速發(fā)展,基于深度學(xué)習(xí)的視覺導(dǎo)航在農(nóng)業(yè)方向上的應(yīng)用有了較大的提升。深度學(xué)習(xí)的方法具有檢測(cè)精度高、適應(yīng)性強(qiáng)等特點(diǎn)。而YOLO系列算法作為其中一種深度學(xué)習(xí)的方法被廣泛應(yīng)用,該算法通過單個(gè)卷積神經(jīng)網(wǎng)絡(luò)遍歷圖像,回歸出目標(biāo)的類別和位置以實(shí)現(xiàn)對(duì)目標(biāo)的識(shí)別檢測(cè)。
基于現(xiàn)有的研究成果,本文提出一種利用識(shí)別框的下邊中點(diǎn)替換樹干根點(diǎn)的方法,以果園樹干為導(dǎo)航目標(biāo)特征,對(duì)圖像進(jìn)行預(yù)處理以及對(duì)樹干進(jìn)行標(biāo)注,構(gòu)建果園樹干數(shù)據(jù)集,利用YOLOv5訓(xùn)練生成樹干識(shí)別檢測(cè)模型,以實(shí)現(xiàn)果園樹干的識(shí)別檢測(cè)。采用根點(diǎn)替換方法得到樹干的定位基點(diǎn)后,利用最小二乘法擬合單側(cè)定位基點(diǎn)生成樹行線,根據(jù)所得的樹行線選取道路中點(diǎn)坐標(biāo),再次利用最小二乘法擬合樹行中心導(dǎo)航線,在果園背景下為果園移動(dòng)機(jī)器人提供導(dǎo)航路徑。
1 圖像收集與數(shù)據(jù)預(yù)處理
1.1 圖像采集與預(yù)處理
本文采用深度學(xué)習(xí)的方法,使用卷積神經(jīng)網(wǎng)絡(luò)提取樹行間導(dǎo)航的目標(biāo)特征來實(shí)現(xiàn)對(duì)預(yù)期目標(biāo)的檢測(cè),但是該方法需要采集大量樹干圖像用于訓(xùn)練,以此來確保模型有較高的精準(zhǔn)度和魯棒性。研究對(duì)象來自新疆維吾爾自治區(qū)葉城縣核桃產(chǎn)業(yè)園,樹干樣本圖像在樹行環(huán)境下采集(圖1),采用相機(jī)對(duì)樹行間以不同角度進(jìn)行拍攝,共采集圖像1 200張,圖像格式為.jpg。
圖像中行間樹干為檢測(cè)目標(biāo),對(duì)圖像進(jìn)行預(yù)處理。然后對(duì)處理過的圖像通過進(jìn)行反轉(zhuǎn)、調(diào)整色彩、平移、添加阻擋等方式將相應(yīng)的數(shù)據(jù)集擴(kuò)充至4 250張。得到的數(shù)據(jù)集圖像按照8∶2的比例劃分為訓(xùn)練集和驗(yàn)證集,即3 400幅圖像用于訓(xùn)練,850幅圖像用于驗(yàn)證。
1.2 數(shù)據(jù)標(biāo)注
經(jīng)過對(duì)圖像采集的和預(yù)處理后,使用LabelImg對(duì)圖像目標(biāo)進(jìn)行標(biāo)注。在標(biāo)注過程中,用方形邊框?qū)涓蛇M(jìn)行框選,并且盡可能使根部中點(diǎn)與邊框底部中點(diǎn)重疊。圖像標(biāo)注完成后,會(huì)生成一個(gè).xml格式的文件,其中包含目標(biāo)類別以及目標(biāo)位置信息。
2 基于深度學(xué)習(xí)的樹干識(shí)別提取方法建立
2.1 模型構(gòu)建
本文使用YOLOv5s模型進(jìn)行訓(xùn)練模型的構(gòu)建。其網(wǎng)絡(luò)結(jié)構(gòu)由input(輸入端)、Backbone(主干網(wǎng)絡(luò))、Neck(頸部)、Prediction(預(yù)測(cè))四部分組成,如圖2所示。
YOLOv5是YOLO的第5個(gè)版本,具有檢測(cè)精度高、速度快等優(yōu)點(diǎn),滿足實(shí)時(shí)檢測(cè)的需求[6]。其核心是將整個(gè)圖像作為網(wǎng)絡(luò)的輸入,最后在輸出層回歸目標(biāo)的類別和位置信息[7]。YOLOv5包括YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x四個(gè)版本,其網(wǎng)絡(luò)結(jié)構(gòu)相似,其中YOLOv5s是其中體積最小、速度最快的網(wǎng)絡(luò)模型,在模型的快速部署上具有較大優(yōu)勢(shì),滿足實(shí)時(shí)檢測(cè)的需要。
2.1.1 Input模塊
YOLOv5s網(wǎng)絡(luò)模型在輸入時(shí),Input模塊主要通過Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算和自適應(yīng)圖像縮放等操作。Mosaic數(shù)據(jù)增強(qiáng)利用4張圖片,并且按照隨機(jī)縮放、隨機(jī)裁剪和隨機(jī)排布的方式對(duì)其進(jìn)行拼接,每一張圖片都有其對(duì)應(yīng)的框,將4張圖片拼接之后獲得一張新的圖片,同時(shí)獲得這張圖片對(duì)應(yīng)的框,將新的圖片傳入到神經(jīng)網(wǎng)絡(luò)當(dāng)中去學(xué)習(xí)。該方法極大地豐富了檢測(cè)物體的背景,提升模型的訓(xùn)練速度和網(wǎng)絡(luò)的精度。自適應(yīng)錨框計(jì)算和自適應(yīng)圖像縮放操作是在初始錨框的基礎(chǔ)上輸出預(yù)測(cè)框,進(jìn)而和真實(shí)框groundtruth進(jìn)行比對(duì),計(jì)算兩者差距,再反向更新,迭代網(wǎng)絡(luò)參數(shù)。同時(shí)將原始圖片調(diào)整為640×640×3作為圖像輸入,送入檢測(cè)網(wǎng)絡(luò)中。以此來對(duì)網(wǎng)絡(luò)模型的訓(xùn)練進(jìn)行簡(jiǎn)化。
2.1.2 Backbone結(jié)構(gòu)
Backbone結(jié)構(gòu)是一個(gè)卷積神經(jīng)網(wǎng)絡(luò),結(jié)合不同的細(xì)粒度圖像形成圖像特征。主要包括Focus和CSP結(jié)構(gòu)。Focus結(jié)構(gòu)是通過對(duì)圖片進(jìn)行切割,來加快網(wǎng)絡(luò)訓(xùn)練速度。Focus結(jié)構(gòu)將輸入的640×640×3的圖像通過切片操作變成320×320×12的特征圖,再經(jīng)過一次32個(gè)卷積核的卷積操作,最終變?yōu)?20×320×32的特征圖。CSP結(jié)構(gòu)通過局部跨層融合使計(jì)算量減小的同時(shí)獲取更加豐富的特征圖[8, 9]。該結(jié)構(gòu)將原始輸入一分二后,依次對(duì)每一個(gè)分支進(jìn)行卷積計(jì)算操作來讓通道數(shù)減少二分之一,其中一個(gè)完成Bottleneck操作。最后再聯(lián)接兩個(gè)分支,以使模型學(xué)習(xí)到更為豐富的特征。
2.1.3 Neck結(jié)構(gòu)
Neck結(jié)構(gòu)用來增加信息的流動(dòng)性,具體結(jié)構(gòu)如圖3所示。
該部分采用FPN+PAN的方式。FPN部分通過自頂而下的方式將高層的特征信息通過上采樣的方式進(jìn)行特征的傳達(dá)融合。而PAN部分是通過自底而上的方式將底層的特征信息通過下采樣的方式進(jìn)行特征的傳達(dá)融合。
2.1.4 Prediction結(jié)構(gòu)
Prediction結(jié)構(gòu)的檢測(cè)網(wǎng)絡(luò)包括3個(gè)檢測(cè)層,每個(gè)檢測(cè)層輸入不同尺寸的特征圖,用于檢測(cè)各種尺寸的圖像目標(biāo)[10]。每個(gè)檢測(cè)層輸出一個(gè)包括類別、置信度、邊框位置信息等在內(nèi)的通道向量,從而對(duì)圖像中的目標(biāo)實(shí)現(xiàn)檢測(cè)。
2.2 模型訓(xùn)練
2.2.1 訓(xùn)練環(huán)境與參數(shù)設(shè)計(jì)設(shè)置
試驗(yàn)在一臺(tái)由Inteli5-12400F(64位)和GTX3060GPU組成的計(jì)算機(jī)上進(jìn)行。使用PyTorch1.1作為深度學(xué)習(xí)框架。在本文模型中,設(shè)置迭代周期為300,初始學(xué)習(xí)率設(shè)置為0.001,批量大小設(shè)置為8。
2.2.2 評(píng)價(jià)指標(biāo)
通過對(duì)精準(zhǔn)度P、召回率R、平均精度均值mAP等指標(biāo)進(jìn)行評(píng)估,來對(duì)YOLOv5s模型的效果進(jìn)行檢測(cè),其中平均精度均值是其中較為重要的指標(biāo)。計(jì)算如式(1)~式(3)所示。
[P=TPTP+FP×100%] (1)
[R=TPTP+FN×100%] (2)
[mAP=K=1NPRN] (3)
式中: TP——正確檢測(cè)出的樹干數(shù)量;
FP——誤識(shí)別的樹干數(shù)量;
FN——未正確識(shí)別出的樹干數(shù)量;
N——樣本中種類數(shù)量。
2.2.3 訓(xùn)練與檢測(cè)效果分析
訓(xùn)練過程中,平均精度均值隨迭代次數(shù)變化情況如圖4所示。模型在前50個(gè)迭代次數(shù)中,mAP值快速上升,升至0.8左右,在第50~200次之間,mAP值上升緩慢,逐漸接近0.87,在第200個(gè)迭代次數(shù)之后,mAP值趨于穩(wěn)定,保持在0.87左右,模型達(dá)到穩(wěn)定的收斂。訓(xùn)練完成后,模型檢測(cè)效果如圖5所示。
3 基于最小二乘法的行間導(dǎo)航算法建立
3.1 根點(diǎn)替換定位方法
機(jī)器人在非結(jié)構(gòu)果園環(huán)境下行駛,選取合適的特征是導(dǎo)航的重點(diǎn)。果園中的環(huán)境較為復(fù)雜,樹根部會(huì)出現(xiàn)分叉或長(zhǎng)滿雜草而將果樹根部特征目標(biāo)遮擋的情況,不利于樹干根部的識(shí)別。而果樹在果園中具有干冠分離、樹干上刷有白色的石灰石等特點(diǎn),并且樹干長(zhǎng)度一般較高,不會(huì)被雜草遮擋,同時(shí)樹干的底部中點(diǎn)與根部中心部分相差較小。
因此本文選擇具有明顯特征的樹干來作為導(dǎo)航特征點(diǎn),通過構(gòu)建好的樹干檢測(cè)模型對(duì)樹干進(jìn)行識(shí)別后,在樹干處生成識(shí)別框來定位樹干位置,該識(shí)別框的下邊中點(diǎn)與果樹的根點(diǎn)具有相應(yīng)性,因此采用樹干識(shí)別框的下邊中點(diǎn)替換實(shí)際的果樹根點(diǎn),來為后續(xù)導(dǎo)航提供位置信息,該方法即根點(diǎn)替換定位方法。對(duì)樹干識(shí)別框進(jìn)行數(shù)據(jù)處理,樹干的識(shí)別框中包含該位置邊框的對(duì)邊角點(diǎn)的坐標(biāo)數(shù)值,通過對(duì)該對(duì)邊角點(diǎn)坐標(biāo)的計(jì)算,可獲得所識(shí)別樹干的邊框下邊中點(diǎn)坐標(biāo),該中點(diǎn)坐標(biāo)即為擬合直線所需的定位坐標(biāo)信息。設(shè)識(shí)別框左上角的坐標(biāo)為[Pl(xl,yl)],右下方的坐標(biāo)為[Pr(xr,yr)],則識(shí)別框下邊中點(diǎn)的坐標(biāo)[Pz]為
[x=xl+xr2y=yr] (4)
提取的下邊中點(diǎn)示意如圖6所示。
定位基點(diǎn)與實(shí)際根點(diǎn)定位結(jié)果如圖7所示,綠色標(biāo)記點(diǎn)為樹干的底部中點(diǎn)即定位基點(diǎn),紅色標(biāo)記點(diǎn)為實(shí)際果樹根部中點(diǎn)。綠色的定位基點(diǎn)是通過識(shí)別框的兩對(duì)角坐標(biāo)計(jì)算出的下邊中點(diǎn)坐標(biāo),是樹干根點(diǎn)為替換點(diǎn)。紅色的標(biāo)記點(diǎn)是通過人工確定樹根中點(diǎn)來標(biāo)注的。
3.2 基于最小二乘法的樹行線和導(dǎo)航線生成
導(dǎo)航線的擬合生成是機(jī)器人在果園中導(dǎo)航的關(guān)鍵,其擬合精度直接影響到機(jī)器人的導(dǎo)航精準(zhǔn)度。常用的直線擬合方法有Hough變換法、最小二乘法。Hough變換直線擬合的原理是通過點(diǎn)和線的對(duì)偶性,將原始圖像空間中的線性關(guān)系轉(zhuǎn)化為參數(shù)空間的點(diǎn),在參數(shù)空間中找尋點(diǎn)峰值。
Hough變換的計(jì)算量大、耗時(shí)長(zhǎng),并且較易檢測(cè)出多條直線。最小二乘法檢測(cè)時(shí)間快、響應(yīng)速度較快,但容易受到多余噪點(diǎn)的干擾。由于本文所使用的數(shù)據(jù)較少并且沒有多余噪點(diǎn),綜合檢測(cè)速度,采用最小二乘法作為本文擬合算法。
3.2.1 最小二乘法模型
最小二乘法是一種線性回歸方法,應(yīng)用于直線擬合,具有響應(yīng)速度快等優(yōu)點(diǎn)。最小二乘法的基本原理是通過計(jì)算集合中的數(shù)據(jù)與擬合直線之間的縱向最小偏差平方和來尋求估計(jì)模型的最優(yōu)參數(shù),即在眾多點(diǎn)構(gòu)成的數(shù)據(jù)集中找出一條直線,使數(shù)據(jù)集中所有點(diǎn)到該直線的距離總和最小。
理論步驟如下:設(shè)需要擬合直線的數(shù)據(jù)集合為[A=[(X1,Y1),(X2,Y2),???,(Xn,Yn)]],設(shè)擬合直線方程為[y=ax+b],根據(jù)式[δ=(yn-y)2]來計(jì)算誤差平方和,并將擬合的直線方程[y=ax+b]代入可得
[δ=i=1n(yn-axn-b)2] (5)
對(duì)式(5)中的參數(shù)a、b分別求偏導(dǎo),可得
[??ai=1n(yn-axn-b)2=0??bi=1n(yn-axn-b)2=0] (6)
根據(jù)式(5)、式(6)可得
[nb+(i=1nxn)a=i=1nyn(i=1nxn)b+(i=1nxn2)a=i=1nxnyn] (7)
對(duì)式(7)求解可得,參數(shù)a,b的最佳估計(jì)值。
[a=n(i=1nxnyn)-i=1nxni=1nynni=0nxn2-(i=1nxn)2b=(i=1nxn2yn)-i=1nxn(i=1nxnyn)ni=1nxn2-(i=1nxn)2] (8)
可得擬合直線為[y=ax+b]。
3.2.2 基于最小二乘法的樹行線和導(dǎo)航線生成
基于已得到的樹干識(shí)別框下邊中點(diǎn)的坐標(biāo)集合,建立樹行線和導(dǎo)航線生成算法。在檢測(cè)模型識(shí)別出果園兩側(cè)樹行后,計(jì)算識(shí)別框的下邊中點(diǎn)并構(gòu)成定位基點(diǎn)的坐標(biāo)集合。樹行線和導(dǎo)航線生成流程如圖8所示。
通過檢測(cè)模型識(shí)別出兩側(cè)樹行的樹木后,對(duì)識(shí)別框的對(duì)邊坐標(biāo)進(jìn)行處理,得到樹干識(shí)別框下邊中點(diǎn)的坐標(biāo),將左側(cè)樹行的坐標(biāo)記為[(xl,yl)],右側(cè)樹行的坐標(biāo)記為[(xr,yr)],擬合直線方程為y[=ax+b]。將左側(cè)樹行坐標(biāo)及擬合直線方程聯(lián)合式(5)~式(8),計(jì)算a、b值,得到左側(cè)直線表達(dá)式[Ll=alx+bl]。同理右側(cè)直線表達(dá)式[Lr=arx+br]。得到兩側(cè)樹行線的表達(dá)式后,在左側(cè)樹行線上等距選取8個(gè)點(diǎn)作為后續(xù)中心擬合參考點(diǎn)。設(shè)選取的左側(cè)樹行參考點(diǎn)對(duì)應(yīng)坐標(biāo)為[Pli(xi,yi)],其中i=1,2,…,8,將這8個(gè)點(diǎn)的縱坐標(biāo)分別代入右側(cè)樹行線表達(dá)式,得到對(duì)應(yīng)的坐標(biāo)[Prj(xj,yj)],其中j=1,2,…,8。根據(jù)左右兩側(cè)的16個(gè)參考點(diǎn)求出8個(gè)位于樹行中央的導(dǎo)航線的參考點(diǎn)[Pmk(xk,yk)],其中[xk=xi+xj2],[yk=yi+yj2],k=1,2,…,8,根據(jù)8個(gè)樹行中央的導(dǎo)航線的參考點(diǎn)及擬合直線方程聯(lián)合式(5)~式(8),通過最小化誤差平方和來求取與導(dǎo)航線參考點(diǎn)的最佳直線匹配函數(shù)得到果園樹行中央的導(dǎo)航線表達(dá)式[Lm=amx+bm]。擬合情況如圖9所示紅色線為單側(cè)樹行擬合直線,藍(lán)色線為道路導(dǎo)航線。
4 結(jié)果與分析
4.1 樹干識(shí)別正確率
與傳統(tǒng)圖像識(shí)別相比,該訓(xùn)練好的YOLOv5網(wǎng)絡(luò)目標(biāo)識(shí)別率較高,并且抗干擾能力較強(qiáng)。在一張果園圖像中,樹干的像素尺寸大小會(huì)對(duì)識(shí)別檢測(cè)造成不同的影響。當(dāng)樹干距離拍攝處較近時(shí),樹干較為清晰,特征明顯,識(shí)別的難度較小。而在距離拍攝處較遠(yuǎn)的地方,樹干特征較為模糊以及會(huì)被前面的樹干遮擋,使檢測(cè)的難度變大。本文對(duì)比設(shè)置3個(gè)梯度,樹干的像素高度分別選取200像素以上、100~200像素、100像素以下進(jìn)行統(tǒng)計(jì)。結(jié)果如表1所示,樹干的像素高度在100像素以下時(shí),識(shí)別正確率為78.5%,樹干像素高度在100~200像素時(shí),識(shí)別正確率為89.3%,樹干像素高度在200像素以上的識(shí)別正確率為94.0%。該模型在樹干的像素高度大于200像素時(shí),效果最好,而樹干像素高度在100像素以下時(shí),因?yàn)闃涓上袼剌^小、特征較為模糊以及存在遮擋等情況,影響了識(shí)別正確率。綜合所選的100張圖片,3種梯度下的平均識(shí)別正確率為85.5%,單側(cè)識(shí)別的個(gè)數(shù)均不少于3個(gè),符合直線擬合需求。
4.2 根點(diǎn)替換定位方法誤差分析
本試驗(yàn)選取40張果園行間場(chǎng)景的圖片,來對(duì)算法生成的樹干識(shí)別框下邊中點(diǎn)位置與實(shí)際果樹根部中點(diǎn)進(jìn)行誤差分析,將兩點(diǎn)間的直線像素距離計(jì)為該方法所產(chǎn)生的誤差,通過對(duì)誤差進(jìn)行統(tǒng)計(jì),來驗(yàn)證該方法的可行性。統(tǒng)計(jì)結(jié)果如圖10所示,在所選取的40張圖片中,直線像素誤差最大值為20像素,平均誤差為5.1像素。根據(jù)相機(jī)標(biāo)定參數(shù)和針孔成像模型,將該像素誤差轉(zhuǎn)化為實(shí)際距離誤差,計(jì)算得到實(shí)際平均距離誤差為0.067 m。該誤差結(jié)果表明,該方法可為果園樹行線的獲取提供等效替換點(diǎn)。
4.3 擬合導(dǎo)航線偏差分析
為分析算法所得中心線是否在可取范圍內(nèi),對(duì)果園場(chǎng)景下算法擬合的導(dǎo)航線和實(shí)際中心線進(jìn)行比較來分析試驗(yàn)偏差。實(shí)際道路中心線的中點(diǎn)到導(dǎo)航線的水平距離計(jì)為橫向偏差。選取40張圖片進(jìn)行導(dǎo)航線的偏差統(tǒng)計(jì)。統(tǒng)計(jì)的橫向偏差結(jié)果如圖11所示。最大橫向偏差為10像素,平均橫向偏差為5.8像素,實(shí)際平均橫向偏差為0.076 m,該結(jié)果表明,所用方法在導(dǎo)航上有較高的可用性。
5 結(jié)論
1) 針對(duì)機(jī)器人果園導(dǎo)航的需求,本文研究基于深度學(xué)習(xí)和最小二乘法相結(jié)合的方式來獲取果園樹行中心導(dǎo)航線的方法。通過對(duì)圖片的采集與擴(kuò)充,建立果園環(huán)境下樹干的數(shù)據(jù)集,完成對(duì)YOLOv5模型的訓(xùn)練。通過對(duì)100張圖片進(jìn)行樹干識(shí)別正確率驗(yàn)證,平均正確率為85.5%。
2) 采用識(shí)別框下邊中點(diǎn)替換實(shí)際根部中點(diǎn)的方法,獲取單側(cè)樹行的樹干底部中點(diǎn)坐標(biāo),并以此為定位基點(diǎn)擬合直線,獲取單側(cè)的樹行直線。所用替換方法,誤差均在20像素以內(nèi),并且平均誤差為5.1像素,實(shí)際平均距離誤差為0.067 m,可為果園樹行線的獲取提供等效替換點(diǎn)。
3) 在獲取兩側(cè)樹行線后,再利用最小二乘法完成行間導(dǎo)航線的擬合。所擬合導(dǎo)航線平均橫向偏差為5.8像素,實(shí)際平均橫向偏差為0.076 m,具有較高的精度,可為機(jī)器人的行間導(dǎo)航提供研究基礎(chǔ)。
參 考 文 獻(xiàn)
[ 1 ] Radcliffe J, Cox J, Bulanon D M. Machine vision for orchard navigation [J]. Computers in Industry, 2018, 98: 165-171.
[ 2 ] Montalvo M, Pajares G, Guerrero J M, et al. Automatic detection of crop rows in maize fields with high weeds pressure [J]. Expert Systems with Applications, 2012, 39(15): 11889-11897.
[ 3 ] 李云伍, 徐俊杰, 王銘楓, 等. 丘陵山區(qū)田間道路自主行駛轉(zhuǎn)運(yùn)車及其視覺導(dǎo)航系統(tǒng)研制[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2019, 35(1): 52-61.
Li Yunwu, Xu Junjie, Wang Mingfeng, et al. Development of autonomous driving transfer trolley on field roads and its visual navigation system for hilly areas [J]. Transactions of the Chinese Society of Agricultural Engineering, 2019, 35(1): 52-61.
[ 4 ] 李文洋. 獼猴桃采摘機(jī)器人視覺導(dǎo)航路徑生成方法研究[D]. 咸陽: 西北農(nóng)林科技大學(xué), 2017.
Li Wenyang. Research on the method of generating visual navigation path of kiwi picking robot [D]. Xianyang: Northwest A amp; F Universit, 2017.
[ 5 ] 彭順正, 坎雜, 李景彬. 矮化密植棗園收獲作業(yè)視覺導(dǎo)航路徑提取[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2017, 33(9): 45-52.
Peng Shunzheng, Kan Za, Li Jingbin. Extraction of visual navigation directrix for harvesting operation in short?stalked and close?planting jujube orchard [J]. Transactions of the Chinese Society of Agricultural Engineering, 2017, 33(9): 45-52.
[ 6 ] 張鵬鵬. 基于機(jī)器學(xué)習(xí)的小麥穗檢測(cè)及其產(chǎn)量衛(wèi)星遙感預(yù)測(cè)研究[D]. 揚(yáng)州: 揚(yáng)州大學(xué), 2021.
Zhang Pengpeng. Research on wheat spike detection and yield prediction by satellite remote sensing based on machine learning [D]. Yangzhou: Yangzhou University, 2021.
[ 7 ] Lin T Y, Dollár P, Girshick R, et al. Feature pyramid networks for object detection [C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 2117-2125.
[ 8 ] Wang C Y, Liao H Y M, Wu Y H, et al. CSPNet: A new backbone that can enhance learning capability of CNN [C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, 2020: 390-391.
[ 9 ] Liu S, Qi L, Qin H, et al. Path aggregation network for instance segmentation [C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 8759-8768.
[10] Rezatofighi H, Tsoi N, Gwak J Y, et al. Generalized intersection over union: A metric and a loss for bounding box regression [C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019: 658-666.
中國(guó)農(nóng)機(jī)化學(xué)報(bào)2024年8期