果園機器人視覺導(dǎo)航行間位姿估計與果樹目標定位方法

畢 松 王宇豪

(北方工業(yè)大學(xué)電氣與控制工程學(xué)院， 北京 100041)

0 引言

自1990年至2019年，我國水果產(chǎn)量均位于世界首位[1]，果品及其相關(guān)產(chǎn)業(yè)已成為農(nóng)民收入的主要來源，逐漸成為農(nóng)村經(jīng)濟的重要支柱。目前，高度依賴人工的生產(chǎn)模式和快速增長的人工成本已成為制約水果生產(chǎn)的主要因素[2]，為進一步提高生產(chǎn)效率和水果品質(zhì)，農(nóng)業(yè)機械裝備的智能化是未來發(fā)展的必然趨勢。

自主導(dǎo)航是智能農(nóng)業(yè)裝備的關(guān)鍵技術(shù)之一，可有效降低勞動強度，提高作業(yè)效率，廣泛應(yīng)用于采摘、噴藥、施肥等任務(wù)。視覺導(dǎo)航具有語義信息豐富、探測范圍廣、成本可控等優(yōu)點，逐漸成為主流的導(dǎo)航方式，實現(xiàn)果園自主導(dǎo)航的關(guān)鍵在于位姿估計和果樹定位，進而引導(dǎo)農(nóng)業(yè)裝備自主行進和自主作業(yè)。

針對自主行進問題，研究思路集中在兩方面：基于道路或天空生成導(dǎo)航線和基于作物檢測擬合導(dǎo)航路徑?；诘缆坊蛱炜盏膶?dǎo)航方法對植株種類、形狀、高度具有較高魯棒性，是國內(nèi)外學(xué)者研究的熱點。基于作物檢測的導(dǎo)航方法需要準確識別作物主干，對復(fù)雜道路環(huán)境具有較高的適應(yīng)性。文獻[3-10]利用邊界點擬合導(dǎo)航線，根據(jù)導(dǎo)航線定性提取航向信息，在特定環(huán)境中實現(xiàn)自主導(dǎo)航，但難以準確地定量分析位姿，導(dǎo)航準確性、位姿可控性可進一步提升。

為實現(xiàn)導(dǎo)航信息的定量分析，對基于視覺的位姿估計問題展開研究。文獻[11-13]基于單目相機模型實現(xiàn)距離測量，但果園自主導(dǎo)航不僅需要測量道路寬度，也需要估計橫向偏移和偏航角，這些方法應(yīng)用于果園自主導(dǎo)航仍具有一定的局限性。

針對基于單目視覺的果樹定位和自主作業(yè)方法，國內(nèi)外學(xué)者展開深度研究。文獻[14-17] 對果樹識別方法展開探索，取得了較理想的結(jié)果。然而，上述研究停留在果樹檢測層面，并未深入研究果樹定位方法。智能農(nóng)業(yè)裝備不僅需要自主行進、識別作物，更需要根據(jù)植株位置完成采摘、噴藥、施肥等作業(yè)任務(wù)。

根據(jù)以上對果園自主導(dǎo)航研究成果的分析，目前視覺導(dǎo)航的局限性體現(xiàn)在以下兩點：①導(dǎo)航信息不完整，以定性視覺自主導(dǎo)航為主，基于視覺的位姿估計方法難以有效提取偏航角和橫向位移。②果樹定位方法不完善，以果樹檢測研究為主，難以確定果樹的相對位置。

針對現(xiàn)有方法的局限性，本文提出基于Mask R-CNN實例分割網(wǎng)絡(luò)的位姿估計與果樹定位方法。在改進并訓(xùn)練實例分割網(wǎng)絡(luò)的基礎(chǔ)上，完成道路掩碼和果樹掩碼的提取，并進一步計算消失點[18-21]和邊界方程。利用樹行平行性，建立位姿-道路幾何成像模型，確定不同位姿條件下，世界坐標與像素坐標的映射關(guān)系，定量分析位姿對圖像關(guān)鍵點的影響，基于消失點和邊界方程估計偏航信息和橫向位移。

1 方法與模型

受光照條件和季節(jié)變化影響，種植園場景的色溫、照度、路面環(huán)境、植株長勢存在較大差異。與人工特征相比，深度神經(jīng)網(wǎng)絡(luò)具有更強大的特征提取與識別能力，可準確、穩(wěn)定地提取復(fù)雜場景的語義信息。本文基于實例分割網(wǎng)絡(luò)模型，提取道路與果樹掩碼，并進一步提出消失點與邊界方程的計算方法。

為使智能農(nóng)業(yè)裝備成本可控，本文在果園條件下，研究單目相機成像過程?，F(xiàn)代果園的可通行區(qū)域近似走廊，兩側(cè)樹行平行且單側(cè)樹行共線。利用樹行的平行性和共線性，建立位姿-道路幾何成像模型，定量分析位姿、偏航角、邊界方程三者的關(guān)系，推導(dǎo)果樹相對位置的計算方法。

基于以上分析，本文主要工作由4部分組成：道路與果樹掩碼提取、消失點與邊界方程計算、偏航角與橫向偏移估計、果樹相對位置估計。通過建立道路幾何成像模型，僅用單目相機實現(xiàn)位姿估計與果樹定位，對應(yīng)的算法流程如圖1所示。

1.1 基于Mask R-CNN網(wǎng)絡(luò)的道路與果樹掩碼提取方法

深度卷積神經(jīng)網(wǎng)絡(luò)不僅可對紋理、形狀、輪廓、顏色等低層次特征進行提取，而且可進一步提取高層次抽象特征，具有較強的分類、檢測和分割能力。Mask R-CNN為基于深度卷積神經(jīng)網(wǎng)絡(luò)的實例分割模型，具有較高的計算效率和精確率，本文采用該網(wǎng)絡(luò)完成道路和樹干掩碼提取，該模型主要由特征提取主干網(wǎng)絡(luò)、區(qū)域建議網(wǎng)絡(luò)、RoI Align、檢測和分割分支組成，方法流程如圖2所示。

基于該模型提取道路和果樹掩碼，但由于三維信息在單目相機中的成像過程為小孔成像，目標尺度在圖像中表現(xiàn)為近大遠小，其尺度存在較大差異性。為了獲得多尺寸表示能力，要求特征提取能夠以較大范圍的感受野來描述不同尺寸的目標?；谝陨显?，本文將Mask R-CNN模型的特征提取主干網(wǎng)絡(luò)改進為Res2Net[23]和特征金字塔網(wǎng)絡(luò)的組合，與ResNet[24]網(wǎng)絡(luò)相比，該模型將特征圖分成4組，除第1組特征X1外，每組特征圖經(jīng)3×3卷積后，以殘差的方式與下一組進行連接，Res2Net模塊結(jié)構(gòu)如圖3所示。

由圖3可知，除X1特征組外，每個3×3的卷積核可以接收來自前層所有特征，其輸出的特征圖具有更大的感受野?；谠摻M網(wǎng)方式，Res2Net的輸出包含不同尺寸及數(shù)量的感受野，同時，特征圖輸出前經(jīng)過1×1卷積運算，可有效融合不同尺度信息。此外，為增強對不同尺寸物體的識別能力，本文在Res2Net網(wǎng)絡(luò)的下一級增加特征金字塔網(wǎng)絡(luò)，該模型通過提取多尺度的特征信息，并進行深度融合，從而提高檢測的精確度。Res2Net網(wǎng)絡(luò)和特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

由圖4可知，主干網(wǎng)絡(luò)提取特征的流程如下：首先，原始圖像經(jīng)卷積層和Res2Net模塊提取不同層次的圖像特征；其次，將C1～C4階段的特征圖進行1×1卷積運算得到特征圖T1～T4，通過卷積上采樣并與下一階段的特征圖疊加得到特征金字塔M1～M4；最后，將M1～M4的特征圖進行3×3卷積運算后，輸出特征圖P1～P4至區(qū)域建議網(wǎng)絡(luò)。

1.2 消失點與邊界方程提取方法

針對Mask R-CNN分割的道路掩碼，研究道路邊界和消失點的提取方法。受到栽培精度、植株生長不確定性和行間平整度等因素的影響，可通行區(qū)域邊界較不平滑，掩碼區(qū)域的邊界通常呈不規(guī)則鋸齒線，如圖5b所示。

由圖5b可知，道路掩碼屬于非規(guī)則多邊形，其左右邊界呈波浪或鋸齒曲線，增加了提取邊界線方程和消失點的難度和復(fù)雜度。因此，本文首先尋找道路掩碼的凸包，如圖5c所示，掩碼Q的凸包是一個最小的凸多邊形P，滿足Q中的每個點都在P的邊界或者其內(nèi)部。其次，基于霍夫變換和角度閾值計算左右邊界方程，如圖5d中綠色線所示，聯(lián)合邊界方程所得的交點坐標為道路消失點，如圖5d中紅色圓點所示?；谝陨戏治?，所提方法由消失點提取、邊界方程提取和果樹坐標提取組成，具體算法流程如圖6和圖7所示。

邊界方程、消失點和樹干坐標的計算流程如下：首先，根據(jù)圖6所示的邊界方程和消失點計算方法，對道路掩碼進行輪廓提取、尋找凸包和霍夫變換操作，獲取描述邊緣輪廓的直線簇，基于設(shè)定的斜率和長度閾值條件提取符合要求的邊界方程，聯(lián)立兩側(cè)邊界線方程提取消失點坐標。其次，根據(jù)圖7所示的樹干像素坐標計算方法，提取果樹掩碼貼近道路邊緣的坐標，位于消失點左側(cè)的果樹掩碼，提取右下方坐標；位于消失右側(cè)的果樹掩碼，提取左下方坐標；基于樹干像素坐標計算距離邊界線的距離，若該值大于閾值，則標記為鄰行果樹，不進行位置估計。

1.3 位姿-道路幾何成像模型

偏航角、橫向偏移和植株相對位置是實現(xiàn)自主導(dǎo)航的關(guān)鍵信息。本文基于單目相機成像原理，利用果園樹行的共線性和平行性，間接測量以上信息。現(xiàn)就存在偏航角和橫向位移的情況，對單目相機成像過程進行幾何建模，其示意圖如圖8所示。

圖8為一般果園場景示意圖，左右樹行邊界S1、S2相互平行，由兩樹行所構(gòu)成的空間為可通行區(qū)域，基于基本坐標系Oxyz建立成像模型，光心f距地面高度為h，與左右邊界的距離分別為xl和xr，偏航角為φ，圖像坐標系為Ocxcyc,像素坐標系為Oixiyi。基于果園道路邊界的平行性和共線性，建立位姿-道路成像模型的方法如圖9所示。

根據(jù)圖9可知，建模過程可分為以下步驟：①由像平面關(guān)鍵點求解相機像平面方程。②基于針孔相機成像原理，計算邊界線在像平面中的映射方程。③分析方程斜率和消失點表達式，逆解航向信息和橫向位移。④基于地面點和像平面的映射關(guān)系，逆解果樹的相對位置。其中，步驟①、②推導(dǎo)了道路邊界在像平面中的映射方程，在本節(jié)展開分析；步驟③、④分析了根據(jù)邊界方程計算位姿和果樹位置。

1.3.1求解像平面方程

計算無偏航信息時的像平面方程：在相平面任意選取3個關(guān)鍵點pi(i=1,2,3)，文中坐標均表示為列向量或多維列向量，用于描述相機像平面在Oxyz坐標系下的平面方程。

i=1i=2i=3

(1)

式中CF——鏡頭焦距

CW——像平面寬度(相機感光元件寬度)

CH——像平面高度(相機感光元件高度)

H——相機安裝高度(焦點與地面距離)

當存在偏航角φ時，關(guān)鍵點pi經(jīng)偏航角旋轉(zhuǎn)矩陣t變換為p′i

p′i=tpi=

i=1i=2i=3

(2)

其中

(3)

式中p′i——旋轉(zhuǎn)變換的關(guān)鍵點

由關(guān)鍵點p′i可確定像平面法向量n

(4)

再與任一關(guān)鍵點(本文選取p′1點)構(gòu)成平面點法式方程

n(1)(x-p′1(1))+n(2)(y-p′1(2))+n(3)(z-p′1(3))=0

xsinφ-ycosφ+CF=0

(5)

1.3.2計算樹行邊界在像平面中的映射方程

任取樹行邊界S1兩點r1、r2(邊界S2同理)，焦點f與r1、r2構(gòu)成空間直線方程l1和l2。

(6)

i=1i=2

(7)

(8)

(9)

式中xl——關(guān)鍵點r的x軸坐標

y1、y2——關(guān)鍵點r的y軸坐標

β1、β2——直線參數(shù)方程的參數(shù)

聯(lián)立像平面方程(式(5))與直線方程l1和l2，解得交點坐標為

i=1i=2

(10)

式中ai——直線參數(shù)方程與像平面的交點坐標(Oxyz坐標系)

將交點的世界坐標轉(zhuǎn)換至圖像坐標系，即計算ai在向量p′2p′1和向量p′3p′1上的投影a′i為

i=1i=2

i=1i=2

(11)

式中a′i——直線參數(shù)方程與像平面的交點坐標(Ocxcyc坐標系)

確定l1在Ocxcyc坐標系內(nèi)的斜率k1、截距b1和S1在圖像坐標系Ocxcyc的方程S′1、S′2的計算方法同理。其中，a′1(1)、a′1(2)為a′1向量的第1個元素和第2個元素，a′2(1)、a′2(2)同理。

(12)

b1=a′1(1)-kla′1(2)=-CFtanφ

(13)

(14)

(15)

式中kl——左邊界直線方程斜率(Ocxcyc坐標系)

b1——左邊界直線方程截距(Ocxcyc坐標系)

在存在偏航角和橫向偏移的條件下，推導(dǎo)兩側(cè)樹行邊界在圖像坐標系下的映射方程，進一步計算消失點坐標，估計偏航角和橫向偏移。也可利用該映射關(guān)系，由像素坐標估計與兩側(cè)果樹及相機的相對位置。

1.4 位姿估計與果樹定位方法

基于建立的位姿-道路幾何成像模型，首先，根據(jù)樹行邊界線方程計算消失點坐標，消失點是平行直線經(jīng)過透視投影后的交點，基于該點的像素坐標，推導(dǎo)了偏航角的計算方法。其次，由像素坐標系下的邊界方程，可解得與左右樹行的距離，橫向偏移是當前位置與道路中線的橫向距離，基于與兩側(cè)邊界的距離，推導(dǎo)了道路寬度和橫向偏移的計算方法。最后，由樹行邊界點的三維坐標與像素坐標的映射關(guān)系，推導(dǎo)了果樹相對位置的計算方法。

1.4.1偏航角與橫向偏移計算方法

首先，計算消失點坐標。聯(lián)立圖像坐標系下的邊界方程S′1和S′2，解得消失點(兩直線交點)坐標，即聯(lián)立式(14)、(15)求解交點坐標，可得消失點坐標Xc和Yc為

(16)

其次，推導(dǎo)偏航角計算方法。由式(16)可知，消失點xc軸坐標Xc為偏航角φ的一元函數(shù)，因此，可通過求解消失點坐標Xc方程可得偏航角φ。在圖像坐標系中，消失點的坐標無法直接獲取，可通過圖像-像素坐標系的相互映射關(guān)系間接計算

(17)

式中Xi——消失點xi軸坐標(Oixiyi坐標系)

Ix——圖像橫軸分辨率

基于以上分析可知，通過消失點的像素坐標可計算偏航角估計值，計算方法為

(18)

再次，計算與邊界S1和S2的距離。以左邊界線為例，由S′1表達式可知，在圖像坐標系和像素坐標系中，邊界線斜率是關(guān)于偏航角φ和邊界距離xl的二元函數(shù)，偏航角φ可由式(18)解出，因此，基于圖像坐標系中邊界線斜率可計算距離xl和xr?；谝陨戏治?，與邊界S1、S2的距離xl、xr估計值計算式為

(19)

(20)

最后，計算道路寬度和橫向偏移。由于xl、xr為距離左右邊界的距離，二者絕對值之和為道路寬度W，二者絕對值之差的一半為橫向偏移λ，估計值計算式為

=|l|+|r|

(21)

(22)

1.4.2果樹相對位置計算方法

由圖8可知，在基本坐標系中，S1和S2為樹行和可通行區(qū)域的交界，因此位于邊界S1和S2的果樹x軸坐標分別為xl和xr，只需求解y軸坐標即可估計果樹的相對位置，因為果樹的像素坐標可以從圖像中獲得，可利用式(11)所示的映射關(guān)系求解y軸坐標。因為安裝高度h由測量得出，一般帶有測量誤差，為避免引入二次誤差，采用yc軸坐標求解y，將a′i的yc軸坐標(式(11))一般化，由式(17)和

(23)

可得果樹的yc軸與y軸坐標的映射關(guān)系，即y軸坐標的計算方法為

(24)

1.4.3算法流程

基于對偏航角、橫向位移和位姿-道路幾何成像模型的分析，可由圖像中的消失點、樹行邊界方程估計當前位姿，計算偏航角和橫向偏移。由樹干的像素坐標計算果樹與相機的相對位姿。若將單目相機剛性連接于農(nóng)業(yè)機械裝備，可通過圖像中的關(guān)鍵點完成位姿估計和果樹定位，計算流程如圖10所示。

2 實驗與結(jié)果分析

為了驗證本文提出位姿估計和果樹定位方法的準確性和魯棒性，在訓(xùn)練、測試實例分割網(wǎng)絡(luò)Mask R-CNN的基礎(chǔ)上，進一步計算消失點與邊界方程，完成了偏航角、橫向偏移、果樹相對位置計算實驗，并驗證本文所提方法的有效性。

2.1 實驗條件

通過安裝在三角架的單目相機抓取果園圖像，偏航角由慣性測量單元的加速度計和陀螺儀融合濾波得出，通過卷尺測量得到橫向偏移與果樹相對位置。三腳架與InvenSense MPU6050型慣性測量單元剛性連接，圖像采集設(shè)備為Nikon D90型相機，鏡頭焦距為35 mm，相機水平視場角為37.2°，感光元件尺寸為23.6 mm×15.8 mm，相機與三腳架螺紋連接，安裝高度為0.95 m。

數(shù)據(jù)采集地位于山西省太原市尖草坪區(qū)向陽店蘋果種植園，該種植園屬于半結(jié)構(gòu)化場景，平均行距為5 m，受光照、水肥、土壤等因素影響，果樹生長具有較大隨機性，其生長狀況和株距也存在一定差異性。該蘋果種植園中，果樹樹干與地面的顏色相似度較高，且可通行區(qū)域界線相對模糊，增加了道路與樹干信息的提取難度，數(shù)據(jù)集包含多種拍攝角度、多種拍攝位置的圖像數(shù)據(jù)，具有較強的代表性。

2.2 模型訓(xùn)練與驗證

從相機中隨機選取1 200幅圖像制作數(shù)據(jù)集，其中720幅用于訓(xùn)練，240幅用于驗證，240幅用于測試，采用Labelme工具標注樹干和道路可通行區(qū)域。為提升訓(xùn)練和預(yù)測速度，圖像預(yù)處理時，將圖像長邊的分辨率統(tǒng)一轉(zhuǎn)換為1 280像素。為提高模型魯棒性，抑制過擬合現(xiàn)象，本文訓(xùn)練時加入隨機擾動擴充數(shù)據(jù)量，例如隨機調(diào)整對比度、飽和度、亮度等。訓(xùn)練平臺為Intel i7-6870K CPU，Nvidia Geforce GTX1080Ti×4 GPU，32 GB RAM。

為使區(qū)域建議網(wǎng)絡(luò)生成的預(yù)測框更貼近目標最小外接矩，基于K-means方法聚類標注框的尺寸，為抑制不同尺寸的標注框?qū)垲愓`差的影響，本文選取交并比度量類別的相似性。聚類中心數(shù)量越多，與標注框的交并比越大，但計算量也相應(yīng)增加；聚類中心數(shù)量較少時，數(shù)據(jù)處理量隨之減少，與標注框的交并比也隨之降低。聚類中心數(shù)量對應(yīng)的平均交并比如圖11所示。

由圖11可知，聚類數(shù)量從2類增加為3類時，平均交并比提升顯著。由于數(shù)據(jù)處理量隨著預(yù)測框的增加而明顯增加，聚類數(shù)量等于3時的綜合性能較高，此時聚類中心的高寬比分別為0.7、3和8，并根據(jù)該比例調(diào)整區(qū)域建議網(wǎng)絡(luò)生成的預(yù)測框。

在訓(xùn)練過程中，優(yōu)化方法選擇Adam自適應(yīng)學(xué)習(xí)率優(yōu)化器，其中GPU集群單次迭代樣本數(shù)為4，初始學(xué)習(xí)率為0.005，學(xué)習(xí)率衰減系數(shù)為0.1，最小學(xué)習(xí)率為 1×10-6，總計訓(xùn)練100周期，訓(xùn)練時的平均損失值和驗證集的平均精確度如圖12所示。

由圖12a可知，訓(xùn)練76周期時，邊框回歸平均精確度為0.564，分割平均精確度為0.559，且損失函數(shù)值較低，模型具有較強的分割和識別能力。此外，本文對比了以ResNet50為主干網(wǎng)絡(luò)的Mask R-CNN模型，其損失函數(shù)曲線與平均精確度曲線如圖12b所示，從圖中可知其損失函數(shù)收斂速度、模型性能均弱于Res2Net，詳細數(shù)據(jù)如表1所示。

由表1可知，Mask R-CNN(Res2Net50)的邊框回歸與分割具有更高精確度，分別提升4.5%和4%，推理速度提升20%；此外，基于該主干網(wǎng)絡(luò)的Mask R-CNN對中小目標的檢測和分割效果提升顯著，受成像原理、拍攝角度、拍攝距離與單目成像原理等因素的影響，圖像中的目標尺度具有較大差異，而Res2Net模型采用分組卷積方法，可有效提取多尺度目標的特征，在本文試驗條件中表現(xiàn)出更高的適應(yīng)性。

表1 2種主干網(wǎng)絡(luò)的Mask R-CNN模型性能對比

基于神經(jīng)網(wǎng)絡(luò)分割的道路與樹干掩碼，提取消失點、邊界方程、果樹坐標等更深層次的信息：對于果樹掩碼，分類其所屬位置：左行、右行和鄰行，并對左右行的樹干掩碼提取貼近道路邊界的坐標；對于道路可通行區(qū)域掩碼，依次完成尋找凸包、霍夫變換、計算邊界和消失點坐標操作，其中紅色圓點表示消失點，綠色直線表示可通行區(qū)域的左右邊界，實驗結(jié)果如表2所示，其中，左上角為坐標原點，水平軸為u，豎直軸為v。

表2 消失點與邊界提取結(jié)果

由表2可知，在不同拍攝位置和拍攝視角條件下，本文采用的網(wǎng)絡(luò)模型可較穩(wěn)定且準確地完成實例分割任務(wù)，采用的消失點和邊界線提取方法具有較高的魯棒性。存在偏航角和橫向偏移時，本文所用方法仍能在不同位姿條件下，穩(wěn)定地提取道路與果樹掩碼、消失點坐標、道路邊界方程，為計算位姿與果樹相對位置提供可靠基礎(chǔ)。

2.3 偏航角與橫向偏移估計

位姿估計是農(nóng)業(yè)裝備在半結(jié)構(gòu)場景下自主導(dǎo)航的前提和基礎(chǔ)，利用建立的道路成像幾何模型，僅用單目相機即可實現(xiàn)偏航角與橫向偏移的估計。基于消失點像素坐標、相機感光元件和鏡頭焦距可得當前航向信息，再由圖像中的邊界線方程和偏航角，估計與左右樹行的距離，并估計行距與橫向偏移。其中，偏航角、橫向偏移與道路寬度的誤差計算方法分別為

(25)

(26)

(27)

式中Eφ——偏航角估計誤差

Eλ——橫向偏移估計誤差

EW——道路寬度估計誤差

Ah——水平視場角，取37.2°

一般工況下，智能農(nóng)業(yè)裝備可能位于道路中間，也可能位于中線左側(cè)或右側(cè)。同理，偏航角也存在3種情況，既可能無偏航信息，也可能向左或向右偏航。為驗證模型的魯棒性與可靠性，本文分析了農(nóng)業(yè)裝備工作時的9種位姿，即3種橫向位置和偏航角的交叉組合。實驗結(jié)果如表3所示。

由表3可知，本文方法在存在偏航角和橫向偏移時均能較準確地計算位姿，其中，偏航角平均誤差為2.91%，橫向偏移平均誤差為4.82%，道路寬度平均誤差為4.89%，其精度可滿足農(nóng)業(yè)裝備導(dǎo)航需求。

表3 位姿估計及其誤差

在此基礎(chǔ)上，研究所處位姿對算法精度的影響，將偏航角與橫向偏移取絕對值進行Min-Max歸一化，對于偏航角誤差，與當前偏航角、橫向位移的協(xié)方差分別為0.069和0.035，對于橫向偏移誤差，相應(yīng)的協(xié)方差分別為0.032和0.026，表明本文方法的精度受所處位姿的影響較小，具有較高的魯棒性和適應(yīng)性。

2.4 果樹相對位置估計

農(nóng)業(yè)自主導(dǎo)航任務(wù)不僅需要準確估計當前位姿，為軌跡規(guī)劃和自主運行提供基礎(chǔ)，更重要的是，在獲取當前位姿的基礎(chǔ)上，確定果樹的相對位置，為智能化采摘、噴藥和施肥等精細化操作提供保障。本文根據(jù)邊界線像素-基本坐標系的相互映射關(guān)系，即根據(jù)式(19)～(24)計算左右2行各4棵果樹的相對位置，其誤差計算方法為

(27)

(28)

(29)

(30)

式中Exl——左側(cè)果樹橫向位置(x軸)估計誤差

Exr——右側(cè)果樹橫向位置(x軸)估計誤差

Ey——縱向位置(y軸)估計誤差

Ed——株距估計誤差

d——株距真實值

由于相機成像模型為射影變換，成像過程為三維信息向二維平面的映射，無法直接表示深度信息，當存在偏航角和橫向位移時，加劇了果樹的層疊現(xiàn)象，存在層疊現(xiàn)象的實驗場景如圖13所示。

由于圖13的采集位置位于道路中線偏左，圖像中左側(cè)果樹存在較明顯的層疊現(xiàn)象。除距離較近的兩棵果樹層次結(jié)構(gòu)較明顯外，其余果樹遮擋現(xiàn)象明顯，增加了果樹識別與定位難度。因此，本文在道路中線選取3處航向角為正前的實驗點進行測試，分別測量每棵果樹距離相機的橫向相對位置、縱向相對位置與株距，并與估計值對比，計算其誤差，實驗場景如圖14所示。

圖14中的3處實驗點位于同一行間的不同縱向位置，實驗點1距離道路盡頭最遠，實驗點2次之，實驗點3距離道路盡頭最近，3處實驗點的位置示意圖如圖15所示。

本文在3處實驗點測量20 m以內(nèi)果樹的相對位置以及與前株的株距，由圖15所示，在實驗點1分析編號為1～4的果樹，在實驗點2分析編號為2～5的果樹，實驗點3分析編號為4～7的果樹，相應(yīng)的實驗數(shù)據(jù)如表4～6所示。

表4 實驗點1果樹位置估計結(jié)果

表5 實驗點2果樹位置估計結(jié)果

表6 實驗點3果樹位置估計結(jié)果

由表4～6可知，本文提出的果樹相對位置估計方法，僅用單目相機即可較準確地估計果樹位置，對最近探測距離到20 m以內(nèi)的果樹均能有效推測其位置，橫向位置的平均誤差為3.80%，縱向位置的平均誤差為2.65%；此外，利用果樹的相對位置可進一步估計株距，其平均誤差為8.12%。

3 討論

(1)提出基于改進Mask R-CNN網(wǎng)絡(luò)的道路與樹干識別方法，與Mask R-CNN(ResNet50)相比，邊框回歸精確率提升4.5%，分割精確率提升4.0%，推理速度提升20%。基于道路掩碼可進一步計算消失點坐標和邊界方程，對采集位姿、邊界線的粗糙度具有較高的魯棒性?；谔岢龅奈蛔?道路幾何成像模型，利用消失點與邊界方程，實現(xiàn)位姿估計與果樹定位，偏航角、橫向位移、果樹位置的計算誤差較低，且可提取不同位姿條件下的導(dǎo)航信息。

(2)誤差主要來源于測量誤差和相機系統(tǒng)誤差。首先，用于測量偏航角的慣性導(dǎo)航單元存在累計誤差，數(shù)據(jù)采集過程中的振動加劇了數(shù)據(jù)波動程度，因此，偏航角真值存在一定的誤差。其次，本文采用相機并未經(jīng)過標定，存在輕微畸變現(xiàn)象，因此，基于道路掩碼提取的消失點坐標和邊界方程也存在偏移，一定程度影響了位姿估計與果樹定位精度。

(3)在路面平整度較低的種植園運行過程中，受道路不平度的影響，相機存在不同程度抖動問題，導(dǎo)致圖像存在模糊的可能，可通過Richardson-Lucy算法抑制圖像模糊。目前，果園作業(yè)仍對人工有一定的需求，可利用神經(jīng)網(wǎng)絡(luò)模型識別作業(yè)人員及其相對位置，基于數(shù)據(jù)幀差信息分析人員的運動趨勢，進而實現(xiàn)更加智能化的行間自主導(dǎo)航。

4 結(jié)論

(1)提出基于改進Mask R-CNN網(wǎng)絡(luò)的道路與樹干識別方法。邊框回歸平均精確度為0.564，目標分割平均精確度為0.559，具有較強的抗干擾能力和更高的識別精度。

(2)提出基于位姿-道路幾何成像模型的位姿估計與果樹定位方法。偏航角、橫向位移誤差為2.91%和4.82%，果樹位置的橫、縱向誤差為3.80%和2.65%，可提取不同位姿條件下的導(dǎo)航信息，具有較高的準確性和穩(wěn)定性。