采用改進Unet網絡的茶園導航路徑識別方法

趙 巖，張人天，董春旺，劉中原1,，李 楊

采用改進Unet網絡的茶園導航路徑識別方法

趙 巖1,3，張人天1,2,3，董春旺2，劉中原1,2，李 楊2※

（1. 石河子大學機械電氣工程學院，石河子 832000；2. 中國農業科學院茶葉研究所，杭州 310000；3. 農業農村部西北農業裝備重點實驗室，石河子 832000）

針對目前在茶園壟間導航路徑識別存在準確性不高、實時性差和模型解釋困難等問題，該研究在Unet模型的基礎上進行優化，提出融合Unet和ResNet模型優勢的Unet-ResNet34模型，并以該模型所提取的導航路徑為基礎，生成路徑中點，通過多段三次B樣條曲線法擬合中點生成茶園壟間導航線。該研究在數據增強后的茶園壟間道路訓練集中完成模型訓練，將訓練完成的模型在驗證集進行導航路徑識別，根據梯度加權類激活映射法解釋模型識別過程，可視化對比不同模型識別結果。Unet-ResNet34模型在不同光照和雜草條件下導航路徑分割精度指標平均交并比為91.89%，能夠實現茶園壟間道路像素級分割。模型處理RGB圖像的推理速度為36.8 幀/s，滿足導航路徑分割的實時性需求。經過導航線偏差試驗可知，平均像素偏差為8.2像素，平均距離偏差為0.022 m，已知茶園壟間道路平均寬度為1 m，道路平均距離偏差占比2.2%。茶園履帶車行駛速度在0～1 m/s之間，單幅茶壟圖像平均處理時間為0.179 s。研究結果能夠為茶園視覺導航設備提供技術和理論基礎。

導航；深度學習；茶園可視化；路徑識別；語義分割；樣條曲線擬合

0 引 言

中國是世界上最大的茶葉種植、消費、出口國之一，茶產業已成為茶區推進鄉村振興戰略和實現共同富裕的支柱產業。近年來，城鄉人口逐步向城市轉移，農業勞動力老齡化趨勢明顯，面對茶業生產“機器換人”發展的迫切需求，急需開展以精準、智能為導向的茶園裝備研究[1]。隨著智能農機裝備導航技術不斷發展，機器視覺和衛星定位導航技術逐漸成為主流[2]。衛星導航系統適用于大田壟間種植距離較寬的場景，機器視覺導航技術符合茶園行間距較窄的環境，能夠為茶園智能履帶車提供實時路徑信息[3-4]。已有學者針對傳統機器視覺路徑導航技術開展了研究，Montalvom等[5]為了區分樹冠與天空，提取圖像中不同的G值，擬合桃樹行中心線為導航路徑。張成濤等[6]通過Cg分量灰度化彩色圖像，進而利用改進遺傳算法和線性相關系數約束法檢測作物行直線，導航跟蹤試驗表明，其橫向偏差分別小于33和12 mm，但后者算法檢測導航線耗時較長。關卓懷等[7]運用2R-G-B綜合閾值算法進行圖像二值化處理，并采用多段三次B樣條曲線擬合水稻收獲區域的邊緣。傳統機器視覺圖像處理算法因人工選擇顏色、紋理等特征，會產生較大局限性，通常只適合特定環境識別路徑，在復雜環境中泛化能力不強，在茶園行間復雜環境中仍存在識別困難的問題[8-10]。同時，履帶車在茶園前進過程中需根據道路情況實時進行調整，因此對圖像數據的實時處理速度提出較高要求[11]。

近年來，深度學習在機器視覺導航領域得到廣泛應用[12]，尤其是全卷積神經網絡被廣泛應用在各類非結構化的農業道路識別場景中[13-15]，并實現較好的識別效果。李云伍等[16]使用全卷積網絡（Fully Convolutional Networks，FCN）在丘陵檢測田間道路，道路分割平均交并比（Mean Intersection over Union，MIoU）為0.732。Lin等[17]在全卷積網絡（FCN）的基礎上運用E-Net模型完成茶行蓬面像素分割，茶行分割平均交并比（MIoU）為0.734，利用Hough變換擬合茶行輪廓中心線，為跨行乘坐式采茶機提供實時導航。韓振浩等[18]基于U-Net語義分割模型獲取果園道路信息，使用掃描法獲取邊緣點并生成道路中點，最終運用多段三次B樣條曲線擬合果園導航線。果園道路在不同光照下交并比（MIoU）為89.52%、86.45%、86.16%，道路實際平均距離誤差為0.044 m。饒秀勤等[19]提出基于Unet網絡剪枝后的Fast-Unet模型，模型在導航路徑精確度變化不大的情況下，進一步提升了推理速度。上述基于深度學習算法的不同農田道路場景分割試驗為本研究思路的提出提供了較好的借鑒。

目前茶園道路導航線識別方法依然有以下問題：1）采用傳統圖像處理算法易受復雜環境和光照變化等因素的干擾，精確性不高；2）由于茶樹低矮，較難識別樹干等特征，茶園道路不規則等問題，采用垂直投影法、最小二乘法等直線擬合方法不適合曲線路徑檢測。基于上述問題，該研究提出Unet-ResNet34實時茶園道路語義分割模型，實現圖像中茶園壟間道路像素級分割，生成道路對應的掩碼區域；通過掃描掩碼圖像獲取兩側邊緣信息和道路中點，并利用多段三次B樣條曲線擬合茶園導航路徑。本研究為解決茶園復雜環境、路徑不規則的問題提供參考。

1 材料與方法

1.1 圖像采集與數據集構建

數據采集地點位于浙江省杭州市中國農業科學院茶葉研究所龍井種植園，茶樹品種為龍井43、中茶108和白葉1號，拍攝時間為2021年10月1日至11月1日，拍攝條件包括不同光照強度（強光、弱光）、不同雜草密度（雜草茂密、雜草稀疏）、不同雜草種類和葉片遮擋等情況。

使用履帶式底盤模擬機具作業狀態，車頂搭載Intel公司的D455深度相機采集道路信息，視頻數據存入筆記本電腦中。相機通過云臺安裝于底盤前端，向下傾斜15°，拍攝方向為行走路線正前方。底盤前進速度約為1.2 m/s，圖像分辨率為1 920×1 080像素。隨機選取1 824幅圖像用于茶園壟間道路數據集制作，數據集按4∶1劃分為訓練集和驗證集，其中1 568幅為訓練集，256幅為驗證集。本文采用Matlab 2019中Image Labeler人工標注茶園壟間道路圖像數據，將標簽分為2類，分別是茶園壟間道路和背景，將茶園壟間道路進行標注，背景不做標注。不同環境下茶園壟間道路數據集及標注結果如圖1所示。

圖1 不同環境下茶園道路數據集及標注結果

1.2 數據增強

為了擴大訓練樣本的數據量，提高模型在復雜茶園環境中學習的準確性和泛化能力，本文在訓練過程中對輸入圖像執行旋轉、亮度變化、顏色變換、對比度增強和隨機添加噪聲等方法。在每次訓練時，訓練集中的茶園壟間圖片按圖2中的方式進行數據增強，除模糊方法外，其余方法都會有80%的概率觸發。其中，隨機旋轉為在±30°以內的任意角度，可模擬茶園行間導航道路的不同方向；亮度變化為在（?32，32）范圍內隨機增加或減小圖像中每個像素的值來改變圖像的亮度；顏色變換為在HSV顏色空間（?18，18）范圍內增加或減小圖像的H通道值來改變色度，并通過對圖像的S通道乘以一個系數（0.5，1.5）中的隨機值來改變飽和度；對比度增強為對圖像中每個像素的值乘以（0.5，1.5）范圍內的任意數；模糊為隨機添加均值為0方差為1.0的高斯噪聲，亮度、顏色、對比度方面的數據增強可模擬茶園不同的光照強度和場景。

圖2 數據集增強

1.3 評價指標

在語義分割任務中，一般從模型精度、推理速度、浮點運算次數（Floating Point Operations，FLOPs）和參數量等幾個方面進行考量。模型精度估算一般選取平均交并比（Mean Intersection-over-Union，MIoU）和像素準確率Acc（Pixel accuracy），推理速度代表模型的運算速度，浮點運算次數和模型參數量代表模型的大小和復雜度。本文茶園壟間道路分割任務采用的評價指標主要包括平均交并比MIoU、像素準確率、型推理速度、浮點運算次數和參數量。推理速度（inference speed）為模型每秒處理茶園圖片幀數（Frames Per Second，FPS）。FLOPs是指模型所需的計算次數，參數量是算法在運行時實際占用計算機內存資源數值。

平均交并比（MIoU）是真實值與預測值兩個集合的交集占并集的比例，計算公式

像素準確率（Acc）為判斷正確像素數在圖像總像素數中占的比值，計算公式

式中num_pixel是實際為類且預測也為類的像素數，num_pixel是實際為類但預測為類的像素數，num_pixel是實際為類但預測為類的像素數，num_pixel是圖像總像素數；為總類別數量，由于本文只區分茶園壟間道路和背景，因此= 1。

1.4 試驗平臺

試驗選用的硬件配置為Intel Core i7-8700CPU，基準頻率為3.2 GHz，32 GB內存，NVIDIA GeForce GTX3090 GPU。

在Windows 10系統下，CUDA 10.2，cuDNN 7.6.05，運用Python3.7語言進行編程，基于PyTorch1.8框架搭建本文語義分割模型。

2 基于語義分割的茶園壟間道路識別模型

2.1 茶園道路語義分割網絡構建

茶園道路識別存在光照強度變化、相機角度變化、圖片尺度變化、非結構化茶園環境和茶樹葉片遮擋道路等多種場景，基于傳統圖像處理算法的導航路徑提取方法難以適應上述場景。針對這一問題，為滿足茶園道路識別的精準性和實時性要求，本文提出語義分割模型Unet-ResNet34對茶園壟間道路圖像進行逐像素分類。

Unet是傳統全卷積神經網絡（FCN）的一種擴展網絡，采用U型編碼、解碼結構，兩側結構對稱分布，適用于語義簡單、數據集較小的分割任務[20-23]。相較于淺層網絡，擁有更多隱含層的深層神經網絡能處理更為復雜的數據[22-23]，ResNet包含的殘差單元能大幅增加網絡深度，而不給網絡訓練帶來額外計算量。Unet編碼結構與ResNet編碼結構相同，都是通過卷積、池化等操作提取圖像復雜特征[24]。因此，Unet的編碼結構可以由不同深度的ResNet所取代，從而形成一個全新圖像分割模型。

在殘差結構中，輸出（Output）數學表達式

式中為特征輸入向量，F()為卷積層函數，為線性整流單元（ReLU）的激活函數，1和2為前兩層的權重，為偏差。兩層殘差結構輸出（Output）數學表達式

當恒等映射輸入變量與經卷積層操作后輸出的數值尺寸不同時，應將恒等映射改為線性映射，即在捷徑連接（shortcut connection）處加入卷積層以匹配圖像尺寸。

茶園壟間道路分割網絡（如圖3）由編碼（圖中虛線框）和解碼階段組成：編碼階段用ResNet34特征提取模塊替換Unet相應模塊，特征圖首先輸入卷積核大小為7×7的卷積層和3×3的最大池化層，粗略提取圖片特征并減小尺寸，然后進入堆疊殘差層，殘差層主要包括4個階段，每個階段分別由3、4、6、3個的殘差模塊組成。同一個階段之間的特征傳遞數量和特征圖像尺寸不變，但特征圖像尺寸為前一個階段的一半。解碼階段包含4個上采樣模塊，每個模塊包含1個2×2反卷積層、1個跳躍連接層和1個3×3卷積層，網絡末端添加1個1×1卷積層，網絡中所有卷積層后都加入了批歸一化（BN）和線性整流函數（RELU）。每個模塊先經過反卷積層處理，隨后與對應編碼階段的特征圖進行維度拼接，通過跳躍連接進行維度拼接方法改進了像素定位和分類問題。

模型訓練時，輸出特征圖中逐像素回歸值p()的計算公式

式中a()為位置特征通道像素得分；為類的數量；p()為像素特征通道逐像素回歸值。

能量函數為逐像素回歸值交叉熵損失函數，計算公式

式中p(x)()為像素的softmax損失函數；()為像素標簽值；()為像素權重。

茶園道路分割模型訓練結束后，輸入測試集圖像可得到回歸概率，道路分割情況如圖4b所示。

2.2 模型可視化

為了方便理解本文語義分割模型，使用Grad-CAM方法可視化解釋道路識別任務。Grad-CAM神經元權重為最后1×1卷積層的梯度信息，并只解釋模型輸出層中特定決策內容。Grad-CAM中特征圖對應類別權重計算公式

式中Z表示圖像中總像素個數；vc表示對應類別C的概率，表示特征圖（第d個）在位置（i, j）上的像素。

2.3 導航路徑與導航線識別

現有路徑識別方法主要通過垂直投影法、最小二乘法、Hough變換等算法線性擬合直線路徑。受茶樹長勢和茶園環境的影響，茶園壟間道路邊緣呈不規則形狀且導航線多為曲線，運用上述方法對路徑進行擬合偏差較大。本文采用斜向+水平掃描法提取茶園道路兩側關鍵信息點，然后對兩側信息點運用加權求和法得到道路中點，最后基于三次B樣條曲線原理擬合導航線。

2.3.1 邊緣信息與擬合中點提取

二值化操作Unet-ResNet34模型分割后的掩碼圖片，選取道路掩碼最大區域并進行中值濾波和膨脹處理，使道路邊緣更加平滑。二值化后道路形狀呈“凸”字形，道路起始和中間區域形狀都為長方形，盡頭區域形狀為三角形。如果只采用垂直投影法掃描道路，會出現邊緣信息不完整的問題，針對上述特點，本文提出了一種基于斜向+水平掃描法的道路兩側信息點獲取方法，獲取方法如流程圖所示，具體步驟如下：

1）選取二值化圖像起始區域下半部分道路中心點作為起始點，最大掩碼區域軸上像素最小點為道路終點，進而求得兩點斜率，斜率公式為

式中（start，start）為道路起始點坐標；（end，end）為道路終點坐標。

2）以道路起始點和終點連線為中心線，分別在中心線左右兩側選取距離其間距為的斜向掃描線，掃描線斜率由步驟1）生成，其中間距為的第對斜向掃描線公式如下

式中為掃描間距。

3）對圖像進行二值化處理后，掩碼區域像素灰度為255，背景區域像素灰度為0，在圖像中沿斜向掃描線由上到下進行逐像素掃描。當以某點為中心左右連續兩個相鄰像素灰度值變化，則該點為道路邊緣關鍵點，具體解釋如下：該點左邊相鄰位置連續2個像素灰度為0，右邊相鄰位置連續2個像素灰度為255，則該點為左側邊緣關鍵點；相反，若該點左邊相鄰位置連續2個像素灰度為255，右邊相鄰位置連續2個像素灰度為0，則為右側邊緣關鍵點。

4）通過斜向掃描生成道路兩側多對邊緣關鍵點，對邊緣關鍵點坐標加權求和，得到自上而下的茶園壟間道路中點，第個擬合中點坐標數學表達式為

其中

式中（xleft,yleft）為道路左側關鍵點坐標；（xright,yright）為道路右側關鍵點坐標；（xmiddle,ymiddle）為擬合中點坐標；wleft、wright分別為左、右側權重值；為斜向掃描次數；為修正系數。

其中

由式（16）可知，由道路邊緣關鍵點計算的前兩個路徑中點連線為道路夾角的角平分線，因此路徑中點的權重w,left和w,right會隨著相機視角和道路形狀發生變化，在每幅圖像由式（14）、（15）、（16）、（17）聯立所得。

5）道路最大掩碼區域近似為“凸”字型，只采用單一斜向掃描獲得的道路兩側信息不能完全反映道路形狀，斜向掃描完成后，以步驟4）中最后一個擬合中點距離50像素的位置開始進行水平掃描，這里“50像素”的選取依據為經過多張圖片試驗所得，為經驗值。由于此值和相機視角、圖片分辨率、相機焦距、相機位置等均有關系，當相機的相關參數發生變化時，此值會稍有不同。

6）運用水平掃描法生成多對道路兩側邊緣關鍵點，然后對關鍵點坐標加權求和得到茶園壟間道路剩余擬合中點。由于此處為“凸”字型的下半部分，其為長方形，因此在每幅圖像中兩側權重均為定值0.5。

茶園道路邊緣關鍵點和擬合中點效果如圖5c，由圖可知，道路兩側邊緣關鍵點提取方法能適應茶園道路不同形狀并得到較為精準的擬合中點。

2.3.2 基于B樣條曲線的導航線擬合方法

茶園壟間道路邊緣呈不規則形狀且導航線多為曲線，使用B樣條曲線方法擬合導航路徑具有連續性、局部可控等優勢，適合智能履帶車導航路徑生成。本文把路徑起始點、導航擬合中點和道路終點作為控制點，完成多段三次B樣條曲線擬合，生成道路導航線[25-26]。

導航線擬合基于+ 1個控制頂點(=0, 1, 2, 3,…,)，三次B樣條曲線擬合基于已知的4個控制頂點，即4個相鄰擬合中點可得一段曲線，第段三次B樣條曲線表達式

式中為曲線參數；,4()為三次B樣條曲線基函數；-2為曲線相應控制頂點；, 4()為包含橫縱坐標的曲線。

樣條曲線基函數

式中為曲線參數。

第段三次B樣條曲線矩陣數學表達式

第段三次B樣條曲線始末端點坐標位置、一階及二階導數分別為

根據上述公式推導，完成多段三次B樣條曲線擬合，生成的道路導航線如圖4d所示。基于樣條曲線擬合原理，掃描間距越小，三次B樣條曲線擬合的中點越多，擬合精度越高，但會導致曲線過擬合且計算量較大。相反，掃描間距越小，擬合的中點越少，擬合精度則會下降。經多張圖片試驗所得，本文掃描間距取35像素，能真實反應茶園道路信息且計算量較小。由于掃描間距取值與相機視角、圖片分辨率等均有關系，因此不同大小圖像取值會稍有不同。

圖4 導航線生成流程

2.3.3 導航線測試方法

履帶車在茶園中行駛并不斷采集茶園壟間圖像，在茶園壟間道路圖像中等距選取10個實際道路中點。茶園壟間道路圖像中等距選取實際道路中點的具體步驟：在實際茶園中，對照圖像選取的實際茶園路徑點，在實際道路中用卷尺測量壟間道路并標記道路中點，按相應位置標記在圖片中。與相同橫坐標的識別路徑點進行縱坐標像素計算，對計算結果取絕對值，公式如下

式中detect為識別路徑點像素縱坐標；actual為實際道路點像素縱坐標。

為了將圖像中的像素誤差轉換為實際茶園中的距離誤差，根據針孔相機成像模型將實際路徑點和識別路徑點的像素坐標轉化成相機坐標，通過兩點歐氏距離的計算得到實際茶園距離誤差。相機內外參數和畸變系數已標定，其中f=1 559.249 53，f=1 557.660 1，0=540.697 63，0=955.759 58，1=?0.022 97、2=0.314 68、1=0.000 23、2=0.000 04，由于12較小，代入公式時按0處理。近距離誤差測量為1%。坐標轉換公式

式中（,）為像素坐標；f、f、0、0為相機內部參數；（corrected,corrected）為歸一化平面糾正坐標；1、2、1、2為相機畸變參數；為歸一化平面極徑；（,,）為相機坐標系坐標。

3 結果與分析

通過道路分割和導航線識別試驗，驗證本文提出的導航線提取方法在茶園壟間道路數據集中的準確性和有效性。

3.1 參數設置與模型訓練

訓練周期（Epochs）為450，單次批量訓練圖像數量為（Batch Size）8，選擇隨機梯度下降法（Stochastic Gradient Descent，SGD）作為優化算法，負對數似然損失方法（Negative Log-likelihood Loss，NLLLoss）作為損失函數；學習率進行動態調整，初始學習率為0.01，每訓練5個周期學習率衰減0.8，動量因子為0，權重衰減系數為0.0001。本文模型可直接輸入茶園壟間道路圖像進行訓練，圖像尺寸為1 920像素×1 080像素，為了加快訓練速度，圖像分辨率統一縮放為960像素×544像素；茶園壟間道路分割模型使用遷移學習法進行訓練，加載ImageNet數據集預訓練權重初始化方法。

本文可選擇18、34和50層的Unet-ResNet模型，通過對比不同深度模型分割效果，初步確定茶園壟間道路分割模型的深度。不同深度模型訓練損失函數曲線如圖5所示。

圖5 不同深度模型訓練損失函數曲線

觀察圖5損失曲線可知，訓練集損失始終小于測試集損失，隨著迭代次數增加，模型損失值趨于收斂。Unet-ResNet34測試集損失值最小，說明其在測試集上的泛化性最好。

分別對Unet、Unet-ResNet18、Unet-ResNet34、Unet-ResNet50和FCN-8s-VGG16模型最后的卷積層進行解釋，茶園壟間道路可視化結果如圖6所示。

觀察不同模型可視化Grad-CAM熱力圖，可以看出對茶園壟間道路關注區域各有不同，從圖6c和6d中觀察到模型Unet-ResNet18和FCN-8s-VGG16只關注茶園壟間道路局部區域，即紅色區域過于分散，不同尺度特征之間缺乏聯系，圖像特征識別存在極大缺陷。從圖6e、6f和6g中觀察到模型Unet、Unet-ResNet34和Unet-ResNet50關注茶園壟間道路內的特征，讀取的特征接近圖6b人工標簽，但從圖6e和6g中可以觀察到，Unet模型對道路圖像的下半部分關注不足，即下半部分紅色區域較為分散未能覆蓋道路，Unet-ResNet50模型對壟間道路識別強度較高，即紅色區域完全覆蓋道路，但模型有過擬合的可能，會較低模型運算速度。

3.2 模型性能驗證

將960×544像素的茶園壟間導航路徑測試集圖片輸入模型進行測試，模型分割結果如表1所示。可以看出，Unet-ResNet34模型的像素準確率為95.86%，平均交并比為91.89%，均優于另外4種模型且推理速度僅次于Unet-ResNet18，能滿足實時性需求。同時在浮點運算次數和參數量上可以看出，模型Unet-ResNet34相比Unet-ResNet18略大，相比Unet-ResNet50和原始Unet均較小，而模型FCN-8s-VGG16雖然參數量較小，但浮點運算次數較大，因此綜合考慮模型性能和大小，本文選擇Unet-ResNet34模型作為最終分割模型。

注：在Grad-CAM圖中，藍色區域是模型關注少的部分，紅色區域是模型關注多的部分，顏色越紅的區域表示模型越關注的部位。

表1 模型訓練結果對比

導航路徑的連續性導致本文數據集相鄰幀的圖像可能差距不大，當前圖像的壟行估計可以在上一幀的基礎上加以修正，但是這種方法會隨著算法的迭代使導航誤差不斷累計。同時，當壟行圖像發生較大變化時，此算法也將很難適用。而Unet-ResNet34模型速度較快，從獲取圖像到完成提取路徑的耗時約36.8幀/s（250 ms），參數量為26.72 M，并未過多增加計算成本，且能夠適應不同的場景，因此具有一定的優勢。其在茶園壟間道路測試集的分割效果如圖7所示。

圖7 不同環境下路徑分割和識別結果

3.3 路徑識別結果

茶園壟間道路像素偏差和實際距離結果如表2，從像素偏差結果可以看出，低光照強度且不同雜草密度情況下，道路平均像素偏差為7.1、10.2、10.3像素。高光照強度且不同陰影情況下，道路平均像素偏差為3.3、10.2、7.8像素。綜上可得，不同茶園環境下壟間道路平均像素偏差為8.2像素。從實際距離偏差結果可以看出，低光照強度且不同雜草密度情況下，道路平均實際距離偏差為0.02、0.022、0.034 m。高光照強度且不同陰影情況下，道路平均實際距離偏差為0.011、0.024、0.023 m。不同環境下道路平均距離偏差為0.022 m。路徑點到相機的實際距離為0.985～6.435 m之間，隨著實際路徑點與相機距離不斷增大（表2路徑點10表示圖7中道路最近點，點1表示圖7中道路最遠點），歐式距離變大，因此由像素偏差換算后的道路實際偏差越大。由上述試驗結果可知，在復雜茶園環境條件下，本文提出的Unet-ResNet34模型對茶園道路的識別效果受環境影響較小，邊緣提取法可以正確識別茶園壟間道路輪廓，通過加權求和方式得到邊緣不斷變化的道路中點，三次B樣條曲線擬合法能得到連續、順滑的導航路徑。已知茶園壟間道路平均寬度為1 m，道路平均距離偏差占比2.2%，從獲取圖像到完成提取路徑的耗時總計0.179 s。分別在不同光照強度、不同雜草密度和不同陰影方向等茶園環境測試集圖片中完成壟間道路識別試驗，道路識別結果如圖7所示。

表2 茶園壟間道路識別偏差結果

4 結 論

本文針對智能履帶車實現茶園壟間道路中的自動導航問題，在Unet模型的基礎上通過優化結構提出Unet-ResNet34模型。然后根據模型分割后的掩碼圖像提取茶園壟間道路兩側邊緣信息，并運用加權求和法生成壟間道路中點，最后基于多段三次B樣條曲線擬合導航路徑。結論如下：

1）本研究在Unet基礎上提出Unet-ResNet34模型，該模型在不同光照和雜草條件下壟間道路平均分割交并比為91.89%，像素準確率為95.86%，推理速度為36.8幀/s，滿足茶園壟間道路導航的精確性和實時性要求。

2）運用Grad-CAM方法解決不同模型在茶園壟間道路分割過程中難以可視化解釋的問題。從Grad-CAM圖中激活區域的強度和位置參數出發進一步說明模型的關注區域，驗證了Unet-ResNet34模型的合理性。

3）通過斜向+水平道路邊緣掃描法和基于三次B樣條曲線提取方法從模型分割的茶園壟間道路中提取道路中線，作為履帶車導航線。經過導航線偏差試驗可知，本文提出算法的平均像素偏差為8.2像素，平均距離偏差為0.022 m。已知茶園壟間道路平均寬度為1 m，道路平均距離偏差占比2.2%，從獲取圖像到完成提取路徑的耗時總計0.179 s。本文提出的道路識別方法有較高的精度和實時性，能夠為智慧茶園自動駕駛技術提供部分視覺參考。

[1] 董春旺. 茶葉智能化加工技術的創新思考[J]. 中國茶葉，2019，41(3)：53-55.

Dong Chunwang. Innovative thinking on intelligent tea processing technology[J]. Chinese Teas, 2019, 41(3): 53-55. (in Chinese with English abstract)

[2] 胡靜濤，高雷，白曉平，等. 農業機械自動導航技術研究進展[J]. 農業工程學報，2015，31(10)：1-10.

Hu Jingtao, Gao Lei, Bai Xiaoping, et al. Review of research on automatic guidance of agricultural vehicles [J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2015, 31(10): 1-10. (in Chinese with English abstract)

[3] 孟慶寬，張漫，仇瑞承，等. 基于改進遺傳算法的農機具視覺導航線檢測[J]. 農業機械學報，2014，45(10)：39-46.

Meng Qingkuan, Zhang Man, Qiu Ruicheng, et al. Navigation line detection for farm machinery based on improved genetic algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(10): 39-46. (in Chinese with English abstract)

[4] 張雄楚，陳兵旗，李景彬，等. 紅棗收獲機視覺導航路徑檢測[J]. 農業工程學報，2020，36(13)：133-140.

Zhang Xiongchu, Chen Bingqi, Li Jingbin, et al. Path detection of visual navigation for jujube harvesters[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(13): 133-140. (in Chinese with English abstract)

[5] Montalvo M, Pajares G, Guerrero J M, et al. Automatic detection of crop rows in maize fields with high weeds pressure [J]. Expert Systems with Applications, 2012, 39(15): 11889-11897.

[6] 張成濤，譚彧，吳剛，等. 基于達芬奇平臺的聯合收獲機視覺導航系統路徑識別[J]. 農業機械學報，2012，43(S1)：271-276.

Zhang Chengtao, Tan Yu, Wu Gang, et al. Path recognition of visual navigation system of combine harvester based on da vinci platform[J]. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(S1): 271-276. (in Chinese with English abstract)

[7] 關卓懷，陳科尹，丁幼春，等. 水稻收獲作業視覺導航路徑提取方法[J]. 農業機械學報，2020，51(1)：19-28.

Guan Zhuohuai, Chen Keyin, Ding Youchun, et al. Visual navigation path extraction method in rice harvesting[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(1): 19-28. (in Chinese with English abstract)

[8] 趙立明，葉川，張毅，等. 非結構化環境下機器人視覺導航的路徑識別方法[J]. 光學學報，2018，38(8)：267-276.

Zhao Liming, Ye Chuan, Zhang Yi, et al. Path recognition method of robot vision navigation in unstructured environments[J]. Acta Optica Sinica, 2018, 38(8): 267-276. (in Chinese with English abstract)

[9] 呂艷鵬，潘玉田. 基于BP神經網絡的非結構化道路識別[J]. 機械工程與自動化，2014(3)：178-180.

Lü Yanpeng, Pan Yutian. Unstructured road recognition based on BP neural network [J]. Mechanical Engineering and Automation, 2014(3): 178-180. (in Chinese with English abstract)

[10] 韓樹豐，何勇，方慧. 農機自動導航及無人駕駛車輛的發展綜述[J]. 浙江大學學報（農業與生命科學版），2018，44(4)：381-391，515.

Han Shufeng, He Yong, Fang Hui. Recent development in automatic guidance and autonomous vehicle for agriculture: A review[J]. Journal of Zhejiang University (Agriculture & Life Sciences), 2018, 44(4): 381-391, 515. (in English with Chinese abstract)

[11] Lin Y, Chen S. Development of navigation system for tea field machine using semantic segmentation[J]. IFAC PapersOnLine, 2019, 52 (30): 108-113.

[12] Lecun Y, Bengio Y, Hinton G. Deep learning [J]. Nature, 2015, 521(7553): 436-444.

[13] Saleem M, Potgieter J, Arif K. Automation in agriculture by machine and deep learning techniques: A review of recent developments[J]. Precision Agriculture, 2021, 22(6): 2053-2091.

[14] Kamilaris A, Prenafeta-boldu F X. A review of the use of convolutional neural networks in agriculture[J]. Journal of Agricultural Science, 2018, 156(3): 312-322.

[15] 鐘昌源，胡澤林，李淼，等. 基于分組注意力模塊的實時農作物病害葉片語義分割模型[J]. 農業工程學報，2021，37(4)：208-215.

Zhong Changyuan, Hu Zelin, Li Miao, et al. Real-time semantic segmentation model for crop disease leaves using group attention module[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(4): 208-215. (in Chinese with English abstract)

[16] 李云伍，徐俊杰，劉得雄，等. 基于改進空洞卷積神經網絡的丘陵山區田間道路場景識別[J]. 農業工程學報，2019，35(7)：150-159.

Li Yunwu, Xu Junjie, Liu Dexiong, et al. Field road scene recognition in hilly regions based on improved dilated convolutional networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(7): 150-159. (in Chinese with English abstract)

[17] Lin J, Wang W, Huang S, et al. Learning based semantic segmentation for robot navigation in outdoor environment[C]// Otsu: Proceedings of the Joint World Congress of International Fuzzy Systems Association & International Conference on Soft Computing & Intelligent Systems, 2017.

[18] 韓振浩，李佳，苑嚴偉，等. 基于U-Net網絡的果園視覺導航路徑識別方法[J]. 農業機械學報，2021，52(1)：30-39.

Han Zhenhao, Li Jia, Yuan Yanwei, et al. Path recognition of orchard visual navigation based on U-Net[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(1): 30-39. (in Chinese with English abstract)

[19] 饒秀勤，朱逸航，張延寧，等. 基于語義分割的作物壟間導航路徑識別[J]. 農業工程學報，2021，37(20)：179-186.

Rao Xiuqin, Zhu Yihang, Zhang Yanning, et al. Navigation path recognition between crop ridges based on semantic segmentation[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2021, 37(20): 179-186. (in Chinese with English abstract)

[20] Shelhamer E, Long J, Darrell T. Fully convolutional networks for semantic segmentation[J]. Ieee Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4): 640-651.

[21] Ronneberger O, Fischer P, Brox T. U-Net: Convolutional networks for biomedical image segmentation[J]. Springer International Publishing, 2015, 9351: 234-241

[22] 李琳，余勝生. 基于深度學習模型的圖像質量評價方法[J]. 華中科技大學學報：自然科學版，2016，44(12)：70-75.

Li Lin, Yu Shengsheng. Image quality assessment based on deep learning model[J]. Journal of Huazhong University of Science and Technology: Science and Technology, 2016, 44(12): 70-75. (in Chinese with English abstract)

[23] Wu Z, Shen C, Van Den Hengel A. Wider or deeper: Revisiting the ResNet model for visual recognition[J]. Pattern Recognition, 2019, 90: 119-133.

[24] Zhou D, Li M, Li Y, et al. Detection of ground straw coverage under conservation tillage based on deep learning[J]. Computers and Electronics in Agriculture, 2020, 172: 105369.

[25] 呂恩利，林偉加，劉妍華，等. 基于B樣條曲線的智能叉車托盤拾取路徑規劃研究[J]. 農業機械學報，2019，50(5)：394-402.

Lü Enli, Lin Weijia, Liu Yanhua, et al. Pallet picking path planning of intelligent forklift based on B-spline curve[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(5): 394-402. (in Chinese with English abstract)

[26] 王曉棟，徐成，劉彥. 一種實時魯棒的非結構化道路檢測算法[J]. 計算機應用研究，2010，27(7)：2763-2765，2769.

Wang Xiaodong, Xu Cheng, Liu Yan. Real-time and robust method for unstructured roads detection[J]. Application Research of Computers, 2010, 27(7): 2763-2765, 2769. (in Chinese with English abstract)

Navigation path recognition between tea ridges using improved Unet network

Zhao Yan1,3, Zhang Rentian1,2,3, Dong Chunwang2, Liu Zhongyuan1,2, Li Yang2※

(1.,,832000,; 2,,310000,;3,,832000,)

Navigation path recognition has been widely regarded as one of the most important sub-tasks of intelligent agricultural equipment. An intelligent tracked vehicle can also be expected to realize the automatic navigation on the road between the tea garden ridges. However, there are still some challenges on the navigation path recognition between tea ridges using deep learning models, such as the low accuracy, real-time performance, and model interpretability. In this research, a new Unet-ResNet34 model was proposed to accurately and rapidly recognize the navigation path between the tea ridges using semantic segmentation. The midpoints of the navigation path were then generated using the navigation path extracted from the model. Finally, the multi-segment cubic B-spline curve equation was used to fit the midpoints, in order to generate the navigation line between the tea garden ridges. The Image Labeler toolbox in the Matlab 2019 platform was selected to label the navigation path in the collected images for the navigation path dataset. A navigation path dataset was then obtained consisting of 1 824 images. Among them, 1 568 and 256 images in the dataset were randomly selected for the training and the validation set, respectively. Under different illumination and weed conditions, the Mean Intersection over Union (MIoU) was utilized as the accuracy indicator of the Unet-ResNet34 model, which was 91.89% for the tea road segmentation. The navigation path segmentation mask was also used to generate the navigation information and keypoints for the path fitting. Furthermore, the multi-segment cubic B-spline curve equation was selected to calculate the navigation line of the tea road between ridges using the midpoints as the control points. Additionally, the navigation line was selected to further calculate the pixel and distance error. The mean difference between the predicted pixel and distance error of tea navigation paths were 8.2 pixels and 0.022 m, respectively. As such, the width of the tea navigation path was achieved about 1 m, where the ratio was 2.2% between the average distance error and the width of the tea navigation path. In terms of real-time performance and the number of parameters, the inference speed of the Unet-ResNet34 model was 36.8 frames per second. The number of parameters of the Unet-ResNet34 model was 26.72 M. The inference speed was 36.8 frames per second to process the RGB image with a size of 960×544. A visualization method of gradient weighted class activation mapping (Grad-CAM) was used to visually represent the final extraction feature of the improved models. More importantly, the special features were highlighted on the navigation path between the tea inter-ridges in the optimized Unet-ResNet34 structure, while retaining only the most crucial feature extractors. The speed of the tracked vehicle in the tea was mostly 0-1 m/s, particularly with the 0.179 s average processing time of a single tea inter-ridge image. In summary, the improved model can be fully realized the real-time and accurate navigation path recognition of tea ridges. The finding can also provide the technical and theoretical support to the intelligent agricultural equipment in the tea environment.

navigation; deep learning; visualization of tea garden; path recognition; semantic segmentation; spline curve fitting

10.11975/j.issn.1002-6819.2022.19.018

S24

A

1002-6819(2022)-19-0162-10

趙巖，張人天，董春旺，等. 采用改進Unet網絡的茶園導航路徑識別方法[J]. 農業工程學報，2022，38(19)：162-171.doi：10.11975/j.issn.1002-6819.2022.19.018 http://www.tcsae.org

Zhao Yan, Zhang Rentian, Dong Chunwang, et al. Navigation path recognition between tea ridges using improved Unet network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(19): 162-171. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.19.018 http://www.tcsae.org

2022-06-01

2022-07-26

浙江省“尖兵”研發攻關計劃（2022C02010）；中央級院所基本科研業務費專項（1610212021004；1610212022004）

趙巖，教授，研究方向為農業機械化工程。Email：115374865@qq.com

李楊，博士，助理研究員，研究方向為智能農業裝備。Email：Li91yang@163.com