基于語義分割的作物壟間導航路徑識別

饒秀勤，朱逸航，張延寧，楊海濤，張小敏，林洋洋，耿金鳳，應義斌

基于語義分割的作物壟間導航路徑識別

饒秀勤1,2，朱逸航1,2，張延寧1,2，楊海濤3，張小敏1,2，林洋洋1,2，耿金鳳1,4,5，應義斌1,2

（1. 浙江大學生物系統工程與食品科學學院，杭州 310058；2. 農業農村部農產品產地處理裝備重點實驗室，杭州 310058；3. 浙江大學數學科學學院，杭州 310058；4. 棗莊學院機電工程學院，棗莊 277101；5. 新多集團有限公司，永康 321300）

針對目前農作物壟間導航路徑識別目前存在準確性、實時性差、通用性弱及深度學習模型解釋困難等問題，該研究在Unet模型的基礎上進行剪枝與優化，提出了保留Unet模型特征跳躍連接優勢的Fast-Unet模型，并以模型所識別的導航路徑為基礎，通過最小二乘法回歸生成壟間導航線與偏航角。該研究首先在棉花壟間導航路徑數據集上進行模型訓練，隨后將訓練的模型遷移至玉米、甘蔗等小樣本數據集進行導航路徑識別，通過使用梯度加權類激活映射法對模型識別過程與遷移學習過程進行解釋，對各模型識別結果進行可視化對比。Fast-Unet模型對棉花、玉米、甘蔗導航路徑提取精度指標平均交并比分別為0.791、0.881和0.940。模型推理速度為Unet的6.48倍，在單核CPU上處理RGB圖像的推理速度為64.67幀/s，滿足農作物導航路徑識別的實時性需求。研究結果可為田間智能農業裝備的導航設備研制提供技術與理論基礎。

圖像處理；導航；路徑識別；語義分割；遷移學習；深度學習

0 引 言

智能農業裝備在田間作業時的導航路徑控制是農業向智能化方向發展過程中至關重要的一環[1]。目前智能農機田間路徑導航以衛星定位系統導航和機器視覺導航為主[2]。基于衛星定位系統的導航技術精度有限[3]，多適用于大田路徑規劃場景。機器視覺技術可以識別田壟間導航路徑，解決田間種植行間距窄、田間先遣路徑難以保持穩定等情況，解決農機易產生壓苗的問題[4-6]，為智能農業裝備提供實時導航信息[7]。但目前基于機器視覺的導航方案依舊面臨田間光照環境多變和田間路況復雜的挑戰[8-12]。通常情況下，傳統機器視覺方法只能在特定作物、特定環境下有效，泛化能力較弱。此外，農機在行進中需要實時進行路徑調整，對圖像數據進行實時處理也是機器視覺導航的另一大挑戰[13-15]。

近年來，深度學習在機器視覺領域發展迅速[16]，其中的卷積神經網絡算法更是被廣泛應用于各類農業視覺任務場景[17-19]，并取得較好的效果。而在結構化道路識別方面，卷積神經網絡已被廣泛應用于結構化道路下的汽車自動駕駛[20]。同時，使用基于深度學習的機器視覺技術可以避免因人為選擇圖像特征而產生的局限性[10]，提高機器視覺算法的精確性與魯棒性。

已有學者在基于深度學習算法的非結構化道路識別與導航領域開展研究，如Lin等[21]實現了一種基于深度學習的像素級道路檢測和機器人導航控制方案。宋廣虎等[22]使用全卷積網絡（Fully Convolutional Networks，FCN）[23]在葡萄種植園中檢測行間道路并實現精確導航。李云伍等[24]使用FCN實現了丘陵山區田間道路場景的語義分割，平均交并比（MIoU）達到0.732。Lin等[13]在FCN的基礎上提出并利用Enet對茶葉種植場景的茶行輪廓進行語義分割，MIoU達到0.734，為騎式采茶機提供實時導航。Badrinarayanan等提出的基于FCN的SegNet[25]進一步提高了自動駕駛的圖像語義分割識別精度。

但目前基于語義分割的田壟間道路識別方法依舊存在以下幾個問題：一是在深度學習語義分割算法帶來的高精度的同時，需要考慮與計算資源的高算力需求之間的平衡問題；二是現有研究大多關注于單一作物壟間場景的導航路徑識別，缺乏一種相對通用的方法；三是基于深度學習語義分割算法在作物壟間導航路徑識別過程中不能得到較好的解釋。

針對上述問題，本研究基于卷積神經網絡建立基于Unet[26]的實時棉花壟間圖像語義分割模型，并對模型進行剪枝與優化，提出Fast-Unet模型，在棉花壟間導航路徑識別的基礎上進行小樣本遷移學習，檢驗所建模型對玉米及甘蔗的壟間導航路徑識別性能，并提取導航線，檢驗導航偏航角，以解決單一作物壟間導航路徑識別泛化性差的問題。此外，本研究通過梯度加權類激活映射法[27]（Gradient-weighted Class Activation Mapping，Grad-CAM）解釋本文算法的末端分類規則及遷移學習優勢的合理性，為模型產生的偏差與效果提供解釋，以解決深度學習語義分割算法可解釋性較弱的問題。

1 材料與方法

1.1 數據集構建

本研究從復雜場景出發，以作物生長高度與姿態為依據選取3種作物代表常見的大田壟間導航場景。中等高度常見作物以棉花為代表；相對高大的直立作物以玉米為代表，相對低矮的作物以幼苗期的甘蔗為代表。如圖1所示，本研究所選取的作物均在導航路徑上方存在交錯葉片，增加了導航路徑的識別場景復雜度。

本文使用Vision Datum公司的Mars2000-50gc相機，分別于2020年7月在安徽省安慶市望江縣棉花試驗田中采集盛蕾期棉花圖像數據，棉花品種為中棉所63號；2021年5月在山東省棗莊市薛城區采集穗期玉米圖像數據，玉米品種為農大108；2020年10月在廣西省北海市合浦縣采集青皮甘蔗幼苗期圖像數據。在采集時相機安裝于移動平臺上，在移動平臺移動時對當前的作物壟間圖像進行連續采集。試驗先選取800幅分辨率為1 900×1 180的棉花壟間導航路徑圖片并進行標注，生成棉花數據集；采集相同像素的玉米壟間圖片100幅，甘蔗壟間圖像100幅，分別生成玉米數據集與甘蔗數據集。圖像示例如圖1所示。

棉花壟間導航路徑數據集按4∶1劃分為訓練集和驗證集，訓練集共640幅圖像，驗證集共160幅圖像。

用于遷移學習的玉米壟間導航路徑與甘蔗導航路徑數據集按1∶1劃分為訓練集和驗證集，訓練集50幅圖像，驗證集50幅圖像。

1.2 數據增強

為了擴增數據集，本文在模型訓練過程中采用原始輸入圖像隨機旋轉90°、水平或者垂直翻轉、調整圖像色相飽和度明度（Hue，Saturation，Value，HSV）等方法進行隨機數據增強，以提高模型的魯棒性和準確性。在每次迭代訓練讀取圖片數據時，原始圖像按順序執行上述步驟。每個步驟會有50%的概率觸發變化。HSV隨機變換限制在一定范圍內，色調（H）的變換范圍小于20°，飽和度（S）的變換范圍小于30%，明度（V）的變換范圍小于20%。

隨機旋轉和翻轉圖像為數據集中各類作物壟間導航路徑的方向確認提供保障，圖像HSV隨機調整為模型適應不均勻的自然光照環境提供了保障。

1.3 評價指標

在語義分割任務中，一般從模型推理速度，模型參數數量和精度3個方面進行考量。推理速度代表模型的實時性水平，模型參數量代表模型對計算機的內存占用水平，精度估算選取平均交并比（Mean Intersection-over- Union，MIoU）。

推理速度本文采用每秒處理幀數（Frames Per Second，FPS）表示，為排除計算機硬盤讀寫速度對算法性能的干擾，本文在計算推理速度時排除所有數據集讀取時間與圖像加載時間，僅計算圖像從輸入模型到輸出的時間。

模型參數數量使用算法在運行時實際占用計算機內存資源數值。

MIoU是在語義分割任務中的一種標準度量，真實值與預測值2個集合的交集和并集之比，計算公式如下：

2 基于語義分割的農作物壟間路徑識別模型

基于深度學習的語義分割算法對圖像進行像素級的分類。輸入圖片進行深度神經網絡處理時被卷積層和池化層編碼[28]。編碼器的輸出經過解碼器進行解碼，生成輸出圖像。解碼器由雙線性差值或反卷積進行上采樣生成，增加高階特征的分辨率，確保輸出圖像大小與輸入圖像相同，并對每個像素的類別進行預測。

FCN、SegNet和Unet作為編碼-解碼框架下的經典模型，具有準確度高的特點，但其運算量大，運行相對緩慢。針對該問題，本文在Unet的基礎上進行剪枝與優化，提出Fast-Unet模型。

2.1 語義分割模型

傳統的FCN在圖像語義分割中各尺度特征間的聯系有限，Unet解決了該問題，但Unet網絡運行效率不高，因此本文在Unet基礎上提出了Fast-Unet模型。Unet網絡通過跳躍連接將網絡下采樣時的高分辨率信息與上采樣時的低分辨率信息使用特征疊加的方式整合，以豐富采樣信息，提高分割精度。

為滿足智能農機導航路徑識別的實時性需求，本文對Unet結構進行優化。考慮到作物壟間導航路徑的分類任務與城市場景分類任務相比較為簡單，縮減75%卷積核數量與前向傳遞推導過程中的特征圖數量，Fast-Unet模型參數的減少為路徑識別的實時性提供了保障。

為了進一步加快運行速度，本文將Unet及FCN中常用的反卷積上采樣操作替換為雙線性插值法，在保持精度水平基本不變的前提下，降低模型運算量。Fast-Unet的網絡架構如圖3所示。

2.2 遷移學習

遷移學習是深度學習模型運用已有知識對新知識進行學習的過程，其核心是尋找已有知識和新知識之間的相似性[29]。在遷移學習中，已有知識稱為源域，本文源域是棉花壟間導航路徑識別數據集的特征空間，目標域是玉米與甘蔗壟間導航路徑數據集的特征空間。源域與目標域不同但是有一定的關聯。

本文基于模型遷移，假設源域與目標域可以共享一些模型參數，將源域的特征空間上學習到的模型應用于目標域的特征空間上，再根據目標域學習新的模型。

2.3 模型可解釋性

為了更好地理解本文所提出的Fast-Unet模型，并對其語義分割的視覺任務進行可視化解釋，采用Grad-CAM方法，在沒有注意力機制的基礎上對圖像位置進行判別，并且不需要修改網絡結構與重新訓練。

Grad-CAM使用流入最后一個卷積層的梯度信息為每個神經元分配權重，并基于特定的關注進行決策。本文只解釋輸出層的決策內容。

2.4 導航路徑與導航線提取

對作物壟間導航路徑識別后，進一步基于已有路徑提取壟間道路導航線。由于玉米與甘蔗的壟間導航路徑基本為直線，因此可以求取其偏航角。

首先，深度學習語義分割模型對壟間導航路徑進行分割，生成由壟間導航路徑與背景所構成的二值化圖像，如圖4b所示。選取二值化圖像中的最大連通區域作為壟間導航路徑，并使用Canny算子提取最大聯通區域的邊界，如圖4c所示。隨后，將邊界上的點求中值，生成路徑中心線散點圖，如圖4d所示。最后，將中心線散點圖以圖像長寬為坐標軸進行一元一次方程的最小二乘回歸，求出導航線方程，如圖4e所示。偏航角為回歸函數斜率系數倒數的反正切函數值，計算公式如下：

本文將由標記數據回歸生成的導航線作為真值，與預測數據回歸生成的預測值進行對比，計算偏航角的平均差距與偏航線位置的平均差異。

平均偏航角的計算公式為：

3 結果與分析

3.1 試驗平臺

試驗中模型訓練的計算機處理器為Intel（R）Xeon（R）Gold 6147M，基準頻率為2.50 GHz，圖形處理器（GPU）為NVIDIA TITAN RTX，內存為256 GB，操作系統為Ubuntu 18.04.1。

為模擬實際場景，測試模型的計算機處理器為Intel（R）Core（R）i5-4258UM，基準頻率為2.40 GHz的CPU的單一核心，無獨立GPU，內存為8 GB，操作系統為macOS。

3.2 超參數設置與模型訓練

本文作物壟間導航路徑識別訓練時所采用的超參數為：迭代次數（Epochs）為100次，最小批處理大小（MiniBatch Size）為32張圖片。采用學習率衰減訓練策略中的學習率調整策略，學習率分布如表1所示。

表1 學習率調整策略

田壟間導航路徑識別任務明確，與常規語義分割物體識別任務差異較大，同時棉花導航路徑數據充足，因此棉花數據集在訓練時并沒有使用遷移學習。對玉米及甘蔗數據集進行遷移學習訓練時，將在棉花數據集上通過直接訓練得到的最佳模型參數作為新模型的初始訓練參數，其余訓練參數和學習率策略與原始訓練保持一致。

使用BCEDiceLoss作為訓練的損失函數。該損失函數由Dice Loss和二分類交叉熵損失（Binary Cross Entropy Loss，BCELoss）按權重加權計算，具體公式如下：

DiceLoss從全局出發判斷預測圖的分類效果，而BCELoss從細節出發判斷每個像素點分類效果。本文對作物壟間導航路徑的識別需要注重全局判斷的準確性，并兼顧細節，所以在BCEDiceLoss的計算中賦予DiceLoss更高的權重，本文設=0.5。

訓練過程中FCN模型、SegNet模型、Unet模型以及本文Fast-Unet模型的損失函數曲線，如圖5所示。

由圖5可以看出，訓練集的損失函數隨著迭代次數的增加而下降。觀察模型在驗證集上的損失計算可以發現，在迭代次數達到30次左右時，3個模型的驗證集損失函數值已基本保持不變，繼續下調學習率也不能對模型產生明顯的改善。本文Fast-Unet模型的表現介于Unet和FCN模型之間。

分別對FCN、SegNet、Unet及Fast-Unet模型的最后一層卷積層進行可視化，以棉花田壟間導航路徑識別為例得到如圖6所示的結果。

觀察模型的CAM圖發現3種模型，對于作物壟間道路的關注區域有所不同。從圖6d中觀察到FCN的關注區域集中于局部，各個尺度特征間的聯系有限，對全圖像尺度特征識別存在明顯缺陷。從圖6c和圖6e中觀察到SegNet和Unet的關注區域已將作物壟間導航路徑進行覆蓋，更多聚焦在導航路徑周邊的作物上。可以判斷SegNet和Unet在識別時受較多深層尺度信息的干擾。網絡結構在多次下采樣后讀取的信息更關注于圖像的大尺寸特征，而SegNet與Unet的網絡結構在下采樣后保留了數倍于Fast-Unet的特征圖。本研究所用的數據集較小，輸入圖像尺寸小，當模型存在大量深層特征圖時更容易發生偏向于大尺寸特征的過擬合。從圖6f中可以觀察到，本文Fast-Unet模型更關注于作物壟間導航路徑內的特征，該優勢來源于對Unet的結構優化，去除了大量的特征圖，僅保留了最重要的特征提取器，因此對特征的讀取也更接近圖6b的人工標簽及圖6a的路徑彎曲特征。

為了驗證模型在多種作物壟間導航路徑的識別與分割，以場景最為復雜的棉花壟間導航路徑數據集作為源域，向場景相對簡單的玉米與甘蔗導航路徑數據集的目標域上遷移。遷移學習時訓練的Fast-Unet的損失數如圖 7所示。

由圖7中可以觀察到，不論是玉米導航路徑還是甘蔗導航路徑，遷移學習過程的初始損失值都遠低于非遷移學習過程的初始損失值，并且遷移學習中訓練集與驗證集的損失值差距小于非遷移數據集。此外，在使用遷移學習的過程中，模型損失函數在第30次迭代前基本收斂。

在非遷移學習情況下，驗證集的損失函數值在第70次迭代后才開始快速下降，而第70次迭代時模型的訓練學習率調整降至最低的0.000 1。低學習率訓練的主要目的是對模型進行微調，進一步改進其性能。而在非遷移學習的環境中，最低學習率的步驟卻起到了降低損失函數值的主導作用。本文遷移學習所用的目標域數據集較小，該現象很可能是源于模型對數據中非關鍵特征產生過擬合現象。本文對各模型識別過程使用Grad-CAM，對識別特征進行可視化，進而繼續解釋模型的關注重點。

從可視化結果（圖8）可以發現，遷移學習模型與直接訓練模型的最終關注點存在較大的差異。首先從圖8f和圖8h觀察到，基于遷移學習的方法擁有較大的激活區域，且激活的區域基本與識別的主干道路匹配，從甘蔗導航路徑Grad-CAM（圖8h）中可以觀察到，周邊的壟間導航路徑也同樣被關注，代表本文模型的輸出結果是先識別出所有的導航路徑后再進行選擇需要輸出的部分。而從圖8e和圖8g中可以觀察到，直接由小樣本訓練產生的模型則關注圖像的中下部位，玉米壟間路徑識別的強度較高，模型有過擬合可能，甘蔗導航路徑識別的總體信號則偏弱，模型對關鍵信息提取不足。

對預測結果的二值化圖進行觀察發現，圖8f相較于圖8e與圖8b的標簽更接近，圖8h相較于圖8g與標注的道路數據真值更為相似。更適合作為導航路徑。

3.3 模型性能驗證

以棉花棉花壟間導航路徑數據集以96×96（像素）的RGB圖片作為輸入，試驗結果如表2所示。可以看出，Unet網絡在精度、推理速度、模型參數量3個方面相較于FCN具有一定的優勢。Unet網絡的平均交并比、推理速度分別為0.805、9.98幀/s，相對于FCN模型分別提高4.14%和34.50%；Unet網絡的模型參數量為7.85×106，相較于FCN網絡減少了60.95%。

本文Fast-Unet模型在精度上高于FCN但是略低于Unet，而模型參數量僅為Unet網絡的6.24%。在單個CPU核上的推理速度是Unet網絡的6.48倍。

表2 模型性能對比

基于棉花壟間導航路徑數據集訓練的Fast-Unet模型遷移學習后在玉米和甘蔗數據集的模型精度表現如下表 3所示。

表3 Fast-Unet遷移學習MIoU結果比較

甘蔗與玉米導航路徑數據集在使用遷移學習方法訓練所得模型的MIoU都優于非遷移學習訓練模型。在SegNet、FCN、Unet網絡中，甘蔗導航路徑遷移學習的MIoU相較非遷移學習分別提升214.97%、435.63%、275.38%；玉米導航路徑遷移學習的MIoU相較非遷移學習分別提升56.64%、21.05%、10.16%。在遷移學習后，本文Fast-Unet模型和Unet模型的MIoU仍處于類似水平。在識別難度相對較低的甘蔗導航路徑場景中，Fast-Unet在遷移學習與非遷移學習中都取得了更高MIoU，相較于Unet分別提升了0.43%、38.77%。

3.4 導航線提取結果

棉花田壟間的導航因為存在小場景內道路曲折的問題，不適宜使用最小二乘回歸方法生成導航的回歸線并計算偏航角，針對此類情況，直接選取生成路徑的中線。甘蔗與玉米的導航線提取結果具體如表4所示。

表4 各種模型對不同作物條件下的偏航角統計

從表4可以看出，Unet與Fast-Unet的導航性能基本沒有差異，導航線的精度表現與導航路徑的MIoU的結果類似。Unet與Fast-Unet模型在甘蔗和玉米田的偏航角平均僅相差0.066、0.003。

此外，本文的甘蔗導航路徑識別因為自身特征明顯，所以相較于玉米導航路徑識別精度更高。而大部分作物壟間導航路徑的識別難度在甘蔗導航路徑識別與玉米導航路徑識別之間，因此可以推斷本文提出的Fast-Unet模型在遷移學習的條件下能夠準確識別其他類別作物的導航路徑并計算偏航角。

4 結 論

本研究針對智能農業裝備在田壟間作業的導航問題，在語義分割算法Unet的基礎上通過剪枝與優化模型結構提出了Fast-Unet模型。并通過遷移學習實現在棉花、甘蔗以及玉米3種作物在田間自然光照及作物遮擋道路條件下的壟間導航路徑的有效識別。主要結論如下：

1）本研究在Unet的基礎上提出了Fast-Unet模型，模型對棉花、玉米、甘蔗導航路徑識別精度MIoU分別為0.791、0.881和0.940，在保證精度的前提下，Fast-Unet模型的參數數量為Unet的6.24%，推理速度為Unet的6.48倍，單核CPU的處理速度為64.47 幀/s，滿足嵌入式環境下的實時性需求。

2）使用遷移學習將在大樣本棉花數據集上訓練完成的模型遷移至甘蔗和玉米的小樣本數據集。驗證通過小樣本遷移學習進行拓展作物適用范圍的可行性，提出了壟間導航路徑識別的通用方法。

3）采用Grad-CAM方法對研究過程中的模型差異及是否使用遷移學習進行可視化解釋，討論了不同模型架構在進行導航路徑識別時的差異來源。從激活區域的位置與強度出發進一步解釋了模型的關注點，驗證了Fast-Unet設計思路的合理性。通過Grad-CAM解決了深度學習語義分割算法在作物壟間導航路徑識別過程中難以得到較好解釋的問題。

4）通過Canny邊緣檢測從模型識別的導航路徑中提取出導航路徑中線，作為農機導航線。對于甘蔗及玉米等導航路徑以直線為主的場景，將農機導航線通過最小二乘法回歸即可計算出農機在田間移動時所需的偏航角。

[1] 張漫，季宇寒，李世超，等. 農業機械導航技術研究進展[J]. 農業機械學報，2020，51(4)：1-18.

Zhang Man, Ji Yuhan, Li Shichao, et al. Research progress of agricultural machinery navigation technology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(4): 1-18. (in Chinese with English abstract)

[2] 胡靜濤，高雷，白曉平，等. 農業機械自動導航技術研究進展[J]. 農業工程學報，2015，31(10)：1-10.

Hu Jingtao, Gao Lei, Bai Xiaoping, et al. Review of research on automatic guidance of agricultural vehicles[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(10): 1-10. (in Chinese with English abstract)

[3] Gao X, Li J, Fan L. Review of wheeled mobile robots' navigation problems and application prospects in agriculture[J]. IEEE Access, 2018, 6: 49248-68.

[4] 張雄楚. 棉花鋪膜播種作業拖拉機視覺導航路徑檢測與控制算法研究[D]. 石河子；石河子大學，2019.

Zhang Xiongchu. Study on the Visual Navigation Path Detection and Control Algorithm of the Tractor in Cotton Film-Spreading Operation[D]. Shihezi: Shihezi University, 2019. (in Chinese with English abstract)

[5] 孟慶寬，張漫，仇瑞承，等. 基于改進遺傳算法的農機具視覺導航線檢測[J]. 農業機械學報，2014，45(10)：39-46.

Meng Qingkuan, Zhang Man, Qiu Ruicheng, et al. Navigation line detection for farm machinery based on Improved genetic algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(10): 39-46. (in Chinese with English abstract)

[6] 宮金良，王祥祥，張彥斐，等. 基于邊緣檢測和區域定位的玉米根莖導航線提取方法[J]. 農業機械學報，2020，51(10)：26-33.

Gong Jinliang, Wang Xiangxiang, Zhang Yanfei, et al. Extraction method of corn rhizome navigation lines based on edge detection and area localization[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(10): 26-33. (in Chinese with English abstract)

[7] 張雄楚，陳兵旗，李景彬，等. 紅棗收獲機視覺導航路徑檢測[J]. 農業工程學報，2020，36(13)：133-40.

Zhang Xiongchu, Chen Bingqi, Li Jingbin, et al. Path detection of visual navigation for jujube harvesters[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(13): 133-40. (in Chinese with English abstract)

[8] 劉路，潘艷娟，陳志健，等. 高遮擋環境下玉米植保機器人作物行間導航研究[J]. 農業機械學報，2020，51(10)：18-24.

Liu Lu, Pan Yanjuan, Chen Zhijian, et al. Inter-rows navigation method for corn crop protection vehicles under high occlusion environment[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(10): 18-24. (in Chinese with English abstract)

[9] 宋懷波，何東健，辛湘俊. 基于機器視覺的非結構化道路檢測與障礙物識別方法[J]. 農業工程學報，2011，27(6)：225-230.

Song Huaibo, He Dongjian, Xin Xiangjun. Unstructured road detection and obstacle recognition algorithm based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(6): 225-230. (in Chinese with English abstract)

[10] 趙立明，葉川，張毅，等. 非結構化環境下機器人視覺導航的路徑識別方法[J]. 光學學報，2018，38(8)：267-276.

Zhao Liming, Ye Chuan, Zhang Yi, et al. Path recognition method of robot vision navigation in unstructured environments[J]. Acta Optica Sinica, 2018, 38(8): 267-276. (in Chinese with English abstract)

[11] 呂艷鵬，潘玉田. 基于BP神經網絡的非結構化道路識別[J]. 機械工程與自動化，2014(3)：178-180.

Lv Yanpeng, Pan Yutian. Unstructured road detection based on BP neural network[J]. Mechanical Engineering & Automation, 2014(3): 178-180. (in Chinese with English abstract)

[12] 韓樹豐，何勇，方慧. 農機自動導航及無人駕駛車輛的發展綜述[J]. 浙江大學學報：農業與生命科學版，2018，44(4)：381-391，515.

Han Shufeng, He Yong, Fang Hui. Recent development in automatic guidance and autonomous vehicle for agriculture: A review[J]. Journal of Zhejiang University: Agriculture & Life Sciences, 2018, 44(4): 381-391, 515. (in English with Chinese abstract)

[13] Lin Y, Chen S. Development of navigation system for tea field machine using semantic segmentation[J]. IFAC PapersOnLine, 2019, 52(30): 108-113.

[14] 李云伍，徐俊杰，王銘楓，等. 丘陵山區田間道路自主行駛轉運車及其視覺導航系統研制[J]. 農業工程學報，2019，35(1)：52-61.

Li Yunwu, Yu Junjie, Wang Mingfeng, et al. Development of autonomous driving transfer trolley on field roads and its visual navigation system for hilly areas[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(1): 52-61. (in Chinese with English abstract)

[15] 楊洋，張博立，查家翼，等. 玉米行間導航線實時提取[J]. 農業工程學報，2020，36(12)：162-171.

Yang Yang, Zhang Boli, Zha Jiayi, et al. Real-time extraction of navigation line between corn rows[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(12): 162-171. (in Chinese with English abstract)

[16] Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436.

[17] Saleem M, Potgieter J, Arif K. Automation in agriculture by machine and deep learning techniques: a review of recent developments[J]. Precision Agriculture, 2021, 22(6), 2253-2091.

[18] Kamilaris A, Prenafeta-boldú F. A review of the use of convolutional neural networks in agriculture[J]. The Journal of Agricultural Science, 2018, 156(3): 312-322.

[19] 鐘昌源，胡澤林，李淼，等. 基于分組注意力模塊的實時農作物病害葉片語義分割模型[J]. 農業工程學報，2021，37(4)：208-215.

Zhong Changyuan, Hu Zelin, Li Miao, et al. Real-time semantic segmentation model for crop disease leaves using group attention module[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(4): 208-215. (in Chinese with English abstract)

[20] 張新鈺，高洪波，趙建輝，等. 基于深度學習的自動駕駛技術綜述[J]. 清華大學學報：自然科學版，2018，58(4)：438-444.

Zhang Xinyu, Gao Hongbo, Zhao Jianhui, et al. Overview of deep learning intelligent driving methods[J]. Journal of Tsinghua University: Science and Technology, 2018, 58(4): 438-444. (in Chinese with English abstract)

[21] Lin J, Wang W, HuangS, et al. Learning based semantic segmentation for robot navigation in outdoor environment[C]// Proceedings of the Joint World Congress of International Fuzzy Systems Association & International Conference on Soft Computing & Intelligent Systems, F, 2017.

[22] 宋廣虎，馮全，海洋，等. 采用深度學習法優化的葡萄園行間路徑檢測[J]. 林業機械與木工設備，2019，47(7)：24-28.

Song Guanghu, Feng Quan, Hai Yang, et al. Vineyard inter-row path detection based on deep learning[J]. Forestry Machinery & Woodworking Equipment, 2019, 47 (7): 24-28. (in Chinese with English abstract)

[23] Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 39(4): 640-651.

[24] 李云伍，徐俊杰，劉得雄，等. 基于改進空洞卷積神經網絡的丘陵山區田間道路場景識別[J]. 農業工程學報，2019，35(7)：150-159.

Li Yunwu, Xu Junjie, Liu Dexiong, et al. Field road scene recognition in hilly regions based on improved dilated convolutional networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(7): 150-159. (in Chinese with English abstract)

[25] Badrinarayanan V, Kendall A, Cipolla R. SegNet: A deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(12): 2481-2495.

[26] Ronneberger O, Fischer P, Brox T. U-net: convolutional networks for biomedical image segmentation[J]. Springer International Publishing, 2015, 9351: 234-241.

[27] Selvarajur R, Cogswell M, Das A, et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization[J]. International Journal of Computer Vision, 2020, 128(2): 336-359.

[28] 胡濤，李衛華，秦先祥. 圖像語義分割方法綜述[J]. 測控技術，2019，38(7)：8-12.

Hu Tao, Li Weihua, Qin Xianxiang. A review on image semantic segmentation[J]. Measurement & Control Technology, 2019, 38(7): 8-12. (in Chinese with English abstract)

[29] Bosilj P, Aptoula E, Duckett T, et al. Transfer learning between crop types for semantic segmentation of crops versus weeds in precision agriculture[J]. Journal of Field Robotics, 2020, 37(1): 7-19.

Navigation path recognition between crop ridges based on semantic segmentation

Rao Xiuqin1,2, Zhu Yihang1,2, Zhang Yanning1,2, Yang Haitao3, Zhang Xiaomin1,2, Lin Yangyang1,2, Geng Jinfeng1,4,5, Ying Yibin1,2

(1.,,310058,; 2.,,310058,; 3.,,310058,; 4.,,277101,; 5..,.,321300,)

A navigation path has been widely considered as one of the most important sub-tasks of intelligent agricultural equipment in field operations. However, there are still some challenges remaining on the recognition of current navigation paths between crop ridges, including the accuracy, real-time performance, generalization, and difficulty in the interpretation of deep learning models. In this research, a new Fast-Unet model was proposed to accurately and rapidly recognize the navigation path between crop ridges using semantic segmentation. The jump connection of the Unet model was also retained to generate the navigation line and yaw angle using the least square regression. Specifically, a cotton dataset of inter-ridge navigation path consisted of 800 images, 640 of which was set as the training set, 160 of that as the validation set. Subsequently, two datasets of 100 images each were constructed for the navigation paths of sugarcane and cotton ridges, which were divided into 50 images in the training set, and 50 images in the verification set. The training strategy was selected as the data augmentation and learning rate adjustment. The training order was ranked as the corn first, and then the sugarcane dataset. The Mean Intersection over Union (MIoU) was utilized as the accuracy indicator of the Fast-Unet model, which was 0.791 for cotton, 0.881 for maize, and 0.940 for sugarcane. Furthermore, the least-squares regression was selected to calculate the navigation path of maize and sugarcane with good linearity between the ridges. Additionally, the navigation line was selected to further calculate the yaw angle. The mean difference between the predicted yaw angle of maize and sugarcane navigation path and the labeled were 0.999° and 0.376° under the Fast-Unet model, respectively. In terms of real-time performance, the inference speed of the Fast-Unet model was 6.48 times higher than that of Unet. The inference speed was 64.67 frames per second to process the RGB image data on a single-core CPU, while the number of parameters of the Fast-Unet model was 6.24% of that of Unet model. Correspondingly, the computing devices were deployed with weak computing power, thereby performing real-time calculations. A gradient weighted class activation mapping(Grad-CAM) was also used to visually represent the final feature extraction of model recognition and transfer learning. More importantly, the special features were highlighted on the navigation path between crop ridges in the optimized Fast-Unet structure, concurrently to remove a large number of redundant feature maps, while retaining only the most crucial feature extractors. The transfer learning also presented a larger activation area than the direct training, where the activated area matched the main road to be identified. In summary, the improved model can be fully realized the real-time recognition of maize navigation path. The finding can also provide technical and theoretical support to the development of navigation equipment for intelligent agricultural machinery in the field.

image processing; navigation; path recognition; semantic segmentation; transfer learning; deep learning

饒秀勤，朱逸航，張延寧，等. 基于語義分割的作物壟間導航路徑識別[J]. 農業工程學報，2021，37(20)：179-186.doi：10.11975/j.issn.1002-6819.2021.20.020 http://www.tcsae.org

Rao Xiuqin, Zhu Yihang, Zhang Yanning, et al. Navigation path recognition between crop ridges based on semantic segmentation[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(20): 179-186. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.20.020 http://www.tcsae.org

2021-06-10

2021-08-05

國家重點研發計劃（2017YFD0700901）

饒秀勤，博士，教授，博士生導師，研究方向為智能農業裝備。Email：xqrao@zju.edu.cn

10.11975/j.issn.1002-6819.2021.20.020

S24

A

1002-6819(2021)-20-0179-08