基于移位窗口Transformer網絡的玉米田間場景下雜草識別

王 璨，武新慧，張燕青，王文俊

·農業信息與電氣技術·

基于移位窗口Transformer網絡的玉米田間場景下雜草識別

王 璨，武新慧※，張燕青，王文俊

（山西農業大學農業工程學院，太谷 030801）

針對實際復雜田間場景中作物與雜草識別準確性與實時性差，易受交疊遮擋影響，像素級數據標注難以大量獲取等問題，該研究提出基于移位窗口Transformer網絡（Shifted Window Transformer，Swin Transformer）的高效識別方法，在實現作物語義分割的基礎上快速分割雜草。首先建立玉米語義分割模型，引入Swin Transformer主干并采用統一感知解析網絡作為其高效語義分割框架；改進Swin Transformer主干調整網絡參數，生成4種改進模型，通過精度與速度的綜合對比分析確定最佳模型結構；基于玉米形態分割，建立改進的圖像形態學處理組合算法，實時識別并分割全部雜草區域。測試結果表明，該研究4種改進模型中，Swin-Tiny-UN達到最佳精度-速度平衡，平均交并比為94.83%、平均像素準確率為97.18%，推理速度為18.94幀/s。對于模擬實際應用的視頻數據，平均正確檢測率為95.04%，平均每幀檢測時間為5.51′10-2s。該方法有效實現了玉米與雜草的實時準確識別與精細分割，可為智能除草裝備的研發提供理論參考。

作物；目標識別；圖像分割；語義分割；玉米；雜草識別

0 引 言

雜草是影響幼苗期作物生長的主要因素之一，及時進行除草作業可減少養分爭奪、發育遲緩以及病蟲害等問題，是保障作物穩產增產的必要措施[1]。當前大田除草方式依然以化學防治為主，除草劑等投入品的過量使用帶來農業面源污染、作物農藥殘留和雜草抗藥性增強等一系列問題[2-5]。為實現除草投入品的減量化，以精準噴藥、機械除草和電擊除草等為主要工作方式的田間除草裝備被廣泛研究[6-10]。當前智慧農業階段，智能化的田間除草裝備是組建無人農場作業裝備系統[11-12]的重要環節。為實現無人參與條件下的精準除草，智能除草裝備首先要實現作物與雜草的快速、準確識別。

基于機器視覺的識別方法在作物與雜草識別研究中被廣泛接納。通過建立機器學習模型[13-14]，對圖像中人工提取的特征向量進行分類，達到識別作物和雜草圖像的目的。苗榮慧等[15]基于圖像分塊重構結合支持向量機模型實現對菠菜和雜草的識別。淺層機器學習類方法特征模式相對固定，泛化能力和環境適應性較差。近年來基于深層卷積神經網絡的各類識別方法被廣泛應用于相關研究中[16-17]。孫俊等[18]結合空洞卷積和全局池化提出多尺度特征融合模型，實現對多種雜草的識別。趙輝等[19]基于改進的DenseNet模型，解決玉米幼苗及其6種伴生雜草的種類識別問題。Jiang等[20]建立圖卷積神經網絡，對3種作物及其伴生雜草進行識別。上述方法實現了作物和雜草的圖像分類，但無法識別并定位同一圖像中的不同種類目標。為解決該問題，基于深度學習結構的目標檢測方法被廣泛采用[21]。彭明霞等[22]融合快速區域卷積神經網絡和特征金字塔網絡，提出復雜背景下棉田雜草高效識別檢測方法。孟慶寬等[23]提出基于輕量卷積和特征信息融合機制的多框檢測器對玉米及其伴生雜草進行識別。這類方法在作物與雜草間存在交疊遮擋情況下的檢測效果欠佳，且生成的檢測錨框出現大面積重疊時無法進一步分割不同目標區域。有學者進而采用基于深度學習的語義分割方法實現作物和雜草識別。Wang等[24]建立了一種Encoder-Decoder結構的語義分割網絡，通過融合近紅外與RGB增強圖像，實現甜菜地的雜草識別。孫俊等[25]融合近紅外與可見光圖像，構建多通道深度可分離卷積模型識別甜菜與雜草。Khan等[26]建立CED-Net分割模型，并在4種數據集上進行測試。王璨等[27]基于改進的雙注意力語義分割模型實現田間苗期玉米和雜草的識別分割。已有研究表明，語義分割能夠在識別作物和雜草的同時得到各自的區域分割。但訓練所需的像素級標注難度大，數據樣本不易獲取，且實時性較弱。

為解決上述問題，增強識別精度與實時性，本文提出基于移位窗口Transformer網絡（Shifted Window Transformer，Swin Transformer）的識別方法。首先針對真實的復雜田間場景建立玉米語義分割模型。該模型基于先進的Swin Transformer主干，并采用統一感知解析網絡（Unified Perceptual Parsing Network，UperNet）作為高效的語義分割框架。通過改進Swin Transformer結構，生成具有最佳精度-速度平衡的分割模型。模型的訓練數據中無需對各類雜草進行額外的人工像素標注，樣本獲取難度大幅減小。然后通過組合改進圖像形態學處理方法，提出簡單有效的雜草識別算法，在玉米形態區域分割結果的基礎上，實時分割出全部的雜草區域。本文方法可對交疊遮擋情況下的玉米和雜草目標進行識別，并得到各自區域的精細分割。通過復雜田間場景圖像和視頻對本文方法進行試驗研究，以期達到更高的準確性和實時性，為智能除草裝備的研發提供理論依據。

1 材料與方法

1.1 數據集生成

本研究以幼苗期玉米的田間圖像為研究對象。為保證數據集的泛化性，所采集的圖像包含環境差異、光線差異以及生長差異。圖像采集地點為5處不同的玉米種植田，代表作業時的不同田間環境。一般情況下，玉米苗后除草工作在2～5葉期間進行，因此選擇不進行任何除草作業的真實地塊，在此期間進行3次圖像采集，每次采集均分為3個不同時間段（07:00－09:00、10:00－12:00、15:00－17:00）完成，代表實際應用時不同的作物生長階段以及光線條件。采用垂直俯視角度拍攝，設備距地面高度在50～60 cm之間隨機變化，代表實際作業過程中因地形波動所可能引起的圖像尺度變化。共采集幼苗期玉米田間圖像1 000幅，包涵目標交疊在內的各種真實復雜情況。

將采集圖像的分辨率統一調整為512′512像素，采用Labelme（v4.5.6）軟件進行手工標注。僅標注圖像中的玉米目標區域，其他部分均為背景。采用多邊形標注法，于圖像中的玉米目標輪廓上進行人工密集選點，連接繪制成貼合邊界的封閉多邊形區域，如圖1b所示。其內全部像素即標記為玉米類別，其外全部像素自動定義為背景類別，生成標簽如圖1c所示。在作物雜草識別任務中，常規像素級標注除按上述方法標注玉米區域外，還須以同樣的步驟對雜草像素進行標記，如圖1d所示。在圖像中包含大量雜草的情況下，待標注目標數量成倍增長。由圖1c和1d對比可知，本文方法下的圖像標注具有更少的目標數量以及標記類別，人工數據標注量大幅減少。

注：圖1c包含玉米和背景標簽；圖1d包含玉米、雜草和背景標簽。

按照PASCAL VOC 2012格式生成數據集。以7∶2∶1的比例將數據集劃分為模型的訓練集（700幅圖像）、驗證集（200幅圖像）和測試集（100幅圖像），各集合間無重復數據。

1.2 數據增強

為使模型得到更為充分的訓練，進一步提升語義分割精度，本研究通過數據增強[28]方式對訓練集樣本量進行擴充。采用的方法包括：1）色彩抖動，隨機調整圖像的飽和度、亮度、對比度以及銳度；2）隨機裁剪，以隨機尺寸的正方形窗口（大于128′128像素）裁剪圖像并通過雙線性插值調整回原大小；3）隨機旋轉，以任意隨機角度旋轉圖像并填充空余像素。通過上述方法將訓練集樣本量擴展為原來的15倍。

1.3 基于Swin Transformer的玉米語義分割模型

為準確識別田間場景圖像中的玉米幼苗及其形態區域，本文提出的玉米語義分割模型基于先進的Swin Transformer主干網絡，并采用UperNet作為其高效率的識別與分割框架。為進一步提高模型的準確性與快速性，通過對Swin Transformer不同改進變體的對比試驗，探尋最佳的精度-速度平衡，確定最優模型結構。

1.3.1 Swin Transformer主干網絡

Swin Transformer是一種采用全自注意力機制的視覺任務主干網絡[29]。在語義分割方面的表現優于卷積神經網絡（Convolutional Neural Network，CNN）架構的主干[30]。其與普通Transformer架構相比：1）可構建分層特征表達，實現模型的像素級密集預測；2）采用基于移位窗口的自注意力機制，建模能力顯著增強。3）自注意力在分割圖像的非重疊窗口內局部計算，同時允許跨窗口連接，加快了模型的推理速度。

建立Swin Transformer主干網絡的基礎形式，記為Swin-Base，結構如圖2所示。網絡首先通過塊分割層將輸入圖像分割成不重疊的圖像塊。圖像塊大小為4×4，每個圖像塊的特征維度為4×4×3=48（原始值特征）。塊分割大小的選擇與網絡各階段輸出特征尺寸相關，在本文輸入圖像分辨率下，2×2塊分割僅能得到維度12的原始特征，包含較少的局部信息，網絡各階段輸出特征尺寸均變為2倍，運算壓力增大易導致顯存溢出；3×3、5×5至7×7塊分割在網絡各階段無法得到整數的特征圖尺寸，變換中的取整操作會導致部分特征信息丟失或改變；8×8塊分割在最終階段的輸出特征尺寸僅為8×8元素，對于輸入圖像尺寸來說，特征分辨率不足。網絡階段1由線性嵌入層和Swin Transformer模塊組成。線性嵌入層將每個圖像塊的原始特征投影到維度128，Swin Transformer模塊保持圖像塊的數量為128×128（特征圖尺寸）。在該模塊中，W-MSA和SW-MSA分別為使用常規和移位窗口劃分的多頭自注意力（Multi-head Self Attention，MSA）[31]，MLP為帶有GELU非線性激活函數的2層感知器（Multi-layer Perceptron，MLP），在每個MSA和MLP模塊前應用層歸一化（Layer Normalization，LN），且均有殘差連接。模塊使用移位窗口劃分和向左上方循環移位的批處理方法。批處理窗口由特征圖中不相鄰的子窗口組成，使用掩蔽機制將自注意力計算限制在每個子窗口內。遵循文獻[32]中的方法計算自注意力。

注：LN表示層歸一化；W-MSA和SW-MSA分別表示具有常規窗口配置和移位窗口配置的多頭自注意力模塊；MLP表示多層感知器；?表示按元素求和。

1.3.2 Swin Transformer的改進變體

為進一步增強推理速度，在Swin-Base基礎上改進模型結構。選取架構的重要超參數進行敏感性試驗。以網絡合理性為前提設置各參數的可調檔位。通過控制變量，考察調節各參數對于識別精度與速度的影響。每次試驗通過固定的預訓練權重初始化，重復3次。采用驗證集平均交并比（Mean Intersection over Union，mIoU）和每秒處理幀數（Frames Per Second，FPS）作為精度和速度指標，結果如表1所示。

表1 參數敏感性試驗

注：mIoU為平均交并比；FPS為每秒處理幀數。下同。

Note: mIoU is mean intersection over union; FPS is frames per second. Same below.

由表1可知，調整移位窗口大小對mIoU存在較大影響，極差達8.46個百分點，說明過大或過小的局部感受野均無法使模型維持較高精度；在推理速度方面極差為0.41幀/s，對于該參數變化不敏感。調整下采樣比率可對FPS產生影響，極差為7.04幀/s；但同時mIoU極差可達到14.49個百分點，說明模型精度對于該參數變化更為敏感，較大的下采樣比率會使特征分辨率下降過快，出現鋸齒效應使mIoU大幅降低，較小的下采樣比率無法達到特征池化效果，泛化能力降低導致精度下降。因此上述兩項參數不宜調整，以保證模型精度。隱層通道數決定特征映射的維度，通過調整特征維度可對FPS產生較大影響，極差達5.49幀/s；mIoU的極差為2.56個百分點，相對不敏感。頭部數量用于監督特征產生預測能力，mIoU和FPS的極差分別為1.05個百分點和4.86幀/s，推理速度對于參數調整更為敏感。Swin Transformer模塊是網絡核心，調整模塊數量對mIoU和FPS均產生影響，極差分別為5.41個百分點和8.77幀/s，FPS對模塊數量的變化更為敏感。因此模型推理速度對后3項參數均存在敏感性，且精度敏感性相對較弱。

基于各項超參數的敏感性分析，本文在保持Swin-Base移位窗口大小與下采樣比率不變的條件下，通過調整隱層通道數、頭部數量以及模塊數量等部分參數改變模型體量，各項參數在相鄰變體之間不做跨間隔調整，以在盡可能保持精度平穩的同時加快推理速度。為生成充分的變體模型進行對比試驗，以每次減少計算復雜度的1/2為依據，等比調整模型體量。生成變體模型Swin-Small、Swin-Tiny以及Swin-Nano，網絡大小與計算復雜度分別為Swin-Base的1/2、1/4和1/8左右。此外，為了加強模型對比的全面性，依照相鄰模型計算復雜度之間的等比關系設置變體Swin-Large，網絡大小與計算復雜度為Swin-Base的2倍左右。由此4個變體與基礎模型的參數設置覆蓋了敏感性試驗中的全部可調范圍，各模型結構超參數如表2中所示。

表2 Swin Transformer改進變體的結構超參數

注：Swin-Base為本文所建立的Swin Transformer基礎網絡；Swin-Large、Swin-Small、Swin-Tiny和Swin-Nano為在Swin-Base基礎上生成的改進變體。下同。

Note: Swin-Base is the basic network of Swin Transformer established in this paper; Swin-Large, Swin-Small, Swin-Tiny and Swin-Nano are improved variants generated on Swin-Base. Same below.

對于全部模型試驗，每個頭部的查詢維度均設置為32，每個MLP的擴展層均設置為=4。此外，構建經典的ResNet-101主干網絡作為對比試驗的基準。

1.3.3 UperNet語義分割框架

本文采用UperNet統一感知解析網絡[33]作為語義分割的實現框架，所構建的模型結構如圖3所示。該語義分割架構的特征提取器設定為基于Swin Transformer主干的特征金字塔網絡（Feature Pyramid Network，FPN）。它利用Swin Transformer獲取的多層次特征表示對應的金字塔層級，使用具有橫向連接的自上而下的FPN體系結構，下采樣比率與Swin Transformer保持一致。金字塔池化模塊[34]（Pyramid Pooling Module，PPM）位于FPN自上而下的分支之前，并與Swin Transformer網絡的階段4相連接，PPM能夠帶來有效的全局先驗特征表達，與FPN結構高度兼容。該架構形式可與Swin Transformer獲取的分層特征表達有效配合，基于高中低層語義信息的融合達到更好的語義分割效果。特征融合模塊通過雙線性插值將FPN輸出的所有層次特征調整到同一大小，然后應用卷積層融合來自不同級別的特征。目標分割頭被附加到融合特征圖上，每個分類器前都有一個單獨的卷積層。所有額外的非分類器卷積層都具有512通道輸出的批量歸一化[35]，并應用ReLU[36]激活函數。模型輸出是由像素分類預測標簽所生成的類別掩膜，進而得到分割圖。由此實現玉米田間圖像的細粒化推理，在識別目標的同時獲取目標區域的精細分割。

圖3 UperNet語義分割框架

1.4 基于語義分割結果的雜草識別算法

玉米幼苗與雜草的植物屬性，決定了兩者在田間圖像中具有相似的顏色特征表達。這增加了兩者的識別與分割難度，但是根據該特性，從圖像中分割出全部的植物區域是容易的。基于語義分割模型對玉米的精細分割結果，可利用圖像形態學處理從全部植物區域中進一步快速分割出所有雜草。在該思路基礎上對實現細節進行改進調整以提高雜草分割效果，本文提出了基于語義分割結果的雜草識別與分割算法，流程如圖4所示：1）對原始圖像進行超綠特征分割。計算歸一化的超綠特征分量作為灰度值，并結合最大類間方差法實現二值化，提取出包含全部植物區域的分割掩膜；2）刪除掩膜中的玉米區域。對語義分割模型推理出的玉米掩膜進行輕度膨脹修正邊界后，將植物分割掩膜中對應于玉米掩膜位置的像素值置0，生成僅包含全部雜草區域的分割掩膜；3）優化雜草區域的分割掩膜。對雜草分割掩膜進行形態學閉運算，消除掩膜內可能存在的細小孔隙。再進行面積濾波，去除掩膜中的噪聲區域。最后對掩膜進行膨脹處理，優化掩膜的區域形態；4）最終獲得雜草掩膜與雜草分割圖。

1.5 模型訓練與性能評價

1.5.1 試驗平臺配置

全部模型的訓練與測試均在本研究搭建的試驗平臺上完成，保證了對比條件的一致性。該平臺的主要硬件配置：中央處理器（CPU）為AMD R5 3600X，主頻3.8 GHz；運算內存64 GB；圖形處理器（GPU）為NVIDIA GeForce RTX 2080Ti，顯存11 GB。主要軟件環境為：Ubuntu 20.04操作系統，Pytorch 1.6深度學習框架，CUDA 10.2通用并行計算架構，cuDNN 8.0.4用于深度神經網絡的GPU加速庫，Python 3.8編程語言，OpenCV 4.5.1計算機視覺庫。

圖4 雜草識別算法流程

1.5.2 模型訓練策略

模型訓練為端到端進行，輸入為原始圖像，輸出為對應的識別分割圖，中間過程無人為干預。Swin Transformer主干網絡和語義分割框架通過解碼器-編碼器（Encoder-Decoder）結構組合成整體模型，同時進行訓練。主干網絡作為解碼器負責特征變換與提取，除預訓練數據集和目標數據集外不需要額外的監督信號訓練。語義分割框架作為編碼器對主干網絡輸出特征進行重構融合，并以此為依據產生分類預測。

模型通過遷移學習方式完成訓練。主干網絡中各層采用在ImageNet-1K數據集上預先訓練的權重初始化[37]，隨后連同語義分割框架權重一起在本文數據集上進行調整，使模型更快收斂。訓練微調的具體步驟為：1）設定隨機種子初始化語義分割框架各層參數權重，給定隨機初值；2）凍結主干網絡的預訓練權重，同時設定框架各層學習率為下述標準設置的10倍，在目標數據集上對模型進行訓練，快速調整框架權重；3）主干網絡和框架的學習率均采用下文標準設置，整體在目標數據集上進行訓練，通過反向傳播同時調整全部參數權重。ImageNet-1K是遷移學習中通用的大規模圖像集，有效性在大量已有研究中被證實[21]。在本文任務中，其豐富的類別（包括植物大類）以及圖像數量可直接將主干網絡參數預訓練到一個相對最優的權值空間，且極大增強提取特征的泛化性。在此基礎上，利用目標數據的類別特點微調權值，更易達到全局最優解，兼顧特征差異性與泛化性。為進一步保證微調效果，本文通過前述數據增強方法大規模擴充目標訓練數據，以使網絡學習到足夠的目標特征，充分適應本文任務。預試驗顯示，采用上述微調方法和單一訓練相比，模型的像素識別準確率可高出3%～5%。

綜合考慮物理內存與學習效率，設置每批次訓練圖像為2幅，總迭代次數為20 000。在訓練中，模型采用AdamW優化器[38]、線性學習速率衰減的調度器以及1 500次迭代的線性預熱。當前迭代的學習率的更新計算方法如下：

式中0為初始學習率，為當前迭代次數，為衰減周期即總迭代次數，為多項式衰減指數（Power）。初始學習率和多項式衰減指數分別設置為6×10-5和1。本文使用0.01的權重衰減（Weight decay）和0.9的動量（Momentum），學習率更新下限為0。全部模型均在上述標準設置上進行訓練。

采用交叉熵損失函數（Cross-Entropy Loss）衡量訓練過程中模型對于像素類別的預測概率分布和真實標簽類別概率分布之間的距離，具體計算方法如下：

1.5.3 模型評價指標

為評價模型性能，本文使用mIoU和平均像素準確率（Mean Pixel Accuracy，mPA）作為模型識別與分割效果的量化評價指標。采用FPS指標評價模型的推理速度。

2 結果與分析

2.1 不同模型的訓練表現

在UperNet框架結構下分別建立基于不同改進主干網絡的語義分割模型，分別記為Swin-Large-UN、Swin-Base-UN、Swin-Small-UN、Swin-Tiny-UN、Swin-Nano-UN和ResNet-101-UN。不同模型在訓練過程中的損失函數變化曲線如圖5所示。

注：UN代表UperNet框架。

在試驗中未能獲得Swin-Large-UN的損失曲線，原因是較大的模型結構導致GPU運算發生顯存溢出，無法完成訓練，即使能夠達到更高精度水平，也不符合研究應用需要，故首先排除。在圖5中，Swin-Base-UN、Swin-Small-UN和Swin-Tiny-UN均能達到良好的訓練效果，網絡收斂情況良好，終止迭代時平均損失值約為7.74′10-3，相比于ResNet-101-UN（0.01）更低。三者的損失函數變化情況基本相同，說明Swin-Small-UN和Swin-Tiny-UN保持了Swin-Base-UN原有的數據學習能力，改進后訓練表現未受影響。Swin-Nano-UN的訓練損失在快速下降到0.70左右時出現停滯并不斷波動，最終損失值為0.72，同Swin-Base-UN等相比高2個數量級。說明該模型的深度和參數量難以匹配本文任務，對于數據特征的擬合與泛化能力不足，難以收斂到全局最優點。

2.2 不同模型的驗證表現

為排除隨機性影響，對模型訓練表現進行5次重復驗證，每次試驗均調整隨機種子生成各模型語義分割框架的參數權值，隨后按前文所述方法完成訓練。于訓練過程中，每2 000次迭代對各模型性能進行1次驗證評估。采用模型在驗證集上的mIoU和mPA作為評價指標，取5次試驗的平均值。各性能指標隨迭代變化情況如圖6所示。

圖6 不同模型的驗證集表現

由圖6a可知，Swin-Base-UN、Swin-Small-UN和Swin-Tiny-UN同ResNet-101-UN相比，初次驗證時的mIoU均有不同程度提高，最終驗證時的mIoU分別提高了4.32個百分點、4.51個百分點和3.08個百分點。表明這三者對于驗證集的區域識別與分割表現均優于ResNet-101-UN。Swin-Nano-UN的表現與對比模型相當。由圖6b可知，Swin-Base-UN、Swin-Small-UN、Swin-Tiny-UN和Swin-Nano-UN同ResNet-101-UN相比，初次驗證時的mPA均有所提高，最終驗證時的mPA分別提高了5.56個百分點、5.29個百分點、4.86個百分點和2.15個百分點。表明本文各模型對于驗證集的像素識別精度均優于ResNet-101-UN，但Swin-Nano-UN相對其他變體模型性能較弱。

在變體模型中，Swin-Small-UN和Swin-Tiny-UN在mIoU和mPA指標上均可達到同Swin-Base-UN更為接近的驗證集表現，說明這2種改進變體能夠在更精簡的模型結構下達到與基礎模型相近的訓練成效，符合模型改進目標。而Swin-Nano-UN的驗證集表現同基礎模型相比不夠理想，精度衰減較大。驗證結果表明，Swin-Small-UN和Swin-Tiny-UN在本文任務中可替代Swin-Base-UN，且建模能力遠超基于傳統主干的ResNet-101-UN模型。

2.3 不同模型的測試結果

利用測試集數據對完成訓練后的全部模型進行測試，考察本文模型的實際泛化性能與快速性，結果如表3所示。在綜合對比mIoU、mPA和推理速度的基礎上，確定最佳模型結構。

表3 不同模型的測試集表現

由表3可知，Swin-Base-UN、Swin-Small-UN和Swin-Tiny-UN相比于ResNet-101-UN，mIoU分別提高了3.98個百分點、3.93個百分點和3.27個百分點，mPA分別提高了5.23個百分點、4.68個百分點和4.71個百分點，推理速度分別提高了0.98%、7.16%和24.36%。表明這三者對于本文任務有更強的實際泛化性能，在區域分割準確性、像素識別精度和推理速度上全面優于傳統模型。Swin-Nano-UN相比于ResNet-101-UN，推理速度提高了31.85%，但mIoU降低了1.24個百分點，在主要精度指標上的實際泛化表現未高于傳統模型。

在本文所構建的4個模型中，Swin-Base-UN具有最高的mIoU和mPA，但其速度最慢。Swin-Small-UN的準確性同Swin-Base-UN更為接近，但快速性提升有限。Swin-Tiny-UN在推理速度上獲得了有效提升（18.94幀/s），同Swin-Base-UN和Swin-Small-UN相比分別提高了23.15%和16.05%。雖然其識別與分割準確性在4個模型中未達最高（94.83%），但是同最準確的Swin-Base-UN相比，mIoU和mPA僅降低了0.71個百分點和0.52個百分點，差距較小。Swin-Nano-UN達到了最快的推理速度，在Swin-Tiny-UN的基礎上提高了6.02%，但mIoU和mPA降低了4.51個百分點和3.82個百分點，其主要精度指標僅能達到90%左右，差距較大。

在本文任務中，期望能夠在保證模型準確率的前提下盡可能提升推理速度。Swin-Tiny-UN模型在推理速度上的提升同準確率上的細微差距相比是更明顯的。繼續減少參數量到Swin-Nano-UN會導致模型實際泛化能力不足，精度大幅降低。因此Swin-Tiny-UN模型達到了最佳的精度-速度平衡，為最佳模型結構。

2.4 識別與分割效果

為考察最佳模型對玉米田間圖像的實際分割效果，在測試集圖像上進行推理，將玉米幼苗的分割掩膜可視化在原圖像上得到分割圖，部分樣本圖像的識別與分割結果如圖7中所示。

注：圓圈區域指示了ResNet-101-UN與Swin-Tiny-UN分割圖的不同之處。

在圖7a中，各原始圖像均為真實的玉米田間場景。對比圖7b和7c可知，Swin-Tiny-UN的分割效果同真實值間無明顯差異，與Swin-Base-UN相比亦基本相同，此處不再展示。這說明最佳模型Swin-Tiny-UN以更快的推理速度達到了與改進前相同的識別分割效果。錯誤分割應主要集中在目標邊界的個別像素上，對分割效果影響甚微，因此分割圖與真實值間僅存在難以觀察的像素級差異。進一步對比圖7c和7d，可見ResNet-101-UN對玉米幼苗的中心區域和葉片末端容易產生錯誤分割，這會導致雜草分割算法的誤判。上述分析表明，Swin-Tiny-UN模型在復雜田間場景中能夠對目標進行準確識別與分割，同傳統模型相比無論在整體還是局部均達到更好效果，為實現雜草識別與分割提供有力保證。

基于最佳模型Swin-Tiny-UN的推理預測，通過本文算法進一步生成雜草分割圖，并對全目標識別與分割效果進行展示，結果如圖8所示。

圖8 雜草識別與分割結果

由圖8可知，本文算法能夠實現雜草區域的有效識別，同時分割出全部目標的區域邊界。對于不同的測試圖像，均達到較好效果。在完整保留玉米形態區域的同時，分割掩膜基本完全覆蓋全部雜草區域，即使圖中一些較小的雜草也可識別并分割其所在區域。所得雜草和玉米的分割區域在具備各自形態的同時互不交疊，有效解決復雜田間場景中各目標交疊、難以精確分割邊界的問題。此外算法簡單高效，基本不會對模型推理速度造成影響，具備較強實時性。由此實現精確快速的復雜田間場景下雜草識別與分割。

2.5 視頻測試結果

為進一步考察本文方法在實際應用中的表現，利用田間實地模擬作業移動過程中采集的視頻數據進行測試。視頻分辨率為768′432像素，設定視頻檢測中被正確分割像素數占90%以上的幀為正確幀，正確幀數占總幀數的比例為正確檢測率。統計結果見表4。

表4 視頻檢測性能

由表4可知，平均視頻正確檢測率可達95.04%，對于每幀的平均檢測時間為5.51′10-2s。表明本文方法能夠對田間移動作業過程中的視頻流進行準確的檢測，同時具備較好的實時同步性能。從視頻中抽取部分幀的檢測結果，如圖9中所示。

注：在視頻流中的隨機位置，以15～30幀的隨機間隔依次選取6幀圖像。

對比圖9中檢測前后的視頻幀可知，本文方法可對視頻各幀中的玉米幼苗和雜草目標進行有效的識別與分割，檢測效果受視頻抖動影響較小，與圖像測試效果基本保持一致，可用于移動作業中的實時檢測。

2.6 與相關研究的對比

同文獻[15]的研究相比，本研究模型的學習為端到端進行，直接通過輸入原始圖像得到識別與分割結果，無需人工設計與提取特征，具備更強的實際泛化能力。同文獻[18-20]的研究相比，本研究不是對僅含有單一種類的作物和雜草進行識別分類，而是針對含有多類目標的復雜田間圖像，識別并分割出圖像中的作物和雜草區域，更接近應用實際。同文獻[22-23]的研究相比，本研究除同樣能夠進行目標檢測識別外，還可解決目標交疊情況下的進一步分割問題，實現對復雜田間圖像中作物和雜草的準確識別與精細分割。同文獻[24-25]相比，本研究不需要融合圖像以及額外的近紅外數據，僅通過常規的圖像數據即可達到更好的效果，在同樣的像素級識別與分割目標中，模型的mIoU分別提高了5.92個百分點和7.25個百分點。同文獻[26]相比，本研究模型mIoU提高了11.39個百分點。同文獻[27]相比，本研究在相同的圖像分辨率和硬件條件下，推理速度提高了19.12%。綜上所述，本研究在當前相關研究中具備一定的優勢。

3 結 論

為實現復雜田間環境中玉米和雜草的有效識別與分割，探索具有更強實際應用能力的識別方法，本研究提出了一種基于Swin Transformer統一感知解析網絡的田間玉米和雜草分割方法，精確識別目標并實時獲取各自形態區域的精細分割。

1）模型引入Swin Transformer主干網絡，并采用UperNet高效語義分割框架，改進Swin Transformer結構生成4種不同性能的變體模型。通過對基礎模型Swin-Base-UN及其4種變體在訓練、驗證和測試當中的性能表現進行綜合對比分析，確定Swin-Tiny-UN為達到最佳精度-速度平衡模型，mIoU和mPA分別達到94.83%和97.18%，與ResNet-101-UN模型相比，分別提高3.27個百分點和4.71個百分點，推理速度可達18.94幀/s。本文模型在區域分割精度、像素識別準確性以及推理速度上全面優于傳統語義分割模型。

2）基于玉米形態區域分割結果，建立改進的圖像形態學處理組合算法，實時識別并分割全部的雜草區域。本文方法在分割玉米的基礎上分割雜草，模型訓練數據不含雜草像素標注，緩解語義分割方法難以獲取大量像素級標注數據的問題。圖像分割結果表明，本文方法能夠對復雜田間場景中的玉米和雜草進行準確快速的識別與分割，受目標交疊影響較小。同本研究之前提出的方法相比，在精度提升的同時，推理速度提高了19.12%。

3）對于模擬田間移動作業的視頻流數據，本文方法的平均視頻正確檢測率可達95.04%，每幀平均檢測時間為5.51′10-2s。表明本文方法能夠對田間作業過程中的視頻流進行玉米和雜草的識別檢測，在實際應用條件下有較好的準確性和實時同步性。

[1] Machleb J, Peteinatos G G, Kollenda B L, et al. Sensor-based mechanical weed control: Present state and prospects[J]. Computers and Electronics in Agriculture, 2020, 176: 105638.

[2] 段小賀，韓建國，巴金磊，等. 玉米田化學除草現狀及發展趨勢[J]. 園藝與種苗，2019，39(8)：54-56.

Duan Xiaohe, Han Jianguo, Ba Jinlei, et al. The current situation and development trend of chemical weeding in corn fields[J]. Horticulture and Seedlings, 2019, 39(8): 54-56. (in Chinese with English abstract)

[3] Gaines T A, Busi R, Küpper A. Can new herbicide discovery allow weed management to outpace resistance evolution?[J]. Pest Management Science, 2021, 77(7): 3036-3041.

[4] Saha D, Cregg B M, Sidhu M K. A review of non-chemical weed control practices in Christmas tree production[J]. Forests, 2020, 11(5): 554.

[5] Muola A, Fuchs B, Laihonen M, et al. Risk in the circular food economy: glyphosate-based herbicide residues in manure fertilizers decrease crop yield[J]. Science of the Total Environment, 2021, 750: 141422.

[6] 孫君亮，閆銀發，李法德，等. 智能除草機器人的研究進展與分析[J]. 中國農機化學報，2019，40(11)：73-80.

Sun Junliang, Yan Yinfa, Li Fade, et al. Research progress and analysis of intelligent weeding robot[J]. Journal of Chinese Agricultural Mechanization, 2019, 40(11): 73-80. (in Chinese with English abstract)

[7] Gerhards R, Andujar S D, Hamouz P, et al. Advances in site‐specific weed management in agriculture: A review[J]. Weed Research, 2022, 62(2): 123-133.

[8] Fennimore S A, Cutulle M. Robotic weeders can improve weed control options for specialty crops[J]. Pest Management Science, 2019, 75(7): 1767-1774.

[9] Bauer M V, Marx C, Bauer F V, et al. Thermal weed control technologies for conservation agriculture: A review[J]. Weed Research, 2020, 60(4): 241-250.

[10] Raja R, Nguyen T T, Slaughter D C, et al. Real-time robotic weed knife control system for tomato and lettuce based on geometric appearance of plant labels[J]. Biosystems Engineering, 2020, 194: 152-164.

[11] 李道亮，李震. 無人農場系統分析與發展展望[J]. 農業機械學報，2020，51(7)：1-12.

Li Daoliang, Li Zhen. System analysis and development prospect of unmanned farming[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(7): 1-12. (in Chinese with English abstract)

[12] Wang T, Xu X, Wang C, et al. From smart farming towards unmanned farms: A new mode of agricultural production[J]. Agriculture, 2021, 11(2): 145.

[13] Wang A, Zhang W, Wei X. A review on weed detection using ground-based machine vision and image processing techniques[J]. Computers and Electronics in Agriculture, 2019, 158: 226-240.

[14] Bakhshipour A, Jafari A. Evaluation of support vector machine and artificial neural networks in weed detection using shape features[J]. Computers and Electronics in Agriculture, 2018, 145: 153-160.

[15] 苗榮慧，楊華，武錦龍，等. 基于圖像分塊及重構的菠菜重疊葉片與雜草識別[J]. 農業工程學報，2020，36(4)：178-184.

Miao Ronghui, Yang Hua, Wu Jinlong, et al. Weed identification of overlapping spinach leaves based on image sub-block and reconstruction[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(4): 178-184. (in Chinese with English abstract)

[16] Yu J, Sharpe S M, Schumann A W, et al. Deep learning for image-based weed detection in turfgrass[J]. European Journal of Agronomy, 2019, 104: 78-84.

[17] Quan L, Jiang W, Li H, et al. Intelligent intra-row robotic weeding system combining deep learning technology with a targeted weeding mode[J]. Biosystems Engineering, 2022, 216: 13-31.

[18] 孫俊，何小飛，譚文軍，等. 空洞卷積結合全局池化的卷積神經網絡識別作物幼苗與雜草[J]. 農業工程學報，2018，34(11)：159-165.

Sun Jun, He Xiaofei, Tan Wenjun, et al. Recognition of crop seedling and weed recognition based on dilated convolution and global pooling in CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(11): 159-165. (in Chinese with English abstract)

[19] 趙輝，曹宇航，岳有軍，等. 基于改進 DenseNet 的田間雜草識別[J]. 農業工程學報，2021，37(18)：136-142.

Zhao Hui, Cao Yuhang, Yue Youjun, et al. Field weed recognition base d on improved DenseNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 136-142. (in Chinese with English abstract)

[20] Jiang H, Zhang C, Qiao Y, et al. CNN feature based graph convolutional network for weed and crop recognition in smart farming[J]. Computers and Electronics in Agriculture, 2020, 174: 105450.

[21] Hasan A S M M, Sohel F, Diepeveen D, et al. A survey of deep learning techniques for weed detection from images[J]. Computers and Electronics in Agriculture, 2021, 184: 106067.

[22] 彭明霞，夏俊芳，彭輝. 融合FPN的Faster R-CNN復雜背景下棉田雜草高效識別方法[J]. 農業工程學報，2019，35(20)：202-209.

Peng Mingxia, Xia Junfang, Peng Hui. Efficient recognition of cotton and weed in field based on Faster R-CNN by integrating FPN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(20): 202-209. (in Chinese with English abstract)

[23] 孟慶寬，張漫，楊曉霞，等. 基于輕量卷積結合特征信息融合的玉米幼苗與雜草識別[J]. 農業機械學報，2020，51(12)：238-245，303.

Meng Qingkuan, Zhang Man, Yang Xiaoxia, et al. Recognition of maize seedling and weed based on light weight convolution and feature fusion [J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(12): 238-245, 303. (in Chinese with English abstract)

[24] Wang A, Xu Y, Wei X, et al. Semantic segmentation of crop and weed using an encoder-decoder network and image enhancement method under uncontrolled outdoor illumination[J]. IEEE Access, 2020, 8: 81724-81734.

[25] 孫俊，譚文軍，武小紅，等. 多通道深度可分離卷積模型實時識別復雜背景下甜菜與雜草[J]. 農業工程學報，2019，35(12)：184-190.

Sun Jun, Tan Wenjun, Wu Xiaohong, et al. Real-time recognition of sugar beet and weeds in complex backgrounds using multi-channel depth-wise separable convolution model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(12): 184-190. (in Chinese with English abstract)

[26] Khan A, Ilyas T, Umraiz M, et al. Ced-net: crops and weeds segmentation for smart farming using a small cascaded encoder-decoder architecture[J]. Electronics, 2020, 9(10): 1602.

[27] 王璨，武新慧，張燕青，等. 基于雙注意力語義分割網絡的田間苗期玉米識別與分割[J]. 農業工程學報，2021，37(9)：211-221.

Wang Can, Wu Xinhui, Zhang Yanqing, et al. Recognition and segmentation of maize seedlings in field based on dual attention semantic segmentation network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(9): 211-221. (in Chinese with English abstract)

[28] Takahashi R, Matsubara T, Uehara K. Data augmentation using random image cropping and patching for deep CNNs[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2019, 30(9): 2917-2931.

[29] Gao L, Liu H, Yang M, et al. STransFuse: Fusing swin transformer and convolutional neural network for remote sensing image semantic segmentation[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021, 14: 10990-11003.

[30] Zhou H Y, Lu C, Yang S, et al. ConvNets vs. Transformers: Whose Visual Representations are More Transferable?[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 2230-2238.

[31] Xiao X, Zhang D, Hu G, et al. CNN–MHSA: A Convolutional Neural Network and multi-head self-attention combined approach for detecting phishing websites[J]. Neural Networks, 2020, 125: 303-312.

[32] Raffel C, Shazeer N, Roberts A, et al. Exploring the limits of transfer learning with a unified text-to-text transformer[J]. Journal of Machine Learning Research, 2020, 21(140): 1-67.

[33] Xiao T, Liu Y, Zhou B, et al. Unified perceptual parsing for scene understanding[C]//Proceedings of the European Conference on Computer Vision (ECCV). Switzerland: Springer, 2018: 418-434.

[34] Long X, Zhang W, Zhao B. PSPNet-SLAM: A Semantic SLAM Detect Dynamic Object by Pyramid Scene Parsing Network[J]. IEEE Access, 2020, 8: 214685-214695.

[35] Wang J, Li S, An Z, et al. Batch-normalized deep neural networks for achieving fast intelligent fault diagnosis of machines[J]. Neurocomputing, 2019, 329: 53-65.

[36] Jiang X, Pang Y, Li X, et al. Deep neural networks with elastic rectified linear units for object recognition[J]. Neurocomputing, 2018, 275: 1132-1139.

[37] Morid M A, Borjali A, Del Fiol G. A scoping review of transfer learning research on medical image analysis using ImageNet[J]. Computers in Biology and Medicine, 2021, 128: 104115.

[38] Touvron H, Cord M, Douze M, et al. Training data-efficient image transformers & distillation through attention[C]// International Conference on Machine Learning. New York: PMLR, 2021: 10347-10357.

Recognizing weeds in maize fields using shifted window Transformer network

Wang Can, Wu Xinhui※, Zhang Yanqing, Wang Wenjun

(030801,)

Weeds have been one of the main factors to affect the growth of crops in the seedling stage. Timely weeding is a necessary measure to ensure crop yield. An intelligent field weeding equipment can also be a promising potential deployment in the unmanned farm system at the current stage of intelligent agriculture. Effective recognition of crops and weeds has been a high demand to promote the development of intelligent weeding equipment. Previous research was focused mainly on object detection and semantic segmentation using deep learning. A great challenge is still remained in the performance of target detection, in the case of overlap images between the crops and weeds under the complex field. The reason was that the different target areas cannot be further divided when the generated anchor box overlaps in a large area. The pixel level annotation can also be required to train the semantic segmentation, where the data samples cannot be easy to obtain. The weak real-time performance cannot be conducive to practical application. In this study, an improved model was proposed using shifted window Transformer (Swin Transformer) network, in order to enhance the accuracy and real-time performance of crop and weed recognition. The specific procedure was as follows. 1) A semantic segmentation model of corn was established for the real and complex field scene. The backbone of the model was the Swin Transformer architecture, which was denoted by Swin-Base. The full self-attention mechanism was also adopted to significantly enhance the modeling ability in the Swin Transformer using the shift window division configuration. Self-attention was then calculated locally in the non-overlapping window of the segmented image block, where the cross-window connection was allowed. The computational complexity of the backbone presented a linear relationship with the image size, thereby elevating the inference speed of the model. The hierarchical feature representation was constructed through the Swin Transformer for the dense prediction of the model at the pixel level. 2) The Unified perceptual parsing Network (UperNet) was used as an efficient semantic segmentation framework. Among them, the feature extractor was the Feature Pyramid Network (FPN) using the Swin Transformer backbone. The multi-level features obtained by Swin Transformer were used by the FPN to represent the corresponding pyramid level. An effective global prior feature expression was added in the Pyramid Pooling Module (PPM). Better performance of semantic segmentation was achieved using the fusion of the hierarchical semantic information. The Swing transformer backbone and UperNet framework were combined into one model through the Decoder-Encoder structure, denoted by Swin-Base-UN. 3) The structure of the Swin-Base backbone was improved to enhance the inference speed. The number of network parameters and calculation cost were reduced to decrease the number of hidden layer channels, headers, and Swin Transformer blocks. Therefore, four improved models were generated, including the Swin-Large-UN, Swin-Small-UN, Swin-Tiny-UN, and Swin-Nano-UN. The model size and computational complexity of improved models were about 2, 1/2, 1/4, and 1/8 times of Swin-Base-UN, respectively. 4) Taking the segmentation of corn morphological region as the case study, an improved image morphological processing combination was established to recognize and segment all the weed regions in real time. The segmentation of corn was also used to segment the weeds. The weed pixel annotation was removed from the training data of the model. As such, a large number of annotation data at the pixel level was obtained in the semantic segmentation of the improved model, compared with the original one. A comparison was made on the performance of all models in training, validation, and testing. Consequently, the Swin-Tiny-UN was determined as the best model to achieve the optimal balance between accuracy and speed. Specifically, the mean Intersection over Union (mIoU) and mean Pixel Accuracy (mPA) on the test set were 94.83% and 97.18%, respectively, which increased by 3.27 and 4.71 percentage points, respectively, compared with the RestNet-101-UN using traditional Convolutional Neural Networks (CNN) backbone. The inference speed of the model was achieved by 18.94 frames/s. The best model of semantic segmentation was superior to the traditional one, in terms of the region segmentation accuracy, pixel recognition accuracy, and inference speed. The image segmentation showed that the improved model can be expected to accurately recognize and segment maize and weeds in complex field scenes. The average correct detection rate of the improved model was 95.04% for the video stream data in the process of field work, whereas, the average detection time per frame was 5.51′10-2s. Consequently, the improved model can be expected to detect the corn and weeds in the process of field work, indicating higher accuracy and real-time performance under practical application conditions. The findings can provide a strong reference for the development of intelligent weeding equipment.

crops; object recognition; image segmentation; semantic segmentation; maize; weed recognition

10.11975/j.issn.1002-6819.2022.15.014

TP274; TP391.41

A

1002-6819(2022)-15-0133-10

王璨，武新慧，張燕青，等. 基于移位窗口Transformer網絡的玉米田間場景下雜草識別[J]. 農業工程學報，2022，38(15)：133-142.doi：10.11975/j.issn.1002-6819.2022.15.014 http://www.tcsae.org

Wang Can, Wu Xinhui, Zhang Yanqing, et al. Recognizing weeds in maize fields using shifted window Transformer network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(15): 133-142. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.15.014 http://www.tcsae.org

2022-02-23

2022-07-23

山西省基礎研究計劃項目（202103021223147）；山西省高等學校科技創新項目（2020L0134）；山西農業大學科技創新基金項目（2018YJ44）

王璨，博士，副教授，研究方向為智能農業裝備關鍵技術及應用。Email：wangcan8206@163.com

武新慧，博士，副教授，研究方向為農業生物力學與智能農業機械。Email：wuxinhui0321@163.com