基于改進YOLOv4和圖像處理的蔬菜田雜草檢測

東 輝，陳鑫凱，孫 浩，姚立綱

基于改進YOLOv4和圖像處理的蔬菜田雜草檢測

東 輝，陳鑫凱，孫 浩，姚立綱

(福州大學機械工程及自動化學院，福建 福州 350108)

以蔬菜苗田內幼苗期7種常見蔬菜和田間雜草為研究對象，針對田間雜草種類多和分布復雜導致檢測方法效率低、精度差和魯棒性不足等問題，逆向將雜草檢測轉換為作物檢測，提出一種基于優化YOLOv4和圖像處理的蔬菜苗田雜草檢測算法。在YOLOv4目標檢測算法基礎上，主干特征提取網絡嵌入SA模塊增強特征提取能力，引入Transformer模塊構建特征圖長距離全局語義信息，改進檢測頭和損失函數提高檢測定位精度。改進模型單幅圖像平均識別時間為0.261 s，平均識別精確率為97.49%。在相同訓練樣本以及系統環境設置條件下，將改進方法與主流目標檢測算法Faster RCNN，SSD和YOLOv4算法對比，結果表明改進YOLOv4模型在蔬菜苗期的多種蔬菜檢測具有明顯優勢。采用改進YOLOv4目標檢測算法檢測作物，作物區域外的植被為雜草，超綠特征結合OTSU閾值分割算法獲取雜草前景，最后標記雜草前景連通域輸出雜草質心坐標和檢測框位置，可以較好解決蔬菜苗田雜草檢測問題。

雜草；蔬菜；YOLOv4；圖像處理；目標檢測；分割

清除雜草是農業生產中一個重要環節，對提高作物產量和質量起到至關重要的作用[1-3]。蔬菜大棚內種植的有機蔬菜具有較高的經濟價值，我國現有大部分蔬菜大棚內仍采用人工除草方式和化學除草方式。人工除草耗時、費力，化學除草易造成環境污染。隨著精準農業技術發展，機械化除草逐漸成為雜草防治研究重點[4-5]。機械化除草過程中，快速、準確檢測雜草是關鍵步驟之一。

在雜草檢測領域，國內外相關研究不斷深入。目前，雜草檢測主要方法有遙感識別法[6]、光譜識別法[7]、機器視覺識別法[8]等。遙感識別法與光譜識別法采集設備昂貴，難以在農業生產中推廣。機器視覺識別法具有成本低廉、技術成熟和信息獲取完整等優點，是目前應用最廣泛的方法之一。PULIDO等[9]采用灰度共生矩陣法提取多個紋理特征，通過主成分分析降維法獲得最優特征訓練支持向量機(support vector machine，SVM)分類器，雜草識別精度達90%。何東健等[10]提取植物葉片形狀、紋理及分形維數3類特征，使用SVM-DS (SVM-dempster/shafer)多特征決策融合識別雜草。上述方法依賴圖像特征的人工提取和選擇，特定環境下識別效果較好，易受光照和背景噪聲等環境因素影響，識別魯棒性差、準確率較低[11]。

基于卷積神經網絡(convolutional neural networks，CNN)的視覺檢測技術因其準確率高和魯棒性強等優點，逐漸成為圖像檢測領域的研究熱點，越來越多的學者將其用于雜草檢測領域。DOS SANTOS FERREIRA等[12]使用無人機拍攝作物與雜草圖像，通過超像素分割算法構建數據集，在Caffe深度學習框架上基于AlexNet網絡實現作物與雜草檢測。樊湘鵬等[13]提出改進Faster R-CNN棉花苗期雜草識別與定位方法，不同天氣條件下棉花幼苗和多種雜草的平均識別準確率達到94.21%。孟慶寬等[14]采用壓縮與激勵網絡(squeeze-and-excitation networks，SENet)、深度可分離卷積和密集化連接構建輕量化網絡模型，在原單次多邊框檢測器(single shot multibox detector，SSD)模型基礎上提高檢測速度和檢測精度，可用于自動化精準除草。上述研究均采用深度CNN自動提取圖像特征，直接檢測作物和雜草，檢測效率較低、速度慢，無法應對雜草種類繁多和分布密集環境的雜草檢測任務。

為提高田間雜草檢測效率和速度，滿足雜草種類繁多和分布密集環境的雜草檢測需要，本文逆向將雜草檢測轉換為作物檢測。目標檢測算法檢測作物，其余植被則認為是雜草，通過圖像處理方法分割標記并輸出雜草信息。目標檢測算法在YOLOv4[15](you only look once v4)基礎上改進，采用視覺注意力機制模塊SA[16](shuffle attention)改進主干特征提取網絡，引入Transformer模塊以理解圖像不同區域語義元素之間的關系，最后改進檢測頭和損失函數，算法輸出蔬菜幼苗在圖像中的對應檢測框信息。改進YOLOv4目標檢測算法檢測作物后，基于圖像處理的雜草分割標記算法分割植被前景圖像，計算前景連通域并標記，獲得雜草質心坐標和檢測框信息。

1 雜草檢測算法原理

圖1為雜草檢測算法流程，共分4個階段：

圖1 算法總體流程圖

(1) 圖像預處理。依次使用圖像濾波、伽馬矯正和自適應直方圖均衡化作圖像預處理，降低環境光照和噪聲對雜草檢測結果的干擾。

(2) 蔬菜目標檢測。在深度學習平臺上運行目標檢測算法前向推理檢測蔬菜苗目標，輸出檢出蔬菜苗類別、檢測框位置和分類置信度。

(3) 圖像分割。使用超綠(excess green，ExG)特征結合最大類間方差(OSTU)閾值分割方法分割圖像得到植被前景圖。

(4) 雜草目標標記。在分割后的前景圖像上，用黑色掩膜覆蓋檢測框位置的蔬菜苗，獲得雜草前景掩膜圖像，并計算雜草目標連通域，最后標記連通域并輸出檢測雜草目標結果。

1.1 YOLOv4目標檢測算法原理

YOLOv4是一種單階段目標檢測算法，采用端到端網絡結構，將目標檢測任務轉換為回歸問題直接完成分類和檢測框生成。其網絡結構主要包括主干特征提取網絡CSPDarknet53 (cross stage partial-darknet53)、空間金字塔池化網絡(spatial pyramid pooling，SPP)、路徑聚合網絡(path aggregation network，PANet)和網絡輸出結構YOLO-Head。YOLOv4主干特征提取網絡選擇帶有CSP結構的CSPDarknet53，并且用Mish激活函數，提升主干網絡特征提取能力和網絡穩定性。SPP網絡使用3種不同尺度的最大池化層充分融合圖像特征，極大增加感受野，得到顯著的上下文特征。PANet通過對傳入特征圖進行反復特征變換和多尺度特征融合，形成強定位特征，進一步提高網絡表征能力。從PANet中提取到的多尺度信息輸出到3個不同尺度的YOLO-Head檢測頭中，輸出目標得分、檢測框尺寸和坐標、分類置信度等信息。最后利用目標得分篩除部分錨框，通過非極大值抑制合并檢測結果，并輸出最終結果。

在訓練策略上，YOLOv4采用余弦退火學習率，通過余弦函數下降模式與學習率相結合，使模型能更好地接近全局最小損失值。數據增強上，采用Mosaic數據增強方法，將具有不同語義信息的4張圖片拼成一張，不僅提高單GPU訓練能力，還增強檢測器魯棒性。

1.2 雜草分割標記算法

雜草圖像分割將植被前景與土壤背景進行分離，而植被通常為綠色，與土壤顏色存在較大差異，因此使用顏色特征分離植被與土壤十分有效。ExG特征根據植被與土壤背景在顏色上的差異，在RGB顏色空間中增強綠色通道權重，提高綠色植被與土壤背景的對比度，利用該特征更好地提取圖像中植被前景信息。計算ExG特征通道為

其中，，和分別為在RGB三通道圖像中分離顏色通道得到的單通道顏色特征。

在ExG特征通道圖像上使用OTSU自適應閾值法計算閾值后，對二值圖像作閾值分割，并在分割得到的二值掩膜上應用形態學運算消除噪點、填充空洞，得到植被分割前景圖像。

目標檢測算法生成檢測框結果后，在前景圖像上用黑色掩膜覆蓋對應檢測框位置來剔除蔬菜圖像，最終圖像上只剩余待檢雜草目標。為得到前景圖像上雜草目標的圖像坐標位置，使用二值圖像連通域標記算法計算前景圖像上存在的雜草目標連通域。連通域標記算法對二值分割后的圖像，用連通域外接矩形方式標記。在分割圖像上，從左至右、從上至下遍歷圖像，對遍歷到的像素點，若為前景像素點且未被標記過，則標記該像素點為前景像素，并遞歸遍歷該像素八鄰域查找前景像素點，直至無滿足條件的像素點，最終得到分割圖像連通域。連接同一連通域中4個邊界像素點形成閉合矩形框，作為該連通域外接矩形標記。計算連通域內所有像素點的橫縱坐標均值，記為連通域質心坐標。最后，雜草分割標記算法輸出雜草連通域標記矩形框和質心坐標。

2 改進YOLOv4目標檢測算法

為提高目標檢測算法性能，本文在YOLOv4算法基礎上從主干特征提取網絡、自注意力機制模塊、網絡輸出結構和損失函數4個方面做出改進，改進的YOLOv4算法網絡結構如圖2所示。

2.1 主干特征提取網絡改進

注意力機制使神經網絡聚焦于目標區域附近的輸入特征，成為提高深度神經網絡性能的重要組成部分。SA模塊是一種融合空間注意力和通道注意力的注意力模塊，其輕量且高效，略微增加模型復雜度就可大幅提高主干網絡特征提取能力，提升檢測精度。

SA模塊網絡結構如圖3所示，首先將輸入特征圖拆分成G個不同分組，再將每一組特征圖沿通道維度等分為2部分，分別送入通道注意力和空間注意力分支。通道注意力分支用來獲取通道間依賴關系，通過分組平均池化沿空間維度壓縮生成通道特征信息，再通過尺度縮放和Sigmoid激活函數生成通道特征權重，嵌入全局特征圖生成通道注意力特征圖。空間注意力分支關注空間維度特征，先通過組歸一化獲取空間特征信息，再通過尺度縮放和Sigmoid激活函數生成空間特征權重，嵌入全局特征圖生成空間注意力特征圖。將通道注意力特征圖和空間注意力特征圖拼接為新的組特征圖，采用隨機通道置換增強組間特征流動，最后輸出變換后同維度新特征圖。

圖2 改進YOLOv4算法網絡結構

圖3 SA模塊網絡結構

在CSPDarknet53主干特征提取網絡5個CSP塊中嵌入上述SA注意力機制模塊，組成SA-CSPDarknet53主干特征提取網絡，網絡結構如圖4所示。用SA-CSPDarknet53替換YOLOv4中的CSPDarknet53作為主干特征提取網絡后，在略微增加網絡復雜度的基礎上大幅提高網絡特征提取能力，增強檢測算法性能，更好滿足復雜背景下目標檢測任務。

圖4 SA-CSPDarknet53網絡結構

2.2 自注意力機制模塊

目標檢測任務中，全局語義信息十分重要，判斷檢測區域不僅考慮當前區域，還需考慮周圍區域語義信息，才能準確定位目標區域。自注意力機制借鑒人類視覺注意力機制，根據視覺對象重要程度不同分配相應資源。神經網絡中，自注意力機制根據圖像區域重要程度分配不同權重。自注意力機制具有全局感受野，可以建模長距離上下文信息，捕捉豐富全局語義信息，為不同語義信息賦予不同權重，使提取到的特征與目標相關性更強，網絡聚焦于關鍵信息。自注意力機制中包含查詢、鍵和值3個基本計算元素，分別使用Q，K和V表示，語義信息權重值通過計算Q和K之間的相似度獲得。自注意力機制模塊采用縮放點積作為相似度計算函數，縮放點積自注意力機制網絡結構如圖5所示。

圖5 縮放點積注意力機制網絡結構

首先采用縮放點積函數計算Q和K之間的相似度，然后將相似度進行縮放和Softmax歸一化得到語義權重，最后將所有語義權重加權求和得到最終的自注意力特征。縮放點積自注意力機制計算式為

其中，為自注意力特征；，和分別表示問題、鍵和值特征；d為縮放因子。

在計算自注意力特征時，需考慮通過不同線性變換矩陣將Q，K和V映射到多個不同子空間中，經過不同自注意力機制模塊計算自注意力特征后，采用向量拼接方式將多個自注意力特征拼接并進行線性變換，輸出多頭注意力特征。多頭注意力機制網絡結構如圖6所示。多頭注意力在不增加計算復雜度的情況下可提高特征提取能力，能夠更好地捕捉長距離依賴，提升網絡模型性能。

圖6 多頭注意力機制網絡結構

為對長距離全局上下文語義信息進行有效建模和捕捉，提高檢測網絡準確度，將原YOLOv4網絡SPP結構之后連接的CBL模塊替換為如圖7所示的C3TR模塊。C3TR模塊首先將輸入特征傳入2個不同分支中，采用1×1卷積降低特征通道數。一個分支特征傳入帶有多頭注意力機制模塊的Transformer模塊，提取全局上下文語義信息，捕捉長距離依賴和豐富的上下文信息。特征充分提取完成后，將2個分支特征進行拼接，通過1×1卷積將特征通道數上升到原通道數，最后輸出帶有全局上下文語義信息的自注意力特征。

圖7 C3TR模塊網絡結構

2.3 網絡輸出結構改進

YOLOv4目標檢測算法中采用YOLO-Head作為檢測頭，YOLO-Head為分類和定位任務共享特征圖的耦合檢測頭。在目標檢測中，研究表明耦合檢測頭中分類和回歸目標函數之間存在空間偏差，造成分類和定位任務之間的沖突，影響目標檢測算法訓練速度和精度。為提高檢測算法檢測精度和端到端訓練速度，將YOLOv4中的耦合檢測頭替換為解耦檢測頭，耦合檢測頭和解耦檢測頭如圖8所示。解耦檢測頭具有分類和回歸2個分支，其分別實現目標檢測框分類和定位，避免分類任務與回歸任務之間產生沖突。

圖8 耦合檢測頭與解耦檢測頭

從路徑聚合網絡PANet中輸出的不同尺度特征圖傳入解耦檢測頭，經過1×1卷積將不同通道數特征圖降維以降低計算量。降維后的特征圖分別傳入分類和定位任務分支，經過2個3×3卷積進行特征轉化，最后通過1×1卷積將通道數轉換到指定通道數。為避免檢測頭中所加入卷積層帶來較大參數量，檢測頭中卷積層均采用深度可分離卷積。

2.4 損失函數改進

由于實驗數據在室外采集，場景復雜，檢測框對于待檢目標的定位具有較大不確定性，易造成檢測框偏離實際待檢目標，因此需要對檢測框不確定性分布進行建模表示，并用該分布指導檢測框質量估計，提高其準確度。對于單階段目標檢測算法，檢測框直接通過回歸的方式生成，正負樣本嚴重失衡，負樣本比例過高，占據大部分損失值。負樣本中多數容易分類，導致模型并非朝著理想方向優化。Focal Loss通過加權懲罰方式，使分類分支中少量正樣本和大量負樣本一起訓練，并且針對正樣本進行質量優化。然而在實際的檢測框質量預測中，仍然存在訓練和推理的不一致，部分負樣本也會獲得較高定位質量得分，導致檢測框不準確。Focal Loss計算式為

其中，為網絡模型輸出的分類標簽概率估計值；為真實分類標簽值；為正負樣本平衡因子；為聚焦因子用于調節簡單/困難樣本權重。

為提高復雜環境下檢測框準確度，采用通用焦點損失(generalized focal loss，GFL)聯合分類得分和定位估計得分，并對檢測框質量建模，指導其質量估計。GFL使用交并比作為分類標簽指導分類訓練，聯合分類和定位估計為質量標簽，然后計算分類損失。由于Focal Loss只支持離散型標簽，將其拓展為支持連續型標簽的形式，即

其中，為(0,1)之間的真實分類標簽值；為算法預測分類標簽值；為樣本權重調節因子。

為靈活地對任意檢測框進行質量分布建模，讓網絡快速聚焦到標注框位置附近，提高其準確度。考慮到真實分布中檢測框與標注框之間距離相差較小，在Focal Loss基礎上額外添加分布損失函數，即

其中，為標注框標簽值；y和y+1分別為標注框標簽值附近的定位標簽值，滿足y<<y+1；S和S+1分別為回歸定位便簽落在定位區域[y,y+1]端點的分布概率。

QFL和DFL可以統一表示為

將GFL損失添加到YOLOv4算法損失函數中，對檢測框不確定性分布建模，引導網絡模型生成的檢測框精準定位待檢目標，提高算法檢測框定位準確率。

3 實驗數據

3.1 圖像數據獲取

實驗數據來源于2021年5月貴州安順市平壩區羊昌洞村蔬菜種植實驗棚內，使用ZED2雙目相機垂直拍攝獲得，相機距離地面約80 cm，圖像分辨率為1280×720像素，圖像格式為JPEG，與實際除草作業中圖像采集設備參數設置一致。為研究不同時段光照強度變化下的雜草檢測問題，提高算法魯棒性以滿足全天候除草作業能力，分別在清晨、正午和傍晚3個時段采集圖像。圖像采集中，選擇辣椒、絲瓜、甜瓜、白菜、西瓜、香瓜和小白菜7種蔬菜為目標，采集環境為蔬菜大棚內自然生長環境，保證數據采集環境與除草作業環境一致，期間共采集有效圖像3 098張。在采集到的圖片中，雜草與作物分布情況如圖9所示，主要分為2種狀態：雜草與作物伴生、雜草遠離作物。為滿足目標檢測算法有監督訓練條件，使用標注工具Labelimg標注蔬菜目標，保存為Pascal VOC數據集格式訓練。

圖9 雜草分布狀態((a)雜草與作物伴生；(b)雜草遠離作物)

3.2 圖像預處理

雜草圖像在蔬菜苗田間自然環境下獲取，圖像拍攝與實際作業的環境中，背景噪聲強、光照條件復雜，易影響雜草檢測算法精度。為降低環境噪聲和光照干擾，突出植被綠色特征，依次采用中值濾波、伽馬矯正和自適應直方圖均衡作圖像預處理。首先使用中值濾波對圖像濾波，再使用伽馬校正降低光照影響，最后使用自適應直方圖均衡化改善圖像對比度和圖像細節。

中值濾波將圖像中以像素點(,)為中心的×窗口內所有像素灰度值按從大到小的順序排列，使用窗口內灰度中值替代(,)處灰度值，有效去除環境背景噪聲。伽馬校正將輸入圖像像素值歸一化到[0,1]之間，然后作非線性變換來調整全局像素值。最后對圖像像素作反歸一化，將其值域擴大到[0,255]得到伽馬校正圖像。非線性變換式為

其中，為輸入圖像像素值；為給定伽馬值。

伽馬校正通過非線性變換調節像素值，可改善圖像整體亮度，降低光照干擾。自適應直方圖均衡化計算圖像局部直方圖，然后重新分布亮度來改善圖像局部對比度并獲得更多的圖像細節。

3.3 數據增強

深度CNN模型屬于數據驅動的特征學習方法，需要大量數據訓練。在圖片數據較少時，可以對數據集樣本進行數據增強，增加數據樣本數量，避免因數據樣本過少導致模型過擬合，同時增強算法魯棒性，避免光照變化、目標尺寸、形狀變化和噪聲干擾下產生漏、誤檢測。以辣椒苗田內采集的圖像樣本為例，使用隨機目標復制粘貼、隨機遮擋、加噪聲、幾何變換和色域變換等數據增強方法處理圖像，數據增強效果如圖10所示。數據增強完成后，數據集樣本擴大5倍，最終數據集中包含15 490張圖像。

圖10 數據增強示例((a)原圖；(b)隨機目標復制粘貼；(c)隨機遮擋；(d)加噪聲；(e)幾何變換；(f)色域變換)

3.4 數據集劃分

經過離線數據增強后的數據集共有15 490張圖片，采用分離驗證方法，將圖片數據集劃分為訓練集、測試集和驗證集，其中訓練集和測試集圖片數量比例為5﹕1，在測試集中以9﹕1比例再細分為測試集和驗證集。劃分后數據集中包含訓練集圖片12 908張，測試集圖片2 323張，驗證集圖片259張。

4 實驗與討論

4.1 實驗平臺與模型訓練設置

本文算法實驗在高性能計算平臺上進行，實驗平臺配置見表1。

表1 實驗平臺配置

訓練采用帶動量的隨機梯度下降作為優化器，動量因子設置為0.9，初始學習率設置為0.001，采用學習率預熱方式降低最初5個epoch學習率穩定網絡訓練，學習率調整策略采用余弦退火方式，最大訓練epoch為550。為提升模型泛化能力，減少對實驗數據集的過擬合，實驗中采用Dropout訓練策略，參數值設置為0.6。

因大部分預權重在通用顯著目標檢測數據集上預訓練，而本文待檢目標與顯著目標存在較大差異，故在通用顯著目標檢測數據訓練預權重基礎上，在開源甜菜雜草數據集[17]上再次訓練網絡權重參數，最后在本文數據集上采用網絡參數凍結和遷移學習方式微調網絡權重參數，得到最終訓練結果。

4.2 評估指標設置

目標檢測算法精度采用平均精度(mean average precision，mAP)作為評估指標，單類別平均精度(average precision，AP)是召回率(recall，R)和準確率(precision，P)繪制的曲線與坐標軸圍成的面積，mAP是所有類別平均精度，計算式為

其中，為準確率；為召回率；T為被正確預測為正樣本的數量；F為負樣本被預測為正樣本的數量；F為正樣本被預測為負樣本的數量；為單類別精度；為檢測類別數目；為平均精度。

由于雜草檢測中將所有雜草目標視為一類目標，故雜草分割標記算法采用平均像素準確率(mean pixel accuracy，MPA)作為評估指標，即

4.3 實驗結果分析

在圖像數據集上按照指定模型訓練設置參數，基于遷移學習方法訓練改進YOLOv4目標檢測算法，網絡模型訓練精度曲線和分類PR曲線分別如圖11(a)和(b)所示，改進后的網絡模型在數據集上對各類蔬菜的檢測均達到較高精度。

圖11 模型訓練曲線((a)模型訓練精度曲線圖；(b)分類PR曲線圖)

為顯示改進算法優越性，在相同訓練數據集樣本上充分訓練YOLOv4，SSD，Faster RCNN及本文算法，并在同一測試集樣本上對以上算法進行檢測實驗。實驗中，非極大值抑制IoU閾值設置為0.5，測試圖像尺寸為608×608。YOLOv4，SSD，Faster RCNN及本文算法檢測性能結果見表2。本文算法在YOLOv4算法基礎上進行改進，增加1%左右的參數量和計算量，mAP提高約10%，比SSD-VGG16高11.08%，比兩階段目標檢測算法Faster RCNN提高了3.45%。綜合模型mAP、參數量、檢測速度和計算量4項指標，對比結果表明本文算法性能更強。

表2 算法檢測性能對比結果

為證明本研究對YOLOv4算法改進的有效性，在相同訓練和測試數據集上對本文算法和標準YOLOv4算法進行對比和消融實驗，消融實驗結果見表3。從表3可以看出，在YOLOv4算法基礎上，主干特征提取網絡嵌入SA-Net后mAP提高5.57%，證明SA-Net能夠增強特征提取能力。其他各項改進在mAP指標上有1%以上的提升，表明本文在原YOLOv4算法上的各項改進均能有效提高算法檢測精度。

表3 消融實驗

注：-為不采用該改進內容，√為采用該改進內容

為驗證本文采用的雜草分割算法在雜草分割定位任務的適用性，從數據集中隨機挑選不同作物、分布狀態和光照條件的150張現場圖像組成雜草分割標記算法測試集，手工標記分割掩膜圖像為標簽。以平均像素分割準確率均值、處理時間均值為評價指標，采用相同圖像預處理和后處理方法，充分調優算法參數。對比RGB顏色空間G通道、HSV顏色空間H通道、LUV顏色空間A通道和ExG顏色通道圖像結合OTSU閾值分割以及K均值聚類等5種方法，各方法分割性能對比實驗結果見表4。

表4 分割算法性能對比結果

從表4可知，K均值聚類方法像素分割準確率最高，但計算量大造成單張圖像處理時間過長，無法運用于實際工作場景。閾值分割法計算量小、處理速度快，能夠滿足實際工況中對于算法性能的要求。ExG顏色特征結合OTSU閾值分割在像素分割準確率上優于其他顏色特征，且分割算法處理時間較短，能夠實現田間雜草快速準確分割。

4.4 檢測結果分析

為進一步比較YOLOv4，SSD，Faster RCNN和本文算法對蔬菜田中蔬菜的檢測效果，從數據集中分別選取不同光照條件和不同蔬菜3張圖片進行測試，結果分別如圖12～14所示，其中圖(a)～ (e)分別代表輸入圖像，YOLOv4，SSD，Faster RCNN和改進YOLOv4結合分割標記算法的檢測效果圖。

圖12是正常光照下黃瓜苗田中雜草遠離作物條件的檢測結果，4種算法均能以較高置信度檢測到黃瓜幼苗，分割標記算法能夠準確標記雜草位置。圖13是正常光照下絲瓜苗田中雜草作物伴生的檢測結果，從圖中可以看出，受伴生雜草影響，YOLOv4和SSD算法檢測置信度有所下降且檢測框定位不準確，部分蔬菜圖像塊被標記為雜草。Faster RCNN與YOLOv4改進算法受影響較小，且能準確定位絲瓜幼苗。圖14是復雜光照下絲瓜苗田中雜草作物伴生的檢測結果，圖中絲瓜苗與雜草伴生并分別處于陽光和陰影中，從圖中可知，YOLOv4和SSD算法在陽光影響下，檢測置信度低且檢測框偏離待檢目標，導致絲瓜幼苗圖像塊被標記為雜草。Faster RCNN置信度也有所降低，并且檢測框定位出現偏移，但改進YOLOv4算法仍以90%以上的置信度準確檢出待檢目標。分割標記算法未受環境條件變化影響，準確標記出雜草目標圖像位置。結果表明改進YOLOv4算法在不同環境條件下檢測效果均優于其他3種算法，分割標記算法在復雜環境條件下能準確標記田間雜草。

圖12 正常光照下黃瓜苗田中雜草遠離作物((a)輸入圖像；(b) YOLOv4；(c) SSD；(d) Faster RCNN；(e) YOLOv4改進算法)

圖13 正常光照下絲瓜苗田中雜草作物伴生((a)輸入圖像；(b) YOLOv4；(c) SSD；(d) Faster RCNN；(e) YOLOv4改進算法)

圖14 復雜光照下絲瓜苗田中雜草作物伴生((a)輸入圖像；(b) YOLOv4；(c) SSD；(d) Faster RCNN；(e) YOLOv4改進算法)

5 結束語

結合深度學習和傳統圖像處理方法，提出一種基于改進YOLOv4和圖像處理的雜草識別與定位算法，實現蔬菜苗田間快速檢測和定位雜草。在原YOLOv4算法基礎上，通過改進主干特征提取網絡、引入自注意力機制模塊、損失函數和檢測頭改進，增強算法特征提取能力和檢測定位精度，增加約1%參數量和計算量，檢測精度提高10%。采用ExG特征結合OTSU閾值分割算法分離土壤背景，平均分割準確率達到95.18%。結合目標檢測算法的檢測結果，快速標記分割圖像前景雜草連通域，精確定位雜草目標質心坐標，完成雜草識別和定位任務。基于深度學習目標檢測算法準確率高和魯棒性強的優點，結合傳統圖像處理方法通用性強的特點，提出改進YOLOv4和圖像處理的蔬菜苗田雜草檢測算法可在雜草分布狀態復雜和類別繁多場景下，實現蔬菜苗田雜草目標快速準確檢測。

[1] 趙博, 王宗甲, 周鵬, 等. 智能雜草識別系統的設計與實驗[J]. 農業工程學報, 2012, 28(S2): 184-187.

ZHAO B, WANG Z J, ZHOU P, et al. Design and experiment of intelligent weed recognition system[J]. Transactions of the Chinese Society of Agricultural Engineering, 2012, 28(S2): 184-187 (in Chinese).

[2] ZHANG Y, STAAB E S, SLAUGHTER D C, et al. Automated weed control in organic row crops using hyperspectral species identification and thermal micro-dosing[J]. Crop Protection, 2012, 41: 96-105.

[3] FRANCO C, PEDERSEN S M, PAPAHARALAMPOS H, et al. The value of precision for image-based decision support in weed management[J]. Precision Agriculture, 2017, 18(3): 366-382.

[4] 洪曉瑋, 陳勇, 楊超淞, 等. 有機蔬菜大棚除草機器人研制[J]. 制造業自動化, 2021, 43(5): 33-36, 71.

HONG X W, CHEN Y, YANG C S, et al. Development of a weeding robot for organic vegetable greenhouse[J]. Manufacturing Automation, 2021, 43(5): 33-36, 71 (in Chinese).

[5] 楊碩, 李法德, 閆銀發, 等. 果園株間機械除草技術研究進展與分析[J]. 農機化研究, 2020, 42(10): 1-8, 16.

YANG S, LI F D, YAN Y F, et al. Research progress and analysis of intra-row mechanical weeding technology for orchards[J]. Journal of Agricultural Mechanization Research, 2020, 42(10): 1-8, 16 (in Chinese).

[6] 王生生, 王順, 張航, 等. 基于輕量和積網絡及無人機遙感圖像的大豆田雜草識別[J]. 農業工程學報, 2019, 35(6): 81-89.

WANG S S, WANG S, ZHANG H, et al. Soybean field weed recognition based on light sum-product networks and UAV remote sensing images[J]. Transactions of the Chinese Society of Agricultural Engineering, 2019, 35(6): 81-89 (in Chinese).

[7] 胡盈盈, 王瑞燕, 郭鵬濤, 等. 基于近地光譜特征的玉米田間雜草識別研究[J]. 江蘇農業科學, 2020, 48(8): 242-246.

HU Y Y, WANG R Y, GUO P T, et al. Recognition of weeds in maize fields based on near-earth spectrum characteristics[J]. Jiangsu Agricultural Sciences, 2020, 48(8): 242-246 (in Chinese).

[8] WANG A C, ZHANG W, WEI X H. A review on weed detection using ground-based machine vision and image processing techniques[J]. Computers and Electronics in Agriculture, 2019, 158: 226-240.

[9] PULIDO C, SOLAQUE L, VELASCO N. Weed recognition by SVM texture feature classification in outdoor vegetable crops images[J]. Ingeniería e Investigación, 2017, 37(1): 68.

[10] 何東健, 喬永亮, 李攀, 等. 基于SVM-DS多特征融合的雜草識別[J]. 農業機械學報, 2013, 44(2): 182-187.

HE D J, QIAO Y L, LI P, et al. Weed recognition based on SVM-DS multi-feature fusion[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(2): 182-187 (in Chinese).

[11] 溫德圣, 許燕, 周建平, 等. 自然光照影響下基于深度卷積神經網絡和顏色遷移的雜草識別方法[J]. 中國科技論文, 2020, 15(3): 287-292.

WEN D S, XU Y, ZHOU J P, et al. Weed identification method based on deep convolutional neural network and color migration under the influence of natural illumination[J]. China Sciencepaper, 2020, 15(3): 287-292 (in Chinese).

[12] DOS SANTOS FERREIRA A, MATTE FREITAS D, GON?ALVES DA SILVA G, et al. Weed detection in soybean crops using ConvNets[J]. Computers and Electronics in Agriculture, 2017, 143: 314-324.

[13] 樊湘鵬, 周建平, 許燕, 等. 基于優化Faster R-CNN的棉花苗期雜草識別與定位[J]. 農業機械學報, 2021, 52(5): 26-34.

FAN X P, ZHOU J P, XU Y, et al. Identification and localization of weeds based on optimized faster R-CNN in cotton seedling stage[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(5): 26-34 (in Chinese).

[14] 孟慶寬, 張漫, 楊曉霞, 等. 基于輕量卷積結合特征信息融合的玉米幼苗與雜草識別[J]. 農業機械學報, 2020, 51(12): 238-245, 303.

MENG Q K, ZHANG M, YANG X X, et al. Recognition of maize seedling and weed based on light weight convolution and feature fusion[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(12): 238-245, 303 (in Chinese).

[15] BOCHKOVSKIY A, WANG C Y, LIAO H Y M. YOLOv4: optimal speed and accuracy of object detection[EB/OL]. [2021-12-01]. https://arxiv.org/abs/2004.10934.

[16] ZHANG Q L, YANG Y B. SA-net: shuffle attention for deep convolutional neural networks[C]//ICASSP 2021 - 2021 IEEE International Conference on Acoustics, Speech and Signal Processing. New York: IEEE Press, 2021: 2235-2239.

[17] CHEBROLU N, LOTTES P, SCHAEFER A, et al. Agricultural robot dataset for plant classification, localization and mapping on sugar beet fields[J]. The International Journal of Robotics Research, 2017, 36(10): 1045-1052.

Weed detection in vegetable field based on improved YOLOv4 and image processing

DONG Hui, CHEN Xin-kai, SUN Hao, YAO Li-gang

(School of Mechanical Engineering and Automation, Fuzhou University, Fuzhou Fujian 350108, China)

To address the problems of low efficiency, poor accuracy, and insufficient robustness of detection methods due to the variety and complex distribution of weeds in the field, the seven kinds of common vegetables and field weeds in the seedling stage in the seedling field were taken as the research objects, the weed detection was reversely converted into crop detection, and a weed detection algorithm in vegetable seedling fields based on optimized YOLOv4 and image processing was proposed. Based on the YOLOv4 object detection algorithm, the backbone feature extraction network was embedded in SA module to enhance the feature extraction capability, the Transformer module was introduced to construct the long-distance global semantic information of the feature map, and the detection head and loss function were improved to increase the detection and positioning accuracy. The improved model’s average recognition time for a single image was 0.261 s, and the average recognition accuracy rate was 97.49%. Under the same training samples and system environment settings, the improved method was compared with the mainstream target detection algorithms Faster RCNN, SSD, and YOLOv4. The results show that the improved YOLOv4 model is of evident advantages in the identification of various vegetables in the seedling stage. The improved YOLOv4 target detection algorithm was used to detect crops: the vegetation outside the crop area is weeds, and the excess-green feature was combined with the OTSU threshold segmentation algorithm to obtain the weed foreground. Finally, the connected component of the weed foreground was marked to output the weed centroid coordinates and the position of the detection frame. In doing so, weed can be effectively detected in vegetable seedling fields.

weed; vegetable; YOLOv4; image processing; object detection; segmentation

14 November，2021；

National Natural Science Foundation of China (62173093);National Natural Science Foundation of Fujian Province (2020J01456)

DONG Hui (1985-), associate professor, Ph.D. Her main research interests cover image processing and machine learning, etc. E-mail：hdong@fzu.edu.cn

TP 391

10.11996/JG.j.2095-302X.2022040559

A

2095-302X(2022)04-0559-11

2021-11-14；

2022-02-21

21 February，2022

國家自然科學基金項目(62173093)；福建省自然科學基金項目(2020J01456)

東 輝(1985-)，女，副教授，博士。主要研究方向為圖像處理及機器學習方法等。E-mail：hdong@fzu.edu.cn

孫 浩(1986-)，男，副教授，博士。主要研究方向為機器人技術、微納制造和人工智能等。E-mail：sh@fzu.edu.cn

SUN Hao (1986-), associate professor, Ph.D. His main research interests cover robotics, micro-nano manufacturing and artificial intelligence, etc. E-mail：sh@fzu.edu.cn