基于深度學習的雜草識別系統

尚建偉 蔣紅海 喻剛 陳頡顥 王博 李兆旭 張偉平

摘 要：田間除草技術在農業生產中具有重要意義。針對復雜背景下農作物與雜草識別率低、算法魯棒性差等問題，提出一種圖像分割網絡Res-Unet。該網絡為unet網絡的改進版本，采用resnet50網絡代替unet主干網絡，解決復雜背景下農作物與雜草區域提取困難、小植株檢測效果差、分割邊緣震蕩、變形問題。將圖像的平均交并比、準確率、訓練時長作為評價指標進行實驗。結果表明：使用Res-Unet模型的平均交并比為82.25%，平均像素準確率為98.67%。改進的Res-Unet模型相對于Unet平均交并比高出4.74%，相較于segnet平均交并比高出10.68%，訓練時間減少3小時。該方法對復雜背景下甜菜雜草檢測效果良好，可為機器人精確除草提供參考。

關鍵詞：圖像分割;卷積神經網絡;深度學習;圖像識別;雜草識別

DOI：10. 11907/rjdk. 201392 開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP319文獻標識碼：A 文章編號：1672-7800（2020）007-0127-04

Weed Identification System Based on Deep Learning

SHANG Jian-wei1， JIANG Hong-hai1， YU Gang1， CHEN Jie-hao1， WANG Bo1， LI Zhao-xu1， ZHANG Wei-ping2

（1. School of Mechanical and Electrical Engineering， Kunming University of Science and Technology， Kunming 650504， China;

2. 78098 Military Training Team， Chengdu 610200，China）

Abstract： The field weeding technology is of great significance in agricultural production. The traditional weed identification technology has the disadvantages of low efficiency or great limitations. To solve the problem of low recognition rate of crops and weeds in complex background and poor robustness of algorithm， an image segmentation network res UNET is proposed. Res UNET is an improved version of UNET network. It uses resnet50 network instead of the main network of UNET to solve the problem of crop and weed area extraction under complex background， poor detection effect of small plants， edge vibration and deformation of segmentation. The average intersection ratio， accuracy and training time of the image are selected as evaluation indexes. The results show that the average cross union ratio of res UNET model is 83.25%， and the average pixel accuracy is 98.67%. The improved res UNET model is 4.74% higher than the UNET average， 10.68% higher than the segnet average， and the training time is reduced by 3 hours. This method has a good detection effect on beet weeds in complex background， and can provide a reference for the follow-up robot precision weeding.

Key Words： image segmentation; convolutional neural network; deep learning; image identification; weed identification

0 引言

雜草控制是農場最重要的作業之一，因為不受控制的雜草會對作物產量和質量產生重大影響。噴灑除草劑和人工除草是最常用的除草方法，但從經濟和環境角度看都不可取。人工除草成本較高且效率較低。機器視覺在取代人類進行植物識別方面顯示出巨大潛力，自動精確除草系統有望填補這一空白[1]。自動除草關鍵是快速準確獲取作物與雜草位置[2]。顏色、形狀[3-4]、光譜和紋理[5]是雜草識別的主要特征。

Cho等[6]對蘿卜的長徑比、細長度及周長等形狀特征進行評價，以區分蘿卜和雜草。除圓度外，還包括7個不變中心矩（ICM）用于從雜草物種中識別出玉米和大豆[7]。對大豆、玉米和玉米田低水平紋理特征均作出評價，指標如偏度、平均值、方差[8]、灰度共生矩陣、角二階矩、慣性、熵、局部均勻性等[9];之后Gabor小波紋理特征占據主流，對雜草/作物分類技術形成了較大改進[10]。紋理特征與現代分類器，如模糊聚類、貝葉斯分類器、支持向量機和神經模糊分類器[11-13]已用于作物識別系統。

近年興起的深度學習方法在雜草識別方面表現卓越。彭明霞等[14]融合特征金字塔網絡（Feature Pyramid Networks，FPN）的Faster R-CNN，提出在復雜背景下高效識別棉田雜草方法，檢測效果較好;孫俊等[15]提出一種空洞卷積與全局池化相結合的卷積神經網絡識別作物幼苗與雜草方法，平均識別準確率與分類成功率均較高。上述方法顯示深度學習方法在雜草識別領域的光明前景，但這些模型參數量大，結構較為復雜。

針對現有模型網絡復雜度高、不易訓練問題，提出Res- Unet雜草檢測模型。以Unet為主要框架，用Resnet50代替Unet主干網絡。使用resnet50卷積神經網絡進行下采樣，從加深網絡結構、提取多尺度特征、減小模型數據量等方面優化網絡。

1 圖像分割與實驗

1.1 圖像采集與實驗設計

本研究圖像數據來源于德國波恩大學采集的甜菜與雜草圖片[16]。圖像采集由博世DeepField Robotics公司生產的多用途機器人完成，采集設備為JAI AD-130GE攝像頭，提供最大分辨率1 296×966像素圖像，采集時間為2016年5月23日。圖1為農田信息采集機器人 BoniRob、數據采集樣本樣例及標簽圖。紅色標簽為甜菜，其它顏色為雜草。

由于卷積殘差網絡能夠自動從不同尺寸圖像中提取特征，所以樣本圖像可直接用于本文的圖像分割模型進行訓練與測試，不需要縮放等預處理操作。將甜菜和雜草樣本分為訓練集、驗證集和測試集。其中訓練集910張，測試集390張，驗證集100張。訓練集用于訓練模型參數，測試集用于評估模型泛化能力，驗證集用于模型超參數調優。最后應用典型評測指標——平均交并比（Mean-IOU）衡量模型檢測器性能。

1.2 圖像分割

1.2.1 殘差卷積網絡

2015年何凱明等[17]提出Resnet網絡結構，該網絡大幅提高神經網絡深度，并在與ISLVRC和COCO比賽中勝出。常規的網絡優化思想是通過大量網絡堆疊提高網絡性能，但深層神經網絡帶來梯度消失和梯度爆炸問題，Resnet網絡的殘差塊思想使神經網絡深度提高，從而取得更好的訓練結果。

圖2 （a）為Conv Block網絡結構，圖2（b）為Identity Block網絡結構，圖2（c）為resnet50網絡結構。Resnet50由Conv Block與Identity Block兩個基本殘差塊組成，兩個基本塊有主路徑和跳躍路徑，主路徑有3個卷積層，3層卷積核分別為1×1、3×3和1×1;Conv Block的跳躍路徑經過1×1卷積網絡后與主路徑輸出相加，Identity Block跳躍路徑直接與主路徑輸出相加。當網絡輸入與輸出維度一致時，可選用Identity Block直接將輸入與輸出相加。當網絡輸入與輸出維度不一致時，選用Conv Block改變網絡維度。

1.2.2 Res-Unet圖像分割模型

圖像分割是從像素層次識別圖像，為圖像中的每個像素指定類別標記。UNet是一種編碼—解碼網絡結構的語義分割模型。Res-Unet模型將Unet主干網絡替換為Resnet50，該模型不僅保留resnet網絡收斂速度快、網絡深的優點，還兼顧unet網絡結構簡單、數據量小優勢。圖3為Res-Unet網絡結構，左邊為編碼器，將輸入圖片送入resnet50進行下采樣，圖片被4次壓縮，得到較低分辨率但經學習可高效區分類別的特征圖;右邊為解碼器，下采樣特征為全分辨率分割圖，下采樣中的層與上采樣中的層之間存在許多合并連接，有助于解碼器使用上采樣恢復圖像細節。

2 模型訓練

2.1 實驗條件

本文使用keras與tensorflow深度學習開源框架訓練模型。實驗配置為：處理器：Intel（R） Core？ i7-8550U 四核，主板：惠普8471，內存：8GB（三星 DDR4 2666MHz），硬盤：英特爾SSDPEKKF360G7H（360GB/固態硬盤），顯卡：Nvidia GeForce MX150 （2 GB），環境為keras2.2.0，tensorfolw1.13.1，python3.6。

2.2 網絡模型訓練方法

采用910張甜菜雜草圖像進行網絡訓練，選用Adam優化器[18]使錯誤最小化。Adam優化器是一種基于一階梯度的隨機目標函數優化算法，基于低階矩自適應估計。使用Adam優化器計算效率高、內存要求低、梯度對角重新縮放不變以及非常適合數據或參數較大場合。Adam優化器學習速率設置為1×[10-3]。分類交叉熵函數用作損失函數，使用Mean-IOU評估網絡模型。使用Xavier初始化權重[19]。Xavier初始化通過在整個層中將信號保持在合理值范圍確保合適權重。其保持輸入梯度和輸出梯度方差相同，有助于保持整個網絡中梯度大小基本相同。

3 實驗結果與分析

3.1 損失函數變化情況

本文研究屬于3類別圖像分割問題，分別為甜菜、雜草、土壤。選擇分類交叉熵函數作為圖像分割模型的損失函數，計算公式如下：

式（1）中，N為樣本數，K為標簽數，[yik=1]為正樣本真實標簽，[yik=0]為負樣本真實標簽，[y*ik]為樣本預測概率。loss值為實際輸出概率與期望輸出概率之差。交叉熵的值越小，兩個概率分布就越接近。

首先將1 300張甜菜雜草數據集和它們對應的標簽圖送入Res-Unet圖像分割模型中訓練，訓練集圖片910張，測試集圖片390張，觀察網絡訓練過程中訓練集和測試集損失函數的變化。圖4顯示分類交叉熵損失函數變化情況，其中橫坐標表示訓練輪數，縱坐標表示交叉熵損失函數數值。為控制網絡的過擬合情況，對網絡進行不同的Dropout值（50%、65%和80%）訓練，以找到損失函數最低值，并選擇50%作為網絡的dropout值。圖4顯示Dropout值為50%的均損失函數。從圖4可以很明顯看出網絡迅速融合。網絡訓練前20輪學習率較大，網絡參數更新速度快，損失函數波動較大。網絡訓練20～40輪之間，損失函數逐漸達到平穩數值范圍，此時訓練集損失函數為0.016，測試集損失函數為0.021。

3.2 甜菜雜草目標識別結果與分析

網絡訓練完成后，將100張驗證集圖片輸入訓練完成的模型中。盡管在復雜環境背景田地中，但網絡對于圖像依舊表現良好。圖5為預測圖像與真實標簽對比，圖5（a）為采集的原始圖像，圖5（b）為其對應的像素級標簽，圖5（c）為預測圖像。

3.3 結果評估

圖像分割中評估模型性能標準很多，本文使用mean-iou作為評估指標。mean-iou計算如下：

式（2）中，k為圖像中標簽類別數，i表示真實類別，[pij]表示屬于i類但被判定為j類的像素數量，即假陽性像素數量，[pji]為假陰性像素數量，[pii]為預測正確的像素數量。

如圖6所示，在訓練的前20輪，訓練集和測試集的mean-iou波動很大，擬合度很低。在訓練的20～40輪之間，兩個數據集中的mean-iou一直平穩增加，且曲線擬合度慢慢增大。40輪后，模型的mean-iou不再增加。在40輪時，測試集的mean-iou達到82.25%。

3.4 與其它技術比較

將模型結果與幾種方法進行對比，這里比較Segnet[20]、Unet[21]圖像分割網絡效果。如表1所示，將網絡模型的訓練時長、平均交并比、平均像素準確率進行對比。其中訓練時長Res-Unet和Unet遠遠優于Segnet。Res-Unet在Mean-IOU和Accuracy指標上表現最為優異，最高值分別為82.25%、98.67%，高于Unet和Segnet網絡。

圖7為Res-Unet、Unet和Segnet網絡的分割效果。對比發現，Res-Unet圖像分割網絡可以很清晰地識別出雜草與甜菜，而Unet和Segnet有很大的假陽率和假陰率，并且Res-Unet網絡對小植株識別明顯優于其它兩個模型。面對圖像分割模型遇到的圖像分割邊緣震蕩問題，Res-Unet網絡表現更優秀，邊緣更加清晰。復雜背景下的雜草識別受很多因素影響，Res-Unet網絡從多尺度提取圖像特征，算法魯棒性更好。

4 結語

本文基于深度學習的圖像分割技術對雜草和作物進行識別，對傳統的Unet網絡進行改進，采用Resnet50代替Unet網絡下采樣部分，與原始模型相比加深了網絡結構，不需要進行縮放等預處理操作，能夠更有效地提取甜菜和雜草的特征信息。通過對復雜背景下甜菜和雜草的田間試驗，驗證了模型的有效性：平均交并比達到82.25%，平均像素準確率達到98.67%，具有較高的分割識別精度，為研制智能除草機提供了理論依據。

參考文獻：

[1] SUJARITHA M， ANNADURAI S. Weed detecting robot in sugarcane fields using fuzzy real time classifier[J]. Computers and Electronics in Agriculture，2017， 134（6）：160-171.

[2] LI N， T E GRIFT， YUAN T， et al. Image processing for crop/weed discrimination in fields with high weed pressure[C]. In 2016 American Society of Agricultural and Biological Engineers Annual International Meeting， 2016.

[3] PEREZ A J，LOPEZ F，BENLLOCH J V， et al. Colour and shape analysis techniques for weed detection in cereal fields[J].? Computers and Electronics in Agriculture. 2000，25（3）：197-212.

[4] LAMM R D， SLAUGHTER D C， GILES D K. Precision weed control system for cotton[J]. Transactions of the ASAE，2002，45（1）：231-238.

[5] GUIJARRO M，PAJARES G，RIOMOROS I，et al. Automatic segmentation of relevant textures in agricultural images[J]. Computers and Electronic in Agriculture，2011，75（1）：75-83.

[6] CHO S I，LEE D S，JEONG J Y. Weed-plant discrimination by machine vision and artificial neural network[J]. Biosystems Engineering， 2002，83（3）：275-280.

[7] WOEBBECKE D M， MEYER G E， VON BARGEN K， et al. Shape features for identifying young weeds using image analysis[J]. Am，Soc，Agric， Eng，1995，38 （1）：271-281.

[8] FRANZ E， GEBHARDT M R， UNKLESBAY K B. Shape description of completely visible and partially occluded leaves for identifying plants in digital images[J]. Transactions of the ASAE，1991，34 （2）：673-681.

[9] MEYER G E， NETO J C. Verification of colour vegetation indices for automated crop imaging applications[J].? Computers and Electronic in Agriculture，2008，63（2）：282-293.

[10] TANG L， TIAN L F， STEWARD B L， et al. Texture-based weed classification using gabor wavelets and neural network for real-time selective herbicide applications[J].? Urbana，1999，51（9）：61-80.

[11] TANG L， TIAN L， STEWARD B L. Classification of broadleaf and grass weeds using gabor wavelets and an artificial neural network[J]. Transactions of the ASAE，2003，46 （4）：1247-1254.

[12] CRUZ G，JESúS M，ROMEO G，et al. A new expert system for greenness identification in agricultural images[J]. Expert Syst， Appl，2013，40 （6）：2275-2286.

[13] RAINVILLE F M， DURAND A， FORTIN F A， et al. Bayesian classification and unsupervised learning for isolating weeds in row crops[J]. Pattern Anal， Appl，2014，17 （2）：401-414.

[14] 彭明霞，夏俊芳，彭輝. 融合FPN的Faster R-CNN復雜背景下棉田雜草高效識別方法[J]. 農業工程學報，2019，35（20）：202-209.

[15] 孫俊，何小飛，譚文軍，等. 空洞卷積結合全局池化的卷積神經網絡識別作物幼苗與雜草[J]. 農業工程學報，2018，34 （11）：159-165.

[16] CHEBROLU N， LOTTES P， SCHAEFER A， et al. Agricultural robot dataset for plant classification， localization and mapping on sugar beet fields[J]. The International Journal of Robotics Research，2017，36（10）：1045-1052.

[17] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[DB/OL]. http：//arxiv.org/abs/1512.03385.

[18] KINGMA D， BA J. Adam：a method for stochastic optimization[J].? arXiv， 2014， 13（5）：12-44.

[19] GLOROT X，BENGIO Y. Understanding the dif？culty of training deep feedforward neural networks[J]. Aistats，2010，9（2）：249-256.

[20] VIJAY BADRINARAYANAN， ALEX KENDALL， ROBERTO CIPOLLA. Segnet： a deep convolutional encoder-decoder architecture for scene segmentation[J]. IEEE，2017，56（15）：2481-2495.

[21] OLAF RONNEBERGER，PHILIPP FISCHER，THOMAS BROX. U-net： convolutional networks for biomedical image segmentation[J].? MICCAI， 2015， 9351（3）：234-241.

（責任編輯：杜能鋼）