基于改進DenseNet的田間雜草識別

趙 輝，曹宇航，岳有軍，王紅君

基于改進DenseNet的田間雜草識別

趙 輝，曹宇航，岳有軍，王紅君

（天津理工大學電氣電子工程學院，天津市復雜系統控制理論與應用重點實驗室，天津 300384）

精確、快速地獲取作物和雜草的類別信息是實現自動化除草作業的重要前提。為解決復雜環境下農作物田間雜草種類的高效準確識別問題，該研究提出一種基于改進DenseNet的雜草識別模型。首先，在DenseNet-121網絡的基礎上，通過在每個卷積層后引入高效通道注意力（Efficient Channel Attention，ECA）機制，增加重要特征的權重，強化雜草特征并抑制背景特征；其次，通過DropBlock正則化隨機隱藏雜草圖像部分特征塊，以提升模型的泛化能力，增強模型識別不同類型雜草的適應性；最后，以自然環境下玉米幼苗和6類伴生雜草作為樣本，在相同試驗條件下與VggNet-16、ResNet-50和未改進的DenseNet-121模型進行對比試驗。結果表明，改進的DenseNet模型性能最優，模型大小為26.55 MB，單張圖像耗時0.23 s，平均識別準確率達到98.63%，較改進前模型的平均識別準確率提高了2.09個百分點，且綜合性能高于VggNet-16、ResNet-50模型；同時，通過采用梯度加權類激活映射圖（Gradient-weighted Class Activation Mapping，Grad-CAM）可視化熱度圖方法分析，得出改進前后模型的類別判斷概率分別為0.68和0.99，本文模型明顯高于未改進模型，進一步驗證了改進模型的有效性。該模型能夠很好地解決復雜環境下農作物和雜草的種類精準識別問題，為智能除草機器人開發奠定了堅實的技術基礎。

圖像識別；卷積神經網絡；高效通道注意力；DropBlock；田間雜草

0 引 言

伴生雜草嚴重影響作物的產量和質量，因此，抑制雜草生長是農業的主要作業之一[1]。國內目前主要的除草方式是人工作業，農民在除草過程中往往使用大面積隨機噴灑除草劑的方式進行除草，這會造成極大的環境污染和化學殘留，也對人們的身體健康產生極大的危害。而且大面積除草作業沒有針對性，除草效率往往不高，需要反復進行除草[2-4]。近年來，為提高田間作業效率及解決農業勞動力不足問題，自動精確除草系統成為研究熱點[5-6]，其中，基于機器視覺和圖像處理的雜草自動識別技術是難點[7]。

傳統圖像處理方法通常根據雜草顏色、形狀、紋理和空間分布等特征以及這些特征的組合，使用小波分析、貝葉斯判別模型和支持向量機（Support Vector Machines，SVM）等[8-10]方法實現農作物與雜草的識別[11-15]。這些方法雖然檢測難度較低，但是一般農作物的種植區域環境復雜，使用雜草特定特征進行識別的方法的魯棒性較差，識別準確率不高。

隨著深度學習技術的發展，卷積神經網絡（Convolutianal Neural Network，CNN）在機器視覺領域逐漸得到廣泛應用并取得良好效果[16-19]。在雜草識別方面，Dos等[20]將AlexNet與SVM和隨機林模型進行了比較，得出AlexNet架構比其他模型能更好地辨別大豆、土壤和闊葉雜草；Potena等[21]提出基于RGB+NIR（Near Infrared）圖像的多步視覺系統，使用2種不同的CNN架構對農作物和雜草進行分類；Jiang等[22]在AlexNet、VGG16和ResNet-101網絡模型[23-25]上使用圖卷積神經網絡對3類農作物及雜草進行識別，其中ResNet-101的平均識別準確率達到96.51%；彭文等[26]以水稻田間雜草為研究對象，在深度卷積神經網絡訓練時，使用隨機梯度下降（Stochastic Gradient Descent，SGD）優化器優化參數，其中VGG16-SGD模型精度最高，其平均F（F-measure）值為0.977；鄧向武等[27]使用預訓練CNN模型結合遷移學習方法，對水稻幼苗田間雜草進行識別，其中，VGG16模型的正確識別率達到97.8%；徐艷蕾等[28]通過在Xception網絡基礎上引入指數線性單元（Exponential Linear Unit，ELU）激活函數和全局最大池化層提高對雜草的識別能力，最終平均識別準確率達到98.63%。通過以上文獻可以看出，基于深度學習的雜草識別方法可以很好地解決傳統圖像處理中需要提取特定特征的問題，并且在準確率上也有一定程度的提高，但仍然存在以下問題：1）在復雜環境下的農作物田間，當雜草周圍環境發生變化時，已有深度學習模型對雜草識別存在泛化能力不強問題；2）卷積神經網絡在特征提取過程中，因背景多樣且圖像像素占比較多，從而提取大量無效背景信息，影響識別結果，不能保持較高的識別準確率。

針對以上問題，本文提出一種基于改進DenseNet-121網絡的雜草識別模型，通過引入高效通道注意力（Efficient Channel Attention，ECA）機制和DropBlock正則化，在加強雜草特征提取的同時，抑制無效背景特征的提取，從而提高識別準確率和網絡的泛化能力，確保在復雜環境下雜草的高效準確識別。

1 雜草識別流程

本文通過改進DenseNet進行田間雜草識別。步驟如圖1所示。首先，對收集到的農作物和雜草圖像進行數據擴增以確保數據的多樣性，完成雜草數據集的建立，并劃分訓練集和測試集；其次，將訓練集輸入到雜草識別模型中完成模型訓練，再載入訓練好的權重得到預測模型；最后，輸入測試集得到預測結果。

2 數據處理

本文訓練樣本數據集包括2部分，一部分為文獻[22]公開的玉米與雜草數據集；一部分為自建雜草數據集，于2020年6月10日，采集于山西省垣曲縣上官村中自然環境下的玉米田間，分別在早上6:00、中午12:00和下午18:00實地拍攝玉米幼苗圖像和雜草圖像。包括莎草、刺兒草、牛筋草、藜、早熟禾、小飛蓬6種常見的雜草和玉米圖像。經過篩選后，本文所用數據集共有1 522幅圖片，其中莎草270張，刺兒草244張，牛筋草114張，藜220張，早熟禾265張，小飛蓬119張以及玉米290張。在實際訓練過程中，考慮到數據集有限和圖像尺寸的問題，對原始數據集進行以下處理：

1）為了防止由于圖片數量有限而造成過擬合，本文采用深度學習中的數據擴增技術，對已有的數據集進行幾何變換，通過擴充玉米和雜草圖像的數量，增加數據的多樣性，避免出現網絡學習不相關特征，進而學習更多與數據有關的特征，提升模型的識別能力。本文對收集到的雜草和玉米圖片，采用亮度增強、對比度增強、添加噪聲和隨機方向翻轉4種數據擴增方法，使數據集擴充到原數據集的4倍，共7 610張圖片。其中，訓練集6 088張，測試集1 522張。

2）為滿足網絡對圖像像素的輸入要求，訓練時，首先將圖像像素調整為256×256，再從中心開始裁剪得到224×224像素的圖像，裁剪后的部分雜草數據集圖像見圖 2。

3 模型構建

3.1 DenseNet-121

Densenet-121[29]網絡使用旁路設置和特征重用2種結構，采用特征重復拼接，既可以減少網絡的參數量，又可以緩解梯度消失的問題。網絡主要由DenseBlock和Transition Layer兩部分組成。

DenseBlock結構如圖3所示。

DenseBlock的輸出公式為

3.2 DenseNet改進

3.2.1 注意力機制

由此可得：

3.2.2 DropBlock正則化

考慮到周圍環境變化可能導致識別準確率降低以及 DenseNet-121網絡可能會造成過擬合等問題，本文采用DropBlock[31]正則化模型，通過隨機隱藏部分特征圖的方法，防止過擬合的出現，以提取更具有魯棒性的特征。

Dropout[32]正則化一般通過在全連接層上隨機隱藏神經元發揮作用，但是在卷積層使用卻效果不佳，原因是隨著特征提取的加深，特征圖逐漸變小，感受野逐漸變大，特征圖上的每一個特征對應一個感受野范圍，均可以通過相鄰位置元素學習對應的語義信息，進而失去作用。而DropBlock通過設置整塊元素隱藏特征圖，阻斷相鄰位置學習語義信息，并對未被隱藏的特征圖進行歸一化，從而實現對卷積層的正則化效果。圖5為正則化效果圖。

3.2.3 雜草識別模型

圖6為模型的整體結構，輸入為R、G、B三通道圖像。首先，圖像經過一個7×7大卷積核的卷積層調整通道數并提取有效的信息，后接一個DropBlock正則化層，用以模擬噪聲和防止過擬合，并提高模型的泛化能力；其次，ECA-DenseBlock為模型的核心部分，如圖7所示，在每一個密集連接后添加ECA注意力機制，增大雜草特征的權重，提取更為重要的信息。網絡共包含4個ECA-DenseBlock塊，改進后的密集連接的數量分別為6、12、24、16，而且每一個ECA-DenseBlock后面都連接一個Transition Layer，其中，1×1卷積和平均池化用來調整通道數，避免特征維度增長過快。經過添加注意力機制的密集連接結構提取特征后，添加DropBlock正則化，防止過擬合問題。最后，使用全局平均池化和Linear分類器得到類別輸出。

城鄉水利基礎設施再上新臺階。重點水利項目建設全面加快，全力實施福建大水網規劃和“十百千萬”水利工程，截至2013年10月底，全省完成水利建設投資202億元，漳州古雷引水、長泰枋洋水庫等102個重大水利項目持續推進，建溪三期防洪、莆田金鐘引水等19個重點水利樞紐、水資源配置工程相繼建成并發揮效益。農村水利基礎設施條件持續改善，已解決324萬農村人口飲水安全問題，年內可完成400萬人以上；加快實施40處大中型灌區（灌排泵站）節水改造、41個小型農田水利重點縣建設以及2013—2014年度冬春水利工程水毀修復工作；啟動實施首批280座農村水電增效擴容改造，將新增裝機容量79萬kW。

注：ECA-DenseBlock為添加ECA后的DenseBlock。

4 雜草識別試驗

4.1 試驗環境

為保證試驗的規范與高效，以Ubuntu 18.04作為試驗操作系統，采用Intel Xeon(R) CPUE5-2650V4 @2.20Hz×48、12 GB的Ge Force GTX 1080Ti × 2 GPU并且運行內存為64 GB的計算機作為試驗硬件平臺，采用CUDNN7.6.0為深度神經網絡加速庫，并使用Python語言在深度學習PyTorch框架上實現。

4.2 參數設置

在訓練CNN模型時，本文采用SGD優化算法，batch size設置為64，訓練輪數為100，初始學習率設置為0.01，并且在兩個輪次的損失值不變時，學習率變為原來的一半。

4.3 模型評價指標

本文采用平均識別準確率(Accuracy)作為模型的評價指標:

4.4 結果與分析

在相同試驗條件下，將VggNet-16、ResNet-50、DenseNet-121與改進模型進行準確率、模型大小、實時性及可視化熱度圖的比較，以驗證改進模型的有效性。

4.4.1 分類精度

此次試驗共訓練100輪，從圖8可以看出，相比于其他模型，改進后的模型在第20輪迭代左右趨于收斂，較早穩定在最高值附近，而其他模型一直處于震蕩，并且VggNet-16、ResNet-50、DenseNet-121和改進后模型在訓練集上的平均分類準確率分別為95.85%、96.40%、96.83%和98.89%，改進后的DenseNet模型在訓練集上的平均分類準確率明顯高于其他模型。這是因為在特征提取過程中，添加ECA注意力機制和DropBlock正則化，可以有效加強復雜背景下雜草特征的提取，防止模型在訓練階段識別能力較好，而在測試階段的識別能力較差的過擬合現象的出現，保證網絡學習到正確的特征信息，大幅度提升數據集的準確率。

4.4.2 分類準確率

表1為各個模型在測試集上對玉米和不同雜草的分類準確率對比。從表1中可看出，VggNet-16、ResNet-50、DenseNet-121和改進后模型的平均分類準確率分別為95.5%、96.22%、96.54%和98.63%。在平均分類準確率上，與其他3種模型相比，改進后的模型有著明顯的提升，較改進前提升了2.09個百分點。其中，藜在每個模型上的識別準確率都比較高，原因是因為藜為菱狀卵形，與其他雜草形狀差別比較大，較容易識別；而小飛蓬和牛筋草之所以在其他3種模型上的識別準確率都不高，是由于訓練集數量略少于其他幾種雜草而造成數據的不平衡問題引起的，而改進后模型卻可以很好的解決這個問題，凸顯出本文模型在雜草識別方面的優越性。

表1 不同模型的分類準確率

4.4.3 模型大小及實時性對比

為了進一步驗證文中模型的有效性，表2為不同模型的大小及單張圖預測時間。從參數量和模型大小上看，VggNet-16最大，ResNet-50網絡次之，DenseNet-121網絡最少，計算效率更高，而本文的改進網絡ECA-DenseNet僅增加了極少的參數量，不但取得了非常可觀的效果，而且保持了比較高的計算效率；從單張圖預測時間上看，VggNet-16所用時間最長，ResNet-50、DenseNet-121和改進后的模型不相上下，綜合考慮之下，本文的改進模型更適合應用在復雜環境下的雜草識別中。

表2 不同模型的大小及預測時間

4.4.4 Grad-CAM可視化分析

CAM可視化熱度圖，包括在輸入圖像上生成類激活的熱圖，計算并顯示每個位置相對于所考慮類別的重要性；通過CAM可視化熱度圖可以了解輸入雜草識別模型的圖像中，哪些部分對識別結果起關鍵作用，彩色部分表示為對識別結果起到關鍵作用的部分。改進前后模型提取特征的可視化過程圖如圖9所示。從圖9可以看出，未改進模型彩色部分的位置分布在雜草四周，而改進后模型彩色部分的位置位于雜草主體部分，并且改進前后的DenseNet模型值分別為0.68和0.99，改進后模型明顯高于改進前模型，添加ECA注意力機制和DropBlock正則化后的模型，加強了重要雜草特征的提取，抑制了背景特征的提取，提取重要特征的能力明顯強于未改進的模型，對正確分類的判斷效果也更好。所以，本文改進模型可以很好地解決雜草識別準確率低和泛化性不高的問題。

5 結 論

為解決復雜環境下農作物田間雜草種類識別準確率低和泛化能力不強的問題，本研究提出一種基于改進DenseNet的雜草識別方法，通過在DenseNet-121網絡的基礎上，引入高效通道注意力機制和DropBlock正則化，加強雜草特征的提取，增強模型魯棒性和泛化能力，實現了對復雜環境下雜草種類的高效準確識別功能。

1）本文提出的模型對自然環境下玉米幼苗和6類伴生雜草平均識別準確率可以達到98.63%，均高于VggNet-16、ResNet-50和沒有改進的DenseNet-121模型，且較于改進前模型，提高了2.09個百分點，驗證了本文模型在雜草識別上的有效性。

2）改進后的DenseNet網絡模型大小為26.55 MB，單張圖耗時為0.23 s，均優于VggNet-16和ResNet-50網絡，可便于部署到智能除草機器人中。

3）通過梯度加權類激活映射圖可視化分析可以得到，改進后的DenseNet網絡模型比原DenseNet模型可以更多地關注圖像中雜草主體部分，且改進前后模型的類別判斷概率分別為0.68和0.99，改進后模型正確分類的判斷效果明顯高于改進前模型，加強了雜草特征的提取，提高了對雜草的識別能力，進一步凸顯出了本文模型在雜草識別方面的優越性。

本文研究成果對于其他作物與伴生雜草的識別具有借鑒意義，通過測試并改進現有算法，可提高模型在雜草識別問題上的通用性。

[1] Harker K N, O'Donovan J T. Recent weed control, weed management, and integrated weed management[J]. Weed Technology, 2013, 27(1): 1-11.

[2] Patches K M, Curran W S, Lingenfelter D D. Effectiveness of herbicides for control of common pokeweed (Phytolacca Americana) in corn and soybean[J]. Weed Technology, 2017, 31(2): 193-201.

[3] 段小賀，韓建國，巴金磊，等. 玉米田化學除草現狀及發展趨勢[J]. 園藝與種苗，2019，39(8)：54-56.

Duan Xiaohe, Han Jianguo, Ba Jinlei, et al. The current situation and development trend of chemical weeding in corn fields[J]. Horticulture and Seedlings, 2019, 39(8): 54-56. (in Chinese with English abstract)

[4] 李香菊. 近年我國農田雜草防控中的突出問題與治理對策[J]. 植物保護，2018，44(5)：77-84.

Li Xiangju. Main problems and management strategies of weeds in agricultural fields in China in recent years[J]. Plant Protection, 2018, 44(5): 77-84. (in Chinese with English abstract)

[5] 孫君亮，閆銀發，李法德，等. 智能除草機器人的研究進展與分析[J]. 中國農機化學報，2019，40(11)：73-80.

Sun Junliang, Yan Yinfa, Li Fade, et al. Research progress and analysis of intelligent weeding robots[J]. Chinese Journal of Agricultural Machinery Chemistry, 2019, 40(11): 73-80. (in Chinese with English abstract)

[6] Utstumo T, Urdal F, Brevik A, et al. Robotic in-row weed control in vegetables[J]. Computers and Electronics in Agriculture, 2018, 154: 36-45.

[7] 袁洪波，趙努東，程曼. 基于圖像處理的田間雜草識別研究進展與展望[J]. 農業機械學報，2020，51(S2)：323-334.

Yuan Hongbo, Zhao Nudong, Cheng Man. Research progress and prospect of field weed recognition based on image processing[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(S2): 323-334. (in Chinese with English abstract)

[8] 黃林生，劉文靜，黃文江，等. 小波分析與支持向量機結合的冬小麥白粉病遙感監測[J]. 農業工程學報，2017，33(14)：188-195.

Huang Linsheng, Liu Wenjing, Huang Wenjiang, et al. Remote sensing monitoring of winter wheat powdery mildew based on wavelet analysis and support vector machine[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(14): 188-195. (in Chinese with English abstract)

[9] 翟治芬，徐哲，周新群，等. 基于樸素貝葉斯分類器的棉花盲椿象危害等級識別[J]. 農業工程學報，2015，31(1)：204-211.

Zhai Zhifen, Xu Zhe, Zhou Xinqun, et al. Identification of cotton blind stink bug hazards based on naive Bayes classifier[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(1): 204-211. (in Chinese with English abstract)

[10] 梁習卉子，陳兵旗，李民贊，等. 基于HOG特征和SVM的棉花行數動態計數方法[J]. 農業工程學報，2020，36(15)：173-181.

Liang Xihuizi, Chen Bingqi, Li Minzan, et al. Dynamic counting method of cotton rows based on HOG feature and SVM[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(15): 173-181. (in Chinese with English abstract)

[11] Zheng Y, Zhu Q, Huang M, et al. Maize and weed classification using color indices with support vector data description in outdoor fields[J]. Computers and Electronics in Agriculture, 2017, 141: 215-222.

[12] 侯雨，曹麗英，丁小奇，等. 基于邊緣檢測和BP神經網絡的大豆雜草識別研究[J]. 中國農機化學報，2020，41(7)：185-190.

Hou Yu, Cao Liying, Ding Xiaoqi, et al. Research on soybean weed recognition based on edge detection and BP neural network[J]. Chinese Journal of Agricultural Machinery Chemistry, 2020, 41(7): 185-190. (in Chinese with English abstract)

[13] 王璨，李志偉. 利用融合高度與單目圖像特征的支持向量機模型識別雜草[J]. 農業工程學報，2016，32(15)：165-174.

Wang Can, Li Zhiwei. Using support vector machine model fusion height and monocular image features to identify weeds[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(15): 165-174. (in Chinese with English abstract)

[14] 胡盈盈，王瑞燕，郭鵬濤，等. 基于近地光譜特征的玉米田間雜草識別研究[J]. 江蘇農業科學，2020，48(8)：242-246.

Hu Yingying, Wang Ruiyan, Guo Pengtao, et al. Research on the identification of weeds in corn fields based on near ground spectral characteristics[J]. Jiangsu Agricultural Sciences, 2020, 48(8): 242-246. (in Chinese with English abstract)

[15] Elstone L, How K Y, Brodie S, et al. High speed crop and weed identification in lettuce fields for precision weeding[J]. Sensors, 2020, 20(2): 455.

[16] 周亮，慕號偉，馬海姣，等. 基于卷積神經網絡的中國北方冬小麥遙感估產[J]. 農業工程學報，2019，35(15)：119-128.

Zhou Liang, Mu Haowei, Ma Haijiao, et al. Remote sensing yield estimation of winter wheat in northern China based on convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(15): 119-128. (in Chinese with English abstract)

[17] 吳賽賽，周愛蓮，謝能付，等. 基于深度學習的作物病蟲害可視化知識圖譜構建[J]. 農業工程學報，2020，6(24)：177-185.

Wu Saisai, Zhou Ailian, Xie Nengfu, et al. Construction of visual knowledge graph of crop diseases and insect pests based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(24): 177-185. (in Chinese with English abstract)

[18] 陳善雄，伍勝，于顯平，等. 基于卷積神經網絡結合圖像處理技術的蕎麥病害識別[J]. 農業工程學報，2021，37(3)：155-163.

Chen Shanxiong, Wu Sheng, Yu Xianping, et al. Buckwheat disease recognition based on convolutional neural network combined with image processing technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(3): 155-163. (in Chinese with English abstract)

[19] 徐建鵬，王杰，徐祥，等. 基于RAdam卷積神經網絡的水稻生育期圖像識別[J]. 農業工程學報，2021，37(8)：143-150.

Xu Jianpeng, Wang Jie, Xu Xiang, et al. Rice growth period image recognition based on RAdam convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(8): 143-150. (in Chinese with English abstract)

[20] Dos Santos F A, Freitas D M, Da Silva G G, et al. Weed detection in soybean crops using ConvNets[J]. Computers and Electronics in Agriculture, 2017, 143: 314-324.

[21] Potena C, Nardi D, Pretto A. Fast and accurate crop and weed identification with summarized train sets for precision agriculture[C]. International Conference on Intelligent Autonomous Systems. Switzerland: Springer, Cham, 2016: 105-121.

[22] Jiang H, Zhang C, Qiao Y, et al. CNN feature based graph convolutional network for weed and crop recognition in smart farming[J]. Computers and Electronics in Agriculture, 2020, 174: 105450.

[23] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84-90.

[24] 李小占，馬本學，喻國威，等. 基于深度學習與圖像處理的哈密瓜表面缺陷檢測[J]. 農業工程學報，2021，37(1)：223-232.

Li Xiaozhan, Ma Benxue, Yu Guowei, et al. Surface defect detection of cantaloupe based on deep learning and image processing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(1): 223-232. (in Chinese with English abstract)

[25] 王春山，周冀，吳華瑞，等. 改進Multi-scale ResNet的蔬菜葉部病害識別[J]. 農業工程學報，2020，36(20)：209-217.

Wang Chunshan, Zhou Ji, Wu Huarui, et al. Improved Multi-scale ResNet for vegetable leaf disease identification[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(20): 209-217. (in Chinese with English abstract)

[26] 彭文，蘭玉彬，岳學軍，等. 基于深度卷積神經網絡的水稻田雜草識別研究[J]. 華南農業大學學報，2020，41(6)：75-81.

Peng Wen, Lan Yubin, Yue Xuejun, et al. Research on weed recognition in rice field based on deep convolutional neural network[J]. Journal of South China Agricultural University, 2020, 41(6): 75-81. (in Chinese with English abstract)

[27] 鄧向武，馬旭，齊龍，等. 基于卷積神經網絡與遷移學習的稻田苗期雜草識別[J]. 農機化研究，2021，43(10)：167-171.

Deng Xiangwu, Ma Xu, Qi Long, et al. Recognition of weeds in rice seedling stage based on convolutional neural network and transfer learning[J]. Journal of Agricultural Mechanization Research, 2021, 43(10): 167-171. (in Chinese with English abstract)

[28] 徐艷蕾，何潤，翟鈺婷，等. 基于輕量卷積網絡的田間自然環境雜草識別方法[J]. 吉林大學學報：工學版，2021，2：1-10.

Xu Yanlei, He Run, Zhai Yuting, et al. Weed identification method in field natural environment based on lightweight convolutional network[J]. Journal of Jilin University: Engineering Edition, 2021, 2: 1-10. (in Chinese with English abstract)

[29] Huang G, Liu Z, Maaten L, et al. Densely connected convolutional networks[C]. Computer Vision and Pattern Recognition. Hawaii: IEEE, 2017: 4700-4708.

[30] Wang Q, Wu B, Zhu P, et al．ECA-Net: Efficient channel attention for deep convolutional neural networks[C]. Computer Vision and Pattern Recognition, Long Beach: IEEE, 2020: 11534-11542．

[31] Ghiasi G, Lin T Y, Le Q V. Drop Block: A regularization method for convolutional networks[C]. Proceedings of the 32ndInternational Conference on Neural Information Processing Systems. Red Hook, New York: Curran Associates Inc, 2018: 10750-10760.

[32] Alex K, Ilya S, Geoffrey E H. Image net classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84-90.

Field weed recognition based on improved DenseNet

Zhao Hui, Cao Yuhang, Yue Youjun, Wang Hongjun

(,,,300384,)

Accurate and rapid acquisition of crop and weed category information has been one of the most important steps for automatic weeding operations. In this research, a weed recognition model was proposed using improved DenseNet, particularly for the efficient and accurate identification of weeds in crop fields under complex environments. Firstly, data augmentation was utilized to expand the number of images for the collected crop and weed pictures, thereby increasing the diversity of data, but avoiding network learning irrelevant features, and finally enhancing the recognition ability of the model. Secondly, Efficient Channel Attention (ECA) was introduced into the DenseNet-121 network after each convolutional layer. As such, the accuracy of weed recognition was improved to effectively focus the attention on the weeds in the main part of images, where the weight of important features increased further to strengthen the weed features, but to suppress the extraction of background features. At the same time, DropBlock regularization was also added after each DenseBlock block, further to randomly hide some feature maps and noise. Correspondingly, the generalization, robustness, and adaptability of the model were improved to identify different types of weeds. Finally, taking maize seedlings and six types of associated weeds in natural environments as samples, a comparison test was performed on the test set using VggNet-16, ResNet-50, and the unimproved DenseNet-121 model, where the batch size was 64, and the initial learning rate was 0.01. More importantly, an Stochastic Gradient Descent (SGD) optimizer was used to train the CNN model, and the batch size was set to 64, the initial learning rate was set to 0.01, and the VggNet-16, ResNet-50 and the unimproved DenseNet-121 model was compared and tested on the test set. The results show that the improved DenseNet model presented the best performance, where the model size was 26.55 MB, the single image took 0.23 s, and the average recognition accuracy reached 98.63%, increased by 2.09 percentage points before the improvement. It infers that the overall performance of improved DenseNet-121 was significantly higher than that of VggNet-16 and ResNet-50. Gradient-weighted Class Activation Mapping (Grad-CAM) was also used to visualize the heat map for the subsequent comparison. The improved DenseNet decision was obtained, where the important weight position of classification was more focused on the main part of weeds than before. Specifically, the category judgment probability was 0.99, significantly higher than that of the unimproved model, further verifying the effectiveness of the improved model. Consequently, the DenseNet network with ECA attention and DropBlock regularization can widely be expected to improve the recognition accuracy and the generalization of the model, further to ensure the efficient and accurate recognition of weeds in complex environments. The findings can provide a strong reference for the accurate identification of other crops and associated weeds. The versatility of the model in weed identification can also be improved for the technical development of intelligent weeding robots.

image recognition; convolutional neural network; efficient channel attention mechanism; DropBlock; field weed

趙輝，曹宇航，岳有軍，等. 基于改進DenseNet的田間雜草識別[J]. 農業工程學報，2021，37(18)：136-142.doi：10.11975/j.issn.1002-6819.2021.18.016 http://www.tcsae.org

Zhao Hui, Cao Yuhang, Yue Youjun, et al. Field weed recognition based on improved DenseNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 136-142. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.18.016 http://www.tcsae.org

2021-05-17

2021-09-12

天津市科技支撐計劃項目（19YFZCSN00360）

趙輝，博士，教授，研究方向為復雜系統智能控制理論及應用、農業信息化與精準農業智能監控理論與技術等。Email：zhaohui3379@126.com

10.11975/j.issn.1002-6819.2021.18.016

TP391.41

A

1002-6819(2021)-18-0136-07