基于深度學習的玉米拔節期冠層識別

孫 紅，喬金博，李 松，李民贊，宋 迪，喬 浪

基于深度學習的玉米拔節期冠層識別

孫 紅1，喬金博2，李 松1，李民贊1※，宋 迪2，喬 浪2

（1. 中國農業大學，現代精細農業系統集成研究教育部重點實驗室，北京 100083；2. 中國農業大學，農業部農業信息獲取技術重點實驗室，北京 100083）

為了滿足田間玉米植株快速識別與檢測的需求，針對玉米拔節期提出了基于深度學習的冠層識別方法，比較并選取了適于玉米植株精準識別和定位的網絡模型，并研制了玉米植株快速識別和定位檢測裝置。首先拍攝玉米苗期和拔節期圖像共計3 000張用于訓練深度學習模型，針對拔節期玉米葉片交叉嚴重的問題，提出了以玉米株心取代玉米整株對象的標記策略。其次在Google Colab云平臺訓練SSDLite-MobileDet網絡模型。為了實現田間快速檢測，開發了基于樹莓派4B+Coral USB的玉米冠層快速檢測裝置。結果表明，田間玉米冠層識別模型精度達到91%，檢測視頻的幀率達到89幀/s以上。研究成果可為田間玉米高精度診斷和精細化作業管理奠定基礎。

深度學習；目標檢測；識別；拔節期；玉米冠層

0 引 言

隨著深度學習技術的發展成熟，在農業領域的應用日益廣泛，其中基于深度學習的新一代人工智能傳感器研發是提升信息獲取技術水平的重要方向[1-2]。玉米作為中國主要糧食作物，其施肥作業多以條施、撒施為主,精準施肥技術是提高農業資源利用率和環境保護的重要途徑[3-4]。結合深度學習技術識別玉米植株，并形成智能型傳感器為精準化對靶作業提供支持，具有重要現實意義。

針對玉米冠層，傳統分析方法關注于形態、灰度差異、顏色等淺層圖像特征，使用閾值分割法提取植株對象。Montalvo等[5]利用最大類間方差法（Otsu法）針對俯視圖像進行雙閾值分割，分離了作物和雜草。胡煉等[6]對靜態采集的圖像，利用超綠算法（ExG）結合Otsu法實現對棉苗和生菜苗的識別和定位。當前研究主要集中于靜態圖像的分析，受到環境光和運動等因素的干擾，針對田間復雜動態環境下的檢測效果有待提高[6]。

近年來，卷積神經網絡（Convolutional Neural Networks，CNN）基于大量的數據集訓練，提升了深層次圖像特征挖掘的能力，在圖像目標分類[7-8]、識別和檢測[9-10]等領域形成了YOLO（You Only Look Once）[11-12]、Fast R-CNN（Fast Region-CNN）[13-14]和SSD（Single Shot MultiBox Detector）[15-16]等系列模型，在目標分類、雜草識別、病蟲害脅迫、農產品品質分析等對象識別和檢測中得到了廣泛的應用[13]，且具有較高的識別精度和較好的魯棒性。盡管當前研究在CNN網絡的架構、訓練參數設置及調整等方面取得了重要的進展，但是網絡模型普遍基于實驗室高性能GPU（Graphics Processing Unit）運行，導致在實際工程應用中的成本較高[17-18]，尚無輕量化、便攜化的農業應用設備，無法為玉米田間快速識別提供裝備支持。

面向移動端便攜式和輕簡化應用的需求，基于SSD模型架構，MobileNet、MobileNetV3等具有輕量化特點的網絡備受關注。Xiong等[19]通過在搜索空間中加入規則卷積，提出了一種快速的MobileDet網絡，模型精度接近VGG16，但模型體積小32倍，且計算復雜度小27倍，比GoogleDet計算量減少2.5倍以上。通過模型改進，在移動CPU（Central Processing Unit）處理器平臺上其運行效果比傳統MobileNetV3 + SSDLite模型具有優勢[19]。因MobileDet和MobileNetV3輕量化的特點，適于移動終端應用，為基于深度學習的智能檢測設備研發提供了實施途徑。Coral USB 加速棒支持Linux、Macos或Windows10系統，只需連接USB即可為系統添加一個Edge TPU處理器。單個Edge TPU能夠每秒執行4萬億次操作，MobileNetV2模型在四核Cortex-A53 @ 1.5GHzCPU上每次推理時間為282 ms，在四核 Cortex-A53 @ 1.5GHz + Edge TPU加速棒上每次推理時間為14 ms，速度提升約20倍。此外Coral USB 加速棒具有體積小、易拆裝等特點，適合于移動終端設備的開發。

針對田間玉米冠層的檢測與定位，大量研究圍繞苗期植株展開。宗澤等[20]使用Fast R-CNN對苗期玉米植株圖像進行識別，基于GPU的離線識別準確率達到了92.9%。孟慶寬等[21]采用一種輕度卷積神經網絡對苗期玉米和雜草進行識別，識別速度達到了32.26幀/s，準確率為88.27%。然而，隨著玉米生育期的推進，葉面積增大，葉片交叉與冠層連片等限制了上述數據集和模型的應用。此外，離線識別的模式不利于快速獲取、分析與變量管理一體化精準作業模式的構建，也不利于提高智能化管理水平。

因此，本研究擬針對玉米拔節期冠層連片的問題，改進數據集標注對象，進而在SSDLite-MobileDet輕量化深度學習模型的基礎上，研制一款便攜式田間玉米植株快速識別與智能定位裝置，以期為田間信息高效獲取與精準化管理提供技術和裝備支持。

1 材料與方法

1.1 研究路線

應用深度學習開展玉米冠層識別與檢測的技術流程如圖1所示，包括數據獲取與處理、制作數據集、模型訓練及量化和移動設備快速檢測應用。在深度學習中，準備數據集時包括數據標注、數據增強、數據清洗、標準化或規范化處理。之后再選取合適的目標檢測模型進行訓練與模型的優化。訓練完成后的模型再導出部署到移動設備，最終完成深度學習在農業應用方面的落地與實施。

圖1 玉米冠層識別與檢測技術流程

1.2 數據獲取

1.2.1 模型訓練數據集

拍攝玉米冠層圖像，制作訓練數據集。2020年7月－9月之間，拍攝株高10～110 cm之間玉米苗期和拔節期圖像共計3 000張。其中，2020年7月3日到8月20日，在河北省衡水旱作研究所試驗基地，拍攝衡玉321冠層圖像2 600張；2020年9月6日到20日在中國農業大學上莊實驗站拍攝鄭單958冠層圖像400張。拍攝使用魅族pro6s手機，原始圖像分辨率為3 008×4 000（像素），格式為JPEG。數據集涵蓋不同光照環境和不同生長期，如圖2所示分別為晴天苗期、陰天苗期、晴天拔節期和陰天拔節期圖像的樣例。苗期植株為3～6葉期，拔節期植株為7～10葉期。

1.2.2 裝置性能驗證

模型訓練完成后，嵌入玉米冠層快速檢測裝置。為驗證檢測裝置性能，應用2個批次視頻數據，包括宗澤[20]于2017－2018年每年5－7月在中國農業大學上莊實驗站拍攝的玉米苗期視頻和2021年6－8月在中國農業大學上莊實驗站拍攝玉米拔節期視頻。通過對視頻圖像中的玉米植株識別，測試嵌入快速檢測裝置后模型對目標識別的準確性。

1.3 數據集制作

1.3.1 圖像歸一化與特征標注

針對大田環境下拔節期玉米冠層連片的情況，本文提出一種基于株心的植株標注策略，以避免葉片交叉時的誤識別，提高單株識別準確度。在對圖像進行壓縮與批量命名以后，將輸入圖像分辨率調整為726像素×545像素。通過專業標注軟件Labelme使用綠框標注目標玉米植株，拔節期冠層株心標注時框取玉米株心的最大外接矩形。標注文件格式保存為.xml文件，文件包含標注特征的位置及像素信息。

1.3.2 數據增強

為應對大田多樣化的環境，增加玉米植株識別模型的魯棒性與泛化能力，對數據進行數據增強。在擴充訓練的數據量方面，數據增強的方法主要有翻轉、旋轉、縮放、裁剪、平移等[13,22]。幾何形變，擴充樣本集數量，避免因為樣本大小或者尺度等問題造成模型參數提取失真或模型過擬合。在抑制噪聲方面，數據增強的方法主要有添加噪聲、改變圖像亮度、對比度等，通過改變圖像的視覺效果模擬復雜噪聲干擾和光照環境的影響，進而抑制因圖像噪音、圖像模糊等質量不高導致的訓練模型精度不高的問題。本文采用上述2類方式分別對訓練集和交叉驗證集進行數據擴充，構建的玉米冠層圖像數據集如圖3和表1所示。按7：2：1的比例劃分為訓練集，交叉驗證集與測試集，對劃分后的訓練集和交叉驗證集進行擴增，擴增后訓練集圖像10 500張、交叉驗證集圖像3 000張、測試集圖像300張。

表1 數據集說明

1.4 基于SSDLite+MobileDet的玉米冠層識別

為了對拔節期玉米冠層進行快速檢測，并通過模型移植，在移動端設備上研制便攜式裝置，研究采用MobileDet網絡代替SSDLite原來的VGG16網絡。對象檢測旨在對目標對象進行定位和分類，并用矩形標記顯示被檢測對象分類的可信度。目標檢測算法分為訓練和預測2個環節，其中訓練環節用于通過數據集特征學習得到分類器，預測環節使用訓練好的分類器對未知圖像中的特征提取和分類，最終得到檢測結果。圖4為目標檢測算法流程圖。檢測中的正負樣本是程序識別感興趣區域ROI（Region Of Interest），即SSDLite中在不同分辨率的特征圖中的默認框，這些框中的一部分被選為待檢測目標，即正樣本，一部分被選為非待檢測目標，即負樣本，另外一部分被當作背景或者不參與運算。交并比IOU（Intersection Over Union）≥0.5為正樣本，＜0.5為負樣本，選取負樣本中置信度損失函數值高的進行訓練，正負樣本的比例1：3。

圖4 目標檢測算法流程圖

在SSD（Single Shot MultiBox Detector）的基礎上將特征圖分類和位置加權使用的標準卷積替換為深度可分離卷積，得到面向移動端設計的改進輕量化模型SSDLite。通常特征提取需要由特有的特征提取神經網絡來完成，如VGG、MobileNet，ResNet等[23-24]，在BackBone后的全連接層輔助實現特征提取和輸出。SSDLite算法優化了這一過程，檢測速度提高。同時SSDLite算法綜合利用不同卷積層的特征，結合YOLO中的回歸思想和Faster R-CNN中的Anchor機制，使用全圖各個位置的多尺度區域進行回歸，既保持了YOLO速度快的特性，也保證了窗口預測的跟Faster R-CNN一樣精準。圖5為SSDLite框架結構圖，通過卷積層（Convlayers）的掃描窗口提取圖像特征信息，生成目標檢測的特征分類器（Detector classifier），輸出后進入非極大值抑制算法(Fast NMS)最終輸出檢測圖像。SSDLite模型包含類別損失函數和位置損失函數，其中類別損失函數使用加權FocalLoss損失函數，位置損失函數使用加權平滑L1范數。圖6為MobileDet網絡結構圖。

1.5 檢測裝置設計

1.5.1 硬件設計

完成模型訓練后，為實現玉米冠層快速檢測，設計了玉米冠層快速檢測裝置，總體結構模塊如圖7所示。系統包括樹莓派控制模塊、加速計算模型、圖像采集模塊、電源模塊和顯示模塊。

圖5 SSDLite模型框架

注：IBN、Tucker和Fused為卷積塊，C為通道數，K為卷積核大小，E為擴增因子，I為輸入壓縮比，O為輸出壓縮比。

圖7 移動設備組成模塊示意圖

樹莓派4B移動設備實物如圖8所示，廣角攝像頭安裝在設備底部，其感光芯片為OV5647，用于采集640×480分辨率的玉米視頻信息，并通過CSI接口傳輸采集到的視頻信息給樹莓派4B。樹莓派4B處理器為BCN2711四核1.5GHz Cortex-A72處理器、4G運行內存，運行系統為Rsapbian Buster，配置有USB3.0接口。通過USB3.0接口外部擴展Coral USB加速棒快速計算模塊。模型運行結果在外接的3.5寸顯示屏上顯示，顯示屏分辨率為320×480，通過SPI協議與樹莓派進行視頻傳輸。使用PiSugar2pro鋰電池進行供電，該鋰電池自帶5V3A輸出能力，電池容量為5 000 mAh，可供移動檢測設備持續工作10 h以上。

1. 樹莓派控制模塊 2. 電源模塊 3. 樹莓派CSI廣角攝像頭 4. Coral USB加速棒 5. 3.5寸觸摸屏 6. SD存儲卡

1.5.2 軟件設計

為了實現田間玉米冠層的實時識別與定位，將深度學習模型配置在樹莓派系統上。實現時為樹莓派系統搭建可供量化后模型應用的環境，主要包括搭建TPU環境以運行深度學習模型與Coral USB加速器，Python3.7、Tensorflow框架以支持深度學習模型與系統運行，安裝OpenCV庫以實現圖像處理。具體軟件運行流程為：開機自啟動程序并進行系統初始化，攝像頭采集到的視頻逐幀傳入深度學習模型，在加速棒的運算下實現對玉米冠層的識別與定位，將識別與定位結果標注在圖像上，檢測后的圖像經過OpenCV處理成視頻進行存儲和播放。軟件流程圖如圖9所示。

模型量化時，將連續取值的浮點型模型權重近似為有限多個離散值，數據類型由FP32轉換為INT8，減少量化為后的模型內存占用，并在樹莓派4B和Coral USB設備上使用。最終將模型量化為與Coral USB邊緣處理器相適配的.tflite格式。將量化完成的tflite模型在樹莓派平臺上運行。

2 試驗與分析

2.1 試驗方法

2.1.1 訓練環境

模型訓練在Google Colab云服務器下完成。操作系統為linux18.04，配置環境為cuda10.1和tensorflow1.15.2， GPU為Colab分配的TESLA T4 16GB GPU。在云服務器端使用Tensorflow框架對目標檢測模型進行訓練。

2.1.2 模型訓練

本文在SSDLite-MobileDet模型的基礎上選用輕量化的MobileDet網絡對玉米株心進行檢測識別。在MobileNet的基礎上，采用線性瓶頸逆殘差結構（Inverted residual bottleneck）和基于squeeze and excitation結構的MnasNet輕量級模型，并與MobileNetv3模型進行對比，根據試驗結果選取更適合于移動端系統的SSDLite-MobileDet作為最終的玉米植株冠層檢測模型。

2.2 結果與分析

2.2.1 模型訓練結果對比

利用相同的數據集和訓練參數訓練模型，使用300張測試集圖像對模型識別效果進行評估。模型訓練結果如表2和圖10所示，SSDLite-MobileDet與SSDLite-MobileNetV3的損失值下降到0.5時趨于平穩，精度與召回率[25]表現略低，主要原因是數據集環境多樣，株心與葉片之間的特征相似，需要提取的特征部分與背景差異顯著性不高。MobileDet網絡識別速度達到110幀/s，準確率達92.4%，高于MobileNetV3的70幀/s和91.3%，在精度和速度上都優于MobileNetV3。最終選擇SSDLite-MobileDet作為最終的玉米冠層檢測模型。

圖10 SSDLite-MobileDet模型訓練結果

2.2.2 模型訓練進程與可視化過程

為了提高模型檢測速度，以MobileNet網絡結構作為SSDLite模型特征提取器。為了理解SSDLite模型特征提取器在訓練時對玉米特征提取的過程，對訓練過程中玉米圖像特征提取部分進行可視化分析。圖11為部分卷積層（Cov）可視化結果。由圖11可知，隨著卷積網絡層數的加深，輸出圖像像素降低，提取特征更多，層次更深，特征映射包含目標的信息更豐富。第一層和第二層主要提取圖像的顏色和形狀等特征，沿葉片結構的梯度變化明顯。可視化到第五層，玉米冠層的特征提取不僅限于單一顏色指數，融合更多特征，對周圍環境有更強的判別能力?？梢园l現，在網絡層數達到深層次后，輸出的信息更多是檢測目標的信息，背景圖的信息逐漸被網絡層隱去，最終提取出需要檢測的目標信息，保證了對識別目標深度特征的提取和學習。

圖11 部分卷積層結果可視化

2.2.3 不同環境下識別結果

為探究不同標注策略對玉米冠層識別的影響，使用精度和速度較優的SSDLite-MobileDet模型，比較了傳統整株標注和基于株心的植株標注策略對玉米冠層識別的效果。

完成模型訓練后對玉米冠層進行識別結果如圖12所示。由于植株間間隔大，使用整株標注方式對單株樣本可以準確識別。但拔節期各植株冠層葉片交叉嚴重，不易分辨出各株玉米，采用整株標注方式時，模型將整張圖像誤識別為單株玉米，無法滿足對拔節期玉米識別與高精度定位的需求。

使用玉米株心作為識別目標的標注策略時，玉米拔節期冠層識別結果如圖12b所示。當呈現如圖12a中多棵玉米葉片總體平行局部交叉情況，和如圖12b中相鄰植株交叉連片情況時，該標注方式下模型都可以準確識別并定位單株株心，提高了識別和定位準確性。因此后續研究以玉米株心標注策略為基礎，評價模型識別和定位準確性。

根據圖像類型將300張測試集圖像分為不同組別作為模型輸入數據集測試模型在不同環境下的檢測精度。由于大田環境復雜，不能以傳統IOU作為評價指標。本文識別出的玉米株數與總玉米株數的比值作為模型精度指標，誤檢和漏檢均判定為該株玉米識別失敗。測試結果如表3所示。由表3可知，當圖像為單株個體時，如苗期玉米與拔節期不交叉時的情況，識別精度可達98%以上，即使玉米處于交叉和不同光照情況，平均識別精度也可達92.4%。

圖12 不同標注方式玉米冠層檢測結果

表3 不同環境下的識別結果

如圖13所示，在強光、遮擋與弱光條件下對玉米株心的檢測也有較高的精確度。對于沒有識別出來的玉米，主要原因是部分圖像過擬合，模型識別過于敏感和部分玉米植株遮擋嚴重，攝像機不能拍攝到冠層株心。但大部分玉米冠層能夠實現定位與檢測，基本可以滿足在大田環境下對玉米冠層的快速檢測。

圖13 不同環境下玉米冠層識別結果

3 快速檢測驗證

按照1.5.2節量化后，模型配置在樹莓派4B中，通過Coral USB加速后，運行模型并實現對田間作物快速檢測。使用在中國農業大學上莊實驗站拍攝的玉米視頻模擬田間真實輸入環境，以驗證模型和快速檢測裝備的應用性。對拔節期玉米。選取晴天、陰天和強光3段有代表性的視頻進行測試。圖14為樹莓派4B移動設備快速檢測效果圖。

圖14 移動設備檢測效果

研究中以視頻中識別的玉米株數與視頻中總玉米株數的比值作為模型識別精度，其中對于視頻中一株玉米出現誤檢或漏檢即判定為該株玉米識別失敗，識別結果如表4所示。由表4可知，在樹莓派4B上玉米冠層檢測可以達到91%以上的準確率，模型處理速度平均達89幀/s以上，可以滿足田間玉米冠層便攜、快速檢測的應用 需求。

表4 移動端玉米冠層快速檢測結果

4 結 論

本文針對玉米冠層的快速識別，采集玉米不同生長期的圖像，制作玉米苗期與拔節期的圖像數據集，采用深度學習輕量化網絡訓練模型，開發了一套基于深度學習的玉米植株快速識別裝置，主要結論如下：

1）基于Google Colab云平臺訓練，對比了SSDLite-MobileDet和SSDLite-MobileNetv3兩類輕量化模型，結果顯示SSDLite-MobileDet模型網絡識別速度達到110幀/s，準確率達92.4%。

2）針對拔節期玉米交叉情況嚴重，環境復雜不易識別的情況，提出了基于玉米株心標注的識別方法，本文模型在拔節期無交叉時的情況下，識別精度可達98%以上，即使玉米處于交叉和不同光照情況，平均識別精度也可達92.4%。

3）選用SSDLite-MobileDet模型，基于樹莓派4B和Coral USB深度學習加速器研制便攜式設備，移植本文網絡模型進行應用，測試視頻最終識別準確率為91%以上，平均速率達89幀/s以上。

[1] 趙春江. 智慧農業發展現狀及戰略目標研究[J]. 智慧農業，2019，1(1)：1-7.

Zhao Chunjiang. State-of-the-art and recommended developmental strategic objectives of smart agriculture[J]. Smart Agriculture, 2019, 1(1): 1-7. (in Chinese with English abstract)

[2] Liakos K G, Busato P, Moshou D, et al. Machine learning in agriculture: A review[J]. Sensors, 2018, 18(8): 2674.

[3] 張輝，張永江，楊易. 美國、加拿大精準農業發展實踐及啟示[J]. 世界農業，2018(1)：175-178.

[4] 苑嚴偉，張小超，吳才聰，等. 玉米免耕播種施肥機精準作業監控系統[J]. 農業工程學報，2011，27(8)：222-226.

Yuan Yanwei, Zhang Xiaochao, Wu Caicong, et al. Precision control system of no-tillage corn planter[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(8): 222-226. (in Chinese with English abstract)

[5] Montalvo M, Pajares G, Guerrero J M, et al. Automatic detection of crop rows in maize fields with high weeds pressure[J]. Expert Systems with Applications An International Journal, 2012, 39(15): 11889-11897.

[6] 胡煉，羅錫文，曾山，等. 基于機器視覺的株間機械除草裝置的作物識別與定位方法[J]. 農業工程學報，2013，29(10)：12-18.

Hu Lian, Luo Xiwen, Zeng Shan, et al. Plant recognition and localization for intra-row mechanical weeding device based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(10): 12-18. (in Chinese with English abstract)

[7] 周云成，許童羽，鄭偉，等. 基于深度卷積神經網絡的番茄主要器官分類識別方法[J]. 農業工程學報，2017，33(15)：219-226.

Zhou Yuncheng, Xu Tongyu, Zheng Wei, et al. Classification and recognition approaches of tomato main organs based on DCNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(15): 219-226. (in Chinese with English abstract)

[8] Quiroz I A, Alferez G H. Image recognition of legacy blueberries in a chilean smart farm through deep learning[J]. Computers and Electronics in Agriculture, 2020, 168: 105044

[9] 王璨，武新慧，李志偉. 基于卷積神經網絡提取多尺度分層特征識別玉米雜草[J]. 農業工程學報，2018，34(5)：144-151.

Wang Can, Wu Xinhui, Li Zhiwei. Recognition of maize and weed based on multi-scale hierarchical features extracted by convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(5): 144-151. (in Chinese with English abstract)

[10] 黃雙萍，孫超，齊龍，等. 基于深度卷積神經網絡的水稻穗瘟病檢測方法[J]. 農業工程學報，2017，33(20)：169-176.

Huang Shuangping, Sun Chao, Qi Long, et al. Rice panicle blast identification method based on deep convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(20): 169-176. (in Chinese with English abstract)

[11] Li X, Pan J D, Xie F P, et al. Fast and accurate green pepper detection in complex backgrounds via an improved Yolov4-tiny model[J]. Computers and Electronics in Agriculture, 2021,191:106503.

[12] Tian Y N, Yang G D, W Z, et al. Apple detection during different growth stages in orchards using the improved YOLO-V3 model[J]. Computers and Electronics in Agriculture, 2019, 157: 417-426.

[13] 孫紅，李松，李民贊，等. 農業信息成像感知與深度學習應用研究進展[J]. 農業機械學報，2020，51(5)：1-17.

Sun Hong, Li Song, Li Minzan, et al. Research progress of image sensing and deep learning in agriculture[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(5): 1-17. (in Chinese with English abstract)

[14] Wan S, Goudos S K. Faster R-CNN for multi-class fruit detection using a robotic vision system[J]. Computer Networks, 2020, 168(2): 107036.

[15] Liu Wei, Anguelov D, Erhan D, et al. SSD: Single shot multibox detector[C]. European Conference on Computer Vision, Berlin, 2016: 21-37.

[16] 袁培森，黎薇，任守綱，等. 基于卷積神經網絡的菊花花型和品種識別[J]. 農業工程學報，2018，34(5)：152-158.

Yuan Peisen, Li Wei, Ren Shougang, et al. Recognition for flower type and variety of chrysanthemum with convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(5): 152-158. (in Chinese with English abstract)

[17] Espejo-Garcia B, Mylonas N, Athanasakos L, et al. Towards weeds identification assistance through transfer learning[J]. Computers and electronics in agriculture. 2020, 171:105306.

[18] Mads D, Henrik K, Henrik S M, et al. Plant species classification using deep convolutional neural network[J]. Biosystems Engineering, 2016, 151: 72-80.

[19] Xiong Y Y, Liu H X, Gupta S, et al. MobileDets: Searching for object detection architectures for mobile accelerators[J/OL]. arXiv, [2021-03-31]. https://arxiv.org/abs/2004.14525.

[20] 宗澤，趙碩，劉剛. 苗期玉米冠層識別與質心定位方法研究[J]. 農業機械學報，2019，50(S1)：27-33.

Zong Ze, Zhao Shuo, Liu Gang. Coronal identification and centroid location of maize seedling stage[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(S1): 27-33. (in Chinese with English abstract)

[21] 孟慶寬，張漫，楊曉霞，等. 基于輕量卷積結合特征信息融合的玉米幼苗與雜草識別[J]. 農業機械學報，2020，51(12)：238-245.

Meng Qingkuan, Zhang Man, Yang Xiaoxia, et al. Recognition of maize seedling and weed based on light weight convolution and feature fusion[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(12): 238-245. (in Chinese with English abstract)

[22] 劉慧力, 賈洪雷, 王剛, 等. 基于深度學習與圖像處理的玉米莖稈識別方法與試驗[J]. 農業機械學報，2020，51(4)：207-215.

Lui Huili, Jia Honglei, Wang Gang, et al. Method and experiment of maize stems recognition based on deep learning and image processing[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(4): 207-215. (in Chinese with English abstract)

[23] Ahmad A, Saraswat D, Aggarwal V, et al. Performance of deep learning models for classifying and detecting common weeds in corn and soybean production systems[J]. Computers and Electronics in Agriculture, 2021, 184(3): 106081.

[24] Liu H J, Sun H, Li M Z, et al. Application of color featuring and deep learning in maize plant detection[J]. Remote sensing, 2020, 12(14): 2229.

[25] Zhang J, Karkee M, Zhang Q, et al. Multi-class object detection using faster R-CNN and estimation of shaking locations for automated shake-and-catch apple harvesting[J]. Computers and Electronics in Agriculture, 2020, 173: 105384.

Recognition of the maize canopy at the jointing stage based on deep learning

Sun Hong1, Qiao Jinbo2, Li Song1, Li Mingzan1※, Song Di2, Qiao Lang2

(1.,,,1000831,;2.,,,100083,)

A rapid and accurate detection of a maize plant has been widely determined the food safety and quality assurance in modern agriculture. However, there is a great challenge on the complex environment of canopy leaves at the jointing stage. It is also necessary to select a feasible network model suitable for the precise identification and positioning of maize plants in the field. In this study, a novel device was developed for canopy recognition during the maize jointing stage using deep learning. A total of 3000 images of maize in the seedling and jointing stages were also taken to train the model of deep learning. Furthermore, a labeling strategy was proposed for the sample set, where the whole maize object was replaced with the center of the maize plant. Some data enhancement techniques were utilized to increase the robustness and generalization ability of the identification model for maize plants, including the passive brightness, chroma, rotation, mirroring, and blurring. After that, three datasets of maize plants were achieved, including 10 500 training sets, 3 000 cross-validation sets, and 300 test sets. In the model training, the SSDLite-MobileDet network model was first trained on the Google Colab cloud platform, and then compared with the SSDLite-MobileNetV3 model. Finally, an optimal SSDLite-MobileDet model was achieved with a speed of 110 frames/s and an accuracy of 92.4%. More importantly, some strategies were proposed to improve the performance of the model. 1) The specific procedure of extraction was visualized for the maize images during model training using a Convolutional Neural Network (CNN). It was found that the target information was significantly enriched in the output feature mapping, as the number of CNN layers deepened gradually. 2) The heart of the plant was labelled to avoid the serious leaf crossing at the jointing stage of maize. Thus, the novel model presented an average recognition accuracy of 92.4% under severe leaf crossing and different lighting conditions. 3) A rapid detection device was built for the maize crops with Raspberry Pi 4B+Coral USB, including Raspberry Pi 4B control, accelerator fast calculation, camera image acquisition, power, and image display module. As such, a rapid and accurate platform was obtained to collect, process, and display the images of the maize canopy in the field. 4) The model that trained on the GPU was quantized to transplant the trained model to the device. The data type of FP32 was converted to INT8, thereby ensuring that the quantized model occupied less memory. 5) A software was designed to run the SSDLite-MobileDet lightweight model on Raspberry Pi 4B, further to realize the acquisition, recognition, and display of maize images. The specific operation included system initialization, model loading, images acquisition, model processing, maize canopy recognition, positioning, and display. Finally, a field experiment was carried out to evaluate the rapid detection device for the maize crops, where the frame rate of the detected video was more than 89 frame/s, and the application recognition accuracy rate reached 91%. The findings can also offer strong support to the high-precision diagnosis and refined operation of maize in the field.

deep learning; target detection; recognition; jointing stage; maize canopy

10.11975/j.issn.1002-6819.2021.21.007

S147.2

A

1002-6819(2021)-21-0053-09

孫紅，喬金博，李松，等. 基于深度學習的玉米拔節期冠層識別[J]. 農業工程學報，2021，37(21)：53-61.doi：10.11975/j.issn.1002-6819.2021.21.007 http://www.tcsae.org

Sun Hong, Qiao Jinbo, Li Song, et al. Recognition of the maize canopy at the jointing stage based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 53-61. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.21.007 http://www.tcsae.org

2021-07-16

2021-09-14

國家重點研發計劃（2019YFE0125500）；國家自然科學基金資助項目（31971785和31971786）；中國農業大學研究生培養項目（QYJC202101，JG202026，JG2019004和YW2020007）

孫紅，博士，教授，研究方向為農業信息化技術。Email：sunhong@cau.edu.cn

李民贊，博士，教授，研究方向為精細農業系統。Email：limz@cau.edu.cn