農(nóng)業(yè)信息成像感知與深度學(xué)習(xí)應(yīng)用研究進(jìn)展

孫 紅 李 松 李民贊 劉豪杰 喬 浪 張 瑤

(1.中國(guó)農(nóng)業(yè)大學(xué)現(xiàn)代精細(xì)農(nóng)業(yè)系統(tǒng)集成研究教育部重點(diǎn)實(shí)驗(yàn)室，北京100083;2.中國(guó)農(nóng)業(yè)大學(xué)農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)信息獲取技術(shù)重點(diǎn)實(shí)驗(yàn)室，北京100083)

0 引言

智慧農(nóng)業(yè)是以信息和知識(shí)為核心要素，將物聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算、人工智能等現(xiàn)代信息技術(shù)與農(nóng)業(yè)深度融合，實(shí)現(xiàn)農(nóng)業(yè)信息感知、定量決策、智能控制、精準(zhǔn)投入、個(gè)性化服務(wù)的全新農(nóng)業(yè)生產(chǎn)方式［1］。以光學(xué)成像技術(shù)為代表的新型傳感器在農(nóng)業(yè)信息感知各環(huán)節(jié)被大量應(yīng)用［2-3］。如何通過分析圖像以達(dá)到識(shí)別和檢測(cè)對(duì)象的目的并為農(nóng)業(yè)決策和管理提供支持，是當(dāng)前農(nóng)業(yè)信息化技術(shù)研究領(lǐng)域的熱點(diǎn)問題［4］。

在農(nóng)業(yè)生產(chǎn)中，以彩色RGB、可見光-近紅外(Near infrared，NIR)光譜、3D 與熱紅外等圖像為數(shù)據(jù)源［5-6］，量化并分析顏色、形態(tài)、紋理、反射光譜等特征，結(jié)合機(jī)器學(xué)習(xí)(Machine learning，ML)理論形成了數(shù)據(jù)預(yù)處理、特征提取、分類識(shí)別與回歸診斷等相關(guān)方法［7-8］。但是由于樣本量和特征抽象層級(jí)的局限性，在應(yīng)對(duì)復(fù)雜背景和環(huán)境變化，以及未知樣本檢測(cè)模型泛化等問題時(shí)，還廣泛存在著噪聲抑制魯棒性不足、特征抽象和量化的數(shù)據(jù)有限、識(shí)別與檢測(cè)精度不高等問題［9-10］。

深度學(xué)習(xí)(Deep learning，DL)是ML 研究的重要分支之一，它結(jié)合神經(jīng)網(wǎng)絡(luò)對(duì)樣本集進(jìn)行學(xué)習(xí)，通過組合底層特征，形成抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征與屬性［11］。該技術(shù)在語義分割、特征識(shí)別等領(lǐng)域取得了重大的進(jìn)步［12］，在農(nóng)業(yè)問題研究中也備受關(guān)注。KAMILARIS等［13］、呂盛坪等［14］、ZHU 等［15］圍繞DL 的基本概念與發(fā)展歷程、形成的各類網(wǎng)絡(luò)算法和架構(gòu)模型、應(yīng)用的框架等內(nèi)容，從不同的側(cè)面進(jìn)行了綜述。從不同的研究問題出發(fā)，SINGH 等［16］、翁楊等［17］討論了DL 在作物脅迫與表型診斷中的應(yīng)用，ZHU 等［10］、MA 等［18］和PAOLETTI 等［19］分別調(diào)研了DL 在遙感和高光譜成像分類研究中的現(xiàn)狀和趨勢(shì)，KOIRALA等［20］關(guān)注果實(shí)在體識(shí)別與估產(chǎn)研究中DL 應(yīng)用的進(jìn)展，NOROUZZADEH 等［21］則對(duì)比了主流DL 架構(gòu)在動(dòng)物圖像識(shí)別中性能的差異。大量研究指出DL 在農(nóng)業(yè)信息檢測(cè)精度與應(yīng)用魯棒性方面比傳統(tǒng)方法均有所提升，因此不僅應(yīng)用DL 的研究課題日益增多，而且新的成果不斷涌現(xiàn)。

為了深入分析應(yīng)用DL 技術(shù)驅(qū)動(dòng)智慧農(nóng)業(yè)繼續(xù)發(fā)展的潛力，本文從農(nóng)業(yè)信息成像感知的數(shù)據(jù)源與DL 技術(shù)應(yīng)用相結(jié)合的角度出發(fā)，分析DL 用于解決農(nóng)業(yè)圖像信息檢測(cè)中難點(diǎn)問題的領(lǐng)域，通過梳理DL在農(nóng)業(yè)信息檢測(cè)中最新的應(yīng)用進(jìn)展與發(fā)展方向，以加深對(duì)DL 應(yīng)用研究過程的理解，為研究者開展同類研究提供參考，共同促進(jìn)農(nóng)業(yè)信息感知技術(shù)的發(fā)展。

1 深度學(xué)習(xí)概述

1.1 深度學(xué)習(xí)的網(wǎng)絡(luò)模型基礎(chǔ)

DL 拓展了傳統(tǒng)ML 模型的神經(jīng)網(wǎng)絡(luò)“深度”，利用卷積、池化層、全連接層、激活函數(shù)、門、記憶單元、編解碼器等組件，呈現(xiàn)了更為復(fù)雜的層級(jí)表示，通過多模塊組合來抽象和表達(dá)待測(cè)目標(biāo)中較高層的屬性與特征，從而為復(fù)雜模式學(xué)習(xí)與重要特征識(shí)別提供支持［22］。

DL 具有特征學(xué)習(xí)的能力，即從原始數(shù)據(jù)中自動(dòng)提取特征的能力主要通過“網(wǎng)絡(luò)”來實(shí)現(xiàn)［23］。當(dāng)前主要的網(wǎng)絡(luò)類型有多層感知器(Multi-layer perceptron，MLP)或深度神經(jīng)網(wǎng)絡(luò)(Deep neural network，DNN)、卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network，CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent neural networks，RNN)等［24］。此外還形成了相關(guān)的改進(jìn)網(wǎng)絡(luò)，如長(zhǎng)短期記憶網(wǎng)絡(luò)(Long short-term memory，LSTM)和門控循環(huán)單元(Gate recurrent unit，GRU)即引入了門控機(jī)制改進(jìn)了RNN 對(duì)短時(shí)時(shí)序數(shù)據(jù)處理的局限性［25］。

在上述網(wǎng)絡(luò)中CNN 網(wǎng)絡(luò)應(yīng)用最為廣泛，它通常包括卷積層、池化層和全連接層。卷積層利用圖像中信息的局部相關(guān)性來提取特征，它以“卷積核”為中介，在神經(jīng)元與上一級(jí)多通道特征圖部分相連中進(jìn)行卷積運(yùn)算，再通過激活函數(shù)輸入到該神經(jīng)元，還引入了局部卷積核權(quán)值共享策略，減小了“參數(shù)數(shù)量膨脹”和“過擬合”的可能性。池化層通過采樣從上層特征圖中選擇特征，同時(shí)使得模型具有平移、旋轉(zhuǎn)、縮放等不變性，常見的有最大池化或平均池化。應(yīng)用中卷積層和池化層常交替出現(xiàn)。全連接層的每個(gè)神經(jīng)元都與上層神經(jīng)元相連，綜合多維特征并轉(zhuǎn)換為一維特征交給分類器進(jìn)行識(shí)別或檢測(cè)［17，22，26］。

此外，與CNN、RNN、MLP 等判別模型以尋找不同類別之間的最優(yōu)分類面為目標(biāo)不同，深度置信網(wǎng)絡(luò)(Deep belief network，DBN)、生 成 對(duì) 抗 網(wǎng) 絡(luò)(Generative adversarial networks，GAN)、變分自編碼器(Variational auto-encoders，VAE)等生成模型則通過對(duì)聯(lián)合概率進(jìn)行建模，從統(tǒng)計(jì)的角度來表示或推斷樣本的分布［23，26］。其中，DBN 基于堆疊的限制性波爾茲曼(Restricted Boltzmann machines，RBMs)和前饋網(wǎng)絡(luò)來逐漸抽取圖像的復(fù)雜特征，從而在神經(jīng)網(wǎng)絡(luò)中訓(xùn)練以提升模型在分類檢測(cè)中的性能［19，23-24，26］。這些網(wǎng)絡(luò)的發(fā)展也為對(duì)象識(shí)別和檢測(cè)提供了重要的支持。

1.2 深度學(xué)習(xí)的網(wǎng)絡(luò)架構(gòu)與應(yīng)用框架

針對(duì)對(duì)象識(shí)別和目標(biāo)檢測(cè)任務(wù)，DL 研究中先后發(fā)展了基于CNN 的各類網(wǎng)絡(luò)架構(gòu)方式，為分類與識(shí)別、對(duì)象分割與檢測(cè)等任務(wù)提供了相應(yīng)的網(wǎng)絡(luò)模型［13-14，16］。

在對(duì)象識(shí)別方面，LetNET、AlexNet、VGGNet(Visual geometry group network)、GoogleNet、ResNet(Residual neural network)等具有應(yīng)用代表性。其中，AlexNet 以ReLU 作為CNN 的激活函數(shù)，使用重疊的最大池化層，在全連接層中使用Dropout 策略，LRN(Local response normalization)對(duì)局部神經(jīng)元活動(dòng)創(chuàng) 建 競(jìng) 爭(zhēng) 機(jī) 制，提 升 了 網(wǎng) 絡(luò) 的 規(guī) 模［13，26-27］。VGGNet 架構(gòu)中，從VGG 16、VGG 19 到MSRANet 網(wǎng)絡(luò)深度不斷增加，體現(xiàn)了網(wǎng)絡(luò)層級(jí)深度是提升DL網(wǎng)絡(luò)性能的重要因素［28］。GoogleNet 研究者則開發(fā)了“Inception”模塊，增強(qiáng)卷積模塊的功能與網(wǎng)絡(luò)的寬度和深度［29］。ResNet 引入殘差學(xué)習(xí)加速收斂解決深度網(wǎng)絡(luò)的退化問題，從而也將網(wǎng)絡(luò)層級(jí)由幾十層提高到了百層以上［30］。

關(guān)注于目標(biāo)檢測(cè)任務(wù)，以區(qū)域特征為基礎(chǔ)［31］，R-CNN(RegionCNN)、Fast R-CNN、Faster R-CNN 等框架形成先獲得區(qū)域再內(nèi)部識(shí)別的Two-stage 檢測(cè)法［32］。YOLO(You only look once)、SSD(Single shot multibox detector )、R-FCN (Region-based fully convolutional networks)等則在無區(qū)域建議下對(duì)整幅圖像進(jìn)行目標(biāo)識(shí)別與定位，形成了One-stage 檢測(cè)［20，33］。像 素 級(jí) 圖 像 分 割 任 務(wù) 中，F(xiàn)CN (Fully convolutional networks)、SegNet、DeepLab、PSPNet(Pyramid scene parsing network)等引入上采樣操作，通過調(diào)整CNN 特征提取下采樣與反卷積網(wǎng)絡(luò)(Deconvolution network)上采樣中的 Encoder-Decoder 策略、池化策略、激活函數(shù)、網(wǎng)絡(luò)結(jié)構(gòu)等，實(shí)現(xiàn)了端到端(End-to-End)的語義分割［34］。網(wǎng)絡(luò)改進(jìn)的同時(shí)，模型的存儲(chǔ)和預(yù)測(cè)速度成為影響基于CNN 的網(wǎng)絡(luò)模型應(yīng)用效率的問題，除了通過對(duì)訓(xùn)練好的模型進(jìn)行壓縮來解決外，也發(fā)展了如SqueezeNet、MobileNet、Xception 等輕量化的CNN 網(wǎng)絡(luò)模型［35］。

DL 模型可以利用Python、C/C + +和Java 等語言編程實(shí)現(xiàn)。開源的DL 框架則提供了一系列應(yīng)用程序編程接口，支持模型設(shè)計(jì)，并輔助部署網(wǎng)絡(luò)與算法，避免了代碼重復(fù)編寫［36］。DL 框架模式為農(nóng)業(yè)信息檢測(cè)提供了支持，作物與雜草識(shí)別、病蟲害檢測(cè)、果實(shí)識(shí)別、遙感分類等研究中Tensorflow、Caffe、Keras、Theano、CNTK、MXNet 和PyTorch 等被廣泛應(yīng)用［13，16，19］。

2 農(nóng)業(yè)信息檢測(cè)與深度學(xué)習(xí)

2.1 農(nóng)業(yè)信息感知與深度學(xué)習(xí)

數(shù)據(jù)感知是開展農(nóng)業(yè)檢測(cè)的基礎(chǔ)，農(nóng)業(yè)中常用的成像感知手段與DL 結(jié)合應(yīng)用的部分研究進(jìn)展如表1 所示。利用手持、物聯(lián)網(wǎng)或無人機(jī)平臺(tái)采集數(shù)據(jù)外［78-79］，航空和衛(wèi)星遙感影像數(shù)據(jù)可以通過在線下載或定制服務(wù)的方式獲得［19］。盡管可以獲取的圖像屬性、空間分辨率、光譜范圍與分辨率等數(shù)據(jù)源具有異質(zhì)性，但CNN 網(wǎng)絡(luò)在不同的任務(wù)中均得到了應(yīng)用［80-81］。典型的CNN 在農(nóng)業(yè)對(duì)象識(shí)別與分類中的應(yīng)用如圖1 所示，對(duì)高階特征的提取為高精度的對(duì)象識(shí)別奠定了基礎(chǔ)［82］。

如表1 所示，在作物、雜草、果園果實(shí)等外觀識(shí)別任務(wù)中RGB 和深度圖像應(yīng)用較多［83］，傳統(tǒng)研究中人工篩選的特征數(shù)量相對(duì)有限［4，7］，主要包括顏色、形狀、大小、紋理、SIFT (Scale-invariant feature transform)、HoG (Histogram of oriented gradient)、SURF (Speeded-up robust features)、LBP (Local binary pattern)等。以此為基礎(chǔ)建立邏輯回歸、偏最小二乘回歸、最鄰近算法(k-nearest neighbor，KNN)、支持向量機(jī)(Support vector machine，SVM)、隨機(jī)森林(Random forest，RF)等ML 分類和回歸模型的精度和泛化能力不高［8］。應(yīng)用“數(shù)據(jù)集”訓(xùn)練DL 深度網(wǎng)絡(luò)的模式降低了對(duì)復(fù)雜噪聲與干擾差異化剔除的要求，一方面CNN、VGGNet 等被用于突破手工特征篩選的局限，提取特征后用于輸入分類器;另一方面Faster R-CNN、YOLO V3 可直接輸出對(duì)象識(shí)別與定位的檢測(cè)結(jié)果［12，15，23-24］。開展農(nóng)作物長(zhǎng)勢(shì)、植被覆蓋、病蟲害發(fā)展、產(chǎn)量估測(cè)等檢測(cè)時(shí)，多光譜、高光譜和熱輻射等傳感器被用于分析隨時(shí)間發(fā)展的外觀與內(nèi) 部 信 息 動(dòng) 態(tài)［10，82，84］。此 類 研 究 中 AlexNet、GoogleNet 等常被用于特征提取和對(duì)象識(shí)別，CNN3D網(wǎng)絡(luò)對(duì)高光譜圖像立方體數(shù)據(jù)分析具有優(yōu)勢(shì)［73，85］，LSTM、GRU 等通過對(duì)時(shí)序關(guān)系的捕捉輔助估測(cè)產(chǎn)量［25，86］。

綜上可知，在農(nóng)業(yè)成像數(shù)據(jù)分析中基于CNN 的DL 深度網(wǎng)絡(luò)模型既可以作為特征提取的工具，又可以用于建立端到端的分割與檢測(cè)模型［86-87］，從而提供了農(nóng)業(yè)信息識(shí)別與檢測(cè)技術(shù)支持。

2.2 農(nóng)業(yè)信息數(shù)據(jù)集與深度學(xué)習(xí)

充足的標(biāo)簽數(shù)據(jù)樣本是DL 訓(xùn)練的基礎(chǔ)，農(nóng)業(yè)數(shù)據(jù)的獲取有自行采集、網(wǎng)絡(luò)收集和使用公開數(shù)據(jù)庫(kù)3 種途徑。可用于農(nóng)業(yè)的公開數(shù)據(jù)庫(kù)種類豐富，按照農(nóng)業(yè)對(duì)象分類，常用的植物與花卉、雜草與病蟲害脅迫的圖像數(shù)據(jù)集有ImageNet、Plant Village［29-30，34］、Syngenta Crop Challenge 2017、Flavia Leaf、Crop/Weed Field Image、 Leafsnap、 LifeCLEF［87-88］、MalayaKew、PPBC (Plant photo bank of China)、BJFU100［13，17］;對(duì)土地覆蓋分類的數(shù)據(jù)有UC Merced Land Use、Land Use/Land Classification classes(LULC)、Africa Soil Information Service (AFSIS)、RSSCN7 等［80］;高光譜遙感領(lǐng)域，IEEE(Institute of Electrical and Electronics Engineers)地理與遙感協(xié)會(huì)數(shù)據(jù)與算法評(píng)價(jià)標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)(DASE，dase. grssieee. org)包括Pavia Unversity (PU)、Indian Pines(IP)、Salinas、University of Houston(UH)等［19，24，86］。除ImageNet 外Fruits 360［89］、RGB-Ddataset［57］是果實(shí)圖像數(shù)據(jù)集。PASCAL VOC (Pattern analysis，statistical modeling and computational learning visual object classes)、Snapshot Serengeti［90］等可用于訓(xùn)練動(dòng)物識(shí)別模型。此外，越來越多的學(xué)者也開放了研究采集的圖像。

表1 農(nóng)業(yè)信息成像感知與深度學(xué)習(xí)應(yīng)用Tab.1 Application of image sensing and deep leaning in agriculture

圖1 作物識(shí)別CNN 應(yīng)用示意圖Fig.1 Application of CNN in crop recognition

與公開的標(biāo)準(zhǔn)庫(kù)相比，自行采集的數(shù)據(jù)集規(guī)模小且對(duì)數(shù)據(jù)的標(biāo)注費(fèi)時(shí)費(fèi)力［57］。數(shù)據(jù)不足時(shí)，神經(jīng)網(wǎng)絡(luò)很難穩(wěn)定訓(xùn)練且泛化能力較弱。部分研究通過引入新的學(xué)習(xí)方式或數(shù)據(jù)增強(qiáng)方法，從不同的角度來解決這一問題［16］。遷移學(xué)習(xí)(Transfer learning，TL)利用圖像邊緣、紋理等屬性的共通性，對(duì)新采集的無標(biāo)簽樣本開發(fā)模型時(shí)，可以先以與它具有相似或分布重疊的已知數(shù)據(jù)集訓(xùn)練的模型為起點(diǎn)［91］，例如以ImageNet 為代表的標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)上訓(xùn)練完成的模型為基礎(chǔ)，參數(shù)微調(diào)或組件修改后即可以應(yīng)用于本地化的植物種類識(shí)別、病蟲害檢測(cè)［32，91-92］。數(shù)據(jù)增強(qiáng)方面，盡管圖像顏色、亮度或?qū)Ρ榷茸儞Q、剪裁與仿射變換(旋轉(zhuǎn)、縮放、位移)等是常見的手段，但GAN 和VAE 網(wǎng)絡(luò)可生成更加多樣的樣本用于豐富有限的數(shù)據(jù)集［15，93］。

2.3 農(nóng)業(yè)數(shù)據(jù)處理與DL 運(yùn)算平臺(tái)

在獲取農(nóng)業(yè)數(shù)據(jù)集后，應(yīng)用DL 開展農(nóng)業(yè)對(duì)象識(shí)別與檢測(cè)研究的總體過程如圖2 所示，包括數(shù)據(jù)集準(zhǔn)備、網(wǎng)絡(luò)架構(gòu)、訓(xùn)練與驗(yàn)證評(píng)估［13］。其中，準(zhǔn)備數(shù)據(jù)集時(shí)包括數(shù)據(jù)標(biāo)注、數(shù)據(jù)增強(qiáng)、數(shù)據(jù)清洗、標(biāo)準(zhǔn)化或規(guī)范化處理［14］。檢測(cè)目的或問題的復(fù)雜性、數(shù)據(jù)大小和類型等都是設(shè)計(jì)網(wǎng)絡(luò)架構(gòu)的基礎(chǔ)［80-81］。對(duì)訓(xùn)練網(wǎng)絡(luò)超參數(shù)的優(yōu)化則包括協(xié)議、網(wǎng)絡(luò)架構(gòu)、批處理容量、目標(biāo)函數(shù)、學(xué)習(xí)率和正則化的設(shè)計(jì)等［16］。

圖2 應(yīng)用DL 開展農(nóng)業(yè)檢測(cè)的過程示意圖Fig.2 Application of deep learning in agriculture detection

評(píng)價(jià)DL 模型需要足夠的驗(yàn)證數(shù)據(jù)外，在擾動(dòng)條件下檢查模型的魯棒性也很重要，常采用的評(píng)價(jià)指標(biāo)包括:分類準(zhǔn)確率(Classification accuracy，CA)、真正率(True positive rate，TPR)、真負(fù)率(True negative rate，TNR)、精度(Precision，P)、召回率(Recall，R)、平均正確率(Mean average precision，mAP)、交并比(Intersection over union，IoU)、均方根誤 差(Root mean square error，RMSE)、F1 值等［13-14，19］。

由于“深度”層級(jí)中使用矩陣相乘、卷積、循環(huán)等計(jì)算量龐大，對(duì)計(jì)算硬件的并行性、內(nèi)存帶寬等指標(biāo)提出較高的要求。可選的硬件有中央處理器(Central processing unit，CPU)、圖 形 處 理 器(Graphics processing unit，GPU)、現(xiàn)場(chǎng)可編程門陣列和專用集成電路［94-95］，當(dāng)前農(nóng)業(yè)檢測(cè)中主要應(yīng)用了CPU 和GPU。面向單片機(jī)的Coral Dev Board、支持Raspberry Pi 或Debian Linux 計(jì)算機(jī)的USB 加速器等為本地化移動(dòng)終端運(yùn)行提供了平臺(tái)［96-97］。此外，不同平臺(tái)的運(yùn)算能力、支持的計(jì)算框架和可用的資源有所差異，直接影響農(nóng)業(yè)檢測(cè)中DL 網(wǎng)絡(luò)訓(xùn)練和運(yùn)行的時(shí)間［98］。因此，運(yùn)算時(shí)間是又一綜合評(píng)價(jià)DL 網(wǎng)絡(luò)應(yīng)用潛力的重要評(píng)價(jià)指標(biāo)。

3 深度學(xué)習(xí)在農(nóng)業(yè)檢測(cè)中的應(yīng)用進(jìn)展

通過文獻(xiàn)檢索DL 在農(nóng)業(yè)檢測(cè)中最新的研究成果，分析近3 年主要發(fā)表的相關(guān)論文，按照研究目的總體呈現(xiàn)出5 個(gè)方向，包括:植物識(shí)別與檢測(cè)［13，16-17，99］、病蟲害診斷與識(shí)別［100］、遙感區(qū)域分類與監(jiān)測(cè)［10，18，24］、果實(shí)在體檢測(cè)與產(chǎn)品分級(jí)［20］、動(dòng)物識(shí)別與姿態(tài)檢測(cè)［21］。

3.1 植物識(shí)別與檢測(cè)

3.1.1 作物識(shí)別與營(yíng)養(yǎng)檢測(cè)

作物識(shí)別包括作物品種的識(shí)別與植株體上關(guān)鍵器官的識(shí)別。NAMIN 等［101］提出了一種CNN-LSTM分類模型用于識(shí)別4 種不同品種的擬南芥，基于ImageNet 數(shù)據(jù)集訓(xùn)練的網(wǎng)絡(luò)對(duì)自主拍攝的生育期RGB 圖像的分類準(zhǔn)確率位于76.8% ～93%之間，高于以顏色和紋理特征為輸入的SVM 分類模型。QUIROZ 等［53］應(yīng)用CNN 提取特征識(shí)別藍(lán)莓育苗植株，平均準(zhǔn)確度、精確度和召回率均高于85%。楊洋等［102］以履帶自走式熱霧機(jī)為平臺(tái)獲取玉米作物田間圖像，在預(yù)訓(xùn)練網(wǎng)絡(luò)模型VGG16 的基礎(chǔ)上進(jìn)行遷移學(xué)習(xí)，建立玉米根莖檢測(cè)網(wǎng)絡(luò)，并采用最小二乘法擬合根莖位置指導(dǎo)農(nóng)機(jī)對(duì)行作業(yè)。馮海林等［103］以AlexNet、VggNet-16、InceptionV3 及ResNet-50 構(gòu)建深層網(wǎng)絡(luò)，在ImageNet 上提取圖像特征并預(yù)訓(xùn)練網(wǎng)絡(luò)模型，結(jié)合自主拍攝和網(wǎng)絡(luò)爬蟲獲取的樹種數(shù)據(jù)集以遷移學(xué)習(xí)優(yōu)化模型，對(duì)TreesNet 公開的10 種樹木識(shí)別的準(zhǔn)確率達(dá)99.15%。對(duì)比SVM、DBN 和CNN方法，鄭一力等［104］指出基于AlexNet 和InceptionV3的植物葉片識(shí)別模型識(shí)別準(zhǔn)確率均達(dá)到95.0%以上。

作物器官識(shí)別研究中，常以RGB 圖像為數(shù)據(jù)源。對(duì)包括雜草和光照影響的10 800 幅玉米秧苗圖像，劉慧力等［37］基于TensorFlow 構(gòu)建了多尺度分層特征的CNN 模型，田間玉米秧苗的識(shí)別準(zhǔn)確率為99.65%，并進(jìn)一步通過圖像分割識(shí)別玉米莖稈，準(zhǔn)確率為98.93%。基于Faster R-CNN，宗澤等［52］對(duì)苗期玉米識(shí)別和質(zhì)心定位的準(zhǔn)確率為92.9%，檢測(cè)一幀圖像的平均時(shí)間為0.17 s;孫哲等［38］則對(duì)比ResNet101、ResNet50 與VGG16 網(wǎng)絡(luò)，優(yōu)化選取了ResNet101 網(wǎng)絡(luò)識(shí)別雜草背景下西蘭花冠層，其平均準(zhǔn)確率為90.89%，檢測(cè)時(shí)間249 ms。段凌鳳等［39］對(duì)正常生長(zhǎng)及干旱脅迫兩個(gè)不同環(huán)境下的483 個(gè)品種的水稻圖像進(jìn)行分割和特征提取后，建立生物量DBN 檢測(cè)模型的精度優(yōu)于傳統(tǒng)的逐步回歸模型。張領(lǐng)先等［105］構(gòu)建了冬小麥麥穗識(shí)別CNN模型，總體識(shí)別正確率達(dá)到99.6%，其中麥穗識(shí)別正確率為99.9%，葉片識(shí)別正確率為99.3%。

作物營(yíng)養(yǎng)診斷中常采用RGB 或光譜成像數(shù)據(jù)。熊俊濤等［97］利用Mask R-CNN 模型對(duì)固定RGB 攝像頭采集的大豆生長(zhǎng)期葉片進(jìn)行圖像分割后，利用VGG16 模型實(shí)現(xiàn)了對(duì)2 類缺氮和4 類缺磷特征的分類。ZHU 等［65］采用棧式自動(dòng)編碼器(Stacked autoencoder，SAE)對(duì)油菜冠層高光譜圖像進(jìn)行分析，認(rèn)為攝像角度對(duì)其品種分類具有影響，且在25°時(shí)分類結(jié)果的綜合評(píng)價(jià)指標(biāo)最優(yōu)。岳學(xué)軍等［66，106］以作物特征光譜、灰度共生矩陣紋理和CNN 紋理等特征為輸入，建立了 ICA-DNNs (Independent component analysis-Deep neural networks)和SSAEDLNs (Stacked sparse autoencoder-Deep learning networks)分別用于檢測(cè)龍眼葉片的葉綠素含量和柑橘葉片鉀含量。

3.1.2 雜草識(shí)別

雜草識(shí)別的準(zhǔn)確性對(duì)指導(dǎo)田間除草作業(yè)至關(guān)重要。KNOLL 等［55］采集500 幅RGB 田間蘿卜和雜草圖像，擴(kuò)充數(shù)據(jù)集后采用CNN 對(duì)其進(jìn)行分類識(shí)別，平均識(shí)別精度與召回率高于99.5%，F(xiàn)1 值達(dá)0.996 2。對(duì)自主采集的906 幅油菜與雜草圖像，ASAD 等［40］引入SegNet 和UNET 等學(xué)習(xí)單元比較VGG16 和ResNet-50 模型，選取了基于ResNet-50 的SegNet 雜草識(shí)別模型。彭明霞等［107］采用融合特征金字塔網(wǎng)絡(luò)(Feature pyramid network，F(xiàn)PN)的Faster R-CNN 實(shí)現(xiàn)了棉田雜草的識(shí)別。對(duì)德國(guó)波爾大學(xué)開放的RGB-NIR 多光譜圖像數(shù)據(jù)集，孫俊等［63］以深度可分離卷積以及殘差塊構(gòu)成分割模型的卷積層，用于識(shí)別甜菜與雜草。姜紅花等［41］和王璨等［42］利用CNN 提取圖像特征，對(duì)玉米田間雜草識(shí)別準(zhǔn)確率均達(dá)到98%以上。FERREIRA 等［48］采用開源的巴西大豆種植園數(shù)據(jù)集和Deepweeds 數(shù)據(jù)集，在Pytorch 框架測(cè)試了兩類無監(jiān)督深度聚類法，指出數(shù)據(jù)擴(kuò)充與遷移學(xué)習(xí)有助于提高模型對(duì)雜草識(shí)別的能力，而采用半自動(dòng)數(shù)據(jù)標(biāo)簽的方法可以減少手工數(shù)據(jù)標(biāo)記的工作量。

上述植物識(shí)別研究中基于CNN 的網(wǎng)絡(luò)模型主要被用于提取對(duì)象的特征進(jìn)行分類，而在作物檢測(cè)中DL 模型用于提供高精度的目標(biāo)分割或定位，為作物表型測(cè)量奠定基礎(chǔ)。盡管基于CNN 提取高階特征為輸入所建立的識(shí)別模型精度顯著高于傳統(tǒng)圖像顏色與紋理特征所建立的同類模型，但是研究中數(shù)據(jù)采集的方式、數(shù)據(jù)擴(kuò)充的選擇等與數(shù)據(jù)集涵蓋的多樣性緊密相關(guān)，會(huì)直接影響網(wǎng)絡(luò)訓(xùn)練的結(jié)果。此外，對(duì)網(wǎng)絡(luò)架構(gòu)的比較研究也表明，不同的網(wǎng)絡(luò)架構(gòu)與深度對(duì)特征識(shí)別的差異顯著。說明還需要繼續(xù)開展針對(duì)特定研究對(duì)象的數(shù)據(jù)集構(gòu)建以及DL 模型設(shè)計(jì)、比較與優(yōu)化。

3.2 作物病蟲害診斷與識(shí)別

3.2.1 作物病害診斷與識(shí)別

對(duì)于病蟲害診斷、類型識(shí)別和發(fā)生預(yù)測(cè)方面，DL 技術(shù)被用于分析不同尺度和維度的圖像數(shù)據(jù)［97］。龍滿生等［43］利用智能手機(jī)在室內(nèi)補(bǔ)光條件下拍攝葉片圖像并進(jìn)行預(yù)處理作為輸入，基于TensorFlow 的AlexNet 模型對(duì)藻斑病、軟腐病、煤污病和黃化病4 種油茶病害癥狀的分類準(zhǔn)確率高達(dá)96.53%。黃雙萍等［68］利用便攜式高光譜成像儀(Gaia Field-F-V10 型)拍攝田間水稻穗株圖像，將1 467 株樣本經(jīng)數(shù)據(jù)增強(qiáng)，輸入以隨機(jī)梯度下降算法優(yōu)化的GoogleNet 模型檢測(cè)水稻穗瘟病的準(zhǔn)確率為92%。針對(duì)彩色數(shù)碼相機(jī)拍攝的果樹葉片樣本，LIU等［44］調(diào)整了卷積核大小，將全連接層替換為卷積層，建立4 種蘋果葉片病害的AlexNet Inspired 網(wǎng)絡(luò)模型，總體識(shí)別率為97.62%。KERKECH 等［108］利用無人機(jī)拍攝葡萄樹冠層的RGB 圖像，以顏色空間參數(shù)和植被指數(shù)為輸入，利用CNN LeNet-5 模型對(duì)葡萄樹的藤蔓疾病進(jìn)行了檢測(cè)，正確率達(dá)92%。

公開的數(shù)據(jù)集常用于訓(xùn)練病蟲害識(shí)別模型，COULIBALY 等［91］以ImageNet 訓(xùn)練VGG16 網(wǎng)絡(luò)，使用TL 策略對(duì)本地小米病害特征識(shí)別的準(zhǔn)確率高于95%。基于PlantVill，MA 等［109］對(duì)自主采集的圖像進(jìn)行數(shù)據(jù)集擴(kuò)充后，使用深度卷積網(wǎng)絡(luò)(Deep-CNN，DCNN)識(shí)別炭疽病、霜霉病、白粉病和目標(biāo)葉斑病4 種黃瓜疾病癥狀，準(zhǔn)確率為93.4%。KHAN等［110］結(jié)合PlantVill 和普渡大學(xué)的CASC IFW(Internal feeding worm database of the comprehensive automation for specialty crops )數(shù)據(jù)集，在圖像增強(qiáng)與背景分割的基礎(chǔ)上，建立VGG-VD-16 和Caffe-AlexNet 模型，檢測(cè)蘋果和香蕉葉片葉斑和果實(shí)病斑的準(zhǔn)確率為98.6%。類似的，以PlantVill 數(shù)據(jù)集為基礎(chǔ)，KARTHIK 等［111］采用TensorFlow 框架建立了基于CNN 的殘留漸進(jìn)特征提取模型，對(duì)番茄早疫病、晚疫病和葉霉病的整體識(shí)別準(zhǔn)確率為98%。FERENTINOS 等［112］在Torch 框架下，基于VGG 和AlexNet 建立了58 種不同類別組合的病害與健康植物的識(shí)別模型，最佳準(zhǔn)確率達(dá)到了99.53%。許景輝等［113］基于ImageNet 圖像數(shù)據(jù)集訓(xùn)練VGG16 模型的卷積層，通過遷移學(xué)習(xí)對(duì)玉米健康葉、大斑病葉、銹病葉圖像的平均識(shí)別準(zhǔn)確率為95.33%。

ZHONG 等［114］利用AI-Challenger 公開數(shù)據(jù)集訓(xùn)練了DenseNet-121 網(wǎng)絡(luò)，提出了3 類模型的分類準(zhǔn)確率分別為93.51%、93.31%和93.71%，均優(yōu)于基于交叉熵?fù)p失函數(shù)的分類結(jié)果(92.29%)。LU等［115］建 立 了WDD2017 (Wheat disease database 2017)數(shù)據(jù)集，提出了弱監(jiān)督深度學(xué)習(xí)框架，設(shè)計(jì)VGG-FCN-VD16 和VGG-FCN-S 模型，對(duì)小麥疾病平均識(shí)別準(zhǔn)確率分別達(dá)到97.95%和95.12%，效果優(yōu)于傳統(tǒng)的CNN 模型。在研究香蕉病蟲害脅迫的過程中，SELVARAJ 等［116］以含有18 000 幅圖像的CIAT 香蕉數(shù)據(jù)集訓(xùn)練了DCNN 網(wǎng)絡(luò)，采用深度遷移學(xué)習(xí)實(shí)現(xiàn)了對(duì)香蕉葉、果等病害發(fā)生在線診斷的功能。

3.2.2 作物蟲害識(shí)別與預(yù)測(cè)

針對(duì)田間蟲害，XIE 等［117］使用數(shù)碼相機(jī)(Canon 和Nikon)和手機(jī)拍攝了4 500 幅含有40 種田間昆蟲的圖像，并開放了DLFautoinsects 數(shù)據(jù)集，采用無監(jiān)督特征提取的方法從大量未標(biāo)記的圖像中學(xué)習(xí)昆蟲特征，與顏色、紋理、SIFT、HOG 有限特征分類的結(jié)果相比，對(duì)蟲害的識(shí)別精度顯著提高。CHENG 等［118］基于Caffe 框架以DRL(Deep residual learning)優(yōu)化AlexNet 網(wǎng)，對(duì)10 類蟲害的識(shí)別準(zhǔn)確率達(dá)到了98.67%。劉文定等［119］提出一種基于FCN 的林區(qū)航拍圖像蟲害區(qū)域識(shí)別方法，與K-means、脈沖耦合神經(jīng)網(wǎng)絡(luò)、復(fù)合梯度分水嶺算法相比，識(shí)別準(zhǔn)確率分別提高44.93%、20.73% 和6.04%，單幅圖像分割時(shí)間縮短47.54、19.70、11.39s。此外，劉德營(yíng)等［120］基于CNN 識(shí)別了白背飛虱，孫鈺等［51］利用Faster R-CNN 和SSD 檢測(cè)了森林中冠層紅脂大小蠹蟲害。

作物病蟲害診斷與識(shí)別研究中，田間作物病蟲害發(fā)生的類型、頻次與規(guī)模影響圖像樣本采集的方式與數(shù)據(jù)集屬性，因此公開的數(shù)據(jù)集被大量使用，進(jìn)而遷移學(xué)習(xí)成為訓(xùn)練病蟲害識(shí)別模型的重要手段。CNN、VGG、DenseNet-121 等網(wǎng)絡(luò)用于建立作物病蟲害識(shí)別模型，其本質(zhì)是對(duì)脅迫發(fā)生時(shí)葉片和植株、不同的害蟲對(duì)象之間等差異化特征的分類，由有監(jiān)督分類到弱監(jiān)督分類，從發(fā)生狀況的識(shí)別到引入環(huán)境數(shù)據(jù)的預(yù)測(cè)，DL 技術(shù)為研究人員利用有限認(rèn)知逐步探索病蟲害發(fā)生的誘因與屬性提供了分析手段。

3.3 遙感區(qū)域分類與監(jiān)測(cè)

在遙感地物分類和監(jiān)測(cè)等研究中，應(yīng)用DL 技術(shù)主要是針對(duì)高光譜或多光譜時(shí)序圖像展開分析［10，18］。

PAOLETTI 等［19］基于DASE 開源遙感數(shù)據(jù)集提供的 Pavia Unversity (PU)、Indian Pines (IP)、Salinas、University of Houston(UH)的高光譜成像數(shù)據(jù)(High spetral image，HSI)，比較了傳統(tǒng)有監(jiān)督的HSI 分類與DL 模型在玉米、小麥、大豆、林木等多種地物分類中的性能。實(shí)驗(yàn)中涉及到RF、SVM、MLP、RNN、GRU、LSTM、CNN、CNN2D、CNN3D 等多類模型和5 種深層架構(gòu)，結(jié)果指出CNN3D 模型較優(yōu)，且說明了數(shù)據(jù)集分布和標(biāo)記對(duì)模型結(jié)果影響的重要性。齊永鋒等［121］提出了基于局部保留降維卷積神經(jīng)網(wǎng)絡(luò)的高光譜圖像分類算法。采用局部保留判別式分析對(duì)高光譜數(shù)據(jù)降維，經(jīng)二維Gabor 濾波器生成空間信息，CNN 提取光譜特征，融合空間與光譜信息進(jìn)行分類，對(duì)IP 和PU 數(shù)據(jù)的分類結(jié)果比傳統(tǒng)CNN 方法準(zhǔn)確率分別提高了3.81%與6.62%。

韓立欽等［64］提出利用層棧式自編碼神經(jīng)網(wǎng)絡(luò)模型提取HSI 特征，混合蛙跳算法優(yōu)化最佳端元組合，實(shí)現(xiàn)了對(duì)基于AVIRIS 傳感器獲取的農(nóng)田影像端元的提取。基于Landsat 衛(wèi)星影像，ZHONG 等［74］采用Conv1D(One-dimensional convolutional)分析增強(qiáng)植被指數(shù)的時(shí)序特征，利用RF 和SVM 等分類算法實(shí)現(xiàn)了作物的分類。楊建宇等［75］基于SegNet 語義模型對(duì)World View-2 高分辨率遙感影像進(jìn)行分析，對(duì)農(nóng)村建設(shè)用地提取的精度為96.61%。

產(chǎn)量估測(cè)方面，JIANG 等［86］基于LSTM 開發(fā)了玉米估產(chǎn)模型，輸入空間異質(zhì)的作物物候、氣象和遙感數(shù)據(jù)，以美國(guó)玉米帶2006 年至2017 年共7 232 條縣級(jí)觀測(cè)為數(shù)據(jù)集，驗(yàn)證了深度學(xué)習(xí)模型比嶺回歸和隨機(jī)森林模型在季中和季末玉米產(chǎn)量預(yù)測(cè)的結(jié)果有明顯的提升。周亮等［76］建立了基于MODIS 數(shù)據(jù)的中國(guó)北方冬小麥遙感估產(chǎn)CNN 模型，訓(xùn)練集和測(cè)試集R2分別為0.98 和0.71。類似的，融合氣象數(shù)據(jù)、TRMM(Tropical rainfall measuring mission)和MODIS 遙感影像、數(shù)字高程模型等數(shù)據(jù)，SHEN等［77］以2001—2010 年間的數(shù)據(jù)為訓(xùn)練集、2011—2012 年數(shù)據(jù)為測(cè)試集，構(gòu)建了DFNN(Deep feed forward neural network)作物干旱脅迫監(jiān)測(cè)模型。

除衛(wèi)星遙感外，DL 技術(shù)也應(yīng)用于基于無人機(jī)遙感圖像的分割與地物分類研究中。利用無人機(jī)平臺(tái)采集RGB 圖像，陳鋒軍等［50］基于TensorFlow 框架，以VGG16 為基礎(chǔ)建立了云杉分割FCN 模型，與顏色空間閾值分割以及K 均值聚類分割算法比較，平均IoU 分別提高0.10 和0.38。MAIMAITIJIANG等［72］利用無人機(jī)平臺(tái)在收獲前采集RGB、多光譜和熱紅外多源圖像，比較研究表明DNN 提取特征農(nóng)作物產(chǎn)量預(yù)測(cè)的能力高于組合光譜、紋理和熱輻射強(qiáng)度的特征。劉文萍等［49］基于Pytorch 比較并改進(jìn)了DeepLabV3 模型，如引入Xception 替換ResNet，改進(jìn)編碼器等，對(duì)土地覆蓋率的的分割準(zhǔn)確率和平均IoU 分別為95.06%和81.22%。

地物分類方面，尼加提·卡斯木等［45］利用VGGN 和ResNet 對(duì)無人機(jī)采集的塊圖像的特征進(jìn)行抽象與學(xué)習(xí)，實(shí)現(xiàn)了綠洲植物群落自動(dòng)分類。楊紅艷等［69］基于無人機(jī)采集400 ～1 000 nm 波段草原退化指示物種的高光譜圖像信息，采用特征波段提取與CNN 相結(jié)合的方式，對(duì)草原短花針茅、冷蒿等物種的平均分類精度為94%。汪傳建等［62］應(yīng)用CNN 模型提取無人機(jī)獲取的RGB 和多光譜圖像特征，對(duì)棉花、西葫蘆和玉米作物的總體分類精度為97.75%。孫鈺等［122］通過多尺度融合的方法構(gòu)建FCN(Fully convolutional network)模型，使用帶動(dòng)量的隨機(jī)梯度下降算法訓(xùn)練模型，自動(dòng)提取并分類農(nóng)業(yè)大棚和地膜農(nóng)用地影像特征，結(jié)果表明FCN 模型優(yōu)于傳統(tǒng)的基于像素的分類和面向?qū)ο蟮姆诸惙椒ǎ骄w正確率為97%。

遙感區(qū)域分類與監(jiān)測(cè)研究以多維多時(shí)相的光譜成像數(shù)據(jù)為基礎(chǔ)，區(qū)別于RGB 圖像特征的分析，針對(duì)不同遙感尺度提供的圖像和光譜多維屬性展開特征提取與分類是DL 應(yīng)用研究的關(guān)鍵。目標(biāo)識(shí)別與分類研究中，CNN、DNN、VGG、DeepLabV3、SegNet 等被用于區(qū)域特征的提取和分割，SAE、FCN、CNN3D等被用于譜圖特征融合與HSI 特征提取。在時(shí)相關(guān)聯(lián)分析中，引入Conv1D、LSTM 等輔助提升了關(guān)聯(lián)高維特征的挖掘。現(xiàn)有研究主要利用DL 網(wǎng)絡(luò)通過學(xué)習(xí)特征提升區(qū)域分類與識(shí)別模型的能力，基于“端到端”網(wǎng)絡(luò)的區(qū)域內(nèi)對(duì)象檢測(cè)的問題還有待深入研究。

3.4 果實(shí)在體檢測(cè)與產(chǎn)品分級(jí)

3.4.1 果實(shí)在體檢測(cè)

高精度的對(duì)象識(shí)別與定位是果實(shí)采收機(jī)械實(shí)施作業(yè)的基礎(chǔ)。研究中主要采用Faster R-CNN、YOLO等檢測(cè)模型識(shí)別自然場(chǎng)景下果實(shí)對(duì)象。

基于Faster R-CNN 檢測(cè)模型，INKYU 等［32］利用遷移學(xué)習(xí)將在ImageNet 訓(xùn)練好的模型應(yīng)用于田間彩椒和甜瓜的檢測(cè)，其中討論了融合RGB 和NIR 兩類圖像提高果實(shí)定位檢測(cè)的方法。WAN等［89］以Fruit360 樣本集為基礎(chǔ)訓(xùn)練改進(jìn)的Faster R-CNN 模型，對(duì)蘋果、芒果和橙子識(shí)別的mAP 為86.41%，高于YOLOv3 的84.89%。閆建偉等［123］用雙線性插值方法和感興趣區(qū)域校準(zhǔn)改進(jìn)Faster R-CNN 中的卷積神經(jīng)網(wǎng)絡(luò)，VGG16 網(wǎng)絡(luò)訓(xùn)練模型，對(duì)自然場(chǎng)景下刺梨果實(shí)11 種形態(tài)識(shí)別的準(zhǔn)確率最高達(dá)95.53%，F(xiàn)1 值位于87.50% ～94.99%之間，平均檢測(cè)速度0.2 s/幅。穆龍濤等［54］采用Im-AlexNet 為特征提取層的Faster R-CNN 目標(biāo)檢測(cè)算法，通過遷移學(xué)習(xí)微調(diào)AlexNet 網(wǎng)絡(luò)，對(duì)晴天逆光、陰天和夜間補(bǔ)光等環(huán)境下獼猴桃目標(biāo)識(shí)別的精度達(dá)96.0%。

熊俊濤等［124］利用Faster R-CNN 檢測(cè)綠色柑橘后，進(jìn)一步探索了利用YOLO v2 對(duì)無人機(jī)采集的綠色芒果圖像進(jìn)行識(shí)別［125］，對(duì)含不同果實(shí)數(shù)、順光和逆光條件圖像的識(shí)別正確率都達(dá)到87%以上。基于DenseNet 改進(jìn)YOLO v3 網(wǎng)絡(luò)模型，TIAN 等［33］在3 個(gè)不同生育期開展在體蘋果的識(shí)別與定位研究，指出改進(jìn)后的模型對(duì)3 000 像素×3 000 像素圖像的處理時(shí)間為0.304 s，且不易受果實(shí)發(fā)育過程中大小、顏色和密度等變化、環(huán)境光照與遮擋等影響。趙德 安 等［126］采 用 YOLO v3 識(shí) 別 蘋 果 mAP 為87.71%，召回率為90%，IoU 為83.61%，一幅圖像在GPU 下的檢測(cè)時(shí)間為16.69 ms，在CPU 下的檢測(cè)時(shí)間為105.21 ms，實(shí)際檢測(cè)視頻的幀率達(dá)到了60 f/s 和15 f/s。劉小剛等［127］的研究表明，對(duì)原始圖像進(jìn)行增強(qiáng)后，有助于提升YOLO v3 網(wǎng)絡(luò)對(duì)夜視條件下草莓的識(shí)別準(zhǔn)確率并縮短檢測(cè)時(shí)間。

其它模型應(yīng)用與優(yōu)化方面，KANG 等［61］提出了一種包括自動(dòng)標(biāo)簽生成模塊和LedNet (Light encoder-decoder network)檢測(cè)器的水果檢測(cè)DL 框架，蘋果園中的應(yīng)用實(shí)驗(yàn)結(jié)果顯示召回率和分類準(zhǔn)確度分別為82%和85.3%。畢松等［128］采用深層CNN 網(wǎng)絡(luò)，基于遷移學(xué)習(xí)完成了柑橘目標(biāo)識(shí)別模型訓(xùn)練，對(duì)采集的測(cè)試圖像mAP 為86.6%。王丹丹等［46］設(shè)計(jì)了包含有ResNet-44 全卷積網(wǎng)絡(luò)、區(qū)域生成網(wǎng)絡(luò)和感興趣區(qū)域子網(wǎng)的R-FCN 結(jié)構(gòu)，用于蘋果對(duì)象識(shí)別，召回率為85.7%，準(zhǔn)確率為95.1%。彭紅星等［47］利用ResNet-101 替換SSD 架構(gòu)中的VGG16，對(duì)自然環(huán)境下蘋果、荔枝、臍橙、皇帝柑4 類水果識(shí)別的mAP 為88.4%，高于改進(jìn)前SSD 模型的86.38%。

將在體果實(shí)識(shí)別與采摘機(jī)器人作業(yè)相結(jié)合，楊長(zhǎng)輝等［59］構(gòu)建了基于YOLOv3 網(wǎng)絡(luò)和Kinect V2 相機(jī)的柑橘目標(biāo)及周圍障礙物識(shí)別定位系統(tǒng)，對(duì)障礙物和可采摘柑橘果實(shí)的識(shí)別綜合評(píng)價(jià)指數(shù)分別為83.6%和91.9%，定位誤差5.9 mm，單幀圖像的處理時(shí)間為0.4 s，采摘成功率和避障成功率分別達(dá)到80.51%和75.79%。同時(shí)，也提出了一種基于Mask R-CNN 模型與多參數(shù)變量約束的柑橘果樹枝干識(shí)別與重建方法［129］，在測(cè)試集下的平均識(shí)別精確率為98.15%，果樹枝干整體平均重建準(zhǔn)確率為88.64%。

3.4.2 農(nóng)產(chǎn)品品質(zhì)分級(jí)

機(jī)器視覺技術(shù)已經(jīng)成為農(nóng)產(chǎn)品分級(jí)檢測(cè)的重要基礎(chǔ)［130］，DL 技術(shù)為農(nóng)產(chǎn)品圖像特征提取和分類建模提供了支持。倪超等［67］使用堆疊自適應(yīng)加權(quán)自編碼器提取短波紅外高光譜數(shù)據(jù)中的高階特征，用于剔除棉籽中的地膜雜質(zhì)。孫俊等［70］對(duì)5 個(gè)品種的茶葉樣本高光譜圖像數(shù)據(jù)，運(yùn)用低秩自動(dòng)編碼器(Low-rank stacked auto-encoder，LR-SAE)對(duì)原始光譜數(shù)據(jù)進(jìn)行降維后，建立了LR-SAE-SVM 分類模型，準(zhǔn)確率為99.37%。

新鮮度檢測(cè)方面，CAVALLO 等［131］提出了一種對(duì)包裝鮮切生菜分析的方法，利用CNN 網(wǎng)絡(luò)識(shí)別生菜的檢測(cè)區(qū)域與最小失真顏色，并按照從新鮮到腐敗5 個(gè)等級(jí)進(jìn)行了分類。謝忠紅等［71］基于高光譜圖像進(jìn)行菠菜新鮮度檢測(cè)，設(shè)計(jì)了CNN 網(wǎng)絡(luò)，包含有1 個(gè)輸入層、4 個(gè)卷積層和池化層組合、1 個(gè)全連接層、2 個(gè)Dropout 層和1 個(gè)輸出層，融合389、742、1 025 nm 波長(zhǎng)處的圖像檢測(cè)的準(zhǔn)確率大于80%。高震宇等［132］則建立了7 層的CNN 模型，對(duì)鮮茶葉的識(shí)別正確率不低于90%。

在線品質(zhì)分級(jí)方面，基于自適應(yīng)的卷積神經(jīng)網(wǎng)絡(luò)(Adaptive structure convolutional neural networks，ASCNNs)和隨機(jī)權(quán)向量函數(shù)連接網(wǎng)絡(luò)分類器(Random vector functional-link net，RVFL)，李帷韜等［133］建立了青梅圖像由整體到局部有明確品級(jí)特征表征映射關(guān)系的特征空間數(shù)據(jù)結(jié)構(gòu)與分類準(zhǔn)則，針對(duì)1 008 幅青梅圖像的平均識(shí)別率為98.15%。曾窕俊等［134］基于“Bagging”集成學(xué)習(xí)方式訓(xùn)練并優(yōu)化集成卷積神經(jīng)網(wǎng)絡(luò)模型(Ensemble-convolution neural network，E-CNN)，對(duì)視頻圖像中紅棗缺陷檢測(cè)的正確率和召回率分別達(dá)到98.48%和98.39%，該結(jié)果優(yōu)于傳統(tǒng)顏色特征分類模型(86.62%)和紋理特征分類模型(86.40%)。

果園果實(shí)的在體識(shí)別是當(dāng)前農(nóng)產(chǎn)品檢測(cè)研究的熱點(diǎn)，通過對(duì)遮擋、光照等自然場(chǎng)景下果實(shí)圖像的學(xué)習(xí)，F(xiàn)aster R-CNN、YOLO 等模型可以輸出高精度的識(shí)別與定位檢測(cè)結(jié)果，為了提高檢測(cè)模型在未來果園采摘機(jī)械中應(yīng)用的性能，大量的研究對(duì)Faster RCNN、YOLO 等架構(gòu)中的CNN、VGG、AlexNet 等識(shí)別網(wǎng)絡(luò)環(huán)節(jié)進(jìn)行改進(jìn)，并優(yōu)化模型的收斂速度以提高檢測(cè)精度與速度。而在農(nóng)產(chǎn)品分級(jí)檢測(cè)中，仍然以提高DL 圖像特征提取和分類精度為主。集成DL檢測(cè)模型進(jìn)行在體果實(shí)識(shí)別與農(nóng)產(chǎn)品分級(jí)檢測(cè)的可行性已經(jīng)得到證實(shí)，DL 檢測(cè)模型與機(jī)械控制系統(tǒng)的結(jié)合將會(huì)極大的提升農(nóng)業(yè)生產(chǎn)的智能化水平。

3.5 動(dòng)物識(shí)別與姿態(tài)檢測(cè)

在動(dòng)物養(yǎng)殖環(huán)節(jié)，何東健團(tuán)隊(duì)［135-136］基于CNN模型開展了奶牛發(fā)情行為和個(gè)體身份的識(shí)別研究。在動(dòng)物目標(biāo)分割與識(shí)別方面，鄧寒冰等［137］通過優(yōu)化FCN 提升了RGB-D 圖像中肉牛的分割精度。對(duì)低對(duì)比度和模糊的水下河蟹圖像，趙德安等［56］的研究結(jié)果表明YOLO v3 對(duì)河蟹的識(shí)別準(zhǔn)確率為96.65%。為了實(shí)現(xiàn)多目標(biāo)生豬的分割，高云等［138］在DCNN 的基礎(chǔ)上建立了Pig-Net 分割豬群粘連豬體，對(duì)獨(dú)立豬體的分辨和定位準(zhǔn)確率為85.4%。劉巖等［139］利用生豬圖像的二值化規(guī)范梯度(BING)訓(xùn)練兩級(jí)線性SVM 生成候選區(qū)，并利用改進(jìn)的CNN模型對(duì)候選區(qū)生豬圖像前景和背景的分類正確率為96%，高于傳統(tǒng)CNN 模型的72.29%，進(jìn)一步對(duì)生豬目標(biāo)跟蹤的成功率平均值達(dá)89.17%。

在姿態(tài)識(shí)別與行為分析中，常以視頻或深度相機(jī)為數(shù)據(jù)源。NOROUZZADEH 等［21］以Snapshot Serengeti 動(dòng)物觀測(cè)數(shù)據(jù)集為基礎(chǔ)，應(yīng)用AlexNet、VGG、GoogleNet、ResNet-152 等10 種網(wǎng)絡(luò)架構(gòu)開展了動(dòng)物識(shí)別與計(jì)數(shù)研究，結(jié)果顯示VGG 模型對(duì)是否存在動(dòng)物鑒定的準(zhǔn)確度達(dá)96%，ResNet-152 則對(duì)動(dòng)物種類、計(jì)數(shù)和姿態(tài)分析的準(zhǔn)確率最高。基于RGBD 相機(jī)采集的圖像，CHAN 等［60］、李丹等［140］分別利用Faster-RCNN 和Mask R-CNN 實(shí)現(xiàn)了泌乳母豬姿勢(shì)和豬只爬行行為的識(shí)別;，PU 等［58］和葉長(zhǎng)文等［141］則分別基于CNN 和Faster-RCNN 網(wǎng)絡(luò)開展了養(yǎng)殖雞群行為跟蹤與肉雞擊暈狀態(tài)的檢測(cè)。

與其它研究領(lǐng)域中目標(biāo)對(duì)象相對(duì)靜止或發(fā)展緩慢不同，養(yǎng)殖環(huán)節(jié)中動(dòng)物的運(yùn)動(dòng)屬性對(duì)動(dòng)物身份識(shí)別與姿態(tài)檢測(cè)提出了挑戰(zhàn)，因此獲取數(shù)據(jù)通常以RGB-D 和運(yùn)動(dòng)視頻圖像為主，研究中基于FCN、DCNN、YOLO 等實(shí)現(xiàn)了個(gè)體的識(shí)別、定位和計(jì)數(shù)。基于DL 提取的圖像特征可建立動(dòng)物姿態(tài)識(shí)別模型，這為下一步開展動(dòng)物行為與健康診斷奠定了基礎(chǔ)。

4 討論與展望

農(nóng)業(yè)信息成像感知與DL 技術(shù)在農(nóng)業(yè)信息檢測(cè)中的最新研究進(jìn)展表明，在植物識(shí)別與檢測(cè)、病蟲害診斷與識(shí)別、遙感區(qū)域分類與監(jiān)測(cè)、果實(shí)在體檢測(cè)與農(nóng)產(chǎn)品分級(jí)、動(dòng)物識(shí)別與姿態(tài)檢測(cè)領(lǐng)域，DL 技術(shù)體現(xiàn)了目標(biāo)特征挖掘的優(yōu)勢(shì)，但是還有如下問題值得繼續(xù)研究。

對(duì)DL 模型的影響因素方面還有待進(jìn)一步深入。當(dāng)前的研究大多采用同一類型的數(shù)據(jù)源展開［142］，還未涉及對(duì)RGB、光譜、深度等多源成像原理與感知屬性的融合分析。智慧農(nóng)業(yè)體系中“星-機(jī)-地”農(nóng)業(yè)信息感知平臺(tái)與技術(shù)應(yīng)用日益成熟，在多平臺(tái)獲取數(shù)據(jù)量與數(shù)據(jù)變異性、數(shù)據(jù)對(duì)特征的表達(dá)形式、訓(xùn)練與驗(yàn)證樣本集的分布、圖像包括的背景與拍攝圖像的條件、圖像的分割預(yù)處理等存在復(fù)雜性，也對(duì)DL 網(wǎng)絡(luò)信息提取、分析和檢測(cè)結(jié)果的影響與優(yōu)化提出了挑戰(zhàn)。

基于DL 的農(nóng)業(yè)對(duì)象特征挖掘與理解方面有待進(jìn)一步明確。隨著任務(wù)目標(biāo)從簡(jiǎn)單分類到精確檢測(cè)的要求不斷提高，一方面構(gòu)建的DL 網(wǎng)絡(luò)層級(jí)不斷加深，另一方面各類網(wǎng)絡(luò)與架構(gòu)常常混合使用。盡管大量研究表明深層網(wǎng)絡(luò)對(duì)高階特征的學(xué)習(xí)模式比傳統(tǒng)有限特征提取具有優(yōu)勢(shì)，以CNN 為代表被廣泛應(yīng)用于圖像特征的提取，各類網(wǎng)絡(luò)架構(gòu)在農(nóng)業(yè)對(duì)象識(shí)別中發(fā)揮了重要作用，但是還應(yīng)該加強(qiáng)中間特征的可視化并提升模型的解釋性，以增強(qiáng)對(duì)農(nóng)業(yè)對(duì)象生長(zhǎng)發(fā)育等動(dòng)態(tài)變化過程的挖掘與理解，為建立農(nóng)業(yè)管理決策提供支持。

基于DL 的農(nóng)業(yè)檢測(cè)的應(yīng)用模型與實(shí)踐有待進(jìn)一步加強(qiáng)。現(xiàn)有的DL 開發(fā)模式和硬件條件支持下，已經(jīng)形成了各類農(nóng)業(yè)對(duì)象識(shí)別與檢測(cè)方法，為在線檢測(cè)等環(huán)節(jié)奠定了基礎(chǔ)，但是基于DL 識(shí)別模型的智能控制裝備還處于起步階段。構(gòu)建針對(duì)具體農(nóng)業(yè)檢測(cè)目標(biāo)的“端到端”的網(wǎng)絡(luò)模型，將DL 模型輸出與控制環(huán)節(jié)相結(jié)合，為農(nóng)業(yè)水肥藥等管理決策、變量作業(yè)實(shí)施以及反饋評(píng)價(jià)等環(huán)節(jié)提供支持，是加速智能作業(yè)體系構(gòu)建的方向。