基于深度學習的棉花發(fā)育期自動觀測

胡錦濤 王苗苗 李濤 吳東麗 田東哲

摘要 精準農(nóng)業(yè)是當今世界農(nóng)業(yè)發(fā)展的新趨勢，實現(xiàn)精準農(nóng)業(yè)的關(guān)鍵基礎(chǔ)是能夠?qū)崟r準確地提取作物的生長信息以及確定生長環(huán)境狀態(tài)。現(xiàn)階段國內(nèi)外利用圖像處理技術(shù)對作物生長信息的檢測，主要集中在病蟲害識別、雜草識別等方面，對作物生長期進行自動識別的相關(guān)技術(shù)鮮有報道。以棉花田間數(shù)字圖像為研究對象，結(jié)合深度學習的方法，對棉花關(guān)鍵發(fā)育期的自動觀測方法進行研究。結(jié)果表明，相較于傳統(tǒng)特征提取方法，提出了卷積神經(jīng)網(wǎng)絡(luò)CNN-CGS模型對棉花圖像進行特征提取，并進一步結(jié)合遷移學習方法訓練網(wǎng)絡(luò)，獲得了更加準確的棉花生長期識別結(jié)果，同時也為農(nóng)作物發(fā)育期和長勢識別邁向自動化發(fā)展提供技術(shù)支持，為及時掌握棉花生長狀況、開展農(nóng)事活動和現(xiàn)代化農(nóng)田管理提供新的思路。

關(guān)鍵詞 作物生長觀測;圖像識別;深度學習;卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號 TP391文獻標識碼 A

文章編號 0517-6611（2019）11-0237-04

doi：10.3969/j.issn.0517-6611.2019.11.068

開放科學（資源服務(wù)）標識碼（OSID）：

Abstract Precision agriculture is a trend of current agricultural development， the key to achieve that is the ability to accurately extract crop growth information and determine the state of the growing environment in real time.? Most detection methods based on image processing technology for crop growth information mainly focuses on the identification of pests， diseases and weeds. There are few reports on the automatic detection of crop growth period.? In this research， the digital image of cotton field was taken as the research object， and the automatic observation method of key development period of cotton was studied through deep learning method. Compared with the traditional feature extraction methods， we adopted the convolutional neural network（CNN） to extract the features of cotton images， and further combined the transfer learning method to train CNN， which obtained more accurate cotton growth period identification results. Meanwhile， it also provided technical support for the automatic identification of crop growth stages and states. On the other hand， a new idea was presented for realtime acquisition of cotton growth status， development of agricultural activities and modern farmland management， and scientific assessment of the impact of meteorological factors on cotton.

Key words Crop observation;Image recognition;Deep learning;Convolutional neural network

作者簡介 胡錦濤（1987—），男，河南鄭州人，工程師，碩士，從事硬件設(shè)計和算法研究。*通信作者，工程師，碩士，從事圖像處理研究。

收稿日期 2019-01-10

作物觀測是農(nóng)業(yè)氣象觀測的重要組成部分。通過作物的觀測，鑒定農(nóng)業(yè)氣象條件對作物生長發(fā)育和產(chǎn)量形成及品質(zhì)的影響，為農(nóng)業(yè)氣象情報、預(yù)報，以及作物的氣候評價等提供依據(jù)，為高產(chǎn)、優(yōu)質(zhì)、高效農(nóng)業(yè)服務(wù)。棉花作為重要的經(jīng)濟作物之一，對其發(fā)育期進行自動觀測技術(shù)研究具有重要意義。現(xiàn)階段棉花發(fā)育期信息的獲取主要依靠人工觀測，觀測人員按照農(nóng)業(yè)氣象觀測規(guī)范中的定義和描述，對田間作物進行實地的目測或簡單的器測。這種方式耗時、費力，主觀性強且無法進行連續(xù)觀測，同時還容易破環(huán)作物及其生長環(huán)境。因此，亟需一種自動連續(xù)、非破壞性的記錄方法來對棉花的發(fā)育期進行觀測。結(jié)合計算機視覺技術(shù)在田間架構(gòu)成像設(shè)備，成為了解決上述問題的有效途徑之一。由于其具有成本低、直觀、非接觸式等優(yōu)點，已被逐漸應(yīng)用于農(nóng)業(yè)自動化的各個領(lǐng)域，例如病蟲害檢測識別、田間雜草識別、作物等級劃分等。研究人員通過提取無土栽培番茄葉片圖像的顏色特征，以及圖像中不易被肉眼發(fā)現(xiàn)的顏色變化來判斷作物缺乏的營養(yǎng)元素類型，及時采取相應(yīng)措施減少生產(chǎn)損失[1-2]。吳茜[2]、李少昆等[3]研究了麥田圖像色調(diào)值與中后期小麥長勢的相關(guān)性，將圖像處理技術(shù)與人工神經(jīng)網(wǎng)絡(luò)技術(shù)相結(jié)合應(yīng)用到小麥群體綠色面積和綠色葉面積特征的圖像識別中，對小麥苗情進行自動化快速診斷，該方法也可用于稻谷等其他作物群體特征及病斑、株型、外觀品質(zhì)等類似目標的識別研究。毛文華等[4]針對苗期田間植物的位置特征，提出了基于計算機視覺技術(shù)的算法DBW，對苗期田間雜草進行分割和識別。盡管計算機視覺在上述領(lǐng)域中已經(jīng)取得較大的研究進展，并成功投入實際的生產(chǎn)過程中，但由于在棉花田間拍攝的靜態(tài)圖像只能反映棉花田間的部分信息，導致其并不能完整地反映農(nóng)業(yè)氣象觀測規(guī)范中對每個發(fā)育期所定義的特點。其次，田間圖像受光照和背景影響較大。不同光照強度下的圖像特征也不同，且背景中的土壤、雜草、薄膜等容易對目標檢測造成很大的干擾，因此自然環(huán)境下的棉花圖像特征提取對算法的魯棒性和抗干擾性要求較高，導致了利用計算機視覺技術(shù)以及田間架構(gòu)成像設(shè)備對棉花發(fā)育期觀測的研究無法順利開展，尤其利用圖像處理技術(shù)檢測識別棉花發(fā)育期的相關(guān)工作在現(xiàn)有文獻中尚鮮見報道。

深度學習作為機器學習領(lǐng)域中的熱門方向，近年來在計算機視覺、語音識別等多類應(yīng)用中均取得了突破性的進展。其中，深度學習架構(gòu)由多層非線性運算單元組成，每個較低層的輸出作為更高層的輸入，可以從大量輸入數(shù)據(jù)中學習有效的特征表示，學習到的高階表示包含輸入數(shù)據(jù)的結(jié)構(gòu)信息，展現(xiàn)出了強大的從少數(shù)樣本集中學習數(shù)據(jù)集本質(zhì)特征的能力，近年來已逐漸應(yīng)用到了計算機視覺領(lǐng)域的方方面面[5-14]，并且展現(xiàn)出了很強的優(yōu)越性。

深度學習展現(xiàn)出的強大的特征提取能力，為該研究的基于計算機視覺的棉花發(fā)育期自動觀測方法提出了新思路。鑒于此，筆者以棉花田間數(shù)字圖像為研究對象，通過構(gòu)建的棉花數(shù)據(jù)集對預(yù)先訓練的卷積神經(jīng)網(wǎng)絡(luò)模型進行微調(diào)，從而實現(xiàn)利用卷積神經(jīng)網(wǎng)絡(luò)對棉花關(guān)鍵發(fā)育期的自動觀測，該方法不僅解決了現(xiàn)有棉花圖像數(shù)據(jù)不充足的問題，還大大提高了網(wǎng)絡(luò)模型的收斂速度。相較于傳統(tǒng)的圖像識別方法，該研究提出的基于深度學習的棉花發(fā)育期自動觀測方法顯著提高了棉花發(fā)育期的識別精度。

1 數(shù)據(jù)與方法

1.1 數(shù)據(jù)來源

訓練集和測試集均來源于新疆烏蘭烏蘇實驗站的作物生長自動監(jiān)測系統(tǒng)。通過安裝在農(nóng)業(yè)站上的攝像機獲得特定區(qū)域的棉花特寫鏡頭，設(shè)定每日9：00、10：00、11：00、12：00、13：00、14：00、15：00、16：00共8個時間點進行自動拍攝棉花生長圖像，圖像分辨率3 648×2 736，彩色，JPG格式。在2013—2018年棉花的生長期內(nèi)，數(shù)據(jù)庫中累積了數(shù)萬張圖像，涵蓋了棉花的播種期、出苗期、三真葉期、五真葉期、現(xiàn)蕾期、開花期、裂鈴期、吐絮期和停止生長期9種發(fā)育期以及不同場景的棉花圖像，確保了該數(shù)據(jù)訓練的網(wǎng)絡(luò)能夠具有很好的魯棒性。同時為了增加訓練數(shù)據(jù)，使訓練出的網(wǎng)絡(luò)具有更好的抗旋轉(zhuǎn)、平移和縮放不變性，訓練前對訓練數(shù)據(jù)集進行數(shù)據(jù)增強操作，包括隨機旋轉(zhuǎn)圖像，范圍±30°;左右鏡像翻轉(zhuǎn)圖像;水平、垂直平移圖像，范圍±30像素。試驗中從數(shù)據(jù)庫選取了8 000張棉花圖像構(gòu)建訓練數(shù)據(jù)集，1 025張棉花圖像構(gòu)建測試數(shù)據(jù)集。其中訓練集和測試集均涵蓋了棉花的9種發(fā)育期，數(shù)據(jù)集樣例如圖1所示。同時還進一步將每張圖像分割成大小為的圖像塊，這樣在網(wǎng)絡(luò)的訓練過程中，卷積層可以對每個圖像塊進行特征提取，不僅保證了圖像數(shù)據(jù)的充足性，還簡化了網(wǎng)絡(luò)的計算量。

47卷11期 胡錦濤等 基于深度學習的棉花發(fā)育期自動觀測

1.2 棉花發(fā)育期的識別

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）作為第一個真正成功地采用多層次結(jié)構(gòu)網(wǎng)絡(luò)的深度學習方法，具有結(jié)構(gòu)簡單、訓練參數(shù)少和適應(yīng)性強等特點。實現(xiàn)棉花發(fā)育期觀測的卷積神經(jīng)網(wǎng)絡(luò)CNN-CGS模型如圖2所示。該模型包含1個輸入層、5個卷積層、3個池化層、2個全連接層和1個Softmax分類層。具體每一層的規(guī)格大小設(shè)定如表1所示，其中輸入層可以直接對原始輸入數(shù)據(jù)進行處理，輸入的就是圖像的像素值，輸入圖像大小為227×227×3;卷積層作用就是通過卷積核對輸入圖像進行卷積操作實現(xiàn)對輸入信號特定模式的觀測，卷積核的數(shù)量越多，相應(yīng)可提取輸入數(shù)據(jù)的特征信息也更多，所以卷積層也叫做特征提取層。池化層的輸入一般來源于上一個卷積層，是一個降采樣的操作，主要作用是使網(wǎng)絡(luò)具有很強的魯棒性，并且減少了參數(shù)的數(shù)量，加快了網(wǎng)絡(luò)的收斂速度，同時防止了過擬合現(xiàn)象的發(fā)生;全連接層實際上就是多層感知機的隱含層部分。通常情況下后面層的神經(jīng)節(jié)點都和前一層的每一個神經(jīng)節(jié)點連接，同一層的神經(jīng)元節(jié)點之間是沒有連接的。每一層的神經(jīng)元節(jié)點分別通過連接線上的權(quán)值進行前向傳播，加權(quán)組合得到下一層神經(jīng)元節(jié)點的輸入。最后是softmax分類層進行棉花發(fā)育期分類，輸出最終的發(fā)育期識別結(jié)果。

由于深度卷積神經(jīng)網(wǎng)絡(luò)參數(shù)多、特征數(shù)量大，因此需要大量的圖像數(shù)據(jù)進行訓練。一般中型網(wǎng)絡(luò)的訓練需要的數(shù)據(jù)量就已達到的百萬級，數(shù)據(jù)量不足往往會導致網(wǎng)絡(luò)過擬合。但該研究構(gòu)建的棉花數(shù)據(jù)集圖像數(shù)量顯然無法滿足訓練上述卷積神經(jīng)網(wǎng)絡(luò)模型的要求，因此該研究采用深度學習中的遷移學習方法進行網(wǎng)絡(luò)模型的訓練和微調(diào)。ImageNet數(shù)據(jù)集[20]是目前深度學習圖像領(lǐng)域應(yīng)用中被使用最多的數(shù)據(jù)集，關(guān)于圖像分類、定位、檢測等研究工作大多基于此數(shù)據(jù)集展開，該數(shù)據(jù)集有1 400多萬幅圖片，涵蓋2萬多個類別，其中有超過百萬的圖片有明確的類別標注和圖像中物體位置的標注。筆者選用該數(shù)據(jù)集初步預(yù)訓練CNN-CGS，待網(wǎng)絡(luò)收斂后，保存初步預(yù)訓練的模型，再將構(gòu)建的棉花數(shù)據(jù)集對預(yù)訓練的CNN-CGS進行二次訓練微調(diào)。但由于該研究所要識別的棉花圖像數(shù)據(jù)量少，且同ImageNet數(shù)據(jù)集中的對象類別差異較大，因此根據(jù)新的數(shù)據(jù)集二次訓練并定制更高層是很重要的，同時由于預(yù)訓練CNN-CGS模型的初始1～2層主要學習最基本的圖像特征（例如顏色、邊緣等），所以在微調(diào)過程中將其濾波器參數(shù)固定不變，其余卷積層的濾波器參數(shù)值通過新的網(wǎng)絡(luò)訓練進行更新，試驗中設(shè)計的具體的微調(diào)過程如圖3所示。在用棉花數(shù)據(jù)集對CNN-CGS模型進行網(wǎng)絡(luò)微調(diào)過程中，對CNN-CGS模型先后設(shè)計了3次迭代訓練。第1次網(wǎng)絡(luò)迭代訓練中，固定網(wǎng)絡(luò)的1～4層的權(quán)重參數(shù)，使用棉花數(shù)據(jù)集訓練更新第5層的濾波器權(quán)重參數(shù);第2次網(wǎng)絡(luò)訓練中，將第1次迭代訓練得到的CNN-CGS模型作為新的預(yù)訓練模型，然后固定網(wǎng)絡(luò)的1～3層濾波器參數(shù)，再次使用棉花數(shù)據(jù)集對4～5層濾波器進行參數(shù)更新;按同樣的方法，在第3次網(wǎng)絡(luò)訓練中，先使用第2次迭代訓練得到的卷積層權(quán)重參數(shù)對CNN-CGS模型進行初始化，然后固定網(wǎng)絡(luò)的1～2層參數(shù)，訓練更新3～5層濾波器參數(shù)。這樣經(jīng)過3次迭代訓練CNN-CGS模型在棉花圖像數(shù)據(jù)不充足的情況下，能夠?qū)崿F(xiàn)很好的收斂，并將其用于之后的棉花發(fā)育期識別精度的測試。這種微調(diào)方法不僅解決了現(xiàn)有棉花數(shù)據(jù)集不充足的問題，還大大提高了網(wǎng)絡(luò)收斂速度。特別在網(wǎng)絡(luò)訓練過程中，除最后一層卷積層學習率初始化設(shè)為0001外，其他所有卷積層的學習率均初始化為0.010。當驗證誤差率在當前學習率下不再提高時，就將學習率除以10。具體棉花發(fā)育期識別訓練過程中，CNN-CGS模型學習率下降了2次。

1.3 仿真實驗平臺

仿真平臺為64位window7操作系統(tǒng)，硬件環(huán)境為內(nèi)存16 G，Intel（R）Xeon（R）E5-1607，GPU NVIDIA Quadro K600。選用的深度學習開源架構(gòu)為MatConvNet，并通過MatConvNet[21]調(diào)用GPU實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的并行運算。

2 結(jié)果與分析

為了評估基于卷積神經(jīng)網(wǎng)絡(luò)方法在棉花發(fā)育期識別方面的性能和效率，在測試過程中加入了基于手動特征提取的典型機器學習方法與該研究提出的基于卷積神經(jīng)網(wǎng)絡(luò)的方法進行比較。其中基于手動特征提取的機器學習方法主要通過提取基于GLCM特征和HOG特征的紋理特征，并將其組合成特征集輸入到由樸素貝葉斯分類器（Nave-Bayes）組成的機器學習算法中[22]，從而實現(xiàn)棉花發(fā)育期的識別。具體的測試數(shù)據(jù)集的發(fā)育期分類結(jié)果如表2所示，其中正確分類895，錯誤分類130個，采用卷積神經(jīng)網(wǎng)絡(luò)的方法在棉花發(fā)育期識別結(jié)果精度達到了87.32%、召回率達到86.14%、F1分數(shù)達到了86.58%、準確度高達86.54%，這些都明顯高于基于手動特征提取的方法，證明了深度學習方法在棉花發(fā)育期識別方面的有效性。由于卷積神經(jīng)網(wǎng)絡(luò)最初是為物體識別而設(shè)計的，試驗結(jié)果顯示卷積神經(jīng)網(wǎng)絡(luò)在棉花的識別上也獲得了很高的識別精度，證明了基于卷積神經(jīng)網(wǎng)絡(luò)的方法在捕獲圖像的紋理特征方面的優(yōu)越性。同時由于結(jié)合了GPU并行計算方法，基于卷積神經(jīng)網(wǎng)絡(luò)的方法在識別速度上也遠遠超過基于手動特征提取方法。試驗結(jié)果還表明基于卷積神經(jīng)網(wǎng)絡(luò)的方法和基于手動特征提取的方法在棉花的播種期和出苗期識別精度相對較低，通過研究發(fā)現(xiàn)在棉花的早期生長階段，圖像中大部分是土壤信息，使得這兩個發(fā)育期圖像的土壤特征都是相似的，加大了棉花發(fā)育期的識別難度。由于棉花在之后的發(fā)育期具有非常獨特的特征屬性，因此CNN-CGS模型對于后面的棉花發(fā)育期識別精度較高。

使用卷積神經(jīng)網(wǎng)絡(luò)的方法識別棉花的發(fā)育期有以下優(yōu)勢：①基于深度學習的棉花發(fā)育期識別方法直接聯(lián)合優(yōu)化了所有的卷積層，具有結(jié)構(gòu)輕量、各組件優(yōu)化同步識別速度快等優(yōu)點;②基于深度學習的方法以新的視角深度挖掘與棉花發(fā)育期之間的內(nèi)在聯(lián)系，具有較高的棉花發(fā)育期識別精度;③基于深度學習的方法可以對單一圖像進行識別，不要求相鄰圖像數(shù)據(jù)提供額外的發(fā)育期信息，且可以對不同場景的棉花圖像進行識別。同時該研究僅使用簡單的CNN-CGS模型進行了棉花發(fā)育期的識別，進一步引入更深層、更復(fù)雜的模型將會得到更加高的識別精度，這也是該研究基于深度學習方法棉花發(fā)育期識別未來的研究方向。

基于手動特征提取方法Extraction method based on manual feature81.74 80.7280.6680.89

3 小結(jié)

針對棉花發(fā)育期的自動觀測問題，該研究成功地將深度學習方法應(yīng)用于棉花的發(fā)育期識別，實現(xiàn)了9種棉花發(fā)育期的自動觀測。首先構(gòu)建了棉花圖像數(shù)據(jù)集，并提出了用于棉花發(fā)育期觀測的卷積神經(jīng)網(wǎng)絡(luò)CNN-CGS模型，根據(jù)棉花圖像的特點對預(yù)訓練的CNN-CGS模型的部分卷積層設(shè)計了二次訓練微調(diào)過程，不僅解決了棉花圖像數(shù)據(jù)不充足問題，還簡化了網(wǎng)絡(luò)訓練，提高了網(wǎng)絡(luò)的魯棒性，防止了網(wǎng)絡(luò)的過擬合。為了評估基于深度學習方法在棉花發(fā)育期識別方面的性能和效率，該研究使用了基于手動特征提取的機器學習方法與提出的深度學習方法進行對比。試驗結(jié)果表明，基于深度學習的方法在棉花發(fā)育期的識別方面獲得了更加準確的識別結(jié)果，證明了深度學習方法在棉花發(fā)育期識別的有效性和優(yōu)越性。未來的工作還將包括建立更深層的深度學習架構(gòu)，特別是訓練用于不同農(nóng)作物發(fā)育期識別的深度網(wǎng)絡(luò)模型。

參考文獻

[1] 徐貴力，毛罕平，李萍萍.缺素葉片彩色圖像顏色特征提取的研究[J].農(nóng)業(yè)工程學報，2002，18（4）：150-154.

[2] 吳茜.基于圖像處理技術(shù)的棉花發(fā)育期自動觀測研究[D].武漢：華中科技大學，2013.

[3] 李少昆，索興梅，白中英，等.基于BP神經(jīng)網(wǎng)絡(luò)的小麥群體圖像特征識別[J].中國農(nóng)業(yè)科學，2002，35（6）：616-620.

[4] 毛文華，王一鳴，張小超，等.基于機器視覺的苗期雜草實時分割算法[J].農(nóng)業(yè)機械學報，2005，36（1）：83-86.

[5] KRIZHEVSKY A，SUTSKEVER I，HINTON G E.Imagenet classification with deep convolutional neural networks[J].Advances in neural information processing systems，2012，25（2）：1097-1105.

[6] KIM J，LEE J K，LEE K M.Deeplyrecursive convolutional network for image superresolution[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.Las Vegas，NV，SUA：IEEE，2016：1637-1645.

[7] SZEGEDY C，LIU W，JIA Y Q，et al.Going deeper with convolutions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.Boston，MA，USA：IEEE，2015：1-9.

[8] KARPATHY A，TODERICI G，SHETTY S，et al.Largescale video classification with convolutional neural networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.Columbus，Ohio，USA：Curran Associates，Inc.，2014：1725-1732.

[9] SZEGEDY C，TOSHEV A，ERHAN D.Deep neural networks for object detection[C]//BURAES C J C，BOTTOU L，WELLING M，et al.Advances in neural information processing systems.Lake Tahoe，Nevada，USA：TwentySeventh Annual Conference on Neural Information Processing System，2013：2553-2561.

[10] ALEXANDRE L A.3D object recognition using convolutional neural networks with transfer learning between input channels[C]//MENEGATTI E，MICHAEL N，BERNS K，et al.Intelligent autonomous systems 13.Switzerland：Springer International Publishing，2016：889-898.

[11] CHEN L C，BARRON J T，PAPANDREOU G，et al.Semantic image segmentation with taskspecific edge detection using cnns and a discriminatively trained domain transform[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.Las Vegas，NV，SUA：IEEE，2016：4545-4554.

[12] SCHULZ H，BEHNKE S.Learning objectclass segmentation with convolutional neural networks[C]//Proceedings of European symposium on artificial neural networks，computational intelligence and machine learning.Bruges：ESANN，2012.

[13] LONG J，SHELHAMER E，DARRELL T.Fully convolutional networks for semantic segmentation[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.Boston，MA，USA：IEEE，2015：3431-3440.

[14] GIRSHICK R，DONAHUE J，DARRELL T，et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.Columbus，Ohio，USA：Curran Associates，Inc.，2014：580-587.

安徽農(nóng)業(yè)科學，J.Anhui Agric.Sci. 2019，47（11）：241-243