基于卷積神經(jīng)網(wǎng)絡的農(nóng)作物種類自動識別算法研究

程 帥， 李艷玲， 司海平， 孫昌霞

（河南農(nóng)業(yè)大學信息與管理科學學院，鄭州 450002）

農(nóng)業(yè)生產(chǎn)是人類社會的重要生產(chǎn)活動之一，與當今社會發(fā)展及穩(wěn)定有著密切的聯(lián)系. 隨著互聯(lián)網(wǎng)技術的不斷發(fā)展，農(nóng)業(yè)生產(chǎn)已由傳統(tǒng)模式逐漸發(fā)展為精準農(nóng)業(yè)作業(yè)［1-2］. 隨著“互聯(lián)網(wǎng)+”農(nóng)業(yè)項目的跟進，農(nóng)業(yè)數(shù)據(jù)信息采集工作也越來越便利［3］. 由于所拍攝的作物圖像會受到拍攝方法和拍攝角度的影響，且數(shù)據(jù)采集過程中產(chǎn)生的作物圖像數(shù)量極其龐大，以至于無法人工目視進行有效識別，導致自動化農(nóng)業(yè)作業(yè)較困難. 現(xiàn)如今，計算機技術不斷發(fā)展，如何快速、準確識別圖像，已逐漸成為該研究領域的一個熱點問題. 參閱相關農(nóng)業(yè)領域文獻發(fā)現(xiàn)，有相關學者運用人工特征提取等方法研究作物種類識別問題，雖然提取信息較為全面，但需要大量的勞動力和工作時間，且識別效率有待提高. 現(xiàn)階段，機器學習、圖像處理等技術發(fā)展迅速，尤其在農(nóng)業(yè)領域，運用圖像處理技術對作物圖像進行識別已逐步得到了應用. 其中，卷積神經(jīng)網(wǎng)絡是由人工神經(jīng)網(wǎng)絡在圖像識別領域發(fā)展而來的深度學習方法，對輸入的圖像可以自主學習相關特征，是解決本研究實現(xiàn)作物種類圖像自動識別一種有效方法. 運用卷積神經(jīng)網(wǎng)絡進行作物圖像識別不僅可以提高圖像的識別率、降低算法的復雜度，且實用性較好［4］.

隨著基于圖像表層視覺特征的檢索技術發(fā)展，卷積神經(jīng)網(wǎng)絡算法在作物識別研究中也逐漸得到了應用，并發(fā)展成為一種有效識別方法［5］. 姜濤等［6］基于MODISQ1數(shù)據(jù)，選擇了識別特征，設計了一種抗時間序列數(shù)據(jù)噪聲的冬小麥識別方法. 結果表明，冬小麥總體識別率為93%. 閔文芳等［7］通過像素分割和人工視覺觀察獲得了作物樣本并提取了顏色和紋理特征. 試驗結果表明，四種作物的平均識別率為86%. 袁培森等［8］采集了大量菊花圖像樣本，在此數(shù)據(jù)集上進行試驗，并與現(xiàn)有的典型系統(tǒng)對比，系統(tǒng)平均識別率可以達到0.95 左右，部分達到0.98，系統(tǒng)識別率得到明顯提升. 高震宇等［9］設計了一套鮮茶葉智能分選系統(tǒng)，搭建7層結構的卷積神經(jīng)網(wǎng)絡識別模型，識別正確率達到0.90. 魏鵬飛等［10］基于多時相GF-1/WFV 衛(wèi)星遙感影像數(shù)據(jù)，構建決策樹分層分類模型，識別玉米、水稻等四種主要作物種植分布. 結果表明，總體識別率為90.9%. Girshick 等［11］基于VGGNet，優(yōu)化網(wǎng)絡結構及輸入圖像維度并結合數(shù)據(jù)增廣技術設計分類網(wǎng)絡，番茄圖像的特征提取采用卷積方法［12］. Sa 等［13］基于卷積神經(jīng)網(wǎng)絡建立了深層網(wǎng)絡水果識別模型，以識別不同的水果圖像. Dyrmann 等［14］提出基于深度卷積神經(jīng)網(wǎng)絡的植物種類算法，識別不同光照、分辨率和土壤類型雜草及作物圖像，識別率為86.2%. Li 等［15］基于灰度共生矩陣和Gabor（濾波器）提取紋理信息，建立光譜紋理聯(lián)合特征集. 網(wǎng)絡訓練中加入集成學習策略，對經(jīng)典支持向量機和卷積反向傳播網(wǎng)絡分類器進行改進. Sa 等［16］使用微型飛機收集雜草多光譜圖像，并使用編碼器-解碼器級聯(lián)卷積神經(jīng)網(wǎng)絡識別雜草，識別效果更好.

研究發(fā)現(xiàn)，上述模型方法在作物種類圖像的自動識別準確率上已經(jīng)取得了不錯的效果，但仍然存在著一定的提升空間，本文以Vgg16模型［17-18］、ResNet50模型［19-21］和DenseNet121［22-23］等三種模型，分別對所采集的農(nóng)作物圖像進行訓練和測試，以此來實現(xiàn)五類作物的自動識別. 其中本文對DenseNet121模型選取了不同的學習率和迭代步數(shù)分別進行試驗，對其進行參數(shù)優(yōu)化，發(fā)現(xiàn)當學習率為0.01和迭代步數(shù)為100時，模型達到最優(yōu)效果，此時的時間復雜度最低，而識別準確率最高. 最后本文以三種模型為基礎，設計并實現(xiàn)了基于端到端卷積神經(jīng)網(wǎng)絡的作物圖像識別和分類系統(tǒng)，并在網(wǎng)上下載圖片進行實驗. 該系統(tǒng)實現(xiàn)了對五類農(nóng)作物的自動識別，并給出該作物對應的作物種類的識別率.

1 模型原理與方法

1.1 卷積網(wǎng)絡基本原理

卷積網(wǎng)絡（convolutional neural network，CNN）是一種局部連接、權值共享的前饋式多層神經(jīng)網(wǎng)絡，是為識別二維形狀而特殊設計的一種多層感知器，具有對平移、比例縮放、傾斜或其他形式的變形不變性的特點.典型的CNN網(wǎng)絡采用BP算法通過最小化訓練結果和真實值之間的代價函數(shù)，如公式（1）所示.

式中，| x |表示訓練集大小，xi和yi分別表示第i個訓練樣本和其對應的類標號.

卷積神經(jīng)網(wǎng)絡的基本架構可分為4層：第1層為Input輸入層，第2層是Conv卷積層，第3層是Full全連接層，第4層是Output輸出層. CNN通過用已知模式訓練卷積網(wǎng)絡，是一種從輸入到輸出的非線性關系映射，它有效地在輸入與輸出之間的建立非線性映射關系. CNN 因具有位移、畸變魯棒性和并行性等而受到廣泛關注.

1）輸入層（input layer）：卷積神經(jīng)網(wǎng)絡的輸入層可以直接輸入原始數(shù)據(jù)，當輸入為圖像時，輸入數(shù)據(jù)為圖像的像素值.

2）卷積層（convolutional layer）：卷積神經(jīng)網(wǎng)絡的卷積層也叫作特征提取層，包括2 個部分，第一部分是真正的卷積層，用于提取輸入數(shù)據(jù)的特征，每個不同的卷積核提取的特征都不同，卷積層的卷積核數(shù)量越多，提取的特征就越多；第二部分為pooling下采樣層，該層在保證有效信息的基礎上減少數(shù)據(jù)處理量，提升訓練速度. 卷積層數(shù)越多，模型提取特征的能力更強.

3）全連接層（fully connected layer）：可以包含多個全連接層，實際上就是普通神經(jīng)網(wǎng)絡層的隱藏層部分，全連接層的每個神經(jīng)節(jié)點都和前一層的每個神經(jīng)節(jié)點連接，同一層的神經(jīng)節(jié)點沒有連接，每一層的神經(jīng)節(jié)點通過連接線上的權值進行前向傳播加權和計算得到下一層神經(jīng)節(jié)點的輸入.

4）輸出層（output layer）：輸出層的節(jié)點數(shù)目是根據(jù)具體任務類設定的. 例如文中使用5類農(nóng)作物圖像數(shù)據(jù)集進行圖像識別分類，則輸出層就是一個分類器，其節(jié)點數(shù)目等于農(nóng)作物種類數(shù)目.

1.2 模型介紹

DenseNet121 模型它的基本思路與ResNet 一致，但是它建立的是前面所有層與后面層的密集連接（dense connection），它的名稱也是由此而來. DenseNet121 的另一大特色是通過特征在channel 上的連接來實現(xiàn)特征重用（feature reuse）. 這些特點讓DenseNet121在參數(shù)和計算成本更少的情形下實現(xiàn)比ResNet50更優(yōu)的性能.

1.3 數(shù)據(jù)采集

作物圖像采集自河南省民權縣林場以及民權縣老顏集鄉(xiāng)扶貧基地，研究對象為林場和扶貧基地種植的蠶豆、甜瓜、番薯苗、蔥苗和小麥5類作物圖像，圖像通過高像素手機拍攝采集. 共采集15 000張，每類3000張，用于網(wǎng)絡的訓練和測試. 為了降低訓練樣本的多樣性不足導致的過擬合的概率，圖像采集過程中采取了一些措施，對農(nóng)作物進行上午采集和下午采集，順光采集和背光采集，晴天采集和陰天采集，以多個角度進行成像，以此增加樣本的多樣性. 采集數(shù)據(jù)如圖1所示.

圖1 采集圖像示例Fig.1 Example of captured image

1.4 數(shù)據(jù)預處理

在圖像預處理方面，本文采用了一系列隨機變換的方法來增加數(shù)據(jù)集的大小. 預處理方法包括：隨機剪裁、隨機反轉(zhuǎn)、隨機亮度變換、隨機對比度變換、圖像的白化、均值與方差的均衡，前4種是為了增加訓練數(shù)據(jù)集數(shù)量，圖像的白化是為了降低圖像明暗、光照差異引起的影響. 圖像預處理的結果示例如圖2所示，預處理后圖像大小為224×224像素.

由于電腦內(nèi)存容量較小，在ResNet50模型中輸入224×224圖像，無法完成訓練，只能將圖像處理至32×32的圖像作為輸入圖像，預處理后如圖3所示.

圖2 農(nóng)作物圖像預處理示例（Vgg16和DenseNet121）Fig.2 Example of crop image preprocessing

圖3 32×32像素預處理示例Fig.3 32×32 pixel preprocessing example

1.5 網(wǎng)絡訓練方法

采用隨機梯度下降發(fā)對網(wǎng)絡進行訓練，每一批樣本的數(shù)量為64，權重的初始化影響網(wǎng)絡的收斂速度，本文采用均值為0，標準差為0.01的高斯分布為網(wǎng)絡層的權重隨機進行初始化，所有卷積層和全連接層的偏置均初始化為0. 填充方法采用0填充，對網(wǎng)絡中的所有層采用相同的學習速率，初始學習率設置為0.01，訓練過程中，當驗證集的分類精度停止增加的時候，則降低學習率，降低的方式是將學習速率變?yōu)楫斍八俾实?/10，直至通過調(diào)整學習速率不再提高識別率為止.

本實驗以Tesorflow2.0為深度學習框架，在一臺配有4個AMD Athlon855 CPU和機帶RAM8GB內(nèi)存的計算機上開展相關試驗.

2 實驗結果與分析

2.1 模型訓練與校驗

用采集的5類農(nóng)作物15 000張圖像數(shù)據(jù)作為樣本，其中訓練集10 000幅，驗證集2500幅，測試集2500幅，開展相關試驗，根據(jù)網(wǎng)絡模型的識別率和函數(shù)損失來評價各個網(wǎng)絡的性能，結果如圖4～圖6所示.

從圖4可以看出，DenseNet121模型的訓練精度具有一定波動，但整體呈上升趨勢. 在第3步迭代時出現(xiàn)了一定程度的下降，此時模型識別率也達到了最低點0.96. 與之相對應的是模型的訓練函數(shù)損失在第3步迭代時也出現(xiàn)了相對較大的波動，函數(shù)損失接近0.2. 總的來說，DenseNet121模型的訓練和校驗精度存在一定的波動，模型的訓練和校驗函數(shù)損失也與之相匹配，模型的訓練精度有著一定的波動，整體都在0.96以上.從圖5可以看出，ResNet50模型的訓練和校驗識別率呈上升趨勢，在第5步迭代時略有回落，最低訓練和校驗識別率分別在0.86和0.82以上，模型的訓練和校驗函數(shù)損失在第10步迭代時出現(xiàn)急速下降，之后趨于平穩(wěn).從圖6 可以看出，Vgg16 模型的訓練和校驗識別率趨于平穩(wěn)，在第10步迭代時出現(xiàn)一定回落，訓練和校驗函數(shù)損失也與之相匹配，在第10步迭代后趨于穩(wěn)定.

圖4 DenseNet121模型訓練和校驗的精度、損失圖Fig.4 The accuracy and loss graph of DenseNet121 model training and verification

圖5 ResNet50模型訓練和校驗的精度、損失圖Fig.5 The accuracy and loss graph of ResNet50 model training and verification

圖6 Vgg16模型訓練和校驗的精度、損失圖Fig.6 The accuracy and loss diagram of Vgg16 model training and verification

不同模型對不同農(nóng)作物種類的識別率如表1 所示. 從表1可以看出，DenseNet121 模型識別率最高，達到了驚人的0.993，ResNet50模型的識別率最低，為0.924，Vgg16模型的識別率也達到了0.982，與DenseNet121模型的識別率相接近.

表1 不同模型識別率Tab.1 Different model recognition accuracy

2.2 DenseNet121模型優(yōu)化試驗

學習率調(diào)參是卷積模型調(diào)參中的重要部分，如果設置過大，可能會導致網(wǎng)絡跳過最優(yōu)值，如果設置過小，可能會導致學習的收斂速率比較慢. 參照相關資料發(fā)現(xiàn)，學習率一般可采取10-4～100，將學習率分別設置0.000 1、0.001、0.01、0.1和1，模型迭代100步，試驗結果總結如表2所示.

表2 DenseNet121模型參數(shù)優(yōu)化結果圖Tab.2 DenseNet121 model parameter optimization results

通過試驗可知，當其他參數(shù)條件一致，學習率為0.000 1和1時，模型識別率最低為75%，在同一批試驗中，隨著迭代次數(shù)的增加，模型訓練時間縮短，隨著學習率由0.000 1逐漸升高到0.01，模型識別率也逐漸提高. 當學習率為0.01時，模型識別率較高，可達到99.3%. 結合網(wǎng)絡運行時間和模型識別率，模型識別率選擇設置為0.01.

2.3 模型實踐

為了增強模型的可用性，實現(xiàn)作物種類圖像識別的自動化，本研究基于三種模型（DenseNet121模型為參數(shù)優(yōu)化過的模型）進行作物圖像識別系統(tǒng)設計，然后在網(wǎng)上下載類似圖片進行識別，識別結果如圖7所示.

本文選擇了側拍的成簇小麥圖，這樣可以增加圖像的多樣性和復雜性，增加了系統(tǒng)識別的難度，使得農(nóng)作物識別系統(tǒng)的識別結果更加有效. 從圖7可以看出，Vgg16模型識別結果為小麥的精度達到了99.996%，識別結果為蠶豆的精度為0.002%；ResNet50模型識別結果為小麥的精度為44.944%，識別結果為甜瓜精度為7.476%，識別結果為番薯的精度為5.496%，識別結果為蔥苗的概率為6.164%，識別結果為蠶豆的結果為35.920%；而本文所進行優(yōu)化過的DenseNet121模型識別結果為小麥的精度達到了100%，這說明本文所進行優(yōu)化的DenseNet121模型在農(nóng)作物識別系統(tǒng)中所表現(xiàn)出的結果與另外兩種模型相比仍然具有一定的優(yōu)越性.

圖7 農(nóng)作物自動識別系統(tǒng)圖結果圖Fig.7 The results of the automatic crop recognition system map

3 結論與討論

本文以蠶豆、甜瓜、番薯苗、蔥苗和小麥圖像數(shù)據(jù)作為研究對象，以五類作物的圖像識別為研究目標，建立了試驗樣本數(shù)據(jù)集，并對數(shù)據(jù)進行了預處理，運用卷積神經(jīng)網(wǎng)絡算法，使用三種實驗方法，研究結論如下：

1）根據(jù)蠶豆、甜瓜、番薯苗、蔥苗和小麥作物的形態(tài)特征，對五類作物目視進行數(shù)據(jù)集的分類建立. 以多種采樣方式，對圖像數(shù)據(jù)及進行劃分，并根據(jù)圖像命名規(guī)則進行標簽分類. 并對圖像進行了預處理，主要是對圖像感興趣的部分進行隨機裁剪和全景縮放，歸一化，以及閾值處理. 共采集數(shù)據(jù)圖像15 000張，每類作物各3000張，其中訓練集10 000 幅，驗證集2500幅，測試集2500幅.

2）本文使用了3種識別方法和試驗結果總結如下：在識別率方面，DenseNet121網(wǎng)絡模型識別率達到0.993左右，與Vgg16模型和ResNet50模型的識別率相比，分別提升了1.1%和6.9%，模型識別率得到了一定提升.

3）為了擴大適用范圍，增強其可用性，實現(xiàn)作物種類圖像識別的自動化，本研究設計了名為“作物識別”的作物種類自動識別系統(tǒng)，主要用于蠶豆、甜瓜、番薯苗、蔥苗和小麥作物的種類圖像識別，不同模型對于同種作物的識別率不同，通過在網(wǎng)上下載的小麥圖像進行實驗，本文所進行優(yōu)化過的DenseNet121模型識別結果為小麥的精度達到了100%，另外兩種模型的識別率相對較低，這說明本文所進行優(yōu)化的DenseNet121模型在農(nóng)作物識別系統(tǒng)中所表現(xiàn)出的結果與另外兩種模型相比具有一定的優(yōu)越性.

隨著計算機硬件的不斷發(fā)展，卷積神經(jīng)網(wǎng)絡方法在識別方面也得到廣泛的應用. 然而，目前的卷積神經(jīng)網(wǎng)絡本身在結構上相對復雜，并且需要進行較長的訓練時間. 本文通過實驗在農(nóng)作物種類圖像識別方面取得相應的識別效果，但仍需要進行以下探索：

1）在數(shù)據(jù)集采集分類方面. 本文采用的為手工采集，由于手工采集分類極不便利，并且效率極低，因此后期可以引入半監(jiān)督方法來解決詞問題，并且可以加入通用的農(nóng)作物種類庫的數(shù)據(jù)來驗證和提升計算效果.

2）模型訓練速度的優(yōu)化. 在模型訓練速度方面，是否可以考慮將模型應用于更高效的并行處理方式，優(yōu)化其模型訓練速度，縮短訓練時間，未來的研究可以從更有效的角度探討卷積神經(jīng)網(wǎng)絡對農(nóng)作物種類圖像的可行性.

3）模型結構參數(shù)的設定. 在卷積模型實際應用的識別研究中，研究的重點是如何調(diào)整相關結構和參數(shù)，從而提高其識別率. 當前，針對卷積神經(jīng)網(wǎng)絡模型的參數(shù)設定，主要是憑借相關研究人員的經(jīng)驗值，雖有對比實驗，但這方面的規(guī)律可以進一步研究及總結. 同時，本文設計的系統(tǒng)應用程序側重于作物圖像的識別功能，系統(tǒng)功能相對較單一，日后可以進一步研究系統(tǒng)的其他功能及特性.