基于神經結構搜索的多種植物葉片病害識別

黃建平，陳鏡旭，李克新，李君禹，劉 航

（東北林業大學機電工程學院，哈爾濱 150040）

0 引 言

目前全球糧食產量的增長速度遠低于人口增長速度，糧食產量和安全對保障人民生活水平和國民經濟發展具有重要的意義[1-2]。植物病蟲害是影響農林業生產、生態安全和農林作物產量的生物災害[3]，及時準確掌握植物病蟲害的類型、嚴重程度及病害發展狀況，能夠有效減少病害對農林業生產造成的經濟損失，同時減少濫用農藥造成的環境污染，為科學制定病害防治策略提供依據[4]。傳統的植物病害監測方法主要依賴于專家通過可見特征來進行評估[5]，這不僅需要專家具有豐富的經驗，同時評估過程較為繁瑣、耗時，具有一定的主觀性[6]，難以滿足實際生產中大面積、快速病蟲害監測的應用需求。早期基于計算機視覺識別植物病害的方法首先需要提取植物特定特征，再使用傳統分類方法識別病害。然而提取特征的過程復雜，且特征提取器的選擇及設計對病害的識別結果有較大的影響[7-9]。近年來，迅速發展的深度學習是機器學習的一個分支，被廣泛應用于多個領域，如圖像分類、目標檢測、視覺跟蹤等[10-11]，并取得了很好的效果。基于深度學習的植物葉片病害圖像分析方法具有精度高、速度快等優點，為植物病害準確快速檢測提供了有效的技術手段。Srdjan 等[12]將深度卷積神經網絡用于植物病害識別，該方法能夠區分植物葉片與其周圍環境，并能夠區分健康葉片與13 種不同的植物病害，模型識別的平均準確率達 96.3%。Mohanty 等[3]使用GoogleNet 和 AlexNet 兩種深度學習網絡結構對PlantVillage 數據集進行了植物病害圖像分類試驗，結果表明采用遷移學習效果更好，GoogLeNet 的性能優于AlexNet。Alvaro 等[13]提出一種基于深度學習的番茄植株病蟲害檢測方法，采用Faster R-CNN 檢測框架和VGG16特征提取網絡，成功檢測并識別9 種不同類別的病蟲害。Wang 等[14]使用PlantVillage 中的蘋果病害數據集進行試驗，分析了VGG16、VGG19、 Inception-v3、和ResNet50共 4 種網絡結構在全新學習和遷移學習下的分類性能。結果表明，對訓練好的VGG16 經過遷移學習得到的模型識別效果最佳，其在測試集上的總體準確率為90.4%。孫俊等[15]對卷積神經網絡模型 AlexNet 進行了改進，采用批歸一化與全局池化相結合的卷積神經網絡模型對多種植物葉片病害進行分類，改進后模型的平均準確率達99.56%，結果表明改進后的模型具有較高的識別準確率和較強的魯棒性。Ferentinos 等[11]使用含 58 類植物病害的公開數據集對AlexNet、AlexNetOWTBn、GoogLeNet、Overfeat、VGG 共5 種不同的模型架構進行訓練并測試模型識別準確率，結果表明采用VGG 架構訓練的模型識別植物病害的準確率最高，達到99.53%。馬浚誠等[16]構建了一個基于卷積神經網絡的溫室黃瓜病害識別系統，實現了對溫室黃瓜病斑圖像的準確分割及病害識別，分割準確率為 97.29%，識別準確率為 95.70%。Esgario 等[4]使用 AlexNet、GoogLeNet、VGG16、ResNet50 共 4 種不同的深度神經網絡結構對咖啡病蟲害進行分類及嚴重程度估計，結果表明訓練后的ResNet50 對咖啡病蟲害識別準確率最高，為 97.07%。Singh 等[17]提出一種能夠識別芒果炭疽病的多層卷積神經網絡結構，與現有的分類方法相比，該方法具有更高的分類精度，達到97.13%。采用深度卷積神經網絡識別植物病害時，訓練數據較少會導致模型性能下降。Barbedo 等[18]通過將每幅圖像劃分成小的圖像塊作為訓練數據，一定程度上提高了病害分類的準確性。Nazki 等[19]提出一種生成對抗網絡AR-GAN，并用AR-GAN 對9 種高度不平衡的番茄病害數據進行擴充，將深度卷積神經網絡識別番茄病害的準確率由80.9%提高至 86.1%。郭小清等[20]根據番茄病害葉片圖像的特點，對AlexNet 進行了去除局部歸一化層、修改全連接層等改進設計，并開發了基于Android 平臺的番茄葉部病害識別系統。該模型對番茄葉部病害及每種病害早中晚期的平均識別準確率達到 92.7%，基于此模型的 Andriod端識別系統在田間的識別率達到 89.2%。劉洋等[21]對MobileNet 和Inception-v3 兩種輕量級卷積神經網絡進行遷移學習，在 PlantVillage 數據集上平均識別率分別達到95.02%和95.62%，在自建葡萄病害葉片圖像集上平均識別率分別為87.50%、88.06%。將得到的2 種較優分類模型移植到 Android 手機端進行對比，結果表明MobileNet 分類模型占用內存更小，運算時間更快，更適合用于手機端。

目前多數的網絡結構都需要專家根據不同應用場景進行合理的設計，并且需要不斷調整網絡結構及參數以獲得最優的識別模型，這個過程不僅耗時，同時需要具備專業的知識及經驗[22]。Zoph 等[23]提出了神經結構搜索（Neural Architecture Search，NAS），無需人為手動設計網絡結構。Zoph 等[24]證明了使用神經結構搜索得到的網絡模型優于大多數人工設計的網絡結構，并根據該神經結構搜索方法提出了NASNet。Adedoja 等[25]采用已經訓練好的網絡模型 NASNet，并在 Plantvillage 數據集上進行了遷移學習，測試的準確率為93.82%，該方法并未針對植物病害數據設計合適的網絡結構。本文提出一種基于神經結構搜索的植物葉片病害識別方法，該方法能依據數據集學習合適的網絡結構。采用PlantVillage 公共數據集進行神經結構搜索，對搜索到的最優網絡模型進行測試和分析，以期能夠實現植物葉片病害的準確識別，為科學制定病害防治策略提供有效的技術手段。

1 植物病害識別方法

1.1 神經結構搜索

隨著深度學習的廣泛應用，神經網絡的結構變得越來越復雜，對于不同場景需要人工經過不斷的試驗來尋找合適的網絡結構。神經結構搜索能夠根據特定應用領域學習到最優的網絡結構模型。神經結構搜索的主要過程如圖 1 所示。首先預先定義一個搜索空間F，即定義通過NAS 算法可以搜索到的神經結構；然后利用搜索策略在搜索空間中搜索到一個合適的網絡結構f，其中f∈F；使用性能評估的方法對該結構進行評估，將評估結果反饋給搜索策略從而對已搜索到的網絡結構進行調整；循環該過程直到搜索到符合要求的最優網絡結構[22]。

圖1 神經結構搜索框圖Fig 1 The block diagram of neural architecture search

1.2 病害識別方法

現有的許多神經結構搜索方法需要較高的計算成本才能有較好的效果，且搜索速度非常慢。針對該問題，Wei 等[26]提出了網絡態射（Network Morphism）的方法，該方法能在保持神經網絡功能不變的基礎上將一個訓練好的神經網絡修改成一個新的神經網絡。但基于網絡態射的神經結構搜索[27-28]不夠高效，Jin 等[29]提出一種使用貝葉斯優化指導網絡態射的方法，實現了更高效的神經結構搜索。本文使用該方法自動搜索適合于植物葉片圖像病害識別的神經網絡結構，提出的植物病害識別方法如圖2 所示，該方法分為以下4 個步驟：1）將數據集按照 4∶1 的比例隨機劃分為訓練數據和測試數據；2）將訓練數據作為神經結構搜索的輸入，采用神經結構搜索方法獲得最優的神經網絡結構；3）將搜索到的最優網絡結構在訓練數據集下訓練，得到病害分類模型；4）采用測試數據集評估網絡模型的性能。

其中d表示兩個神經網絡間的編輯距離（Edit-distance），取值范圍為(0, +∞)，ρ是將距離從原始度量空間映射到相應新空間的映射函數。采用基于A*搜索和模擬退火的方法優化樹形結構空間中的采集函數，選擇Upper-confidence bound（UCB）作為采集函數，定義為

圖2 基于神經結構搜索的植物葉片病害識別方法框圖Fig 2 The block diagram of plant leaf disease recognition using neural architecture search

病害識別過程如下：定義一個層數為L的卷積神經網絡作為神經結構搜索的初始架構，其中每一層是一個由ReLU 層、一個批量歸一化層、卷積層和一個池化層構成的卷積塊。在所有的卷積層之后，輸出張量先經過一個全局平均池化層和一個Dropout 層，其中Dropout 的比率為rd，然后經過一個由nc個神經元組成的全連接層和一個ReLU 層，最后經過另一個全連接層和一個Softmax層。將訓練數據作為神經結構搜索的輸入，在搜索過程中將所有生成的網絡結構、網絡結構學習到的參數和模型損失值作為搜索歷史H。通過優化采集函數算法生成下一個要觀測的網絡結構，該算法以模擬退火算法的最低溫度Tmin、降溫速率r和搜索歷史H作為輸入，輸出新的網絡結構和所需的網絡態射操作，將現有的架構fi變形為一個新的架構fi+1（i表示搜索算法在執行過程中搜索到的第i個網絡結構）。采用批量訓練的方法將數據劃分為多個批次，并通過隨機梯度下降（Stochastic Gradient Descent，SGD）的模型優化方法對生成的架構fi+1進行初步的訓練，采用交叉熵計算分類損失，訓練過程中設置模型損失值在n1個 e poch 后不再下降時停止訓練，通過評價度量函數對fi+1進行性能評估并獲得其分類性能，根據所有搜索到的網絡結構及它們的性能訓練底層的高斯過程模型。在確定的搜索時間內不斷重復上述過程，最終自動標示出搜索歷史H中最優的網絡結構f*（f*∈F）。采用相同的訓練方法對該網絡結構進行最終的訓練，訓練過程中設置模型損失值在n2個 e poch 后不再下降時停止訓練，得到病害分類模型。將測試數據作為模型的輸入，得到病害識別結果。

2 試驗數據

2.1 數據描述

采用 PlantVillage 公開數據集[30]進行試驗。該數據集有54 306 張植物葉片圖像，包含14 種作物和26 種病害。通過植物病害專家現場鑒別，將該數據集按照疾病種類分為 38 個不同的類別，圖 3 為數據集每一類病害圖像示例。

圖3 PlantVillage 數據集的葉片圖像及病害示例[30]Fig 3 Leaf images and disease examples of PlantVillage data sets[30]

2.2 數據處理

PlantVillage 公開數據集中每一類所包含的圖像數量各不相等，其數據分布如圖 4 所示。為了分析數據平衡是否對神經結構搜索產生影響，將訓練數據進行過采樣與亞采樣處理，使訓練數據的每個類別數目在 1 500 左右，處理前后的訓練數據數量統計如圖 4 所示。同時，為研究神經結構搜索方法在訓練數據缺乏顏色信息時搜索到的模型是否能學習到更高層次的病害特征，通過顏色空間轉換的方法對數據進行灰度處理，示例如圖 5 所示，使用灰度處理前和處理后的數據分別進行相同的試驗。該研究使用PlantVillage 原始數據（54 306 張）、處理后達到平衡的數據（53 936 張）及進行灰度處理后的數據（54 306 張）分別進行試驗，將訓練集和測試集按照4∶1 的比例隨機劃分。

圖4 原始訓練數據與經過處理后達到平衡的訓練數據對比Fig 4 Comparison between the original training data and the balanced training data after processing

3 結果與分析

3.1 試驗參數設置

試驗采用的軟件環境為：Windows 64 位系統，開源Keras 框架[29]，Python 編程語言（Python 3.6）。硬件環境：計算機內存 16 GB；處理器為 Intel(R) Core i7-9700k，3.60 GHz；GPU 為英偉達的 GeForce RTX 2080Ti，11 GB 顯存。

試驗中將一個層數為L的卷積神經網絡作為神經結構搜索的初始架構，其中L為3。卷積層中卷積核大小都設置為3×3，數量為64，滑動步長為1，池化層大小設置為2×2，滑動步長為2。Dropout 的比率rd設置為0.25，nc為64。在貝葉斯優化算法中，采集函數中的平衡系數β設置為2.576，模擬退火算法的初始溫度設置為1，降溫速率r設置為0.9，最低溫度Tmin設置為0.000 1。模型訓練過程中學習率為 0.025，動量因子為 0 .9，權重衰減因子為0.000 3，最大迭代次數為200，每個批次訓練128張圖片，即train batch 設置為128。搜索過程中對每個搜索到的網絡結構進行初步的訓練，epoch 數量n1設置為5，在設置好的搜索時間內搜索一個最優網絡結構。采用相同的設置對獲得的最優神經結構網絡進行最終的訓練，epoch 數量n2設置為 30。

3.2 量化評價指標

準確率（accuracy，Acc，%），正確分類的樣本數除以樣本總數，計算方法如下

式中NTrue是預測正確的測試樣本數，NSum是測試樣本總數，模型對單個類別的識別準確率用Acci表示（i表示第i類病害）。

模型識別的平均準確率（average accuracy，AA，%）為測試所用的所有病害類型的準確率的平均值，計算方法如下

式中n為測試樣本的總類別數。

3.3 試驗結果

試驗采用PlantVillage 原始數據，設置不同的神經結構搜索時間以研究搜索時間對搜索到網絡結構的影響。將每組試驗的搜索時間間隔設置為1 h，分別進行12 組試驗。每組試驗都是在設置好的搜索時間內不斷搜索網絡模型，試驗設定當搜索到的網絡模型損失值在5 個epoch 后不再下降時停止訓練，對網絡模型進行評估后繼續搜索下一個網絡模型，所以搜索時間越長，搜索到的模型數會越多。1 h～12 h 時段搜索到的模型數量分別為：2、4、6、8、11、12、14、16、18、19、21、25，該過程會自動存儲并標示出搜索到的所有網絡結構中損失值最低的模型，將其進行最終的訓練并測試，每組試驗搜索到的最優模型的測試結果如圖6 所示。

圖6 NAS 在不同搜索時間的模型測試結果Fig.6 Test results of models with different searching time for NAS

從圖6 可以看出，本文的神經結構搜索方法在搜索不同時間時所得到的模型最終的識別準確率均達到了98%以上，說明該方法可以在較短時間內搜索到合適的網絡結構，其中搜索時間為3 h 得到模型對于測試集的識別準確率較高。在神經結構搜索訓練時間為3 h 的過程中共搜索到 6 個模型，各模型的評估值及損失值如表 1 所示。

表1 使用NAS 搜索3 h 過程中對得到網絡結構的評估Table 1 Evaluation of obtained network architecture during 3 h searching with NAS

從表1 可以看出，神經結構搜索對搜索到的網絡結構進行了初步評估，其中最優模型為第6 個模型，對該模型的評估值為0.959 6，即模型的識別準確率為95.96%，損失值為0.468 5。將該模型作為植物葉片圖像病害識別的最優網絡結構并進行訓練，使用測試集對訓練后的模型進行測試。

使用基于神經結構搜索的方法對 PlantVillage 原始彩色數據、處理后達到平衡的數據及進行灰度處理后的數據共3 個數據集進行試驗，并對相應的3 種不同的模型進行測試，研究神經結構搜索在不同情況下的有效性，以下分別稱為試驗一、試驗二、試驗三。模型對單個類別的識別準確率如表2 所示。一般來說，對于固定的神經網絡結構，在訓練數據不平衡時會使模型決策時對訓練數據多的一類出現偏見，訓練數據少的類別比訓練數據多的類別更容易被錯誤分類[20]。從表2 可以看出，在訓練數據平衡與不平衡兩種狀態下，試驗一與試驗二使用神經結構搜索得到的模型對單個類別識別準確率沒有明顯差異，且都達到了較好的識別結果，識別準確率分別為98.96%和99.01%。說明使用神經結構搜索的方法在訓練數據平衡與不平衡時都能設計出合適的網絡結構。從表2 可以看出，在試驗三中模型對單個類別識別準確率有所下降，這主要是由于許多植物患病后葉片表面的顏色或出現的病斑顏色會發生變化，比如患二斑葉螨病的植物隨著危害的加重，可使葉片變成灰白色至暗褐色，晚疫病在初期時病斑為墨綠色，后期變成褐色。同時，不同病害的病斑顏色也各不相同，比如土豆和番茄的早疫病病斑呈褐色或黑褐色，而蘋果的瘡痂病病斑呈蠟黃色。因此在訓練數據缺乏顏色信息時模型更多是通過葉片的輪廓及紋理而做出識別決策。由于缺少顏色信息，訓練出的模型對葉片顏色的細微變化不敏感，從而導致模型準確率稍微有所下降，最終模型的識別準確率為95.40%。由此可以看出，植物病害圖像的顏色信息對于病害的識別具有積極的促進作用，同時即使在缺乏顏色信息時，本文提出的基于神經網絡結構搜索的植物葉片圖像病害識別算法依然可以獲得較高的識別準確率。

為分析模型識別錯誤的原因，計算了試驗一中模型對每種植物種類識別的平均準確率，其中玉米的平均準確率為 96.45%，在 14 種作物中最低，玉米病害的混淆矩陣如圖 7 所示。在混淆矩陣中對角線單元格表示模型預測正確的測試樣本個數，非對角單元格顯示被模型預測錯誤的樣本個數。玉米共有 4 種葉片類型，分別為玉米灰斑病、玉米銹病、玉米健康葉和玉米枯葉病。通過混淆矩陣可以發現，在 103 個玉米灰斑病測試樣本中，有 1 個被錯誤識別為玉米健康葉，11 個被錯誤識別為玉米枯葉??；而在197 個玉米枯葉病測試樣本中有 5 個被錯誤識別，都被識別為玉米灰斑病。從中可以看出，在對玉米病害進行識別時，玉米灰斑病與玉米枯葉病在識別過程中會發生混淆。圖8為患灰斑病和患枯葉病的玉米病害圖像，從圖像中可以看出患灰斑病玉米的葉面上有長條形的淺褐色病斑，而在患枯葉病的玉米葉表面在病斑顏色、病斑形狀及紋理上呈現出與患灰斑病玉米葉相似的特征，從而造成識別錯誤。后續研究一方面可考慮擴充訓練樣本的種類和數量，另一方面通過將細粒度網絡與神經結構搜索相結合，提高模型的特征提取能力和分辨能力，從而提高模型的病害識別準確率。

表2 PlantVillage 測試集分類結果Table 2 Classification results for the testing dataset of PlantVillage

圖7 玉米所包含4 種葉片狀態的混淆矩陣Fig 7 Confusion matrix of four leaf states contained in maize

圖8 兩種易混淆的玉米病害葉部圖像Fig.8 Leaf images of two confusable maize diseases

為研究本文方法在實際應用中的效果，使用一個為學術研究免費提供的植物病害癥狀圖像數據庫中的數據對模型進行測試，該數據集包含真實場景和固定背景下拍攝的玉米病害葉片[31]。由于固定背景下拍攝的圖片不具有實際應用性，將固定背景下的玉米病害圖像進行切割，只保留葉片部分作為測試數據，使用該數據集的 31張玉米灰斑病和 46 張玉米北方枯葉病圖像用于模型測試，其中，模型正確識別了玉米的30 張灰斑病圖像和37張北方枯葉病圖像，識別準確率分別為96.77%和80.43%，說明該模型在實際應用中具有一定的適用性。后續研究將擴大訓練數據規?；驅σ呀浻柧毢玫哪Ｐ瓦M行遷移學習，提高模型的識別準確率。

4 結 論

該研究提出一種基于神經結構搜索的多種植物葉片病害識別方法，采用PlantVillage 植物葉片病害圖像數據集進行試驗。主要結論如下：

1）該神經結構搜索方法可以在較短時間內搜索到合適的網絡結構，試驗中設置搜索時間為1～12 h，在每個設置好的搜索時間內所得到的模型識別準確率均達到98%以上。模型對于不同種病害圖像在病斑顏色、病斑形狀及紋理上極為相似的情況，可能會產生識別錯誤。

2）神經結構搜索對訓練數據類別間存在的數據量差異并不敏感，在訓練數據不平衡和平衡時均可以搜索到合適的模型，并且模型對每類病害的識別準確率無明顯差異，最終識別準確率分別達到98.96%和99.01%。

3）在訓練數據僅含葉片的輪廓、紋理等特征但缺乏顏色特征時，該方法對一些患病后葉片表面顏色或病斑顏色會發生變化的病害的識別準確率有所降低，為95.40%。

該研究提出的方法能夠根據數據集自動學習到合適的神經網絡結構，簡化植物病害識別網絡模型設計的工作量，所得模型的病害識別準確率較高且具有一定的適用性，為實現植物病害自動準確識別提供一種技術手段。