基于自適應判別深度置信網絡的棉花病蟲害預測

王獻鋒，張傳雷，張善文，朱義海

?

基于自適應判別深度置信網絡的棉花病蟲害預測

王獻鋒1，張傳雷2※，張善文1，朱義海3

（1. 西京學院理學院，西安 710123；2. 天津科技大學計算機科學與信息工程學院，天津 300457；3. Tableau Software，西雅圖 WA 98103）

作物病蟲害預測是病蟲害防治的前提，利用深度學習預測作物病蟲害是一個有效且具有挑戰性的研究課題。該文針對深度置信網絡（deep belief network，DBN）在作物病蟲害預測中的訓練耗時長和容易收斂于局部最優解等問題，將自適應DBN和判別限制玻爾茲曼機（restricted boltzmann machine，RBM）相結合，利用棉花生長的環境信息，提出一種基于自適應判別DBN的棉花病蟲害預測模型。該模型由3層RBM網絡和一個判別RBM（discriminative restricted boltzmann machine，DRBM）網絡組成，通過3層RBM網絡將棉花生長的環境信息數據轉換到與病蟲害發生相關的特征空間，通過自動學習得到層次化的特征表示，再由DRBM預測棉花病蟲害的發生概率。該模型將自適應學習率引入到對比差度算法中，通過自動調整學習步長，解決了在傳統DBN模型訓練時學習率選擇難的問題；在學習過程中通過在DRBM中引入樣本的類別信息，使得訓練具有類別針對性，弱化傳統RBM無監督訓練時易出現特征同質化問題，提高了模型的預測準確率。對實際棉花的“棉鈴蟲、棉蚜蟲、紅蜘蛛”蟲害和“黃萎病、枯萎病”病害的平均預測準確率為82.840%，與傳統BP神經網絡模型（BPNN）、強模糊支持向量機模型（SFSVM）和RBF神經網絡模型（RBFNN）分別提高19.248%，24.916%和27.774%。

病害；預測；模型；棉花；深度置信網絡；自適應判別

0 引 言

棉花在種植過程和整個生育期中會不斷受到病蟲害的影響，病蟲害防治是棉花植保科技工作者和廣大棉農長期以來所面臨的主要問題。中國棉花病蟲害約有40余種，其中發生頻繁的“棉鈴蟲、棉蚜蟲、紅蜘蛛”蟲害和“黃萎病、枯萎病”病害是棉田的主要病蟲害，對棉花生產的危害范圍大、持續影響時間長，而且造成的損失較大[1-2]。傳統的病蟲害識別和預測方法主要依靠農民和專家經驗預測病蟲害發生、判斷病蟲害種類以及受害區域和嚴重程度，再進行噴灑農藥。該類方法的預測和識別效果主觀性強，往往導致資源浪費和環境污染。研究表明，棉花病蟲害的發生具有一定的規律，也是一個循序漸進的過程，棉花生長中后期是多種病蟲害的高發期，而且棉花病蟲害的發生、發展和流行與棉花生長環境的溫度、濕度、降雨、風、光照和CO2等多種因素相關[3-4]。例如，雨水是棉花細菌侵染和傳播的主要條件，適溫、高濕有助于大多類病蟲的繁殖和擴散，而CO2濃度有助于作物光合作用，從而提高作物對病蟲害的免疫力。要防治病蟲害，首先要預測病蟲害的發生時期和識別病蟲害的類別。利用農作物生長的環境信息預測病蟲害發生和流行趨勢，是當前計算機科學和模式識別等領域研究的一個應用性很強的研究方向[5]。劉俊稚[6]研究了幾種典型植物對大氣CO2濃度升高的生理和病理響應，指出了CO2濃度直接和間接地影響到作物病蟲害發生。石盼[7]開發了一種基于物聯網技術、無線通信技術等多種技術為一體的農作物病蟲害診斷系統，通過農作物病蟲害的視頻采集與溫度、濕度、CO2濃度等各種環境信息和專家診斷系統對作物病蟲害進行檢測和診斷，取得了較好的效果。隨著遙感、互聯網、物聯網等技術的不斷發展，為棉花病蟲害準確預測和科學防治提供了可能[8-9]。趙慶展等[10]等設計了一套基于移動GIS的棉田病蟲害信息采集系統，該系統以當前主流的Android/IOS手機操作系統為平臺，運用GPS定位、離線地圖加載、圖形繪制等技術，實現了病蟲害發生位置及屬性信息的快速采集。趙冰梅等[11]預測了新疆兵團2017年棉花主要病蟲害發生趨勢，提出了相應的防治對策和綜合防治措施，為棉花病蟲害防治提供了參考。

農業物聯網技術拓寬了農業病蟲害預測的覆蓋面，實現了實時在線的農作物病蟲害的自動預警。基于農業物聯網的農作物病蟲害早期預測和初期檢測已成為一個新的研究方向。陳光絨等[12]提出了一種基于物聯網技術的農作物病蟲害自動測報系統；王翔宇等[13]研究了農業主要病害檢測與預警技術；張恩迪等[14]研發了一套基于物聯網的農業蟲害智能監控系統，能夠自動采集農田環境信息、害蟲數目。盡管現有的很多作物預測方法、技術和系統在一定條件下對一種或幾種作物取得了較高的預測率。由于作物病蟲害的發生和發展涉及到的因素很多，而且各個因素之間存在著復雜的相互作用和相互影響[15-16]，使得現有的作物病蟲害預測模型的表達能力和泛化能力有限，預測準確率不高，很多預測模型還不能滿足實際作物病蟲害預測系統的要求。

深度學習是近年來人工智能和模式識別領域的一種新穎的、非常有效的機器學習方法，已經在植物物種識別和植物病害識別中取得了成功應用[17-18]。深度置信網絡（DBN）是一種雙向深度網絡方法，具有較強的數據預測能力，被廣泛應用于空氣污染預報和交通流預測等實際問題[19-20]。Lü等[21]提出了一種基于深度自編碼網絡模型的交通流預測模型，取得了理想的預測精度；Hu等[22]提出了一種基于深度神經網絡的短期風速預測方法，并通過仿真試驗證明了深度神經網絡在風速預測中的優越性；Zhao等[23]提出了一種基于深度學習的原油價格預測模型。由于DBN的每個限制波爾茲曼機RBM（restricted boltzmann machines，RBM）需要多次迭代更新權值參數，且每次迭代后權值更新的方向不盡相同，所以權值在更新過程中的每一步調節不一定一直向著損失函數減小的方向進行，可能導致網絡的收斂速度降低，也可能出現“早熟”、難以收斂等問題。為此，出現了一些自適應DBN和監督式DBN模型[24-25]。盡管DBN及其改進方法都在一定程度上取得了較高的預測結果，但DBN在農作物病蟲害預測中的應用的文獻報道很少。由于作物病蟲害發生受到多種環境因素的影響，準確地預測作物病蟲害發生具有相當大的實用性和挑戰性。本文將自適應DBN和判別DBN模型相結合，提出了一種基于自適應判別DBN（ADDBN）的棉花病蟲害預測模型，并進行了試驗驗證。

1 材料與方法

1.1 數據獲取與處理

1）數據采集。從2011年至2016年，每年的5月1日至9月30日，利用農業物聯網傳感器，在陜西省渭南市大荔縣10個棉花種植示范基地采集棉花常見的、危害比較嚴重的“棉鈴蟲、棉蚜蟲、紅蜘蛛”蟲害和“黃萎病、枯萎病”病害發生后5 d內的12種環境信息：發病季節、土壤鹽分、土壤是否連種、土壤溫度和濕度、空氣溫度和濕度、光照強度、雨日數、降水量、CO2濃度和農藥使用次數[4,14]，從早上8點到下午5點采集日平均溫度、日平均相對濕度和日平均光照。

2）環境信息離散化。參考文獻[10,12]對環境信息進行離散化：將光照強度由強到弱設置為4個等級：0.7、0.5、0.3和0.1；將農藥使用量由多到無設置為4個等級：0.7、0.4、0.2和0；按照土壤沒有連種、連種1次、連種2次及以上將土壤是否連種信息分別設置為3個等級：0、0.2和0.4；根據歷史數據按照月份將不同類病蟲害的發生期劃分為5個等級：0.9、0.7、0.5、0.3和0.1；農作物病蟲害發生程度一般定義如下：0級表示沒有病蟲害發生；1級（輕發生）表示病蟲零星發生，不需要化學防治；2級（偏輕發生）表示作物無明顯受害損失；3級（中等發生）表示已造成局部明顯損失；4級（偏重發生）表示已造成嚴重損失[26-27]。

3）歸一化。對離散化后的每類環境信息進行歸一化[28]：

4）環境信息特征向量。將每天采集的各個環境信息進行日平均，最后組成一個12維的向量，作為當天的環境信息向量樣本，得到7 550個向量。

由于采集的環境信息部分數據缺失或不合理，本文共選擇了6 000個有效環境信息向量進行病蟲害預測試驗。

1.2 自適應判別深度置信網絡(adaptive discrimination deep belief network，ADDBN)

ADDBN是由多個RBM和一個判別RBM (discliminative restricted boltzmann machines，DRBM)組成的一種概率生成模型，每個RBM只有可見層節點與隱層節點之間有連接權值，而可見層節點之間和隱層節點之間無連接。通過自低向上逐層訓練RBM，每一個RBM訓練出的特征將作為下一層RBM的輸入，利用DRBM調整神經元之間的權重，最后得到一個預測效果穩定的ADDBN預測模型。為了說明RBM與DRBM之間的區別，圖1給出了RBM和DRBM的結構圖。

圖1 RBM和DRBM基本結構

1.2.1 限制玻爾茲曼機(RBM)

由于RBM的可見層神經元或隱層神經元的激活狀態之間是相互獨立的，通過能量函數可以得到可見層和隱層的條件概率，第個隱層神經元和第個可見神經元輸出的條件激活概率分別表示為：

1.2.2 判別RBM(DRBM)

通過能量函數可以得到可見層和隱層的條件激活概率分別為：

比較式（3）和式（5）可以得到，在DRBM中標簽層參與了隱層條件激活概率的計算。

1.2.3 自適應學習率

RBM的快速學習過程通過一個對比散度算法（contrastive divergence，CD）實現。使用CD算法對構成DBN的所有RBM逐一進行無監督訓練。各參數的更新準則如下：

由式（9）看出，當連續2次迭代后參數更新方向相反時，學習率會減小；當連續2次迭代后參數更新方向相同時，學習率會加大。

1.2.4 ADDBN的結構

圖2 ADDBN模型

ADDBN的訓練過程與DBN類似，分為無監督的預訓練和有監督的微調2個階段[25,29]：

1.2.5 基于ADDBN的棉花病蟲害預測模型

為了減小棉花病蟲害預測模型的訓練和運行時間，本文采用的ADDBN模型結構為1個輸入層、3個RBM隱含層和1個DRBM層。基于ADDBN的棉花病蟲害預測過程如圖3所示。

在ADDBN中，輸入層的輸入數據為歸一化后的環境信息特征向量，輸出層的節點數為5，表示3種蟲害和2種病害，模型訓練后的輸出結果為5個節點輸出的最大值對應的病蟲害類型。該模型的主要過程描述如下：

1）數據采集和預處理。采集與棉花病蟲害發生相關的環境信息，包括氣候、氣象信息、土壤信息等12種數據，組成原始數據集，然后結合棉花病蟲害的歷史數據，對每類數據進行量化、歸一化，組成每個樣本為12維的特征向量，作為預測模型的輸入樣本集，再將所有樣本劃分為訓練樣本集和測試樣本集。其中，訓練集用于訓練預測模型，測試集用于對模型性能進行測試；

圖3 基于ADDBN的棉花病蟲害預測模型

2）構造基于ADDBN的棉花病蟲害預測模型。由試驗對ADDBN的結構進行優化設置，包括RBM的層數、各個RBM和DRBM的輸入和輸出的節點數等；

3）訓練階段。利用訓練樣本訓練基于ADDBN的預測模型。根據CD算法中參數每次迭代方向的異同來動態調整學習率。

4）計算實際輸出和目標輸出的誤差，使用與模型權重相關的函數表示這個誤差，再利用共軛梯度算法調整權重矩陣，最后得到誤差函數達到最小的網絡權重矩陣；

5）測試階段。將測試樣本輸入到訓練好的預測模型中，計算棉花病蟲害的預測結果；

6）預測結果分析。在分類層，將重復采樣的分類結果平均，得到預測模型的預測結果。

2 試驗與分析

試驗的硬件環境為內存32GB、CPU Intel(R) Core(TM) i7-4790 8*3.60GHZ、GPU GeForce GTX Titan X，訓練速度使用單核Intel3.47GHZ的15倍以上，深度學習架構為Tensorflow，編程語言為python。在預測模型中，第一層RBM的可視層節點數為12，對應12種環境信息，輸出結果為病蟲害發生類型。試驗數據為2011年到2016年的5月1日—9月30日的每天采集的12種環境信息的日平均值，再歸一化后的向量樣本[28]。

由于DBN對相關的初始參數比較敏感，為了獲得高效的預測準確率，首先需要確定3個參數：ADDBN的層數、每一隱層的節點個數和訓練ADDBN模型需要的迭代次數。為此，利用全部樣本進行大量試驗對比獲得較優的3個參數值[30]。模型評價指標選擇為均方誤差，即當誤差值較大時，說明模型的預測能力較低；反之則說明模型預測精度較高。當輸出訓練樣本集的預測誤差達到最小時的模型作為最終輸出模型[21,24-25]。采用10-折交叉驗證法對6 000個環境信息向量進行病蟲害預測試驗，即將6 000個樣本數據集分成10份，每份600個，依次將其中9份作為訓練數據集訓練模型，然后將剩余的1份作為測試集輸入到訓練好的模型進行病蟲害預測試驗，重復訓練多次，由試驗結果來確定所提出模型的參數。在試驗中，輸入神經元數為12，輸出神經元數為5。為了簡化預測模型，初步選擇2~4個RBM和一個DRBM進行訓練。訓練時采用自適應學習率，分組訓練大小設置為32，動量為0.5。試驗發現，在RBM層數大于4時，預測模型的效果隨著層數的增加而有所降低，預測訓練時間也隨之增加，這說明預測模型的效果與RBM層數增長之間并非成正比關系。在此基礎上進一步確定各層神經元數量，經過反復試驗，得到每個隱層神經元數為264時獲得的高層特征效果最佳。最終確定的模型結構為1個輸入層、3個RBM和一個DRBM。試驗中，各節點輸出值大于等于0.90，則判定為該類，預測結果為正確識別樣本數與測試集中總樣本數的百分比。經過以上模型訓練后，再重新進行10-折交叉驗證法試驗，得到10個測試結果，將10次試驗結果的平均值作為1次10-折交叉驗證的試驗結果。重復進行10-折交叉驗證試驗50次，計算50次試驗的平均值，得到棉花的3種蟲害和2種病害的平均預測試驗結果見表1。為了表明本文提出方法的有效性，表1中還給出了基于BP神經網絡的（BPNN）[26]、基于強模糊支持向量機（SFSVM）[31]和基于RBF網絡（RBFNN）[32]的棉花3種蟲害2種病害的預測結果。為了說明本文方法的有效性，給出了基于傳統DBN的識別結果，其中DBN的網絡結構和初始參數與ADDBN相同，只是將最后一層的DRBM替換為BP神經網絡，并采用固定學習率為0.3[30]。為了說明本文方法的可行性，比較本文方法與BPNN、SFSVM、RBF和DBN的時間復雜度。在一次10-折交叉驗證的10次試驗中，在本文方法和4種比較方法中，設置訓練終止條件都為2次連續迭代預測結果的誤差為0.001，在PC機中計算各種方法的10次試驗訓練時間的平均值，作為各種方法的訓練時間；然后計算得到10個預測結果的預測時間的平均值，作為各種方法的預測時間，見表2。

為了說明自適應學習率對網絡訓練收斂性的影響，將ADDBN與傳統的DBN在3個不同的固定學習率（0.1、0.3和0.6）情況下，對訓練收斂性的影響進行比較。試驗采用10-折交叉驗證法。圖4給出了DBN（取3個固定學習率）和ADDBN在相同的隱藏層數及節點數的情況下，不同的迭代次數對應的預測結果。其中DBN（0.1）、DBN（0.3）和DBN（0.6）分別表示學習率為0.1、0.3和0.6時的DBN模型對應的預測率。

表1 基于5種預測模型的棉花病蟲害的預測準確率

表2 5種預測方法的訓練時間和預測時間

圖4 不同迭代次數下ADDBN和DBN（n= 0.1、0.3和0.6）的預測準確率

3 討 論

從表1可以看出，基于DBN和ADDBN的棉花病蟲害預測模型的預測準確率遠高于其他3種預測模型，其原因是這兩種預測模型充分利用了12種環境信息，能夠從復雜的環境信息中深度挖掘到影響棉花病蟲害發生和發展的主要預測特征，從而得到較高的預測結果。ADDBN比傳統的預測方法BPNN、SFSVM和RBFNN的平均預測準確率分別提高了19.248%、24.916%和27.774%。其原因是傳統模型的預測方法是完全基于輸入樣本特征的，不可避免引入了不相關因素等噪聲，導致預測準確率不高。ADDBN比現有的DBN的預測準確率提高了2.784%，其主要原因是ADDBN在學習過程中能夠將類別信息引入到模型訓練中，使訓練具有監督性，由此弱化傳統RBM在無監督訓練時出現訓練時間長和過擬合問題，從而提高了數據擬合度。

由表2可以看出，相對于淺層學習方法（SVM）和淺層神經網絡（BPNN和RBFNN），DBN和ADDBN的訓練階段的耗時很長，則時間復雜度較高，但是測試階段都比較快，所以可以應用于作物病蟲害預測任務。ADDBN比DBN的訓練時間快2 673 s，其原因是ADDBN采用了自適應學習率，能夠較快收斂到最優解。

從圖4可以看出，隨著迭代訓練次數的增加，病蟲害的預測率有所提升。在迭代次數不多時，DBN和ADDBN的預測結果差別不大，但當迭代次數大于600時，ADDBN的預測結果明顯優于DBN。特別地，當迭代次數增加時，網絡的收斂速度顯著加快，直至趨于穩定。原因是ADDBN采用了自適應學習率，在模型學習過程能夠朝著權值參數最優值的方向優化。由圖4也可以看出，DBN中學習率越大，則收斂速度快，但過大可能引起模型不穩定；學習率越小，則收斂速度較慢。圖4結果說明，學習率是DBN的一個重要參數。

因獲取環境信息數據源的渠道單一，而且本研究所用數據量有限，下一步將嘗試擴大訓練樣本和測試樣本數據量，使用更多歷史數據訓練所提出的預測網絡，構建基于該網絡的病蟲害預測系統。

值得指出的是，本文主要討論了棉花病害和蟲害發生的預測模型。由于沒有得到作物病害和蟲害同時發生情況下的環境信息數據，所以本文沒有考慮兩者同時發生的情況。實際上，病害和蟲害同時發生也是可能發生的一種情況。由于病害和蟲害同時發生的預測問題比單一的病害或蟲害發生的預測問題復雜很多，目前鮮見此類預測模型。這也將是下一步研究的主要方向之一。

4 結 論

面對海量、復雜、多變的環境信息，傳統的基于淺層學習算法的作物病蟲害預測模型難以從高維復雜的環境信息中學習到與病蟲害發生相關的預測特征，所以得到的預測準確率不高、模型不穩定。本文以相對濕度、平均氣溫、降雨量和日照時數等12種環境信息，建立基于ADDBN的棉花病蟲害預測模型。在棉花的3種蟲害和2種病害的環境信息數據集上進行了試驗驗證，并與其他3種預測模型進行了比較。結果表明：

1）該模型整合了海量、多源的環境信息數據，能夠深度挖掘與病蟲害發生相關的環境信息之間內在的關系，在一定程度上克服了基于傳統神經網絡的作物病蟲害預測方法的缺陷，與傳統的BPNN相比，預測準確率提高了19.248%；與DBN相比，預測準確率提高了2.784%。

2）該模型采用自適應學習率，克服了DBN中固定學習率出現的收斂速度慢和容易陷入局部最優的問題，訓練時間縮短了2 673 s。

3）該模型為農作物病蟲害預測提供了一種新思路。但文中還存在一些問題：關于ADDBN的隱含層數、隱含層神經元數等的設置幾乎沒有理論依據和行之有效的統一的設置方法，一般依靠經驗和試驗設置，再多次進行調整，由此花費的時間比較長，限制了基于ADDBN的棉花預測模型的應用范圍。下一步研究重點為尋找ADDBN的參數設置的思路和依據，進一步研究當病害與蟲害同時發生時，如何利用ADDBN進行病蟲害預測。

[1] 趙冰梅，李賢超，王俊剛. 2011年新疆兵團棉花病蟲害發生特點及原因分析[J]. 中國棉花，2012，39(3)：9－11.Zhao Bingmei, Li Xianchao, Wang Jungang. Analysis of the characteristics and causes of cotton disease and insect pests in Xinjiang Corps in 2011[J]. Chinese cotton, 2012, 39(3): 9－11. (in Chinese with English abstract)

[2] 趙冰梅，李賢超. 新疆兵團棉花中后期主要病蟲害發生趨勢及防治對策[J]. 中國棉花，2012，39(17)：13－14. Zhao Bingmei, Li Xianchao. Occurrence trend and control countermeasures of main cotton diseases and insect pests in middle and later stage of xinjiang production and construction crops[J]. Chinese cotton, 2012, 39(17): 13－14. (in Chinese with English abstract)

[3] 葉彩玲，霍治國，丁勝利，等. 農作物病蟲害氣象環境成因研究進展[J]. 自然災害學報，2005，24(1)：90－97. Ye Cailing, Huo Zhiguo, Ding Shengli, et al. Advance in study on formation of meteorological environment causing crop's diseases and insect pests[J]. Journal of Natural Disasters, 2005, 14(1): 90－97. (in Chinese with English abstract)

[4] 陳懷亮，張弘，李有. 農作物病蟲害發生發展氣象條件及預報方法研究綜述[J]. 中國農業氣象，2007，28(2)： 212－216 Chen Huailiang, Zhang Hong, Li You. Summary of meteorological conditions and forecasting methods of crop diseases and insect pests development[J]. Chinese Journal of Agrometeorology, 2007, 28 (2): 212－216. (in Chinese with English abstract)

[5] 王翔宇，溫皓杰，李鑫星，等. 農業主要病害檢測與預警技術研究進展分析[J]. 農業機械學報，2016，47(9)： 266－277.Wang Xiangyu, Wen Haojie, Li Xinxing, et al. Research progress analysis of mainly agricultural diseases detection and early warning technologies[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(9): 266－277. (in Chinese with English abstract)

[6] 劉俊稚. 幾種典型植物對大氣CO2濃度升高的生理和病理響應研究[D]. 杭州：浙江大學，2010.Liu Junzhi. Study on Eco-physiological and Pathological Pesponses of Several Typical Plant Species to Elevated Atmospheric CO2[D]. Hangzhou: Zhejiang University, 2010. (in Chinese with English abstract)

[7] 石盼. 基于嵌入式的設施農作物病蟲害診斷終端系統的研究與設計[D]. 銀川：北方民族大學，2016.Shi Pan. The Research and Design of Amenities Crop Pests and Diseases Diagnostic Terminal System Based on Embedded Technology[D].Yinchuan: Beifang Univesity of Nationality, 2016. (in Chinese with English abstract)

[8] Qinghai He, Benxue Ma, Duanyang Qu. Cotton pests and diseases detection based on image processing[J]. Telkomnika, 2013,11(6): 3445－3450.

[9] Supriya S Patki, G S Sable. A review: cotton leaf disease detection [J]. IOSR Journal of VLSI and Signal Processing, 2016,6(3):78－81.

[10] 趙慶展，靳光才，周文杰，等. 基于移動GIS的棉田病蟲害信息采集系統[J]. 農業工程學報，2015，31(4)：183－190. Zhao Qingzhan, Jin Guangcai, Zhou Wenjie, et al. Information collection system for diseases and pests in cotton field based on mobile GIS[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(4): 183－190. (in Chinese with English abstract)

[11] 趙冰梅，李紅，李賢超. 2017年新疆兵團棉花主要病蟲害發生預測及防治對策[J]. 中國棉花，2017，44(4)：1－2.Zhao Bingmei, Li Hong, Li Xianchao. Prediction and prevention and control of the main diseases and insect pests of cotton in Xinjiang Corps in 2017[J]. Chinese Cotton, 2017, 44(4): 1－2. (in Chinese with English abstract)

[12] 陳光絨，李小琴. 基于物聯網技術的農作物病蟲害自動測報系統[J]. 江蘇農業科學，2015，43(4)：406－410. Chen Guang rong, Li Xiaoqin. Automatic measurement and report system of crop diseases and insect pests based on Internet of things technology[J]. Jiangsu agricultural science, 2015, 43(4): 406－410. (in Chinese with English abstract)

[13] 王翔宇，溫皓杰，李鑫星. 農業主要病害檢測與預警技術研究進展分析[J]. 農業機械學報，2016，47(9)：266－277. Wang Xiangyu, Wen Haojie, Li Xinxing. Analysis of the research progress on the detection and early warning technology of major agricultural diseases[J]. Transaltions of the Chinese Society for agricultural machinery, 2016, 47(9): 266－277. (in Chinese with English abstract)

[14] 張恩迪，張佳銳. 基于物聯網的農業蟲害智能監控系統[J]. 農機化研究，2015(5)：229－234. Zhang Endi, Zhang Jiarui. Intelligent monitoring system of agricultural pests based on IOT[J]. Journal of Agricultural Mechanization Research, 2015(5): 229－234. (in Chinese with English abstract)

[15] Sannakki S, Rajpurohit V S, Sumira F, et al. A neural network approach for disease forecasting in grapes using weather parameters[C]// International Conference on Computing. IEEE, 2013: 1－5.

[16] Mingwang Shi. Based on time series and RBF network plant disease forecasting[J]. Procedia Engineering, 2011, 15: 2384－2387.

[17] Mads Dyrmann, Henrik Karstoft, Henrik Skov Midtiby. Plant species classification using deep convolutional neural network[J]. Biosystems Engineering, 2016, 151: 72－80.

[18] Sladojevic S, Arsenovic M, Anderla A, et al. Deep neural networks based recognition of plant diseases by leaf image classification[J]. Computational Intelligence and Neuroscience, 2016(6): 1－11.

[19] 尹文君，張大偉，嚴京，等. 基于深度學習的大數據空氣污染預報[J]. 中國海軍管理，2015(6)：46－52. Yin Wenjun, Zhang Dawei, Yan Jing, et al. Large data air pollution forecast based on deep learning [J]. Chinese Navy Management, 2015(6): 46－52. (in Chinese with English abstract)

[20] 羅向龍，焦琴琴，牛力瑤，等. 基于深度學習的短時交通流預測[J]. 計算機應用研究，2017，34(1)：91－93. Luo Xianglong, Jiao Qinqin, Niu Liyao, et al. Short-term traffic flow prediction based on deep learning[J]. Application Research of Computers, 2017, 34(1): 91－93. (in Chinese with English abstract)

[21] Lü Y, Duan Y, Kang W, et al. Traffic flow prediction with big data: a deep learning approach[J]. IEEE Transactions on Intelligent Transportation Systems, 2015, 16(2): 865－873.

[22] Hu Q, Zhang R, Zhou Y. Transfer learning for short-term wind speed prediction with deep neural networks[J]. Renewable Energy, 2016, 85: 83－95.

[23] Zhao Y, Li J, Yu L. A deep learning ensemble approach for crude oil price forecasting[J]. Energy Economics, 2017, 66: 9－16.

[24] 喬俊飛，王功明，李曉理，等. 基于自適應學習率的深度信念網設計與應用[J]. 自動化學報，2017，43(8)：1339－1349 Qiao Junfei, Wang Gongming, Li Xiaoli. Design and application of deep belief network with adaptive learning rate[J]. Acta Automatica Sinica, 2017, 43(8): 1339－1349. (in Chinese with English abstract)

[25] Zhao Z, Jiao L, Zhao J, et al. Discriminant deep belief network for high-resolution SAR image classification[J]. Pattern Recognition, 2017, 61: 686－701.

[26] 胡小平，梁承華，楊之為，等. 植物病蟲害BP神經網絡預測系統的研制與應用[J]. 西北農林科技大學學報(自然科學版)，2001，29(2)：73－76.Hu Xiaoping, Liang Chenghua, Yang Zhiwei, et al. Development and application of the BP neural network prediction system on plant diseases and pests[J]. Journal of Northwest Science-Technology University of Agriculture and Forest (Nat. Sci. Ed.), 2001, 29(2): 73－76. (in Chinese with English abstract)

[27] 陳兵，李少昆，王克如，等. 棉花黃萎病病葉光譜特征與病情嚴重度的估測[J]. 中國農業科學，2007，40(12)： 2709－2715. Chen Bing, Li Shaokun, Wang Keru, et al. Spectrum characteristics of cotton single leaf infected by verticillium wilt and estimation on severity level of disease[J]. Scientia Agricultura Sinica, 2007, 40(12): 2709－2715. (in Chinese with English abstract)

[28] 姜培剛. 氣候變化對昌邑市農作物病蟲害發生程度的影響[D]. 泰安：山東農業大學，2015. Jiang Peigang. Influence of Climate Change on the Occurrence of Crop Diseases and Insect Pests in Changyi[D].Tai’an: Shandong Agricultural University, 2015. (in Chinese with English abstract)

[29] Larochelle H, Mandel M, Pascanu R, et al. Learning algorithms for the classification restricted Boltzmann machine[J]. Journal of Machine Learning Research, 2012, 13(1): 643－669.

[30] 周兆永，何東健，張海輝，等. 基于深度信念網絡的蘋果霉心病病害程度無損檢測[J]. 食品科學，2017，38(14)：297－303. Zhou Zhaoyong, He Dongjian, Zhang Haihui, et al. Non- destructive detection of moldy core in apple fruit based on deep belief network[J]. Food Science, 2017, 38(14): 297－303. (in Chinese with English abstract)

[31] 楊志民，梁靜，劉廣利. 強模糊支持向量機在稻瘟病氣象預警中的應用[J]. 中國農業大學學報，2010，15(3)： 122－128. Yang Zhimin, Liang Jing, Liu Guangli. Application of strong fuzzy support vector machine on weather early warning of rice blast[J]. Journal of China Agricultural University, 2010, 15(3): 122－128. (in Chinese with English abstract)

[32] 符保龍. RBF網絡在農業病蟲害預測中的應用研究[J]. 安徽農業科學，2008，36(1)：388－389. Fu Baolong. Application research of RBF network in forecasting agricultural disease and insect pest[J]. Journal of Anhui Agricultural Sciences, 2008, 36(1): 388 －389. (in Chinese with English abstract)

Forecasting of cotton diseases and pests based on adaptive discriminant deep belief network

Wang Xianfeng1, Zhang Chuanlei2※, Zhang Shanwen1, Zhu Yihai3

(1.710123,; 2.300457,; 3.98103,)

Cotton diseases and pests seriously affect cotton quantity. Timely and accurate prediction of diseases and pests is very important for crop growers to effectively prevent and monitor cotton diseases and pests. Cotton diseases and pests can be forecast by environmental and weather information. Through various sensors in the internet of things, it is easy to acquire a lot of environmental and weather information, and many cotton existing prediction methods, techniques and systems have been proposed. However, the occurrence and development of cotton diseases and pests involve various factors, among which there are complex interactions and mutual influences. The traditional prediction model of cotton diseases and insect pests has limited expression ability and generalization ability, and the accuracy of prediction is not high. Many existing prediction models cannot meet the actual needs of pest and disease prediction system. Therefore, the prediction of cotton diseases and pests is still a challenging problem in computer vision. In recent years, deep learning networks have won numerous contests in pattern recognition and machine learning. Deep belief network (DBN) is one of the most widely used deep learning models and has been successfully applied in many fields. DBN is a superposition model composed of several restricted Boltzmann machines (RBM). However, in DBN, there are a lot of problems, such as time-consuming to pre-train, easy to get into the local optimal solution, unsupervised training and poor generalization. An adoptive discriminant deep belief network (ADDBN) is proposed to solve the time-consuming problem in the pre-training process of DBN, and then a forecasting model of cotton diseases and pests is proposed based on environmental information and ADDBN. ADDBN is constructed by three RBMs (restricted Boltzmann machine) and a discriminant RBM (DRBM). In DRBM, the label information is introduced to training process of RBM, and the discriminant information is added into learning process through constraint on the similarity of feature vectors to improve the forecasting rate. In ADDBN, an adaptive learning rate is introduced into the contrastive divergence algorithm to accelerate the model convergence. Comparing with DBN, the proposed model has two advantages, (1) adaptive learning rate is introduced into the contrast algorithm to automatically adjust learning step, which can solve the problem to choose the learning rate in the training traditional DBN model; (2) the class information of samples is introduced into DRBM in the learning process. Then the model can be targeted trained, which can weaken the characteristic homogeneous in unsupervised training the traditional RBM and improve the forecasting accuracy of the model. Finally, a series of experiments were carried out on a dataset of cotton diseases and pests to test the performance of ADDBN. The results showed that the convergence rate is accelerated significantly and the forecasting accuracy is improved as well. The experiment results on the environmental information database of "three worms and two diseases" of cotton in recent 6 years showed that the proposed prediction model has better prediction effect than the traditional prediction model such as BPNN, SFSVM and RBFNN, the prediction performance is improved by 19.248%, 24.916% and 27.774% respectively. It is an effective method to predict crop pests and diseases with faster convergence rate, good generalization ability and higher prediction effect.

diseases; forecasting; models; cotton; deep belief network (DBN); adoptive discriminant

10.11975/j.issn.1002-6819.2018.14.020

TP391

A

1002-6819(2018)-14-0157-08

2018-02-03

2018-04-09

國家自然科學基金項目(61473237)

王獻鋒，男，西安人，副教授。研究方向為機器學習及其在植物病蟲害識別與預測中的應用。Email：wangxianfeng@xijing.edu.cn

張傳雷，男，山東沂源人，副教授。研究方向為深度學習及其應用。Email：al7647@Gmail.com

王獻鋒，張傳雷，張善文，朱義海.基于自適應判別深度置信網絡的棉花病蟲害預測[J]. 農業工程學報，2018，34(14)：157－164. doi：10.11975/j.issn.1002-6819.2018.14.020 http://www.tcsae.org

Wang Xianfeng, Zhang Chuanlei, Zhang Shanwen, Zhu Yihai. Forecasting of cotton diseases and pests based on adaptive discriminant deep belief network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(14): 157－164. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.14.020 http://www.tcsae.org