基于深度卷積神經網絡的水稻穗瘟病檢測方法

黃雙萍，孫 超，齊 龍，馬 旭，汪文娟

?

基于深度卷積神經網絡的水稻穗瘟病檢測方法

黃雙萍1，孫 超2，齊 龍2※，馬 旭2，汪文娟3

（1. 華南理工大學電子與信息學院，廣州510641；2. 華南農業大學工程學院，廣州 510642； 3. 廣東省農業科學院植物保護研究所，廣州 510640）

穗瘟是一種嚴重影響水稻產量及品質的多發病害，有效地檢測穗瘟是水稻病害防治的重要任務。該文提出基于深度卷積神經網絡GoogLeNet模型的水稻穗瘟病檢測方法，該方法利用Inception基本模塊重復堆疊構建主體網絡。Inception模塊利用多尺度卷積核提取不同尺度穗瘟病斑分布式特征并進行級聯融合。GoogLeNet利用其結構深度和寬度，學習復雜噪聲高光譜圖像的隱高維特征表達，并在統一框架中訓練Softmax分類器，實現穗瘟病害預測建模。為驗證該研究所提方法的有效性，以1 467株田間采集的穗株為試驗對象，采用便攜式戶外高光譜成像儀GaiaField-F-V10在自然光照條件下拍攝穗株高光譜圖像，并由植保專家根據穗瘟病害描述確定其穗瘟標簽。所有高光譜圖像-標簽數據對構成GoogLeNet模型訓練和驗證的原始數據集。該文采用隨機梯度下降算法（SGD, stochastic gradient descent）優化GoogLeNet模型，提出隨機扔棄1個波段圖像和隨機平移平均譜圖像亮度的2種數據增強策略，增加訓練數據規模，防止模型過擬合并改善其泛化性能。經測試，驗證集上穗瘟病害預測最高準確率為92.0%。試驗結果表明，利用GoogLeNet建立的深度卷積模型，可以很好地實現水稻穗瘟病害的精準檢測，克服室外自然光條件下利用光譜圖像進行病害預測面臨的困難，將該類研究往實際生產應用推進一大步。

病害；模型；圖像處理；高光譜成像；穗瘟病檢測；深度卷積神經網絡；GoogLeNet

0 引 言

稻瘟病是中國南北稻作區危害最嚴重的病害之一，其年平均發生面積達380×104hm2，稻谷年損失數億公斤。如果遭遇病害流行年份，一般減產10%～20%，嚴重時達40%~50%，甚至絕收[1]。穗瘟發生在穗頸、穗軸、枝梗或穗粒上，病害直接影響水稻產量和質量，因而加強對穗瘟病防治是水稻安全生產的重要環節。準確地檢測穗瘟病害，對評估水稻品種的穗瘟抗性，以及生產過程中水肥或農藥等農資資源的合理精量施用管理等具有指導性作用。

目前，穗瘟病害檢測主要由人工完成，因穗瘟病判定有嚴格技術規范，普通人很難進行可靠病害判定。由植保專家和農技人員分析評判, 則需要花費大量時間和精力。現代農業生產對穗瘟病害預測預報的準確率要求越來越高，這對水稻病害診斷技術提出了新的要求[2-6]。

穗瘟病害由真菌病原侵入引發，導致穗株發生一系列形態、生理和生化方面的變化。這些變化因處于不同病害侵入階段而呈現非視覺可見的隱性癥狀，或視覺可見顯性癥狀，甚至導致外部形態發生明顯變化。高光譜成像基于水稻穗瘟病害脅迫下表現出的光譜特性差異，利用掃描式成像傳感器獲取水稻三維光譜圖像，既包含連續光譜信息，又提供植物病害空間分布信息；既能獲得病害顯癥，又能獲得病害隱癥。因此，高光譜成像成為穗瘟病害定量信息獲取的重要手段。

基于光譜成像的植物病害檢測研究工作在過去的20多年間從未間斷過。基于篇幅考慮，僅對利用光譜成像進行稻瘟病檢測的研究工作進行綜述。馮雷等[7]應用多光譜成像技術對水稻葉瘟病檢測分級方法進行了研究。張浩等[8]研究了水稻穗頸瘟，并利用多光譜圖像分割結果估測穗頸瘟發病程度。Qi等[9-10]對水稻單株感病樣本和健康樣本多光譜圖像特征進行分析，建立了葉瘟病分級檢測模型；對單株樣本接種病菌后的各波段圖像灰度隨時間的變化規律進行分析，建立了單株樣本早期檢測模型，實現對稻瘟病害分級和早期識別，在實驗室條件下取得良好精度。這些研究工作基于多光譜成像，獲取3～5個波段的離散圖譜信息，且局限于實驗室固定光照條件下病害信息獲取和分析。許多科研工作者直接利用高光譜圖像進行稻瘟病害分析的研究工作[11-16]。楊燕[11]用近紅外高光譜圖像檢測水稻苗瘟。Kobayashi等[12]用機載高光譜系統拍攝大面積田間稻穗，評價穗瘟分布及嚴重程度。鄭志雄等[13]利用HyperSIS高光譜成像系統采集不同病害等級的水稻葉片高光譜圖像，通過分析葉瘟病斑區域與正常葉片區域的光譜特征，對差異較大的550和680 nm波段進行二維散點圖分析，提取只含病斑的高光譜圖像；在此圖像上提取延伸率和受害率2個參數，據此對水稻葉瘟病害進行分級。黃雙萍等[14-15]提出光譜詞袋（bag of spectrum words, BoSW）模型分析稻穗高光譜圖像，這種基于詞典學習的特征建模方法，引入數據驅動的學習機制，使得基于光箱操作采集高光譜圖像的穗瘟檢測方法取得良好效果。然而，這些研究工作仍局限于數十或百數量級的樣本規模，并局限于固定光源光箱操作獲取高光譜圖像的應用場景，與實際生產仍有一定距離。

自20世紀90年代，Lecun等在論文中確定卷積神經網絡（CNNs, convolutional neural networks）基本架構[17]后，CNNs就成為最流行的深度學習算法。最近，CNNs在圖像識別，語音識別和自然語言處理等模式識別領域取得顯著成果[18-28]。CNNs能夠直接從原始數據中，通過深度網絡參數不斷學習優化，提取數據隱含語義概念的分布式特征。Krizhevsky等[18]提出AlexNet深度卷積神經網絡經典結構，克服CNNs難以訓練的困難，并在圖像識別任務上取得重大突破。自AlexNet取得成功后，研究人員先后提出許多著名的CNNs變種網絡模型[19-21,29]。其中GoogLeNet[21]是一個22層的深度網絡，相比只有8層的AlexNet卻少了12倍模型參數，其核心思想是增加大量Inception模塊，找出最優局部稀疏結構并稠密化。同時，在需要大量計算核卷積運算前靈活運用1×1卷積進行合理降維，并調整不同層的線性程度。

本文提出用深度卷積神經網絡GoogLeNet進行穗瘟特征學習，建立穗瘟病害檢測模型，并驗證模型有效性，以期解決因便攜高光譜成像帶來更為復雜的數據噪聲引致的建模困難問題。

1 試驗材料及樣本采集

1.1 試驗材料

廣東省廣州市從化呂田鎮蓮麻村地處23°53′N， 113°59′E位置，海拔高度350～400 m，年均降水量1 800～2 200 mm，年平均溫度19.5～21.4 ℃。該地濕度較大，雨量充沛，氣候溫暖，成為稻瘟病自然誘發的天然病區。廣東省農業科學院在面積約為3 133 m2的試驗田種植了71個水稻品種。水稻種植采取灌溉圃移栽法，每份水稻插植30叢（每份水稻6行，每行水稻分屬5科），2次重復。每列各品種每行兩邊插植1~2棵誘發品種，誘發品種為感病品種CO39。病圃材料進入黃熟初期后進行穗瘟樣本采集。這種自然環境下大田樣本采集的試驗研究方式，有利于研究本文方法在大田環境下的有效性。2015年11月13日，從呂田試驗田采集1 467株稻穗樣本，這些樣本覆蓋全部71個水稻品種。在進行簡單泥水清理后即進行連續3日的光譜圖像采集。采集過程白天在自然光環境下完成，晚上在白熾燈照明條件下完成。在3 d持續拍攝和穗瘟定標過程中，先后出現部分穗株發霉，水分損失的現象。為了模擬真實生產場景的差異性和復雜性，只扔棄了發霉嚴重的穗株，對不同干濕程度和略有發霉的樣本繼續進行樣本采集和標定，這種無過多約束的光譜圖像采集過程等同于在數據中混入了因含水量或霉變引發樣本外觀及生化變化而帶來的復雜噪聲，引起數據較為嚴重的降質。因此，后續病害建模將面臨更大挑戰，但也是實際生產應用必須面對的困難。本文希望通過這種更加接近實際應用場景的研究方式尋找更為魯棒的穗瘟檢測方法，以期向實際生產應用跨進一步。

由于樣本采摘的隨意性、品種的多樣性，采集的1 467個穗株樣本外觀尺寸差異較大。圖像尺寸寬度為600～900像素，高度為700～1 000像素。圖1列出了部分穗株樣本的高光譜平均譜圖像，該圖像是沿著三維光譜圖像的波段軸對空間像素點求算術平均獲得。從圖中可以看出，稻穗樣本的顆粒密度、側枝及主軸形態、相對分布位置等均呈現較大差異。這些外觀差異導致樣本在高光譜圖像空間維度內的多樣性。從圖1可看出，在變化的自然光照條件下高光譜圖像樣本呈現明顯差異性。這些因素均會給高光譜圖像穗瘟病害建模帶來困難。

圖1 平均高光譜圖像外觀及亮度多樣性示例

1.2 光譜圖像測定

穗株高光譜圖像測定采用四川雙利合譜科技有限公司的GaiaField-F-V10便攜式戶外高光譜成像系統，其核心器件采自芬蘭Specim透射式光柵成像光譜儀，覆蓋從可見光到近紅外光的波段區域（400～1 000 nm），光譜分辨率為4 nm，光譜波段數達260個。試驗搭建的測試平臺如圖2所示。從圖2中看出，該測試平臺包括三腳架支撐的高光譜相機，安裝光譜分析軟件的筆記本電腦和反射白板上掛著的穗株，測試過程在自然光源條件下完成。測試過程用自動調焦實現對物距的測量，自動調焦模組15 s內自動完成對焦，只需一鍵單擊即可全自動完成測試過程。從測試過程看，樣本測試光照條件不可控，太陽光照因時段和天氣均可發生變化；白天太陽光源和晚上白熾燈光環境也引起拍攝條件的巨大差異。

1.高光譜相機 2.反射板 3.三角架 4.筆記本 5.穗株樣本

高光譜圖像數據處理在ENVI 5.1（Research System Inc，Boulder，Co.，USA）和Matlab 2016a（The Math Works，Natick，USA）軟件平臺完成。每棵穗株高光譜圖像是260個波段重疊起來的圖像，可以看成有3個軸的立方體數據，包括表示圖像像素位置的、軸以及譜方向軸。不同病害程度的稻穗樣本平均光譜有差異，需要合適的數據分析方法進行區分。本文試驗總共采集1 467個樣本，分成染病和無染病2個病級，其中染病樣本1 220個，無染病樣本247個。

1.3 穗瘟病害定義和描述

穗瘟病害標定以國際水稻所關于水稻穗瘟抗性定級標準[30]為基礎，凡是有發病癥狀、無論枝梗，穗主軸、穗頸基部等位置有病斑，或者水稻顆粒有感染，都標定為病害樣本。病斑位置和感染顆粒比率的差異性，組合出病害樣本的極大多樣性。無病害樣本因稻穗顆粒豐滿程度，枝梗等不同分布也呈現較大多樣性。這些多樣決定樣本空間的復雜性，用固定規則的手工特征將高光譜圖像抽象成特征數據會面臨較大挑戰。為了更加形象地描述病害和非病害樣本差異及因此而呈現的多樣性，圖3給出了1種無病害和3種不同病斑分布的示意圖。圖中黃色表示病害侵染部位。病害標簽由植保專家根據上述描述標定，作為預測目標真實值。

圖3 穗瘟標定示意圖

2 試驗方法

2.1 數據預處理

試驗中以光譜維度方向計算高光譜圖像的平均譜圖像，作為深度卷積神經網絡的建模輸入。考慮到原始高光譜圖像空間分辨率較大，在進行數據建模之前，對原始圖像進行簡單粗裁切，去除無稻穗的背景部分。切割處理后，光譜圖像的空間分辨率降低為寬度400～900像素，高度200～800像素。粗切割后光譜圖像空間分辨率直方圖見圖4。根據直方圖，光譜圖像寬度主要集中于200像素附近，高度集中于600像素附近，故確定將平均高光譜圖像尺寸歸一化為200×600像素，以取得分類效果和速度的平衡。

圖4 粗切割后平均高光譜圖像寬高尺寸直方圖

2.2 數據增強

本文試驗包括1 467個高光譜圖像-穗瘟病害標定數據對，構成論文試驗數據集。其中247個未染病樣本，其標簽為0；1 220個不同程度的穗瘟染病樣本，其標簽為1。從2類樣本中各隨機選取100個樣本構成測試集，剩余部分構成訓練集。因此，訓練集包括147個0類樣本（亦稱“負樣本”）和1 120個1類樣本（亦稱“正樣本”）。對于采用GoogLeNet建模的2分類問題，有如下要點需要考慮：第一，GoogLeNet是一個深度卷積神經網絡模型，需基于大數據和標定監督機制進行模型訓練，充分的訓練數據是該方法發揮知識挖掘能力的前提。由于原始穗株高光譜數據采集過程耗時，耗力且高成本，僅僅依靠原始數據采集保證充足的數據量不太現實。本研究現有數據規模相對深度網絡尚顯不夠；第二，兩類問題模型訓練過程正負樣本均衡對無偏模型訓練并取得較好預測效果影響明顯。本文試驗1 120和147的正負訓練樣本比將近8，容易引發模型訓練失偏。本文將在數據增強過程中彌補訓練數據不平衡的狀況，達到正負樣本基本平衡。

針對訓練樣本數量不夠，本文提出了2個數據增強策略：隨機扔棄波段圖像和隨機平移平均高光譜圖像亮度。隨機扔棄波段的數據增強策略是從高光譜圖像260個波段中隨機扔棄1個波段信息，再計算平均譜圖像。這種數據增強策略提出依據是高光譜成像儀具有超高光譜維度上的分辨率，例如，本研究使用的GaiaField-F-V10光譜儀分辨率最高達2.8 nm。因此，穗株高光譜立方體圖像中，包括大量數據冗余。隨機扔棄某個單一波段信息，對這種超多維光譜立方體圖像而言，導致的信息損失可通過鄰近波段攜帶的相關信息進行一定程度彌補，不會引起數據點“質”的變化。從數據的角度，這種隨機扔棄某個單一波段的策略可理解為引進隨機數據噪聲，這對于本研究采用的數據驅動深度卷積神經網絡而言，適度數據噪聲和因此帶來的數據多樣性，會使訓練的模型具有更強的泛化能力。在后續試驗中，隨機扔棄波段圖像信息形成樣本副本，其穗瘟病害標簽不變，與副本數據構成一個獨立數據對。

根據隨機扔棄單一波段的數據增強操作模式，147個未染病穗瘟樣本通過一輪隨機扔棄波段操作可增強為294個。1 120個染病穗株樣本則可增強為2 240個。考慮到2分類對正負樣本平衡性的要求，本文試驗對負樣本進行15輪隨機操作，這樣總共得到2 352個負樣本；正樣本進行1輪隨機操作，總共得到2 240個正樣本。這樣，正負樣本基本達到平衡。

本文提出的第2個數據增強策略是隨機平移平均光譜圖像亮度。便攜戶外高光譜儀采集穗株高光譜圖像在動態變化的自然光條件下進行，因此，平均譜圖像呈現明顯亮度差異，如圖1所示。為增強GoogLeNet模型對光照變化的適應性，隨機平移光譜圖像亮度增強數據，增加數據在光照亮度維方面的多樣性。圖5 給出平均光譜圖像3次隨機平移亮度后的效果示意圖。利用這種增強策略，可以增加成倍訓練數據量，增加樣本多樣性，提升模型泛化能力。

a. 原始平均譜圖像a. Original average spectrum imageb. 隨機亮度平移衍生譜圖像b. Derivative spectrum image after random light shifting

本文試驗將隨機扔棄波段得到的增強訓練數據集再做一次隨機亮度平移操作，得到本文實際訓練數據集，即：負樣本4 704，正樣本4 480，總樣本9 184。

圖6給出了GoogLeNet模型訓練所用的增強數據集形成流程圖。圖中實線框及實線箭頭表示數據處理相關操作及信息流向，虛線框及虛線箭頭表示深度模型相關信息及數據處理流向。

2.3 GoogLeNet網絡結構及優化訓練

GoogLeNet在經典卷積神經網絡LeNet-5[17]的基礎上，增加網絡寬度和深度，克服因深度和寬度增加帶來的參數量爆炸和優化計算量劇增問題，提高深度網絡模型質量。GoogLeNet通過設計Inception模塊，引入多尺度卷積提取多尺度局部特征。本文所使用的Inception模塊結構如圖7。Inception模塊在整個深度網絡結構中多次重復堆疊出22層深度的網絡結構。Inception結構模塊中所有參數都經過優化訓練得到。

圖6 用于GoogLeNet優化的增強數據集形成過程

圖7 Inception模塊結構示意圖

從圖7中看出，Inception模塊設計1×1、3×3和5×5卷積核分支，對穗瘟在不同部位的不同尺度病斑結構進行特征提取和學習。由此可知Inception模塊的多尺度設計非常適合這種穗瘟病害在稻穗圖像空間上的分散式、多形態、多尺度分布特點。圖7中顯示 Inception模塊3×3，5×5卷積和3×3最大池化分支中均額外設計1個1×1卷積核，構成級聯關系。這種1×1卷積核一方面用來增加網絡深度，改善網絡非線性程度；另一方面用以減少大卷積核（例如3×3，5×5）卷積對象的維度，降低運算量。這是本文GoogLeNet網絡模型在深度和寬度上得以拓展，但參數總量比經典VGG網絡成倍少的重要原因。Inception模塊接受前一層輸入，通過不同尺度和功能分支的并行處理后級聯形成該Inception模塊輸出，實現多尺度特征融合。

GoogLeNet主體部分由多個Inception模塊堆疊而成，隨著層次越靠近輸出預測，其學習得到的特征抽象程度越高，與標定語義間關聯性越發突出。GoogLeNet總體網絡結構如圖8所示。從圖8中看出，在靠近平均光譜圖像輸入層，采用傳統卷積神經網絡基本模塊，即卷積和池化層。考慮到GoogLeNet網絡層次比較深，該網絡增加局部歸一化層，規避因網絡深度導致的配準漂移。考慮到中間層次的特征已經具備一定程度的鑒別能力，同時考慮到因網絡層次過深易導致隨機梯度下降算法優化過程中的梯度消失問題，GoogLeNet在主干網絡的旁側增加2條額外的全連接Softmax分類器（圖8中虛線框所示）。模型優化過程中，用主干與分支分類器損失函數梯度之和更新網絡模型參數。測試過程中，則去掉相應分支分類器，只用主干分類器進行穗瘟病害預測。

圖8 GoogLeNet網絡結構圖

3 結果與分析

由前述章節知，參與GoogLeNet模型訓練的數據集包括4 480個穗瘟病害樣本，4 704個無穗瘟病害樣本。其中包括2種數據增強策略獲得的衍生樣本。測試數據集包括穗瘟病害正負樣本各100個，用以評估模型穗瘟病害預測性能，驗證方法的有效性。

試驗選定“分類準確率”作為評價指標。訓練GoogLeNet模型時，采用隨機梯度下降（SGD, stochastic gradient descent）算法進行優化。根據測試精度最優原則，設定動量參數momentum為0.9，初始學習率為 (1e-5)，學習率采取步進階梯調節策略step，即每隔3 000個訓練迭代調整一次學習率，學習率調整因子為0.96。梯度下降每次迭代更新樣本批包含樣本數量設為32，epoch數設為14。試驗分析了模型優化過程中隨著迭代次數增加，測試準確率和損失函數的變化趨勢，同時比較了本文方法和詞袋模型方法的穗瘟識別精度[14-15]。

3.1 SGD優化過程GoogLeNet模型性能變化趨勢

采用SGD算法優化GoogLeNet模型，對迭代過程中損失函數值的變化進行趨勢分析，對中間模型在測試數據集上進行穗瘟預測精度測試，以分析訓練過程模型性能的變化。圖9中藍色和橙色曲線分別表示迭代次數-損失函數值（Iterations-Loss）和迭代次數-測試準確率（Iterations-Accuracy）曲線。

圖9 損失函數值及精度隨迭代次數的變化

從圖9中看出，訓練過程中訓練損失函數呈下降趨勢，反應模型在優化過程中通過小批次樣本損失函數梯度的更新，其預測損失偏差逐步變小。同時，隨著迭代次數增加，模型在測試集上的預測準確率呈整體上升趨勢。訓練損失函數下降與測試集上預測精度的上升，反應模型在不斷迭代更新參數過程中性能得以優化。通過數據增強技術增加大量偽樣本，數據規模增加，數據多樣性突出等減少了深度GoogLeNet模型的過擬合，訓練出的模型具有較好泛化性能，因此對原始測試數據有很好的預測性能。當迭代次數達到4000時，其測試集上的最高準確率達到92.0%，根據Loss變化和測試精度變化趨勢，基本達到收斂狀態。

3.2 模型驗證

為驗證論文方法的有效性，進行GoogLeNet模型與詞袋模型方法的精度比較分析。詞袋模型的主要思想見參考文獻[9-10]，本試驗中的參數設置與文獻[9]相同，即詞典大小為450，微結構方格大小為16×16，金字塔層選擇1，SVM分類器采用卡方核函數等。詞袋模型參數基于最佳測試結果原則設定。將2種方法的試驗比較結果列于表1中。

為驗證論文方法的有效性，在本文采集的1 467對高光譜圖像-標簽數據集上進行GoogLeNet模型與詞袋模型的穗瘟預測精度比較。詞袋模型的主要思想見參考文獻[14-15]，試驗設置與文獻[15]相同，即詞典大小為450，微結構方格大小為16×16，金字塔層選擇1，SVM分類器采用卡方核函數等。試驗結果表明，GoogLeNet模型精度為92.0%，BoSW模型精度為78.3%。本論文提出的方法取得比BoSW高將近14個百分點的穗瘟預測準確率。

詞袋模型通過均勻劃分穗株空間位置上的病斑微結構高光譜曲線，利用-means聚類算法學習得到表征典型微結構的光譜詞集合，計算二維圖像空間中典型詞的直方圖分布，來表達穗株高光譜圖像。詞袋方法中嵌入基于數據的學習思路獲得詞典，但高光譜圖像的最終特征表達采用無學習機制的簡單直方圖統計。這種方法在室內光環境條件下的高光譜成像穗瘟檢測精度達96.4%[15]，但在室外任意動態自然光環境下高光譜圖像穗瘟檢測精度僅為78.3%，表明室外便攜式高光譜成像數據噪聲更強，多樣性更突出，帶來穗瘟檢測困難。本論文提出深度卷積GoogLeNet網絡模型，并基于平均高光譜圖像進行模型參數學習。平均譜圖像由沿著波段軸計算三維高光譜圖像的算術平均得到。該過程一定程度上降低了數據信噪比，且削弱了圖像可用性。但是，若不采用平滑處理，具有密集波段的光譜圖像中將含有大量冗余信息，帶來數據表達的降質。同時，三維高光譜數據量過大，不利于后續建模分析。本論文采用波段方向平均的高光譜圖像數據簡約處理，考慮了穗瘟病斑在植株上分散分布的特點，保留了像素空間分布。為彌補波段方向平滑操作導致的數據信噪比降低，本論文進一步采用建模能力強的深度卷積學習方法，強化后端模型學習能力并提升對噪聲的處理能力。試驗結果表明，數據驅動的CNN模型結合數據增強策略獲得足量樣本的方法更好地克服了戶外拍攝高光譜圖像進行穗瘟檢測面臨的挑戰，取得較好的穗瘟預測精準度。

4 結 論

1）本研究利用GoogLeNet模型進行穗瘟病害檢測。該方法著重解決一種更加貼近實際應用場景的穗瘟病害檢測問題，即：室外任意光照條件下便攜拍攝穗株高光譜圖像、樣本規模達千級、樣本因數據采集條件和水稻品種多樣等因素呈現突出多樣性。試驗結果表明，本文方法取得高達92.0%的穗瘟病害檢測精度，相比最新詞袋模型穗瘟檢測方法提高14個百分點。

2）本研究提出隨機扔棄1個波段圖像和隨機平移平均譜圖像亮度的高光譜數據增強技術。前者充分利用高光譜圖像連續波段間的信息冗余；后者則契合戶外高光譜采集數據的光環境動態特點，增強模型對光照條件的自適應性。2種數據增強策略共同解決高光譜標注圖像采集昂貴、費時而帶來的樣本規模不夠的問題。

本文雖然開創性地將通用視覺領域的深度卷積神經網絡用于穗瘟病害檢測并結合領域知識提出數據增強策略，取得較好結果，但有如下問題需要在后續研究中解決：第一，考慮到高光譜圖像的三維立體結構，應考慮用三維卷積和池化操作代替GoogLeNet中二維圖像卷積和池化操作，在波段維逐層提取高層抽象特征，充分利用波段細節信息進行穗瘟病害檢測；第二，考慮到穗瘟抗性鑒定的需要，應將此方法擴展應用于更加精細的定級分析當中。

[1] 吳降星. 水稻病蟲識別與防治圖譜[M]. 杭州：浙江科學技術出版社，2006：1－104.

[2] 吳迪，曹芳，張浩，等. 基于可見-近紅外光譜技術的水稻穗頸瘟染病程度分級方法研究[J]. 光譜學與光譜分析，2009，29(12)：3295－3299.

Wu Di, Cao Fang, Zhang Hao, et al. Study on disease level classification of rice panicle blast based on visible and near infrared spectroscopy [J]. Spectroscopy and Spectral Analysis, 2009, 29(12): 3295－3299. (in Chinese with English abstract)

[3] 劉立波. 基于圖像的水稻葉部病害診斷技術研究[D]. 北京：中國農業科學院，2010.

Liu Libo. Research of Diagnostic Technologies for Rice Leaf Diseases Based on Image[D]. Beijing: Chinese Academy of Agricultural Sciences, 2010. (in Chinese with English abstract)

[4] 劉立波，周國民. 基于多層感知神經網絡的水稻葉瘟病識別方法[J]. 農業工程學報，2009，25(13)：213－217.

Liu Libo, Zhou Guomin. Identification method of rice leaf blast using multilayer perception neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2009, 25(13): 213－217. (in Chinese with English abstract)

[5] 邱靖，吳瑞武，黃雁鴻，等. 混沌理論與BP網絡融合的稻瘟病預測模型[J]. 農業工程學報，2010，26(14)：88－93.

Qiu Jing, Wu Ruiwu, Huang Yanhong, et al. Forecasting model on rice blast based on BP neural network and chaos theory[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(14): 88－93. (in Chinese with English abstract)

[6] 譚峰，才巧玲，孫雪成，等. 基于拉曼光譜分析寒地水稻葉瘟病害植株特征[J]. 農業工程學報，2015，31(4)：191－196.

Tan Feng, Cai Qiaoling, Sun Xuecheng, et al. Analyzing plant characteristics of rice suffering leaf blast in cold area based on Raman spectrum[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(4): 191－196. (in Chinese with English abstract)

[7] 馮雷，柴榮耀，孫光明，等. 基于多光譜成像技術的水稻葉瘟檢測分級方法研究[J]. 光譜學與光譜分析，2009，29(10)：2730－2733.

Feng Lei, Chai Rongyao, Sun Guangming, et al. Identification and classification of rice leaf blast based on multi spectral imaging sensor[J]. Spectroscopy and Spectral Analysis, 2009, 29(10): 2730－2733. (in Chinese with English abstract)

[8] 張浩，姚旭國，毛雪琴，等. 基于多光譜圖像的水稻穗頸瘟嚴重度識別研究[J]. 湖南農業科學，2009(1)：65－68. Zhang Hao, Yao Xuguo, Mao Xueqin, et al. Measurement of Rice Neck Blasts Severity by Using Multi-spectral Imagine[J]. Hunan Agricultural Sciences, 2009(1): 65－68. (in Chinese with English abstract)

[9] Qi Long, Ma Xu. Rice Blast Detection Using multispectral imaging sensor and Support Vector Machine[C]// American Society of Agricultural and Biological Engineers Annual International Meeting, 2009: 1489－1496.

[10] 齊龍，馬旭，梁柏，等. 稻瘟病監測預測方法研究現狀及流行風險評估體系構建初探[J]. 中國農學通報，2011，27(33)：213－216.

Qi Long, Ma Xu, Liang Bai, et al. Research on present status of rice blast monitoring and prediction methods and preliminary establishment of disease epidemic Risk Assessment System[J]. Chinese Agricultural Science Bulletin, 2011, 27(33): 213－216. (in Chinese with English abstract)

[11] 楊燕. 基于高光譜成像技術的水稻稻瘟病診斷關鍵技術研究[D]. 杭州：浙江大學，2012.

Yang Yan. The Key Diagnosis Technology of Rice Blast Based on Hyper-spectral Image[D]. Hangzhou: Zhejiang University, 2012. (in Chinese with English abstract)

[12] Kobayashi T, Sasahara M, Kanda E, et al. Assessment of rice panicle blast disease using airborne hyperspectral imagery[J]. The Open Agriculture Journal, 2016, 10: 28－34.

[13] 鄭志雄，齊龍，馬旭，等. 基于高光譜成像技術的水稻葉瘟病病害程度分級方法[J]. 農業工程學報，2013，29(19)：138－144.

Zheng Zhixiong, Qi Long, Ma Xu, et al. Grading method of rice leaf blast using hyperspectral imaging technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(19): 138－144. (in Chinese with English abstract)

[14] 黃雙萍，齊龍，馬旭，等. 基于高光譜成像的水稻穗瘟病害程度分級方法[J]. 農業工程學報，2015，31(1)：212－219.

Huang Shuangping, Qi Long, Ma Xu, et al. Grading method of rice panicle blast severity based on hyperspectral image[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(1): 212－219. (in Chinese with English abstract)

[15] Huang Shuangping, Qi Long, Ma Xu, et al. Hyperspectral image analysis based on BoSW model for rice panicle blast grading[J]. Computers and Electronics in Agriculture, 2015, 118: 167－178.

[16] 袁建清，蘇中濱，賈銀江，等. 基于高光譜成像的寒地水稻葉瘟病與缺氮識別[J]. 農業工程學報，2016，32(13)：155－160.

Yuan Jianqing, Su Zhongbin, Jia Yinjiang, et al. Identification of rice leaf blast and nitrogen deficiency in cold region using hyperspectral imaging[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(13): 155－160. (in Chinese with English abstract)

[17] Lecun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278－2324.

[18] Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]// Proceedings of the 25th International Conference on Neural Information Processing Systems, 2012: 1097－1105.

[19] Zeiler M D, Fergus R. Visualizing and understanding convolutional networks[C]. European Conference on Computer Vision, 2014.

[20] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[C]. International conference on learning representations, 2015.

[21] Szegedy C, Liu W, Jia Y Q, et al. Going deeper with convolutions[C]// IEEE Conference on Computer Vision and Pattern Recognition, 2015.

[22] Kalchbrenner N, Grefenstette E, Blunsom P A convolutional neural network for modeling sentences[C]//Association for Computational Linguistics, 2014, 1: 655－665.

[23] Kim Y. Convolutional neural networks for sentence classification[C]. Conference on Empirical Methods on Natural Language Processing, 2014.

[24] Palaz D, Magimai M, Collobert R. Analysis of CNN-based speech recognition system using raw speech as input[C]// Proceedings of Interspeech, 2015: 11－15.

[25] Qian Y, Bi M, Tan T. Very deep convolutional neural networks for noise robust speech recognition[J]. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2016, 24(12): 2263－2276.

[26] He K, Wang Y, Hopcroft J. A powerful generative model using random weights for the deep image representation[C]. Advances in Neural Information Processing Systems, 2015.

[27] Li D, Huang J, Li Y, et al. Weakly supervised object localization with progressive domain adaptation[C]//IEEE Conference on Computer Vision and Pattern Recognition, 2016: 3512－3520.

[28] Shen W, Liu R. Learning residual images for face attribute manipulation[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2016.

[29] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2015.

[30] International Rice Research Institute (IRRI), Standard Evaluation System for Rice (SES)[Z]. Philippines: Rice Science for a better world, 2002.

Rice panicle blast identification method based on deep convolution neural network

Huang Shuangping1, Sun Chao2, Qi Long2※, Ma Xu2, Wang Wenjuan3

(1.510641,; 2.510642,; 3.510640,)

Rice panicle blast is one of the most serious diseases in the period of rice growth.To effectively identify the rice panicle blast is one of the important prerequisites for rice disease controlling. In this study, a novel identification method for panicle blast based on hyperspectral imaging technology is proposed. The method applies a deep convolutional neural network model GoogLeNet to learn the representation of hyperspectral image data and the binary panicle blast/non-blast classifier is trained as well in a unified framework. The GoogLeNet is 22-layer deep convolutional neural network, which repeatedly stacks basic Inception module to deepen and widen the network to enhance its representation power. The core Inception architecture uses a series of kernel filters of different sizes in order to handle multiple scales macro structure and all of filter parameters are learned. In our GoogLeNet model for the panicle blast identification, the filter sizes are set to 1×1, 3×3 and 5×5 based on the consideration of lesion microstructure size rendered on the rice spike. In order to reduce the expensive computing cost of 3×3 and 5×5 convolutions, an extra 1×1 convolution is used to reduce the map dimension in each branch of Inception module before 3×3 and 5×5 convolutions. Further, all the output filter banks are concatenated into a single output vector forming the input of the next stage. As these Inception modules are stacked on top of each other, features of higher abstraction are captured by higher layers. Finally, an average pooling layer plus a fully connected layer is stacked on the last Inception module and a softmax based classifier is used to predict the panicle blast. From the statement, feature and classifier learning are seamlessly integrated in a unified framework and both of them are trained jointly under the supervision of blast label, which makes the two reach the harmoniously optimal state and helps to improve the blast prediction performance. To verify the acclaim of the proposed GoogLeNet method, a total of 1 467 fresh rice panicles covering more than 71 cultivars are collected from an experimental field for the performance evaluation. The experimental field is located in regional testing area for the evaluation of rice cultivars in Guangdong Province. Therefore, all the rice plants in this area are naturally inoculated as the area is a typical source of rice blast fungus. The hyperspectral images of all the rice panicles are acquired using outdoor portable GaiaField-F-V10 imaging spectrometer. In consideration that the spatial resolution is large, we coarsely crop the background area. Then the average spectrum images are computed, acting as the original input of the deep GoogleNet network. Two-class label of hyperspectral image sample is determined by plant protection expert according to the description of blast infection. In our experiments, totally 200 samples are randomly selected for test, with 100 for infected and non-infected class respectively. The rest are for training. When the training samples are scarce, deep GoogLeNet model is easily trapped in the overfitting, worsening the panicle blast prediction performance. To this end, we proposed 2 data augmentation methods, i.e., the method of randomly abandoning single band and the method of randomly translating luminance of average hyperspectral image. The combination of 2 methods can produce hundreds of thousands of data sample pairs. The rich and diverse samples are used to train the deep convolutional model to reduce the overfitting and improve the prediction results. Experimental results show that the proposed GoogLeNet based method achieves a high classification accuracy of 92.0%. This result is much better than the recent state-of-art BoSW (bag of spectra words) method, demonstrating the proposed GoogLeNet method together with the 2 data augmentation techniques solves the panicle blast identification problem under the situation of outdoor hyperspectral image collection. Moreover, the proposed GoogleNet BoSW based method demonstrates strong robustness to rice cultivars, which is vital for the wide and practical application. This research improves the classification accuracy of rice panicle blast identification and overcomes the difficulty caused by the hyperspectral image collection under the natural light outdoor. This work will advance the research of panicle blast identification to the practical application of production with a big step.

diseases; models; image processing; hyperspectral image; panicle blast identification; deep convolutional neural networks; GoogLeNet

10.11975/j.issn.1002-6819.2017.20.021

S24

A

1002-6819(2017)-20-0169-08

2017-05-02

2017-09-15

廣東省科技計劃公益研究與能力建設專項（2014A020208112）；現代農業產業技術體系建設專項資金資助（CASRS-01-33）資助

黃雙萍，女，湖南邵陽人，副教授，博士，主要從事農業智能信息處理和數據挖掘、計算機視覺等方面的研究。Email：eehsp@scut.edu.cn。中國農業工程學會高級會員：黃雙萍（E041200596S）。

※通信作者：齊龍，男，黑龍江哈爾濱人，研究員，博士，主要從事現代農業技術與智能裝備的研究。Email：qilong@scau.edu.cn

黃雙萍，孫 超，齊 龍，馬 旭，汪文娟. 基于深度卷積神經網絡的水稻穗瘟病檢測方法[J]. 農業工程學報，2017，33(20)：169－176. doi：10.11975/j.issn.1002-6819.2017.20.021 http://www.tcsae.org

Huang Shuangping, Sun Chao, Qi Long, Ma Xu, Wang Wenjuan. Rice panicle blast identification method based on deep convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(20): 169－176. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2017.20.021 http://www.tcsae.org