基于深度學習與復合字典的馬鈴薯病害識別方法

楊 森 馮 全 張建華 孫 偉 王關平

(1.甘肅農業大學機電工程學院， 蘭州 730070； 2.中國農業科學院農業信息研究所， 北京 100081)

0 引言

甘肅省是我國重要的馬鈴薯種植基地。在馬鈴薯生長期，病害是影響馬鈴薯產量和品質的主要因素，為確保馬鈴薯獲得較好的經濟效益和利用價值，準確和實時識別病害類型是防止病害蔓延和保障其健康生長的前提條件[1-2]。傳統的農作物病害識別均由有經驗的專家進行診斷，該類方法效率低、工作強度大，且不能實時對病害做出科學、準確的診斷，而機器視覺技術能夠實現對病害的快速、準確診斷[3-4]。文獻[5-8]通過人工采集病害葉片、并在特定光照和簡單背景下拍攝，進而對農作物病害進行識別，該類方法識別準確率相對較高，但由于在人工控制環境下采集圖像，無法實現自然條件下病害的自動識別。此外，也有一些研究[9-11]實現了自然條件下病害的識別，但需要在復雜背景中預先分割出葉片的病害區域，該類方法對葉片分割算法要求較高，且分割需要花費大量的時間，無法滿足病害的實時診斷。相比傳統學習方法，卷積神經網絡在特征提取方面具有更強的表達能力，VGG、AlexNet和ResNet網絡在圖像檢測和分類中取得了較好的效果[12]。BRAHIMI等[13]利用卷積神經網絡對番茄的9種病害進行訓練，識別率達到99.1%。張建華等[14]通過改進VGG-16網絡和優化模型結構參數，實現了對棉花5種病害的準確識別。在病害識別中，特征提取也是一項關鍵技術，很多經典的病害識別方法[15-17]主要依據顏色、紋理和形狀等參數或各個參數的組合進行病害識別，但由于實際條件下葉片病斑多樣、復雜，且特征易受光照條件的影響，尤其顏色特征很不穩定，使得這類方法的識別效果不佳。詞袋特征[18-19]是一種抽象的語義特征，對復雜圖像描述能力更強，在目標識別中取得了較好的效果。秦立峰等[20]提出一種基于詞袋模型和主成分分析(Principal components analysis, PCA)的多維空間融合的黃瓜葉片病害識別方法，平均識別率達90.38%，但需要手動裁剪拍攝的病害葉片圖像的病斑部位，無法滿足病害的自動診斷識別。自然條件下獲取的病害葉片病斑相對較小，背景區域占比較大，直接在原始圖像上提取特征并聚類生成視覺特征單詞后，缺乏足夠的區分度，因此，直接采用詞袋法對病害的識別效果不佳。

針對上述病害識別方法存在背景干擾與病害識別需預先分割的問題，本文引入卷積神經網絡對病害斑塊區域進行檢測，以降低背景對病害特征信息的干擾；采用尺度不變特征變換(Scale invariant feature transform, SIFT)表觀特征和顏色特征組合的特征提取方法，構造表觀特征詞匯字典和顏色特征字典，旨在訓練出精度較高的病害識別模型，以期完成自然環境下馬鈴薯病害的自動識別。

1 材料與方法

1.1 圖像采集

試驗選取馬鈴薯常見的早疫病、晚疫病、炭疽病3種病害葉片和健康葉片圖像進行識別。病害圖像通過2種途徑獲取：①利用Cannon EOS1200D型數碼相機(分辨率為1 080像素×720像素)于甘肅農業大學農作物試驗基地進行采集，拍攝方式設置為近拍模式、自動白平衡、自動調節焦距和光圈，相機垂直拍攝，拍攝高度30～50 cm。分別在晴天和陰天光照條件下拍攝病害葉片圖像，共采集自然條件下的樣本650幅，包含早疫病50幅、晚疫病50幅、炭疽病50幅、健康葉片500幅。深度學習的訓練需要大量樣本，而大田條件下馬鈴薯病害樣本的收集比較困難，因此對采集的圖像隨機旋轉0°、90°、180°、270°，使自然條件下采集的圖像增加了4倍。②在公共網站(中國農業網)和Plant Village數據庫上收集3種葉片病害圖像，包含病害樣本2 000幅、健康葉片156幅。利用2種采集方式獲取的病害樣本具有隨機性，信息更加豐富，且包含不同光照、不同背景、不同生長時期的病害圖像，滿足試驗要求。圖1為3種病害葉片圖像示例，其中第1行圖像為自然環境下的病害圖像，背景存在黑色地膜、光斑以及葉片之間相互遮擋的現象；第2行圖像為中國農業網和Plant Village 數據庫圖像，所有樣本都是單葉片病害圖像，且光照均勻。

圖1 病害圖像和健康葉圖像示例Fig.1 Examples of disease images and healthy leaf images

1.2 斑塊區域的檢測

病斑區域檢測的主要任務是在原始病害葉片圖像中提取出病害目標，針對葉片圖像背景復雜、目標分割方法提取病害區域耗時長和精度較低的問題，本文采用目標檢測中性能表現優異的Faster R-CNN算法提取病斑區域。在檢測的病斑區域中將會存在部分病害區域的漏檢以及非病害區域的誤檢，但是斑塊中病害區域與背景的占比顯著提高，在后期病害識別模型中可以利用斑塊區域集合來提取特征信息，該特征信息集中包含了病害的相關信息，一定程度上減少了相似背景的干擾。

1.2.1Faster R-CNN檢測網絡框架

Faster R-CNN檢測網絡[21-22]主要由卷積神經網絡、生成候選區域的區域建議網絡、感興趣區域(RoI)池化層和Faster R-CNN目標檢測網絡構成。馬鈴薯病斑檢測框架如圖2所示。

圖2 馬鈴薯病斑檢測框架Fig.2 Potato plaque detection framework

(1)首先對輸入的任意尺寸病害圖像利用卷積網絡的卷積層、激活層和池化層自動提取圖像的特征圖。

(2)特征圖輸入到候選區域網絡(Region proposal network，RPN)后，利用3×3滑動窗口生成d維特征向量并輸入到Softmax層和框回歸層。對于每個滑動窗口的位置可以同時生成k個候選框，則在整個特征圖中可生成 60×40×k個候選區域，并在特征圖上利用Softmax分類器逐像素對k個候選框預測出前景與背景的概率。在框回歸層中，逐像素對k個候選區域擬合出邊框中心坐標與寬、高4個坐標信息。

(3)將RPN網絡生成的候選區域和卷積網絡輸出的特征圖輸入到感興趣區域池化層，遍歷所有的候選區域，將其坐標比例縮小為原來的1/16，通過映射在特征圖上生成一個相應區域，并將此區域劃分為7×7的小區域，對于每個小區域，使用最大值池化方式處理，形成一個固定尺寸(7×7)的特征圖。

(4)將固定的特征圖輸入全連接層和Softmax后，預測出候選框所屬的類別以及回歸出精確的邊框位置。

1.2.2基于遷移學習的斑塊區域檢測

深度卷積神經網絡實現對目標的準確分類需要具備充分的數據集，在自然環境下獲取完整的馬鈴薯病害數據庫相對較為困難，直接采用該數據集對初始化的所有網絡參數重新訓練，將會出現網絡不收斂以及模型的過擬合現象，使得檢測模型的精度嚴重下降。AlexNet和VGG-16等深度卷積網絡模型在圖像分類識別中具有明顯的優勢，網絡模型是由包含100萬幅圖像的ImageNet 數據庫訓練得到，通過模型的卷積層能夠提取圖像的深度信息，且模型中擁有大量的權重參數，本文利用遷移學習[23-24]的方法完成對病斑檢測模型的訓練。利用馬鈴薯病害訓練數據集微調AlexNet和VGG-16預訓練分類網絡的權重參數，優化卷積層參數，可將分類網絡遷移到Faster R-CNN檢測網絡特征提取部分，使得卷積層的權值得到充分的訓練。

檢測出的斑塊區域是外接矩形框出的原圖像的子圖像，對圖像訓練集中所有病害圖像的斑塊區域進行檢測后，組成斑塊訓練集

Blob={(Bi,Li)|i=1,2,…,N}

(1)

式中Bi——斑塊訓練集中的第i個斑塊區域

Li——Bi對應的病害類型標簽

N——斑塊區域數

Blob——斑塊訓練集

1.3 特征詞匯表的構建

病害葉片在顏色上與正常的葉片有很大的差異，且不同類型的病害顏色也不相同，病害識別時提取顏色信息作為有效的表觀特征。根據3種病害葉片圖像的顏色特點，以Lab為顏色模型，統計斑塊區域a、b分量的顏色信息，構建出表觀顏色特征向量。由于檢測出的病害區域較小，為了提取出豐富的特征信息，本文采用高密度特征提取方法，主要操作步驟如下：

(1)首先將斑塊訓練集Blob中每個斑塊區域的RGB彩色圖像轉換為Lab圖像，并將每個斑塊區域均勻劃分成m×n個網格。

(2)在Lab圖像每個格點上計算該點的a、b值，獲得該點的二維顏色特征向量，遍歷斑塊區域中的所有格點生成m×n×2維的特征向量，最終在整個斑塊訓練集中生成m×n×2×N維的表觀顏色特征向量。

顏色特征容易受光照變化、陰影的影響，單一的顏色特征不能滿足病害的識別精度。SIFT特征具有尺度不變性[25]，對自然條件下圖像的亮度變化以及拍攝角度的旋轉具有很好的適應性，在檢測的病害區域上提取SIFT特征構建SIFT特征向量。采用與提取顏色特征相同的高密度特征提取方法，將斑塊區域轉換為灰度圖像后在每個網格上計算SIFT特征，通過遍歷所有網格形成m×n維特征，最終在整個斑塊訓練集中生成m×n×N維SIFT特征向量。

1.4 復合字典的構建

利用K-均值聚類算法分別對兩類表觀特征詞匯表進行聚類運算，將特征詞匯聚為K個聚族，選取每個族的聚類中心構成特征字典的視覺單詞，表觀顏色特征字典Wt表示為

Wt={v1,v2,…,vK}

(2)

式中vK——聚類的第K個表觀顏色視覺單詞

SIFT特征字典Ws表示為

Ws={u1,u2,…,uK}

(3)

式中uK——聚類的第K個SIFT視覺單詞

將表觀顏色特征字典和SIFT特征字典組合，建立復合字典Wf，表示為

Wf={v1,v2,…,vK,u1,u2,…,uK}

(4)

最終，建立的復合字典Wf中有2K個視覺單詞。

1.5 識別模型的建立

對病害訓練集中檢測出的病害區域提取顏色特征和SIFT特征，通過計算特征點與復合字典Wf中視覺單詞之間的最近距離，統計出每個病害區域在視覺單詞中出現的頻率，獲得2K維的特征直方圖。對任意的病害圖像檢測出所有的斑塊區域，分別統計出每一個斑塊區域Bi的特征直方圖hi，通過歸一化處理獲得第r幅原始病害圖像的直方圖為

(5)

式中r——訓練集中的第r幅原始病害圖像

H——第r幅原始病害圖像的直方圖

每一幅病害圖像在復合字典映射后，根據式(5)計算出訓練集中所有病害圖像的直方圖特征，并將該特征數據作為分類器訓練的輸入特征。為建立識別精度較高的決策模型，在訓練過程中采用多分類器的訓練方式，分別采用分類中應用廣泛的SVM、隨機森林和最近鄰分類器進行識別正確率對比試驗。利用設定的分類器對3類病害訓練集樣本進行預測，其中SVM分類器的識別正確率為92.15%，隨機森林分類器識別正確率為80.26%，最近鄰分類器的識別正確率為70.53%，試驗結果表明，SVM分類器對小樣本和非線性病害數據的分類優勢明顯，因此本文篩選出精度較高的SVM分類器作為最終的病害識別模型。

2 試驗結果與分析

試驗基于Caff深度學習框架，硬件配置為NVIDIAteslaK20 GPU，搭載InterXeon E5-2683V3@2.00GHz x56處理器，內存為64 GB。軟件環境為Windows 10操作系統，并選用Matlab 2018a作為編程環境。試驗主要包括兩部分，分別是馬鈴薯病斑區域檢測試驗和病害識別準確率試驗，其中病害識別試驗中完成不同K值下病害識別準確率試驗、不同特征組合下病害識別準確率試驗、不同光照條件下病害識別準確率試驗以及不同方法下病害識別準確率試驗4部分，以此展開對馬鈴薯病害識別的研究。

2.1 病斑檢測

病斑檢測模型訓練集由3類病害樣本構成，將病害圖像庫中的2 048幅圖像作為訓練集, 952幅圖像作為測試集，訓練集中的200幅圖像作為驗證集，并對訓練集圖像采用人工標定的方式制作成PASCAL VOC數據集格式。病斑區域檢測的準確性直接影響病害的識別精度，采用病害平均檢出率和檢測框平均精度2個評價指標評價識別精度。病害平均檢出率主要衡量在整個病害葉片測試集中能夠檢測出目標區域的樣本個數，但不能判斷檢測框是否為病斑目標。利用檢測方法在病害葉片上獲得的檢測框存在非病斑目標的檢測框以及病斑區域占比較小的檢測框，檢測框平均精度主要反映在病害葉片上提取的檢測框判斷為病斑目標的準確度。病害平均檢出率和檢測框平均精度計算公式為

(6)

(7)

式中P1——病害平均檢出率

P2——檢測框平均精度

TP——檢測出目標區域的樣本數

FN——未檢測出目標區域的樣本數

T——檢測框中病害區域的面積占整個檢測框面積的比例大于等于0.5的檢測框數

F——病害區域的面積占整個檢測框面積的比例小于0.5的檢測框數

采用不同深度的特征提取網絡訓練檢測模型后，病斑目標的檢測精度存在差異性，為驗證特征提取網絡深度對檢測精度的影響，試驗選擇AlexNet和VGG-16網絡對馬鈴薯病害葉片數據集進行測試，不同深度特征提取網絡的檢測結果如表1所示。總體來看，基于AlexNet網絡訓練的病斑檢測模型對3種病害類型的平均檢出率和檢測框平均精度分別為93.20%和71.90%，而基于VGG-16網絡訓練的病斑檢測模型其病害平均檢出率和檢測框平均精度分別為95.06%和84.63%。2種網絡對平均檢出率影響不大，而對于檢測框平均精度，VGG-16網絡比AlexNet網絡提高了12.73個百分點，表明VGG-16網絡的檢測精度相對較高，并且特征網絡層數越深，提取圖像的特征信息維度越高，檢測精度也越高。鑒于VGG-16網絡的優勢，本文對病斑區域的檢測階段采用基于VGG-16特征網絡的Faster R-CNN算法。

由表1可知，在采用VGG-16特征提取網絡后，晚疫病的檢測準確度高于其他2種病害，其檢測框平均精度P2達到90.42%，而早疫病和炭疽病的檢測框平均精度分別為80.74%和82.72%。根據統計結果可知，晚疫病相比其他兩種病害，P2分別提高了9.68、7.70個百分點，出現這種檢測差異的主要原因與病斑的分布特征密切相關，晚疫病發病的位置出現在葉片的邊緣位置，且病斑的面積相對較大，而其他兩種病害的病斑呈現出分布密集、位置隨機、形狀多樣和面積較小的特征，這對收集完整的病害訓練樣本增加了困難，使得本文訓練的檢測模型對于部分病害樣本的檢測準確率下降。

表1 基于不同特征提取網絡的不同病害檢測的準確性Tab.1 Detection accuracy of different diseases based on different networks

本文檢測方法的病斑檢測效果如圖3、4所示。試驗測試了復雜自然環境和特定光照背景(Plant Village數據庫)下的病害樣本，其中紅框代表AlexNet特征網絡的檢測結果，綠框代表VGG-16特征網絡的檢測結果。2種光照條件下基于AlexNet特征網絡檢測框出現重疊檢測、非病害目標檢測和漏檢現象較為明顯，而基于VGG-16特征網絡的檢測框基本能夠包圍病斑區域，漏檢的病斑相對較少。VGG-16特征網絡在自然環境下的病斑檢測結果如圖4所示，將背景中的地膜、黑色光斑以及泥土誤檢測為病斑目標，其誤檢率相對較高。圖4a所示的早疫病葉片中分布的大病斑區域能夠完整檢測，但對于分布的顆粒狀小病斑未能成功識別。總體可以看出，葉片中的主要病害區域能夠基本檢測出來，且適應于不同大小病斑的檢測，但檢測出的斑塊中存在病害區域的漏檢以及非病害區域的誤檢。

圖3 Plant Village數據庫病斑的檢測結果Fig.3 Lesion detection results of Plant Village database

圖4 自然條件下病斑的檢測結果Fig.4 Test results of disease detection under natural conditions

2.2 病害識別

馬鈴薯病害識別數據集由Plant Village數據庫圖像和試驗田拍攝的圖像組成，訓練集圖像共2 700幅，測試集圖像952幅，樣本總數為3 652幅，其中早疫病圖像1 200幅，晚疫病圖像1 200幅，炭疽病600幅，健康葉片652幅。訓練集從整體樣本中隨機抽取，不同類型的病害圖像數量比例一致，且與驗證集和測試集互斥。為驗證識別模型的誤差，選取訓練集樣本的10%作為驗證集，共計270幅圖像。基于Faster R-CNN檢測模型，對部分健康葉片區域存在目標檢測框，對訓練集中健康葉片通過本文檢測方法獲得Blob集合，利用式(5)訓練出4類標簽樣本的識別模型。

2.2.1K值對識別準確率的影響

復合字典中視覺單詞K值反映病斑的直方圖空間維數，K值直接影響模型訓練精度和識別速度，為了獲得最優的K值，本文對K值按照低維、中維和高維3個空間設置了6個不同的取值，利用測試樣本分別在對應取值下進行了病害識別準確率試驗。表2給出不同K值下3種病害和健康葉片的識別準確率，由表2可以看出，K=10時，病害的平均識別準確率最低，僅為80.47%。隨著K值的逐漸增大，病害的平均識別準確率不斷提高，當K=50時，平均識別準確率達到最高值90.83%；當K達到100或高維數500時，病害的平均識別準確率與K=50相比最多降低了1.34個百分點，但是平均運行時間最多增加了3.59 s，表明K=50時，病害的平均識別準確率達到了穩定狀態，運行時間為1.68 s，耗時相對較短，因此本文K取50。

表2 不同K值下病害的識別準確率Tab.2 Recognition accuracy of diseases under different K values

2.2.2葉片特征對識別準確率的影響

本試驗對檢測的病斑區域提取顏色特征、SIFT特征和2種特征的組合做了對比試驗。試驗中K取50，測試樣本和訓練樣本與前文保持一致。表3給出了3種特征下病害的識別準確率，通過對比表中3種病害，單一特征時病害的識別準確率整體較低，采用SIFT+顏色特征組合時3種病害和健康葉片平均識別準確率顯著提高，相比SIFT和顏色特征分別提高了13.37、5.64個百分點。顏色特征平均識別準確率比SIFT特征高7.73個百分點，表明顏色特征更能直觀表達病害信息，類別之間的區分度相對較好。對于3種病害，采用顏色特征后，早疫病和晚疫病識別準確率分別為90.63%和88.41%，比炭疽病高19.16、16.94個百分點，且早疫病識別準確率比SIFT+顏色特征組合提高了1.01個百分點，這是由于早疫病相對其他兩種病害顏色有明顯的差異性，通過顏色特征能夠正確判斷病害類型。總體來看，在顏色特征中融合SIFT特征后，3種病害識別準確率都得到了改善，尤其炭疽病提高顯著，表明在自然環境下，SIFT特征能夠降低病害亮度信息和拍攝角度旋轉變化所引起的識別誤差。

表3 3種特征下病害的識別準確率Tab.3 Recognition accuracy of diseases under three features %

2.2.3光照條件對識別準確率的影響

為驗證本文病害識別方法對光照變化的適應性，本文對自然環境和特定光照2種照明條件做了對比試驗，病害識別結果如表4所示。由表4可知，在復雜自然環境下3種病害及健康葉片的平均識別準確率為84.16%，比特定光照降低了6.67個百分點，原因是自然光照下病斑的顏色信息失真和病斑區域誤檢測增多，對病害的識別效果未能達到最優。總體表明，自然環境下3種病害的識別準確率均不小于80.94%，說明本文方法能夠滿足自然環境下病害識別任務，并且對光照變化具有一定的魯棒性。

表4 2種光照條件下病害的識別準確率Tab.4 Recognition accuracy of diseases under two light conditions %

2.2.4不同方法的識別準確率對比

為驗證本文方法的有效性，與傳統詞袋法[26]進行對比，試驗結果如表5所示。傳統詞袋法直接在馬鈴薯病害葉片上提取顏色和紋理特征，2種光照條件下病害的平均識別準確率分別為58.71%和86.48%，而本文方法平均識別準確率分別為84.16%和90.83%，則說明本文方法對病害的識別性能優于傳統詞袋法。在特定光照下本文方法平均識別準確率僅比傳統詞袋法高4.35個百分點，其原因在于該類樣本不同病害類型之間差異性較為明顯，直接從整體葉片提取特征，包含了病害的所有特征信息，并且樣本背景單一，不容易受到光照變化和外界因素的干擾，因而2種方法之間的識別準確率相差較小。此外，在自然條件下傳統詞袋法對病害的平均識別準確率只有58.71%，識別準確率相對較低，比本文方法低了25.45個百分點，可見本文方法對光照變化和復雜背景干擾具有較好的適應性，能夠完成病害的有效識別，可滿足在自然條件下對馬鈴薯病害在線識別的要求。

表5 不同方法識別準確率對比Tab.5 Contrast experiment results of different methods %

3 結論

(1)對病斑區域的準確檢測是完成病害識別的前提，本文提出一種基于Faster R-CNN的病斑檢測方法，利用遷移學習對病害小樣本進行訓練，能夠縮短訓練時間，并且提高了模型的檢測精度。對AlexNet和VGG-16 2種不同深度的特征提取網絡進行對比試驗，其中VGG-16特征提取網絡的病害平均檢出率為95.06%，檢測框平均精度為84.63%，病斑檢測的準確性優于AlexNet網絡，結果表明，基于VGG-16網絡的Faster R-CNN算法能夠實現對病斑區域的快速、準確檢測，但對一些較小的病害目標存在漏檢測。

(2)為克服病害類型的多樣性和光照變化對病害識別精度的影響，采用顏色特征和SIFT特征組成的混合特征，并通過特征聚類方法構建復合字典，能夠有效降低特征空間維數，提高病害的識別能力。試驗結果表明，視覺特征單詞量K=50時，對3種病害的平均識別準確率最高，且平均耗時最短；本文方法在特定光照條件和自然環境下對病害的平均識別準確率分別為90.83%和84.16%，識別效果均優于傳統詞袋法，表明該方法對自然環境下馬鈴薯病害葉片的識別是可行的。