基于深度學習的馬鈴薯病害智能識別

陳從平，鈕嘉煒，丁 坤，姜金濤

(1. 常州大學機械與軌道交通學院，江蘇 常州 213164；2. 內蒙古智誠物聯股份有限公司，內蒙古 烏蘭察布 012000)

1 引言

馬鈴薯生長過程中出現的各種病害嚴重影響了馬鈴薯的產量和品質，在大面積、無人化種植的情況下，需要通過信息化、自動化的手段來識別馬鈴薯生長過程中的病害，以提高馬鈴薯病害診斷的實時性與準確性。

機器視覺是目前用于監測作物生長期病害有效的技術手段之一，其原理主要是通過識別作物葉片病斑特征來對其進行病害診斷。在使用傳統機器學習方法識別作物病害方面，范振軍等[1]根據SIFT(Oriented FAST and Rotated BRIEF)[2]和ORB(Scale Invariant Feature Transform)[3]關鍵特征點提取病害的ROI區域，基于支持向量機(SVM)分類器融合紋理和顏色特征實現馬鈴薯病害識別。趙建敏等[4]使用最大類間方差法(OTSU)分割出馬鈴薯葉片中的病斑，再提取病斑顏色、形狀和紋理特征使用SVM分類器完成馬鈴薯病害識別。Mohammadpoor等[5]使用模糊C均值算法突出顯示每片葡萄葉的患病區域，最后使用SVM判斷葡萄葉片是否患病。在使用深度學習方法識別作物病害方面，胡志偉等[6]基于注意力卷積塊和殘差卷積塊提出注意力殘差網絡ARNet(Attention residual network)，采用44295張圖片訓練模型，實現番茄病害的識別。Bin Liu等[7]采集和擴充了107366幅葡萄葉圖像，搭建密集的Inception卷積神經網絡(DICNN)模型，能有效地識別葡萄葉病害。Wan jie等[8]提出了一種基于CNN的稻瘟病診斷系統，該模型在5808張患病圖像的數據集上進行了訓練，在識別準確度方面實現了令人滿意的性能。

然而，雖然上述研究方法都能夠在一定程度上有效地識別相應的病害，但均是以人工采摘出的獨立葉片圖像作為樣本，忽略了作物生長環境中背景圖像的干擾信息，而實際監測應該在真實的種植環境中進行，需要在復雜的背景下分割出葉片及葉片上的病斑圖像，這給該技術的實際應用帶來了極大的挑戰。

本文以機器視覺在線監測馬鈴薯在真實的生長環境下的病害為研究對象，著重解決馬鈴薯葉片、病斑分割、病斑特征提取、病害類型診斷等關鍵技術問題。首先采用深度學習方法從復雜背景中分割出馬鈴薯葉片，經自適應增強后將葉片補圖轉換到HSV顏色空間，通過對補圖的H分量像素值重新賦值實現病斑提取；最后構建一維卷積神經網絡實現馬鈴薯病害的識別。

2 復雜背景下馬鈴薯葉片分割

由于實際場景中的馬鈴薯葉片處于復雜背景下，需要提取豐富的語義信息才能將葉片與背景準確分割。深度學習具有強大的語義提取功能，其中基于深度學習的DeepLabv3+網絡采用了空間金字塔池化模塊，能夠在多尺度下獲取馬鈴薯葉片圖像的語義特征信息，提高了分割的準確率[9]，因此本文選擇DeepLabv3+網絡完成復雜背景下馬鈴薯葉片的分割。

2.1 數據集制作

在實際場景中拍攝600幅含病斑的馬鈴薯葉片圖像，然后通過旋轉、平移、亮度調整等操作將圖像數量擴充至2000幅，其中1700幅圖像用于訓練馬鈴薯葉片分割模型，300幅圖像用于訓練和測試馬鈴薯病害識別模型，最后將圖像調整為224×224分辨率，部分樣本如圖1所示。

圖1 馬鈴薯葉片圖像

2.2 語義分割模型

DeepLabv3+結構如圖2所示，首先圖像在Encoder部分經過Xception的特征提取模塊提取特征圖像，再將特征圖像通過空間金字塔池化模塊(ASPP)實現多尺度特征提取，最后使用1×1的卷積完成通道的壓縮。在Decoder模塊中，先將Encoder模塊得到的特征信息通過4倍的上采樣操作，后與Xception提取的特征信息經過1×1的卷積降維后進行拼接，再通過3×3的卷積進行特征融合，最后采用4倍上采樣。對搭建的DeepLabv3+網絡模型進行訓練，并用訓練好的網絡對馬鈴薯葉片進行分割，部分結果如圖3所示，可見獲得了良好的分割效果。

圖2 DeepLabv3+網絡結構

圖3 葉片分割

3 病斑提取

馬鈴薯病害類型主要由葉片病斑特征來體現，因而在診斷之前，還需要將病斑從葉片中分割。為提高病斑分割時邊緣的準確性，首先對葉片圖像進行增強，再求其補圖，進一步轉換到HSV顏色空間下，最后根據H分量對其上的病斑進行提取。

3.1 自適應對比度增強

由于已分割出來的葉片圖像為RGB彩色圖像，如果純粹的分別對R、G、B三通道分量圖像增強，并直接對增強后的三通道分量圖像合并則會引起圖像色相的變化，其圖像顏色會發生改變，因此為解決增強后圖像色相發生變化，首先將葉片圖像由RGB顏色空間轉換成HIS顏色空間，而H和S通道分別表示色調和飽和度不需要對其增強，所以只需對I(亮度)通道分量圖像進行對比度增強。

設I(i，j)為(2n+1)×(2n+1)像素大小的窗口中心點的像素值，則點(i，j)的2n+1鄰域內像素平均值m(i，j)和標準方差σ分別為

(1)

(2)

其中n為非負整數，k和l表示為在(2n+1)×(2n+1)像素大小的窗口內的坐標值。

9月，秋高氣爽,碩果累累。清風送來涼爽，天空一片蔚藍。我和夫人應中國兵器淮海集團的盛情邀請，前往山西長治，參加他們建廠80周年暨軍民融合論壇等一系列活動。

令μ為I分量圖像的全局像素平均值，β為[0，1]區間的參數值，則對I(i，j)增強后的像素值G(i，j)可表示為

(3)

對增強后的I通道分量圖像與H、S通道分量圖像重新合并，再轉換合并后的圖像顏色空間，由HIS顏色空間轉換為RGB顏色空間，完成葉片圖像的對比度增強。

設對比度增強后圖像為Q，因為圖像Q是R、G、B三通道圖像，則其任意通道的互補像素值C(i，j)可表示為

C(i，j)=255-Q(i，j)

(4)

圖像Q經過式(4)分別求出其R、G、B三通道分量圖像的互補圖像，對求出的各個分量的互補圖像合并，最終得到圖像Q的補圖。

3.2 病斑分割

對自適應對比度增強后的葉片圖像求出的補圖進一步的利用顏色空間轉換，轉換到HSV顏色空間下，然后提取H分量，按式(5)對H分量重新賦值，進而獲得病斑圖像，并經形態學操作去除病斑周圍可能存在的部分噪點，提取出完整的病斑，其過程和結果如圖4所示。

(5)

其中H(i，j)表示對某像素點H分量的賦值，H.mean()表示H分量的平均像素值。

圖4 病斑提取過程

4 病斑特征提取

馬鈴薯病害主要為早疫病和晚疫病，其病斑具有豐富的紋理、顏色和形狀特征，其中，在紋理方面，早疫病會出現同心輪紋，而晚疫病沒有類似的輪紋狀紋理，因而該類特征易于用模型來量化描述；在顏色和形狀方面，這兩種病害的病斑均近似為褐色，且都近似于圓形，這兩類特征難以用模型來完備地定義和提取。由于紋理特征屬于人工定義的特征，不能夠完整的描述病斑圖像的表征信息，且人工定義的特征在特征學習和識別方面有一定的局限性，而深度學習網絡模型提取的特征信息是人工無法定義的更深層次的抽象特征，因此采用深度學習網絡進一步提取病斑特征。常用于提取特征的深度學習網絡主要有VGG16[10]，ResNet[11]，AlexNet[12]等，其中VGG16在圖像分類和檢測方面都具有良好的效果并且結構簡潔，所以采用VGG16網絡提取病斑特征，并和紋理特征進行融合。

紋理特征提取方面，通過計算病斑灰度游程矩陣參數來反映圖像中紋理的粗細、均勻程度和變化情況[13-14]，常用的灰度游程矩陣參數有11個，即短游程優勢、長游程優勢、灰度不均勻性、長游程不均勻性、游程百分比、低灰度級游程優勢、高灰度級游程優勢、短游程低灰度級優勢、短游程高灰度級優勢、長游程低灰度級優勢和長游程高灰度級優勢，各個參數的含義見表1所示。

采用VGG16網絡實現特征提取，其結構如圖5所示。將VGG16提取出特征向量記為N，并且和特征向量M拼接融合構成一維特征向量，記為X，X=[M，N]。

圖5 VGG16網絡結構

5 病害識別

由于最終融合出的特征向量X屬于一維向量，因此搭建一維卷積神經網絡進行病害識別。一維卷積神經網絡雖然只有一個維度，但仍具備和CNN同樣的優點，同時因為一維卷積神經網絡處理的是一維向量，在卷積的過程中不會產生太多的參數，所以大大減少了計算量[15-16]。搭建如圖6所示的一維卷積神經網絡。

圖6 一維卷積神經網絡結構

以交叉熵作為損失函數對馬鈴薯健康葉、早疫病和晚疫病進行分類實驗，每種類型選用70個樣本進行訓練，采用隨機梯度下降方法訓練模型，學習率設置為0.001，epoch設置為80，計算每輪epoch的損失并繪制如圖7的損失曲線。

圖7 損失曲線圖

由圖7可知，當模型訓練到65個epoch時，損失值趨于穩定，表明模型已經收斂。

訓練完成的模型通過計算準確率P、召回率R和F1的值來評價性能，其計算公式分別如下：

(6)

(7)

(8)

其中，FP、TP、FN和TN分別表示假陽性、真陽性、假陰性和真陰性。使用90幅測試樣本輸入模型測試，獲得的混淆矩陣見表2所示，并且通過混淆矩陣計算出每種類型的準確率、召回率以及F1值分別見表3所示。

表2 混淆矩陣

表3 準確率、召回率和F1值

可見在90幅測試樣本中，健康葉、早疫病和晚疫病都具有較好的識別準確率、召回率和F1值，在馬鈴薯病害識別方面達到較高的準確率，表明本文方法能準確有效地識別復雜背景下的馬鈴薯病害。

6 結論

本文提出了一種基于深度學習的馬鈴薯葉片病害智能識別的方法，面對復雜的背景通過語義分割網絡Deeplab V3+分割出馬鈴薯葉片，接著使用自適應對比度增強方法增強病斑與葉片間的對比度并求出補圖，然后對補圖進行HSV的顏色空間轉換，將H分量的像素值重新賦值實現病斑的提取。在識別方面，融合病班圖像的紋理特征和采用VGG16網絡獲得的特征，利用搭建的一維卷積神經網絡實現病害的識別，在準確率、召回率和F1值上都具有較好的效果。因此本文方法能夠在復雜背景下準確的識別馬鈴薯病害。在后續的研究中，可以在葉片分割、特征提取等方面進一步優化處理，提高識別準確率。