基于卷積神經網絡的家蠶病害識別研究*

石洪康，肖文福，黃亮，胡叢武，胡光榮，張劍飛

(1.四川省農業科學院蠶業研究所，四川南充，637000；2.西南大學家蠶基因組生物學國家重點實驗室，重慶市，400700)

0 引言

養蠶業是我國的傳統產業和優勢產業，歷來都是我國農業體系中重要的組成部分[1]。然而，在養蠶過程中，家蠶十分容易遭受病害侵襲，造成大量的損失，據統計每年因病害造成的蠶繭損失約占總產量的10%以上[2-3]，所以病害預防是養蠶過程中一項十分重要的工作。現行的家蠶病害防治方法主要是在飼育季節，定期使用消毒液對蠶房和蠶具進行嚴格消毒，并采用向蠶座中鋪撒石灰粉的方式抑制病原滋生，當察覺到出現病害傳播時，人工將蠶病及時進行無害化處理，起到人為預警和防治的作用[4]，具有一定的效果。但現行的病害防治方法只適用于傳統的手工養蠶，隨著我國養蠶業逐步轉向以機械飼育為主的規模化模式[5]，過度依賴消毒液和石灰粉會導致嚴重的環境問題，不利于產業的長遠發展，并且采用機械飼育時，人工直接參與飼喂的時間較少，病害只有在傳播到一定范圍時才能被察覺，因此亟需開展針對規模化養蠶的病害防治新方法研究。

對農作物病害圖像和健康圖像實現準確識別，可有助于開展病害早期預警和精準防治，一直是農業信息化領域的研究重點。早期因受到數據集和計算機性能的限制，一般采用模式識別算法進行研究[6-9]，取得了一定的效果，但存在人工特征篩選、識別速度慢、以及依賴的圖像數量少導致特征表達不夠全面等問題。近年來，隨著深度學習技術的快速發展，誕生了許多經典的卷積神經網絡算法，推動了圖像識別技術向著更加智能的方向發展。在農業視覺領域，研究人員使用卷積神經網絡廣泛地開展病害的識別研究，取得了顯著的效果[10-11]。

郭小清等[12]研究了番茄葉片病害的識別方法，采用改進的Multi-Scale AlexNet算法進行了識別試驗，結果表明，該方法對番茄葉部病害及每種病害早中晚期的平均識別準確率達到92.7%。黃雙萍等[13]研究了稻瘟病的檢測方法，以1 467株田間樣本的高光譜圖像為識別對象，采用基于GoogLeNet的改進算法進行了識別試驗，最高識別準確率為92.0%。Xing等[14]進行了柑橘葉片病蟲害的識別研究，采用增加跨通道運算和特征重用的頻率來延伸網絡深度的方法，設計了一種弱連接的卷積神經網絡(Weakly DenseNet-16)，試驗結果表明，該方法對柑橘葉片病蟲害的識別準確率可達到93.42%。何欣等[15]研究了葡萄葉片病害識別方法，通過引入多尺度卷積核組合的方式改進ResNet底層對不同尺度特征的響應，設計了一種基于Multi-Scale ResNet的多尺度殘差神經算法，試驗結果表明該方法8種葡萄病害葉片的平均識別率為90.83%。

綜上所示，卷積神經網絡可對農作物病害實現準確高效的識別，結合家蠶患病后，會與健康家蠶表現出不同的視覺特征[2]，基于此，本文提出采用卷積神經網絡進行家蠶病害的識別研究，為規模化養蠶模式下的病害防治研究提供參照。

1 材料與方法

1.1 家蠶品種選擇

家蠶在我國飼養廣泛，因氣候條件不同，各地的主要推廣的品種也不相同。然而不同的家蠶品種外表會有所差異，且同一品種在不同的生長階段下患同一疾病后也表現出不同的特征，為便于開展研究，結合生產實際中的推廣量和抗病能力，選擇我國西南蠶區的主推品種之一，芳·繡×白·春[16]為試驗對象，該家蠶品種的外觀主要呈白色，花紋較少，且對病害的抵抗能力較弱。并且根據家蠶病害通常在小蠶期染病和大蠶期發病的特點，以及病害樣本獲取的難易程度，選擇生長階段為大蠶期的家蠶開展識別試驗。

1.2 病蠶樣本獲取

卷積神經網絡可自行進行圖像特征提取，但對圖像的數量有一定的要求，數量較少時，難以提取到足夠的特征，無法確保形成可靠的識別能力[17]。此外，為使訓練出的模型具有較強的應用能力，最佳的方法是直接從實際養蠶中獲取病蠶樣本，但這種方法在實際環境中難以開展，因一旦出現病害滋生，就必須要對病蠶進行無害化處理，防止病害的進一步傳播。對此，為集中獲取充足的樣本用于構建數據集，并保證圖像所屬病害種類的準確性，采用飼養和感染病原的方法集中獲取病蠶樣本。

飼養方法是在相同的環境下，按照飼育規程將蠶卵孵化并飼養至3齡，再將其分為6組，每組數量約700只，其中5組用于病害樣本，1組用于健康樣本。感染病原的方法是用病原污染桑葉，如圖1所示，再進行添食，家蠶食入后會造成感染，具體是在蠶病學專家的輔助下開展的，根據家蠶幾種病害的發病時間，并確保參與識別的家蠶處于相同的生長階段，將每種病原的使用劑量控制在從4齡第四天開始發病，因此在3齡第一天添食微粒子病原，4齡第一天添食膿病病原(NPV，血液型膿病)、白僵病原、4齡第三天進行細菌病原添食。使用的農藥名稱為敵殺死，其主要成分為溴氰菊酯，該農藥主要用于農作物害蟲防治，田間使用時會影響周邊的桑園，是造成家蠶農藥中毒的主要原因。使用的劑量是在10 L水中加入4滴后浸泡桑葉，再將桑葉晾干后再進行添食。用作獲取病害的樣本只感染一次病原，后續仍然按照飼育規程正常飼育。農藥中毒組是在采集圖像前，取出部分家蠶進行添食。

(a)病原涂抹桑葉

1.3 圖像采集

從4齡第四天開始采集圖像，每天均在蠶病學專家的指導下，僅對確診染病的家蠶采集圖像，且為避免交叉感染，所有采集過圖像的家蠶均不再進行飼養，直接對其進行無害化處理。

使用6個型號完全相同的智能手機為圖像采集裝置，品牌是iPhone 6s，具有1 200萬像素，采集環境為室內自然光照，農藥中毒組的家蠶在添食農藥20 min后開始采集，其他家蠶的采集時間為每一天的13：00至17：00，以此確保家蠶的生長期基本相同。采集時，使用一個三腳架將采集裝置的位置固定，并使鏡頭豎直朝下，如圖2所示，將家蠶從蠶箔中取出放置在鏡頭下，保持正常姿態，使用桑葉為圖像背景，并在采集過程中頻繁更換桑葉。為確保尺寸縮放后，家蠶形狀不發生變化，將采集裝置的屏幕拍攝長寬比設置為1∶1，焦距設置為固定高度下屏幕能夠包含完整蠶體的距離。

圖2 圖像采集裝置

1.4 數據集構建圖像編碼

采集裝置獲取的原始圖像尺寸為3 024像素×3 024 像素，該尺寸超出了一般卷積神經網絡的輸入尺寸，采用雙線性插值法[18]將圖像尺寸縮放為224像素×224像素，除此之外未進行任何的圖像預處理操作。每種類別的家蠶圖像尺寸縮放結果如圖3所示，并將相同類別的圖像放置在同一文件夾下，構建了家蠶病害圖像數據集，圖像總數為3 600張，如表1所示。并采用隨機挑選圖像的方法，數量按照6∶2∶2的比例將數據集拆分成訓練集、驗證集和測試集。

(a)白僵病

表1 家蠶病害圖像數據集

使用卷積神經網絡進行圖像運算前，需先對圖像類別進行編碼。分類識別一般采用one-hot編碼，其向量格式為y=(c1,c2…cj)T，其中，j為圖像類別數量。編碼方法是將每個類別圖像在編碼向量中對應元素的值設為1，其他元素值設為0。例如，假設白僵病圖像對應在編碼向量中第一個元素值，則對于該類圖像，其類別編碼結果為y=(1,0,0,0,0,0)T，并且在卷積神經網絡的輸出結果向量中，第一個元素值為圖像屬于白僵病類別的概率值。

本文對于訓練集和驗證集中的圖像，直接使用深度學習開發工具Keras提供的ImageDataGenerator工具包從文件夾中自動讀取圖像類別并編碼。對于測試集的圖像，使用Python工具依次將圖像存儲在一個數組中，數組中單個元素為圖像的像素值組成的數組，再將每張圖像的類別標簽對應存儲在另一數組中。

1.5 殘差神經網絡的結構

殘差神經網絡(ResNet)是由He等在2015設計的，并獲得了該年度的ILSVRC&COCO競賽的目標檢測和定位任務的冠軍成績。ResNet的核心思想是將網絡靠前層的特征跨越連接到靠后層，如圖4所示，通過特征共享實現增加網絡深度的同時避免出現梯度消失或爆炸。因ResNet在特征提取上展現的優異性能，使得后續出現的經典網絡基本都借鑒了殘差連接的思想，如Inception-ResNet、DenseNet和YOLO v3。因此本文選擇殘差神經網絡進行家蠶病害的分類識別研究，可以確保達到理想的識別結果。

圖4 殘差連接示意圖

根據訓練參數量，ResNet又可分為多個版本，通常采用ResNet后跟參數層數字表示網絡的版本，例如ResNet-18、ResNet-50和ResNet-101等。其中，ResNet-50的應用相對廣泛的版本，其整體結構如圖5所示，主要由Convolutional塊和Identity塊構成，其輸入為224像素×224像素的彩色圖像。

圖5中：“Conv”代表卷積層，“7×7 Conv，64，stride=2”代表該卷積層上使用64個尺寸為7×7的卷積核按步長為2進行卷積運算；“3×3 MaxPool，stride=2”代表池化層上使用尺寸為3×3的池化核進行最大值池化運算，“Identity block”后“×3”代表該結構重復3次；AveragePooling代表全局平均值池化；“FC-6”代表全連接層，輸出類別個數為6。

圖5 ResNet-50網絡結構示意圖

Convolutional塊和Identity塊的結構如圖6所示，在Convolutional塊上的運算分為2組，第一運算是對特征圖使用尺寸為1×1，3×3和1×1的卷積核進行3次卷積運算，另外一組運算是在殘差連接上，對特征圖使用尺寸為1×1的卷積核進行卷積運算，并將2次運算的結果合并，激活后傳輸到下一層，“BN”代表批量歸一化，“ReLU”代表特征值激活，在Identity塊上，也將執行與Convolutional塊上第一組相同的運算，并將結果直接輸入特征合并后傳遞至下一層。Convolutional塊上有2次1×1的卷積運算的步長為2，所以會使特征圖的維度降低，而Identity塊的特征圖輸入和輸出維度不發生變化，用于增加網絡深度。

圖6 Convolutional和Identity塊

包括ResNet在內的經典卷積神經網絡都是利用COCO和VOC等大型數據集進行設計訓練的，而在這些數據集上圖像類別和數量都非常多，所以經典神經網絡的參數量多，網絡結構龐大，應用在自建微型數據集上必然會出現不必要的計算耗損，還可能出現過擬合，造成識別準確率下降。對此，本文采用對ResNet-50進行部分修改，減少訓練的參數量，提升運算效率。

對ResNet-50修改后的結構如圖7所示。

圖7 改進的ResNet網絡

圖中“1×”等代表Identity block數量，“112×112×32”等代表該部分運算后的輸出維度。為便于表述，先將ResNet-50的4個Identity塊分別命名為Identity block A～D，將其數量分別減少為1、2、2、1個，將網絡所有卷積運算層上卷積核的數量減少為原來的1/2，將結構縮減后的網絡命名為縮減的ResNet；其次在結構縮減的基礎上，采用對Identity block C和Identity block D進行特征融合的方法，來增強網絡的特征表達能力。具體為：對于任意輸入圖像，在經過Identity block D的運算后，其輸出特征圖的維度為7×7×1 024，為進行特征融合，采用256個尺寸為1×1的卷積核進行卷積運算，特征圖的維度調整為7×7×256，然后對其進行上采樣運算(UpSampling2D)，將其特征維度還原成14×14×256，再與Identity block C的輸出特征圖合并(Concatenate)運算，合并后的特征圖維度為14×14×768；最后對融合后的特征分別進行一次Convolutional塊和Identity塊運算，特征圖的輸出維度變為7×7×512，并采用全局平均值池化和全連接運算后輸出預測結果，將結構縮減和特征融合后的網絡命名為改進的ResNet。

特征圖合并的原理如圖8所示，將維度為m×m×n的特征圖與m×m×k的特征圖進行合并運算，合并后特征圖維度變為m×m×(n+k)。

圖8 特征圖合并示意圖

2 結果與分析

2.1 試驗環境與方法

主要試驗的硬件環境為DELL Precision 5820工作站(設備一)，其處理器為Intel(R)Core i7-9800X，圖像顯卡為RTX2080 Ti，具備11 G內存，計算平臺為Cuda-10.0。此外，部分試驗使用了Lenovo Legion Y7000筆記本電腦(設備二)，其處理器為Intel(R)Core i5-8300H，顯卡為GTX 1050Ti，具備4 G內存。兩套設備的軟件環境相同，均是Windows 10專業版操作系統，編程語言為Python 3.7，深度學習框架為TensorFlow 1.14和Keras 2.2.5，編譯環境為Jupyter notebook。

試驗方法是先使用訓練集和驗證集在設備一上進行網絡訓練，再使用測試集對網絡進行測試，以測試集上的準確率和測試集上的識別時間為試驗評價指標，準確率的計算公式如式(1)所示。

(1)

測試集上識別時間的計算方法是在測試前和識別結束后讀取當前系統時間，再求兩個時間點的差獲得模型的檢測時間。

2.2 網絡訓練與測試

對本文改進的ResNet網絡訓練使用的超參數分別是，初始學習率為0.001，在訓練過程中，以訓練集損失值為參照，當該值連續5次迭代而未出現明顯下降時，就將學習率乘以0.8，batch_size為16，損失函數為交叉熵，優化器為Adam，迭代次數為200次。記錄網絡在訓練集和測試集上的準確率與損失值，用于評價網絡的訓練效果，如圖9所示。

(a)準確率

從網絡在訓練集和驗證集上的準確率與損失值的變化過程可以得出，在本研究的試驗環境下，改進的ResNet在約經過75次迭代就處于穩定狀態，并且在訓練集和驗證集上的準確率都在95%以上，訓練效果較為理想。

網絡訓練結束后，使用測試集上對其進行測試，將識別結果的混淆矩陣輸出，結果表2所示。

表2 測試集家蠶病害圖像識別統計結果的混淆矩陣

在混淆矩陣中，主對角線上的數值表示網絡正確識別的圖像數量，其他位置則是誤識別的數量，從中可以得出，發生誤識別較多的是，將7張農藥中毒圖像誤識別成健康家蠶圖像，將11張健康圖像誤識別為農藥中毒圖像，將4張微粒子病圖像識別成細菌病圖像，將6張細菌病圖像識別成微粒子病圖像。最終使用式(1)求得網絡在測試集上的識別準確率為94.31%。

查看測試集中所有誤識別的圖像后，分析造成部分健康家蠶與農藥中毒蠶出現混淆識別的原因可能在于，部分家蠶在輕量的農藥中毒后，身體呈現臥伏狀，與健康的家蠶特征非常類似，且部分健康家蠶在進行圖像采集，受到人為刺激，蠶體蜷縮后，與農藥中毒特征相似。此外，部分家蠶在感染微粒子病和細菌病后，未能夠準時休眠和蛻皮，呈現出半蛻皮狀態，在外觀上非常相似，容易造成誤識別。

2.3 與ResNet-50的對比試驗

為驗證改進后的ResNet算法對家蠶病害圖像的識別性能，本節使用標準的ResNet-50和經過結構縮減的ResNet網絡在相同的環境下進行家蠶病害的識別試驗，即使用2.2節中的超參數在設備一上進行網絡訓練，并分別在設備一和設備二上進行測試，記錄各個網絡的單次迭代時間、在測試集上識別準確率和測試時間等，結果如表3所示。

表3 3種網絡的結果對比結果

從對比結果可得，在對標準的ResNet-50網絡進行結構縮減后，會使網絡的參數量和權重文件的大小大幅減少，也會使網絡在訓練集和測試集上的準確率降低，但對網絡的單次迭代時間卻無明顯改變。在縮減網絡的基礎上，通過對不同維度的特征進行融合的方法，可以在參數量和權重大小大幅降低的情況下，保持與標準的ResNet-50網絡相當的測試準確率，在對測試集的識別效率也大幅提升，尤其是將訓練出的模型從專業圖像設備(設備一)移植到普通設備(設備二)時，改進的ResNet網絡的測試耗時僅為標準ResNet-50的1/3左右，表現出了非常明顯的優勢。此外，分析3種網絡的單次迭代時間和測試集的檢測耗時上的出現的差異，即對ResNet-50的結構縮減后，對單次迭代時間無明顯改變，但在測試集上的檢測時間卻大幅度降低，鑒于在測試集上測試時，卷積神經網絡只進行了前向傳播，殘差神經網絡主要是進行圖像卷積運算，而單次迭代同時包含一次前向傳播和反向傳播，可以得出結論是，卷積神經網絡的反向傳播，包括計算損失值、計算損失函數對各個參數層的偏導數、參數更新等會耗費主要的迭代時間。

3 結論

針對現有的病害防治方法無法滿足規模化養蠶需求的問題，本文使用卷積神經網絡對家蠶常見病害圖像的進行了識別研究。

主要內容包括：首先采用實際飼喂和感染病原的方法集中獲取了家蠶品種芳·繡×白·春在大蠶期部分生長階段的病害樣本和健康樣本，病害種類包含白僵病、農藥中毒、膿病、微粒子病、細菌病；其次在實際環境下進行了圖像采集，構建了家蠶病害圖像數據集，總數達到3 600張；然后采用特征融合和結構縮減的方法對ResNet-50網絡進行了部分修改，以減少直接使用該方法時的計算耗損；最后進行了家蠶病害的識別試驗，結果表明，使用ResNet-50網絡進行家蠶病害的識別時，在測試集上的準確率可達到94.72%；使用縮減的ResNet網絡在測試集上的識別準確率為93.15%，且網絡的訓練參數量約為原來的1/6；使用結構縮減和特征融合對ResNet-50進行改進的方法，設計的改進的ResNet網絡在測試集上的準確率可為94.31%，與ResNet-50的準確率相當，但網絡訓練參數量僅為原來的1/3，能夠同時兼顧識別準確率和運算效率，更有利于網絡的訓練與部署。

本文研究表明了卷積神經網絡可實現對家蠶病害圖像的高效準確識別，但仍然存在一些不足之處，最主要的是數據集的構建上，首先是在固定的場景下進行的圖像采集，不能保證訓練的模型對其他的采集設備或在其他環境下采集的圖像形成良好的識別能力。其次是只采集了部分生長階段的圖像，然而數據多樣性還有待提升，因此還需重復樣本獲取試驗，以獲得不同生長階段下的病蠶樣本。最后是每張圖像中僅包含了一個家蠶的圖像，但在實際養蠶環境下，出現病害傳播時，往往是健康家蠶與患病家蠶共存，或是健康家蠶夾雜著患病家蠶，所以本文的圖像采集方法還需要進一步改進。

在后續的研究中，計劃進一步增強數據集中圖像的多樣性，包含不同的家蠶品種、不同的生長階段以及不同的病變程度，并且將研究重點放在當患病家蠶和健康家蠶混雜的情況下，利用卷積神經網絡對病蠶進行定位檢測，以及家蠶病變過程中早期識別與預警，這樣能夠更加有助于開發智能病害早期預警與精準防治系統。