基于二次遷移模型的小樣本茶樹病害識別

謝軍 江朝暉 李博

摘要：為提高小樣本茶樹病害識別的準確率，提出一種基于2次遷移模型的卷積神經網絡茶樹病害圖像識別方法。首先將ResNet模型在ImageNet數據集上進行預訓練，然后將預訓練模型對植物病害數據集進行參數遷移訓練，最后將遷移學習訓練后的模型對擴充后的小樣本茶樹病害數據集進行2次參數遷移訓練。結果表明，擴充后的數據集識別準確率較原數據集提高2.32%，再進行2次遷移學習后識別準確率又提高6.38%。通過調整訓練超參數，對茶紅銹藻病、炭疽病、茶網餅病、圓赤星病、藻斑病等5種茶樹病害圖像的識別準確率高達96.64%。在對5種茶樹病害進行驗證時，驗證樣本識別率與常規深度學習相比由93%提高至98%。2次遷移學習能夠有效提高在小樣本茶樹病害識別下模型的識別能力，對實用化茶樹病害識別具有重要的參考意義。

關鍵詞：茶樹病害;圖像識別;小樣本;二次遷移模型;殘差網絡

茶葉具有重要的食用和經濟價值，但茶樹病害嚴重影響其品質和產量[1-2]。以葉部病害為例，常見的茶樹病害有茶紅銹藻病、炭疽病、茶網餅病等幾十種，及時準確地識別茶樹病害能夠幫助管理人員采取相應的措施減少病害對茶樹生長造成的影響。目前茶樹病害的識別主要依賴農間管理者長期的經驗認知，因此研究快速有效識別茶樹病害方法具有重要的研究意義。隨著人工智能技術的普及，圖像識別技術能幫助農間管理者對茶樹病害進行在線檢測[3-5]。方晨晨等通過改進深度殘差網絡對番茄病害圖像進行識別[6];王秀清等提出一種基于自適應布谷鳥與反向傳播協同搜索的病害識別算法以提高番茄病害識別準確率[7];賈少鵬等提出卷積神經網絡（convolutional neural networks，簡稱CNN）與膠囊網絡的組合模型對農作物病蟲害進行訓練識別[8]。在上述研究中，均通過更改神經網絡結構提高病害識別的準確度，但在實際運用中，往往存在樣本采集少、圖像質量低等問題。當樣本數據較少時，很難通過改進算法來提高識別準確率。因此，孫云云等通過對病害圖像進行一系列預處理，提高了識別效果[9]。任勝男等采用one-shot學習方式對小樣本植物病害進行識別[10]。上述研究工作，在一定程度上可以解決訓練樣本較少的問題，但由于樣本數量較少，訓練過程不透明，容易導致過擬合。為實現小樣本病害識別，同時避免過擬合問題，蘇婷婷等利用卷積神經網絡并結合遷移學習提高了花生葉部病害的準確率[11];許景輝等分別在VGG-16和Inceptive-v3模型下對ImageNet數據集進行遷移學習，增加了病害的識別準確率[12-13]。上述研究采用遷移學習方式對小樣本數據集進行識別，雖然在一定程度上能防止過擬合情況發生，在源域與目標域相似性上存在一定差距，但遷移學習訓練方式還需提高。本研究首先對ImageNet數據集進行預訓練，然后更改預訓練模型的全連接層對植物病害數據集進行參數遷移學習訓練，接著更改第1次遷移學習訓練后模型的全連接層對處理后的茶樹病害數據集進行第2次參數遷移學習。在利用植物病害公共數據集與茶樹病害數據集特征相似對茶葉病害進行卷積計算的基礎上使用2次遷移學習訓練對茶樹病害進行識別，達到小樣本情況下提高病害識別率的目的。1 材料與方法

1.1 試驗材料

圖像數據由ImageNet數據集、植物病害數據集、茶樹病害數據集3個部分組成。ImageNet數據集是包含14 197 122幅圖像的大型公共數據集。植物病害數據集由Plant-Village公共數據集、中國科學院合肥智能機械研究所智能認知研究組構建的農業病害研究圖庫IDADP以及中國科學院合肥智能機械研究所提供的黃瓜水稻數據集3個部分組成，共計39類農作物病害，95 239張圖片。茶樹病害圖像數據由安徽省農業科學院農業經濟與信息研究所采集。通過單反相機采集以葉片、天空為背景的田間茶樹病害圖像，同時通過圖像處理軟件對圖像進行預處理。經專業技術人員確認，篩選茶樹病害葉片樣本圖片共計1 024張。

卷積神經網絡雖然在圖像識別上具有較好的能力，但使用卷積神經網絡對復雜背景下的茶葉病害識別需要進行大量計算，這樣不僅增大卷積計算時間而且易出現欠擬合問題，導致識別準確率降低[9]。因此，針對此類問題，需要對小樣本數據集進行處理。本研究先將原茶樹病害數據集進行裁剪，然后對裁剪后的圖片采用幾何變換、隨機亮度變化、隨機對比度變化、高斯模糊等處理方式，將訓練圖像擴充至15 774張，并利用歸一化方式將擴充的數據集圖像屬性調整為256像素*256像素。由于epoch訓練輪次較多，因此按照8 ∶ 1 ∶ 1[隨機挑選訓練集（train） ∶ 訓練過程中的測試集（val） ∶ 訓練模型結束后用于評價模型結果的測試集（test）]比例進行訓練，保證測試的準確度和可信度。分布情況如表1所示，圖像樣例如圖1所示。

1.2 試驗方法

基于ResNet網絡模型，采用二次遷移學習的訓練方式并結合Adam優化算法對小樣本茶樹進行病害識別。圖2為基于二次遷移模型的小樣本茶樹病害分類模型訓練過程。

1.2.1 卷積神經網絡模型 卷積神經網絡是一種前饋神經網絡，由1個或多個卷積層和頂端的全連通層組成，同時包括關聯權重和池化層等[14-17]。與其他深度學習結構相比，卷積神經網絡在圖像和語音識別方面能夠取得較好的結果[17]。

ResNet采用殘差網絡結構，而不是簡單地堆積層數。此種網絡結構為卷積神經網絡提供了新思路[18-20]。殘差網絡的核心思想為輸出2個連續的卷積層，并且輸入時繞到下一層。假設X為輸入圖像，殘差函數為F（x），則F（x）+x為卷積后的輸出。采用殘差函數F（x），將優化目標逼近于零。加深的殘差網絡比普通疊加的網絡模型更容易優化且不會隨著網絡深度的增加訓練錯誤增多。通過引入增加恒等映射的殘差映射，在輸出和輸入之間增加一個快捷方式連接（Shortcut Connection），可以更容易避免訓練時梯度消失的退化問題。

使用ResNet網絡模型為代表的ResNet18模型。此種模型能基本滿足多數試驗環境并具有較好的結果。ResNet18網絡結構如圖3所示。

1.2.2 遷移學習 遷移學習是將訓練數據集在已經訓練好的預訓練模型上更改相關層后完成訓練。植物病害數據集與茶樹病害數據集存在一定的相似性，且茶樹病害訓練集樣本數量較小，訓練能力不足，引入遷移學習可以較好地解決樣本數量小造成的識別準確率低問題。

使用二次遷移學習方法對小樣本茶樹病害進行識別。首先將茶樹病害數據集相似的植物病害數據集在ImageNet預訓練模型上進行第1次遷移學習。此次遷移學習將新設計的全連接層與原刪除全連接層的ResNet網絡連接，ImageNet數據集作為源域，植物病害數據集作為目標域。通過此種方式能依據植物病害特征更新訓練過程的權重參數，提升預訓練模型的泛化能力。然后將遷移學習訓練好的植物病害模型對小樣本茶樹病害數據集進行二次遷移學習訓練。此次遷移學習將更改后的植物病害模型的全連接層與茶樹病害數據集進行匹配，植物病害數據集作為源域，茶樹病害數據集作為目標域。通過此種方法能解決訓練樣本數量不足的問題，大大提升模型的識別準確率。

本次遷移學習采用基于參數的方式，源域和目標域共享模型，目標域通過預訓練模型進行訓練，在訓練過程中利用預訓練模型中權重及參數可微調網絡參數較快實現模型收斂。

1.2.3 識別模型中的優化算法 Adam是一種一階優化算法，可以替代傳統的隨機梯度下降（stochastic gradient descent，簡稱SGD）算法，能自動迭代更新神經網絡權重，加快模型收斂速度[21-22]。與傳統的隨機梯度下降優化算法不同，Adam算法通過計算梯度的一階矩估計和二階矩估計為不同的參數設計獨立的自適應性學習率[23]。本算法集適應性梯度算法（AdaGrad）和均方根傳播（RMSProp）算法優點于一身，能充分利用梯度的二階矩均值計算適應性參數。Adam算法使用動量變量和小隨機梯度按元素平方的指數加權移動平均變量，并在時間步長中將它們中的每個元素初始化[24]。 下列公式中（1）為動量變量計算公式，（2）為移動平均變量計算公式。

式中：β1、β2為超參數值，取值范圍均為[0，1];vt為時間步t的動量變量;gt為小批量隨機梯度;st表示小批量隨機梯度按元素平方的指數加權移動平均變量。為消除t較小時，過去各時間步小批量隨機梯度權值之和較小的問題，引入偏差修正，對于任意時間步t，將vt除以（1-β），從而使過去各時間步小批量隨機梯度權值之和為d1，Adam算法使用以上偏差修正后的變量為v^t和s^t，將模型參數中每個元素的學習率通過元素運算重新調整：

2 結果與分析

2.1 試驗環境

訓練環境在Windows 10專業版操作系統下，基于Intel（R） Xeon（R）CPU E3-1230 v3@ 3.30 GHz（12 GB運行內存）和 NVIDIA GeForce GTX 1080 Ti GPU的硬件設備上搭建Pytorch深度學習框架，使用Matlab對圖像進行裁剪、幾何變換、隨機亮度變化等操作，利用Python編程語言實現茶樹病害識別的訓練與測試。批次大小（Batch-size）即每批次訓練與測試的圖片數根據模型與硬件設備不同設置為32、64、128、160、256、320。學習算法在整個訓練數據集中工作次數（epoch）根據Batch-size大小設置為40、80，學習率（Lr）設置為0.001、0.01、0000 1。

2.2 試驗設計

為探究茶樹病害如何獲得較好的識別效果，以ResNet18為參照模型，進行3組不同維度的比較。第1組對原數據集和更改數據集進行比較，測試擴充數據集對茶樹病害識別的影響。第2組對未遷移、1次遷移、2次遷移等3種模式進行比較，獲得ResNet18模型的最佳遷移方式。第3組擬在不同超參數ResNet18模型下訓練并進行比較，獲得適合的超參數訓練環境，采用3組試驗進行茶樹病害識別，探究提高小樣本茶樹識別準確率的方法。

2.3 試驗結果與分析

2.3.1 圖像數據對模型的影響 本組試驗將原數據集與擴充數據集進行比較，采用ResNet18模型對茶樹小樣本數據進行直接訓練，設置Batch-size為32，學習率為0.001，得到如圖4所示的Acc曲線（Model1為ResNet18對原數據集進行訓練，Model2為ResNet18對擴充數據集進行訓練）。由訓練可知原數據集測試準確率為86.40%，擴充數據集測試準確率為88.72%，Model2的識別率明顯高于Model1，提升了2.32百分點。通過訓練可知，Model2的準確率增長速度比Model1快且總體識別率高。由于茶樹數據集樣本小且未采取遷移學習的訓練方式，因此本次測試準確率較低。結果表明，將數據集進行裁剪，提取部分病害圖斑并作處理能有效提高識別率。

2.3.2 基于ResNet18的遷移學習訓練結果及分析 根據上述2組模型的訓練結果，本組采用4種模式對茶樹小樣本進行訓練。Model3使用植物病害數據集進行第1次遷移學習，遷移方式為更改全連接層并對最后一層進行訓練。Model4使用植物病害數據集進行第1次遷移學習，遷移方式為更改全連接層并對全部層進行重新訓練。Model5使用ImageNet數據集預訓練模型對植物病害數據集進行第1次遷移訓練，然后在小樣本茶樹病害數據集上進行第2次遷移訓練，遷移方式為更改全連接層并對最后一層進行訓練。Model6使用ImageNet數據集預訓練模型對植物病害數據集進行第1次遷移訓練，然后在小樣本茶樹病害數據集上進行第2次遷移訓練，遷移方式為更改全連接層并對全部層進行重新訓練。4種模型訓練的精度（Accuracy）曲線如圖5所示。本組訓練設置Batch-size為32，學習率為0.001，茶樹病害識別準確率如表2所示。

Model3、Model4與Model5、Model6進行比較可得出，進行ImageNet預訓練模型遷移和植物病害數據集預訓練2次遷移比1次遷移識別準確率提高約4%。相比遷移學習方式，更改全連接層并對最后一層進行訓練比更改全連接層并訓練全部層的方式識別準確率更高。

2.3.3 基于遷移學習的超參數訓練結果及分析 由上述試驗可知，ResNet18模型下Model5的識別率最高。本次訓練通過更改Model5的Batch-size和Lr的方式獲得適合的超參數訓練環境。超參數訓練結果如表3所示，不同超參數下Loss曲線如圖6所示。

由圖6可知，Batch-size越大，擬合速度越快，精確度越高，但當Batch-size達到256以后，再增大批次大小，精確度將不再提高。在遷移學習中，學習率太大可能導致參數更新過快，不能較好地通過權重信息進行訓練。在Batch-size為160、256時，改變學習率0.001、0.01、0.000 1，結果表明Batch-size設置為256，學習率設置為0.001模式下，茶樹病害識別準確率最高。

2.4 模型驗證

由上述訓練結果可知，Model5-5模型識別率最高。為驗證方法的可行性，每類病害按照 10 ∶ 1（train ∶ test）比例從未訓練數據集中隨機挑選100張圖片進行模型驗證。Model1中驗證集識別準確率為93%，Model5-5中驗證集識別準確率為98%。表4為Model1和Model5-5下的查準率和查全率。

3 討論與結論

3.1 討論

3.1.1 模型訓練方式的選擇 本研究在殘差網絡模型ResNet18的基礎上，調整了全連接層結構。在第1次遷移學習時，首先用植物病害數據集的39種分類取代原ImageNet數據集的1 000種分類，對這39種不同植物不同病斑進行特征訓練。然后將植物病害數據集的39種分類更改為茶樹病害數據集5種分類，進而對茶樹的茶紅銹藻病、炭疽病、茶網餅病、圓赤星病、藻斑病等5種病害進行第2次遷移學習訓練。利用植物病害公共數據集與茶樹病害數據集之間的特征相似性對茶葉病害進行卷積計算，然后結合數據集擴充和超參數更改操作對小樣本茶樹進行訓練。結果表明，本研究方法能有效提高擬合速度且在識別性能上相比未遷移和遷移1次的模型有較大提升。其中測試識別率提高9.24%，精確度達到96.64%;驗證識別率提高5%，精確度達到98%。因此，本研究使用基于2次遷移的訓練方法，對茶樹紅銹藻病、炭疽病、茶網餅病等病害識別行之有效。

3.1.2 超參數在病害訓練中的影響 采用不同批次大小和學習率對茶樹病害進行訓練。結果表明，學習率設為0.01情況下，茶樹病害的測試準確率最差。學習率為0.001情況下茶樹病害的測試準確率最高。此外，訓練批次大小（Batch-size）也會影響測試準確率，在一定范圍內Batch-size越大收斂越快，測試準確率越高。因此，在ResNet18模型下合適的超參數可以提高模型的訓練精度。

3.2 結論

采用植保專家標定的數據作為神經網絡的訓練樣本，選用殘差網絡ResNet18為訓練模型，在擴充數據集及調整適應超參數的基礎上運用2次遷移學習方式進行小樣本茶樹病害的深度學習訓練。結果表明，對茶樹病害數據集進行擴充后識別準確率優于擴充之前的識別準確率，選用2次遷移學習訓練方式的識別準確率明顯優于未遷移學習訓練方式，合適的超參數也可提高識別準確率。表明本研究建立的基于2次遷移學習的深度學習訓練方式可較好地解決圖像識別中茶樹病害數據樣本不足的問題。雖然試驗采用了殘差網格模型ResNet18，但從原理上看本結果也應該適用其他網絡模型。

參考文獻：

[1]董照鋒，李 俊，趙 宇. 商洛茶樹病蟲種類調查及主要病蟲害發生分布[J]. 山西農業大學學報（自然科學版），2018，38（12）：33-37.

[2]劉 威，袁 丁，郭桂義，等. 茶樹炭疽病病原鑒定[J]. 南方農業學報，2017，48（3）：448-453.

[3]Zhang Q C，Yang L T，Chen Z K，et al. A survey on deep learning for big data[J]. Information Fusion，2018，42：146-157.

[4]Rangarajan A K，Purushothaman R，Ramesh A . Tomato crop disease classification using pre-trained deep learning algorithm[J]. Procedia Computer Science，2018，133：1040-1047.

[5]Sun Y，Jiang Z，Zhang L，et al. SLIC_SVM based leaf diseases saliency map extraction of tea plant[J]. Computers & Electronics in Agriculture，2019，157：102-109.

[6]方晨晨，石繁槐. 基于改進深度殘差網絡的番茄病害圖像識別[J]. 計算機應用，2020，40（增刊1）：203-208.

[7]王秀清，陳 琪，楊世鳳. 基于自適應布谷鳥與反向傳播協同搜索的病害識別系統[J]. 天津科技大學學報，2020，35（2）：69-73.

[8]賈少鵬，高紅菊，杭 瀟. 基于深度學習的農作物病蟲害圖像識別技術研究進展[J]. 農業機械學報，2019，50（增刊1）：313-317.

[9]孫云云，江朝暉，董 偉，等. 基于卷積神經網絡和小樣本的茶樹病害圖像識別[J]. 江蘇農業學報，2019，35（1）：48-55.

[10]任勝男，孫 鈺，張海燕，等. 基于one-shot學習的小樣本植物病害識別[J]. 江蘇農業學報，2019，35（5）：1061-1067.

[11]蘇婷婷，牟少敏，董萌萍，等. 深度遷移學習在花生葉部病害圖像識別中的應用[J]. 山東農業大學學報（自然科學版），2019，50（5）：865-869.

[12]許景輝，邵明燁，王一琛，等. 基于遷移學習的卷積神經網絡玉米病害圖像識別[J]. 農業機械學報，2020，51（2）：230-236.

[13]王艷玲，張宏立，劉慶飛，等. 基于遷移學習的番茄葉片病害圖像分類[J]. 中國農業大學學報，2019，24（6）：124-130.

[14]Wang K，Zhuo L，Li J F，et al. Learning an enhancement convolutional neural networkfor multi-degraded images[J]，Sensing and Imaging，2020，21（12）：5187-5198.

[15]陳 峰，谷俊濤，李玉磊，等. 基于機器視覺和卷積神經網絡的東北寒地玉米害蟲識別方法[J]. 江蘇農業科學，2020，48（18）：237-244.

[16]Li Y S，Hu J，Zhao X，et al. Hyperspectral image super-resolution using deep convolutional neural network[J]. Neurocomputing，2017，266（29）：29-41.

[17]王元東. 基于ResNet模型的圖像分類方法及應用研究[D]. 南昌：華東交通大學，2019.

[18]Vidya K，Keerthana P，Shyamala Guruvare. Hybrid transfer learning for classification of uterine cervix images for cervical cancer screening[J]，Journal of Digital Imaging，2020，33（2）：619-631.

[19]Zhong M，LeBien J，Campos-Cerqueira M，et al. Multispecies bioacoustic classification using transfer learning of deep convolutional neural networks with pseudo-labeling[J]. Applied Acoustics，2020，166：107375.

[20]Lu Z Y，Bai Y Z，Chen Y，et al. The classification of gliomas based on a pyramid dilated convolution resnet model[J]. Pattern Recognition Letters，2020，133：173-179.

[21]Fei Z G，Wu Z Y，Xiao Y Q，et al. A new short-arc fitting method with high precision using Adam optimization algorithm[J]. Optik，2020，212：164788.

[22]楊觀賜，楊 靜，李少波，等. 基于Dopout與ADAM優化器的改進CNN算法[J]. 華中科技大學學報（自然科學版），2018，46（7）：122-127.

[23]趙小強，宋昭漾. Adam優化的CNN超分辨率重建[J]. 計算機科學與探索，2019，13（5）：858-865.

[24]魏友達. 基于深度學習的唇語識別技術研究[D]. 西安：中國科學院大學（中國科學院西安光學精密機械研究所），2019.