融合遷移學習和知識蒸餾的輕量級馬鈴薯葉片病害識別模型的構建方法

摘要：輕量級深度學習模型常被部署于移動端或物聯網端，以實現算力資源受限條件下馬鈴薯病害的識別。但輕量級模型網絡層數較少，模型特征提取能力有限，無法實現相似表型特征的精確提取。為解決上述問題，提出一種輕量級殘差網絡模型的構建方法，該方法融合遷移學習和知識蒸餾策略訓練模型，在教師模型上使用遷移學習策略縮短教師模型的訓練時間，并將ResNet18模型進行模型剪枝，使用降采樣的方法提高模型識別準確率，最終在保證輕量化的前提下，實現對馬鈴薯葉片病害類別的精準識別。在馬鈴薯葉片數據集上進行試驗，結果表明，本研究方法構建的輕量級模型的識別準確率相較于Resnet18提高1.55百分點，模型大小縮小49.18%；相較于目前農作物病害識別領域，常用的輕量級模型MobileNetV3在模型大小相近的情況下，識別準確率提高2.91百分點。該模型能夠滿足大部分實際應用下的場景，可為部署在物聯網和移動端設備上的模型提供參考。

關鍵詞：馬鈴薯；病害識別；輕量級模型；遷移學習；知識蒸餾

中圖分類號：TP391.41" 文獻標志碼：A

文章編號：1002-1302（2024）04-0197-09

收稿日期：2023-07-24

基金項目：國家自然科學基金（編號：32101611）；云南省基礎研究計劃（編號：202101AU070096）；云南省重大科技專項計劃（編號：202202AE090021、202302AE090020）；省部共建云南生物資源保護與利用國家重點實驗室開放課題（編號：GZKF2021009）。

作者簡介：章廣傳（1998—），男，安徽銅陵人，碩士研究生，主要研究方向為數字農業。E-mail：1535797658@qq.com。

通信作者：何 云，博士，講師，主要研究方向為軟件工程、數字農業。E-mail：heyun@ynau.edu.cn。

馬鈴薯是全世界最重要的糧食作物之一，而中國是世界馬鈴薯總產量最多的國家。馬鈴薯病害一直是馬鈴薯生產中的痛點問題，嚴重影響我國現代化農業發展和農民增產增收。馬鈴薯病害的及時識別和防治，對于保障馬鈴薯的產量和質量具有重要意義［1］。傳統的病害識別主要依靠人工觀察和檢測，存在效率低、準確率低、成本較高等問題。彭學文等研究發現，只有21%的農民能夠依靠自身知識積累識別出農作物的病害［2］。我國傳統農業正在向現代化智慧農業轉化，智慧農業依托農業大數據，集物聯網、傳感器、云計算等多種新興技術為一體，實現農業生產中的智能感知、監測、預警、分析等，并提供精準決策［3］。

在21世紀初，大多數研究者在處理農作物病害分類問題時，首先是對圖像進行預處理，如灰度變換、圖像增強等，然后進行特征提取，送入分類器進行病害識別［4-5］。此階段，大多數研究者將BP神經網絡、SVM、貝葉斯判別法作為識別病害的分類器［6］。Prabhakar等對植物病害程度進行劃分，然后使用ResNet-101模型進行識別，最終在測試集上的識別準確率達到94.6%［7］。王東方等提出基于遷移學習改進ResNeXt-101模型，用于不指定農作物種類的病害檢測分類，在重構的AI Challenger 2018農作物病害數據集上，將該模型與 VGG-16、GoogleNet、ResNet-50、DenseNet-121卷積神經網絡模型進行比較，結果表明在相同試驗條件下，對不同作物不同病害分類的平均準確率達到98%，分類效果優于其他模型［8］。杜甜甜等針對受害程度識別不準確的問題，引入有效通道注意力機制用以提高模型的特征提取能力，在模型的分類層引入多尺度特征融合策略，用以提高模型對細粒度特征的分類能力，使用深度遷移學習來優化模型的整體性能，加快模型的收斂速度，提高模型的泛化能力，試驗表明RegNet網絡模型在作物病害損害水平數據集上的準確率達到94.5%［9］。上述這些研究應用的模型都屬于復雜網絡模型，具有學習能力強、特征提取能力強等特點，缺點是消耗大量的算力資源，不適宜部署在算力資源有限的移動端或物聯網端設備上。

為了實現農作物圖像識別模型在移動端或物聯網端的應用，研究人員嘗試引入輕量級深度學習模型。 鮑文霞等利用深度語義分割網絡U-Net對大田環境下的小麥圖像進行分割，設計結構較為簡單的多路卷積神經網絡，分別提取麥穗圖像RGB 3個通道的特征，遷移學習CDCNNv2模型對農作物病害的嚴重程度進行識別，識別效果達到94.51%［10］。余小東等采用遷移學習方式并結合深度學習，分別與使用遷移學習的ResNet-50、Xception、VGG16、VGG19、DenseNet-121、CDCNNv2模型進行對比試驗，結果表明基于殘差網絡（ResNet-50）的CDCNNv2算法效果最優，通過聯合損失函數的多路卷積神經網絡，在大田復雜背景下對麥穗赤霉病的識別精度達到90.5%［11］。Pujari 等通過將提取的糧食作物葉片真菌病害的LBP特征送入神經網絡而進行病害分類［12］。You等提出一種微調的GoogleNet模型，以處理農田場景所呈現的復雜背景［13］。輕量級模型對相似表型特征的識別能力較低，但輕量級模型存在參數量小、運行成本低、運算耗時少等特性，因此能夠被快速部署到移動端設備。目前馬鈴薯葉片病害主要是早疫病和晚疫病，葉片病斑具有分布雜亂、面積小、相似度高且形狀各異等特點，現有的輕量級模型難以實現馬鈴薯葉片病害的高精度實時分類識別。

本研究提出一種融合遷移學習和知識蒸餾的輕量級馬鈴薯葉片病害識別模型的構建方法，能夠構建出一個高精度的輕量級病害圖像識別模型。與現有的復雜網絡模型相比，該模型具有較少的模型參數，更適宜在移動設備或物聯網端部署；與現有的輕量級模型相比，該模型能夠實現更高的識別準確率。將該模型部署于移動端，可以實現馬鈴薯葉片病害的及時發現和診斷，降低病害導致的經濟損失。

1 相關知識

1.1 ResNet基礎模型

ResNet模型是深度殘差模型［14］，可以將殘差模塊理解為一個子網絡，通過堆疊子網絡搭建一個很深的網絡模型；網絡越深，所能獲取的信息越多，特征也越豐富。隨著網絡的不斷加深，造成梯度爆炸和梯度消失等問題，優化效果反而變差，測試數據和訓練數據的準確率隨之降低［15］。對輸入數據和中間層的數據進行歸一化操作，這種方法可以保證網絡在反向傳播中采用隨機梯度下降（stochastic gradient descent，SGD），從而讓網絡達到收斂［16］。但這個方法僅對幾十層的網絡有用，當網絡再加深時，歸一化操作的效果便微乎其微了。針對退化現象，He等提出ResNet網絡通過“快捷連接（shortcut connection）”構造殘差模塊［14］，包括一個卷積層擬合和Shortcut恒等映射，定義殘差模塊學習的特征H（x）如公式（1）所示。

H（x）=F（x）+x。（1）

1.2 遷移學習

遷移學習（transfer learning）的目的是應用已有的知識來更好地解決新問題。遷移學習能加快模型的訓練速度，增強模型的魯棒性［17-19］。將ImageNet數據集訓練ResNet101模型的參數和權重遷移至預訓練模型，選擇合適的層數凍結參數，重新訓練未凍結網絡，更新網絡權值，淺層卷積層提取基礎特征，比如邊緣、輪廓等基礎特征；深層卷積層提取抽象特征，比如整個葉片等；全連接層根據特征組合進行評分分類［20］。對于微調模型而言，選擇一個合適的層數進行凍結就顯得尤為重要，凍結層過少，模型訓練仍需要大量時間，會導致算力資源的浪費；凍結層過多，微調模型不易收斂，導致模型泛化能力弱。

1.3 知識蒸餾

深度學習在計算機視覺、語音識別、自然語言處理等眾多領域中均體現了令人難以置信的性能。但是，大多數模型在計算上過于復雜，無法在物聯網和移動端設備上運行。輕量級模型能夠完成一些實時性任務，但難以完成更深層次的特征分析。因此，引用知識蒸餾策略將大模型中提取的深層特征知識遷移到輕量級模型。知識蒸餾的本質屬于遷移學習的范疇，其主要思路是將已經訓練完善的模型作為教師模型，通過控制溫度T從教師模型的輸出結果中“蒸餾”出“知識”用于學生模型的訓練，并希望輕量級模型能夠學到教師模型的“知識”，達到和教師模型相同的表現；這里的“知識”在狹義上的解釋是教師模型的輸出中包含的某種相似性，這種相似性能夠被用作遷移并輔助其他模型的訓練［21］。知識蒸餾策略訓練模型可以提升模型精度，若目前網絡模型A的精度較低，那么可以先訓練一個更高精度的模型B，通常模型B的參數量較多，訓練時間較長，然后用這個訓練好的模型B對模型A進行知識蒸餾策略訓練，得到一個高精度的模型A［22］。

2 本研究方法

馬鈴薯葉片病害識別屬于細粒度圖像識別任務。為了更精準地識別馬鈴薯病害葉片的病斑特征及病害程度，本研究方法引入遷移學習訓練ResNet101復雜模型，構建輕量級網絡作為學生模型。構建輕量級網絡時，利用降采樣的方法提高模型對圖像的利用率，從而提高模型的識別準確率；利用模型剪枝的方法減小模型的大小，以便部署在物聯網和移動端設備上。將遷移學習后的ResNet101模型利用知識蒸餾策略訓練本研究構建的輕量級模型ResNet13，得到高精度輕量級模型（圖1，黑框白字為重點研究內容）。

2.1 基于遷移學習的ResNet101教師模型訓練

由于馬鈴薯葉片病害病斑之間的相似度較高，需要對同一類病害進行更為細致的劃分，對模型的特征提取能力要求較高。教師模型是知識蒸餾的關鍵因素之一，教師模型的識別準確率將直接影響最終的識別精度；而一般復雜網絡提取特征更為深層，識別準確率高但訓練時間久，因而引入遷移學習加速模型訓練。構建復雜網絡ResNet101模型，在ImageNet數據集上預訓練，將其參數和權重遷移至預訓練模型，利用上述的微調模型重新訓練部分網絡，獲取馬鈴薯數據集的特征。

定義1：ResNet101模型為一個由101層（Layer）組成的復雜網絡模型，則有ModelResNet101={Layer1，Layer2，Layer3，…，Layer101}，Tacci為凍結Layer1～Layeri層的識別準確率。本研究將ResNet101模型的Layer1～Layer6這6個卷積層凍結，訓練模型記錄模型識別準確率為Tacc6，依次增加凍結卷積層數，直到凍結Layerm的Taccm低于凍結Layerm-1的Taccm-1，保存凍結Layerm-1的權重weightm-1，用于后續研究。遷移學習流程如圖2所示，m初始值等于7。

2.2 基于降采樣和模型剪枝的輕量級學生模型構建

馬鈴薯葉片病害的識別模型通常部署于移動端和物聯網端，在算力有限的情況下要達到精準識別，模型要求參數小、識別速率快等。本研究提出一種輕量級模型的構建方法，利用降采樣提高模型的識別準確率，并利用模型剪枝壓縮模型的大小。

2.2.1 降采樣

每個殘差模塊的第1個conv都有1個下采樣的步驟，Input數據后經歷1個步長為2、1×1的卷積，將特征圖的尺寸減小為原來的一半，導致特征圖的一部分信息不被利用，對馬鈴薯病害葉片圖像特征的提取效果影響較大。為提升殘差模塊的特征提取能力，將下采樣步驟下移至3×3的卷積去完成（圖3-a、圖3-b）。卷積核在移動過程中能覆蓋整張圖像，從而避免信息的大量流失，將重構的模型命名為ResNet18-New、ResNet101-New。公式（2）中，輸出尺寸為輸入尺寸的 1/2，與原始殘差模塊輸出尺寸保持一致。

Output=Input-K+2×Ps+1。（2）

式中：Output表示輸出尺寸；Input表示輸入尺寸；K表示卷積核尺寸；P表示邊緣填補大小，等于1，s表示步距，為2。

2.2.2 模型剪枝

深度學習模型從卷積層到全連接層存在大量冗余的參數，復雜結構帶來一系列的問題：對于層數和神經元數量較多的深層網絡模型，計算延遲難以達到應用的標準，尤其是對于一些實時任務。本研究針對ResNet18網絡進行模型剪枝［23］，使模型輕量化，更利于部署在移動端。由圖3-c可見，將網絡中部分卷積核進行重構并刪除冗余的卷積核，新網絡依據網絡層數命名為ResNet13。模型剪枝后的卷積核如表1模型ResNet13所示。

2.3 基于知識蒸餾策略的輕量級學生模型訓練

由于馬鈴薯葉片病斑呈分布雜亂、面積小、相似度高且形狀各異等特點，淺層網絡模型難以實現馬鈴薯葉片病害高精度實時分類。利用高精度教師模型ResNet101，使用知識蒸餾策略訓練學生模型，其中教師模型是“知識”的輸出者，學生模型是“知識”的接受者。Hinton等稱之為嵌入在教師模型的“暗知識”，也就是在蒸餾階段需要遷移到學生模型的暗知識［22］。本研究方法采用的知識蒸餾過程分為2個階段（圖4）。

教師模型訓練：訓練教師模型ResNet101，教師模型相對復雜，模型識別準確率高。在溫度為T的時候，根據教師模型的SoftMax與學生模型的SoftMax計算Losshard。

學生模型訓練：知識蒸餾策略訓練學生模型，學生模型參數量較小、模型結構相對簡單。在溫度為1的時候，根據學生模型的SoftMax、Hard labels計算Losshard，利用知識蒸餾策略訓練學生模型，將教師模型ResNet101中學習到的“知識”傳授給學生模型，從而提升學生模型的識別效率。

Loss計算公式如下：

Loss=βT2Lsoft+αLhard。（3）

式中：Lsoft表示學生模型與教師模型的損失函數。其定義表達式如下：

Lsoft=-∑NjpTjlgqTj。（4）

其中：pTj=evjT∑NKevKT ；

qTj=eujT∑NKeuKT" 。

式（3）中：Lhard表示學生模型與真實樣本標簽的損失函數。其定義表達式如下：

Lhard=-∑Njcjlgq1j。（5）

其中：q1j=exp（ui）∑kexp（uk）；vj表示教師模型在第j個類別的logit；uj表示學生模型在第j個類別的logit；pTj表示教師模型在溫度T下SoftMax輸出在第j類上的值；qTj表示學生模型在溫度T下SoftMax輸出在第j類上的值；N表示總標簽數量；α、β為蒸餾超參數；T表示溫度。

3 試驗與分析

3.1 試驗準備

為加強模型的魯棒性，數據集不僅需要有簡單背景的試驗數據，還需要有復雜背景的實況數據。本研究數據集由AI Challenger 2018競賽數據集和PlantVillage數據集構成，包含健康馬鈴薯葉片、馬鈴薯早疫病一般類別葉片、馬鈴薯早疫病嚴重類別葉片、馬鈴薯晚疫病一般類別葉片、馬鈴薯晚疫病嚴重類別葉片（圖5）。

試驗時間為2023年3—6月，試驗地點為云南農業大學云南省作物生產與智慧農業重點實驗室。試驗數據集中馬鈴薯葉片病害圖片數量有限，且各類別樣本數分布不均，為了增強病害圖像的多樣性和模型的泛化能力，選擇數據增強方法擴大數據集。數據增強技術包含了多種變換方法，包括顏色的數據增強（色彩飽和度、對比度、亮度）、PCA處理、鏡像變換等。試驗使用Python中的PTL模塊，對部分樣本不足的試驗數據圖像進行水平翻轉，增強模型魯棒性及適應性；針對數據集中部分病害，使用垂直翻轉使數據增強。為使模型訓練更有效率，將本研究數據集中所有圖像統一調整為224像素×224像素，在馬鈴薯病害類別中使用數據集標簽0、1、2、3、4，分別代表健康馬鈴薯葉片、馬鈴薯早疫病一般類別葉片、馬鈴薯早疫病嚴重類別葉片、馬鈴薯晚疫病一般類別葉片、馬鈴薯晚疫病嚴重類別葉片。根據數據增強后的圖像將數據集劃分為訓練集、測試集、驗證集，其比例為8 ∶1 ∶1。通過測試集測試模型的識別準確率。數據集的各類樣本統計結果見表2。

本研究采用Pytorch作為馬鈴薯病害識別模型搭建和訓練平臺，計算機環境為Windows10系統，CPU型號為AMD Ryzen 7 4800H，GPU型號為NVIDIA GeForce RTX 2060。

試驗選擇1e-3作為初始學習率，設置批尺寸大小為32，使用自適應學習率優化算法Adam默認框架參數。蒸餾超參數設置為α=0.3、β=0.7，蒸餾溫度默認設置為T=10。

3.2 試驗驗證問題

為驗證本研究方法的有效性，主要驗證如下幾個問題（research question，RQ）。

RQ1：基于遷移學習能否提高教師模型的訓練效果；

RQ2：基于知識蒸餾技術能否提高輕量級模型的識別準確率；

RQ3：基于降采樣和模型剪枝的模型構建方法能否進一步提高輕量級的模型性能；

RQ4：知識蒸餾溫度對模型的影響；

RQ5：本研究方法構建的輕量級模型與農作物病害常用的模型相比性能如何。

3.3 模型評價指標

選取準確率（Accuracy，Acc）、精確率（Precision，P）、平均召回率（Recall，R）、特異度（Specificity，S）、迭代時間（iterate time）、模型大小（model size）作為評價指標衡量模型的性能。

準確率指模型能夠正確識別所有樣本（N）中的正確樣本的比例。公式如下：

Acc=14∑4i=0TPiN×100%。（6）

精確率指某一類的預測正確的樣本中真實正確樣本的比例。公式如下：

P=14∑4i=0TPiTP1+FP1×100%。（7）

召回率指某一類正確樣本中的被預測正確的樣本所占比例。公式如下：

R=14∑4i=0TPiTPi+FNi×100%。（8）

特異度指某一類反例的樣本中被預測為反例樣本所占比例。公式如下：

S=14∑4i=0TNiTNi+FPi×100%（9）

3.4 基于遷移學習能否提高教師模型的訓練效果

為驗證遷移學習能否提高教師模型的訓練效果，設置第1組消融試驗，通過引入遷移學習對ResNet101模型性能進行提升（圖6、表3）。其中，ResNet101-TL代表引入遷移學習以后的教師模型。

將ResNet101模型的前3個Layer層凍結，不參與參數更新；利用遷移學習策略訓練ResNet101-TL模型，與未采用遷移學習策略訓練ResNet101模型相比，加快模型收斂速度；在第20輪迭代時，模型就處于收斂狀態，ResNet101在第34輪迭代才達到收斂狀態。同時，ResNet101-TL模型相比ResNet101減少了65.48%的迭代時間，并提高0.39百分點的識別準確率，較為明顯地減少了模型訓練時間。在教師模型訓練時引用遷移學習，可增加模型的魯棒性。

3.5 基于知識蒸餾技術能否提高輕量級模型的識別準確率

為驗證知識蒸餾技術能否提高輕量級模型的識別準確率，設置第2組消融試驗，通過引入知識蒸餾技術對ResNet18模型進行訓練，訓練結果如圖7、表4所示。其中ResNet18-KD代表引入蒸餾策略訓練后的模型。

通過引入知識蒸餾策略訓練模型，將進行遷移學習的教師模型ResNet101的權重指導訓練學生模型ResNet18，模型在識別準確率上提升了0.41百分點；在學生模型訓練時引用知識蒸餾策略訓練模型，提高了模型識別準確率，增加了模型的泛化能力。

3.6 基于降采樣和模型剪枝的模型構建方法能否進一步提高輕量級學生模型性能

為驗證本研究提出的模型構建方法能否提高輕量級模型的性能，設置2組對比試驗。

第1組試驗，對比模型降采樣能否提高輕量級學生模型性能。模型降采樣的優勢在于能夠較好地保留低層次的信息和完整的圖像信息。本研究將下采樣步驟下移至3×3的卷積去完成，從而避免信息的大量流失。只有Layer2、Layer3、Layer4的第1個Basic Block進行下采樣，Layer1沒有下采樣。模型降采樣試驗結果如表5第1、第2行所示。

第2組試驗，對比模型剪枝能否提高輕量級學生模型性能。為了使ResNet18模型更加輕量化，針對ResNet18模型的卷積核進行重構與刪除，將新網絡依據網絡層數命名為ResNet13模型。改進后的網絡性能如表5第3行所示。通過模型剪枝使網絡模型準確率達到91.85%，僅比ResNet18模型降低了0.19百分點，而模型大小縮減了將近一半，僅為 21.7 MB。改進后的模型在識別馬鈴薯葉片病害時表現更優，混淆矩陣如圖8所示。

3.7 蒸餾溫度對模型的影響

知識蒸餾中溫度系數的選擇是知識遷移效果的決定性因素，知識蒸餾通過對輸出進行修改，增加一個溫度系數T，隨著溫度系數T增大，通過softmax函數得到的概率分布就變得更加軟化，提供更多的信息。采用ResNet13模型作為學生模型識別馬鈴薯病害葉片，教師模型ResNet101將學習的“暗知識”遷移至學生模型ResNet13。圖9為不同蒸餾溫度下學生模型ResNet13的識別準確率，隨著蒸餾溫度的增大，模型識別準確率總體呈上升趨勢；在蒸餾溫度為15時，識別準確率達到最高（93.59%）；識別準確率超過ResNet18模型1.55百分點。隨著蒸餾溫度T繼續增大，模型識別準確率保持不變。

3.8 本研究方法構建的輕量級模型與農作物病害常用的模型性能對比

利用本研究構建的馬鈴薯數據集，使用農作物病害識別領域常用的模型ResNet101、VGG-16、AlexNet、ResNet50、ResNet18以及輕量級模型MobileNetV3、本研究方法構建的輕量級模型ResNet13，完成50次迭代后的識別效果如表6所示，混淆矩陣如圖10所示。通過模型識別準確率判斷模型的泛化能力，通過迭代時間、模型內存占用量來判斷模型在移動端的推理速度和模型的復雜度。

在不考慮算力需求基礎上，ResNet101在識別效果上最優，無論是迭代時間和模型內存占用量均優于VGG-16。VGG-16模型較大，為512.0 MB。本研究構建的輕量級模型ResNet13在參數量上都遠低于ResNet101、VGG16、ResNet50等大模型。在模型大小僅有21.7 MB的情況下，ResNet13模型的識別準確率分別比Alex Net模型高1.94百分點、比ResNet18模型高1.55百分點。而相比于農作物病害識別的常用模型MobileNet v3，ResNet13模型大0.6 MB，準確率高2.91百分點（表6）。

4 結論

為了能夠在移動端準確且快速地識別馬鈴薯葉片病害，本研究針對馬鈴薯葉片病斑分布雜亂、面積小、相似度高且形狀各異等特點，提出一種融合遷移和知識蒸餾的輕量級馬鈴薯葉片病害識別模型構建方法。首先構建馬鈴薯葉片數據集，利用數據增強技術擴充數據集，提高模型的魯棒性；其次，利用下采樣推遲和模型剪枝進一步壓縮模型，減小模型的大小，使其便于部署在物聯網和移動端設備上；最后，利用遷移學習訓練教師模型，加快教師模型的迭代，再利用知識蒸餾技術指導學生模型訓練，提高模型的識別準確率，對試驗結果進行分析，得出以下結論。

（1）模型剪枝通過對卷積核的重構，減少模型的大小，本研究構建的ResNet13模型大小僅為 21.7 MB，識別準確率達到91.85%，相比于ResNet18模型大小縮減了49.18%，在減小模型大小的同時其識別準確率僅降低0.19百分點，可以部署在算力資源有限的物聯網和移動端設備上；

（2）試驗表明，模型下采樣推遲能充分利用圖像信息，不會造成圖像的信息流失，能提高模型識別準確率；消融試驗表明，在相同的試驗條件下，知識蒸餾策略訓練模型能有效提高模型識別準確率；

（3）蒸餾溫度對模型影響的試驗表明，當蒸餾溫度T為15時，模型識別準確率達到93.59%，識別效果達到最優。

本研究研究提出一種輕量級殘差網絡模型構建方法，融合遷移學習和知識蒸餾，構建出ResNet13模型，實現模型的高精度化和輕量化，且滿足移動端設備的實時性與高精度性需求，在馬鈴薯葉片病害識別方面具有優越性能，可為農作物病

害識別模型部署在物聯網和移動端設備上提供新的方法和思路。

參考文獻：

［1］黨滿意，孟慶魁，谷 芳，等. 基于機器視覺的馬鈴薯晚疫病快速識別［J］. 農業工程學報，2020，36（2）：193-200.

［2］彭學文，朱杰華. 河北省馬鈴薯真菌病害種類及分布［J］. 中國馬鈴薯，2008，22（1）：31-33.

［3］張 萌，錢 蓉，朱靜波，等. 農作物害蟲圖像識別研究進展與展望［J］. 安徽農業科學，2018，46（34）：11-12，15.

［4］周 竹，黃 懿，李小昱，等. 基于機器視覺的馬鈴薯自動分級方法［J］. 農業工程學報，2012，28（7）：178-183.

［5］王曉峰，黃德雙，杜吉祥，等. 葉片圖像特征提取與識別技術的研究［J］. 計算機工程與應用，2006，42（3）：190-193.

［6］馬 玲. 基于深度學習的蘋果葉面病害識別方法研究［D］. 西安：西京學院，2021.

［7］Prabhakar M，Purushothaman R，Awasthi D P. Deep learning based assessment of disease severity for early blight in tomato crop［J］. Multimedia Tools and Applications，2020，79（39）：28773-28784.

［8］王東方，汪 軍. 基于遷移學習和殘差網絡的農作物病害分類［J］. 農業工程學報，2021，37（4）：199-207.

［9］杜甜甜，南新元，黃家興，等. 改進RegNet識別多種農作物病害受害程度［J］. 農業工程學報，2022，38（15）：150-158.

［10］鮑文霞，孫 慶，胡根生，等. 基于多路卷積神經網絡的大田小麥赤霉病圖像識別［J］. 農業工程學報，2020，36（11）：174-181.

［11］余小東，楊孟輯，張海清，等. 基于遷移學習的農作物病蟲害檢測方法研究與應用［J］. 農業機械學報，2020，51（10）：252-258.

［12］Pujari J D，Yakkundimath R，Byadgi A S. Image processing based detection of fungal diseases in plants［J］. Procedia Computer Science，2015，46：1802-1808.

［13］You N S，Dong J W. Examining earliest identifiable timing of crops using all available Sentinel 1/2 imagery and Google Earth Engine［J］. ISPRS Journal of Photogrammetry and Remote Sensing，2020，161：109-123.

［14］He K M，Zhang X Y，Ren S Q，et al. Deep residual learning for image recognition［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas，NV，USA.IEEE，2016：770-778.

［15］彭 寧. 基于改進的Faster R-CNN的車牌識別技術研究［D］. 哈爾濱：哈爾濱理工大學，2021.

［16］周 婕，馬明棟. 基于改進的ResNet網絡的人臉表情識別［J］. 計算機技術與發展，2022，32（1）：25-29.

［17］Pan S J，Yang Q. A survey on transfer learning［J］. IEEE Transactions on Knowledge and Data Engineering，2010，22（10）：1345-1359.

［18］王艷玲，張宏立，劉慶飛，等. 基于遷移學習的番茄葉片病害圖像分類［J］. 中國農業大學學報，2019，24（6）：124-130.

［19］孫 俊，朱偉棟，羅元秋，等. 基于改進MobileNet-v2的田間農作物葉片病害識別［J］. 農業工程學報，2021，37（22）：161-169.

［20］劉 冰. 面向小樣本的特定標識檢測［D］. 天津：中國民航大學，2019.

［21］邵仁榮，劉宇昂，張 偉，等. 深度學習中知識蒸餾研究綜述［J］. 計算機學報，2022，45（8）：1638-1673.

［22］Hinton G，Vinyals O，Dean J. Distilling the knowledge in a neural network［EB/OL］. 2015：arXiv：1503.02531.https：//arxiv.org/abs/1503.02531.pdf.

［23］Frankle J，Carbin M.The Lottery Ticket Hypothesis：Finding Sparse，Trainable Neural Networks［DB/OL］. USA：Cornell University，2018.［2023-07-24］. arXiv：1803.03635.