改進的基于YOLOv5s蘋果樹葉病害檢測

周紹發 肖小玲 劉忠意 魯力

摘要：針對目前在復雜環境下蘋果樹葉病害檢測準確度低、魯棒性差、計算量大等問題，提出一種改進的基于YOLOv5s蘋果樹葉病害的檢測方法。首先，該方法在YOLOv5s網絡基礎上，選擇考慮方向性的SIoU邊框損失函數替代CIoU邊框損失函數，使網絡訓練和推理過程更快，更準確。其次，在特征圖轉換成固定大小的特征向量的過程中，使用了簡單化的快速金字塔池化（SimSPPF）替換快速金字塔池化（SPPF）模塊，在不影響效率的情況下丟失的信息更少。最后在主干網絡中使用BoTNet（bottleneck transformers）注意力機制，使網絡準確的學習到每種病害的獨有特征，并且使網絡收斂更快。結果表明，相比于基準網絡YOLOv5s，改進后的YOLOv5s網絡mAP精度為86.5%，計算量為15.5GFLOPs，模型權重大小為13.1 MB，相對于基準YOLOv5s，平均精度提升了6.3百分點、計算量降低了0.3GFLOPs、模型權重壓縮了1 MB。并適用于遮擋、陰影、強光、模糊的復雜環境。本研究所提出的方法，在降低了網絡大小、權重、計算量的情況下提高了復雜環境下蘋果樹葉病害的檢測精度，且對復雜環境具有一定的魯棒性。在預防和治理蘋果樹葉病害上有較高的實際應用價值，在后續研究上，會擴充更多類別的病害數據集，部署到無人機等物聯網設備，從而為實現智能果園種植提供技術參考。

關鍵詞：蘋果樹葉病害；目標檢測；YOLOv5s；bottleneck transformers；SIoU

中圖分類號：TP391.41? 文獻標志碼：A

文章編號：1002-1302（2023）13-0212-09

據國家統計局2016—2018年全國果園數據，蘋果園的占比達到了18%，在所有種植水果種類中，是僅次于柑橘的第二大果類，其產量已經達到了 4 139萬t［1］。蘋果產量受到氣候、土壤地質、灌溉、病害等多種因素的影響。在眾多因素中，蘋果病害是影響產量的最重要因素之一，而樹葉的病害是最常見的。蘋果樹葉病害的特點是種類多且某些病害表現相似，用肉眼難以區分，導致無法準確定位病害，最終導致產量下降。因此，準確識別出蘋果樹葉病害的類別，是防治病害與對癥下藥的重要前提［2］。

傳統的病害檢測方法主要為對含有病害的圖片進行分析，一般是基于圖片的機器學習方法，其代表方法有基于支持向量機（SVM）和圖片RGB特性分析，以及利用優化算法提高其他機器學習方法組合類方法［3］。但是以上方法表現的好壞太依賴于特征提取的方法以及原本數學方法的局限。

深度學習法對于圖像的特征提取與整合有著較大的進步，已被用于各種植物病害檢測。根據網絡結構的不同，Bari等使用改進的Fast R CNN（卷積神經網絡）實現了對稻葉的常見病害檢測并具有高精度實現效果［3］；王超學等使用YOLOv3來檢測葡萄的病蟲害并實現了實際部署［4］；Richey等使用YOLOv4實現了低時延的玉米病害檢測［5］；Haque等使用YOLOv5實現了蔬菜病害檢測，提高了對小范圍病害的檢測和定位效果［6］；雷建云等使用改進的殘差網絡實現了多種類的水稻害蟲識別，并實現了77.12%的高準確率和強魯棒性［7］。

上述方法大多數都能對研究目標實現較為準確的檢測，但是很少考慮所提出方法在面對不同環境下的蘋果樹葉病害是否能夠實現高準確率、更小計算量的檢測。為解決此類問題，本研究提出一種以YOLOv5網絡為基礎，加入Bottleneck Transformers注意力機制，并使用簡單化后的快速金字塔池化（SimSPPF）代替原有的快速金字塔池化（SPPF）網絡，以期實現在復雜環境下高準確率的蘋果樹葉病害檢測。

1 材料與方法

1.1 數據集來源

本研究的蘋果樹葉病害數據是自建數據集，一部分來自AI Studio，為收集不同環境下的蘋果病害圖片，使用網絡爬蟲、谷歌搜索等技術獲取另外一部分，總計2 041張，圖片格式為jpg，像素為1 000×750。為防止數據集過少產生過擬合和泛化性差的現象，通過旋轉、平移、等比例縮放、垂直和水平翻轉等數據增強方法，數據集總量為4 082張。葉片病害的種類有4類：蛙眼病（frog eye）、白粉病（powdery mildew）、銹葉病（rust）、斑點病（scab），具體見圖1。

1.2 數據預處理及分析

收集到的數據是沒有標注或者標注不準確的。使用Label-Img對全部蘋果樹葉做病害標注。采用最大矩形框標注明顯病害處，標注格式為YOLO的txt格式。每張圖片至少有1個病害標注。葉片標注示例與標簽分布見圖2。

1.3 YOLOv5網絡

YOLOv5網絡是在YOLOv4的基礎上改進的1階段（one-stage）目標檢測方法［8］，相較于生成候選區域（region proposal），再通過卷積神經網絡預測目標的分類與定位的2階段（two-stage）檢測方法更加簡潔有效。YOLOv5具體的改進是增加了自適應錨框和K-means算法聚類，并采用遺傳算法在訓練過程中調整錨框。使得整個訓練過程可以找到更好的先驗框，提高檢測準確率。YOLOv5根據不同的使用場景目的有YOLOv5l、YOLOv5m、YOLOv5s等版本，為保證算法的實時性和大小可控，本研究選擇了YOLOv5s版本，具體結構見圖3。

YOLOv5s網絡結構大致分成4個部分：輸入（input）、主干網絡（backone）、頸部（neck）及預測頭（head）。首先輸入部分是對圖像進行預處理，如Mosaic增強。主干網絡通過卷積神經網絡提取圖片特征信息，頸部負責將信息上采樣，不同網絡層的特征信息融合并將圖像特征傳遞到預測層。預測頭對圖像特征進行預測，生成邊界框并預測類別。

1.4 YOLOv5s網絡的改進

1.4.1 SIoU 邊界框回歸損失是評價目標檢測算法準確度的重要評判標準之一，而最常用的計算指標是交并比（IoU），即目標檢測中預測框與真實框的重疊程度，具體見式1。IoU值越高說明A框與B框重合程度越高，代表模型預測越準確。

IoU=｜A∩B｜｜A∪B｜。（1）

式中：A代表預測框；B代表真實框。

但是IoU對尺度不敏感，如果2個框沒有相交，根據定義，IoU=0，不能反映2個框的距離大小，會造成Loss=0沒有梯度回傳，無法進行學習訓練。隨著目標檢測技術的不斷改進，隨后出現不同的IoU改進算法：在IoU的基礎上，解決邊界框不重合時的問題的GIoU［9］；在IoU和GIoU的基礎上，考慮邊界框中心點距離信息的DIoU［10］；在DIoU的基礎上，考慮邊界框寬高比尺度信息的CIoU［11］。YOLOv5s默認使用CIoU。

SCYLLA-IoU （SIoU）是Gevorgyan在2022年提出的新邊界框回歸損失函數，重新定義了懲罰指標，極大改進了目標檢測算法的訓練和推理速度。通過在損失函數代價中引入方向性，與現有方法CIoU損失相比，訓練階段的收斂速度更快，推理性能更好［12］。主要由角度損失（angle cost）、距離損失（distance cost）、形狀損失（shape cost）、IoU損失（IoU cost）4個損失函數組成。

Angle cost的目的是如果α≤π4就最小化α，反之最小化β=π2-α。具體見圖4-a和式（2）。

Λ=1-2×sin2arcsinx-π4

x=chσ=sinα

σ=（bgtcx-bcx）2+（bgtcy-bcy）2

ch=max（bgtcy，bcy）-min（bgtcy，bcy）。（2）

式中：ch為真實框和預測框中心點的高度差；σ為真實框和預測框中心點的距離；sinα在訓練過程中若大于45°取β，否則取α；bgtcx、bgtcy為真實框中心坐標；bcx、bcy為預測框中心坐標。

Distance cost是真實框和預測框的最小外接矩形相關。具體見圖4-b和式（3）。

Δ=∑t=x，y（1-e-γρt）

ρx=bgtcx-bcxcw2，ρy=bgtcy-bcych2，γ=2-Λ。（3）

式中：cw、ch為真實框和預測框最小外接矩形的寬和高；ρt指距離損失使用2次冪來賦權重。

Shape cost具體見式（4）：

Ω=∑t=w，h（1-e-ωt）θ

ωw=｜w-wgt｜max（w，wgt），ωh=｜h-hgt｜max（h，hgt）。（4）

式中：w、h，wgt、hgt分別為預測框和真實框的寬和高；θ控制對形狀損失的關注程度；ωt是由w、h共同確定的冪數值。

最終的損失函數包含了IoU cost，詳見圖4-c和式（5）。

Lbox=1-IoU+Δ+Ω2

IoU=｜B∩BGT｜｜B∪BGT｜。（5）

1.4.2 SimSPPF SPP（spatial pyramid pooling）結構又被稱為空間金字塔池化，是He等在2015年提出的，它能將任意大小的特征圖轉換成固定大小的特征向量［13］。這避免了對圖像區域裁剪、縮放等操作導致的圖像失真等問題，解決了提取到重復特征的問題，極大地提高了產生候選框的速度，且節省了計算成本。而YOLOv5在SPP的基礎上將原本并行的Maxpool替換成串行Maxpool，并行和串行的效果一樣，但串行的效率更高，稱之為SPPF。而SimSPPF將SPPF的激活函數SiLU替換為ReLU，更加高效，具體改變見圖5。

1.4.3 BoTNet 當前，注意力機制在目標檢測領域已經得到廣泛應用［14］。注意力機制的靈感來自于人類視覺面對不同事物時會選擇性地關注重要的信息部分，忽略其他不重要的信息。在注意力機制的幫助下，神經網絡可以將有限的計算能力去捕捉更重要的圖像特征，最終達到更好的檢測精度。

為了使網絡能夠在不加大計算量的前提下獲取到更重要的蘋果樹葉病害特征，引入了BoTNet（bottleneck transformers）——基于ResNet改進的一種多頭自注意力機制（multi-head self-attention，MHSA）［15］。BoTNet與ResNet相比，是在一個標準的bottleneck block中將空間3×3卷積層替換成MHSA，差異見圖6，而MHSA原理見圖7。

不同的注意力層對應不同的樹葉病害類別，在自注意力部分采用的是相對位置編碼［16］。具體計算見式（6）至式（8）。

Attention（Q，K，V）=softmaxQKTdkV。（6）

式中：Attention（Q，K，V）為得到的注意力的值；Q、K、V分別為查詢量（query）、鍵（key）和值（value）；dk是key的維度。

MHSA是由多個不同的單注意力組成，具體見式（7）～式（8）。

headi=Attention（QWQi，KWKi，VWVi）；（7）

MultiHead（Q，K，V）=Concati（headi）WO。（8）

式（7）至式（8）中：Wi和WO為參數矩陣。

綜上，改進后的網絡結構對不同病害添加了注意力機制，能夠學習到每種病害獨有的特征，在提取特征時，使用更加高效的SimSPPF，并在預測階段引入了具有方向性的SIoU，提高了推理速度及準確度。整體改進的結構見圖8。

2 結果與分析

2.1 試驗環境與參數設置

本研究試驗的環境：CPU為AMD R5 5600，GPU為NVIDIA RTX 3070，操作系統為Windows10，編譯環境為Python3.7、Pytorch1.12.1深度學習框架，GPU訓練加速為CUDA11.6。試驗時間為2022年7—9月，試驗地點為長江大學農學院與計算機科學學院。試驗初始參數設置見表1。

表1中圖像大小是調整大小之后得來的，學習率下降方式采用余弦退火（cosine annealing），實現動態的學習率。Batch size為16，訓練總的輪次為300次（epoch）。在每個epoch中，對圖片的色調、飽和度、亮度進行變化調整，并使用了Mosaic方式將多張圖片進行拼接，以實現每個輪次的數據都是不同的，增加網絡的泛化性。將原始數據集按照? 8 ∶1 ∶1 的比例劃分為訓練集、驗證集和測試集。

2.2 評價指標

本研究采用目標檢測領域常見的精準率（precision，P）、召回率（recall，R）、IoU閾值設置為0.5的平均精度均值mAP（mean average precision，mAP）和計算量（GFLOPs）作為評價指標。其中GFLOPs代表10億次浮點運算量，其他具體計算見式（9）～式（12）。

P=TpTp+Fp；（9）

R=TpTp+Fn；（10）

PmAP=∫10P（R）dR；（11）

PmAP=∑PmAPn；（12）

式中：TP（true postives）是預測正確的正類樣本數量；FP（false postives）是預測錯誤的正類樣本數量；Fn（false negatives）是預測錯誤的負類樣本數量；n為預測的類別數。

2.3 對比試驗

2.3.1 損失對比 對本研究改進后的YOLOv5s與原YOLOv5s進行對比試驗，除本研究改進部分，其他網絡參數都參照表1設定，類別訓練損失與類別驗證損失的過程見圖9。由圖9可知，改進后的網絡，在同樣的迭代輪次的情況下，損失更小，網絡訓練更高效。

2.3.2 注意力機制對比 為驗證本研究所提出的BoTNet注意力機制的有效性，在基準模型采用YOLOv5s，且在超參數和圖像輸入設置相同的情況下，分別將其與當前比較熱門的SE（squeeze-and-excitation）、CBAM（convolutional block attention module）、SimAM（simple attention module）注意力機制進行對比，試驗結果見表2、圖10。

由表2、圖10可知，本研究提出的BoTNet注意力機制在更小的計算量和模型權重的情況下，能實現更高的目標檢測精度。

2.3.3 網絡對比及消融試驗 為體現本研究所提出網絡性能的優越性，選取SSD、YOLOv3、YOLOv4、YOLOX等幾種熱門目標檢測網絡。都使用默認網絡參數，且其他條件相同的情況下進行了對比試驗。各種網絡試驗結果見表3。

由表3可知，在最重要的評價指標mAP上，改進后的YOLOv5s網絡比SSD網絡提升27.9百分點；比YOLOv3網絡提升26.6百分點；比YOLOv4提升20.6百分點；比YOLOX網絡提升16.2百分點；比基準YOLOv5s網絡提升6.3百分點。在精準率和召回率上也都遠高于其他網絡。

為全面地驗證本研究所提出每個改進部分的有效性，對每個改進部分進行消融試驗（ablation experiment），即在網絡其他條件不變下，每次只增加1個改進部分的試驗。試驗結果見表4。

通過表4的試驗數據可知，每個改進的部分都有效果，在將IoU損失函數改成SIoU后，mAP上升，同時權重大小有微小的下降，說明SIoU相較于CIoU是更高效的。使用了SimSPPF和BoTNet后，在權重大小和計算量（GFLOPs）下降的情況下，mAP實現了明顯的上升。說明在將任意大小的特征圖轉換成固定大小的特征向量的過程中，SimSPPF丟失的信息更少。而BoTNet讓整個網絡更好地學習到了每種病害的獨有特征。

2.4 實例檢測

選取測試集的圖片，使用上述訓練好的各個網絡進行實例檢測，實例檢測結果見圖11。

由圖11可知，本研究所提出的方法，在識別病害時平均置信度是最高的，實現了更準確的檢測。

為驗證本研究所提出網絡在不同環境下的魯棒性，選擇遮擋、陰影、強光、模糊4種非正常環境的部分測試集圖片。環境實例檢測見圖12。由圖12可知，本研究所提出的方法在復雜的環境下也能達到較高的準確度。

3 結論

針對目前蘋果樹葉病害檢測準確度低的問題，本研究提出了一種基于YOLOv5s的方法，首先將邊界框損失函數替換成考慮方向性的SIoU，實現了更高效的網絡訓練，更加準確的推理。在提取圖片特征并轉換為固定特征的過程中，使用了更優的SimSPPF，丟失的圖片特征信息更少。在網絡訓練過程中加入了BoTNet注意力機制，使網絡能學習到每種病害的獨有特征。試驗表明，所改進的網絡相比于其他網絡，有著更高的mAP，更低的計算量，更小的模型權重。對復雜環境下采集到的葉片病害圖片也能準確地檢測，具有一定的環境魯棒性。在

實際的病蟲害防護中，具有一定的應用價值。后續，會收集更加復雜環境下的數據，增加數據集，并采用不同數據預處理方法來提取不同環境下的圖片特征，來達到更好的模型泛化性能與精確度。

參考文獻：

［1］李會賓，史 云. 果園采摘機器人研究綜述［J］. 中國農業信息，2019，31（6）：1-9.

［2］李書琴，陳 聰，朱 彤，等. 基于輕量級殘差網絡的植物葉片病害識別［J］. 農業機械學報，2022，53（3）：243-250.

［3］Bari B S，Islam M N，Rashid M，et al. A real-time approach of diagnosing rice leaf disease using deep learning-based faster R-CNN framework［J］. Peer J Computer Science，2021，7：e432.

［4］王超學，祁 昕，馬 罡，等. 基于YOLOv3的葡萄病害人工智能識別系統［J］. 植物保護，2022，48（6）：278-288.

［5］Richey B，Shirvaikar M V. Deep learning based real-time detection of northern corn leaf blight crop disease using YOLOv4［C］//Real-Time Image Processing and Deep Learning. 2021：39-45.

［6］Haque M E，Rahman A，Junaeid I，et al. Rice leaf disease classification and detection using YOLOv5［EB/OL］. （2022-09-04）［2022-10-10］. https：//arxiv.org/pdf/2209.01579.pdf.

［7］雷建云，陳 楚，鄭 祿，等. 基于改進殘差網絡的水稻害蟲識別［J］. 江蘇農業科學，2022，50（14）：190-198.

［8］Ultralytics.YOLOv5［EB/OL］. （2020-06-26）［2022-02-22］. https：//github.com/ultralytics/YOLOv5.

［9］Rezatofighi H，Tsoi N，Gwak J Y，et al. Generalized intersection over union：a metric and a loss for bounding box regression［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019：658-666.

［10］Zheng Z，Wang P，Liu W，et al. Distance-IoU loss：faster and better learning for bounding box regression［C］//Proceedings of the AAAI Conference on Artificial Intelligence. 2020：12993-13000.

［11］Zheng Z H，Wang P，Ren D W，et al. Enhancing geometric factors in model learning and inference for object detection and instance segmentation［J］. IEEE Transactions on Cybernetics，2022，52（8）：8574-8586.

［12］Gevorgyan Z.SIoU loss：more powerful learning for bounding box regression［EB/OL］. （2022-05-25）［2022-10-10］. https：//arxiv.org/abs/2205.12740.

［13］He K M，Zhang X Y，Ren S Q，et al. Spatial pyramid pooling in deep convolutional networks for visual recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（9）：1904-1916.

［14］Guo M H，Xu T X，Liu J J，et al. Attention mechanisms in computer vision：a survey［J］. Computational Visual Media，2022，8（3）：331-368.

［15］Srinivas A，Lin T Y，Parmar N，et al. Bottleneck transformers for visual recognition［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville：IEEE，2021：16514-16524.

［16］Shaw P，Uszkoreit J，Vaswani A.Self-attention with relative position representations［EB/OL］. （2018-04-12）［2022-09-10］. https：//arxiv.org/pdf/1803.02155.pdf.