基于改進YOLOv4的澳洲堅果視覺監測方法

摘要：針對大規模澳洲堅果種植園管理困難的問題，提出一種基于改進YOLOv4的林地澳洲堅果生長監測方法。在澳洲堅果種植基地中進行圖像采集，記錄3種常見的澳洲堅果存在形式，制作VOC數據集并用于模型訓練。對樣本數量較少的類別進行數據增強，使訓練樣本均衡分布。在原始YOLOv4方法的基礎上進行改進，用DenseNet121網絡替換原來的主干網絡，并使用Focalloss優化檢測模型的分類損失函數，有效提升檢測模型精度，同時緩解類別間檢測精度不平衡問題。試驗結果表明，與YOLOv4、YOLOv3方法相比，所提改進YOLOv4方法對每種澳洲堅果形式的平均精度（AP）均為最高，檢測模型的平均精度均值（mAP）達到93.33%，檢測速度達到28.7 FPS，實現對林地澳洲堅果落果、病害等生長信息的實時、高效獲取，為精確監測澳洲堅果生長狀態提供依據。

關鍵詞：澳洲堅果；果園監測；深度學習；改進YOLOv4；目標檢測

中圖分類號：S776.01

文獻標識碼：A

文章編號：2095-5553 （2024） 05-0217-06

收稿日期：2022年10月3日" 修回日期： 2022年11月14日*基金項目：國家自然科學基金（51968065）；云南省教育廳科學研究基金（2022Y571）；云南省高層次人才培養支持計劃（YNWR—QNBJ—2018—066，YNQR—CYRC—2019—001）

第一作者：羅鑫，男，1997年生，四川宜賓人，碩士研究生；研究方向為機器視覺、林產品檢測。E-mail： luox9707@163.com

通訊作者：何超，男，1980年生，湖北荊門人，博士，教授；研究方向為機器視覺。E-mail： hcsmile@163.com

A visual monitoring method for Macadamia nuts based on improved YOLOv4

Luo Xin， Li Jiaqiang， He Chao

（School of Mechanical and Traffic Engineering， Southwest Forestry University， Kunming， 650224， China）

Abstract：

In response to the management difficulty of large-scale Macadamia nuts orchards，" a forest Macadamia nut growth monitoring method based on improved YOLOv4 was proposed. Image acquisition was carried out in a Macadamia plantation， where three common forms of Macadamia presence were recorded to produce a VOC dataset and used for model training. Data augmentation was applied to classes with fewer samples to equalize the distribution of training samples. Improved on the basis of" the original YOLOv4 method， DenseNet121 network was used to replace the original backbone network， and Focal loss was used to optimize the classification loss function of the detection model， which effectively improved the detection model accuracy and alleviated the problem of unbalanced detection accuracy between classes. The experimental results showed that the improved YOLOv4 method had the highest average precision （AP） for each Macadamia nut form， compared to the YOLOv4 and YOLOv3， the mean average precision （mAP） of the detection model reached 93.33% and the detection speed reached 28.7 FPS， which achieved the real-time and efficient acquisition of growth information of Macadamia nut， such as Macadamia nut drop and disease in orchards， and provided a basis for Macadamia nut growth monitoring.

Keywords：

Macadamia nuts; orchard monitoring; deep learning; improved YOLOv4; object detection

0 引言

澳洲堅果富含優質的不飽和脂肪酸和植物蛋白，食用價值和經濟價值高［1］。自20世紀80年代起，在我國西南地區開始廣泛種植，目前我國澳洲堅果種植面積為全球第一［2］。澳洲堅果種植園管理是實現豐產、優產目標的關鍵［3］。然而，現階段的種植園管理主要依靠技術人員在園林中巡視觀察，進行種植園病蟲害預防和判斷施肥施藥時機等。隨著種植面積擴大以及果樹掛果率提高，加之西南地區地形多以山地為主，這導致種植園管理效率低、工作強度大。

近年來，隨著深度學習和機器視覺的發展，許多學者將視覺檢測技術和農業信息感知相結合，以此獲取農情信息，使園林管理更加方便快捷、科學精準［4， 5］。樊湘鵬等［6］提出了一種改進CNN模型，實現葡萄葉部病害的檢測識別，對6種葉部病害的分類準確率達到98.02%，為葡萄病害及時防治提供依據。王云露等［7］基于改進FasterR-CNN實現蘋果葉部病害識別，模型的平均精度均值達到86.2%，該方法為蘋果病害的早期干預和治療提供科學依據。王國偉等［8］改進了LeNet網絡模型，實現了5種玉米病害的檢測識別，準確率達到96%。趙越等［9］使用FasterR-CNN實現馬鈴薯葉片病害檢測，與YOLOv3、YOLOv4進行對比，該模型的檢測精度最高，達到99.5%。韋錦等［10］改進YOLOv4的主干網絡和SPP結構并進行綠籬植物識別，檢測精度和速度比原來提高了8.1%和14.9FPS，模型性能得到有效提高。候瑞環等［11］改進YOLOv4的主干網絡結構并用于檢測林業害蟲，精確率和召回率分別達到 85.9% 和 91.2%，與SSD、FasterR-CNN、YOLOv4方法進行對比，有較大的檢測精度優勢。Li等［12］應用YOLOv3、YOLOv4檢測算法進行獼猴桃花苞和花朵的多分類識別，實驗表明YOLO V4的檢測精度更高，速度更快，泛化能力更強。Roy等［13］改進YOLOv4的主干網絡結構，實現芒果生長階段的實時檢測，為實現果園估產和智能灌溉等提供技術支持。

從上述研究可以看出，深度學習在農林領域的研究應用已較為廣泛。然而，在利用深度學習技術進行澳洲堅果的檢測識別及應用方面，仍缺乏研究。獲取種植基地內的澳洲堅果生長狀態信息是實現果園高效管理的關鍵，因此，本文提出基于改進YOLOv4的澳洲堅果檢測方法，對澳洲堅果種植基地的病蟲害、果樹掛果情況以及堅果成熟掉落程度進行檢測識別，定期獲取管理澳洲堅果種植園所需的園林信息，為種植基地病蟲害防治、定期清理落果和確定采收時機等種植園管理工作提供依據。

1 數據與方法

數據集是影響檢測模型性能的關鍵因素。在澳洲堅果結果期間，在云南的多個種植基地進行圖像采集，并制作目標檢測數據集。圖像采集時間為2021年6月到2022年9月的澳洲堅果結果期，在不同的天氣狀況、光照條件、拍攝距離和角度下進行圖像采集，共2 400張原始圖像。圖像中的澳洲堅果主要以3種形式存在，包括樹上的未成熟澳洲堅果（標簽名為“immature”）、成熟后自然掉落于地面的澳洲堅果落果（標簽名為“macadamia”）和一種廣泛分布于堅果基地的薊馬病害果（標簽名為“thrips”）。

使用labelImg軟件對數據集進行圖像標注。共3種標簽分別對應上述3種澳洲堅果狀態。在標注過程中忽略位于圖像邊緣以及被遮擋面積大于70%的澳洲堅果個體，以PASCAL VOC格式保存標注信息并獲得XML文件作為標簽文件。保持圖像高寬比4∶3不變，將圖像分辨率處理為768像素×576像素，并按照8∶1∶1的比例，將數據集劃分為訓練集、驗證集和測試集。

1.1 數據增強

數據增強是提高模型泛化能力的有效途徑，在使用有限的數據來進行模型訓練時，數據增強操作是不可缺少的一步［14］。本文在圖像處理過程中使用的數據增強方法包括以下兩種：一種是簡單的圖像增強方法，該方法獨立于模型訓練過程，主要采用鏡像、翻轉及旋轉等方式對圖像進行簡單的幾何處理，達到擴充圖像數據集的目的，此外，還對圖像的飽和度、亮度進行了調整，用于模擬不同光照條件下的澳洲堅果生長狀態，該方法的處理結果如圖1所示；另一種是在模型訓練過程中進行的數據增強方法，本文采用了“Mosaic”數據增強方法和“mixup”混合增強方法，其處理效果如圖2所示。“Mosaic”數據增強方法將四張圖片進行隨機裁剪，并將其拼接為一張圖片作為訓練數據，該方法豐富了檢測目標所處的背景，并提高模型訓練時對計算機顯存的利用效率。“mixup”混合增強方法是將兩張隨機選取的圖片進行混合，構建虛擬樣本作為訓練數據，該方法可以增加每幅圖像中的檢測目標的數量，減少圖像中的非信息像素的占比，提高模型訓練效率。

對數據集的標簽信息進行統計，數據增強后的數據集中，包含了19 373個未成熟澳洲堅果（immature）樣本、19 268個澳洲堅果落果（macadamia）樣本和18 918個澳洲堅果病害果（thrips）樣本，各類別的樣本數量分布基本均勻，以避免因數據本身引起不平衡問題。

1.2 改進YOLOv4及其網絡結構

本文提出的澳洲堅果監測方法在YOLOv4［15］的基礎上進行改進，使用Densnet網絡替換了YOLOv4的主干特征提取網絡，以此提高改進YOLOv4模型對澳洲堅果目標的檢測識別能力。

由模型檢測精度AP的定義可知，PR曲線與兩坐標軸圍成的面積代表模型對各個類別物體的檢測精度，而在多類別檢測任務中，mAP為多個類別的平均精度AP之和的平均值。

2.3 模型性能評估

本文改進網絡的訓練結果見圖7，模型訓練經過250個epoch，模型訓練的損失值保持在0.037，表明模型訓練已達到收斂；當重疊率為0.5時，模型精度在0.975上下浮動。結果表明，隨著訓練迭代次數的增加，改進模型的損失值不斷降低，模型訓練最終達到收斂；檢測模型的訓練精度較高，有較強的檢測識別能力。

在相同設置下，將改進YOLOv4與YOLOv4和YOLOv3［20］的性能進行對比（圖8）。其中，改進YOLOv4對各類檢測物體的P-R曲線如圖8（a）所示，該模型對3種類別物體的檢測精度較高，且不同類別的檢測精度相差較小，表明改進YOLOv4模型對不同類別物體的檢測能力較強并且對不同類別物體的檢測精度較為平衡。此外，由圖8（b）、圖8（c）可以看出，YOLOv4與YOLOv3對3個類別物體的檢測精度相差較大，類別間檢測精度不平衡，且P-R曲線與坐標軸之間的面積明顯小于改進YOLOv4模型，表明前兩者的檢測精度與改進YOLOv4模型存在較大差距。

表2對比了不同檢測方法對澳洲堅果的檢測精度。可以看出，改進YOLOv4對每個類別物體的檢測精度均為最高，平均檢測精度達到93.33%，且類別間的檢測精度差異為3種方法中最小，表明本文提出的改進方法有效提升了檢測模型的檢測精度，有效緩解了類別間的檢測精度不平衡問題。與YOLOv4和YOLOv3相比，改進YOLOv4的檢測速度達到28.7 FPS，分別提高了8 FPS、2.4 FPS，在3種模型中檢測速度最快。

2.4 檢測效果可視化

圖9是分別使用改進YOLOv4、YOLOv4和YOLOv3對相同測試圖像的檢測結果。從圖9可以看出，改進YOLOv4模型對3個類別的區分辨別能力最強。在圖9（a）中，只有改進YOLOv4將成功地區分識別出地面落果，YOLOv4和YOLOv3均將其錯誤識別為其他類別；在圖9（b）只有改進YOLOv4將地面落果全部識別，YOLOv4模型存在漏檢問題，而YOLOv3模型存在明顯的錯誤識別問題；圖9（c）中改進YOLOv4將有病害的澳洲堅果全部識別，而其余檢測模型存在不同程度的錯檢、漏檢問題。

本文提出的改進YOLOv4模型有明顯的性能提升，對每個類別物體的檢測精度均為最高。從可視化結果來看，改進YOLOv4模型對每個類別物體的檢測區分能力較強，有效避免了在其他檢測方法中常見的漏檢、錯檢等問題。

3 結論

1）" 本文對實際園林環境中的不同狀態的澳洲堅果進行圖像采集并制作目標檢測數據集，提出一種改進YOLOv4檢測模型對果園中的澳洲堅果進行檢測識別。

2）" 本文基于YOLOv4檢測方法進行改進，與YOLOv4、YOLOv3相比，改進YOLOv4模型的平均檢測精度最高，達到93.33%，分別提升2.41%、6.24%；其檢測速度最快，達到28.7 FPS。

3）" 使用Focalloss優化檢測模型的分類損失函數，有效緩解多類別檢測任務中的精度不平衡問題。

參 考 文 獻

［1］ Hu W， Fitzgerald M， Topp B， et al. A review of biological functions， health benefits， and possible de novo biosynthetic pathway of palmitoleic acid in macadamia nuts ［J］. Journal of Functional Foods， 2019， 62： 103520.

［2］ Tu X H， Wu B， Xie Y， et al. A comprehensive study of raw and roasted macadamia nuts： Lipid profile， physicochemical， nutritional， and sensory properties ［J］. Food Science amp; Nutrition， 2021， 9（3）： 1688-1697.

［3］ Trueman S J. The reproductive biology of macadamia ［J］. Scientia Horticulturae， 2013， 150： 354-359.

［4］ Mavridou E， Vrochidou E， Papakostas G A， et al. Machine vision systems in precision agriculture for crop farming ［J］. Journal of Imaging， 2019， 5（12）： 89.

［5］ Yang B， Xu Y. Applications of deep-learning approaches in horticultural research： A review ［J］. Horticulture Research， 2021， 8： 445.

［6］ 樊湘鵬， 許燕， 周建平， 等. 基于遷移學習和改進CNN的葡萄葉部病害檢測系統［J］. 農業工程學報， 2021， 37（6）： 151-159.

Fan Xiangpeng， Xu Yan， Zhou Jianping， et al. Detection system for grape leaf diseases based on transfer learning and updated CNN ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（6）： 151-159.

［7］ 王云露， 吳杰芳， 蘭鵬， 等. 基于改進Faster R-CNN的蘋果葉部病害識別方法［J］. 林業工程學報， 2022， 7（1）： 153-159.

Wang Yunlu， Wu Jiefang， Lan Peng， et al. Apple disease identification using improved Faster R-CNN ［J］. Journal of Forestry Engineering， 2022， 7（1）： 153-159.

［8］ 王國偉， 劉嘉欣. 基于卷積神經網絡的玉米病害識別方法研究［J］. 中國農機化學報， 2021， 42（2）： 139-145.

Wang Guowei， Liu Jiaxin. Research on corn disease recognition method based on convolutional neural network ［J］. Journal of Chinese Agricultural Mechanization， 2021， 42（2）： 139-145.

［9］ 趙越， 趙輝， 姜永成， 等. 基于深度學習的馬鈴薯葉片病害檢測方法［J］. 中國農機化學報， 2022， 43（10）： 183-189.

Zhao Yue， Zhao Hui， Jiang Yongcheng， et al. Detection method of potato leaf diseases based on deep learning ［J］. Journal of Chinese Agricultural Mechanization， 2022， 43（10）： 183-189.

［10］ 韋錦， 李正強， 許恩永， 等. 基于DA2-YOLOv4算法綠籬識別研究［J］. 中國農機化學報， 2022， 43（9）： 122-130.

Wei Jing， Li Zhenqiang， Xu Enyong， et al. Research on hedge recognition based on DA2-YOLOv4 algorithm ［J］. Journal of Chinese Agricultural Mechanization， 2022， 43（9）： 122-130.

［11］ 候瑞環， 楊喜旺， 王智超， 等. 一種基于YOLOv4-TIA的林業害蟲實時檢測方法［J］. 計算機工程， 2022， 48（4）： 255-261.

Hou Ruihuan， Yang Xiwang， Wang Zhichao， et al. A real-time detection method for forestry pests based on YOLOv4-TIA ［J］. Computer Engineering， 2022， 48（4）： 255-261.

［12］ Li G， Suo R， Zhao G， et al. Real-time detection of kiwifruit flower and bud simultaneously in orchard using YOLOv4 for robotic pollination ［J］. Computers and Electronics in Agriculture， 2022， 193： 106641.

［13］ Roy A M， Bhaduri J. Real-time growth stage detection model for high degree of occultation using DenseNet-fused YOLOv4［J］. Computers and Electronics in Agriculture， 2022， 193： 106694.

［14］ Shorten C， Khoshgoftaar T M. A survey on image data augmentation for deep learning ［J］. Journal of Big Data， 2019， 6（1）： 1-48.

［15］ Bochkovskiy A， Wang C Y， Liao H Y M. Yolov4： Optimal speed and accuracy of object detection ［J］. ArXiv Preprint ArXiv： 2004， 2020： 10934.

［16］ Huang G， Liu Z， Van Der Maaten L， et al. Densely connected convolutional networks ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 4700-4708.

［17］ Liu S， Qi L， Qin H， et al. Path aggregation network for instance segmentation ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 8759-8768.

［18］ Lin T Y， Goyal P， Girshick R， et al. Focal loss for dense object detection ［C］. Proceedings of the IEEE International Conference on Computer Vision， 2017： 2980-2988.

［19］ Liu Y， Sun P， Wergeles N， et al. A survey and performance evaluation of deep learning methods for small object detection ［J］. Expert Systems with Applications， 2021， 172： 114602.

［20］ Farhadi A， Redmon J. Yolov3： An incremental improvement ［C］. Computer Vision and Pattern Recognition. Berlin/Heidelberg， Germany： Springer， 2018， 1804： 1-6.