基于改進YOLOv5s的水果新鮮度檢測算法研究

摘" 要： 水果新鮮度分級在食品行業中有著重要作用。新鮮度是衡量水果質量的重要標準，直接影響到消費者的身體健康和購買欲望。由于水果顏色、紋理和外部環境變化（如陰影、照明和復雜背景）的相似性，使用機器視覺對水果進行自動識別和分類是具有挑戰性的。文章提出一種基于改進YOLOv5s網絡模型的多類水果分級方法。首先，引入DIoU?NMS算法，考慮預測框與真實框之間的重疊率以及中心點距離，回歸精度得到提高；其次，利用K?means算法對初始錨框進行調整；最后，在主干網絡Backbone中嵌入CAM，加強網絡的特征提取能力。試驗結果表明：改進后的YOLOv5s水果新鮮度檢測算法平均檢測一張圖像耗時為0.028 s，且其mAP達到96.6%，比原來YOLOv5s模型提升了2.4%。所提方法為水果新鮮度檢測提供一種高性能的解決方案，并能夠以較高的準確率對多類水果進行分級與定位。

關鍵詞： 水果新鮮度檢測； YOLOv5s； 深度學習； DIoU?NMS； K?means； CAM

中圖分類號： TN911.23?34" " " " " " " " " " " " " 文獻標識碼： A" " " " " " " " " " " 文章編號： 1004?373X（2024）22?0037?07

Research on fruit freshness detection algorithm based on improved YOLOv5s

Abstract： The freshness grading of fruits plays an important role in the food industry. Freshness is the basic standard for measuring fruit quality， which directly affects consumers' physical health and purchasing desire. Due to the similarity in fruit color， texture， and external environmental changes （such as shadows， lighting， and complex backgrounds）， using machine vision for automatic recognition and classification of fruits is challenging. A multi?class fruit grading method based on an improved YOLOv5s network model is proposed. The DIoU?NMS （distance IoU non?maximum suppression） algorithm is introduced improve regression accuracy by taking into account the overlap rate between the predicted box and the true and center point distance. The K?means algorithm is used to adjust the initial anchor box. CAM （context augmentation module） is embedded in the Backbone network to strengthen the feature extraction capability of the network. The experimental results indicate that the improved YOLOv5s fruit freshness detection algorithm takes 0.028 s to detect an image on average， and its mAP can reach 96.6%， which is 2.4% higher than the original YOLOv5s model. This research provides a high performance solution for fruit freshness detection， which can grade and locate many kinds of fruits with high accuracy.

Keywords： fruit freshness detection; YOLOv5s; deep learning; DIoU?NMS; K?means; CAM

0" 引" 言

水果中含有豐富的營養成分，同時水果還是我國經濟體系的重要組成部分。在水果物流分揀行業中，常常會出現新鮮與腐壞水果摻雜在一起的情況，然而多數分揀工作都通過人工的方式完成，依賴人眼去識別水果。這樣會消耗大量勞動力，并且工作效率較低，嚴重影響水果商品化的速度。因此，研究具有高識別率的新鮮度自動檢測系統，對提高水果分揀效率具有重要意義。

目前已有許多學者對水果檢測研究取得了較大進展。文獻[1]中使用機器學習技術進行水果分類，數據集包括不同時期的15種水果，以此來模擬真實情況，但數據集均為相同的純色背景。文獻[2]中將CNN和SVM融合，在較為復雜的環境下提取蘋果紋理的特征，效果不錯。

近年來，深度學習和卷積神經網絡飛速發展，在目標檢測和識別領域取得了顯著的成功[3?4]。文獻[5]提出了一種改進的MobileNetv2，通過凍結MobileNetv2的前130層，并訓練剩下的25層進行微調，區分新鮮與腐爛的蘋果、香蕉及橙子，取得了較高的準確率。文獻[6]改進YOLOv3模型來實現水果分類，準確率可達88%。文獻[7]使用GoogLeNet模型作為提取器，并以AlexNet和VGGNet模型作為分類器，分析了香蕉和草莓新鮮度的變化。結果表明，該模型對香蕉新鮮度的檢測準確率較高。

文獻[8]提出了一種收獲后質量分類和分級方法，將蘋果分為正常和有缺陷的蘋果。該數據集由300個具有正常表面和各種類型缺陷（如物理或昆蟲損壞、腐爛和疤痕）的富士蘋果組成。將基于CNN的模型加載到水果分選系統的定制軟件中，使用200個獨立蘋果驗證其在線性能，獲得92%的準確率，而每個蘋果的處理時間僅為72 ms。文獻[9]提出一種改進UNet模型，用于根據果皮中存在的缺陷來檢測腐爛或新鮮的蘋果。共使用4 035張蘋果圖像，包括1 693個新鮮蘋果和2 342個爛蘋果，用于訓練修改后的UNet模型。與原來的UNet模型相比，改進后的UNet模型輸出增強，訓練及驗證精度均有提高。

盡管有上述發展，但想要在現實生活中準確地區分水果新鮮度，選擇新鮮產品，仍然是一個巨大的挑戰。在文獻[5?9]研究中，數據集由相同光照條件和單一背景下的水果組成，使得結論不太令人信服。本研究采用的數據集是在多種背景下，包含不同光照條件的4種水果圖像。因此，本文設計了一種改進的YOLOv5s模型，引入DIoU?NMS算法，提高回歸精度，并且在主干網絡Backbone中嵌入上下文增強模塊（Context Augmentation Module， CAM），來增強其提取特征信息的能力。最后，采用改進后的YOLOv5s算法對常見水果進行檢測，以驗證本文改進模型的有效性。

1" 數據獲取與處理

本文研究選擇了最受歡迎的幾種水果來對其新鮮度進行分級。從Kaggle、Google和Bing圖像中獲得了4種水果（蘋果、香蕉、橙子和石榴）的圖像。得到的水果數據集總共包含1 273張圖像。每種水果分為新鮮和腐壞兩類，共8類組。本文采用LabelImg來標注數據圖像，并標記腐壞水果及其類別信息，部分圖像見圖1。通過鏡像、翻轉、亮度調整、平移、旋轉等方式進行數據增強，以解決數據較少的問題，完善數據集。增強后的數據集共有5 323張，按照7∶2∶1的比例劃分為訓練集、測試集、驗證集。

2" 試驗方法

2.1" YOLOv5s模型

YOLOv5s由Input、Backbone、Neck、Prediction構成，如圖2所示。

YOLOv5s輸入端包括Mosaic[10]、自適應錨框和自適應圖像三個部分。其中：Mosaic算法可以把幾張圖像整合成一張圖像，以此來豐富圖像背景；自適應錨框是用來獲得適合訓練集的錨框尺度；自適應圖像將輸入圖像固定為標準尺寸。

在主干網絡中，YOLOv5s主要采用了Focus和CSP模塊。Focus的核心作用是切片操作，具體操作如圖3所示。圖中，把原始4×4×3的圖像輸入Focus結構進行切片操作，就會生成2×2×12的特征圖。CSP模塊則是借鑒CSPNet，將基礎層的特征映射分成兩塊，進行跨層合并，可以在降低計算量的同時保持較高的準確率。

YOLOv5s的Neck采用FPN+PAN結構，如圖4所示。FPN[11]自上向下傳達強語義特征，而PAN[12]則是自下而上傳達定位特征。輸出端的損失函數采用GIoU_Loss[13]，在目標檢測后處理部分對多目標框進行篩選時，一般還需要非極大值抑制操作。

2.2" YOLOv5s模型改進

2.2.1" 非極大值抑制

在經典的NMS中，最高分檢測框和其他框分別算出相應的IoU，把超出NMS閾值的檢測框消除。不難看出，在經典NMS算法中僅考慮IoU。但實際情況，如果兩個物體比較近，此時IoU可能會很大，采用經典NMS算法處理時，往往會只保留一個檢測框，這樣就會出現漏檢。

基于上述情況，DIoU?NMS（Distance IoU Non?Maximum Suppression）[14]算法不僅考慮了預測框與真實框的重疊面積，而且考慮兩個框中心點之間的距離，公式如下：

式中：b為預測框的中心點；[bgt]為真實框的中心點；[ρ]（·）為兩個中心點的歐幾里得距離；[c]為內含預測框和真實框最小矩形的對角線長度。

如果兩個框之間IoU較大，則兩個框的距離較大時，通常會認為這是兩個物體的檢測框都被保留下來。

2.2.2" 錨框重設

YOLOv5s最初的預設錨框是在COCO數據集的基礎上計算出來的。本試驗使用的是自建數據集，目標尺寸相對較大。模型原本的錨框尺寸不適合本文數據集。為了讓預設錨框和真實框更好地匹配，本文通過K?means算法，根據自建數據集對預設錨框的尺寸進行計算。通過計算最終可以在小、中、大三個標準中都獲得3個預設錨框，共9個。調整前后錨框尺寸如表1所示。

2.2.3" 主干網絡

本文將CAM引入YOLOv5s網絡結構。CAM融合多尺度來展開卷積特征，獲得了豐富的上下文信息，用于加強網絡的特征提取能力，提高網絡對水果的識別精度。

目標檢測需要上下文信息，為了豐富FPN的上下文信息，CAM使用不同擴展卷積率的擴展卷積來獲取不同感受野的上下文信息。CAM結構如圖5所示。特征分別以1、3、5的速率進行擴展卷積處理，語境信息則是通過融合不同感受野的特征得到的。

C5表示輸入圖像經過32次下采樣的結果。在C5上以不同的擴張卷積率進行擴張卷積，得到不同感受野的上下文信息。內核尺寸為3×3，擴展卷積率為1、3和5。融合方式如圖6所示。

圖6a）和圖6c）分別為加權融合和拼接融合，即直接在空間維度和通道維度上添加特征映射；圖6b）是一種自適應融合方法。假設輸入為（bs，C，H，W），可以通過Convolution、Concatenation和Softmax的運算獲得（bs，3，H，W）的空間自適應權值。

本文將CAM引入YOLOv5s網絡模型，并且采用了圖6b）方式進行融合，提高了模型對水果特征的提取能力。在Backbone部分將SPP替換為CAM，如圖7所示。

3" 試驗與結果分析

3.1" 試驗環境

本文試驗運行環境的CPU為英特爾?酷睿TMi5?12600KF，系統為Windows 10，加速環境為CUDA 11.8，GPU為英偉達RTX3060TI，編程環境為Python 3.8，PyTorch 2.1。

3.2" 評估指標

為了評估算法的性能，本文試驗采用多個指標進行綜合評估，具體為P、R、AP、mAP。精確率（P）是預測為正的樣本中有多少是正確的，如式（2）所示。

召回率（R）是真實為正的樣本有多少被正確預測為正樣本，如式（3）所示。

AP用來計算不同類別的平均精確率，如式（4）所示。

mAP表示所有類別的平均精度均值，如式（5）所示。

式中：TP為模型預測為正的正樣本；FP為模型預測為負的負樣本；FN為模型預測為正的負樣本。

3.3" 試驗與結果分析

為了驗證本文模型對蘋果、香蕉、橙子和石榴新鮮度的有效性，將改進前后的YOLOv5s模型分別在本文數據集上進行測試，結果如圖8所示。圖中改進后的YOLOv5s水果新鮮度檢測算法mAP達到96.6%，對比原來YOLOv5s模型提升了2.4%。

3.3.1" 引入DIoU?NMS效果

本文將DIoU?NMS算法引入YOLOv5模型。為了驗證改進的有效性，測試改進前后模型的各項性能，如表2所示。

由表2可得，在YOLOv5s模型中引入DIoU?NMS，可以使得網絡檢測精度得到較大提升，對比原始網絡，精確率、召回率、mAP分別提升了0.6%、0.8%、0.6%。證實了該改進模型的有效性。

3.3.2" 錨框重設效果

采用K?means聚類算法得出適合本文數據集的錨框尺寸，如表1所示。測試更改錨框前后模型的各項性能，結果如表3所示。

結果表明，改進之后錨框大小更適合本文數據集，相比之下，精確率、召回率、mAP分別提升了1.7%、1.7%、0.9%。

3.3.3" 改進主干網絡效果

本文提出的改進YOLOv5s算法在主干網絡中引入了CAM。改進之后的主干網絡提高了對水果新鮮度特征的提取能力，與原網絡對比實現了精度提升。其對比結果如表4所示。

由表4可以看出，在主干網絡引入CAM后，精確率從92.1%提升至94.2%，提高了2.1%，召回率比原來提高了2.0%，mAP提高了1.3%。引入CAM之后，改進模型有效地提高了對水果新鮮度特征的提取能力，提高了精度。

3.3.4" 消融試驗結果

為了驗證改進模型是否有效，在本文自建數據集上進行對比測試。上述試驗已經證明了引入DIoU?NMS的有效性，因此本組試驗將引入DIoU?NMS的網絡作為基準，針對錨框重設和改進主干網絡進行消融試驗，結果如表5所示。

結合表2和表5可以看出，本文所有改進在自建水果數據集上均能得到較好的效果。相比于原始的YOLOv5s網絡模型（94.2%），本文改進后的水果檢測模型mAP提升了2.4%，具體檢測效果如圖9所示。其中：good表示新鮮；bad表示腐壞。

3.3.5" 與不同算法模型對比結果

為驗證改進 YOLOv5s水果新鮮度檢測算法的性能，選擇Faster?RCNN[15]、SSD[16]、Retinanet[17]、YOLOv4[18]、YOLOv5s、YOLOv7[19]以及改進YOLOv5s算法在水果數據集上進行7組測試，結果如表6所示。

結果表明，本文提出的改進YOLOv5s水果新鮮度檢測模型在檢測精度上得到一定提升，證明了本文改進模型的有效性。YOLOv7在本文數據集上的表現不如YOLOv5s，YOLOv7的mAP比YOLOv5s低1.1%。與原始的YOLOv5s算法相比，本文算法的mAP得到了2.4%的提升，同時檢測單張圖像的時間僅增加了6 ms，并且與其他網絡相比在檢測速度上仍然具有較大優勢。各算法檢測結果對比如圖10所示。

4" 結" 論

本文提出了一種基于改進YOLOv5s模型的水果新鮮度檢測算法，對蘋果、香蕉、橙子和石榴進行新鮮度檢測。首先，引入DIoU?NMS算法，提高回歸精度；然后，進行錨框重設；最后，在主干網絡嵌入CAM，增強網絡的特征提取能力。

試驗結果表明，本文方法能很好地檢測常見水果（如蘋果、香蕉、橙子和石榴）的新鮮度，并且取得了較高的檢測性能。

1） 本文算法在YOLOv5s模型中引入DIoU?NMS算法，考慮預測框與真實框的重疊面積以及中心點距離，使回歸精度得到了提升。結果表明，mAP提高0.6%。針對水果目標大小不一的特點，本文采用錨框重設技術，相比模型原本的錨框參數，重設后的錨框更適合本文數據集，mAP提高了0.9%。

2） 本文方法對YOLOv5s的主干網絡進行改進，將Backbone中的SPP替換為CAM，提升了主干網絡對水果新鮮度特征的提取能力。與原本的主干網絡結構相比，引入CAM后的主干網絡的mAP提升了1.3%。

3） 本文提出的基于改進YOLOv5s的水果新鮮度檢測模型的檢測結果mAP為96.6%，對比原來YOLOv5s模型提升了2.4%。在之后的科研中，考慮到檢測水果新鮮度的實際場景，需要擴充數據集，降低模型計算量，同時采用高效網絡結構，在保證較高精確率的前提下對模型進行輕量化處理，為部署移動設備提供便利。

參考文獻

[1] KAZI A， PANDA S P. Determining the freshness of fruits in the food industry by image classification using transfer learning [J]. Multimedia tools and applications， 2022， 81： 7611?7624.

[2] AMBROZIO D P， AMY T， HENRY M. Multispecies fruit flower detection using a refined semantic segmentation network [J]. IEEE robotics amp; automation letters， 2018， 3： 3003?3010.

[3] ALAM A U， RATHI P， BESHAI H， et al. Fruit quality monitoring with smart packaging [J]. Sensors， 2021（4）： 1509.

[4] CHAKRABORTY S， SHAMRAT F M J M， BILLAH M M， et al. Implementation of deep learning methods to identify rotten fruits [C]// 5th International Conference on Trends in Electronics and Informatics. Tirunelveli， India： IEEE， 2021： 1207?1212.

[5] ANANTHANARAYANA T， PTUCHA R， KELLY S C. Deep learning based fruit freshness classification and detection with CMOS image sensors and edge processors [J]. Electronic imaging， 2020， 32： 172.

[6] CHEN M C， CHENG Y T， LIU C Y. Implementation of a fruit quality classification application using an artificial intelligence algorithm [J]. Sensor mater， 2022， 34： 151?162.

[7] NI J， GAO J， DENG L， et al. Monitoring the change process of banana freshness by GoogLeNet [J]. IEEE access， 2020， 8： 228369?228376.

[8] FAN S， LI J， ZHANG Y， et al. On line detection of defective apples using computer vision system combined with deep learning methods [J]. Journal of food engineering， 2020， 286： 110102.

[9] ROY K， CHAUDHURI S S， PRAMANIK S. Deep learning based real?time industrial framework for rotten and fresh fruit detection using semantic segmentation [J]. Microsystem technology， 2021， 27： 3365?3375.

[10] WANG H， SUN Z L. Improved mosaic： algorithms for more complex images [J]. Journal of physics： conference series， 2020， 1684（1） ： 012094.

[11] LIN T Y， DOLLáR P， GIRSHICK R， et al. Feature pyramid networks for object detection [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2017： 2117?2125.

[12] WANG W， XIE E， SONG X， et al. Efficient and accurate arbitrary?shaped text detection with pixel aggregation network [C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. [S.l.]： IEEE， 2019： 8440?8449.

[13] REZATOFIGHI H， TSOI N， GWAK J Y， et al. Generalized intersection over union： a metric and a loss for bounding box regression [EB/OL]. [2024?01?17]. https：//arxiv.org/abs/1902.09630.

[14] ZHENG Z， WANG P， LIU W， et al. Distance?IoU loss： faster and better learning for bounding box regression [J]. Proceedings of the AAAI conference on artificial intelligence， 2020， 34（7）： 12993?13000.

[15] REN S， HE K， GIRSHICK R， et al. Faster R?CNN： towards real?time object detection with region proposal networks [J]. IEEE transactions on pattern analysis amp; machine intelligence， 2017， 39（6）： 1137?1149.

[16] LIU W， ANGUELOV D， ERHAN D， et al. SSD： single shot multibox detector [C]// European Conference on Computer Vision. Cham： Springer， 2016： 21?37.

[17] WANG Y， WANG C， ZHANG H， et al. Automatic ship detection based on RetinaNet using multi?resolution Gaofen?3 imagery [J]. Remote sensing， 2019， 11（5）： 531.

[18] BOCHKOVSKIY A， WANG C Y， LIAO H Y M. YOLOv4： optimal speed and accuracy of object detection [EB/OL]. [2023?07?18]. https：//www.xueshufan.com/publication/3018757597.

[19] WANG C Y， BOCHKOVSKIY A， LIAO H. YOLOv7： trainable bag?of?freebies sets new state?of?the?art for real?time object detectors [C]// 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Vancouver， BC， Canada： IEEE， 2023： 102?108.