基于改進YOLOv7的農業機器人果實智慧檢測研究

關鍵詞：果實檢測；農業機器人；智慧云監控；YOLOv7；RepVGG；ECA

0 引言

隨著農業智慧化和現代化發展，農業機器人果實智能采摘技術日益成熟，為提高果實采摘效率、節約果實采摘成本奠定了基礎。然而，由于果實成長環境復雜且姿態各異，導致果實精確檢測非常困難，進而使果實準確采摘面臨巨大的挑戰。因此，亟待提高農業機器人果實智慧檢測的精確性。

現階段的農業機器人果實智慧檢測方法主要包括FasterR-CNN兩階段檢測算法和YOLO系列單階段算法。張皓婷等[1]采用FasterR-CNN生成番茄圖像區域后候選框，并利用R-CNN進行圖像類別和位置預測，實現了番茄果實的目標檢測，具有較高的檢測精度，檢測準確率達到90.89%。熊俊濤等[2]基于YOLO系列中的YOLOv5模型，對自然環境下的木瓜成熟度進行了檢測，實現了木瓜的快速與準確檢測定位和成熟度區分，平均檢測準確率達到92%以上。章倩麗等[3]結合特征金字塔網絡與YOLO模型，提出一種深度學習模型，實現了贛南臍橙果實的準確檢測，平均準確率達到91%以上。由此可見，在農業機器人果實智慧檢測應用中，基于兩階段和單階段的目標檢測算法模型均取得了良好的效果。但代云等[4]認為，單階段算法檢測速度更快，卻存在檢測精度不高問題。

為實現快速果實檢測，本研究選用YOLO系列作為果實檢測算法，并選用其中精度更高的YOLOv7模型作為果實檢測的基礎模型，通過改進其骨干網絡結構并引入注意力機制對重要特征進行強化，提出一種基于改進YOLOv7模型的農業機器人果實智慧檢測方法。

1 YOLOv7模型基本結構

YOLOv7模型是一種以深度卷積神經網絡為基礎的單階段目標檢測網絡，通過將圖像輸入網絡，可直接進行預測，具有檢測速度快的特點[5-6]。

YOLOv7模型的基本結構如圖1所示，分為輸入端、骨干網絡、頸部網絡和預測端4個部分。YOLOv7模型具有較強的泛化性能，廣泛應用于圖像分類與識別應用中，并且取得了優異的成果[7-8]。但由于YOLOv7模型是一種深度卷積神經網絡，擁有更深的網絡結構和更多的通道數，存在因訓練時間長和對重要特征關注不足引起的精度有待提高的問題。為解決上述問題，實現更快速、準確的果實檢測，本研究從網絡結構和通道兩個方面，對YOLOv7的骨干網絡進行了改進，并引入注意力機制增強放大通道中的重要特征改進了YOLOv7模型。

2 基于改進YOLOv7模型的果實檢測

2.1 YOLOv7模型改進

2.1.1 骨干網絡改進

YOLOv7模型采用CSPDarknet作為骨干網絡，存在較深的網絡層數，影響了網絡的訓練速度。近年來，VGG、RepVGG等輕量級網絡模型的相繼提出，為減少YOLOv7模型網絡層數提供了參考。本研究采用RepVGG代替CSPDarknet作為YOLOv7模型的骨干網絡，以降低網絡層數，提高訓練速度。

RepVGG基本結構如圖2所示。RepVGG訓練時，采用ResNet結構提高模型的性能。RepVGG推理時，使用結構重參數化對訓練和推理時間進行解耦，以等價轉換訓練結構和推理結構，使多分支轉化為單路分支，有效降低了模型的并行度，進而提高了模型的訓練速度[9-10]。因此，本研究采用RepVGG提高YOLOv7模型訓練速度。

2.1.2 引入ECA機制

ECA（efficientchannelattention）機制是一種高效通道注意力機制，可提高深度卷積神經網絡精度[11-12]。其工作原理可分為環境探測、認知解釋和行為執行3個步驟。其中，環境探測的目的是獲取環境信息，并根據環境信息對環境進行描述；認知解釋即根據環境描述，對環境進行解釋，以建立信息之間的相關性；行為執行即根據環境信息的相關性，做出決策和反應。

ECA機制流程示意如圖3所示，通過全局平均池化、一維卷積計算、sigmoid函數等操作，YOLOv7模型通道中的重要特征得到有效增強，進而提高了模型的精度。本研究通過引入ECA機制對YOLOv7模型精度進行提升。

2.2 果實檢測

基于上述改進的YOLOv7模型，為實現果實檢測，首先，需獲取用于果實檢測的數據集并根據數據集中的數據特點，對數據進行預處理和數據集劃分。然后，初始化改進的YOLOv7模型，并利用數據集進行模型訓練。最后，將測試集輸入參數微調后的改進YOLOv7模型，即可實現果實檢測。流程如圖4所示。

（1）數據集獲取與預處理。利用深度相機采集不同自然條件下和不同拍攝角度的果實圖像，并對圖像進行預處理。

（2）數據集劃分。根據改進YOLOv7模型學習訓練需求，將預處理后的果實圖像按照相應比例，劃分為訓練集、驗證集和測試集3部分。標記用于改進YOLOv7模型訓練的數據為訓練集，標記用于改進YOLOv7模型參數微調的數據為驗證集，標記用于檢驗改進YOLOv7模型果實檢測性能的數據為測試集。

（3）改進YOLOv7模型構建與訓練。搭建改進YOLOv7模型，并利用數據集進行訓練，獲取最佳改進YOLOv7模型。

（4）果實檢測。將待檢測的果實數據，即測試集輸入上一步驟獲取的最佳改進YOLOv7模型，通過學習和訓練，其輸出結果即為果實檢測結果。

3 仿真試驗

3.1 試驗環境搭建

試驗基于PyTorch深度學習框架和Python語言搭建改進YOLOv7模型，并在Windows10操作系統上運行。系統配置Inteli7-11700K@3.6GHzCPU，NVIDIAGeForceRTX3090GPU。

3.2 數據來源及預處理

以紅富士蘋果為研究對象，使用KinectDK深度相機在不同自然條件下自主拍攝不同角度且成熟度不同的5000張紅富士蘋果圖像作為試驗數據。拍攝過程中，相機距離蘋果20～50cm。

由于蘋果的成熟度不同，根據紅富士蘋果特點，將拍攝的蘋果分為紅色即成熟和綠色即未成熟兩類，并將紅色蘋果標注為0，綠色蘋果標注為1，對所有圖像進行標注。

考慮到改進YOLOv7模型訓練需要大量的圖像，為增強數據量和數據的多樣性，對所有數據進行了裁剪、縮放、旋轉和亮度調節等操作，得到20000張試驗圖像[13-14]。

隨機抽取12000張圖像作為訓練數據集，剩余圖像均分為兩部分，分別用于改進YOLOv7模型的驗證和測試數據集。

3.3 評價指標

本次試驗選用準確度（accuracy）、召回率（recall）、精確率（precision）、平均準確率（mAP）和檢測速度作為評估所提改進YOLOv7模型對果實檢測的性能指標。其中，準確度、召回率、精確率和平均準確率的計算方法如式（1）～式（4）。

3.4 參數設置

試驗設置改進YOLOv7模型的超參數：迭代輪次和動量因子分別為50、0.9，初始學習率和衰減系數分別為0.0005、0.0010，并采用余弦退火衰減法對學習率進行實時調整。

3.5 結果與分析

3.5.1 改進YOLOv7模型訓練過程

由圖5可知，改進YOLOv7模型的損失函數值隨＼迭代次數增加快速下降并穩定在0.1附近，而準確率快速提升并穩定在95%左右。由此說明，所提的改進YOLOv7模型可快速收斂，并表現出優異的性能，具有正確性和有效性。

3.5.2 YOLOv7模型改進效果驗證

（1）骨干網絡改進驗證。為驗證骨干網絡改進的有效性，試驗分別以RepVGG、CSPDarknet、GhostNet作為骨干網絡的YOLOv7模型在試驗數據集上的各項性能指標進行比較，結果如圖6所示。采用不同骨干網絡的YOLOv7模型各項性能指標不同，相較于采用CSPDarknet作為骨干網絡的標準YOLOv7模型和使用GhostNet作為骨干網絡的改進YOLOv7模型，采用RepVGG作為骨干網絡的YOLOv7模型各項性能指標最高。

為定量分析采用不同骨干網絡的YOLOv7模型的各項性能，試驗統計了3種YOLOv7模型的各項性能具體數值，結果如表1所示。相較于采用CSPDarknet和GhostNet作為骨干網絡的YOLOv7模型，采用RepVGG作為骨干網絡的YOLOv7模型的各項性能指標更高，準確度、召回率、精確率和平均準確率分別達到94.12%、93.04%、94.26%和90.04%，具有更快的檢測速度，每張圖像的檢測速度15.18ms。由此說明，所提的改進YOLOv7模型通過使用RepVGG作為骨干網絡，可提高模型的檢測性能，證明了本研究骨干網絡改進的有效性。

（2）注意力機制改進驗證。為驗證注意力機制的有效性，基于試驗數據集分析了引入注意力機制前后模型的各項性能指標，結果如圖7所示。引入注意力機制后的YOLOv7模型的各項性能指標相較于引入前，均得到了有效提升。由此說明，引入注意力機制可提高YOLOv7模型對蘋果檢測的準確度和檢測速度，改進有效。

為定量分析引入注意力機制的有效性，試驗統計了引入注意力機制前后YOLOv7模型的各項性能指標。由表2可知，引入注意力機制后提高了模型的各項性能指標，檢測的準確度、召回率、精確率和平均準確率分別達到96.08%、93.84%、96.11%和94.27%，檢測速度也更快，為16.23ms。由此說明，所提引入注意力機制改進的YOLOv7模型可提高模型的各項檢測性能，改進有效。

為驗證所提改進YOLOv7模型的總體改進有效性，基于試驗測試數據集，研究分析了標準YOLOv7模型和骨干網絡與注意力機制共同改進的各項性能指標。由表3可知，改進后的各項性能指標得到了提升，準確度、召回率、精確率和平均準確率分別達到97.67%、95.38%、95.11%和93.17%，并且具有更快的檢測速度，每張圖像的檢測速度11.21ms。由此說明，改進YOLOv7模型的骨干網絡并引入注意力機制，提高了模型的檢測性能，改進有效。

3.5.3 改進YOLOv7模型性能對比

為驗證所提改進YOLOv7模型對蘋果的檢測性能，基于試驗測試數據集，研究分析了所提改進YOLOv7模型對紅色蘋果和綠色蘋果檢測的各項性能指標。由表4可知，所提改進YOLOv7模型對紅色蘋果和綠色蘋果均具有良好的檢測性能，檢測準確度、召回率、精確率和平均準確率均達到90%以上，并且檢測速度較快，檢測一張圖像僅需約11ms。由此說明，所提的改進YOLOv7模型對蘋果具有良好的檢測效果。

為進一步驗證所提改進YOLOv7模型對蘋果檢測的有效性和優越性，試驗對比了所提改進YOLOv7模型與FPN、SSD、FasterR-CNN網絡對紅色和綠色蘋果檢測的各項性能指標。由表5可知，不同目標檢測模型對蘋果檢測的性能不同，相較于對比網絡，所提改進YOLOv7模型對蘋果檢測的各項性能指標均得到了不同程度的提升，平均準確度、平均召回率、平均精確率和平均準確率分別達到97.67%、95.38%、95.11%和93.17%，平均檢測速度達到每張圖像11.21ms。由此說明，相較于對比模型，所提模型對蘋果具有更優異的檢測性能，即所提改進YOLOv7模型在蘋果檢測中具有一定的優越性。

3.5.4 應用效果對比

為驗證所提改進YOLOv7模型在實際果實識別中的應用效果，基于劉兵凱[15]采用智慧云技術搭建的草莓采摘點實時檢測系統，對所提改進YOLOv7模型進行了檢驗，并與其提出的改進YOLOv5x模型的檢測結果進行了對比。由表6可知，相較于劉兵凱[15]提出的改進YOLOv5x模型，本研究改進YOLOv7模型在草莓果實各項檢測性能指標上的表現更優異，準確度、召回率、精確率、平均準確度和檢測速度均得到了不同程度的提升。由此說明，所提的改進YOLOv7模型可用于實際智慧云技術搭建的實時檢測系統中，而且可有效檢測草莓果實，具有較高的實際應用價值。

4 結論

本研究所提的改進YOLOv7模型的農業機器人果實智慧檢測方法，通過將YOLOv7模型的骨干網絡改進為采用RepVGG，并引入ECA機制，提高了YOLOv7模型的檢測速度和檢測精度。相較于標準YOLOv7模型和FPN、SSD、FasterR-CNN網絡，所提改進YOLOv7模型在農業機器人果實智慧檢測中，具有更快的檢測速度和更高的檢測精度，檢測準確度、召回率、精確率和平均準確率分別達到97.67%、95.38%、95.11%和93.17%，檢測速度達到每張圖像檢測時長11.21ms，可用于農業智慧云監控實際應用中，為提高果實檢測的速度和精度提供了參考。