基于YOLOv5的智能果蔬識別與成熟果蔬計數系統的設計與實現

鄭春紅

（青島職業技術學院信息學院，青島 266000）

0 引言

2022 年中央一號文件及“十四五”規劃中均明確提出要發展智慧農業，推進數字鄉村建設，農業農村部在《“十四五”全國農業農村信息化發展規劃》中也將發展智慧農業作為農業農村信息化發展的首要任務。智慧農業成為中國農業現代化的重要方向。

傳統農業的生產、管理過于粗獷化，不能更好地滿足社會發展的需要。發展基于人工智能的智能農業，對農業轉型發展具有促進作用，可將粗放型農業轉向精細化農業。

近年來，智慧農業逐漸成為中國農業產業發展的主要方向，相關政策、技術、創新合作體系、社會參與度等方面得到不斷完善與提高。物聯網、大數據、信息通信技術、人工智能等數字化技術越來越多地融合到農業生產和經營管理中［1］。

2021 年，潘梅［2］綜述了圖像識別技術在商品交易智能化、果蔬采摘機器人、智能冰箱中的應用，這些應用大多處于研究和試驗階段，僅小范圍應用于實際生產生活，要實現普及性應用還需更深入的研究。2022 年，李寶生［3］設計了一種智能農業溫室大棚遠程監控系統。該系統實現了基于WSN 和IP Camera 的溫室環境信息實時采集，利用物聯網技術和智能控制技術建立了基于B/S 模式的遠程監控平臺，并設計了智能手機的移動客戶端應用程序。2022年，張璐璐等［4］針對超市人工分類識別效率低和早期識別系統成功率不高等問題，為提高果蔬識別系統的準確性，提出了一種基于人工干預微調的經典神經網絡深度學習的識別分類方法，使用Halcon 與c#聯合，融合輸出果蔬的識別結果及重量等信息以及實現自助打碼，解決袋裝識別稱重問題。2022 年，趙海越［5］設計了一款基于YOLOv3-M 算法的智能果蔬計價設備，用于提高果蔬結算效率。通過測試，設備對于果蔬識別的正確率為96.33%,交易時間為4 s 左右，與傳統人工結算相比，設備有效地提高了結算效率。2022 年，黃梓宸［6］綜述了日本設施農業采收機器人的研究應用進展，分析了基于農機農藝結合的茄科（番茄、茄子、青椒）、葫蘆科（黃瓜、瓜類水果）、蘆筍和草莓等10 種設施農業采收機器人的采收技術，分析了農業采收機器人面臨的科學問題及解決方案，總結了未來發展趨勢及對中國的啟發，為加速推進中國設施農業采收機器人的智慧化、智能化和產業化發展提供借鑒參考。

綜上所述，目前國內果蔬識別應用主要是超市中的智能果蔬計價，還有家電領域的智能冰箱，在日本，將果蔬識別應用于智慧農場的農業采收機器人，為加速推進中國設施農業采收機器人的智慧化、智能化和產業化發展提供了借鑒。目前，國內在智慧農業方面，主要是利用物聯網技術和智能控制技術建立遠程監控平臺實現溫室大棚遠程監控，而對于成熟果實的識別、監控系統，以及智能采摘等技術還亟待深入研究。

基于YOLOv5的智能果蔬識別與成熟果蔬計數系統，將人工智能技術應用于農業生產、銷售等領域，可以有效降本增效。在果蔬成熟采摘季，通過人工智能視覺技術監測果實的數量和生長位置，對統籌安排采摘工作有積極意義。通過人工智能視覺技術可以有效計算果實數量與精確位置，對于未來結合機械臂實現無人采摘有重要的意義。

1 系統架構

基于物聯網架構，以Web 服務器和數據庫服務器作為云服務器，設計基于B/S（Browser/Server）架構的智能果蔬識別與計數系統。該系統的任務是通過攝像頭采集果蔬圖片信息，系統為用戶提供識別果蔬類別、計算成熟果蔬數量等功能。用戶可以通過PC 端和Android 端訪問這些服務。

通過攝像頭實時采集果蔬圖片，上傳到服務器端，服務器端對圖片進行分析，將分析后的結果（果蔬類別、成熟數量等）記錄到數據庫，并返回到客戶端。這樣可以實現通過攝像頭監控農場中果蔬的生長狀態，為果蔬生長監控提供智能化管理，同時也為后續研究機械臂智能采摘提供重要基礎。

智能果蔬識別與計數系統主要包括四層架構，分為應用層、Web 服務層、數據庫和AI 服務層。系統架構如圖1所示。

圖1 智能果蔬識別與計數系統架構

應用層包括Android 移動端和Web 瀏覽器端應用。Android 移動端可以通過攝像頭采集果蔬照片并提交給服務器端進行識別，識別后的結果在Android 移動端展示。Web 瀏覽器端可以獲取攝像頭采集的果蔬照片并進行識別，識別后的結果在Web端通過網頁的形式展示。

Web 服務層主要是處理Android 移動端和Web 瀏覽器端應用的請求，并將請求中的圖片發送給AI 服務層進行識別，然后將識別的類別和最小矩形坐標等結果繪制到圖片上，再返回給Android移動端和Web瀏覽器端進行展示。

各組間臨床資料的對比發現，在年齡、性別比例等方面均無顯著差異，每組中均為男性比例高于女性，差異有統計學意義（P＜0.05），組3糖尿病比例高于其余3組，差異有統計學意義（P＜0.05），組4高血壓比例和SBP均高于其余3組，差異有統計學意義（P＜0.05）。表1為左室幾何形態對比，可以發現，組1、組2及組4均呈向心性重構，而組3呈離心性重構，差異有統計學意義（P＜0.05）；組3AVA大于組1、組2，與組4差異無統計學意義（P＞0.05）。由表3及圖1與圖2可以發現，各組左室縱軸收縮功能均小于對照組（P＜0.05），但組1優于組2、組3，與組4差異無統計學意義（P＞0.05）。見表1、表2。

數據庫用于存放Web 服務層獲得的果蔬類別和數量等信息，便于后期的統計和管理。

AI 服務層是在服務器上，基于YOLOv5 算法，自行訓練的果蔬目標檢測模型。將訓練好的權重下載并部署到Web 服務器，供Web 服務層調用。

2 基于YOLOv5訓練果蔬檢測模型

2.1 數據采集

到農場、蔬菜大棚等實際農業環境中采集果蔬照片，本系統共采集五類果蔬照片，包括石榴、草莓、圣女果、板栗、橙子。每類果蔬照片采集數量不少于100張。

2.2 數據標注

通過Labelimg 數據標注軟件對采集到的每張圖片進行標注，對采集到的果蔬圖片中成熟的果蔬進行標注。

2.3 數據預處理

對標注好的數據進行預處理，生成用于模型訓練的訓練集和用于測試的測試集。

2.4 模型訓練與評估

YOLOv5 是一種比YOLOv4 更快、更準確的實時目標檢測模型，YOLOv5在檢測和定位任務上表現出色，可以較好地處理比較大的數據集，用于實時應用中。它采用了一種精簡的架構，能夠提供較高的實時檢測精度，并且可以構建靈活的模型，從而使模型能夠更加精確地檢測和定位物體。

本系統在服務器部署YOLOv5算法，將預處理的數據集作為輸入，進行模型的訓練和評估。

3 智能果蔬識別與計數系統

圖2 系統功能結構

3.1 Android移動端應用的設計與實現

Android 移動端應用需要用戶登錄后使用，登錄界面如圖3 所示。用戶輸入用戶名和密碼后進入應用界面，如圖4 所示。在應用界面可以選擇拍照或選取相冊中的圖片進行識別，如圖5 所示。

圖3 登錄界面

圖4 應用界面

圖5 拍照或相冊選取

該系統可以識別五類果蔬的種類，并能對成熟的果蔬數量進行分類計數。通過Android 移動端攝像頭拍照或選取相冊照片后，點擊“識別”按鈕，即可通過網絡將圖片發送到服務端進行識別，服務端將識別后的果蔬類別、成熟數量結果返回到Android 客戶端進行展示，用戶即可看到識別結果。識別結果如圖6所示。

3.2 Web服務端應用的設計與實現

Web 服務端應用需要用戶登錄后使用，登錄界面如圖7 所示。管理員輸入用戶名和密碼后，進入管理界面的實時數據監控頁面，實時顯示當前用戶數量、管理果蔬種類、每類果蔬成熟數量，如圖8所示。

圖7 Web服務端登錄界面

圖8 Web服務端數據監控界面

管理員在服務端也可以通過上傳圖片進行果蔬類別和成熟數量的檢測，如圖9所示。

圖9 Web服務端果樹類別與成熟數量計數界面

管理員可以對用戶、檢測記錄進行管理，如圖10所示。

圖10 Web服務端管理界面

4 應用前景

智慧農業是中國農業現代化的重要方向，也是農業發展的必然趨勢。基于YOLOv5的智能果蔬識別與成熟果蔬計數系統的設計與實現將人工智能與農業相結合，探索農業數字化的可行性。

我國發展智慧農業需因地制宜，結合產業發展現狀與國外先進經驗。本系統的設計與實現，借鑒農業發達國家發展智慧農業的經驗，結合地方農業生產實際，可對接農企實現個性化的數據采集、模型定制，提高農場運營效率。

本系統可以應用于果蔬等農作物的成熟度智能監控和計數，能為農場管理人員、種植人員提供智能化管理，輔助決策。

5 結語

本文基于目前國內外在智慧農業方向的研究現狀，分析國內在成熟果實的識別、監控系統、智能采摘等技術研究的迫切性，設計并實現了基于YOLOv5的果蔬識別與成熟果蔬計數系統。

通過到農業環境采集五類果蔬圖片，并進行成熟果蔬標注、數據預處理，基于YOLOv5訓練果蔬識別與成熟果蔬計數模型，該模型已完成服務器端部署并進行了測試，測試結果表明該系統訓練的模型精度（Precision）可達96.99%，召回率（Recall）可達96.5%，模型對采集到的圖片進行果蔬類別及成熟度數量計算的時間小于2 s。

該系統主要分為Android 移動端應用與Web服務端應用。用戶可以通過Android 移動端攝像頭設備實時采集農場中果蔬照片并進行種類與成熟度數量檢測，管理員可以通過Web 服務端應用實時監控用戶數量、果蔬種類、每類果蔬檢測數據等信息，輔助決策；管理員也可以對用戶、識別檢測結果進行管理。

未來，該系統將進一步擴大需求，結合機械臂等智能硬件設備實現識別檢測后的智能采摘。