基于視覺的香蕉分級技術的研究

孫霽陽 張月華 張新賀

摘 要：為了滿足消費群體對于高品質(zhì)水果的需求和產(chǎn)業(yè)精細化發(fā)展，提出了一種通過視覺對香蕉無損檢測并分級的方法，并且在Jetson Nano平臺設計視覺系統(tǒng)，基于YOLOv5搭建的模型實現(xiàn)視覺識別。最終Matlab仿真結果和視覺實驗結果表明該方法可以實現(xiàn)對香蕉表面的缺陷進行識別，果實平均識別準確率達到91.3%。

關鍵詞：香蕉檢測；Jetson Nano；YOLOv5；視覺識別；無損檢測基金項目：本項目由遼寧省大學生創(chuàng)新創(chuàng)業(yè)訓練項目基金支持

新一代信息技術的發(fā)展加速了農(nóng)業(yè)生產(chǎn)的數(shù)字化、智能化發(fā)展，同時智慧農(nóng)業(yè)是中國“十四五”時期的重要發(fā)展方向。隨著人們對高品質(zhì)水果的需求越來越大，對于水果的分級也將成為水果產(chǎn)業(yè)中最重要的一環(huán)，而人工檢測常常存在效率低下且結果不準確的現(xiàn)象，所以自動檢測技術將得到大力發(fā)展。而無損檢測技術即可在不破壞農(nóng)產(chǎn)品本身的情況下對其質(zhì)量實現(xiàn)高效快速的檢測，因而無損檢測技術發(fā)展前景極為可觀[1]。

本文基于RGB 彩色空間的圖像分割技術對圖像進行二值化，通過閾值分割，確定香蕉表面需要被提取的像素的閾值后得到處理后的圖像，最后通過YOLOv5搭建模型計算出香蕉表面破損、發(fā)黑、腐爛的面積占比從而實現(xiàn)分級。

該技術可廣泛應用于鮮果分級和水果加工中，將大大降低人力成本、提高生產(chǎn)效率，促進我國水果產(chǎn)業(yè)工業(yè)化的發(fā)展，并帶動香蕉加工企業(yè)的共同發(fā)展。

1 現(xiàn)狀分析

計算機視覺技術是近年高速發(fā)展的一種新型技術，其中包括圖像采集、識別、分析等功能，因其處理信息的綜合能力強和速度快，同時還能避免人為主觀因素對檢測結果產(chǎn)生偏差，所以目前在水果自動分級中已被廣泛應用[2]。目前國外的普遍方法為通過HIS 彩色模型來實現(xiàn)分類檢測，成功率最高可達85.8%，目前我國水果的品質(zhì)檢測很大一部分依然是憑借分揀員直覺進行，導致部分劣質(zhì)果流進市場，直接影響了賣家的收入和買家的滿意度。雖然我國該技術起步較晚，但發(fā)展迅速，通過一種適當?shù)念伾娣e累積百分比進行分類，其準確度最高可達88%。

雖然國內(nèi)外對該技術取得了一定的創(chuàng)新與進步，但是該技術距離實現(xiàn)廣泛推廣還需要大量的技術積累，目前部分投入生產(chǎn)的大多是通過邊緣檢測和一些重力傳感器組成的系統(tǒng)，該系統(tǒng)大多只具備果實大小、質(zhì)量的識別，該方法并不能有效地實現(xiàn)準確的分類。

2 系統(tǒng)設計

本文設計的識別方法基于香蕉表皮顏色特征，其核心為將新鮮區(qū)域與缺陷區(qū)域的顏色進行對比，根據(jù)閾值分割出新鮮區(qū)域，其步驟如圖1 所示。

2.1 圖像降噪

在實際檢測中，由于相機等硬件問題和環(huán)境因素常常導致拍攝到的香蕉圖像包含大量的噪聲。所以在圖像分割前需要消除圖像中的無關噪聲，本文中采取均值濾波法，即將圖像區(qū)域中的像素點求平均值以達到降噪的效果，其數(shù)學表達式如式（1）所示，M 為所選取的橫坐標數(shù)，N 為所選取的縱坐標數(shù)，所選取的像素點必須包含于圖像面積內(nèi)，經(jīng)測試當M 和N 選取3 時降噪效果最好，即選取3*3 的濾波器。

2.2 圖像分割

香蕉會隨著新鮮度的降低而導致顏色由黃色轉(zhuǎn)為黑色，所以在香蕉圖像中其新鮮區(qū)域與不新鮮區(qū)域顏色差別很大，所以可以通過提取香蕉圖像的顏色特征來區(qū)分新鮮區(qū)域和不新鮮區(qū)域，本文所用到的顏色模型為RGB 模型，模型如圖2 所示。

圖像的閾值分割即通過設定閾值劃分不同的區(qū)域，設f （x， y）為圖像中坐標為（x， y）的像素點的灰度級，閾值為j ，經(jīng)分割后圖像僅包含“0”和“1“兩個灰度級，稱為二值化圖像，其數(shù)學表達式滿足式（2）。

常見的閾值分割方法中最小誤差法和最大熵法常常出現(xiàn)錯誤的坐標點，而Otsu 法則沒有[3]，所以本文選用Otsu 法。如圖3 所示，預處理分別對背景、新鮮區(qū)域、缺陷區(qū)域進行了分割，二值化圖像中香蕉新鮮區(qū)域表現(xiàn)為白色，背景區(qū)域和缺陷區(qū)域表現(xiàn)為黑色。

2.3 視覺分級系統(tǒng)設計

本文最終設計了視覺分級系統(tǒng)用來驗證結果，該系統(tǒng)以Jetson Nano 為GPU，并搭載一個可支持Linux操作系統(tǒng)深度相機作為圖像輸入設備，經(jīng)實際測試其彩色圖分辨率可達到1 280×720@30FPS、精度為（±1? 3）mm/m，可以達到實驗所需標準，最后將結果顯示在顯示屏上，本實驗硬件配置如表1 所示。

YOLOv5 是一種單階段目標檢測算法，其相對與YOLOv4 增加了自適應錨框計算、自適應圖片等縮放操作，從而使其速度和精度均得到了極大的提升。同時YOLOv5 是·完全開源的，首先將系統(tǒng)的Python 更新到3.8 版本以上后配置Anaconda、Pytorch 的環(huán)境后即可安裝YOLOv5 環(huán)境。視覺識別效果如圖4 所示。

通過視覺識別后即可計算香蕉的等級，本文的分級方法為通過新鮮區(qū)域面積占比來劃分不同等級，即首先將圖片縮放到512?12來確定總面積 S，預處理后可計算出背景面積s1、新鮮面積s2、缺陷面積s3，二值化圖像中取出更為準確的新鮮區(qū)域面積s′ ，其數(shù)學表達式如式（3）所示，分級標準如表2 所示。

3 實驗結果與分析

隨機選取100 份樣品，每份樣品為三根香蕉，由于樣本獲取時基本都是新鮮的，為了使實驗結果更加準確將樣本靜置在常溫室內(nèi)不同天數(shù)后進行測試，分別在第1、5、9 d 進行測試，總計測試300 次。測試時分別對樣本進行人工分級和機器視覺分級并計算吻合度[4]，其結果如表3 所示。

吻合度計算公式為：

根據(jù)實驗結果分析誤差主要來自于人工挑選可以在多位置進行觀察并且手動調(diào)整遮蓋區(qū)，而機器視覺分級時視角單一且無法檢測到香蕉之間互相遮蓋的部分，將雙方視角統(tǒng)一且禁止人工觸碰改變檢測目標形態(tài)后重新測試，吻合度可達到97.35%。

4 結束語

本文提出了一種通過閾值分割對香蕉分級的方法，通過實驗測試該方法與人工分級吻合度最高可達97.35%，且該系統(tǒng)效率遠遠高于人工，在成本方面同樣具有優(yōu)勢。

但是由于香蕉之間不可避免地存在互相遮擋的現(xiàn)象，其對實驗效果將產(chǎn)生巨大影響，為了彌補該不足需要對系統(tǒng)增加遮擋目標檢測算法，目前主要采取的方法就是將區(qū)域卷積神經(jīng)網(wǎng)絡應用到目標檢測，但是當前的檢測模型大多是針對特定場景或者特定目標進行訓練，通用的目標遮擋檢測研究還較少，但是通用目標的檢測是真實環(huán)境中不可避免的，因此需要投入大量的研究[5]。

基于視覺分級的系統(tǒng)具有識別速度快、精度高等優(yōu)點，是未來水果無傷識別的發(fā)展趨勢。該分級系統(tǒng)未來可廣泛適用于水果產(chǎn)業(yè)，不同水果只需要改變其閾值即可實現(xiàn)識別與分級，如水果分揀系統(tǒng)，通過傳送帶運輸水果后進行拍攝分級以此提高消費者滿意度并實現(xiàn)水果價值最大化。

目前國內(nèi)機器視覺的研究依然處于起步階段，發(fā)展中的最大問題就是像CCD、CMOS 等核心硬件都依賴于發(fā)達國家研發(fā)，國內(nèi)制造商處于代工環(huán)節(jié)。目前在已經(jīng)實現(xiàn)使用機器視覺分類甜椒[6] 和彩色制圖系統(tǒng)來評估西紅柿和棗的品質(zhì)[7]，但大多仍處于實驗室階段而未能投入到實際生產(chǎn)中，相信隨著中國電子工業(yè)的發(fā)展和人工智能算法的研究，未來在果實分級方面中國將實現(xiàn)重大突破。