基于機(jī)器視覺的石榴品質(zhì)自動分級方法

羅山 侯俊濤 鄭彬

摘要：采用人工檢測的石榴外觀品質(zhì)等級分級方法存在準(zhǔn)確率和效率低的問題，提出一種基于機(jī)器視覺的石榴品質(zhì)分級方法。首先，采用機(jī)器視覺系統(tǒng)采集石榴樣本圖像，進(jìn)行去噪處理與獲取掩模圖像；其次，提取去噪圖像的紅、綠、藍(lán)分量，用藍(lán)色分量減去紅、綠色分量得到色差圖像，并對色差圖像進(jìn)行閾值分割；然后，對分割圖像采用數(shù)學(xué)形態(tài)學(xué)處理獲得連通的疑似缺陷區(qū)域的邊界，提取紋理特征并根據(jù)缺陷與非缺陷區(qū)域紋理特征的不同來標(biāo)記缺陷區(qū)域；最后，將缺陷面積與總面積之比和缺陷數(shù)目作為劃分等級的依據(jù)，對石榴品質(zhì)等級進(jìn)行劃分。試驗結(jié)果表明：本方法總體分級準(zhǔn)確率達(dá)到92.9%，能夠高效、準(zhǔn)確地識別石榴表面缺陷并進(jìn)行品質(zhì)分級，為實現(xiàn)自動分級的產(chǎn)業(yè)化提供思路。

關(guān)鍵詞：機(jī)器視覺；石榴；品質(zhì)分級；表面缺陷；色差分量

中圖分類號：S665.4： TP391.41

文獻(xiàn)標(biāo)識碼：A

文章編號：2095-5553 （2023） 03-0117-06

Abstract： The method of grading pomegranate appearance quality by manual inspection has low accuracy and efficiency. A pomegranate quality classification method based on machine vision is proposed. Firstly， the pomegranate sample image is collected by machine vision system， denoised and the mask image is obtained. Secondly， the red， green and blue components of the denoised image are extracted， the red and green components are subtracted from the blue component to obtain the color difference image， and the color difference image is segmented by threshold. Then， the boundary of the connected suspected defect region is obtained by mathematical morphology processing， the texture features are extracted， and the defect region is marked according to the different texture features of the defect and nondefect region. Finally， the ratio of defect area to total area and the number of defects are used as the basis for grading， and the quality grade of pomegranate is divided. The experimental results show that the overall classification accuracy of this method is 92.9%， which can effectively and accurately identify the surface defects of pomegranate and classify the quality， and which provides an idea for the industrialization of automatic classification.

Keywords： machine vision; pomegranate; quality grading; surface defect; color difference component

0引言

石榴在生長、采摘、運(yùn)輸和貯藏的過程中，會受到外部環(huán)境和自身因素等多方面的影響，導(dǎo)致石榴表面出現(xiàn)疤痕、孔洞、裂痕等多種類型的缺陷，嚴(yán)重影響石榴的品質(zhì)，造成巨大的經(jīng)濟(jì)損失［1］。目前大多采用人工檢測的方式對石榴品質(zhì)進(jìn)行分級，而人工檢測存在高成本、低效率的缺點，不利于提高石榴產(chǎn)業(yè)的經(jīng)濟(jì)效益。

近年來，基于機(jī)器視覺的表面缺陷檢測及品質(zhì)分級技術(shù)在工農(nóng)業(yè)方面的應(yīng)用愈加廣泛，提出了諸多方法。項輝宇等［2］提出一種基于Halcon的蘋果品質(zhì)視覺檢測算法。張慶怡等［3］提出一種蘋果在線分級系統(tǒng)，能夠精準(zhǔn)地對蘋果進(jìn)行等級分類，但由于算法流程復(fù)雜，無法達(dá)到快速分級的目的。劉忠超等［4］利用PLC控制器和機(jī)器視覺技術(shù)開發(fā)了基于面積的分級系統(tǒng)，并對獼猴桃大小進(jìn)行自動分級。李澤平等［5］設(shè)計了一種基于支持向量機(jī)的無核白葡萄串分級系統(tǒng)。孫進(jìn)等［6］利用機(jī)器視覺和CAN總線技術(shù)設(shè)計了分類器對玉米種粒在線分級。何進(jìn)榮等［7］利用多卷積神經(jīng)網(wǎng)絡(luò)融合DXNet模型對蘋果外觀品質(zhì)進(jìn)行有效分級，該方法提高了分級準(zhǔn)確率。Kuma等［8］運(yùn)用圖像處理和機(jī)器學(xué)習(xí)技術(shù)實現(xiàn)水果和蔬菜質(zhì)量的自動高效分級。

目前，機(jī)器視覺分級技術(shù)應(yīng)用在水果方面較多，但對石榴品質(zhì)分級的研究很缺乏。因此，本文考慮石榴質(zhì)量等級標(biāo)準(zhǔn)和外觀特征，基于機(jī)器視覺技術(shù)和圖像處理與分析算法開發(fā)出一種基于機(jī)器視覺的石榴品質(zhì)分級系統(tǒng)，并通過試驗驗證方法的可行性。

1試驗設(shè)備和材料

為保證試驗的嚴(yán)謹(jǐn)性和隨機(jī)性，試驗石榴樣本采用突尼斯軟籽石榴，產(chǎn)地為攀枝花，于2021年10月13日在攀枝花市九附六市場隨機(jī)采購，兼?zhèn)涓鞣N品質(zhì)等級的石榴樣本。系統(tǒng)設(shè)備主要包括工業(yè)相機(jī)、鏡頭、LED光源以及光源控制器、圖像采集卡、計算機(jī)，其中，圖像采集設(shè)備參數(shù)如表1所示，采集裝置如圖1所示。

2樣本圖像處理與分析

2.1圖像去噪與掩模圖像獲取

采集到的樣本圖像攜帶有較多的噪聲，為提高圖像質(zhì)量，改善分級效果，需要對圖像進(jìn)行去噪處理。常用的濾波方法有均值濾波、高斯濾波、中值濾波［10］等。考慮到石榴表皮具有類似于椒鹽噪聲和脈沖噪聲的斑點，而中值濾波對椒鹽噪聲和脈沖噪聲有良好的去除能力，因此采用中值濾波對石榴圖像進(jìn)行去噪。中值濾波運(yùn)算如式（1）所示。

由于背景與石榴色差和背景亮度差異明顯，因此可以將經(jīng)過中值濾波后的圖像直接進(jìn)行彩色二值化處理，從而得到石榴樣本的掩膜圖像，掩膜圖像所占像素點數(shù)即為該方向上的石榴總面積數(shù)，用于后續(xù)的缺陷面積計算，掩膜圖像獲取結(jié)果如圖3所示。

2.2色差分量獲取與圖像分割

通過采集裝置得到的樣本圖像為RGB圖像，含有較豐富的色彩信息，在經(jīng)過去噪處理后，受石榴成熟度影響，石榴果皮存在大量的紅色分量（R）和綠色分量（G）信息［11］，這些信息會對后續(xù)的缺陷識別造成不利的影響，導(dǎo)致品質(zhì)等級分級不準(zhǔn)確。為去除R、G分量的影響，本文提取出去噪圖像中的R、G、B分量，將三個分量經(jīng)過多次數(shù)學(xué)運(yùn)算試驗，最終用藍(lán)色分量（B）減去R、G分量得到色差圖像，如式（2）所示。

中值濾波去噪圖像和色差圖像效果如圖4所示。可以看出，去除干擾顏色影響后的圖像中缺陷區(qū)域灰度均勻、與非缺陷區(qū)域灰度差異明顯，有利于提高后續(xù)的缺陷分割和品質(zhì)分級的準(zhǔn)確性。

為獲得缺陷特征信息，需要將目標(biāo)區(qū)域從圖像中分割出來。考慮色差圖像中缺陷區(qū)域與非缺陷區(qū)域的灰度對比差異明顯，因此采用常用的Otsu閾值分割算法［1213］對圖像進(jìn)行分割。其基本原理是利用閾值將圖像分為前景和背景兩個區(qū)域，設(shè)兩個區(qū)域的像素個數(shù)比例分別為W0和W1，平均灰度值分別為Q0和Q1，前景與背景的類間方差為G，表達(dá)式如式（3）所示。

采用遍歷的方法使G值取得最大值，將此時對應(yīng)的閾值T作為圖像分割的最佳閾值，再對圖像進(jìn)行二值化處理，其像素值與閾值的函數(shù)關(guān)系如式（4）所示。

分割出的結(jié)果視為疑似缺陷區(qū)域，包括缺陷區(qū)域和非缺陷區(qū)域，為獲得更佳的視覺效果，用紅色填充疑似缺陷區(qū)域，代替經(jīng)典的黑白二值化圖像中的白色目標(biāo)區(qū)域。分割效果如圖5所示。

2.3數(shù)學(xué)形態(tài)學(xué)處理

從圖5可以看出，分割結(jié)果中存在疑似缺陷區(qū)域不連通的問題，不利于缺陷的特征提取和識別，因此對分割后的圖像采用形態(tài)學(xué)處理以連通疑似缺陷區(qū)域。閉運(yùn)算具有填充小孔洞的能力、并且運(yùn)算簡單，因此采用閉運(yùn)算對分割圖像進(jìn)行處理。閉運(yùn)算是對圖像先進(jìn)行膨脹操作，再進(jìn)行腐蝕操作，運(yùn)算過程可用式（5）表示。

閉運(yùn)算結(jié)果如圖6所示，用紅色標(biāo)記缺陷區(qū)域邊界、綠色標(biāo)記非缺陷區(qū)域邊界，可見，疑似缺陷區(qū)域邊界更加平滑，有利于后續(xù)的缺陷參數(shù)計算。

2.4外接矩形處理與缺陷參數(shù)計算

以疑似缺陷區(qū)域為中心，在原圖中用紅色與綠色分別標(biāo)記出缺陷區(qū)域與非缺陷區(qū)域的最小外接矩形，用于后續(xù)的缺陷區(qū)域參數(shù)計算和品質(zhì)自動分級，標(biāo)記區(qū)域如圖7所示。

果梗和花萼是石榴的生理特征，容易造成缺陷識別錯誤、品質(zhì)等級錯誤劃分等問題，此外光照不均勻等因素也會對分級結(jié)果造成不利影響，因此需要排除這些因素的干擾。由于果梗和花萼區(qū)域以及灰度不均勻區(qū)域具有與缺陷不同的紋理特征［14］，因此，采用灰度共生矩陣來提取紋理特征以消除非缺陷區(qū)域的干擾。灰度共生矩陣描述的紋理特征包括圖像的能量、相關(guān)性、逆差距、局部均勻性、對比度等。本文利用灰度共生矩陣計算能量（ASM）、相關(guān)性（COR）、逆差距（IDM）和對比度（CON）四個特征參數(shù)，從而將缺陷與非缺陷區(qū)域進(jìn)行篩選區(qū)分，計算公式［15］如式（6）～式（12）所示。

特征值計算結(jié)果如圖8所示，可以看出缺陷區(qū)域與非缺陷區(qū)域紋理特征值的差異。

根據(jù)疑似缺陷區(qū)域特征值的不同設(shè)置多項閾值進(jìn)行篩選，最終去除非缺陷區(qū)域的標(biāo)記，得到標(biāo)記的缺陷區(qū)域，圖9為處理前后的對比。

由于部分石榴果梗和花萼區(qū)域與缺陷區(qū)域區(qū)分度較低，因此存在部分樣本無法徹底去除果梗和花萼帶來的干擾，導(dǎo)致標(biāo)記缺陷的準(zhǔn)確率降低，再采用人工標(biāo)記作為準(zhǔn)確標(biāo)記數(shù)，計算本文方法標(biāo)記結(jié)果的準(zhǔn)確率，對140個石榴樣本圖像標(biāo)記缺陷的準(zhǔn)確率如表2所示。由于石榴側(cè)面區(qū)域無法一次采集完整，共采集兩次以獲得完整的側(cè)面。

本文以林業(yè)行業(yè)標(biāo)準(zhǔn)［16］發(fā)布的石榴質(zhì)量等級標(biāo)準(zhǔn)作為參考和依據(jù)進(jìn)行品質(zhì)等級劃分，采用缺陷數(shù)目、缺陷區(qū)域像素數(shù)與總像素數(shù)之比作為品質(zhì)分級的依據(jù)。利用前述的缺陷標(biāo)記結(jié)果，設(shè)兩個側(cè)面區(qū)域像素個數(shù)為S1，果梗區(qū)域像素個數(shù)為S2，花萼區(qū)域像素個數(shù)為S3，側(cè)面缺陷區(qū)域像素個數(shù)為Q1，果梗缺陷區(qū)域像素個數(shù)為Q2，花萼缺陷區(qū)域像素個數(shù)為Q3，缺陷面積與總面積之比為R，由此得到計算缺陷區(qū)域占石榴表皮總面積的比例的公式（13）。側(cè)面、果梗、花萼區(qū)域像素個數(shù)均由前述的二值化掩膜處理得到，缺陷面積指經(jīng)過缺陷區(qū)域篩選后的矩形所包含的經(jīng)過數(shù)學(xué)形態(tài)學(xué)處理的缺陷區(qū)域像素點數(shù)目，如圖6中的紅色封閉區(qū)域包含的像素點個數(shù)，并非指矩形區(qū)域的像素點個數(shù)。

由于行業(yè)標(biāo)準(zhǔn)中并無機(jī)器視覺的石榴品質(zhì)劃分標(biāo)準(zhǔn)，因此本文將試驗結(jié)果與行業(yè)標(biāo)準(zhǔn)經(jīng)過多次實驗對比，得到機(jī)器視覺的石榴品質(zhì)分級標(biāo)準(zhǔn)，如表3所示。

在系統(tǒng)進(jìn)行分級時，必須同時依據(jù)缺陷面積占比和缺陷數(shù)目兩個指標(biāo)進(jìn)行劃分，當(dāng)樣本滿足其中一個條件，不滿足另一個條件時，降低一個等級。等級劃分流程如圖11所示。

對140個石榴樣本進(jìn)行分級后，采用人工分級作為準(zhǔn)確標(biāo)準(zhǔn)，通過本文方法分級結(jié)果求得分級準(zhǔn)確率，如表4所示。

特級、一級、二級等級劃分準(zhǔn)確率分別為94.4%、94.2%、88.2%，總體分級準(zhǔn)確率為92.9%，特級果的等級劃分精確性最好、一級果其次、二級果劃分效果最差。部分特級果、一級果因為花萼、果梗區(qū)域被誤認(rèn)為缺陷，導(dǎo)致在等級劃分時被降低一個品質(zhì)等級，造成特級果、一級果準(zhǔn)確率下降。部分二級果，如日灼果果面無較大缺陷，導(dǎo)致系統(tǒng)將其劃分為特級，與人工劃分存在一定差異。試驗石榴樣本均為隨機(jī)選取，品質(zhì)等級自動劃分與人工劃分結(jié)果基本一致，證實了該自動分級方法的可行性。但由于試驗的石榴存在較多病斑和花紋且新鮮度低，造成偽缺陷增加，導(dǎo)致分級誤判，分級準(zhǔn)確率下降。

為進(jìn)一步驗證本文方法的可行性，將文獻(xiàn)［17-19］的方法與本文方法性能進(jìn)行對比，采用相同的石榴樣本進(jìn)行試驗，評估指標(biāo)包括分級準(zhǔn)確率與算法執(zhí)行時間，如表5所示。

由表5可知，本文方法相較于文獻(xiàn)［17-19］的方法具有更高的準(zhǔn)確率，達(dá)到優(yōu)秀標(biāo)準(zhǔn)，算法速度也有大幅度提高，時間上最高節(jié)省了25.5 s/百幅。雖然在速度上略低于文獻(xiàn)［19］的方法，但在準(zhǔn)確率上提高了9.4個百分點，更符合現(xiàn)代農(nóng)業(yè)高效率、高準(zhǔn)確率的要求。

4結(jié)論

1）? 針對石榴表面顏色豐富的特性，根據(jù)石榴外表皮缺陷數(shù)目和面積采用機(jī)器視覺與圖像處理技術(shù)對石榴品質(zhì)進(jìn)行自動分級。對石榴樣本圖像進(jìn)行預(yù)處理，獲取色差圖像，采用最大類間方差法對色差圖像進(jìn)行閾值分割；采用數(shù)學(xué)形態(tài)學(xué)處理獲得連通的疑似缺陷區(qū)域的邊界，計算缺陷紋理特征參數(shù)，根據(jù)缺陷與非缺陷區(qū)域特征參數(shù)的不同來標(biāo)記缺陷區(qū)域；將缺陷面積與總面積之比和缺陷數(shù)目作為劃分等級的依據(jù)，并依據(jù)行業(yè)標(biāo)準(zhǔn)確定石榴品質(zhì)等級劃分標(biāo)準(zhǔn)，將等級分為特級、一級和二級三個層次。

2）? 提出石榴品質(zhì)等級劃分標(biāo)準(zhǔn)，同時依據(jù)缺陷面積占比和缺陷數(shù)目兩個指標(biāo)進(jìn)行等級劃分。通過對大量樣本進(jìn)行分級試驗，分別計算出各層次的分級準(zhǔn)確率，總體分級準(zhǔn)確率達(dá)到92%以上，平均一百幅樣本圖像識別時間約為45.1 s，性能得到提高。對隨機(jī)選取的石榴樣本進(jìn)行人工分級與自動分級試驗，品質(zhì)分級結(jié)果基本一致，證實了本自動分級方法的可行性。

3）? 通過采用不同方法進(jìn)行對比試驗，分別計算出分級準(zhǔn)確率與運(yùn)行時間進(jìn)行對比分析。本文方法的分級準(zhǔn)確率最高、達(dá)到92.9%，算法運(yùn)行速度也有大幅度提高，時間上最高節(jié)省了25.5 s/百幅，能滿足現(xiàn)代農(nóng)業(yè)高效率、高準(zhǔn)確率的需求。本文方法為機(jī)器視覺在農(nóng)產(chǎn)品質(zhì)量檢測的實際應(yīng)用方面提供了新的方法，但對于病斑較多且新鮮度低的石榴自動分級準(zhǔn)確率的提高是需要進(jìn)一步研究的課題。

參考文獻(xiàn)

［1］楊雪梅， 馮立娟， 唐海霞， 等. 不同包裝方式對冷藏后期“魯青1號”石榴貨架期品質(zhì)的影響［J］. 山東農(nóng)業(yè)科學(xué)， 2021（10）： 128-135.

Yang Xuemei， Feng Lijuan， Tang Haixia， et al. Effects of different packing methods on shelflife quality of ‘Luqing 1 pomegranate after cold storage ［J］. Shandong Agricultural Sciences， 2021（10）： 128-135.

［2］項輝宇， 薛真， 冷崇杰， 等. 基于Halcon的蘋果品質(zhì)視覺檢測試驗研究［J］. 食品與機(jī)械， 2016， 32（10）： 123-126.

Xiang Huiyu， Xue Zhen， Len Chongjie， et al. Experimental study of apple quality vision detection based on Halcon ［J］. Food & Machinery， 2016， 32（10）： 123-126.

［3］張慶怡， 顧寶興， 姬長英， 等. 蘋果在線分級系統(tǒng)設(shè)計與試驗［J］. 華南農(nóng)業(yè)大學(xué)學(xué)報， 2017， 38（4）： 117-124.

Zhang Qingyi， Gu Baoxing， Ji Changyin， et al. Design and experiment of an online grading system for apple ［J］. Journal of South China Agricultural University， 2017， 38（4）： 117-124.

［4］劉忠超， 蓋曉華. 基于機(jī)器視覺和PLC的獼猴桃分級控制系統(tǒng)設(shè)計［J］. 中國農(nóng)機(jī)化學(xué)報， 2020， 41（1）： 131-135.

Liu Zhongchao， Gai Xiaohua. Design of kiwifruit grading control system based on machine vision and PLC ［J］. Journal of Chinese Agricultural Mechanization， 2020， 41（1）： 131-135.

［5］李澤平， 郭俊先， 郭陽， 等. 基于支持向量機(jī)的無核白葡萄串分級系統(tǒng)設(shè)計與測試［J］. 食品與機(jī)械， 2021， 37（10）： 106-111， 246.

Li Zeping， Guo Junxian， Guo Yang， et al. Design and test of the grading system for kernelfree white grapes with support vector machine ［J］. Food & Machinery， 2021， 37（10）： 106-111， 246.

［6］孫進(jìn)， 張洋， 王寧， 等. 融合機(jī)器視覺和CAN總線的玉米種粒分類器設(shè)計與試驗［J］. 中國農(nóng)機(jī)化學(xué)報， 2020， 41（8）： 81-89， 120.

Sun Jin， Zhang Yang， Wang Ning， et al. Design and experiment of corn seeds classifier based on machine vision and CAN bus ［J］. Journal of Chinese Agricultural Mechanization， 2020， 41（8）： 81-89， 120.

［7］何進(jìn)榮， 石延新， 劉斌. 基于DXNet模型的富士蘋果外部品質(zhì)分級方法研究［J］. 農(nóng)業(yè)機(jī)械學(xué)報， 2021， 52（7）： 379-385.

He Jinrong， Shi Yanxin， Liu Bin. External quality grading method of fuji apple based on deep learning ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2021， 52（7）： 379-385.

［8］Kuma M K P， Parkavi A. Quality grading of the fruits and vegetables using image processing techniques and machine learning： A review ［J］. Advances in Communication Systems and Networks， 2020： 477-486.

［9］張琛， 房勝， 王風(fēng)云， 等. 基于機(jī)器學(xué)習(xí)的免套袋蘋果缺陷分級［J］. 河南農(nóng)業(yè)科學(xué)， 2019， 48（4）： 154-160.

Zhang Chen， Fang Sheng， Wang Fengyun， et al. Nonbagged apple defect classification based on machine learning ［J］. Journal of Henan Agricultural Sciences， 2019， 48（4）： 154-160.

［10］Momin M A， Rahman M T， Sultana M S， et al. Geometrybased mass grading of mango fruits using image processing ［J］. Information Processing in Agriculture， 2017， 4（2）：11.

［11］Mendoza F， Dejmek P， Aguilera J M. Calibrated color measurements of agricultural foods using image analysis ［J］. Postharvest Biology & Technology， 2006， 41（3）： 285-295.

［12］牛晗， 伍希志. 基于大津算法連通域的松果多目標(biāo)識別定位［J］. 江蘇農(nóng)業(yè)科學(xué)， 2021， 49（15）： 193-198.

Niu Han， Wu Xizhi. Pinecone multitarget identification and location based on connected domain of Otsu algorithm ［J］. Jiangsu Agricultural Sciences， 2021， 49（15）： 193-198.

［13］李德新. 基于Otsu閾值的MSI不連續(xù)破損邊緣提取［J］.計算機(jī)仿真， 2020， 37（9）： 358-362.

Li Dexin. Edge extraction of discontinuous damage in multi scene image based on Otsu threshold ［J］. Computer Simulation， 2020， 37（9）： 358-362.

［14］Du C J， Sun D W. Recent developments in the applications of image processing techniques for food quality evaluation ［J］. Trends in food science & technology， 2004， 15（5）： 230-249.

［15］陳天華. 數(shù)字圖像處理及應(yīng)用［M］. 北京： 清華大學(xué)出版社， 2019.

［16］LY/T 2135—2018， 石榴質(zhì)量等級［S］.

［17］辛華健. 計算機(jī)視覺在芒果品質(zhì)檢測中的應(yīng)用研究［J］. 農(nóng)機(jī)化研究， 2019， 41（9）： 190-193.

［18］石瑞瑤， 田有文， 賴興濤， 等. 基于機(jī)器視覺的蘋果品質(zhì)在線分級檢測［J］. 中國農(nóng)業(yè)科技導(dǎo)報， 2018， 20（3）： 80-86.

Shi Ruiyao， Tian Youwen， Lai Xingtao， et al. Development of apple intelligent online inspection and classification system based on machine vision ［J］. Journal of Agricultural Science and Technology， 2018， 20（3）： 80-86.

［19］高輝， 馬國峰， 劉偉杰. 基于機(jī)器視覺的蘋果缺陷快速檢測方法研究［J］. 食品與機(jī)械， 2020， 36（10）： 125-129， 148.

Gao Hui， Ma Guofeng， Liu Weijie. Research on a rapid detection of apple defects based on mechanical vision ［J］. Food and Machinery， 2020， 36（10）： 125-129， 148.