基于機(jī)器視覺的藍(lán)莓果實(shí)分級(jí)檢測(cè)算法

王偉 房銀杰 劉九慶 王智琦

摘 要： 為了實(shí)現(xiàn)藍(lán)莓果實(shí)的無損檢測(cè)和自動(dòng)分級(jí)，提出一種基于機(jī)器視覺的藍(lán)莓果實(shí)分級(jí)檢測(cè)算法。應(yīng)用OpenCV，Visual Studio 2015開發(fā)環(huán)境編寫算法程序，并搭建了一套基于機(jī)器視覺的藍(lán)莓果實(shí)自動(dòng)分級(jí)檢測(cè)實(shí)驗(yàn)裝置。通過實(shí)驗(yàn)裝置的CCD攝像頭獲取藍(lán)莓果實(shí)圖像后，應(yīng)用圖像處理技術(shù)對(duì)其進(jìn)行降噪、HSV加權(quán)運(yùn)算、開運(yùn)算、二值化處理及邊緣檢測(cè)，獲取藍(lán)莓果實(shí)圖像的邊緣像素點(diǎn)集。對(duì)邊緣像素點(diǎn)集進(jìn)行橢圓擬合后，應(yīng)用最小二乘法確定藍(lán)莓果實(shí)的實(shí)際值與計(jì)算機(jī)測(cè)量值之間的數(shù)學(xué)關(guān)系，求取藍(lán)莓果實(shí)直徑。為了驗(yàn)證算法的可行性，使用數(shù)字式游標(biāo)卡尺對(duì)藍(lán)莓果實(shí)的測(cè)量值與檢測(cè)裝置的測(cè)量值進(jìn)行實(shí)驗(yàn)對(duì)比分析。實(shí)驗(yàn)結(jié)果表明，測(cè)量誤差低于3.1%，驗(yàn)證了算法的有效性。

關(guān)鍵詞： 藍(lán)莓果實(shí)； 機(jī)器視覺； 邊緣檢測(cè)； 最小二乘法； 分級(jí)檢測(cè)； 圖像處理

中圖分類號(hào)： TN911.73?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2018）13?0038?05

Abstract： A new blueberries grading detection algorithm based on machine vision is proposed to realize the non?destructive detection and automatic grading of blueberries， and a set of experiment device for it is established. The OpenCV and Visual Studio 2015 development environment are used to compile the algorithm program. The blueberries image is acquired by means of CCD camera of the experiment device， for which the denoising， HSV weighting operation， open operation， binarization and edge detection are performed to obtain the edge pixel point set of blueberries image. The ellipse fitting is conducted for edge pixel point set， and then the least square method is adopted to determine the mathematic relation between the actual value and computer measured value of the blueberries to get the diameter of blueberries. The sizes of blueberries measured by digital vernier caliper and detection device were compared and analyzed in experiment to verify the feasibility of the algorithm. The experimental results show that the measurement error is less than 3.1%， which can meet the practical requirement.

Keywords： blueberry； machine vision； edge detection； least square method； grading detection； image processing

0 引 言

藍(lán)莓果實(shí)是一種具有較高經(jīng)濟(jì)價(jià)值和廣闊開發(fā)前景的漿果，果實(shí)具有較高的保健作用和藥用價(jià)值，日益受到人們的喜愛。隨著藍(lán)莓產(chǎn)業(yè)的發(fā)展和不同人群對(duì)藍(lán)莓果實(shí)的不同需求，需要一種快速、有效的藍(lán)莓果實(shí)分級(jí)方法。

當(dāng)前，藍(lán)莓果實(shí)分級(jí)的方法主要有藍(lán)莓果實(shí)分級(jí)機(jī)和人工目測(cè)法兩種方法。藍(lán)莓果實(shí)分級(jí)機(jī)是按果實(shí)大小進(jìn)行分級(jí)，它的工作原理是使果實(shí)沿著具有不同尺寸的網(wǎng)格或縫隙的分級(jí)篩移動(dòng)，最小果實(shí)先從最小網(wǎng)格漏出，然后較大果實(shí)從較大網(wǎng)格漏出，按網(wǎng)格尺寸的差別，依次選出不同級(jí)別的果實(shí)，對(duì)果粉、果形有一定的損害，影響藍(lán)莓果實(shí)品質(zhì)。更普遍的分級(jí)方法是人工目測(cè)法，流水線上的工人通過目測(cè)果實(shí)果粉、果蒂撕裂、果形和果實(shí)成熟度，根據(jù)藍(lán)莓果實(shí)的幾何特性和色度特性評(píng)估藍(lán)莓等級(jí)[1]。但人工作業(yè)也存在以下不足：

1） 勞動(dòng)強(qiáng)度大，成本高，效率低，分級(jí)人員視覺容易疲勞；

2） 分級(jí)質(zhì)量受勞動(dòng)者主觀影響大；

3） 增加人工與藍(lán)莓的直接接觸機(jī)會(huì)，影響產(chǎn)品的食品衛(wèi)生安全等[2]。

綜上所述，針對(duì)藍(lán)莓果實(shí)分級(jí)沒有較完備的檢測(cè)方法這一需求，本文研究了一種利用機(jī)器視覺對(duì)藍(lán)莓果實(shí)進(jìn)行品質(zhì)分級(jí)的無損檢測(cè)算法，以實(shí)現(xiàn)大批量、高精度、低損害的藍(lán)莓果實(shí)分級(jí)。

1 實(shí)驗(yàn)裝置的搭建

1.1 硬件裝置

實(shí)驗(yàn)裝置如圖1所示，裝置主要由CCD攝像頭（JD?202）、攝像頭支架、計(jì)算機(jī)、檢測(cè)平臺(tái)等組成。工作過程如下：首先，計(jì)算機(jī)通過CCD攝像頭獲取放置于檢測(cè)平臺(tái)的藍(lán)莓果實(shí)圖像；然后，計(jì)算機(jī)通過圖像處理程序?qū)λ{(lán)莓果實(shí)圖像進(jìn)行處理；最后對(duì)藍(lán)莓果實(shí)進(jìn)行分級(jí)檢測(cè)。

1.2 程序設(shè)計(jì)

實(shí)驗(yàn)裝置軟件程序界面如圖2所示。

1） 按下“打開攝像頭”按鈕，軟件打開攝像頭并將視頻圖像傳至圖像顯示窗口。

2） 按下“分級(jí)檢測(cè)”按鈕，執(zhí)行圖像處理操作。在左邊的圖像顯示窗口輸出每個(gè)藍(lán)莓果實(shí)的編號(hào)，右側(cè)文本框輸出藍(lán)莓果實(shí)的尺寸和等級(jí)。

3） 軟件界面右邊的三個(gè)按鈕“H通道”“S通道”“V通道”分別用于HSV轉(zhuǎn)換顯示窗口中的圖像通道，目的在于更加直觀地觀察加權(quán)處理時(shí)各個(gè)通道的情況。程序流程如圖3所示。

2 圖像采集與圖像預(yù)處理

圖像采集的目的在于獲取清晰的藍(lán)莓果實(shí)圖像。由于檢測(cè)環(huán)境可能存在諸多不穩(wěn)定的因素（如光線偏差、檢測(cè)目標(biāo)抖動(dòng)以及噪聲干擾和其他不穩(wěn)定因素等），會(huì)對(duì)提取的藍(lán)莓圖像產(chǎn)生負(fù)面影響，因此，在研究中應(yīng)用高斯低通濾波對(duì)圖像進(jìn)行初步的降噪處理。為了提高實(shí)驗(yàn)難度，在實(shí)驗(yàn)中加入少許葉片作為干擾。

高斯低通濾波的作用是模糊圖像和降低噪聲，使低頻信號(hào)通過，而高頻信號(hào)（變化比較劇烈，如小邊緣，小鋸齒等）會(huì)在此操作后被過濾掉，對(duì)圖像起到平滑作用[3]，為后續(xù)的邊緣檢測(cè)消除干擾。處理前后圖像如圖4所示。

比較原始圖像和經(jīng)高斯濾波后的圖像可以看出，圖像在此操作后被模糊，同時(shí)圖像的小噪聲點(diǎn)被過濾掉。

3 圖像的處理與邊緣檢測(cè)

3.1 HSV加權(quán)處理

HSV圖像[4]是面向操作者而產(chǎn)生的圖像數(shù)據(jù)類型，它可直觀地提取包括藍(lán)莓果實(shí)的尺寸表面形態(tài)以及表面色度等相關(guān)數(shù)據(jù)信息。HSV加權(quán)步驟如下[5]：

1） 將RGB彩色圖像轉(zhuǎn)化為HSV圖像；

2） 分離HSV圖像的三個(gè)通道；

3） 對(duì)HSV的S通道和V通道做差。

加權(quán)處理結(jié)果如圖5所示，可以看出原來各個(gè)通道的圖像在噪聲干擾下顯得混亂，但經(jīng)過加權(quán)處理后的圖像不僅極大地消除了圖像噪聲，且凸顯出了各個(gè)被測(cè)實(shí)體，衰減了陰影對(duì)藍(lán)莓輪廓大小的干擾，方便提取藍(lán)莓果實(shí)的邊緣輪廓。

3.2 開運(yùn)算

加權(quán)處理后，干擾和噪聲仍然存在。為了去除噪聲點(diǎn)的影響，應(yīng)用開運(yùn)算使圖像更加整齊，便于后續(xù)處理。開運(yùn)算步驟如下：

1） 將加權(quán)圖像與原始背景圖像做差；

2） 對(duì)圖像進(jìn)行開運(yùn)算處理；

3） 將圖像取反再進(jìn)行一次開運(yùn)算。

開運(yùn)算處理結(jié)果如圖6所示?？梢钥闯鼋?jīng)過處理，目標(biāo)圖像的輪廓更加清晰，而一些與目標(biāo)無關(guān)的小面積物體被去除，同時(shí)在背景中由于光線產(chǎn)生的影響也被去除。

3.3 二值化處理

經(jīng)過處理后的圖像往往鄰域中有很多點(diǎn)的梯度值比較大，而邊緣檢測(cè)則是根據(jù)圖像中梯度較大的點(diǎn)進(jìn)行輪廓繪制。在一些特殊情況下，這些圖像中梯度較大的點(diǎn)可能并不是要找的邊緣點(diǎn)，因此需要通過閾值化方法加以解決[6]。即在加權(quán)處理和開運(yùn)算的基礎(chǔ)上對(duì)圖像進(jìn)行二值化處理，利用閾值分割出所要檢測(cè)的實(shí)體圖像。二值化處理結(jié)果如圖7所示。由圖7可以看出圖像中一些梯度較大而不是邊緣的點(diǎn)被過濾掉了。

3.4 邊緣檢測(cè)

研究中選擇Canny算子[7]對(duì)藍(lán)莓果實(shí)的輪廓進(jìn)行提取，在設(shè)置參數(shù)時(shí)僅提取外輪廓。邊緣檢測(cè)結(jié)果如圖8所示?？梢钥闯?，果實(shí)邊緣輪廓清晰、完整，但圖像中仍包含有非藍(lán)莓果實(shí)輪廓。

3.5 目標(biāo)判定

為了剔除邊緣檢測(cè)結(jié)果中的非藍(lán)莓果實(shí)輪廓，利用邊緣像素點(diǎn)計(jì)算藍(lán)莓果實(shí)輪廓的圓形度和面積，以濾除非藍(lán)莓的輪廓目標(biāo)。

3.5.1 圓形度

圓形度可以用來判斷藍(lán)莓果實(shí)的完整性，并濾除非藍(lán)莓物質(zhì)。被檢測(cè)區(qū)域的圓形度越小，表明外形越復(fù)雜；被檢測(cè)區(qū)域的圓形度越大，表明形狀越接近圓形。圓形度計(jì)算公式如下[8]：

研究中對(duì)100個(gè)藍(lán)莓果實(shí)樣本進(jìn)行測(cè)量，發(fā)現(xiàn)藍(lán)莓果實(shí)的圓形度普遍大于0.75，因此，在檢測(cè)過程中將目標(biāo)輪廓的圓形度小于0.75的加以剔除。

3.5.2 輪廓面積大小

由于藍(lán)莓果實(shí)的大小一般在一定范圍之內(nèi)，因此輪廓面積大小可以作為判定目標(biāo)輪廓的一個(gè)因素。研究中，預(yù)先設(shè)定藍(lán)莓輪廓面積范圍值為1 700～4 500個(gè)單位像素點(diǎn)。通過計(jì)算圖像中連通域輪廓面積，將不符合條件的輪廓剔除。

目標(biāo)判定實(shí)驗(yàn)結(jié)果如圖9所示，可以看出藍(lán)莓果實(shí)被全部準(zhǔn)確地識(shí)別出來，并加以編號(hào)處理。

3.6 橢圓擬合與數(shù)據(jù)提取

藍(lán)莓果實(shí)的尺寸大小是藍(lán)莓果實(shí)分級(jí)的一個(gè)重要依據(jù)。不論人工測(cè)量還是藍(lán)莓果實(shí)分級(jí)機(jī)篩選，原則上都是以藍(lán)莓的直徑作為分級(jí)的主要依據(jù)之一。藍(lán)莓果實(shí)尺寸分級(jí)評(píng)定標(biāo)準(zhǔn)如表1所示。

在實(shí)驗(yàn)中經(jīng)過對(duì)比多組樣本發(fā)現(xiàn)，藍(lán)莓果實(shí)的形狀多呈橢球體形狀，對(duì)藍(lán)莓果實(shí)的邊緣像素點(diǎn)進(jìn)行橢圓擬合，并將橢圓的長(zhǎng)徑作為藍(lán)莓果實(shí)直徑。

常用的橢圓擬合方法主要有三類： 基于Hough變換[9]的橢圓擬合方法，基于不變矩方法[10?11]，基于最小二乘法[12?14]。將橢圓擬合產(chǎn)生的橢圓長(zhǎng)徑作為藍(lán)莓果實(shí)直徑，將對(duì)應(yīng)藍(lán)莓果實(shí)的編號(hào)存入數(shù)據(jù)列表。擬合結(jié)果如圖10所示。

4 數(shù)據(jù)處理

為了將計(jì)算機(jī)計(jì)算出來的值轉(zhuǎn)化為以mm為單位的尺寸，應(yīng)用最小二乘法對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行處理，最小二乘法公式為[15]：

5 實(shí)驗(yàn)分析

利用實(shí)驗(yàn)裝置，選擇尺寸大小不一的10顆藍(lán)莓果實(shí)作為研究對(duì)象，藍(lán)莓果實(shí)的分級(jí)檢測(cè)結(jié)果如圖11所示。

為了驗(yàn)證算法的準(zhǔn)確性和有效性，將利用數(shù)字游標(biāo)卡尺測(cè)量得到的藍(lán)莓果實(shí)直徑作為實(shí)際值，將由實(shí)驗(yàn)裝置檢測(cè)得到的藍(lán)莓果實(shí)直徑作為測(cè)量值，實(shí)際值和測(cè)量值如表2所示。將二者進(jìn)行比較分析，誤差系數(shù)計(jì)算表明測(cè)量精度較高，測(cè)量誤差較小。

6 結(jié) 論

本文提出一種基于機(jī)器視覺的藍(lán)莓果實(shí)檢測(cè)和分級(jí)算法，搭建了藍(lán)莓果實(shí)分級(jí)實(shí)驗(yàn)裝置，利用OpenCV和Visual Studio 2015編寫藍(lán)莓果實(shí)分級(jí)的軟件。研究中應(yīng)用圖像預(yù)處理、加權(quán)處理、開運(yùn)算、二值化處理、邊緣檢測(cè)、橢圓擬合、最小二乘法等方法獲取藍(lán)莓果實(shí)圖像的計(jì)算機(jī)測(cè)量值與實(shí)際測(cè)量值之間的關(guān)系。實(shí)驗(yàn)數(shù)據(jù)誤差分析表明，相對(duì)誤差保證在3%左右，驗(yàn)證了算法的正確性和有效性。

參考文獻(xiàn)

[1] 中華人民共和國(guó)國(guó)家質(zhì)量監(jiān)督檢驗(yàn)檢疫總局.GB/T 27658?2011.藍(lán)莓[S].北京：中華人民共和國(guó)國(guó)家質(zhì)量監(jiān)督檢驗(yàn)檢疫總局，2011.

General Administration of Quality Supervision， Inspection and Quarantine of the People′s Republic of China. GB/T 27658?2011， blueberry [S]. Beijing： General Administration of Quality Supervision， Inspection and Quarantine of the People′s Republic of China， 2011.

[2] 朱江麗，田緒順，李景彬，等.紅棗自動(dòng)分級(jí)技術(shù)的研究現(xiàn)狀及展望[J].安徽農(nóng)業(yè)科學(xué)，2011，39（36）：22864?22867.

ZHU Jiangli， TIAN Xushun， LI Jingbin， et al. Research status and prospect of ziziphus jujuba automatic grading technology [J]. Journal of Anhui agricultural sciences， 2011， 39（36）： 22864?22867.

[3] 左飛.數(shù)字圖像處理技術(shù)詳解與Visual C++實(shí)踐[M].北京：電子工業(yè)出版社，2014.

ZUO Fei. Digital image processing and Visual C++ practice [M]. Beijing： Electronic Industry Press， 2014.

[4] 肖鋒，李麗莎.HSV彩色空間的亞像素邊緣檢測(cè)[J].計(jì)算機(jī)與數(shù)字工程，2015，43（6）：1107?1112.

XIAO Feng， LI Lisha. Sub?pixel edge detection of HSV color space [J]. Computer & digital engineering， 2015， 43（6）： 1107?1112.

[5] 李志明.基于機(jī)器視覺的鮮棗群體大小檢測(cè)算法[J].工業(yè)儀表與自動(dòng)化裝置，2016（5）：29?32.

LI Zhiming. Fresh jujubes group size detection algorithm based on machine vision [J]. Industrial instrumentation & automation， 2016（5）： 29?32.

[6] 毛星云，冷飛雪.Open CV3編程入門[M].北京：電子工業(yè)出版社，2015.

MAO Xingyun， LENG Feixue. Introduction to programming of Open CV3 [M]. Beijing： Electronic Industry Press， 2015.

[7] 薛武，張永生，董廣軍，等.Canny算子子像素邊緣檢測(cè)方法[J].遙感信息，2013，28（1）：8?10.

XUE Wu， ZHANG Yongsheng， DONG Guangjun， et al. An edge detection method of sub?pxel based on Canny operator [J]. Remote sensing information， 2013， 28（1）： 8?10.

[8] 黎自強(qiáng)，滕弘飛.廣義Hough變換：多個(gè)圓的快速隨機(jī)檢測(cè)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2006，18（1）：27?33.

LI Ziqiang， TENG Hongfei. Generalized Hough transform： fast randomized multi?circle detection [J]. Journal of computer aided design & computer graphics， 2006， 18（1）： 27?33.

[9] GANDER W， GOLUB G H， STREBEL R. Least?squares fitting of circles and ellipses [J]. Bit numerical mathematics， 1994， 34（4）： 558?578.

[10] 李秀明，石照耀.基于不變矩的橢圓（圓）識(shí)別方法[J].北京工業(yè)大學(xué)學(xué)報(bào)，2007（11）：1136?1140.

LI Xiuming， SHI Zhaoyao. Eillpses and circles recognition based on invariant moments [J]. Journal of Beijing University of Technology， 2007（11）： 1136?1140.

[11] 鈕毅.部分遮擋條件下橢圓目標(biāo)識(shí)別[D].上海：上海交通大學(xué)，2007.

NIU Yi. Detection of partially occluded ellipses [D]. Shanghai： Shanghai Jiao Tong University， 2007.

[12] 閆蓓，王斌，李媛.基于最小二乘法的橢圓擬合改進(jìn)算法[J].北京航空航天大學(xué)學(xué)報(bào)，2008（3）：295?298.

YAN Bei， WANG Bin， LI Yuan. Optimal ellipse fitting method based on least?square principle [J]. Journal of Beijing University of Aeronautics and Astronautics， 2008（3）： 295?298.

[13] 陳海峰，雷華，孔燕波，等.基于最小二乘法的改進(jìn)的隨機(jī)橢圓檢測(cè)算法[J].浙江大學(xué)學(xué)報(bào)（工學(xué)版），2008，42（8）：1360?1364.

CHEN Haifeng， LEI Hua， KONG Yanbo， et al. An improved randomized algorithm for detecting ellipses based on least square approach [J]. Journal of Zhejiang University （engineering science）， 2008， 42（8）： 1360?1364.

[14] LI Liangfu， FENG Zuren， HE Kailiang. A randomized algorithm for detecting multiple ellipses based on least square approach [J]. Optoelectronics review， 2005， 13（1）： 61?67.

[15] 顏寧生.帶插值條件的最小二乘法[J].北京服裝學(xué)院學(xué)報(bào)（自然科學(xué)版），2007（2）：42?48.

YAN Ningsheng. Least squares with interpolation condition [J]. Journal of Beijing Institute of Clothing Technology （natural science edition）， 2007（2）： 42?48.