基于機(jī)器視覺的蜜柑橫徑測量方法研究

司振超 ， 趙 勇 ， 王瑞鑫 ， 許廣洋 ， 郭亞涵

（1.河北科技工程職業(yè)技術(shù)大學(xué)，河北 邢臺 054000；2.河北省中小型非標(biāo)裝備技術(shù)創(chuàng)新中心，河北 邢臺 054000；3.河北省閥門智能裝備工程研究中心，河北 邢臺 054000）

目前，針對水果分級的方法大致可以分為人工分級、機(jī)械式分級、機(jī)器視覺檢測分級3種[1]。機(jī)器視覺技術(shù)可以根據(jù)實際水果圖像，應(yīng)用計算機(jī)技術(shù)進(jìn)行圖像處理，提取相應(yīng)的特征數(shù)據(jù)。由于機(jī)器視覺技術(shù)具有無損、快速、準(zhǔn)確、智能化程度高等優(yōu)點(diǎn)，已廣泛應(yīng)用于水果分級檢測中，并具有廣闊的應(yīng)用前景。橫徑是反映蜜柑品質(zhì)的重要參數(shù)指標(biāo)之一，本研究以蜜柑為檢測對象，基于機(jī)器視覺技術(shù)來探究蜜柑橫徑的測量方法，為蜜柑乃至柑橘類水果的智能化分級提供方法理論和數(shù)據(jù)基礎(chǔ)。

1 硬件采集系統(tǒng)及技術(shù)路線

通過視覺技術(shù)來進(jìn)行蜜柑橫徑的測量，采集蜜柑的圖像是基礎(chǔ)，提取蜜柑的邊緣輪廓是重點(diǎn)。本研究的圖像視覺硬件采集系統(tǒng)由計算機(jī)、工業(yè)相機(jī)、鏡頭、光源、載物臺、采集室等組成，被測物品放到載物臺上。在圖像采集的過程中，光源的亮度、位置和圖像的背景顏色對采集圖像的質(zhì)量有很大影響，根據(jù)現(xiàn)場實驗條件和多次實驗，采用環(huán)形光源，安裝在鏡頭處，背景顏色用白色。在工作時，工業(yè)相機(jī)和計算機(jī)通過網(wǎng)線進(jìn)行連接，將采集的圖片傳送給計算機(jī)進(jìn)行處理。圖像視覺硬件采集系統(tǒng)結(jié)構(gòu)示意圖和工業(yè)相機(jī)及鏡頭組裝圖如圖1所示，整個技術(shù)路線的流程如圖2所示。

圖1 圖像視覺硬件采集系統(tǒng)結(jié)構(gòu)示意圖和工業(yè)相機(jī)及鏡頭組裝圖

圖2 技術(shù)路線流程圖

2 圖像預(yù)處理與輪廓提取

2.1 圖像預(yù)處理

圖像的預(yù)處理主要包括圖像灰度轉(zhuǎn)化和去除噪聲。相機(jī)采集到的圖像是RGB彩色圖像，彩色圖像分為R、G、B三個分量，分別顯示出紅、綠、藍(lán)等各種顏色。圖像灰度化是指將RGB格式的圖像轉(zhuǎn)化為灰度圖像。本研究中采用的轉(zhuǎn)化方法是加權(quán)平均法，就是使用不同的權(quán)值分別對彩色圖像R、G、B三個分量進(jìn)行加權(quán)平均，得到較易識別處理的灰度圖[2]，計算公式如下：

其中，wR=0.299，wG=0.587，wB=0.114。蜜柑樣本原圖和轉(zhuǎn)化后的灰度圖如圖3所示。

圖3 蜜柑樣本原圖和轉(zhuǎn)化后的灰度圖

在圖像采集的過程中，由于采集設(shè)備、周圍環(huán)境、數(shù)據(jù)傳輸?shù)扔绊懀杉玫降膱D像是混入噪聲的，導(dǎo)致圖像模糊、特征信息丟失等，因此在采集圖像后，首先對圖像進(jìn)行去噪處理。椒鹽噪聲是數(shù)字圖像中經(jīng)常處理的噪聲，能夠較大地影響采集圖像的信息質(zhì)量[2]。中值濾波能夠很好地去除椒鹽噪聲，在進(jìn)行噪聲去除的同時，也能很好地保留圖像特征信息。中值濾波是一種非線性濾波，它的運(yùn)算方式是找到某一個像素點(diǎn)鄰域中的灰度中值，用其替換該像素點(diǎn)的灰度值。設(shè)計一個窗口鄰域，將鄰域內(nèi)的所有像素點(diǎn)的灰度值做排序運(yùn)算，得到灰度中值，然后將窗口中心像素點(diǎn)的灰度值更改為已運(yùn)算出的灰度中值，使周圍的灰度值更接近于真實值，進(jìn)而消除噪聲點(diǎn)[3]。中值濾波原理示意圖如圖4所示，假設(shè)采用濾波窗口為3*3的滑動窗口，窗口中心點(diǎn)作為移動點(diǎn)滑動，對窗口內(nèi)所有點(diǎn)的像素灰度值進(jìn)行排序：3、5、6、8、16、26、30、45、75，灰度中值為16。將得到的灰度中值作為窗口中心點(diǎn)的灰度值，如圖4所示。

圖4 中值濾波原理示意圖

數(shù)學(xué)表達(dá)式如下：

式中，f(x,y)計算得到在(x,y)處的像素灰度中值，g(s,t)是像素點(diǎn)(s,t)處的灰度值，(x,y)為像素坐標(biāo)，Sxy表示中心點(diǎn)在(x,y)處的鄰域中像素點(diǎn)的坐標(biāo)集合，一般采用3*3或5*5的窗格在圖像中滑動。圖5是經(jīng)過5*5窗口的中值濾波后的效果圖。

圖5 蜜柑樣本灰度圖經(jīng)過5*5窗口的中值濾波后的效果圖

2.2 基于閾值分割技術(shù)的蜜柑圖像提取

閾值分割法的原理是根據(jù)圖像像素不同的灰度值，計算得到灰度直方圖，并進(jìn)行分析，對灰度圖像設(shè)置合適的灰度閾值，提取圖像中目標(biāo)。分割后的圖像公式[4]可表示為：

g(x,y)為分割后的圖像，f(x,y)為在點(diǎn)(x,y)處原始圖像灰度值，T為分割閾值。在采集的蜜柑圖像中，蜜柑圖像和背景圖像交界處的灰度值和背景像素灰度值分布比較明顯，適合采用閾值分割法進(jìn)行分割，目的是把蜜柑從圖像背景中準(zhǔn)確成功地分割出來[5]。濾波后的蜜柑樣本灰度圖采用閾值分割后的效果圖以及對應(yīng)的灰度直方圖，如圖6、圖7所示，其中目標(biāo)是白色，背景是黑色。

圖6 蜜柑樣本灰度圖采用閾值分割后的效果圖

由圖6、圖7可知，閾值分割后的蜜柑圖像上，在中間一定范圍內(nèi)，并沒有分割出蜜柑圖像，這是由于環(huán)形燈在蜜柑的正上方，造成在蜜柑表面的正上方存在反光現(xiàn)象[6]，這部分位置圖像的灰度值和背景灰度值差不多，但由于本研究主要提取蜜柑的邊緣圖像，因此此種現(xiàn)象并不影響結(jié)果。為了能更好地實現(xiàn)蜜柑的邊緣提取，需要對蜜柑閾值分割圖進(jìn)行填充，如圖8所示，并提取出蜜柑閾值分割圖的輪廓圖像，如圖9所示。

圖8 蜜柑樣本閾值分割圖填充后的效果圖

圖9 蜜柑樣本閾值分割圖的輪廓圖像及效果圖

由圖8、圖9可知，蜜柑閾值分割圖的輪廓圖像并不是真正的蜜柑的輪廓，有一定的誤差，并且為了減少蜜柑其他部位的圖像干擾，需要對蜜柑閾值分割圖的輪廓圖像進(jìn)行形態(tài)學(xué)處理，包括膨脹、腐蝕操作[5]，進(jìn)而從濾波后的原蜜柑灰度圖中提取出蜜柑邊緣圖像，如圖10所示。

圖10 濾波后的原蜜柑邊緣圖

2.3 基于邊緣檢測技術(shù)的蜜柑邊緣提取

邊緣檢測技術(shù)是基于灰度突變來分割圖像的最常用方法。選擇合適的邊緣檢測算子，能夠很容易得到蜜柑邊緣圖像。用得比較多的邊緣檢測算子有Roberts算子、Sobel算子、Canny算子、Laplacian算子等[7]，經(jīng)過試驗比對，適用于Canny算子[8]。Canny算子是目前理論上相對最完善的一種邊緣檢測算法，主要分為四個步驟，流程[9]如圖11所示。

圖11 Canny算法流程圖

其中，計算梯度強(qiáng)度和方向的公式為：

其中，Gx，Gy是像素點(diǎn)分別在x，y方向上的偏導(dǎo)數(shù)。

在上文中得到的蜜柑邊緣圖像中，利用Canny算子邊緣檢測技術(shù)，能夠比較準(zhǔn)確地得到蜜柑的邊緣輪廓，并經(jīng)過邊緣連接處理得到蜜柑的邊緣輪廓圖及效果圖，如圖12所示。

圖12 利用Canny算子邊緣檢測技術(shù)提取蜜柑樣本的邊緣輪廓圖及效果圖

2.4 基于擬合圓法的蜜柑橫徑提取

通過測量蜜柑的橫徑值可以判斷蜜柑的大小[10]，由于蜜柑邊緣輪廓圖像形狀大部分是類圓形，可以用擬合圓法來擬合出圓，圓的直徑可以作為蜜柑的橫徑[6]。用最小二乘法來進(jìn)行圓的擬合，提取邊緣輪廓每個像素點(diǎn)的坐標(biāo)，通過最小化誤差的平方和找到一組像素輪廓點(diǎn)的最佳函數(shù)匹配。其具體的擬合圓的算法原理[11-12]如下。圓的方程公式為：

依據(jù)最小二乘法進(jìn)行圓擬合的理論，將所有的輪廓數(shù)據(jù)點(diǎn)到待擬合圓圓心的距離與待擬合圓的半徑求差并取平方，得到公式：

其中，(x0,y0)為待擬合圓的圓心，r為待擬合圓的半徑，(xi,yi)(i=1,2,...,n)為由邊緣提取到的輪廓數(shù)據(jù)點(diǎn)集坐標(biāo)。可以對上述公式做一些改進(jìn)，如下述公式：

根據(jù)最小二乘法原理，當(dāng)E最小時，求得的參數(shù)(x0,y0)、r為最佳擬合圓的參數(shù)。根據(jù)提取的蜜柑樣本的輪廓擬合出圓的效果圖，如圖13所示。

圖13 采用擬合圓法擬合出圓的效果圖

3 實驗結(jié)果和分析

隨機(jī)準(zhǔn)備9個蜜柑，如圖14所示，并用游標(biāo)卡尺測量每一個蜜柑不同位置的最大橫徑三次，得到橫徑的平均值。同時記錄下相機(jī)標(biāo)定后的視覺系統(tǒng)測量的蜜柑橫徑值，轉(zhuǎn)化成實際工程單位 mm，如表1所示。

表1 蜜柑樣本測量結(jié)果數(shù)據(jù)比對表

圖14 用于測量的9個蜜柑樣本圖

由上述的試驗數(shù)據(jù)得出，雖然采用擬合圓法得到的橫徑測量值和實測數(shù)據(jù)存在一定誤差，但是根據(jù)相對誤差的數(shù)據(jù)，基本在2%以內(nèi)，表明采用擬合圓法能夠比較合理、準(zhǔn)確地測量出蜜柑的橫徑數(shù)據(jù)。

4 結(jié)論

綜上所述，本研究主要探究基于機(jī)器視覺技術(shù)的蜜柑橫徑測量方法。從圖像采集系統(tǒng)獲取蜜柑樣本圖像，對圖像進(jìn)行灰度化、去除噪聲等預(yù)處理，通過閾值分割的方法將蜜柑圖像從背景圖像中分割出來。經(jīng)過圖像區(qū)域填充、形態(tài)學(xué)方法等處理，從原蜜柑灰度圖中得到蜜柑邊緣輪廓圖像。在邊緣檢測技術(shù)中，運(yùn)用Canny算子來提取出蜜柑的輪廓。采用擬合圓法來計算蜜柑的橫徑數(shù)據(jù)，并進(jìn)行數(shù)據(jù)分析，結(jié)果表明，采用擬合圓法能夠比較合理、準(zhǔn)確地提取蜜柑的橫徑數(shù)據(jù)，為蜜柑乃至柑橘類水果的智能化分級提供方法理論和數(shù)據(jù)基礎(chǔ)。在下一步研究中，可以基于機(jī)器視覺技術(shù)對蜜柑進(jìn)行其他指標(biāo)參數(shù)的提取，用來滿足對蜜柑的智能化分級的需求。