基于MATLAB圖像處理的蘋果大小、顏色、圓形度及缺陷度特征融合分級(jí)研究*

任龍龍 馮濤 翟傳龍 宋月鵬

(1.山東農(nóng)業(yè)大學(xué)機(jī)械與電子工程學(xué)院,山東泰安 271018;2.山東省園藝機(jī)械與裝備重點(diǎn)實(shí)驗(yàn)室,山東泰安 271018)

0 引言

以往蘋果分級(jí)多采用人工分級(jí)和機(jī)械分級(jí),效率低、精度低。本文利用MATLAB圖像處理技術(shù)設(shè)計(jì)了一個(gè)程序,能夠高精度地識(shí)別蘋果表面圖像的大小、顏色、形狀和缺陷程度數(shù)據(jù),成功地實(shí)現(xiàn)了蘋果的自動(dòng)分級(jí)。

Bhatt等[1]建立基于機(jī)器視覺和人工神經(jīng)網(wǎng)絡(luò)的蘋果分級(jí)系統(tǒng),其具有較好的性能。Sofu M等[2]依據(jù)蘋果的顏色,大小及重量特征將蘋果分成不同的等級(jí),設(shè)計(jì)了蘋果在線分揀系統(tǒng),在對(duì)183個(gè)樣本進(jìn)行了測試之后,得到分級(jí)的準(zhǔn)確率在73%到96%之間。楊小青等[3]利用像素點(diǎn)變換法計(jì)算蘋果的表面積以及著色比,依據(jù)此來判斷蘋果等級(jí)。黃兆良等[4]經(jīng)過在蘋果RGB圖像上進(jìn)行闕值分割,之后采用超紅—超綠闕值分割來計(jì)算蘋果的著色面積,最后分級(jí)準(zhǔn)確率達(dá)到90%以上。邱光應(yīng)等[5]把果梗花萼以及缺陷的顏色、紋理及形狀作為特征,使用決策向量機(jī)進(jìn)行三者區(qū)分,最終識(shí)別正確率達(dá)到97.7%。黃辰等[6]利用蘋果的果徑、色澤和缺陷面積通過判別樹進(jìn)行了初步的分級(jí),又使用果形、紋理和顏色分布特征通過了粒子群優(yōu)化的支持向量機(jī)進(jìn)行再次分級(jí),最后把兩種模型結(jié)果進(jìn)行決策融合,得到最終的分級(jí)結(jié)果。鄭羽綸等[7]在對(duì)蘋果的分級(jí)中,首先利用支持向量機(jī)模型區(qū)分了缺陷果和完好果,然后在對(duì)完好果分級(jí)時(shí),分別進(jìn)行了單一特征下的分級(jí),又利用了多特征組合下利用K－最近鄰、BP神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)算法的分級(jí),為提高分級(jí)準(zhǔn)確率,提出多特征多分類器融合的分級(jí)方法,最終分級(jí)準(zhǔn)確率達(dá)到了90.2%。

本文以紅富士蘋果為研究對(duì)象,設(shè)計(jì)了基于MATLAB圖像處理的蘋果分級(jí)檢測系統(tǒng)。在總結(jié)國內(nèi)外研究成果的基礎(chǔ)上,選擇了高速、高可靠性的方法。該系統(tǒng)包括圖像采集、圖像預(yù)處理、特征提取和蘋果分級(jí)。在對(duì)蘋果進(jìn)行分級(jí)時(shí),主要依據(jù)蘋果的大小特征、紅色著色率即顏色特性、蘋果圓形度還有缺陷度進(jìn)行分級(jí)。

1 蘋果分級(jí)系統(tǒng)的框架

1.1 蘋果分級(jí)系統(tǒng)基本框架

蘋果分級(jí)研究具體過程框架如圖1所示。

圖1 蘋果分級(jí)框架Fig.1 Apple grading framework

1.2 蘋果分級(jí)的總體流程

(1)圖像采集:蘋果圖像采集工作是將蘋果樣本放在相同的背景和光照條件下進(jìn)行拍攝,拍照獲得每個(gè)蘋果的正視圖還有俯視圖圖像。(2)圖像預(yù)處理:灰度化處理、圖像閾值分割、形態(tài)學(xué)降噪、邊緣檢測。(3)特征提取:大小、顏色、缺陷度以及圓形度。(4)蘋果分級(jí):綜合得到的四種特征根據(jù)蘋果分級(jí)標(biāo)準(zhǔn)進(jìn)行蘋果分級(jí)。

1.3 算法介紹

利用MATLAB進(jìn)行圖像處理工作,得到蘋果表面四種特征數(shù)據(jù),綜合以上特征數(shù)據(jù)進(jìn)行了蘋果樣本分級(jí),并且設(shè)計(jì)了特別設(shè)計(jì)了用戶交互界面方便操作,最終分級(jí)準(zhǔn)確率在75%左右。

2 蘋果圖像預(yù)處理

2.1 灰度化處理

對(duì)于采集到的蘋果圖像,一個(gè)合適的顏色模型會(huì)使得圖像的目標(biāo)與背景更易分離,在RGB模型下分別提取各個(gè)分量下的蘋果圖像,結(jié)果如圖2所示。

圖2 RGB模型下各分量圖Fig.2 Diagram of each component under the RGB model

在RGB模型下的各分量圖中,R分量圖效果較好,更適合進(jìn)行圖像分割。

蘋果圖像在HSI模型下的各分量圖如圖3所示。

圖3 HSI模型下各分量圖Fig.3 Diagram of each component under the HSI model

在I分量下的圖像,蘋果目標(biāo)與背景區(qū)分明顯,易于圖像分割處理。綜上所述,R分量圖和I分量圖均能很好的進(jìn)行圖像分割。

2.2 圖像分割

圖像分割就是對(duì)采集到的圖像進(jìn)行目標(biāo)和背景的分割,最終得到像素值為1的目標(biāo)區(qū)域和像素值為0的背景區(qū)域。對(duì)于蘋果圖像,目標(biāo)區(qū)域是蘋果樣本,其余區(qū)域是背景區(qū)域。圖像分割需要從整個(gè)圖像中提取完整的蘋果樣本。

QTSU法分割效果較好,被廣泛應(yīng)用,因此最終使用QTSU法來進(jìn)行蘋果圖像分割處理。

蘋果R分量圖和I分量圖更適宜進(jìn)行圖像分割,在兩種分量圖和灰度圖三種形式下使用QTSU法進(jìn)行蘋果目標(biāo)與背景的分割,對(duì)比其分割效果,這里用三個(gè)蘋果樣本分別進(jìn)行圖像分割,結(jié)果如圖4所示。

圖4 R分量I分量和灰度圖分割效果對(duì)比Fig.4 R component I component and gray graph segmentation effect comparison

R分量圖分割效果最好,背景與目標(biāo)邊界區(qū)分明顯,沒有目標(biāo)缺失的現(xiàn)象,I分量圖和灰度圖中,目標(biāo)邊緣缺失嚴(yán)重,并且有小部分像素點(diǎn)出現(xiàn)。最終選用蘋果R分量圖進(jìn)行圖像分割。

2.3 形態(tài)學(xué)降噪

圖像分割后會(huì)存在孤立的像素點(diǎn)或出現(xiàn)目標(biāo)邊緣不平滑的現(xiàn)象,使得圖像分割效果不完善,使特征提取結(jié)果產(chǎn)生誤差。為了消除這一現(xiàn)象的影響,進(jìn)行形態(tài)學(xué)操作,消除毛刺,細(xì)化邊緣。將分割后的圖片進(jìn)行形態(tài)學(xué)處理,對(duì)比效果圖如圖5所示。看出先閉后開處理效果更好,并且目標(biāo)邊緣較為平滑。

圖5 形態(tài)學(xué)降噪前后圖像對(duì)比Fig.5 Comparison of image comparison before and after morphology noise reduction

2.4 邊緣檢測

邊緣檢測是只獲取蘋果圖像邊緣部分,Canny算子邊緣檢測效果最好,其邊緣定位準(zhǔn)確性和抗噪聲干擾性較其他算子結(jié)果更優(yōu)。利用Canny算子提取到的蘋果邊緣輪廓如圖6和圖7所示。

圖6 樣本1Fig.6 Sample 1

圖7 樣本2Fig.7 Sample 2

3 特征數(shù)據(jù)提取

3.1 蘋果的大小檢測

蘋果最大橫截面直徑不是圖像邊緣兩點(diǎn)距離的最大值,而是蘋果正立放置時(shí),垂直于果軸的最大直徑為最大橫截面直徑,如圖8所示。

圖8 蘋果最大橫截面示意圖Fig.8 Apple's largest crosssection schematic

其中1表示蘋果果軸,2表示蘋果的最大橫截面直徑。根據(jù)這一標(biāo)準(zhǔn),先尋找蘋果的果徑面,將果徑面作為最大橫截面的判斷依據(jù),再將此時(shí)的最大直徑作為蘋果大小數(shù)據(jù)。

通過實(shí)際觀察發(fā)現(xiàn),通過俯視圖可以直接得到蘋果的最大橫截面直徑,將蘋果的俯視面作為果徑面。之后求出果徑面的形心,并在圖中標(biāo)出中心點(diǎn)坐標(biāo)如圖9所示。

圖9 蘋果中心點(diǎn)示意圖Fig.9 Apple central point schematic

3.2 蘋果大小測量及結(jié)果分析

3.2.1 單一果徑面的選取及測量

通過蘋果表面圖像的矩形度和伸長度對(duì)比,得知果徑面的伸長度最大、矩形度最小,確定可以使用這一方法來進(jìn)行果徑面的選擇。隨機(jī)選取一個(gè)蘋果樣本,測量其四幅表面的矩形度和伸長度,結(jié)果如表1所示,由表可知矩形度最小為0.78,伸長度最大為0.98,將此表面作為果徑面。

表1 蘋果四幅圖像矩形度和伸長度對(duì)比結(jié)果Tab.1 Rectangularity and extension of the four image of Apple

3.2.2 蘋果大小測量實(shí)驗(yàn)

本次實(shí)驗(yàn)選取了24個(gè)大小不一的紅富士蘋果作為研究對(duì)象,分別使用游標(biāo)卡尺測量這些蘋果的實(shí)際果徑大小,并進(jìn)行編號(hào),之后按照編號(hào)依次獲得每個(gè)蘋果的四幅圖像并測量果徑面的直徑大小;最后把系統(tǒng)直徑和實(shí)際直徑進(jìn)行對(duì)比,得到兩者的絕對(duì)誤差,結(jié)果如表2所示。結(jié)果表明,只有兩個(gè)樣本的絕對(duì)誤差超出±2.0mm范圍,其余絕對(duì)誤差都在±2.0mm范圍以內(nèi),符合蘋果的大小分選標(biāo)準(zhǔn)。

表2 蘋果大小測量結(jié)果Tab.2 Apple size measurement results

為了方便的看出實(shí)際值和系統(tǒng)值兩者之間的關(guān)系,把數(shù)據(jù)以散點(diǎn)圖的形式展現(xiàn),如圖10所示。

圖10 系統(tǒng)值與實(shí)際值對(duì)比圖Fig.10 System value and actual value comparison

3.3 蘋果的顏色檢測

為了方便分析蘋果目標(biāo)區(qū)域顏色的信息,首先需要從蘋果圖像中剔除背景區(qū)域,最后只留下蘋果區(qū)域的彩色圖。具體操作方法為:首先將圖像分割后的二值圖與原彩色圖像的R、G、B分量進(jìn)行相乘,此時(shí)就能得到去除背景區(qū)域的彩色圖像,如圖11所示。

圖11 去除背景的彩色圖像Fig.11 Remove the color image of the background

3.4 蘋果紅色著色率

GB/T10651-2008《鮮蘋果》[8]要求以蘋果表面的著色面積比作為色澤分級(jí)依據(jù)。本文通過計(jì)算蘋果的紅色著色率來表征顏色特性。

HSI模型比RGB模型更符合人類視覺特性,本節(jié)中只需要檢測顏色分量,因此只需要分析蘋果的H分量。把去除背景的彩色圖像轉(zhuǎn)換為HSI模型,然后提取H分量下的直方圖,在得到的多個(gè)蘋果樣本直方圖后,抽取其中兩個(gè)樣本進(jìn)行了顯示,其中蘋果去背景圖如圖12和圖14所示,樣本H分量對(duì)數(shù)直方圖如圖13和圖15所示。可以發(fā)現(xiàn)在蘋果的顏色越紅的時(shí)候,H分量越接近于0,而蘋果的顏色越黃的時(shí)候,H分量越遠(yuǎn)離0,在這里將1/12和11/12作為閾值,即色度值小于1/12或者大于11/12的作為紅色區(qū)域范圍,之后計(jì)算它的像素面積,利用紅色面積和蘋果總面積的比值計(jì)算紅色著色率。

圖12 去背景圖Fig.12 Going to the background diagram

圖13 直方圖Fig.13 Histogram

圖14 去背景圖Fig.14 Down background diagram

圖15 直方圖Fig.15 Histogram

如圖16、圖17和圖18所示的紅色著色率分別為98.2%、90.6%和17.2%,通過數(shù)據(jù)觀察和實(shí)際圖像對(duì)比,可以明顯看出系統(tǒng)測得值和實(shí)際蘋果實(shí)際顏色無比接近,驗(yàn)證了紅色著色率描述蘋果顏色特性的準(zhǔn)確性。

圖16 樣本1Fig.16 Sample 1

圖17 樣本2Fig.17 Sample 2

圖18 樣本3Fig.18 Sample 3

3.5 蘋果的缺陷檢測

對(duì)缺陷及果梗區(qū)域進(jìn)行目標(biāo)提取,具體過程如下:對(duì)于蘋果二值圖像(如圖19所示)進(jìn)行Canny邊緣算子提取,如圖20所示,之后對(duì)二值圖像進(jìn)行孔洞填充,如圖21所示。然后對(duì)填充的圖像進(jìn)行邊緣提取,接著用20減圖22得到只有目標(biāo)區(qū)域邊緣的圖像,最后用孔洞填充目標(biāo)區(qū)域。為了看出真實(shí)的目標(biāo)情況,還應(yīng)該獲取目標(biāo)的彩色圖像,具體操作如下:將得到的目標(biāo)圖像(如圖23所示)進(jìn)行求反,得到背景區(qū)域?yàn)?,目標(biāo)區(qū)域?yàn)?的二值圖,如圖24所示,將此二值圖與原彩色圖像的R,G,B分量分別進(jìn)行加運(yùn)算,將得到的各分量結(jié)果合成,如圖25所示,得到目標(biāo)區(qū)域的彩色圖像,并將其進(jìn)行放大處理,如圖26所示。也可以直接將目標(biāo)圖像與原彩色圖像相乘得到目標(biāo)區(qū)域的彩色圖像并進(jìn)行放大處理。

圖19 二值圖Fig.19 Two value

圖20 邊緣提取Fig.20 Edge extraction

圖21 填充圖Fig.21 Plipping

圖22 外邊緣圖Fig.22 Outside edge diagram

圖23 區(qū)域邊緣Fig.23 Regional edge

圖24 二值圖Fig.24 Binary chart

圖25 白色彩圖Fig.25 White color

圖26 黑色彩圖Fig.26 Black color map

表面缺陷率的計(jì)算方法,將上述得到蘋果缺陷區(qū)域面積用SQ表示,蘋果區(qū)域面積用S表示,蘋果缺陷率用q表示,蘋果缺陷率公式如式(1)所示。

對(duì)只含有果梗區(qū)域而不含缺陷區(qū)域的蘋果果徑面進(jìn)行了果梗區(qū)域面積與果徑面面積比值的計(jì)算,結(jié)果如表3所示。

表3 蘋果果徑面果梗區(qū)域面積所占百分比Tab.3 Percentage of stem area on diameter surface of apple

根據(jù)表中結(jié)果顯示,這里應(yīng)當(dāng)取果梗區(qū)域缺陷率均值為0.81%。改進(jìn)后的蘋果果徑面缺陷率計(jì)算公式如式(2)所示。

使用改進(jìn)后的果徑面缺陷率計(jì)算方法對(duì)果徑面進(jìn)行缺陷率計(jì)算,準(zhǔn)確率達(dá)到80%以上,結(jié)果符合預(yù)期。

3.6 蘋果的圓度檢測

圓形度表示目標(biāo)區(qū)域圖像接近圓的程度,利用區(qū)域周長C和區(qū)域面積S計(jì)算得出,根據(jù)圓的周長和面積公式,可以得出半徑,如式(3)、(4)所示。

在目標(biāo)區(qū)域圖像中,蘋果表面的周長是區(qū)域邊緣像素點(diǎn)的個(gè)數(shù),蘋果表面面積是目標(biāo)區(qū)域內(nèi)總的像素點(diǎn)個(gè)數(shù),圓形度的表達(dá)公式如式(5)所示。

圓形度E的值越接近1時(shí),蘋果形狀越接近于標(biāo)準(zhǔn)圓;當(dāng)圓形度E的值越遠(yuǎn)離1時(shí),蘋果形狀越不規(guī)則。根據(jù)上述研究,可以使用圓形度來表征蘋果形狀的優(yōu)劣。這里取三個(gè)蘋果樣本,它們的圓形度如圖27-圖29所示,由以上數(shù)據(jù)可以看出蘋果的圓形度結(jié)果大小與實(shí)際形狀相符。

圖27 樣本1Fig.27 Sample 1

圖28 樣本2Fig.28 Sample 2

圖29 樣本3Fig.29 Sample 3

4 蘋果分級(jí)實(shí)驗(yàn)

4.1 GUI系統(tǒng)界面

本文使用MATLAB設(shè)計(jì)了蘋果分級(jí)系統(tǒng)的GUI交互界面,如圖30所示。交互界面中結(jié)果參數(shù)區(qū)主要用來顯示蘋果圖像的四個(gè)表面特征參數(shù),圖像顯示區(qū)域主要用來顯示原始圖像和過程圖像,分級(jí)標(biāo)準(zhǔn)區(qū)主要展示了該系統(tǒng)所使用的分級(jí)標(biāo)準(zhǔn),分級(jí)結(jié)果區(qū)顯示分級(jí)結(jié)果,按鈕面板區(qū)放置的是控制該程序運(yùn)行的按鈕。

圖30 GUI交互界面Fig.30 GUI interface

表4 本文擬定的蘋果規(guī)格等級(jí)Tab.4 Apple specification grades proposed in this paper

4.2 蘋果分級(jí)實(shí)驗(yàn)

為了驗(yàn)證分級(jí)系統(tǒng)的可靠性,對(duì)樣本蘋果進(jìn)行了分級(jí)實(shí)驗(yàn)。為了確保實(shí)驗(yàn)結(jié)果準(zhǔn)確,本次實(shí)驗(yàn)選取了200個(gè)蘋果樣本,按照上述所規(guī)定的分級(jí)標(biāo)準(zhǔn),將蘋果分成了3等。實(shí)驗(yàn)以人工分級(jí)為標(biāo)準(zhǔn),得到在該程序下的蘋果分級(jí)準(zhǔn)確率,如表5所示。由表得出該分級(jí)系統(tǒng)的綜合分級(jí)準(zhǔn)確率在75%左右。

表5 蘋果分級(jí)準(zhǔn)確率Tab.5 Accuracy of apple grading

5 結(jié)語

本文設(shè)計(jì)了基于MATLAB圖像處理的蘋果分級(jí)檢測系統(tǒng),以紅富士蘋果為研究對(duì)象。本系統(tǒng)主要包括了圖像獲取,圖像預(yù)處理,特征提取以及蘋果分級(jí)這四個(gè)過程。

本文的主要內(nèi)容以及研究工作如下:

(1)為了確保蘋果圖像采集的完整性,將蘋果放置在黑色背景同一光源線下進(jìn)行四幅表面圖像的獲取。提取蘋果圖像的各個(gè)分量圖,對(duì)灰度圖還有R分量和I分量圖的分割圖像進(jìn)行對(duì)比后,發(fā)現(xiàn)R分量圖最適合閾值分割。之后進(jìn)行形態(tài)學(xué)降噪,平滑邊緣,邊緣檢測。(2)大小可以最直觀的展現(xiàn)蘋果品質(zhì),本文根據(jù)國標(biāo)要求,將蘋果正立時(shí)的俯視圖作為果徑面,其最大橫截面直徑就可以用來表征蘋果大小。用蘋果的紅色著色率表征蘋果的顏色特征,按照HSI顏色空間進(jìn)行紅色著色率。本文在進(jìn)行缺陷提取時(shí),首先在之前圖像處理的基礎(chǔ)上進(jìn)行蘋果缺陷區(qū)域和果梗區(qū)域的提取,然后在提取的蘋果表面缺陷的基礎(chǔ)上,根據(jù)蘋果缺陷面積所占蘋果面積計(jì)算缺陷度,又根據(jù)果梗區(qū)域面積平均占比,優(yōu)化了果徑面缺陷度計(jì)算公式,根據(jù)圓形度公式對(duì)蘋果果徑面進(jìn)行了圓形度計(jì)算。(3)綜合四種特征數(shù)據(jù),完成了蘋果分級(jí)系統(tǒng)的編寫,并設(shè)計(jì)了GUI用戶交互界面,使用戶操作更加便捷。用上述程序進(jìn)行蘋果樣本分級(jí)實(shí)驗(yàn),與人工分級(jí)對(duì)比,準(zhǔn)確率在75%左右。