基于計(jì)算機(jī)視覺的蘋果樹果實(shí)缺陷探測研究

徐廣飛

摘要：蘋果分級是將其自身的大小、缺陷作為關(guān)鍵性的評估指標(biāo)，文章根據(jù)計(jì)算機(jī)視覺技術(shù)蘋果分級研究現(xiàn)狀，結(jié)合實(shí)際需要探討一種能夠?qū)μO果進(jìn)行分選的檢測系統(tǒng)，并對R通道方法進(jìn)行簡單的介紹，同時對檢測系統(tǒng)的應(yīng)用效果進(jìn)行試驗(yàn)。結(jié)果顯示，這種算法具備可行性，可以取得良好的應(yīng)用效果。基于此，文章以蘋果樹發(fā)病時葉片顏色、紋理呈現(xiàn)的差異作為依據(jù)，巧妙地使用計(jì)算機(jī)視覺技術(shù)，研發(fā)出一套可以診斷蘋果樹病害的檢測系統(tǒng)。

關(guān)鍵詞：計(jì)算機(jī)視覺；蘋果分級；檢測系統(tǒng)；應(yīng)用效果

中圖分類號：TP39? 文獻(xiàn)標(biāo)志碼：A

0 引言

蘋果樹病害控制的科學(xué)方法是在蘋果發(fā)育的早期階段及時發(fā)現(xiàn)病害，判斷蘋果病害的類型。以傳統(tǒng)型的果蔬種植狀況進(jìn)行分析，在對果蔬的病害進(jìn)行診斷時，基本上都是依靠個人的既往經(jīng)驗(yàn)進(jìn)行判斷，這種方法雖然不具備科學(xué)性，但確定可以有效地解決部分問題。但是我們也應(yīng)該清楚地認(rèn)識到，農(nóng)戶的肉眼分辨能力是有限的，當(dāng)農(nóng)戶判斷果樹出現(xiàn)病害時，其實(shí)果樹的病害已經(jīng)處于一個非常嚴(yán)重的狀態(tài)。

1 蘋果分選和缺陷檢測系統(tǒng)設(shè)計(jì)

1.1 圖像采集與系統(tǒng)結(jié)構(gòu)

蘋果樹果實(shí)探測研究的圖像采集流程為：啟動系統(tǒng)內(nèi)置的攝像頭，系統(tǒng)會自動將攝像頭的運(yùn)行方式調(diào)整為連續(xù)多幀工作方式。攝像頭應(yīng)用軟件的技術(shù)參數(shù)可以進(jìn)行調(diào)整，且攝像范圍可以根據(jù)實(shí)際需要進(jìn)行調(diào)整，還能夠?qū)崿F(xiàn)自動變焦功能；攝像頭在掃描蘋果果實(shí)的過程中，將蘋果果實(shí)的整個外形全部掃描，當(dāng)一個蘋果果實(shí)掃描完成以后，轉(zhuǎn)而對下一個目標(biāo)進(jìn)行掃描。攝像頭的掃描速度為25幀/s，掃描一幀圖像的時間大概為40 ms［1］。檢測系統(tǒng)的結(jié)構(gòu)組成如圖1所示。

1.2 系統(tǒng)工作原理

為了能夠?qū)崿F(xiàn)對蘋果果實(shí)的體積、缺陷進(jìn)行檢測，此次研究使用了圖像RGB通道中的R通道進(jìn)行處理。究其原因，主要是：（1）假若使用灰度圖，那么則可能導(dǎo)致掃描結(jié)果圖像丟失非常多的元素信息，導(dǎo)致蘋果果實(shí)分級不夠精準(zhǔn)；（2）選擇使用R通道可以縮短一定的處理時間，且處理結(jié)果相對更為精準(zhǔn)，可以滿足實(shí)際應(yīng)用的需求。

對檢測系統(tǒng)收集到的R通道采取閾值處理，提前將檢測系統(tǒng)的閾值設(shè)置為70，將t=70作為標(biāo)準(zhǔn)，按照以下表達(dá)式對圖像的R通道進(jìn)行處理，由此就可以獲取到二值圖像g（x， y）：

g（x，y）=255若f（x，y）≥T

0若f（x，y）

在經(jīng)過閾值處理以后，R通道就會轉(zhuǎn)變?yōu)楹诎锥祱D，在此基礎(chǔ)上對R通道進(jìn)行處理，其處理效率可以得到大幅度的提升。攝像頭在攝像時使用的黑色背景，便于對圖像進(jìn)行降噪、運(yùn)算等處理。

蘋果果實(shí)的RGB圖像內(nèi)的R通道在經(jīng)過閾值處理以后，其數(shù)值均為255，統(tǒng)計(jì)圖像中的R通道數(shù)值為255像素。經(jīng)過數(shù)據(jù)的全面統(tǒng)計(jì)以后得出，可以將蘋果果實(shí)的分級直徑標(biāo)定不同的像素范圍。

在對采集到的蘋果圖像進(jìn)行閾值處理以后，檢測系統(tǒng)則可以對蘋果的缺陷進(jìn)行檢測，缺陷檢測分級的整個過程分為兩個檢測階段：一是缺陷分割檢測階段；二是缺陷識別檢測階段。分割算法主要負(fù)責(zé)檢測出蘋果存在缺陷的具體區(qū)域，主要包括真實(shí)缺陷區(qū)與梗萼區(qū)；識別算法則是對缺陷區(qū)域做進(jìn)一步的檢測，判斷其是屬于真實(shí)缺陷區(qū)，還是屬于梗萼區(qū)。具體的檢測流程如下：

（1）對蘋果果實(shí)的RGB圖像中R通道做二值化處理，處理過程中會對圖像的不同區(qū)域進(jìn)行編號處理，同時標(biāo)注出不同的缺陷區(qū)域；

（2）計(jì)算出缺陷區(qū)域的面積，借助底層處理措施將圖像中的小噪聲點(diǎn)消除，并對真實(shí)缺陷區(qū)、梗萼區(qū)進(jìn)行區(qū)分；

（3）使用識別算法對缺陷區(qū)域做進(jìn)一步的檢測，判斷其是屬于真實(shí)缺陷區(qū)，還是屬于梗萼區(qū)。

1.3 缺陷檢測算法流程

通過檢測以后發(fā)現(xiàn)，蘋果果實(shí)的缺陷基本上都是集中在凸出面，主要是因?yàn)橥钩雒娓菀资艿酵獠孔饔昧Α．?dāng)攝像頭在采集到蘋果圖像以后，結(jié)合圖像的RGB數(shù)值判斷出蘋果病害發(fā)生的區(qū)域。對蘋果果實(shí)RGB圖像中的R通道做二值化處理，處理過程中會對圖像的不同區(qū)域進(jìn)行編號處理，同時標(biāo)注出不同的缺陷區(qū)域，這種算法是游程標(biāo)記算法。

2 蘋果檢測及分級實(shí)驗(yàn)

2.1 缺陷檢測實(shí)驗(yàn)

此次試驗(yàn)選擇使用紅富士蘋果作為試驗(yàn)樣品，對蘋果的缺陷進(jìn)行統(tǒng)計(jì)分析。

對蘋果果實(shí)RGB圖像中的R通道做二值化處理，處理過程中會對圖像的不同區(qū)域進(jìn)行編號處理，同時標(biāo)注出不同的缺陷區(qū)域，下文中使用黑白二值對蘋果缺陷區(qū)域確定全過程進(jìn)行簡單的介紹，具體情況如圖2所示。

圖2（a）為攝像頭采集到的原圖像，而圖2（b）為R通道處理以后的圖像。蘋果缺陷區(qū)域與果梗區(qū)域全部標(biāo)識出來；圖2（c）是原圖像轉(zhuǎn)化獲取到的灰度圖，圖2（d）為二值圖像。二值圖像是基于原圖像進(jìn)行R通道處理

后獲取到的，使用游程標(biāo)記算法以標(biāo)記出蘋果的缺陷區(qū)域。

2.2 蘋果大小分級實(shí)驗(yàn)

為保證試驗(yàn)結(jié)果的精準(zhǔn)性與可靠性，我們確定出

如下實(shí)驗(yàn)對象：蘋果的直徑60～65 mm，65～70 mm，70～75 mm，75～80 mm，80 mm的蘋果各準(zhǔn)備20個。

在經(jīng)過多次試驗(yàn)以后，檢測系統(tǒng)采集到的蘋果圖像數(shù)據(jù)整理如表1所示。

通過對以上數(shù)據(jù)進(jìn)行整理統(tǒng)計(jì)以后，整理出如表2所示的信息。不難發(fā)現(xiàn)，檢測系統(tǒng)的分級標(biāo)準(zhǔn)可以按照蘋果果實(shí)的體積大小進(jìn)行處理。

通過試驗(yàn)結(jié)果可以發(fā)現(xiàn)：（1）分級檢測系統(tǒng)能夠精準(zhǔn)地分選出不同大小的蘋果；（2）分級檢測系統(tǒng)的作業(yè)效率非常高。

分級系統(tǒng)會存在對應(yīng)的誤差，主要是因?yàn)椋海?）蘋果的位置不固定；（2）蘋果的陰影未全部消除。

精準(zhǔn)性的蘋果果實(shí)目標(biāo)區(qū)域探測是保證蘋果果實(shí)實(shí)現(xiàn)精準(zhǔn)定位的前提，結(jié)合實(shí)際情況而言，目標(biāo)區(qū)域探測的實(shí)際情況是否能夠有效地滿足檢測系統(tǒng)的需求，其核心問題在于是否能夠保證分割算法的合理性。現(xiàn)階段，可供使用的圖像分割算法雖然非常多，但是大部分的算法都是針對固定環(huán)境而搭建出來的，鮮有算法能夠適用于所有的應(yīng)用場景。以蘋果果實(shí)目標(biāo)區(qū)域分割問題而言，因蘋果果實(shí)處在自然環(huán)境內(nèi)，會受到太陽光的照射，而太陽光變化多端，所以不同的果實(shí)圖像中，果實(shí)的亮度會存在一定的差異性，這種差異性會導(dǎo)致圖像分割受到影響。鑒于此，文章提出自適應(yīng)G-B色差法實(shí)現(xiàn)自動調(diào)節(jié)顏色差異，提高蘋果果實(shí)圖像分割的精準(zhǔn)性［2］。

為了精準(zhǔn)地論證出算法模型的綜合性能，我們將現(xiàn)階段使用較為頻繁的GLOM，BLP等紋理特征理論作為SVM的特征分類與此次設(shè)計(jì)的研究模型進(jìn)行對比分析，在經(jīng)過全面的對比分析以后發(fā)現(xiàn)，此次使用的研究模型在果實(shí)探測結(jié)果的精準(zhǔn)性方面有很大的提升。研究模型的綜合評價指標(biāo)高達(dá)90.29%，可以輕易地發(fā)現(xiàn)，此次設(shè)計(jì)的研究模型明顯優(yōu)于前兩種模型。

3 蘋果目標(biāo)探測與定位系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

3.1 系統(tǒng)功能結(jié)構(gòu)設(shè)計(jì)

蘋果目標(biāo)探測、定位系統(tǒng)主要是由以下模塊構(gòu)成：圖像數(shù)據(jù)I/O模塊、重疊果實(shí)目標(biāo)探測與定位模塊、枝葉遮擋探測與定位模塊等。借助以上不同的功能模塊，檢測系統(tǒng)可以高效地實(shí)現(xiàn)對不同生長周期的蘋果果實(shí)目標(biāo)的精準(zhǔn)探測與定位。

圖像數(shù)據(jù)I/O模塊的功能主要包括：獲取蘋果果實(shí)圖像數(shù)據(jù)、存儲蘋果果實(shí)圖像數(shù)據(jù)、輸出蘋果果實(shí)圖像數(shù)據(jù)。首先，系統(tǒng)會自動獲取到設(shè)備內(nèi)尚未及時處理的蘋果果實(shí)圖像數(shù)據(jù)，存儲在系統(tǒng)內(nèi)，并將蘋果果實(shí)圖像數(shù)據(jù)輸出至系統(tǒng)內(nèi)的其他功能模塊，待其他功能模塊應(yīng)用完成以后，對蘋果果實(shí)圖像數(shù)據(jù)進(jìn)行保存，而后將蘋果果實(shí)圖像數(shù)據(jù)的處理結(jié)果輸出［3］。

小體積蘋果目標(biāo)探測與定位模塊的功能主要為：實(shí)現(xiàn)對蘋果目標(biāo)的探測與定位。使用ITS方法探測繪制出果實(shí)圖像的色差圖，然后使用CHI方法精準(zhǔn)地定位出果實(shí)目標(biāo)。使用HOG-SVM研究模型對果實(shí)目標(biāo)進(jìn)行定位。

重疊蘋果目標(biāo)的探測與定位功能模塊的功能主要是對發(fā)育成熟且重疊的果實(shí)進(jìn)行探測與定位。使用經(jīng)過優(yōu)化處理的GrabCut方法探測出蘋果圖像的ROI區(qū)域，然后使用關(guān)鍵點(diǎn)檢測方法探測出重疊區(qū)域，使用DLS方法描繪出被遮擋果實(shí)的外形輪廓。

枝葉遮擋蘋果目標(biāo)探測與定位模塊的功能為：該功能主要是針對發(fā)育成熟的果實(shí)，因果樹枝葉繁茂，導(dǎo)致果實(shí)圖像會被枝葉遮擋。使用經(jīng)過優(yōu)化處理的K-means方法探測定位出果實(shí)圖像的ROI區(qū)域，然后使用QuickHull方法定位出果實(shí)凸出部分的輪廓。

3.2 系統(tǒng)功能實(shí)現(xiàn)與運(yùn)行界面

此次研究在對檢測系統(tǒng)進(jìn)行設(shè)計(jì)時，充分地考慮到不同用戶的應(yīng)用需求，對于部分專業(yè)性非常高的用戶而言，系統(tǒng)可以提供分布式處理作業(yè)方式，其能夠在檢測系統(tǒng)中分步驟地獲取蘋果探測、定位過程，為后續(xù)的研究提供便利。針對一般性的用戶而言，檢測系統(tǒng)提供了一鍵處理功能，用戶只需要在檢測系統(tǒng)的操作界面中點(diǎn)擊功能按鈕即可達(dá)到理想中的處理效果，這種功能可以簡化用戶的操作流程，提高果實(shí)目標(biāo)檢測的效率。

檢測系統(tǒng)運(yùn)行以后，系統(tǒng)會自動跳轉(zhuǎn)至系統(tǒng)的功能界面，該界面中提供以下功能按鈕：幼小青蘋果目標(biāo)探測與定位功能按鈕、重疊蘋果目標(biāo)探測與定位功能按鈕、枝葉遮擋蘋果目標(biāo)探測與定位功能按鈕和退出功能按鈕等導(dǎo)航按鈕，用戶可以根據(jù)自身的實(shí)際需求有針對性地進(jìn)行選擇按鈕。

當(dāng)用戶按下目標(biāo)探測與定位功能按鈕時，系統(tǒng)會自動跳轉(zhuǎn)至該模塊界面內(nèi)，圖像會經(jīng)初始化加載，而后系統(tǒng)會自動顯示窗口信息及各種不同功能服務(wù)。假若用戶僅僅只是需要獲取最終的處理結(jié)果，那么其只需要點(diǎn)擊一鍵處理按鈕即可。

但蘋果果實(shí)目標(biāo)圖像探測與定位完成以后，其還可以根據(jù)自身的需求選擇點(diǎn)擊其他不同的功能按鈕，那么系統(tǒng)則會根據(jù)不同的按鈕進(jìn)入不同的操作頁面，同時開啟不同的任務(wù)。此外，在實(shí)際操作過程中，用戶還可以在不同的操作界面中隨意進(jìn)行切換，切換以后系統(tǒng)仍然會對前期的操作進(jìn)行異步啟動，且保存最終的處理結(jié)果。

4 結(jié)語

結(jié)合前文中的介紹可以發(fā)現(xiàn)，在經(jīng)過科學(xué)的試驗(yàn)以后，文章提出了一種基于RGB三基色的R通道處理方法，這種處理方法能夠?qū)崿F(xiàn)對蘋果果實(shí)的大小、缺陷精準(zhǔn)識別，且檢測系統(tǒng)的可靠性與穩(wěn)定性能夠得到很好的保障。試驗(yàn)過程中，攝像頭采集到的蘋果的果梗或果尊應(yīng)該是處于相互垂直，假若二者并未保持垂直狀態(tài)，我們可以使用連續(xù)采集方法獲取到果實(shí)圖像，然后利用幀數(shù)圖像計(jì)算出蘋果缺陷的面積，建議可以研發(fā)出一種新型的輸送單元，提高蘋果分級的精準(zhǔn)性。

參考文獻(xiàn)

［1］馬占杰.果實(shí)表面顏色計(jì)算機(jī)視覺分級技術(shù)研究［J］.電子測試，2021（2）：59-60.

［2］李偉強(qiáng)，王東，寧政通，等.計(jì)算機(jī)視覺下的果實(shí)目標(biāo)檢測算法綜述［J］.計(jì)算機(jī)與現(xiàn)代化，2022（6）：87-95.

［3］吳修國.基于計(jì)算機(jī)視覺技術(shù)的蘋果樹健康診斷系統(tǒng)研究［J］.農(nóng)機(jī)化研究，2018（8）：218-222.

（編輯 王雪芬）

Research on apple fruit defect detection based on computer vision

Xu? Guangfei

（Tangshan Polytechnic College， Tangshan 063299， China）

Abstract：? Apple grading takes its own size and defects as key evaluation indicators. According to the research status of apple grading based on computer vision technology and combined with the actual needs， this paper discusses a detection system that can sort apples， briefly introduces the R-channel method， and tests the application effect of the detection system. Through the test results， it is found that this algorithm is feasible， good application effect can be achieved. Based on this， this paper combines the differences in the color and texture of the leaves when apple trees are infected， and cleverly uses computer vision technology to develop a detection system that can diagnose apple tree diseases.

Key words： computer vision; apple grading; detection system; application effect