顏色差信息提取耦合圓擬合技術(shù)的果樹桃子檢測(cè)算法

張桂寧（陜西省行政學(xué)院，陜西寶雞710068）

顏色差信息提取耦合圓擬合技術(shù)的果樹桃子檢測(cè)算法

張桂寧
（陜西省行政學(xué)院，陜西寶雞710068）

機(jī)器人在采摘果樹桃子果實(shí)時(shí)，需要從復(fù)雜的果樹背景中識(shí)別出桃子，以此為依據(jù)計(jì)算出桃子的圓心坐標(biāo)與半徑，傳送給機(jī)器人系統(tǒng)進(jìn)行作業(yè)，其中果樹桃子的準(zhǔn)確檢測(cè)是機(jī)器人采摘作業(yè)的關(guān)鍵步驟。對(duì)此，提出了顏色差信息提取耦合圓擬合技術(shù)的果樹桃子檢測(cè)算法。首先利用顏色差信息提取桃子區(qū)域；然后基于邊界跟蹤處理與匹配膨脹處理得到桃子的完整區(qū)域；再分別用圓擬合方法計(jì)算出桃子的圓心，完成定位檢測(cè)。該算法的性能測(cè)試結(jié)果表明：與當(dāng)前水果檢測(cè)算法相比，該算法具有更好的檢測(cè)效果，可準(zhǔn)確定位出桃子的目標(biāo)位置。

桃子檢測(cè)；顏色差信息；邊界跟蹤處理；匹配膨脹處理；圓擬合

隨著計(jì)算機(jī)科學(xué)、圖像處理算法研究的蓬勃發(fā)展，機(jī)器人作業(yè)、機(jī)器視覺檢測(cè)等技術(shù)在相關(guān)社會(huì)領(lǐng)域內(nèi)得到廣泛應(yīng)用，已在很大程度上推動(dòng)了社會(huì)生產(chǎn)力的發(fā)展［1-3］。其中，在農(nóng)業(yè)自動(dòng)化領(lǐng)域，圖像處理與機(jī)器視覺技術(shù)也起到了越來越重要的作用，主要是引導(dǎo)機(jī)器人抓取果實(shí)和對(duì)果實(shí)表面進(jìn)行質(zhì)量檢測(cè)等［4-6］。因此，果實(shí)定位與檢測(cè)的準(zhǔn)確度顯得尤為重要［7-8］。但是，現(xiàn)在很多地區(qū)的果實(shí)采集仍然依靠人力，如果采用機(jī)器人，既減少了人力成本，同時(shí)也提高了采摘準(zhǔn)確度和效率［9-11］。實(shí)現(xiàn)農(nóng)業(yè)果實(shí)的機(jī)器人自動(dòng)采摘既能夠避免人眼的主觀性，又能發(fā)揮機(jī)器視覺的客觀性。部分專家利用果樹圖像中果實(shí)顏色差異進(jìn)行果實(shí)識(shí)別，取得了一定的識(shí)別效果［10］，但當(dāng)背景復(fù)雜時(shí)識(shí)別效果不佳，因?yàn)閱渭円揽款伾町惖拈撝捣指詈茈y區(qū)分果實(shí)和背景。

為了實(shí)現(xiàn)基于機(jī)器視覺與圖像處理的桃子檢測(cè)，本文提出了顏色差信息提取耦合圓擬合技術(shù)的果樹桃子檢測(cè)算法。本研究的對(duì)象是果樹桃子，主要實(shí)現(xiàn)對(duì)果樹桃子的識(shí)別、定位、檢測(cè)，把位置坐標(biāo)（即圓心位置）傳遞給機(jī)器人完成采摘。通過實(shí)驗(yàn)驗(yàn)證了本文算法的定位檢測(cè)性能。

1　本文算法設(shè)計(jì)

本文檢測(cè)算法的流程見圖1。從圖中可知，該算法包括3個(gè)步驟：①利用顏色差信息提取桃子區(qū)域；②基于邊界跟蹤處理與匹配膨脹處理得到桃子的完整區(qū)域；③用本文的圓擬合方法計(jì)算出桃子的圓心。

1.1基于顏色差信息的桃子區(qū)域分割

由于成熟桃子顏色一般以紅色為主，如圖2～4所示，因此對(duì)原彩色圖像f，首先利用紅、綠色差信息提取圖像中桃子紅色區(qū)域，然后再采用與原圖進(jìn)行匹配膨脹［12-13］的方法獲取桃子完整區(qū)域。

圖1　本文檢測(cè)算法流程

對(duì)圖像中的像素點(diǎn)（xi，yi），設(shè)其紅色分量和綠色分量的像素值分別為R（xi，yi），G（xi，yi），其差值為Ci=R（xi，yi）-G（xi，yi），由此獲得一個(gè)灰度圖（RG圖像）。然后計(jì)算RG圖像中所有非零像素點(diǎn)的均值a。逐像素掃描RG圖像，如果Ci＞a則將該點(diǎn)像素值設(shè)為255（白色），否則設(shè)為0（黑色），得到二值圖像fb，并對(duì)其進(jìn)行補(bǔ)洞和面積小于200像素的處理。

式（1）中k為RG圖像中非零像素點(diǎn)的個(gè)數(shù)。

圖5～7分別為圖2～4采用R-G色差均值為閾值提取桃子紅色區(qū)域的二值圖像。由圖可見，該方法在各種光照條件和不同背景情況都能較好地提取出桃子的紅色區(qū)域。

圖2　待檢測(cè)的桃子1

圖3　待檢測(cè)的桃子2

圖4　待檢測(cè)的桃子3

圖5　桃子紅色區(qū)域分割結(jié)果1

圖6　桃子紅色區(qū)域分割結(jié)果2

圖7　桃子紅色區(qū)域分割結(jié)果3

1.2基于邊界跟蹤處理與匹配膨脹的桃子分割

復(fù)制二值圖像fb為fc，設(shè)圖像中白色區(qū)域的個(gè)數(shù)為m，白色區(qū)域的邊界點(diǎn)總數(shù)為n，存放在各白色區(qū)域邊界點(diǎn)個(gè)數(shù)的數(shù)組為length［］，存放邊界點(diǎn)坐標(biāo)（x、y結(jié)構(gòu)體）的數(shù)組為lst［］。初始化m=0，n=0，以fb上的白色區(qū)域?yàn)槟繕?biāo)進(jìn)行下述邊界追蹤處理。

1）設(shè)length［0］=0，從上到下、從左到右逐像素掃描fb。遇到?jīng)]有標(biāo)記的白色像素時(shí)，查看其左側(cè)像素，若為黑色則停止該掃描（主掃描）。

2）將檢測(cè)過程中的白色像素視為邊界起始點(diǎn)b（b=255），并設(shè)其為目標(biāo)像素，坐標(biāo)存入lst［n］，n值增加1，則lengh［m］值加1。

3）設(shè)標(biāo)記值p=1，從目標(biāo)像素的右側(cè)開始，順時(shí)針掃描目標(biāo)像素的8領(lǐng)域像素，若遇到白色像素，將其值設(shè)為標(biāo)記值p，并將其作為目標(biāo)像素，坐標(biāo)存入lst［n］，n值增加1，則lengh［m］值加1。

4）以上一個(gè)邊界像素為起始點(diǎn)，在當(dāng)前目標(biāo)像素的8領(lǐng)域中按順時(shí)針方向搜索，遇到白色像素時(shí)，將其設(shè)定為標(biāo)記值p，并將其作為目標(biāo)像素，坐標(biāo)存入lst［n］，n值增加1，則lengh［m］值加1。

5）反復(fù)執(zhí)行步驟4），當(dāng)遇到邊界初始點(diǎn)b時(shí)，表示當(dāng)前的白色區(qū)域邊界追蹤完畢，m的值增加1。

6）從步驟1）的主掃描停止位置重新執(zhí)行步驟1）～5），對(duì)圖像中其他白色區(qū)域進(jìn)行邊界追蹤處理［14］，直到掃描完整副圖像為止，然后進(jìn)行后續(xù)的匹配膨脹處理。

隨后，設(shè)區(qū)域號(hào)為j（0＜j＜m），膨脹后邊界點(diǎn)總數(shù)為n2，存放膨脹后邊界點(diǎn)個(gè)數(shù)的數(shù)組為length2［］，存放膨脹后邊界點(diǎn)坐標(biāo)的數(shù)組為lst2［］。

1）設(shè)j=0，n2=0。

2）設(shè)length2［j］=0。

3）依次從lst［］中讀取區(qū)域j的邊界坐標(biāo)點(diǎn)Pi（0＜i＜length［j］），分別對(duì)其進(jìn)行后續(xù)處理。

4）順時(shí)針掃描圖像fc和原圖像f上點(diǎn)Pi的24領(lǐng)域Nk，計(jì)算fc上為白色所對(duì)應(yīng)原圖像f上R分量值的最大值Rmax和最小值Rmin。

5）在圖像fc上順時(shí)針掃描Pi的8領(lǐng)域Nk，若遇到黑色像素，則讀取原圖像f上相同位置的R分量值和G分量值。如果R＞G，則認(rèn)為該黑色像素點(diǎn)屬于桃子上的點(diǎn)，將圖像fc上該點(diǎn)變?yōu)榘咨⒃擖c(diǎn)坐標(biāo)存入lst2［］，n2增加1，length2［j］值增加1，當(dāng)區(qū)域jd的所有邊界坐標(biāo)點(diǎn)Pi完成上述處理后，j值加1。

6）循環(huán)步驟2）～5），直到j(luò)=m時(shí)，表示一次匹配膨脹結(jié)束。

7）拷貝lst2［］到lst［］，拷貝length2［］到length［］，令n=n2，重復(fù)步驟1）～6），進(jìn)行下一次匹配膨脹處理。在某次匹配膨脹處理中，如果在步驟5）中，沒有滿足條件的黑色像素出現(xiàn)，則表示匹配膨脹完成，退出匹配膨脹處理。之后對(duì)圖像進(jìn)行fc補(bǔ)洞，3次膨脹和腐蝕的修復(fù)處理。

圖8～10為圖5～7與彩色原圖進(jìn)行匹配膨脹后的二值圖像。因?yàn)橥粋€(gè)桃子上相鄰像素的R分量值不會(huì)發(fā)生劇烈變化，而桃子邊緣相鄰像素的R分量值則會(huì)出現(xiàn)較大變化，據(jù)此將目標(biāo)像素24領(lǐng)域內(nèi)桃子像素點(diǎn)的R分量值的最大、最小值作為無顯著變動(dòng)的閾值范圍。該方法可以自動(dòng)確定閾值，能夠準(zhǔn)確、快速地將本屬于桃子的像素重新找回。結(jié)果表明桃子區(qū)域分割中黑色像素都被很好地匹配膨脹成了白色像素。

圖8　桃子完整區(qū)域分割結(jié)果1

圖9　桃子完整區(qū)域分割結(jié)果2

圖10　桃子完整區(qū)域分割結(jié)果3

結(jié)果表明：本文提出的分割提取算法能夠適應(yīng)桃子顏色的非均一性和圖像光照的復(fù)雜性，很好地去除了天空、枝葉等復(fù)雜背景，而且?guī)缀跬旰玫乇４媪宋幢恢θ~遮擋的桃子區(qū)域，取得了較好的分割效果。

1.3基于圓擬合方法的圓心計(jì)算

對(duì)于每個(gè)分割出的桃子區(qū)域很容易求得中心區(qū)域，但是進(jìn)一步求得圓心坐標(biāo)有一定的難度，本文對(duì)這個(gè)點(diǎn)展開研究。首先中心區(qū)域內(nèi)點(diǎn)為可能圓心點(diǎn)群，（Ox，iOyi）為可能圓心點(diǎn)，0＜i＜m，m表示可能圓心點(diǎn)個(gè)數(shù)。由式（2）～（5）分別計(jì)算圓心x和y坐標(biāo)的平均值和標(biāo)準(zhǔn)偏差。

式中：Dx為可能圓心點(diǎn)橫坐標(biāo)的標(biāo)準(zhǔn)偏差；為可能圓心點(diǎn)橫坐標(biāo)的平均值；Oxi為第i個(gè)可能圓心點(diǎn)的橫坐標(biāo)；Dy為可能圓心點(diǎn)縱坐標(biāo)的標(biāo)準(zhǔn)偏差；O-y為可能圓心點(diǎn)縱坐標(biāo)的平均值；Oyi為第i個(gè)可能圓心點(diǎn)的縱坐標(biāo)。按照式（4）逐個(gè)判斷每個(gè)可能圓心點(diǎn)。

將滿足式（6）的所有可能圓心點(diǎn)坐標(biāo)存入數(shù)組S中，之后對(duì)S中所有點(diǎn)重新求平均值，將其作為擬合圓的圓心記為O。計(jì)算數(shù)組S中所有可能圓心點(diǎn)坐標(biāo)與圓心O的距離，找出距離最小的可能圓心點(diǎn)的坐標(biāo)。

本文檢測(cè)算法部分關(guān)鍵代碼：

2　實(shí)驗(yàn)與討論

本文實(shí)驗(yàn)平臺(tái)基于windows7系統(tǒng)、VS2010環(huán)境和C++語言編程實(shí)現(xiàn)。對(duì)照組依據(jù)文獻(xiàn)［15］的基于依靠顏色差異閾值分割來識(shí)別果實(shí)。

圖11～13是擬合結(jié)果圖像，可見圓擬合結(jié)果非常準(zhǔn)確，表明該擬合算法能夠適應(yīng)桃子單個(gè)果實(shí)、多個(gè)果實(shí)相互分離以及多個(gè)果實(shí)相互接觸等多種生長(zhǎng)狀態(tài)，并且對(duì)于部分遮擋的果實(shí)也能夠很好地?cái)M合。

圖14～16是對(duì)照組的識(shí)別效果，可見存在明顯定位識(shí)別偏差。因此，單純依靠顏色差異進(jìn)行閾值分割時(shí)，如背景較復(fù)雜，則識(shí)別效果弱于本文算法。

圖11　單個(gè)桃子檢測(cè)結(jié)果

圖12　兩個(gè)桃子相互接觸的檢測(cè)結(jié)果

圖13　多個(gè)桃子相互分離的檢測(cè)結(jié)果

圖14　基于傳統(tǒng)算法的單個(gè)桃子檢測(cè)結(jié)果

圖15　基于傳統(tǒng)算法的兩個(gè)桃子相互接觸的檢測(cè)結(jié)果

圖16　基于傳統(tǒng)算法的多個(gè)桃子相互分離的檢測(cè)結(jié)果

3　結(jié)束語

為了提高桃子的檢測(cè)精度，本文提出了顏色差信息提取耦合圓擬合技術(shù)的果樹桃子檢測(cè)算法。首先利用顏色差信息提取桃子區(qū)域；然后基于邊界跟蹤處理與匹配膨脹處理得到桃子的完整區(qū)域；再分別用本文的圓擬合方法計(jì)算出桃子的圓心，完成定位檢測(cè)。實(shí)驗(yàn)證明：本文檢測(cè)算法的檢測(cè)性能較好。

［1］楊惠，楊會(huì)成，王曉薇倩.改進(jìn)Harris角點(diǎn)檢測(cè)算法的零件形狀識(shí)別［J］.重慶理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2013，27（12）：64-68.

［2］崔紅光.圖像處理技術(shù)在農(nóng)業(yè)機(jī)器人中的應(yīng)用［J］.農(nóng)機(jī)化研究，2013，18（11）：383-387.

［3］李少昆.作物株型信息多媒體圖像處理技術(shù)的研究［J］.作物學(xué)報(bào)，2013，36（4）：181-185.

［4］李輝.數(shù)字圖像處理技術(shù)及其在農(nóng)業(yè)中的應(yīng)用研究［J］.安徽農(nóng)業(yè)科學(xué)，2013，21（7）：1906-1913.

［5］王兆文.基于Matlab/GUI的汽油機(jī)缸內(nèi)直接噴霧圖像處理方法［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，33（10）：2886 -2890.

［6］肖德琴.基于嵌入式應(yīng)用的高分辨率農(nóng)業(yè)圖像采集節(jié)點(diǎn)設(shè)計(jì)［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2011，23（2）：371-376.

［7］Noori H，Saryazdi S.A bilateral image inpainting［J］. IJST Trans Electr Eng，2011，25（E2）：95-108.

［8］Kuang Y，Zhang L，Yi Z.An Adaptive Rank-sparsity KSVD Algorithm for Image Sequence Denoising［J］.Pattern Recognition Letters，2014，33（17）：1021-1032.

［9］耿楠.基于水平集和先驗(yàn)信息的農(nóng)業(yè)圖像分割方法［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，18（15）：482-4387.

［10］貴慧宏，張錦，陳永劍.基于GTS901A的測(cè)量機(jī)器人變形監(jiān)測(cè)自動(dòng)化軟件的開發(fā)［J］.測(cè)繪科學(xué)，2010（4）：166-168.

［11］馮娟，劉剛，司永勝.蘋果采摘機(jī)器人激光視覺系統(tǒng)的構(gòu)建［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，29（1）：32-36.

［12］趙曉霞，張鐵中，陳兵旗.自然環(huán)境下桃子圖像分割算法［J］.農(nóng)機(jī)化研究，2009（2）：107-111.

［13］賈永紅，鄒勤，付修軍.于數(shù)學(xué)形態(tài)學(xué)的掃描地圖點(diǎn)狀符號(hào)識(shí)別方法［J］.武漢大學(xué)學(xué)報(bào)：信息科學(xué)版，2008，33（7）：673-675.

［14］郭常有，曹廣斌，韓世成.基于圖像處理技術(shù)的扇貝尺寸及位置自動(dòng)識(shí)別［J］.大連海洋大學(xué)學(xué)報(bào)：自然科學(xué)版，2012，27（6）：578-582.

［15］Ehmann J，Pappas T，Neuhoff D.Structure Texture similaritymetrics for image analysis and retrieval［J］.IEEE Transactions，2013，22（7）：2545-2258.

（責(zé)任編輯何杰玲）

Peach Detection Algorithm Based on Information Extraction of Color Difference Coup led Circle Fitting Technique

ZHANG Gui-ning
（Shaanxi Academy of Governance，Baoji710068，China）

When robot is picking peach，robotneeds to identify it from the complicated background of fruit trees，and on this basis to calculate the peach center coordinates and radius and transmit to the robot system for operation.Due to the work environment that tends to have interference such as strong light，insufficient light or shade leaves，and the fruit trees peach accurate detection is the key step in the robot's picking operation.To this，this paper proposed a fruit peach detection mechanism based on extraction information of color difference coupled circle fitting technique.First using color difference information extraction peach area，and then treatmentwith matching expansion based on boundary tracing，complete area of peach was got，and again with this circle fittingmethod，the center of the circle of peach to finish the fruit detection was calculated.The results of the tested performance ofmechanism show that compared with other fruit detection mechanism，thismechanism has better detection effect and can accurately pinpoint the peach target location.

peach detection；color difference information；processing of boundary tracking；matching expansion treatment；circle fitting

TP391

A

1674-8425（2015）05-0093-06

10.3969/j.issn.1674-8425（z）.2015.05.017

2015-02-02

陜西省自然科學(xué)基金資助項(xiàng)目（2011F47）；陜西省行政學(xué)院科研立項(xiàng)項(xiàng)目（YKT010）

張桂寧（1984—），女，陜西寶雞人，助理工程師，主要從事目標(biāo)檢測(cè)定位、計(jì)算機(jī)網(wǎng)絡(luò)與信息安全研究。

張桂寧.顏色差信息提取耦合圓擬合技術(shù)的果樹桃子檢測(cè)算法［J］.重慶理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2015（5）：93-98.

format：ZHANG Gui-ning.Peach Detection Algorithm Based on Information Extraction of Color Difference Coupled Circle Fitting Technique［J］.Journal of Chongqing University of Technology：Natural Science，2015（5）：93 -98.