基于顏色模型和閾值分割的有遮擋的柑橘果實(shí)識(shí)別算法

李欣 王玉德

關(guān)鍵詞：遮擋柑橘果實(shí);目標(biāo)定位;數(shù)字圖像處理;YCbCr顏色模型;OTSU閾值分割法

我國是柑橘生產(chǎn)大國，柑橘的年產(chǎn)量和銷量位居世界前列，對(duì)柑橘生產(chǎn)實(shí)行農(nóng)業(yè)自動(dòng)化是柑橘果園管理中至關(guān)重要的環(huán)節(jié)。目前，柑橘果園依然大多采用人工逐一采摘的方式收獲成熟的柑橘果實(shí)，采摘過程耗時(shí)較長(zhǎng)，勞動(dòng)強(qiáng)度大，人工成本高，使用機(jī)器代替人工采摘成為農(nóng)業(yè)生產(chǎn)中亟待解決的問題。近年來，隨著機(jī)器視覺和人工智能技術(shù)的迅猛發(fā)展，新的圖像處理與分析的研究方法層出不窮，圖像分割技術(shù)在農(nóng)業(yè)生產(chǎn)方面的應(yīng)用吸引了眾多研究學(xué)者的關(guān)注。司永勝等針對(duì)與背景色彩相近的綠色蘋果，提出了一種基于K-means聚類的蘋果圖像分割方法，在逆光和順光條件下果實(shí)的識(shí)別正確率約為81%，但對(duì)有遮擋蘋果的識(shí)別正確率較低。李昕等研究出一種類圓的隨機(jī)Hough變換改進(jìn)算法，用于識(shí)別自然環(huán)境下被遮擋的油茶果實(shí)，在光照條件下其識(shí)別率達(dá)90.70%。張潤(rùn)浩等為有效分割蘋果目標(biāo)，采用了一種基于YUV空間色差分量和高斯自適應(yīng)擬合算法，果實(shí)平均檢出率達(dá)87.08%。

基于上述研究，提出了基于YCbCr顏色空間模型和OTSU閾值分割技術(shù)對(duì)枝葉遮擋條件下的柑橘果實(shí)進(jìn)行分割的方法，實(shí)現(xiàn)有遮擋的柑橘果實(shí)的準(zhǔn)確分割與檢出。

1果實(shí)識(shí)別分割算法

為準(zhǔn)確地實(shí)現(xiàn)有遮擋的柑橘果實(shí)的分割，文中將圖像分割技術(shù)與物體識(shí)別方法相結(jié)合，基于圖像的顏色特征和最大類間方差法分割柑橘果實(shí)，算法流程如圖1所示。

算法具體實(shí)現(xiàn)步驟為：

a）對(duì)采集的圖像進(jìn)行尺寸歸一化等預(yù)處理;

b）圖像由RGB空間轉(zhuǎn)換到Y(jié)CbCr顏色空間，提取Cb分量;

c）設(shè)定閾值，進(jìn)行OTSU閾值分割;

d）去除步驟b）得到的圖像中的噪聲干擾，分割出有遮擋果實(shí);

e）對(duì)圖像進(jìn)行Sobel邊緣檢測(cè)，得到有遮擋果實(shí)的邊界，提取邊界的最外層像素點(diǎn)，形成凸殼，降低被遮擋區(qū)域?qū)麑?shí)完整輪廓特征的影響;

f）根據(jù)步驟e）獲得的凸殼像素點(diǎn)坐標(biāo)，以距離最遠(yuǎn)的兩像素點(diǎn)為果實(shí)直徑，定位目標(biāo)果實(shí)，完成在原圖中對(duì)果實(shí)的標(biāo)記。

1.1 YCbCr顏色空間模型

YCbCr顏色空間模型是由YUV顏色模型經(jīng)縮放和偏移形成的。在YCbCr顏色空間中，Y與Cb、cr分量相互獨(dú)立，分別代表亮度和色彩特征，其中Cb為藍(lán)色偏移分量，cr為紅色偏移分量。該模型中的每一種顏色可以看作紅、綠、藍(lán)三種顏色的加權(quán)組合。YCbCr顏色空間模型和RGB顏色模型可以通過式（1）和式（2）相互轉(zhuǎn)化：

1.2 OTSU閾值分割

OTSU閾值分割算法，又被稱為大津算法，是一種基于模式分類思路的閾值分割算法。對(duì)一幅圖像I，存在某一分割閾值T，令大于該閾值的像素為背景，小于該閾值的區(qū)域則為前景，即感興趣區(qū)域。前景和背景像素的灰度平均值分別為，前景像素?cái)?shù)與圖像總像素?cái)?shù)之比為，背景像素?cái)?shù)與圖像總像素?cái)?shù)之比為，由公式（3）和公式（4）分別計(jì)算圖像總的灰度平均值和方差。使T遍歷圖像所有灰度值，當(dāng)方差取得最大值時(shí)，T標(biāo)記為最適分割閾值。方差反映了圖像灰度分布均勻性的情況，方差越大，前景和背景的像素差別越大，當(dāng)前景被錯(cuò)誤劃分為背景或者背景被錯(cuò)誤劃分為前景時(shí)，方差的值會(huì)變小，所以使類問方差最大的閾值選擇保證了前景和背景錯(cuò)分概率最小。

為檢測(cè)閾值分割效果，使用Photoshop磁性套索工具提取出果實(shí)的實(shí)際區(qū)域，引入以下四個(gè)指標(biāo)對(duì)分割算法進(jìn)行評(píng)價(jià)。

式（5）～式（8）中，TP為實(shí)際果實(shí)區(qū)域與分割果實(shí)區(qū)域交集的像素點(diǎn)個(gè)數(shù)，F(xiàn)P為不在實(shí)際果實(shí)區(qū)域但被判定為果實(shí)區(qū)域的像素點(diǎn)個(gè)數(shù)，F(xiàn)N表示在實(shí)際果實(shí)區(qū)域但被判定為背景區(qū)域的像素點(diǎn)個(gè)數(shù)，TN表示既不在實(shí)際果實(shí)區(qū)域也不在分割果實(shí)區(qū)域的像素點(diǎn)數(shù)。準(zhǔn)確率表示分割前景和背景判定正確的像素占樣本圖像總像素的百分比，精確率描述正確分割的果實(shí)區(qū)域像素占分割果實(shí)像素總數(shù)的比例，召回率描述正確分割的果實(shí)區(qū)域像素與實(shí)際果實(shí)像素?cái)?shù)之比，交并比表示正確分割的果實(shí)區(qū)域像素占實(shí)際和分割的果實(shí)區(qū)域總像素的百分比。

1.3凸包運(yùn)算

為準(zhǔn)確提取果實(shí)的邊界特征，降低遮擋對(duì)果實(shí)識(shí)別的影響，使用凸包算法提取目標(biāo)凸殼。凸殼定義為包含該點(diǎn)集的最小凸集，是集合所有點(diǎn)的邊界_。如圖2所示，凸包算法的基本實(shí)現(xiàn)思路如下：

考慮柑橘果實(shí)類圓輪廓特征，其相鄰像素點(diǎn)距離較近，對(duì)果實(shí)邊界提取凸殼時(shí)，凸殼頂點(diǎn)構(gòu)成的區(qū)域與部分原始輪廓重疊，可以有效提取出部分果實(shí)類圓邊界，減少枝葉遮擋對(duì)果實(shí)邊界輪廓特征的影響。

2實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)中，采集自然狀態(tài)下被枝葉遮擋的柑橘果實(shí)圖片作為實(shí)驗(yàn)樣本圖片，圖像尺寸設(shè)置為500×350像素，部分樣本圖片如圖3所示。實(shí)驗(yàn)用計(jì)算機(jī)配置為英特爾酷睿15處理器、主頻為2.5GHz、內(nèi)存為8.00GB，軟件為MATLAB R2016a。

圖3，從RGB顏色空問轉(zhuǎn)換到Y(jié)CbCr顏色空間中，提取出Cb分量。由圖4可以看出，Cb分量顯示的果實(shí)和背景差異明顯，其柑橘果實(shí)顏色較暗，像素值較小，而背景的顏色較亮，像素值較大。遍歷圖像所有灰度值，由公式（3）和公式（4）計(jì)算出方差最大時(shí)的閾值即為圖像分割的最佳閾值，對(duì)圖4進(jìn)行OTSU自適應(yīng)閾值分割，像素二值化反轉(zhuǎn)，結(jié)果如圖5所示。

從圖5可以看出，圖像中部分背景被誤分割為果實(shí)區(qū)域，形成背景噪聲，這些干擾像素互相組合形成了或大或小的連通區(qū)域。將未與目標(biāo)區(qū)域連通的噪聲像素值設(shè)置為0，針對(duì)與目標(biāo)像素連通的噪聲部分，采用形態(tài)學(xué)腐蝕和膨脹操作消除干擾像素點(diǎn)。由于光照等條件的影響，果實(shí)內(nèi)部存在細(xì)小的空洞。對(duì)目標(biāo)區(qū)域進(jìn)行空洞填充，并使用中值濾波平滑果實(shí)邊界輪廓，如圖6所示。

在上述算法分割的基礎(chǔ)上，對(duì)果實(shí)分割效果進(jìn)行定量評(píng)價(jià)。由表1可以看出，該算法分割準(zhǔn)確率和精確率平均可高達(dá)95.40%和99.84%，召回率和交并比較高，果實(shí)分割效果較好。

觀察圖6，可以看出柑橘果實(shí)區(qū)域已經(jīng)被準(zhǔn)確分割出來，但由于果實(shí)被樹枝和葉片遮擋，導(dǎo)致圖像中果實(shí)的部分邊界輪廓缺失，無法分割出完整的果實(shí)區(qū)域。為了減少遮擋對(duì)果實(shí)識(shí)別的影響，對(duì)圖6采用Sobel邊緣檢測(cè)。Sobel邊緣檢測(cè)根據(jù)一階導(dǎo)數(shù)求取極大值的原理，先對(duì)灰度進(jìn)行加權(quán)平均，然后進(jìn)行微分運(yùn)算，從而準(zhǔn)確檢測(cè)目標(biāo)邊緣，抑制噪聲影響。使用凸包算法提取目標(biāo)果實(shí)區(qū)域最外層像素點(diǎn)，形成凸殼，如圖7所示。

遍歷凸殼上的所有點(diǎn)，計(jì)算兩像素點(diǎn)問的距離L，取L最大值時(shí)兩點(diǎn)的坐標(biāo)，作為類圓目標(biāo)直徑的兩端點(diǎn)，定位出目標(biāo)果實(shí)，并在原圖像中標(biāo)記，識(shí)別結(jié)果如圖8所示。

為了檢驗(yàn)算法的準(zhǔn)確性和實(shí)用性，采集200張有遮擋的柑橘圖像，共378個(gè)果實(shí)，統(tǒng)計(jì)算法正確識(shí)別的柑橘果實(shí)數(shù)量，計(jì)算識(shí)別檢出率和錯(cuò)檢率。如表2所示，使用算法分割和識(shí)別枝葉遮擋的柑橘果實(shí)，檢出率可達(dá)90.48%，實(shí)現(xiàn)了有遮擋的目標(biāo)果實(shí)的識(shí)別，分割檢測(cè)準(zhǔn)確率較高。但算法對(duì)于光照條件過強(qiáng)的柑橘圖像的識(shí)別效果還有待提升，其原因是光照過強(qiáng)使得顏色模型對(duì)柑橘果實(shí)的分辨效果減弱，難以分割出有效的果實(shí)區(qū)域。

3結(jié)論

自然環(huán)境下生長(zhǎng)的柑橘，枝葉與果實(shí)之間往往存在相互遮擋的復(fù)雜位置關(guān)系，增加了果園機(jī)器識(shí)別的困難程度。研究了基于Ycbcr顏色空間模型和OTSU自適應(yīng)閾值分割法分割有遮擋的果實(shí)區(qū)域，結(jié)合了邊緣提取和凸殼算法標(biāo)記有遮擋果實(shí)的邊界輪廓，擬合出了果實(shí)類圓邊緣，實(shí)現(xiàn)了對(duì)有遮擋柑橘果實(shí)的分割和定位識(shí)別，檢出率可達(dá)90.48%。通過計(jì)算機(jī)視覺和數(shù)字圖像處理技術(shù)實(shí)現(xiàn)了對(duì)有遮擋的柑橘果實(shí)的目標(biāo)識(shí)別，為自然環(huán)境下柑橘園使用機(jī)器識(shí)別果實(shí)，緩解人工采摘壓力提供了理論依據(jù)和實(shí)踐支撐，適用于果園自動(dòng)化采摘的果實(shí)定位階段，有利于果實(shí)識(shí)別和采摘機(jī)器人的進(jìn)一步研究。