邊緣曲率法用于重疊蘋果識別的研究

謝林峰，戈振楊，黃 波

(昆明理工大學(xué)現(xiàn)代農(nóng)業(yè)工程學(xué)院，云南 昆明 650000)

0 引言

目前，隨著人口老齡化，我國勞動力短缺和人力成本居高不下的問題日益突出。在果蔬生產(chǎn)中，收獲是一個費時費力的過程，因此，將機器人引入果園進行果實作業(yè)不僅可以提高果實作業(yè)效率，降低果實損傷率，還能節(jié)省人工成本，提高農(nóng)戶經(jīng)濟效益[1]，作為一種非常理想的解決方案，對收獲機器人的研究一直是研究人員關(guān)注的焦點。然而，在機器人果實作業(yè)中，能否順利完成果實作業(yè)任務(wù)，依賴于機器視覺系統(tǒng)對蘋果目標(biāo)的正確識別[2]。由于果園環(huán)境的非結(jié)構(gòu)化特點，存在很多影響蘋果識別正確性的干擾因素，而果實間相互重疊是其主要影響因素之一[3]。自然環(huán)境下蘋果重疊現(xiàn)象普遍存在，如何準確識別重疊蘋果是果實作業(yè)機器人視覺系統(tǒng)的技術(shù)難點和研究熱點。

目前，重疊果實的識別方法主要包括Hough變換[4]、分水嶺算法[5]以及幾何學(xué)方法[6]。其中，霍夫變換具有良好的抗干擾能力。但霍夫變換的特點導(dǎo)致其時間復(fù)雜度和空間復(fù)雜度都很高，效率低。分水嶺算法對弱邊緣具有良好的響應(yīng)，但是圖像中的噪聲和對象表面上的輕微灰度變化將導(dǎo)致過度分割。數(shù)學(xué)形態(tài)學(xué)方法應(yīng)用范圍狹窄，它只適合鑒定重疊程度低的水果。

這主要是因為自然環(huán)境下果實生長形態(tài)的多樣性，使果實重疊情況各不相同，從而給識別算法的適應(yīng)性帶來一些影響。為更好地實現(xiàn)重疊蘋果目標(biāo)的識別，本文提出利用重疊蘋果不同果實交點處曲率突變的特點，提出了基于邊緣曲率法的蘋果重疊果實識別方法，并給出了該方法的具體實現(xiàn)過程。

1 重疊水果圖像預(yù)處理

1.1 圖像分割

首先進行重疊果實圖像分割。分割用于將目標(biāo)對象（蘋果果實）與圖像背景（樹葉，樹枝和天空）分開。從不同顏色組成的統(tǒng)計分析可以看出，在目標(biāo)物與背景的YUV顏色分布中，V分量的值存在顯著差異，目標(biāo)物與背景的V分量呈現(xiàn)雙峰分布（見圖1），適用于閾值分割。因此，以V分量為顏色特征，采用最大類間方差（OTSU）方法進行圖像分割，以便更好地適應(yīng)光照條件多變、背景復(fù)雜的果園環(huán)境。對蘋果果實圖像進行分割后，在分割蘋果果實圖像之后，將彩色圖像轉(zhuǎn)換成灰度圖像，其為二值化圖像準備，如圖2（b）所示。

圖1 V分量的統(tǒng)計直方圖曲線 Fig.1 Statistical histogram curves of V

1.2 果實邊緣提取

在二值化圖像中，ROI中存在較小的白噪聲區(qū)域和空洞，如圖2（b）所示。這些噪聲和小孔嚴重影響了邊界的提取。本文實施了以下措施。首先，利用高斯濾波去除噪聲，其次基于游程編碼的區(qū)域標(biāo)記方法對二值圖像中的每個區(qū)域進行標(biāo)記[7]，并計算每個區(qū)域的面積。去除面積小于每個區(qū)域的平均面積的區(qū)域，得出目標(biāo)區(qū)域，在利用種子填充法對目標(biāo)區(qū)域內(nèi)的小孔進行補償。如圖2（c）所示，在去除較小的噪聲區(qū)域并填充內(nèi)孔之后，使用基于方向估計的八鄰域邊界跟蹤算法提取蘋果的像素邊界[8]，如圖2（d）所示。

圖2 水果圖像預(yù)處理 Fig.2 Fruit image pre-processing

2 重疊水果的分離

2.1 邊界曲率計算

果實邊界上某一點的曲率是在端點上方和下方兩個線段之間的角度變化除以這兩個線段的長度之和[9]。假設(shè)灰色方塊構(gòu)成果實的邊界，如圖3所示，并且計算點P的曲率，使用以下公式計算點P處的曲率C。

圖3 邊界曲率計算 Fig.3 Boundary curvature calculating

其中，θ1表示線段PP1與圖像的x軸之間的角度，θ2表示線段PP2與圖像的x軸之間的角度，S1和S2分別表示線段PP1和線段PP2的長度。

其中（1x,2y）和（2x,2y）是圖像坐標(biāo)系中線段端點的坐標(biāo)，通常采用等間距采樣法獲取，但等間距長度采樣會導(dǎo)致過大的曲率計算誤差，因此，本文引入模糊線段生長法[10]來獲得線段的端點，并將模糊線段生長法所用的長度和寬度閾值設(shè)置為2和20個像素。

重疊蘋果（見圖2（d））邊緣上每個點的曲率采用前文提到的曲率計算法，計算曲率絕對值如圖4所示。其中，紅線表示曲率絕對值的平均值。

2.2 基于曲率的果實邊界分割

將曲率的絕對值的平均值設(shè)定為曲率閾值。曲率大于閾值的點被視為曲率不連續(xù)點。果實邊界上的不連續(xù)點如圖5（b）所示。邊界區(qū)和凸起區(qū)中的點總是不連續(xù)的。因此，可以通過去除這些不連續(xù)點來分割重疊果實的整個邊界。分割的整個邊界如圖5（c）所示。

圖4 邊界曲率圖 Fig.4 Boundary curvature curves

圖5 重疊水果分離過程 Fig.5 Overlapping fruits separation process

2.3 邊界段過濾

對整個邊界進行分割后，由于存在屏蔽或凸起的邊界區(qū)域，可能存在一些無效的分段。根據(jù)分段的彎曲程度主要為內(nèi)凹線段，趨于直線線段和比較短的線段的三種無效線段， 使用以下三個標(biāo)準來排除無效段。

標(biāo)準1用于刪除太短的無效線段，其表達式1如公式（3）所示。

其中，Pi表示線段λi中的點，表示λi點的總數(shù)。如果的值小于長度閾值T1，則可以認為線段λi太短并且應(yīng)該排除。

準則2用于去除內(nèi)凹線段，其表達式2如公式（4）所示。

其中，Lλi表示線段λi的兩個端點的弦長，Qi表示Lλi上的點。表示Lλi上任一點屬于果實區(qū)域內(nèi)的總概率。如果的值小于凸凹閾值T2，則線段iλ可以看作是內(nèi)凹的，應(yīng)該排除在外。

準則3用于去除直線線段，其表達式3如公式（5）所示。

本文將閾值T1設(shè)為分割整個重疊邊界所得到的最長段長度的10%，閾值T2設(shè)為0.5，閾值T3設(shè)置為2個像素。對圖5（c）中的邊界段應(yīng)用上述三個準則的結(jié)果見圖5（d）表明，只有屬于兩個單一水果的凸形狀的有效段被保留。

3 果實的擬合

在蘋果圖像中，完整水果的輪廓幾乎是圓形。因此，在該方法中，通過對第2章獲得的每個有效邊界片段的像素點進行圓擬合來識別單個果實。為了減少邊界擬合圓與單個蘋果的輪廓之間的偏差，使用最小二乘法圓擬合。

由于在單個果實的邊界上存在曲率突變點，同一果實在分割重疊蘋果的邊界后可能存在多個對應(yīng)的有效邊界段。因此，必須合并屬于同一果實的不同有效邊界段。本文通過比較兩個擬合圓，圓心與圓半徑的距離，來判斷不同有效節(jié)段是否屬于同一果實。在圖6（a）中，有四個有效段，每個段是紅色，綠色，黃色和洋紅色。為了清楚地說明，合并不同的有效線段的過程。分別把4個線段標(biāo)記為1、2、3和4。首先，通過圓擬合線段1和線段2得到兩個圓（見圖6（b））。因為這兩個圓的中心距離小于它們的半徑平均值，所以合并線段1和線段2，并使用段1和段2擬合標(biāo)記為1的圓（見圖6（c））。其次，擬合線段3產(chǎn)生標(biāo)記為2的圓，因為從圓心1到圓心2的距離小于兩個圓的半徑的平均值，所以保留了由擬合段3得到的圓2（見圖6（d））。然后將線段4擬合獲得標(biāo)記為3的圓（見圖6（e）），而圓3的圓心到圓2圓心距離小于這兩個圓的半徑平均值，所以合并線段4和線段3并使用段4和段3擬合標(biāo)記為4的新圓。通過以上步驟之后，獲取兩個圓（參見圖6（f）），并且圓的數(shù)目等于圖像中蘋果的數(shù)目。

圖6 對象擬合和合并過程 Fig.6 Objects fitting and merging process

4 實驗驗證

為了驗證所提方法的有效性和可靠性，從不同環(huán)境下拍攝的圖像中提取了三個具有代表性特征的重疊蘋果圖像。使用本文提出的方法處理這三個圖像，處理結(jié)果如圖7所示。

圖7 實驗圖像及處理結(jié)果 Fig.7 Experimental images and processing results

為了進一步驗證該方法分離和識別重疊蘋果果實的準確性，從40張圖片中提取了45個具有重疊蘋果的區(qū)域圖像。 在這45個區(qū)域圖像中，包括167個重疊果實，其中115個果實是近距離果實（小于0.5 m），52個果實是遠距離的果實（大于0.5 m）。在近距離和遠距離的果實中，無遮擋的果實數(shù)量分別為70和38，其余部分的表面被葉子和樹枝部分遮擋。 使用所提出的方法對這45個區(qū)域圖像進行實驗，并且實驗的統(tǒng)計結(jié)果列于表1中。

表1 實驗的統(tǒng)計結(jié)果 Tab.1 Statistical result of the experiment

5 結(jié)論

通過曲率邊緣法對重疊蘋果識別進行了研究。為提高算法的環(huán)境適應(yīng)能力，提出3種無效線段準則和對果實有效邊界段進行圓擬合和合并。經(jīng)45個區(qū)域圖像中，包括167個重疊果實圖像的實驗證明，近距離（小于0.5 m），重疊果實準確率達到91.9%左右，遠距離（大于0.5 m），重疊果實準確率達到82.6%，對重疊果實區(qū)域較大和存在較嚴重遮擋情況下的重疊蘋果識別是當(dāng)前研究存留的主要難點。另外，由于實驗不同距離的果實的準確存在一定的差異，所以對不同距離的重疊果實的問題也有待研究。