基于機(jī)器視覺的天然橡膠樹割膠軌跡識別規(guī)劃研究*

孫澤瑾，邢潔潔，胡宏男，張喜瑞，董學(xué)虎，鄧怡國

(1. 海南大學(xué)機(jī)電工程學(xué)院，海口市，570228； 2. 仲愷農(nóng)業(yè)工程學(xué)院機(jī)電工程學(xué)院，廣州市，510225；3. 海南省農(nóng)業(yè)機(jī)械鑒定推廣站，海口市，570312； 4. 中國熱帶農(nóng)業(yè)科學(xué)院農(nóng)業(yè)機(jī)械研究所，廣東湛江，524091)

0 引言

天然橡膠是我國重要的戰(zhàn)略資源和工業(yè)原料，在交通、軍工領(lǐng)域尤為重要[1-2]。天然橡膠因具有良好的耐曲折、回彈性和絕緣等性能[3-4]，其制品廣泛用于交通、醫(yī)療、電子和建筑等多個(gè)不同行業(yè)，與我們的生活、工作等方面息息相關(guān)[5-6]。但目前，我國天然橡膠種植產(chǎn)業(yè)的生產(chǎn)管理機(jī)械化程度很低，尤其是割膠環(huán)節(jié)，仍嚴(yán)重依賴人工，割膠成本約占整個(gè)膠園管理成本的70%左右[7]。近年來，膠工日益緊缺[8]，嚴(yán)重影響了我國天然橡膠行業(yè)的健康發(fā)展。所以研發(fā)天然橡膠智能割膠機(jī)器人，進(jìn)行自動(dòng)化、智能化作業(yè)代替人工割膠是必然趨勢。智能割膠機(jī)器人的最大特征在于能夠模擬人工進(jìn)行自主割膠，表現(xiàn)為：工作時(shí)能夠依據(jù)上次割膠作業(yè)留下的割膠軌跡，自動(dòng)規(guī)劃出本次的割膠軌跡并精準(zhǔn)控制割膠刀的移動(dòng)，所以割膠軌跡識別規(guī)劃是割膠機(jī)器人視覺系統(tǒng)需要解決的關(guān)鍵問題。

近年來，由于計(jì)算機(jī)技術(shù)的快速發(fā)展，基于機(jī)器視覺的目標(biāo)識別和分類技術(shù)得到廣泛應(yīng)用。李慶忠等[9]采用改進(jìn)梯度倒數(shù)的加權(quán)濾波法進(jìn)行圖像降噪，再使用Sobel算子和非極大值抑制確定圖像的高低閾值并對圖像進(jìn)行分塊，最后采用局部區(qū)域生長法檢測圖像邊緣，比較完整地保留了圖像的弱邊緣點(diǎn)；崔永杰等[10]采用誤分割像素評價(jià)方法確定nR-G顏色特征，利用OTSU算法對圖像進(jìn)行閾值分割，再通過Canny算子和橢圓形Hought變換提取邊界信息，對自然環(huán)境下的獼猴桃進(jìn)行識別，提取出獼猴桃的形心、長軸和短軸坐標(biāo)等特征信息。但關(guān)于天然橡膠樹割膠軌跡識別規(guī)劃方面，目前未見相關(guān)研究。

本文以已開割的天然橡膠樹為研究對象，針對光照條件復(fù)雜多變、目標(biāo)前景與背景特征相近等外界因素影響割膠軌跡識別規(guī)劃的難題，從圖像預(yù)處理、圖像分割、軌跡識別和軌跡擬合4個(gè)方面展開研究，提出了一種天然橡膠樹割膠軌跡識別規(guī)劃組合優(yōu)化算法，以期為研發(fā)智能割膠機(jī)器人提供技術(shù)參考。

1 材料與方法

1.1 試驗(yàn)材料與環(huán)境

實(shí)驗(yàn)圖像采集于海南省國家天然橡膠林，拍攝對象為樹齡7年的成年橡膠樹。考慮到識別割膠軌跡時(shí)光照條件對拍攝圖像的影響，故分為3種情況進(jìn)行圖像采集：晴天、陰天、雨天，共采集300張圖像。實(shí)驗(yàn)硬件設(shè)備為APQ TAC-7010工控機(jī)，配置Intel Core i5處理器，16 G內(nèi)存，256 G硬盤；Intel RealSense D455深度相機(jī)。相機(jī)置于智能割膠機(jī)器人末端執(zhí)行器上方6 cm位置；采集距離為橡膠樹樹干前方18 cm，采集圖像為jpg格式，分辨率為320像素×240像素。

1.2 割膠軌跡特征定義

在智能割膠機(jī)器人進(jìn)行割膠作業(yè)之前，需要膠工人工選定天然橡膠樹的割膠區(qū)域，并割出第一條割膠軌跡，用于割膠機(jī)器人識別并規(guī)劃下一條割膠軌跡。割膠區(qū)域由一條開割線和兩條水線構(gòu)成；因天然橡膠樹的乳管與樹干中軸夾角為2°～7°[11]，所以一般采用“陽刀”形式，由割膠區(qū)域的右下方向左上方螺旋上升，形成第一條開割線。水線分為上水線和下水線，位于開割線兩端。水線起到引流的作用，將開割線上流出的原膠引流到下水線下方的收膠容器中。割膠軌跡由開割線、軌跡起點(diǎn)和軌跡終點(diǎn)組成。如圖1所示，軌跡起點(diǎn)為開割線與下水線的交點(diǎn)，軌跡終點(diǎn)為開割線與上水線的交點(diǎn)。

圖1 割膠軌跡特征圖Fig. 1 Tapping trajectory feature image

1.3 割膠軌跡識別規(guī)劃流程設(shè)計(jì)

與實(shí)驗(yàn)環(huán)境相比，圖像在自然環(huán)境中采集及傳輸過程會(huì)包含噪聲等干擾性因素，導(dǎo)致圖像模糊失真、質(zhì)量下降。為了從中提取到更加清晰完整的割膠軌跡，除了對圖像進(jìn)行常規(guī)處理，還需對相關(guān)算法進(jìn)行組合使用，對其相關(guān)的參數(shù)加以改進(jìn)。

基于以上分析，本文針對天然橡膠樹割膠軌跡識別規(guī)劃提出如下組合優(yōu)化算法：首先對原始圖像進(jìn)行如下預(yù)處理。在自然環(huán)境下，通過相機(jī)采集的割膠區(qū)域?yàn)椴噬珨?shù)字圖像，其包含的信息量大，圖像處理的速度慢，故將彩色圖像轉(zhuǎn)換為灰度圖，方便進(jìn)行特征提取。圖像的特征信息和噪聲都主要分布于圖像的高頻部分，因此在降噪的同時(shí)保留圖像細(xì)節(jié)特征是圖像處理的關(guān)鍵環(huán)節(jié)。對灰度圖像進(jìn)行降噪處理，盡可能的消除其中因設(shè)備及環(huán)境產(chǎn)生的高斯噪聲、椒鹽噪聲等此類噪聲的影響，提升圖像識別處理的精確度。與此同時(shí)，圖像降噪常會(huì)因過度平滑操作造成圖像的邊緣特征模糊化，故需要對模糊化的圖像進(jìn)行增強(qiáng)，使原來不清晰的局部邊緣特征更加明顯，抑制不需要的信息，增加圖像識別成功率。其次，利用OTSU算法對預(yù)處理后的圖像進(jìn)行圖像分割，轉(zhuǎn)換成只包含0或255灰度值的二值圖像；通過觀察二值圖像，發(fā)現(xiàn)其中還包含影響圖像質(zhì)量的部分孤立噪聲點(diǎn)，因此對所得圖像加以形態(tài)學(xué)圖像處理，進(jìn)一步消除目標(biāo)邊界外的孤立噪聲點(diǎn)區(qū)域。經(jīng)過圖像預(yù)處理和圖像分割后，此時(shí)的圖像已經(jīng)消除了細(xì)小的紋理，為割膠軌跡精確識別奠定了基礎(chǔ)。再次，天然橡膠樹割膠軌跡識別利用優(yōu)化相關(guān)參數(shù)的Canny算子實(shí)現(xiàn)，獲取割膠軌跡的清晰邊緣。最后，因獲取的割膠軌跡為帶狀區(qū)域，不方便系統(tǒng)規(guī)劃新的割膠軌跡，故對其進(jìn)行軌跡擬合，將帶狀區(qū)域擬合為一條完整的曲線，方便割膠裝置沿軌跡進(jìn)行割膠作業(yè)。

基于以上思路，天然橡膠樹割膠軌跡識別規(guī)劃組合優(yōu)化算法流程設(shè)計(jì)如圖2所示。

圖2 割膠軌跡識別規(guī)劃組合優(yōu)化算法流程圖Fig. 2 Flowchart of combinatorial optimization algorithm for tapping trajectory recognition and planning

1.4 割膠軌跡識別規(guī)劃流程設(shè)計(jì)

天然橡膠樹割膠軌跡識別規(guī)劃組合優(yōu)化算法主要分為以下4部分，包括圖像預(yù)處理、圖像分割、軌跡識別、軌跡擬合。

1.4.1 圖像預(yù)處理

圖像預(yù)處理的作用是優(yōu)化圖像數(shù)據(jù)，抑制圖像中的干擾信息，增強(qiáng)所需信息，進(jìn)而提升圖像處理的成功率。本文圖像預(yù)處理部分包括：圖像灰度化，圖像降噪，圖像增強(qiáng)。

在自然環(huán)境中，使用深度相機(jī)拍攝的原始圖像為彩色數(shù)字圖像。在RGB顏色空間模型中，每種顏色的灰度等級范圍都是0～255，所以彩色圖像的像素點(diǎn)顏色取值范圍約為1 600萬種。而使用灰度化處理將三維顏色空間轉(zhuǎn)換到二維空間中，可以明顯降低計(jì)算量，加快圖像處理速度。圖像灰度化處理方式有[12-13]：RGB通道分量法、平均值法、最大值法和加權(quán)平均法。

本文首先使用以上4種方法對原始圖像進(jìn)行處理，結(jié)果如圖3所示。通過觀察和分析所得灰度圖像，發(fā)現(xiàn)通過加權(quán)平均法所得灰度圖像中割膠軌跡與背景差別較大，更有利于圖像分割和軌跡識別，因此本文采用加權(quán)平均法對采集的割膠軌跡圖像進(jìn)行灰度化處理。

(a) R通道灰度圖

(b) G通道灰度圖

(c) B通道灰度圖

通過分析圖4(a)所示灰度變換后的顏色直方圖，其像素值主要分布在25～125之間，顏色對比并不明顯，圖像中存在背景噪聲是其主要原因。這些噪聲是由一些與割膠區(qū)域顏色特征相近的背景因素造成，如圖4(b)所示，其主要可分為兩類：一類是割膠軌跡邊緣外的少量離散噪聲，如樹葉、樹干和割膠區(qū)域等；另一類是樹干周圍環(huán)境影響。這會(huì)妨礙后續(xù)的邊緣特征提取，因此需對灰度圖像降噪。常用的圖像降噪算法包括高斯濾波、中值濾波和均值濾波等[14-16]，因圖像濾波后需要保持割膠輪廓邊緣的完整性，故本文采用高斯濾波對灰度圖形進(jìn)行降噪，其中高斯濾波器模板采用5×5型，標(biāo)準(zhǔn)差取1.0，高斯公式如式(1)所示。

(1)

式中：σ——標(biāo)準(zhǔn)差；

(x,y)——圖像點(diǎn)的坐標(biāo)；

(xc,yc)——模板中心坐標(biāo)，即坐標(biāo)系原點(diǎn)。

(a) 灰度直方圖

(b) 灰度處理

(c) 高斯背景濾波圖4 灰度變化Fig. 4 Gray scale change

以灰度圖像為例，經(jīng)高斯濾波進(jìn)行背景濾波結(jié)果如圖4c所示。分析可得，運(yùn)用高斯濾波算法處理后已經(jīng)消除了大部分圖像噪聲影響，并且割膠軌跡輪廓邊緣也保存完整，清晰可見。為進(jìn)一步增加目標(biāo)邊緣與其他邊界信息的對比，還需進(jìn)行圖像增強(qiáng)。常見的圖像增強(qiáng)方法有Gamma變換、小波增強(qiáng)和直方圖均衡化等[17-18]。鑒于要增強(qiáng)圖像整體的邊緣細(xì)節(jié)信息，故采用Gamma變換進(jìn)行圖像增強(qiáng)，基本形式如式(2)所示。

s=crγ

(2)

式中：r——灰度圖像輸入值；

s——經(jīng)Gamma變換的灰度輸出值；

c——灰度縮放系數(shù)，通常為1；

γ——伽馬因子，控制變換的縮放程度。

1.4.2 圖像分割

圖像分割是按一定的標(biāo)準(zhǔn)，將數(shù)字圖像劃分成多個(gè)特定區(qū)域的數(shù)字圖像處理技術(shù)[19]。相比與RGB圖像，由于割膠軌跡圖相對簡單，二值化圖像更有利于區(qū)分背景和前景。圖像分割部分主要分為圖像分割、圖像形態(tài)學(xué)處理。

圖像閾值分割是一種常見的圖像分割方法，通過前景與背景之間的差異性，選擇合適的閾值，把圖像劃分為兩個(gè)不同灰度等級的區(qū)域，從而得到連通且封閉的目標(biāo)邊界區(qū)域。最大類間方差法(OTSU算法)被認(rèn)為是圖像分割中閾值選取的最佳算法，其基本原理：找到某個(gè)值把1個(gè)區(qū)間分割為2個(gè)小區(qū)間，并使2個(gè)小區(qū)間之間的方差最大，從而使2個(gè)小區(qū)間的區(qū)別最大。

割膠軌跡原始圖像在預(yù)處理和軌跡分割處理后，圖像中仍舊存在一些不屬于軌跡區(qū)域的噪聲點(diǎn)區(qū)域，因此對圖像進(jìn)行圖像形態(tài)學(xué)處理。首先，使用腐蝕處理除去不屬于軌跡區(qū)域的噪聲點(diǎn)區(qū)域，但在去除噪聲點(diǎn)區(qū)域的同時(shí)也會(huì)腐蝕軌跡區(qū)域，再通過膨脹處理可恢復(fù)軌跡區(qū)域的原來面積。

如圖5所示，采用OTSU算法對軌跡進(jìn)行分割得出二值化圖像(圖5(b))，經(jīng)過腐蝕處理去除孤立噪點(diǎn)得到二值圖像(圖5(c))，最后通過膨脹處理恢復(fù)割膠軌跡圖(圖5(d))。

(a) 圖像增強(qiáng)

(b) 閾值分割二值圖像

(c) 腐蝕效果圖像

(d) 膨脹效果圖像圖5 圖像形態(tài)學(xué)處理Fig. 5 Image morphological processing

通過對圖像進(jìn)行形態(tài)學(xué)處理，消除了大多數(shù)影響軌跡識別的噪聲區(qū)域，并且盡量保留了原來軌跡的面積。但有時(shí)候因?yàn)閳D像采集時(shí)周圍環(huán)境的影響，以及在進(jìn)行圖像形態(tài)學(xué)處理時(shí)卷積核的選擇不恰當(dāng)，處理的效果并不理想，這需要在后續(xù)軌跡擬合之前通過去除非軌跡點(diǎn)算法去掉噪聲點(diǎn)。

1.4.3 軌跡識別

經(jīng)過預(yù)處理和圖像分割后，此時(shí)的圖像已經(jīng)消除了細(xì)小的紋理，可以清楚地看出天然橡膠樹的割膠軌跡區(qū)域。接著進(jìn)行割膠軌跡識別操作，主要分為輪廓識別和邊緣檢測。輪廓是同一范圍內(nèi)相似灰度值或像素值的像素點(diǎn)連成的連續(xù)區(qū)域，通常為曲線[20]。輪廓在形狀分析和物體的檢測和識別中很有用。故在進(jìn)行邊緣檢測前，需要找到割膠軌跡的輪廓。

在割膠軌跡識別過程中，邊緣輪廓作為目標(biāo)檢測最主要的特征之一，它的精確識別與定位起重要作用[21]。邊緣檢測的目的是識別并標(biāo)識數(shù)字圖像中亮度變化最顯著的像素點(diǎn)，即灰度值變化范圍中導(dǎo)數(shù)為0的點(diǎn)。本實(shí)驗(yàn)分別采用Canny算子、Laplace算子、Scharr算子和Sobel算子對割膠軌跡圖像進(jìn)行邊緣檢測和對比分析。從圖6所示結(jié)果可以看出，4種算子都可以檢測出割膠軌跡輪廓的邊緣，但Canny算法提取的割膠軌跡輪廓更加清晰，邊緣線連續(xù)性最好。

(a) Canny算子

(b) Laplace算子

(c) Scharr算子

(d) Sobel算子圖6 邊緣檢測結(jié)果Fig. 6 Result of Edge detection

1.4.4 軌跡擬合

為了方便規(guī)劃割膠裝置的運(yùn)行軌跡，需要把割膠軌跡輪廓處理成一條近似曲線，并且補(bǔ)全軌跡上不連續(xù)的區(qū)域。因前一次的割膠軌跡是規(guī)劃下一次割膠軌跡的主要參考依據(jù)，故可選用輪廓的下邊緣作為新割膠軌跡的模型。大多數(shù)情況下，經(jīng)上述處理后檢測出的割膠軌跡并非是一條平滑且完整的曲線，還有可能存在軌跡以外的噪聲點(diǎn)，這會(huì)嚴(yán)重影響軌跡非連續(xù)區(qū)域的擬合和軌跡斜率的計(jì)算，導(dǎo)致割膠刀偏移軌道，無法達(dá)到自動(dòng)割膠的理想效果，因此需要去除這些非軌跡點(diǎn)。以圖6(a)為例，經(jīng)去除非軌跡點(diǎn)后，所得軌跡并非連續(xù)(如圖7(a)所示)，因此需要對軌跡進(jìn)行擬合。在軌跡擬合時(shí)，選用圖像中割膠起點(diǎn)和終點(diǎn)位置為軌跡曲線的兩個(gè)端點(diǎn)，從起點(diǎn)開始計(jì)算相鄰10個(gè)像素點(diǎn)之間的區(qū)線方程，依次擬合出軌跡曲線中缺失的像素點(diǎn)，直至終點(diǎn)結(jié)束，最終形成一條平滑且完整的新割膠軌跡，如圖7(b)所示。

(a) 去除非軌跡點(diǎn)

(b) 軌跡擬合圖7 軌跡擬合結(jié)果Fig. 7 Result of trajectory fitting

2 結(jié)果與分析

本組合優(yōu)化算法分別對晴天、陰天和雨天3種自然光照條件下采集的圖像進(jìn)行識別，結(jié)果如圖8所示。圖8(a)為晴天天然橡膠樹割膠軌跡原始圖像，光照強(qiáng)度高、圖像對比度高；圖8(f)為陰天天然橡膠樹割膠軌跡原始圖像；圖8(k)為雨天天然橡膠樹割膠軌跡原始圖像，光照強(qiáng)度較低、圖像對比度較低。此算法在3種自然光照條件下均可實(shí)現(xiàn)天然橡膠樹割膠軌跡的識別規(guī)劃。

(a) 晴天原始圖像

(b) 晴天灰度圖像

(c) 晴天二值分割圖像

(d) 晴天割膠軌跡圖像

(e) 晴天軌跡擬合圖像

(f) 陰天原始圖像

(g) 陰天灰度圖像

(h) 陰天二值分割圖像

(i) 陰天割膠軌跡圖像

(j) 陰天軌跡擬合圖像

(k) 雨天原始圖像

(l) 雨天灰度圖像

(m) 雨天二值分割圖像

(n) 雨天割膠軌跡圖像

(o) 雨天軌跡擬合圖像圖8 不同自然光條件下割膠軌跡識別規(guī)劃結(jié)果Fig. 8 Results of tapping trajectory recognition under different natural light conditions

為了進(jìn)一步驗(yàn)證算法的有效性與穩(wěn)定性，對海南國家天然橡膠林采集的180張圖像進(jìn)行驗(yàn)證。按照圖像中割膠軌跡區(qū)域的完整程度及軌跡區(qū)域與背景顏色對比分為3類：第1類是割膠軌跡區(qū)域獨(dú)立完整，且與背景顏色對比明顯；第2類是割膠軌跡區(qū)域獨(dú)立完整，但與背景顏色相近，對比不明顯；第3類是割膠軌跡部分區(qū)域被遮擋或拍攝不完整。

表1 割膠軌跡識別及規(guī)劃結(jié)果Tab. 1 Results of tapping trajectory recognition and planning

識別結(jié)果如表1所示，算法對180張圖像進(jìn)行割膠軌跡識別規(guī)劃時(shí)，第1類圖像的識別規(guī)劃成功數(shù)量為59張，成功率為98.3%；第2類圖像的識別規(guī)劃成功數(shù)量為55張，成功率為91.7%；第3類圖像的識別規(guī)劃成功數(shù)量為47張，成功率為78.3%。造成識別規(guī)劃失敗的主要原因：(1)割膠軌跡區(qū)域與背景顏色相近，易將背景中與割膠區(qū)域顏色相近的部分判斷為割膠軌跡，出現(xiàn)誤識別。(2)割膠軌跡部分區(qū)域被遮擋，影響軌跡識別和擬合效果，導(dǎo)致軌跡識別規(guī)劃成功率降低。(3)由于光線過強(qiáng)，割膠軌跡區(qū)域局部形成反光，在圖像處理時(shí)反光區(qū)域易被當(dāng)成噪聲點(diǎn)剔除，影響軌跡擬合精度。

3 結(jié)論

本文針對復(fù)雜環(huán)境下天然橡膠樹割膠軌跡難以識別規(guī)劃的問題，結(jié)合割膠作業(yè)的實(shí)際需要，從圖像預(yù)處理、圖像分割、軌跡識別和軌跡擬合4個(gè)方面展開研究，提出了一種基于機(jī)器視覺的天然橡膠樹割膠軌跡識別規(guī)劃組合優(yōu)化算法，研究結(jié)論如下。

1) 首先通過對比不同灰度化處理方法，選用加權(quán)平均法處理原始圖像；然后采用高斯濾波降低圖像噪聲；接著利用OTSU算法對圖像進(jìn)行閾值分割，利用形態(tài)學(xué)開運(yùn)算消除了大多數(shù)影響軌跡識別的噪聲區(qū)域，并且保留了原來的割膠軌跡特征信息。再通過對比不同邊界提取算子，選用Canny算子提取割膠軌跡；最后采用軌跡擬合方法，實(shí)現(xiàn)了區(qū)域完整、區(qū)域部分遮擋、顏色對比不明顯等復(fù)雜環(huán)境下天然橡膠樹割膠軌跡的精確識別和精準(zhǔn)規(guī)劃。

2) 所研究設(shè)計(jì)的算法包含了多種算法組合，每種算法都為了下一種算法提供了優(yōu)化的數(shù)字圖像，避免了數(shù)據(jù)冗余，提升了處理速度。

3) 對180幅圖像進(jìn)行識別驗(yàn)證，試驗(yàn)結(jié)果表明：圖像中割膠軌跡區(qū)域完整、且與背景顏色對比明顯時(shí)，識別規(guī)劃成功率為98.3%；圖像中割膠軌跡區(qū)域完整、但與背景顏色相近時(shí)，識別規(guī)劃成功率為91.7%；圖像中割膠軌跡區(qū)域不完整時(shí)，識別規(guī)劃成功率為78.3%。該算法在晴天、陰天和雨天3種不同自然光照條件下均能達(dá)到理想的識別規(guī)劃效果。