果樹重建與果實識別方法在采摘場景中的應用*

熊龍燁, 王 卓, 何 宇, 劉 灑, 楊長輝,2

(1.重慶理工大學 機械工程學院,重慶 400054；2.西安交通大學 機械工程學院,陜西 西安 710049)

0 引 言

對于柑橘采摘機器人來說,完整獲取柑橘樹的三維信息以及準確識別成熟的柑橘有利于實現機器人的精準采摘[1～4]。近年來,隨著深度相機的快速發展獲取物體的三維信息變得更加方便、快捷,因此基于點云的三維重建成為當下的研究重點。Kinect v2,作為微軟第二代深度相機,能夠同時獲取物體的彩色信息和深度信息,由于其采用了飛行時間主動光源技術進行測距不易受到外界光線變化的影響,具有出色的深度信息獲取能力[5]。該相機因其具有操作簡單價格低廉以及定位精度高的優點,目前被廣泛應用于各種目標物體的三維重建[6]。

基于上述情況,本文將柑橘樹作為研究對象,通過Kinect v2獲取不同角度下的柑橘樹的點云,對獲取的點云進行濾波、融合等處理,采用泊松表面重建算法對其進行重建。與此同時,根據成熟柑橘的顏色特征,通過顏色空間轉換和通道分離的方法,首先在HSV顏色空間H通道下進行初次分割對柑橘區域進行初步提取,然后在Lab顏色空間a通道下對其進行二次分割,最后通過對分割區域進行橢圓擬合的方法實現對柑橘區域的最終提取。

1 實驗材料與方法

1.1 實驗設備與圖像采集

實驗所采用的設備為Kinect v2,硬件結構如圖1(a)所示,實驗地點位于重慶理工大學柑橘實驗基地,在天氣晴朗光照溫和的條件下,通過該相機對柑橘樹進行如圖1(b)所示的A,B,C三個角度進行拍攝,拍攝的距離為1 m左右。

1.2 點云獲取及預處理

彩色圖像中包含較多除開柑橘樹以外的其它背景,首先通過深度閾值分割的方法去除彩色圖像中多余的背景,然后利用雙邊濾波算法[7]對深度圖像進行濾波處理,其中輸出像素值與領域像素值之間關系如下

加權系數w(i,j,k,l)取決于定義域核和值域核的乘積

通過深度圖得到柑橘樹的空間三維坐標,然后通過建立深度閾值分割后的彩色圖與雙邊濾波后的深度圖像之間的映射關系,由此獲得具有顏色信息的三維空間坐標(X,Y,Z,r,g,b),即

X=(u-cx)×d(u,v)/fx,Y=(v-cy)×d(u,v)/fy,

Z=d(u,v)

(2)

式中 (u,v)為深度圖上任意像素點,d(u,v)為深度圖中像素坐標(u,v)為對應的深度值,(cx,cy)為深度鏡頭光心坐標,(fx,fy)為深度鏡頭橫向和縱向焦距。

考慮到上述點云中仍含有其他背景以及一些邊緣部分的離群噪聲點,本文通過直通濾波器將Z軸方向上(深度)范圍之外的點濾除,并利用統計濾波器中的Kd-Tree算法查找點云Pi(xi,yi,zi)(i=1,2,…,m)的空間臨近點Pj(xj,yj,zj)(j=1,2,…,n),求解Pi和其臨近點的平均距離di并計算全局距離平均值μ和標準差σ,通過將距離di在μ±ασ范圍之外的定義為離群噪聲點去除。其中,di,μ,σ的計算

其中,參數和臨近點個數n取決于目標點云的數量和密度,本文通過實驗發現n取50,α取 1.0 時濾波效果較好。

通過ICP算法[8]對經過上述處理后得到的點云進行迭代融合,迭代的數學表達式如下

式中Qii=1,2,3,…—第1個點集,Pii=1,2,3,…—第2個點集,R為旋轉矩陣,T為平移矩陣。

1.3 基于泊松曲面重建算法的柑橘樹重建

泊松表面重建算法[9,10]融合了全局和局部方法的優點,利用求解泊松方程來取得點云模型所描述的表面信息代表的隱性方程,通過對該方程進行等值面提取,從而得到具有幾何實體信息的表面模型。泊松曲面重建算法的具體步驟如下:

1)定義八叉樹:使用樣本點的位置來定義八叉樹O,然后附加一個節點函數F0使得八叉樹的每一個節點o∈O

F(x,y,z)=(Q(x)Q(y)Q(z))*n

式中 盒濾波函數為Q(t),n為濾波器的階數,本文取n=3,由此可以得到Fo(q)的數學表達式如下

式中F0為節點函數,F為基函數,rc為節點中心,rw為節點寬度。

式中ND(s)為 8個最接近S點深度為8的節點,α0為三次線性插值權重。

5)提取等值面:為得到重構表面,需要選擇閾值獲得等值面；先估計采樣點的位置,然后用其平均值進行等值面提取,然后用移動立方體算法[11]得到等值面。

1.4 基于顏色特征的成熟柑橘分割識別

本文通過在HSV顏色空間和Lab顏色空間下利用成熟柑橘的顏色特征信息對其進行分割識別。首先將其從RGB顏色空間轉換到HSV顏色空間[12]

通過設定H,S,V以及L,a,b三個通道的閾值進行二次分割,當T

由于從RGB顏色空間轉換到Lab顏色空間時,需要以XYZ顏色空間作為中間轉換

由XYZ顏色空間轉換到Lab顏色空間[13]

校正函數f的計算

2 試驗結果與分析

2.1 試驗條件

按照本文所提到A,B,C三個角度拍攝對柑橘樹進行拍攝,得到對應的彩色圖和深度圖如圖2所示。以上試驗過程均在3.1 Hz處理器、8 G內存的Win10系統的PC上完成,具體的試驗流程圖如圖3所示。

圖2 Kinect v2采集圖像

圖3 實驗流程

2.2 重建結果及分析

對柑橘樹進行重建的結果如圖4所示,其中,圖4(b)為通過彩色圖和深度圖配準之后經過預處理后得到的點云,圖4(c)為重建后得到三維模型,圖4(d)為三維模型經過顏色紋理映射之后的效果。對比圖4(a),(c)以及(d)可以發現重建的柑橘樹對比真實的柑橘樹具有較高的還原度。

圖4 三維重建效果圖

參考文獻[14]中的方法,利用皮尺實地測量了20組柑橘樹的樹冠層直徑和高度,以人為測量的值作為基準值,對比實測值與模型值之間的大小并通過計算二者之間的均方根誤差來對重建精度進行量化。實驗對比結果如圖5所示,重建模型樹冠層直徑與實測直徑的均方根誤差為2.337 cm,樹冠層高度與實測高度均方根誤差為2.962 cm,通過統計可得,重建模型樹冠層直徑誤差范圍為0 %～5.17 %,重建模型樹冠層高度誤差范圍為0 %～4.21 %。

圖5 重建模型樹精度分析結果

2.3 識別結果與分析

對成熟柑橘進行分割識別的效果如圖6所示。對比圖6(a)和圖6(d)可以發現,柑橘果實和枝葉等背景已經被較好的分割開,但仍有少量背景。對比圖6(d)和圖6(g)可以發現,經過兩次分割之后柑橘果實和枝葉等背景已經被完全分割開來。圖6(h)為最終的柑橘區域提取效果,可以看到橢圓擬合的效果較好與柑橘果實本身的輪廓重合度較高,因此,將該區域識別為柑橘果實區域具有較高的準確率。

圖6 成熟柑橘分割識別效果

統計了20組柑橘樹成熟柑橘的識別率(其中包含了前文中所提到A角度7張,B角度7張,C角度6張)的結果如表1所示,由表1可知 A角度下的識別準確率達94.7 %,B角度下的識別準確率達96.3 %,C角度下的識別準確率達92.9 %,三種不同角度下的平均準確識別率達94.72 %。

3 結 論

本文研究的柑橘樹三維重建與成熟柑橘識別方法具有較高的穩定性和準確性,對柑橘樹的重建精度達到94.83 %,對成熟果實識別的準確率達94.72 %。由此說明,該方法能夠保證柑橘樹的重建精度和對成熟柑橘的識別率,可以為柑橘采摘機器人提供采摘指導。