植株點云超體聚類分割方法

劉 慧 劉加林 沈 躍 潘成凱

(江蘇大學電氣信息工程學院， 鎮江 212013)

0 引言

近年來，隨著農業自動化、信息化的發展，植株的三維體特征在檢測分割中越來越重要，而三維點云模型也逐漸成為國內外研究機構的熱點和重點[1-2]。其中圖像分割由二維的彩色信息、灰度信息、紋理特征等發展到三維空間的基于距離、密度、法線等離散點的模型，大大豐富了圖像分割的內容和方法。Kinect V2傳感器利用飛行時間的主動光源技術將同步彩色圖像和深度圖像融合獲得彩色點云，其優良的性價比和實時性在農業自動化中有著廣泛的應用[3-9]。

在農業植株的靶標檢測和變量噴霧的不斷發展過程中[10-12]，目標物體的分割成為首要解決的問題。ITTI等[13]提出了自下而上的顯著性模型，該模型在不同的尺度空間將圖像分成低層次的屬性，獲取顯著性特征圖突出前景，但并不適用于三維空間的分割。ACHANTA等[14]提出的超像素分割方法，能形成緊湊且均勻的超像素塊和較高的邊界依附性，但會產生一定的過分割問題。PAPON等[15]提出，通過結合顯著性特征圖和超像素塊，在高顯著性區域獲得更小的超像素塊，在低顯著性區域獲得較大的超像素塊，相對于傳統超像素分割提高了一定的精度和快速性。文獻[16]提出基于凸性的區域生長來分割粘連物體，但分割耗時較長，對復雜場景的分割效果并不理想。

本文在前人研究基礎上，應用Kinect 二代傳感器獲得彩色圖像和深度圖像，基于顯著性特征圖和深度信息相融合的方法獲取目標區域，最終得到目標物體。

1 實驗材料和方法

1.1 Kinect植株圖像數據采集平臺

實驗地點選擇室內，選擇仿真綠色植株作為仿真對象。實驗分兩組(圖1)，光照環境均為100 lx，第1組目標為單植株實驗，取植株高1.8 m、冠層直徑1.4 m。第2組目標為多植株實驗，取植株高度分別為1.8 m和1.6 m，植株冠層直徑分別為1.4 m和1.2 m。使用Kinect V2傳感器提供的Kinect for Windows SDK[17]結合OpenCV庫和點云庫(Point cloud library, PCL)[18]獲取彩色圖像和深度圖像。

圖1 Kinect植株彩色圖像和深度圖像Fig.1 Kinect-based color and depth images of plant

1.2 植株顯著性點云獲取

1.2.1CIELab顏色空間

圖像的顏色空間有很多種模型[19-20]。其中RGB模型常用于圖像采集和設備對色彩空間的顯示，但相對于人類視覺感知的方式有很大的差異性。并且R、G、B3個顏色通道之間有著很強的相關性，兩顏色之間的色差并不利于對目標物體顏色相似度的劃分，對顯著性區域的分割有很強的干擾性。而CIELab是一種顏色相互獨立的色彩空間，與設備無關，是基于生理特征的顏色系統，并且三顏色通道之間有著很好的獨立性。CIELab通過計算三維空間中兩點的歐氏距離ΔE來表征兩個顏色之間的視覺感知差別，能很好地用數字化的方法來描述人的視覺感應。計算公式為

(1)

式中L2、L1——顏色空間的亮度

a2、a1——顏色空間從紅色到深綠的對立維度

b2、b1——顏色空間從藍色到黃色的對立維度

Kinect V2傳感器通過自帶的SDK獲取RGB圖像。而RGB顏色空間不能直接轉換為CIELab顏色空間，必須先將RGB顏色空間映射到XYZ坐標空間之后，再將其轉換到CIELab顏色空間。RGB顏色空間與XYZ坐標空間轉換關系為

(2)

式中X、Y、Z——圖像坐標值

R、G、B——圖像顏色分量

XYZ坐標空間轉換為CIELab顏色空間的轉換公式為

L=116f(Y/Yn)-16

(3)

a=500[f(X/Xn)-f(Y/Yn)]

(4)

b=200[f(Y/Yn)-f(Z/Zn)]

(5)

(6)

式中Xn、Yn、Zn——RGB顏色空間到XYZ坐標空間轉換矩陣系數，取值分別為0.950 456、1.0、1.088 754

t——坐標空間數值與坐標空間轉換矩陣系數的比值

L、a、b——CIELab顏色空間分量

1.2.2顯著性特征圖

基于ITTI等[13]提出的高斯金字塔模型，將圖像分解為9層高斯金字塔，形成多尺度的圖像。對多尺度圖像分別進行亮度特征和方向特征的提取。同時將設備獲取的RGB顏色空間圖像轉換為CIELab顏色空間圖像后，對圖像進行高斯低通濾波，然后求原圖像與濾波圖像的殘差提取顏色特征。將3種特征值分別進行歸一化處理，并通過高斯差分計算獲得中心-周邊圍繞的金字塔模型，再進行多尺度融合后獲得3幅分別基于亮度、方向、顏色的特征圖。最后通過加權平均將3幅顯著性特征圖融合成一幅顯著性特征圖。

1.2.3顯著性點云

通過Kinect V2實時同步獲取RGB彩色圖像和深度圖像。將獲取的RGB彩色圖像轉換為顯著性特征圖，并利用Kinect V2自帶的開發包計算相機參數，將獲取的深度圖像和顯著性特征圖同步對齊，結合點云庫生成顯著性點云圖像。并可視化顯著性點云圖，用強度表示點云圖中的顯著性特征值，顯著性點云圖中亮度越大的區域，代表越感興趣的目標區域，稱為前景目標。

1.3 改進的SSV-LCCP算法

1.3.1Mean-Shift算法

Mean-Shift算法[21-23]又稱均值漂移算法。其特點就是把支撐空間和特征空間在數據密度的框架下綜合起來。對圖像來講，支撐空間就是體素的坐標點，特征空間就是顯著性特征值，2個空間結合后的數據點就是一個4維向量(x,y,z,f)。在該框架下不斷進行迭代計算，獲得的向量必定收斂于數據局部密度最大的點。其中最大密度點為：在給定三維空間中的n個樣本點中，隨機選取i=1,2,…,n中任意一點k,距離該點r的球形空間中，距離最近、顯著性特征值最相似的點。其密度估計值為

(7)

(8)

F=f1-f2

(9)

(10)

式中Ddist——兩點間歐氏距離

F——兩點間顯著性特征差值

d——空間顯著性特征距離

ω——權重比M——密度估計值

α——常量

f1、f2——對應點顯著性特征值

1.3.2超體聚類和LCCP算法

超體聚類[24-25]是一種自下而上的圖像分割方法。首先以八叉樹對點云進行劃分，獲得不同點團之間的鄰接關系。然后對這些點團基于顏色、法線和空間距離作為相似性法則進行區域生長，獲得超體素塊。

局部凸包連接(Locally convex connected patches, LCCP)算法[26]是基于局部凹凸性的聚類算法。該方法不依賴于點云的顏色，只利用了空間信息和法線信息。通過計算鄰接體素塊中心的法向量夾角來判斷凹凸性，并將凹凸性作為相似性法則進行基于凸邊的區域生長。假設有兩相鄰體素塊，其質心分別為pi(xi,yi,zi)和pj(xj,yj,zj)，計算兩質心之間的單位向量q與兩法向量的夾角βi和βj，如果βi小于βj則為凸，否則為凹。如圖2所示。

(11)

(12)

(13)

式中pi、pj——兩體素塊質心

ni、nj——法向量

βj、βi——單位向量與法向量的夾角

圖2 體素塊連接凹凸性判斷Fig.2 Determination of concavity and convexity of voxel block connection

基于凹凸性的分割算法在針對樹冠和樹干以及一些粘連性物體分割具有顯著的效果。對比基于顏色特征和密度特征的分割，局部凹凸性能快速準確地區分同一植株的不同形狀、不同分布的組織器官。但同時也會陷入局部最優，產生明顯的過分割現象，造成大量的計算浪費。本文加入的顯著性點云，在突出背景和前景的同時，加強了超體聚類過程中同一組織的相似度。因此加入了顯著性點云的LCCP算法能夠在避免過分割的情況下高效地分割出植株粘連的不同組織部分。圖3b中在稠密的樹葉部分，顯著性點云弱化了樹葉之間的邊緣信息，用高亮的像素值代替了原點云的紋理信息，增加了同類物體組織的相似度，將樹冠和樹干這一具有明顯凹凸性特征的不同組織分割出來。而圖3a，雖然也對樹干和樹冠進行了聚類分割，但樹冠部分出現了明顯的過分割現象，大大增加了進一步提取樹冠實現變量噴霧的難度。

圖3 植株點云粘連組織分割Fig.3 Plant point-cloud adhesion tissue segmentation

1.3.3Nanoflann算法

Nanoflann算法[27]是從內存和編譯的角度來對近鄰搜索進行優化。其次它還可以在近鄰搜索前直接定義目標點云的最小包圍盒，避免了近鄰搜索中的重復計算，對不同類型的數據兼容性更高，適用性更廣泛。本文在超體聚類搜索近鄰點生成超體素塊的過程中，針對Nanoflann算法加速的SSV超體聚類和基于Flann近鄰搜索算法的SLIC聚類進行了快速性對比。通過對同一目標物體進行不同分辨率的下采樣稀疏，獲得不同點云數量的目標物體，然后進行對比分析，結果如圖4所示。同一物體在不同稀疏度即不同點云數量的情況下，Nanoflann加速算法下的超體聚類相比與傳統Flann近鄰搜索的SLIC聚類，快速性得到了很大的提升。

圖4 Nanoflann和Flann算法快速性對比Fig.4 Comparison of fastness between Nanoflann and Flann algorithms

1.3.4SSV-LCCP算法流程

本文提出的顯著性植株點云超體聚類分割(Supervoxels based on salient point cloud-locally convex connected patches, SSV-LCCP)算法步驟如下:

(1)Kinect V2獲取彩色圖像后，將圖像RGB顏色空間轉換為CIELab顏色空間，并計算顯著性特征值，構建顏色特征圖。同時根據Itti算法獲得亮度、方向特征圖，通過加權平均融合這3幅特征圖，構建多尺度下的顯著性特征圖。

(2)同步對齊顯著性特征圖和深度圖像[21]，融合獲取顯著性點云。

(3)八叉樹[28-29]初始化點云，構建種子點云的K-D樹[30]搜索方法。利用Nanoflann算法加速近鄰搜索，并基于Mean-Shift算法，找出八叉樹網格中滿足閾值條件的局部密度最大點作為種子點。

(4)通過式(8)中獲得的空間顯著性特征距離d作為閾值，搜索種子近鄰點，并對種子點進行最大遞歸深度的區域生長。當迭代次數m大于最大遞歸深度時，迭代終止，獲得顯著性超體素。其中最大遞歸深度由八叉樹的分辨率和種子點分辨率計算得到，其計算公式為

(14)

式中Mdepth——最大遞歸深度

R——八叉樹分辨率

δ——比例系數

圖5 SSV-LCCP點云分割算法流程圖Fig.5 Flow chart of SSV-LCCP point cloud segmentation

(5)將各超體素塊重心作為頂點，各重心之間特征距離為邊，構建鄰接圖。判斷各體素塊的凹凸性，并基于凸性的生長準則對超體素塊進行LCCP再次聚類。

SSV-LCCP算法程序流程圖如圖5所示。

1.4 SSV-LCCP算法應用

經過實踐證明，本文算法可以具體應用于對目標植株的變量噴霧。本文通過Kinect V2對具體目標植株進行點云分割提取后獲得單一樹冠的點云目標[31]，并根據提取的樹冠具體目標控制長桿噴頭電磁閥開關，對目標物體進行變量噴霧。如圖6所示，圖6a為實驗小車平臺，搭載了可控的帶電磁閥噴頭、用于檢測目標植株噴霧區域的Kinect V2傳感器、控制系統、藥箱、驅動輪、噴桿。圖6b為實驗全景圖。圖6c為提取的樹冠部分，為變量噴霧的主體目標，其余部分不進行噴霧。圖6d為噴霧實驗現場圖，只有頂部正對樹冠部分有水噴出，底部兩個正對樹干部分噴霧電磁閥噴頭關閉。

圖6 目標植株的變量噴霧實驗Fig.6 Variable spray experiment of target plant

2 實驗與結果分析

2.1 點云獲取與處理

Kinect V2相機獲取同步彩色圖像并轉換為顯著性特征圖。由圖7可以看出，顯著性特征圖高亮區域突顯了前景目標，簡化了復雜場景。

圖7 植株顯著性特征圖Fig.7 Salient pictures of plant

對顯著性特征圖和深度圖像進行同步對齊融合，獲得顯著性點云。由圖8可以看出，顯著性點云顏色越亮的區域顯著性特征值越大，被識別出的優先級越高。對該區域進行下一步超體聚類時也能更好地保護目標區域的邊界屬性。

圖8 植株點云圖Fig.8 Point clouds of plant

對獲取的顯著性點云進行超體聚類。由圖9可以看出，原始點云的超體素塊(圖中多邊形區域)雜亂沒有規則，而顯著性點云的超體素塊更加趨于正方體(圖中更加趨近于正方形區域)。由此可看出顯著性點云超體素相較于原始點云在相同的體素分辨率下擁有更加規則的體素塊和更好的邊界性。

圖9 植株超體聚類圖Fig.9 Supervoxel clusters segmentation of plant

圖10 植株LCCP聚類圖Fig.10 LCCP clusters segmentation of plant

經過超體聚類后，對超體素塊進行再次LCCP聚類，獲得最終的聚類圖像。圖10a、10c所示為傳統基于凸性的超體聚類(Simple linear iterative cluster- locally convex connected patches, SLIC-LCCP)的結果，圖10b、10d為本文SSV-LCCP聚類效果。其中圖10a相對于圖10b單植株生成的樹冠部分產生了多處過分割，圖10c相對于圖10d多植株部分的樹冠與背景墻和多植株樹冠部分均產生了一定的過分割。因此本文算法在顯著性區域邊界部分有更好的收斂性，分割效果更好。

2.2 點云分割誤差分析

2.2.1邊界召回率

邊界召回率在圖像中用來評價圖像邊界分割的準確度。本文通過計算(2g+1)2范圍內目標物體超體素的獲得邊界占真實目標物體的獲得邊界百分比來衡量超體素聚類的邊界召回率，其中g=0.002 5h(h為體素塊主對角線長度)。其計算公式為

(15)

式中TP——標記正確的邊界

FN——標記錯誤的邊界

G——超體素中標記的邊界

S——超體素REC——召回率

其中召回率越高，代表點云超體素邊界分割效果越好。

2.2.2過分割率

過分割率評價了屬于同一物體的超體素中誤分割的體素塊占總分割體素塊的百分比。其計算公式為

(16)

式中OV——誤分割的體素數

OR——理論上正確分割的體素數

OS——過分割率

V——超體素中標記分割的體素

其中過分割率越低則目標物體的分割效果越好。

通過傳統的超體聚類算法和SSV-LCCP聚類算法計算同一點云不同分辨率的邊界召回率和過分割率來定量分析分割效果。從圖11可以看出，同一目標物體在不同分割精度下(像素塊數越多分辨精度越高)，SSV-LCCP超體聚類的召回率和過分割率都要優于傳統的SLIC-LCCP算法。其中本文算法召回率高出傳統算法4%～5%，過分割率低于傳統算法1%～3%，時間上傳統算法在5 000個超體素塊時耗時10.97 s，本文算法經過加速優化后降低至3.43 s。因此，本文改進算法，在邊界召回率和過分割率上具有明顯的優勢，分割時間也相對較短。

為了驗證本文算法的穩定性，對仿真植株每間隔30°獲取一次點云圖像，進行多次實驗取誤差平均值。表1為本文算法與SLIC-LCCP算法的誤差對比分析表。由表1可見，在不同數量級的體素塊分割聚類過程中，其召回率、過分割率和效率都得到顯著改善。

圖11 點云誤差分析圖Fig.11 Point cloud analysis diagrams

試驗組算法試驗次數體素數召回率/%過分割率/%時間/s200078.99.36.23傳統算法50300083.110.77.23(SLICLCCP)400085.512.78.65單植株500086.715.110.97200084.78.52.25本文算法50300087.89.42.57400090.110.72.94500090.712.03.43試驗組算法試驗次數體素數召回率/%過分割率/%時間/s200076.38.96.07傳統算法50300082.510.57.28(SLICLCCP)400086.112.48.49多植株500087.015.010.93200085.18.72.31本文算法50300088.39.72.63400090.910.62.92500091.211.93.47

3 結論

(1)提出了基于顯著性的超體素聚類分割算法。通過構建顯著性特征圖、融合深度信息構建顯著性點云，提取明確的前景目標，大幅提高了分割效率和分割的準確性。

(2)在獲取顯著性點云后，在對目標植株進行超體聚類的過程中，基于Mean-Shift算法獲取顯著性區域優質種子點，能大幅減少稀疏區域的體素塊，增加顯著性區域的體素塊。并且基于顯著性點云的超體素塊形狀更加規則，具有更好的邊界性，大幅提高了前景目標的邊界召回率，降低了過分割率。

(3)在獲取超體素塊后，利用基于凸包的區域生長方法，能夠很好地分割粘連物體，將樹干和樹冠從背景中分割出來的同時加以區分，分別用不同的顏色表示，方便后期變量噴霧的目標提取。

(4)利用Nanoflann算法對程序中近鄰搜索進行優化加速，大幅提高了分割效率，其快速性也得到了顯著提高。