自適應法向量約束的工件分割方法

黃際瑋，陸安江*，趙麒，彭熙舜，陳伯云

(1.貴州大學大數據與信息工程學院，貴陽 550025；2.貴州民族大學機械電子工程學院，貴陽 550025)

點云分割[1]是根據點云的一些特征信息，如位置信息、法向量信息等，將具有共同特征信息的點云劃分到同一類，從而方便對點云進行處理。點云分割是點云數據處理中重要的步驟之一，點云分割結果的好壞將會直接影響到之后特征提取、曲面重建等過程，因此，點云分割為實現物體識別與定位創造了條件。

目前常用的點云分割方法包括：基于聚類分割的方法[2]、基于區域分割的方法[3]、基于模型的方法以及基于邊緣的方法。在基于聚類分割的方法中，歐式聚類分割的方法[4]最為常用，其分割步驟為：先選取種子點，對種子點進行鄰域搜索，如果在鄰域內發現了其他的點，就將它們與種子點劃分為同一聚類簇，然后在聚類簇中選擇新的種子點進行搜索，若聚類簇中的點不再增加，那么就完成了一次聚類，之后在剩余的點云中選取新的種子點，重復執行之前的步驟，直到遍歷點云中所有的點。歐式聚類分割方法因其分割效率高、穩健性好等優點，在實際應用中常常受到青睞。徐濤等[5]通過利用歐式聚類分割加上對Z軸的約束實現了蔬菜大棚雜草識別。田青華等[6]提出先去出邊緣點，再聚類分割，最后補齊邊緣點的思想，相較于傳統歐式聚類算法，準確性提高了64.26%，速度提高了24.5%。梁雪[7]提出了基于超體素的散亂零件點云分割方法，將零件點云分割為超體素過分割和超體素區域增長兩個過程，成功實現散亂堆放零件的分割過程。在基于區域分割的方法中，劉瑋等[8]提出一種改進的區域生長算法用于解決重疊分割問題，相較于傳統區域生長算法，分割正確率提高了24.9%。薛婧雅等[9]提出一種基于超體素與區域生長的機載點云屋頂平面分割方法，通過超體素方法將點云分為初始平面片集合，然后通過區域生長算法對平面片進行聚類得到初始平面。史洪云等[10]提出一種基于空間約束的區域增長算法，對電力線點云2個空間約束條件進行公式化表達后,以此作為生長準則對電力線點云進行區域生長,實現單根電力線分割。

在一般場景下，歐式聚類分割方法能達到理想的效果，但是對于一些特殊場景，如工件之間靠得太近甚至緊貼在一起，僅僅利用歐式聚類分割的方法不能把這些工件有效地分割出來。因此，針對實際場景中出現的工件粘連的情況，現提出一種結合歐式聚類和自適應法向量約束的工件分割方法。首先對點云進行預處理，去除環境噪聲與背景，接著采用歐式聚類分割算法將工件分割成點云簇，對于點云簇中工件粘連的情況，利用區域生長算法設置不同的法向量閾值并進行分割，最終完成工件點云的分割，以期為后續的工件點云識別奠定基礎。

1 數據處理流程

實驗數據選用無錫微視傳感科技有限公司研制的型號PCA-P/S600的3D相機獲取，如圖1所示，該相機采用微機電系統(micro-electro-mechanical system，MEMS)編碼光柵結構光進行掃描，可以根據圖像恢復算法重建出物體的真實三維點云數據，光源為近紅外激光，采用單目結構光原理，工作距離為300～600 mm，可應用于生物識別、工業自動化、機器人、三維重建等場景。其規格參數如表1所示。

表1 PCA-P/S600 3D相機參數

圖1 PCA-P/S600 3D相機

結合歐式聚類和自適應法向量約束的工件分割方法的流程如圖2所示，主要包含點云預處理、生成點云簇和自適應法向量約束三個步驟。首先通過點云預處理去除噪聲與試驗臺背景，保留工件點云。然后利用歐式聚類分割方法把工件劃分成點云簇。最后針對點云簇中存在多個工件的情況，求出其平均法向量，將平均法向量結果代入區域生長算法進行分割，完成最終的工件分割。

圖2 總體分割流程

2 分割原理

2.1 點云預處理

通過3D相機得到包含試驗臺在內的大量點云，且受到實際環境因素的影響，不可避免地會產生噪聲[11]，所以在對點云進行分割之前，需要對采集到的點云進行預處理。為了提高后續對點云分割的效率，需要先利用體素濾波器對相機采集到的點云進行下采樣，該方法能夠在保持點云特征的前提下對點云數據進行精簡，提高后續對點云的處理速度。隨機采樣一致性(RANSAC)算法[12]采用迭代的方式從一組包含離群的被觀測數據中估算出數學模型的參數，由于采集到的點云包含了試驗臺背景，這會影響到后續對工件的分割效果，所以采用隨機采樣一致性算法濾除試驗臺背景。經過前兩步的處理，大量的無關點云已經被濾除，但是仍然存在一些稀疏點云，原因是無法完全地去除背景且采集數據時不可避免地存在噪聲，對于這些離散的點云，根據噪點的特征可以通過統計濾波器[13]對它們進行濾波處理。預處理前后得到的點云如圖3所示，預處理前后的點云數量如表2所示，可以看到，大量的無關點云已經被濾除，只剩下工件點云。

圖3 預處理示意圖

表2 點云預處理階段點云數量

2.2 生成點云簇

原始點云經過預處理之后，大量的無關的點云已經基本被濾除，只留下了工件點云，此時可以使用歐式聚類分割算法將工件點云劃分成點云簇。歐式聚類分割算法是一種基于歐式距離度量的聚類方法[14]，在三維空間中的兩點(x1,y1,z1)與(x2,y2,z2)的歐式距離定義為

(1)

歐式聚類分割算法的步驟如圖4所示，主要經過以下幾個步驟。

圖4 歐式聚類分割算法流程

步驟1對于空間中的某一點M，通過KD-Tree近鄰搜索算法找到k個離點M最近的點{m1,m2,…,mk}，判斷這k個點到點M的距離，將距離小于閾值r的點m1,m2,…,m10,…,存放在集合Q中。

步驟2在集合Q中尋找除M外的另一點，重復步驟1。

步驟3依次遍歷集合Q中所有的點，重復上述步驟，直到Q中沒有新的點加入，則完成一次聚類。

2.3 自適應法向量約束

經過歐式聚類分割后的點云簇中會出現包含多個工件的情況，這是因為工件之間距離太近甚至貼合在一起，僅僅使用歐式聚類分割算法無法將它們完全分割，為了解決這個問題，引入自適應法向量約束的方法，先求出點云簇的平均法向量，然后使用區域生長算法[15]對不同的點云簇設置不同的法向量進行約束并分割，主要過程如下。

步驟1對于某一個點云簇，根據近鄰關系與法向量求出其平均法向量V。

步驟2依據曲率對點云簇中的點進行排序，并設置一空的種子點序列Z與一空的聚類數組L。

步驟3將曲率最小的點加入種子點序列Z，從種子點序列Z中拿出一個種子點并搜索其鄰域。

步驟4比較鄰域點的法線與當前種子點之間的夾角θ，若小于法向量角度閾值，將鄰域點加入聚類數組L，其中閾值設置為平均法向量V。

步驟5從聚類數組中檢查是否存在小于曲率閾值的點，若存在，則加入種子點序列。

步驟6刪除用過的種子點，用下一個種子點重復步驟3、步驟4，直到種子點被清空。

步驟7從曲率排序的點中，即曲率從小到大的順序選取聚類數組中沒有的點作為種子點，重復步驟2～步驟6。

其中，法向量的估計[16]流程如圖5所示。

圖5 法向量估計流程

對于點云中的每一個數據點pi通過K鄰域算法計算出與其相鄰的k個鄰近點，針對這些點計算出一個最小二乘意義上的局部平面，計算公式為

(2)

式(2)中：n為局部平面P的法向量；d為局部平面P到坐標原點的距離。

通過式(2)可知，局部平面P經過k個鄰域點的質心，法向量n滿足‖n‖2=1，所以上述問題可以轉化為求解方差矩陣的特征值，分析協方差矩陣A的最小特征值所對于的特征向量，此小特征向量即為平面P的法向量。其中，協方差矩陣A的計算公式為

(3)

擬合平面P在滿足鄰域點到平面距離平方和最小的條件下，依據拉格朗日定理，解算出協方差矩陣A和平面法向量n滿足如下關系:

An=λn

(4)

式(4)中：λ為矩陣A的特征值；當λ取最小值時，對應的向量n就是擬合平面P的法向量，即pi點的法向量。

平均法向量的計算方法為：首先計算出對于點云簇中某點q鄰域內的所有鄰近點法線夾角的均值αi：

(5)

式(5)中：k為鄰近點數目；vi為點q的法線；q點的鄰近點對應法線分別為{vi1,vi2,…,vij}。

接著遍歷點云中所有的點得到N個鄰近點數目，求出整個點云簇中的平均法向量α：

(6)

3 實驗與分析

實驗數據包含工件與試驗臺背景，其中工件是尺寸為6.0 mm×8.0 mm×4.0 mm的電容，如圖6所示，實驗所用的計算機為64位的Windows10操作系統，配置為AMD Ryzen 54600H CPU@3.0GHz，16.00 GB內存，應用Visual Studio 2017編程環境，配合點云庫(PCL)1.8.1使用。

圖6 電容實物

經過歐式聚類分割后的工件點云簇中，含有多個工件的點云簇如圖7所示。對以上點云簇進行法向量自適應約束，計算出每一個點云簇的平均法向量，如表3所示。

表3 不同點云簇平均的平均法向量

圖7 含多個工件的點云簇

對每個點云簇使用區域生長算法進行分割，并設置不同的法向量進行約束，得到的分割結果如圖8所示。分割時標注的顏色是隨機產生的，每一種顏色代表一類點云，在工件的連接處存在著紅色的點云，這代表著連接的工件已經被分割出來。提取出紅色點云后，得到最終分割結果。每個點云簇分割前后的點云數量如表4所示，每個點云簇分割出的點云類型及每個類型的點云數量如圖9所示。

圖8 法向量自適應約束后的點云簇

圖9 最終分割點云數量

表4 點云簇分割前點云數量

而使用傳統的區域生長算法分割后得到的點云如圖10所示。可以看到，對于一些貼合不太緊密的工件來說，可以使用傳統的區域生長算法分割來達到理想的分割效果，但是對于接觸相對緊密的工件，該方法就不能將它們完全地分割。為了定量分析本文提出的算法精確度，分別使用歐式聚類算法、區域生長算法和本文算法對兩組數據進行分割對比，得到的分割精度如表5所示。

表5 不同算法分割精度對比

圖10 傳統區域生長算法分割結果

利用本文提出的結合歐式聚類與自適應法向量約束的分割方法能比較靈活地提取出點云的邊界信息，利用這些信息對點云實現更精確地分割，彌補了使用傳統算法出現的過分割和欠分割的缺陷，從而得到更好的分割效果。

4 結論

以小型電容為研究對象，應用3D相機對其生成的點云進行分割研究，得出如下結論。

(1)相對于傳統相機，采用基于MEMS編碼光柵結構光的3D相機能夠方便快速地采集工件點云數據，在提高效率的同時保證了數據的精度。

(2)根據點云的分布特征，通過體素濾波、隨機采樣一致性去平面、統計濾波去噪聲的濾波順序有效地提取出工件點云，為后續工件點云分割提供了條件。

(3)針對工件點云分割提出了分割精度更高的算法，有效解決了傳統的歐式聚類算法及區域生長算法中出現的過分割以及欠分割的問題。

結果表明，本文提出的分割算法分割準確度得到有效提升，分割效果顯著增強。在此基礎上，下一步工作的重點是如何實現將重疊的工件點云進行有效地分割。