基于線結(jié)構(gòu)光點云三維重建的彎管形工件測量方法

曾 凱， 王福斌， 劉賀飛， 邸 躍

(華北理工大學(xué)電氣工程學(xué)院, 唐山 063210)

隨著“中國制造2025”戰(zhàn)略的不斷推進,彎管式工件在化工生產(chǎn)、冶金制造、軌道交通等行業(yè)中被廣泛使用,以化工生產(chǎn)中廣泛應(yīng)用的彎管流量計為例,彎管截面尺寸出現(xiàn)誤差將導(dǎo)致原料輸送不夠準確、傳送數(shù)據(jù)出現(xiàn)偏差,使整個生產(chǎn)流程受到干擾。由于彎管式工件尺寸多樣、曲面各異,導(dǎo)致工件測量困難。目前,大部分廠家依然用手工測量方法對其進行尺寸檢測,檢測結(jié)果存在錯誤率高、效率低、被測物易被磨損等缺點,不能滿足工業(yè)生產(chǎn)線上實時檢測的需求。為解決對彎管式不規(guī)則工件的實時檢測問題,需要更加高效、精確的非接觸式測量方法。

非接觸式測量方法主要有聲波式測量、立體視覺測量和結(jié)構(gòu)光視覺測量等。聲波式測量是通過向待測物發(fā)射聲波,使其內(nèi)部來回反射形成震蕩,來計算工件的尺寸。聲波法易受外界環(huán)境干擾,難以測定移動中的工件尺寸[1]。立體視覺測量是使用兩臺相機從不同角度獲取待測物圖像,通過立體匹配法得出視差圖,結(jié)合三角測量原理獲取被測物體三維尺寸[2]。視覺算法需要消耗較長的計算時間,無法兼顧精度和速度,達不到實時在線測量的要求[3]。結(jié)構(gòu)光視覺測量是激光掃描與視覺處理技術(shù)的結(jié)合,其通過相機采集被激光掃描的工件圖像并計算圖像中條紋的中心坐標,然后基于三角測量原理進行空間尺寸變化來獲得工件尺寸[4]。結(jié)構(gòu)光測量法具有實時性強、檢測精度高等優(yōu)點,滿足工業(yè)實時在線測量的要求[5]。

目前,中外學(xué)者對彎管式不規(guī)則工件幾何尺寸的測量方法研究甚少,汪小涵等[2]研究了基于線結(jié)構(gòu)光的工件尺寸在線測量系統(tǒng),搭建了三維測量平臺,對規(guī)則工件的測量誤差為0.2 mm,但沒有說明系統(tǒng)是否能夠?qū)崟r移動的工件進行測量,并且需要提高測量精度以滿足工件檢測的要求。陳至坤等[6]提出用結(jié)構(gòu)光獲取角鋼的點云三維數(shù)據(jù),對數(shù)據(jù)進行預(yù)處理、模型重建、長度測量,對角鋼的測量誤差在0.15 mm之內(nèi),但沒有闡明該系統(tǒng)是否能對復(fù)雜工件進行尺寸測量,以及該系統(tǒng)是否能進行實時的工件測量。Mei等[7]在Scheimpflug條件下建立結(jié)構(gòu)光三維測量系統(tǒng),將Scheimpflug技術(shù)應(yīng)用于鏡頭平面,保證視覺測量系統(tǒng)在更大的測量范圍內(nèi)具有優(yōu)質(zhì)的分辨率,實現(xiàn)了對小孔徑球體的測量,但Scheimpflug條件有一定的限制性,并沒有闡明可否適用于可移動物體的測量。史耀群等[8]使用結(jié)構(gòu)光投影技術(shù),建立了微小物體三維形貌測量系統(tǒng),對目標物體的測量精度可達到11 μm,拓寬了對微小物體三維形貌的檢測方法,但需要加快檢測速度以適應(yīng)工業(yè)檢測需求。胡開心等[9]利用三維激光掃描和點云分析技術(shù),實現(xiàn)了對大型曲線圓管類結(jié)構(gòu)的測量,其測量精度較高,對該類大型結(jié)構(gòu)的測量有一定指導(dǎo)意義。李瑛等[10]采用基于結(jié)構(gòu)光測量的改進模板法,對銷孔位置進行測量,測量偏差為0.001 mm,實現(xiàn)了對銷孔加工精度的在線檢測,提高了該類工件的檢測效率。綜上所述,結(jié)構(gòu)光視覺測量法正被逐漸應(yīng)用在工業(yè)檢測、工件測量的各個領(lǐng)域中,目前急需將該方法應(yīng)用到對不規(guī)則彎管類工件的在線實時測量中。

為解決這一問題,提出采用線結(jié)構(gòu)光點云三維重建的測量方法對彎管類工件進行實時測量。首先介紹了測量平臺的組成和線結(jié)構(gòu)光法測量的原理,研究了如何獲取工件的點云三維數(shù)據(jù),并對該數(shù)據(jù)模型進行配準、除噪、簡化處理,重建了被測物體的三維圖像模型[11],通過對圖像模型截面的直線擬合實現(xiàn)了對彎管模型截面寬度、半徑、內(nèi)徑、彎曲角的實時測量,證明了本文方法的可行性,通過測量數(shù)據(jù)的對比,證明了該方法的穩(wěn)定性和準確性,對進行不規(guī)則工件的實時檢測具有重要意義。

1 線結(jié)構(gòu)光測量

1.1 單目線結(jié)構(gòu)光測量原理

線結(jié)構(gòu)光三維視覺測量平臺如圖1所示,平臺由ST645線激光器、Mako192工業(yè)相機、LED光源、漢光PSA300電控精密位移平臺組成。選取某工廠提供的DN100彎管模型作為測量對象,其截面寬度為46.5 mm，半徑為15 mm，內(nèi)徑為20 mm，彎曲角為90°。將模型放置傳送平臺后,將受傳動軸控制以約4.3 cm/s的速度移動經(jīng)過攝像頭和線激光,相機獲取彎管模型圖像后,對彎管截面的寬度、半徑、內(nèi)徑、彎曲角4個參數(shù)進行測量,測量原理如圖2所示,當(dāng)相機拍攝到照射在待測物上的激光線時,光平面和相機視點將在待測物上形成交叉點,當(dāng)被測物移動時交叉點也會同時移動并形成物體表面的輪廓圖,通過相機對輪廓圖的記錄,即可在標定后的測量系統(tǒng)下獲得被測物體上的點云信息,通過對點云位置信息的處理實現(xiàn)被測物的測量。

圖1 測量平臺Fig.1 Measurement platform

圖2 三角激光測量原理Fig.2 Triangular laser measurement principle

1.2 測量系統(tǒng)的標定

測量系統(tǒng)的標定由相機標定、光平面位姿標定、移動位姿標定組成。相機位姿參數(shù)標定時,需利用二維圓形平面靶標在鏡頭視野范圍內(nèi)非共面非共線的不同位置擺放,采集不同位置的標定板圖片,并對標靶上小黑點的邊緣輪廓進行提取,進而通過計算確定其內(nèi)參數(shù)和外參數(shù)[12]。標定過程如圖3(原圖縮小5倍)所示,標定結(jié)果如表1所示。

通過采集高低不同位置的標定板圖片和光條圖片來進行光平面位姿參數(shù)標定；并通過采集前后兩張不同位置的標定板進行移動位姿參數(shù)的標定。標定結(jié)果如表2所示。

圖3 標定過程Fig.3 Calibration process

表1 相機位姿標定結(jié)果Table 1 Result of camera posture calibration

表2 位姿和移動位姿標定Table 2 Calibration of pose and moving pose

1.3 光條中心提取

實際測量中,需從相機拍攝的光條中心處,提取結(jié)構(gòu)光中的三維數(shù)據(jù),因此,光條中心提取精度的高低將決定系統(tǒng)建立的點云三維模型精度的高低。由于光條圖像易受到周圍環(huán)境影響,在提取前要對光條中心進行圖像預(yù)處理。利用HALCON中的灰度直方圖確立閾值來消除光條周圍的散斑；采用權(quán)重值為0.5的高斯濾波法,對閾值分割后的光條圖像進行濾波,從而提升光條中心圖像效果[13]。

對光條中心圖像預(yù)處理后,選用灰度重心法提取圖像的光條中心[14]。根據(jù)圖4所示灰度中心法原理從圖像中確立興趣區(qū)(region of interest，ROI),如公式1所示。

圖4 ROI提取圖Fig.4 ROI extraction figure

(1)

式(1)中:第i行、j列的灰度值用G(i,j)表示；(uj,vi)為最后需要的中心點坐標。

通過該方法提取出的光條中心可達亞像素級別[15],提取出的光條中心點如圖5(原圖縮小2倍)所示,使用該方法可獲得由光條中心點組成的點云數(shù)據(jù)模型。

圖5 光條中心點Fig.5 Light center point

2 點云預(yù)處理及三維重建

采用灰度重心法對實驗?zāi)Ｐ瓦M行掃描,提取每一幀光條信息,得到圖6所示的三維點云數(shù)據(jù),各個坐標軸表示長度,數(shù)據(jù)需經(jīng)預(yù)處理后,才能精確還原模型的真實尺寸。通過點云配準、去噪、簡化的方法來處理掃描得到的圖像,從而保證點云三維重建的準確性。

圖6 三維點云數(shù)據(jù)Fig.6 Original 3D point cloud

2.1 點云配準

為彌補實驗進行時的測量盲區(qū),對獲得的點云數(shù)據(jù)進行點云配準。為了縮短配準時間,選用最近點迭代法對點云配準,如式(2)所示,假設(shè)源點集為{Pi|Pi∈R3,i=1,2,3,…,M},目標點集為{Qi|Qi∈R3,i=1,2,3,…,M},進行迭代計算,用計算出的旋轉(zhuǎn)矩陣R和平移矩陣T代替原矩陣并繼續(xù)計算,當(dāng)目標函數(shù)值f(R,T)最小時停止計算,完成兩點集的配準[16]。

(2)

最近點迭代法具體流程如下:

(1)代入點云數(shù)據(jù)P、Q,P為待配準點云,Q為目標點云。

(2)對Pi與Qi中的點的對應(yīng)關(guān)系進行計算,‖Qi-Pi‖2=min。

(4)運用旋轉(zhuǎn)矩陣R與平移矩陣T變換P點云位置,將點集P變換為Pk+1=RPk+T,形成新點集Pi。

(5)計算新點集均方差,判斷f(R,T)是否最小,若不是最小,則返回(2)繼續(xù)運算,若最小,即結(jié)束運算。

2.2 點云去噪

在對物體進行激光測量獲取點云數(shù)據(jù)時,容易給測量結(jié)果帶來噪聲偏差,影響點云重建的精確度,因此對點云進行濾波處理是必不可少的。在濾波方法中,高斯濾波法具有簡單且快速的優(yōu)點,其利用權(quán)重值的分配進行濾波去噪,能夠較好地保存點云的數(shù)據(jù)特征,具有非常好的不失真去噪效果[17],濾波函數(shù)為

(3)

式(3)中：Wx,y為中心像素(x,y)的M×M(M為奇數(shù))大小的鄰域；ωd為空間距離相似度權(quán)重因子；I(i,j) 為灰度圖像位置。

2.3 點云簡化

經(jīng)線激光掃描得到的數(shù)據(jù)十分密集、龐大,使點云在進行三維重建時難度增加且速度緩慢,不利于工件的實時測量,因此要對其冗余的點云給予及時簡化,從而提升被測工件的重建速度。常用的簡化方法有距離法、角度法、均勻網(wǎng)格法等,實驗過程中提出采用改進的角度偏差法對點云數(shù)據(jù)進行簡化,該方法可保留特征點的同時去除冗余點,又可以防止對點云數(shù)據(jù)的過度精簡,有利于縮短點云的簡化時間,如圖7所示,其簡化步驟如下。

(1)設(shè)定長度dmin和角度θmin。

(2)從第N條線的第1個點開始,設(shè)定3個連續(xù)點A、B、C。

(3)計算A、B距離d和AB連線與AC連線的夾角θ。

(4)若d

(5)檢測下一條直線,若存在，重復(fù)步驟(2),若不存在,結(jié)束循環(huán)。

圖7 算法原理圖Fig.7 Algorithm principle diagram

2.4 點云三維重建

經(jīng)過上述對點云的處理后,得到圖8所示的點云簡化模型,之后采用德勞內(nèi)(Delaunay)三角化方法中的三角網(wǎng)生長法進行點云圖像的三維重建。三角網(wǎng)生長法即區(qū)域擴充法,具有易實現(xiàn)、精度高、時間短等優(yōu)點[18],其生長過程如圖9所示。

Delaunay方法實現(xiàn)步驟[19]如下。

(1)選擇數(shù)據(jù)中坐標最小點為初始點,將與該點距離最短的點進行連接,作為Delaunay三角網(wǎng)的初始基線。

圖8 點云簡化模型Fig.8 Point cloud simplification model

(2)在初始基線附近找出與它構(gòu)成Delaunay三角的第3點,并連接成三角形。

(3)將兩條新邊作為新基線,繼續(xù)建立三角形。

(4)將步驟(2)和步驟(3)進行迭代操作,直到所有的點都構(gòu)成Delaunay三角網(wǎng)。

經(jīng)Delaunay方法處理后的物體模型如圖10所示,得到三角化模型后,對形成的網(wǎng)格進行優(yōu)化,去除表面上的偽影并減少相鄰的三角形數(shù)量,最后得到圖11所示的最終三維模型。

圖9 三角網(wǎng)生長法Fig.9 Delaunay method

圖10 三角化后的模型Fig.10 Triangulated model

圖11 彎管最終三維模型Fig.11 Final 3D model of the elbow

3 實驗結(jié)果與分析

在得到三維模型后,對截面三維模型進行直線擬合,獲取待測目標起點和終點的三維坐標,結(jié)合測量系統(tǒng)計算出兩點的距離,得到彎管寬度的測量值,通過最小二乘法來獲得其半徑及彎管內(nèi)徑,每次實驗完成時間約20 s,經(jīng)過多次實驗后,測量結(jié)果如圖12、表3所示。由表3中測量數(shù)據(jù)對比可知,使用線結(jié)構(gòu)光進行測量的結(jié)果與某公司提供的彎管外形參數(shù)間誤差小于0.05 mm,測量誤差符合國家標準,具有較高的精確度。

圖12 彎管測量Fig.12 Elbow measurement

表3 測量結(jié)果Table 3 Measurement result

4 結(jié)論

(1)通過實驗證明了線結(jié)構(gòu)光點云三維重建測量方法可對彎管形不規(guī)則工件實現(xiàn)實時測量,可應(yīng)用到工件生產(chǎn)線的檢測中。

(2)實驗中對移動的彎管截面進行測量,測量精度在0.05 mm以內(nèi)符合國家標準,具有較高的測量精度。

(3)點云預(yù)處理過程中,提出采用改進的角度偏差法對點云數(shù)據(jù)進行簡化,在保留特征點的同時去除冗余點,防止對點云數(shù)據(jù)的過度精簡,提高了點云的簡化率,對縮短工件測量時間有很大意義。

使用本文方法可應(yīng)用到對彎管形不規(guī)則工件的實時在線檢測中,未來研究中,可采用更高精度的光學(xué)設(shè)備,以提高工件測量的精度；可搭建與工業(yè)流水線類似的實驗平臺,檢測不同移速下工件測量的準確性,以優(yōu)化點云重建算法來提升工件檢測效率；可搭建用于數(shù)據(jù)傳輸?shù)奈锫?lián)網(wǎng)平臺,通過實時數(shù)據(jù)傳輸進行工件檢測的遠程操控與反饋矯正,以滿足高效工業(yè)生產(chǎn)的檢測需求。