線結構光掃描傳感器結構參數一體化標定*

王金橋,段發階,伯 恩,劉博文,馮 帆

(天津大學精密測試技術及儀器國家重點實驗室,天津 300072)

?

線結構光掃描傳感器結構參數一體化標定*

王金橋,段發階*,伯 恩,劉博文,馮 帆

(天津大學精密測試技術及儀器國家重點實驗室,天津 300072)

為了精確快捷地標定線結構光掃描傳感器的結構參數,提出了一種線結構光掃描傳感器結構參數一體化現場標定的新方法,建立了線結構光掃描傳感器的數學模型,根據張正友攝像機標定思想結合L-M非線性優化算法能快速精確地完成攝像機內外參數的標定,在此基礎上,引入輔助線激光,通過反復多次提取兩激光交點完成對線結構光平面精確標定。文章還介紹了如何獲取激光交點以及精確提取交點坐標的方法,通過設計相關實驗驗證了本文方法的可行性,使系統精度優于24 μm,能滿足實際測量要求。

線結構光;攝像機標定;光條中心提取;光平面標定

隨著工業生產對非接觸式測量需求日益增加,對檢測的效率和精度也提出了越來來高的標準。線結構光掃描測量是一種基于激光三角法的先進的三維檢測技術,它具有測量范圍廣、效率高、便于操作以及精度適中的優點,在工業測量領域中有著廣闊的應用前景[1-2]。線結構光掃描測量的核心技術就在于系統標定算法的性能,其中主要包含三方面算法:攝像機內外參數標定算法、光條中心提取算法、線結構光平面標定算法。攝像機標定是視覺測量的基礎,常規的標定算法已經比較成熟,大部分研究集中在根據實際應用場合不同而對現有標定技術的改進[3-4]。光條中心的提取算法根據系統設計參數的不同實際效果會有很大差異,要滿足線結構光掃描系統實時在線測量的要求,同時又要保證較高的精度,對光條中心的提取算法就提出了更高的要求,目前大部分算法只能滿足速度和精度的其中一個方面,所以在現有技術基礎上加以整合改進兼顧速度和精度,是線結構光掃描測量必須解決的難題[5-6]。光平面標定方法根據靶標的不同分為三維標定[7]和二維標定[8]2種類型,三維標定方法具有一定的精度,但由于三維靶標制作成本和工藝要求較高,應用場合受到一定限制;二維標定方法的靶標制作簡單、效率高,并且隨著二維標定算法的不斷完善,標定的精度也往往能滿足不同場合測量需要,有著廣泛的應用前景。目前,國內對這些算法的研究大多集中在對單一方面的某些性能的研究,綜合三方面算法而對系統標定算法的研究較少[9-12]。

本文在此基礎上,根據實際測量要求,對線結構光掃描測量系統各方面技術做了大量的研究測試,提出了一套能滿足線結構光測量高標準的系統方案,并從原理和實驗2個角度驗證了系統標定方法的高效和高精度的特性。文章在攝像機標定上采用文獻[13]的思想結合LM非線性優化算法有效標定攝像機內外參數,利用文獻[8]中在光條中心提取時加入直線性約束結合文獻[14]的方法能快速準確提取光條中心線,提出了基于二維棋盤格的光平面標定方法,引入輔助激光,通過準確提取雙激光條交點坐標來精確標定光平面在攝像機坐標系下的方程。由于這三方面的算法是緊密相連的,要保證系統的整體精度必須確保各方面算法的精度,文章通過設計相關實驗驗證各算法的可行性,以及系統的整體精度。

圖1 線結構光掃描傳感器工作原理

1 線結構光掃描傳感器系統模型

在線結構光視覺傳感器系統中,激光器將激光投射到平面標定板上,形成一高亮激光條,通過提取光條中心,準確獲取光條中心點在圖像坐標系下的坐標,通過攝像機投影模型轉換到攝像機坐標系下的坐標。由于激光器與攝像機之間的空間位置關系是固定的,通過光平面標定我們可以知道線結構光平面在攝像機坐標系下的平面方程,二維靶標上的線結構光條是激光平面與靶標面的交線,結合光條中心點在攝像機坐標下的坐標,從而獲取某一時刻光條中心線所在平面處在攝像機坐標系下的坐標,當傳感器以非固定的速率向一個方向移動時,線結構光光條會掃描靶標平面,同時攝像機以一定的采樣頻率獲取任意時刻光條中心所在靶標位置,將攝像機采集到的各幀圖像光條中心位置拼合,形成離散化的點云數據,再經過適當處理,從而實現了線結構光視覺傳感器的掃描測量功能。圖1表示本文所設計的線結構光視覺傳感器系統工作原理圖。

1.1 攝像機投影模型

(1)

(2)

(3)

(4)

如上所示,以P點為例,式(1)表示攝像機坐標系與世界坐標系之間的投影轉換關系,即攝像機外部參數模型;式(2)表示像素坐標系下的投影點p″與世界坐標系轉換;式(3)表示攝像機內部參數標定模型;式(4)表示攝像機畸變模型。R、T分別是旋轉平移矩陣;s是比例因子,與攝像機相對靶標位置有關;fx、fy、u0、v0表示攝像機內參;k1、k2表示攝像機徑向畸變系數,p1、p2表示切向畸變系數。本文基于文獻[10]攝像機標定方法,采用11×12的棋盤格作為標定板,每個方格的尺寸為6 mm×6 mm,利用棋盤格角點作為特征點,在不考慮畸變模型的情況下利用最小二乘法求解,再將包含畸變參數在內的所有參數作為初始值放到LM非線性優化算法中進行優化,得到最終的所有優化解,算法中的目標函數為:

(5)

其中:mij→(u,v);M→(xw,yw)。

1.2 線結構光平面標定

光平面標定的模型參數主要包括攝像機內部參數和光平面與攝像機之間的相對位置關系,在1.1中筆者已經完成對攝像機內參數的標定,而光平面與攝像機之間的位置關系實際上是光平面在攝像機坐標系下的方程,并設方程為:

zC=AxC+ByC+C

(6)

因此,要完成線結構光平面的標定只要確定系數A、B、C即可。從1.1中推理可知,式(1)和式(2)就是激光器光平面標定的數學模型,通過這2個式子可以得到激光光條上的點在攝像機坐標系下的坐標,即要由(u,v)得到對應的(XC,YC,ZC),雖然式(3)表示出了上面2種坐標的轉換關系,但是對于比例系數s是未知的,所以我們需要(XW,YW)來做一個中間的轉換,即先由(u,v)根據式(2)得到(XW,YW),再由(XW,YW)根據式(1)得到(XC,YC,ZC)。

圖2 光平面標定系統示意圖

為了使整個標定過程盡可能簡便,筆者采用與攝像機標定同時進行,如上圖2所示,激光器Ⅰ與攝像機集成在測頭中,測頭與上位機相連可實時觀測圖像質量,激光器Ⅱ可調整角度自由移動。通過引入輔助激光條Ⅱ與原激光條Ⅰ相交,精確提取交點坐標,保持靶標位置不動,改變激光Ⅱ投射位置,反復進行多次,這樣就可以獲得同一靶標姿態下多個雙激光交點坐標,再改變一下靶標位置,重復上述過程,這樣就獲得靶標在不同姿態下的多組雙激光交點。

1.3 激光交點的精確提取

由以上分析可知,要保證光平面標定精度,關鍵在于準確獲取兩激光交點坐標,筆者采用先分別提取兩激光條的中心,擬合兩條直線方程,通過求解兩直線交點來獲取特征點坐標。因此問題的關鍵在于如何精確提取光條中心。

目前國內外學者提出的光條中心提取方法有很多,但結合筆者設計的線結構光掃描測頭對測量速度和精度實際需要(速度50幀/s,精度優于30 μm),并且考慮到系統在測量時受到環境光、材質、背景色以及被掃描工件表面三維形貌調制影響,大部分算法不是提取精度不夠高就是響應時間太長,不能滿足工程實際需要。本文采用文獻[8]中提出的在光條中心點鏈接階段加入直線性約束的思想,結合文獻[14]分別提取激光Ⅰ與激光Ⅱ的光條中心,擬合直線方程求交點,從而獲得兩激光交點的精確坐標值。如圖3所示,為實驗過程中采集的不同角度激光交線圖樣。

值得注意的是,如果直接提取兩激光條中心,由于相互干擾且交點處誤差最大,這樣提取的交點坐標誤差會非常大,所以筆者采用的方法是先求取激光條L1的中心線,然后關閉激光器Ⅰ,打開激光器Ⅱ,并求取激光條L2的中心線,計算兩條中心線的交點。如圖4是對圖3c姿態下分別提取的光條中心圖樣。

圖3 雙激光交點獲取

圖4 雙激光交點提取過程

2 實驗部分

實驗中,攝像機采用型號為MU3E200M(EGYYO)USB3.0工業相機,像素分辨率1600x1200,像元尺寸4.5 μm×4.5 μm,鏡頭采用日本的Computer 8 mm鏡頭,激光器波長635 nm,功率5 mW。定制的11×12陶瓷棋盤格,每格標準長度6 mm,精度為1 μm,系統結構如圖5所示。

圖5 系統實驗

2.1 攝像機標定

本文利用基于張正友標定原理和L-M非線性優化算法的方法標定的攝像機內外參數結果如表1所示,再結合式(4)完成對攝像機的畸變校正。

2.2 光平面標定

按照上文所述的方法固定安裝好實驗各部分,調整好實驗裝置后,在不打開激光的情況下拍攝1幅棋盤圖像,保持各部分不動,根據上述已經完成的攝像機標定可以得到棋盤在攝像機坐標系下的投影關系。打開激光器Ⅰ,利用本文算法獲取激光條L1的中心線,關閉激光器Ⅰ,打開激光器Ⅱ,同理獲取激光條L2的中心線,并計算兩中心線交點坐標,再調整激光器Ⅱ,得到一組交點坐標,再移動棋盤位置,重復以上步驟,最終獲取棋盤在12個位姿下的共計96個點的攝像機坐標系下的坐標。表2列出了其中一組數據分別在圖像坐標系和攝像機坐標系下的不同值。

表1 攝像機內參數及畸變系數標定結果

表2 標定特征點在2個不同坐標系下的坐標值

圖6 光平面標定結果分析

對獲取得到的96個點進行平面擬合,得激光器光平面在攝像機坐標系下的平面方程為:

zC=2.0975xC-0.0521yC+210.0125

圖6(a)為利用實測值擬合的激光平面,圖6(b)為所有特征點到擬合光平面上的距離,所有點到光平面的平均距離為0.026 mm,具有較高精度。

2.2 系統精度驗證

為驗證系統精度,設計如下實驗,基本原理是在光平面內測量棋盤格的尺寸。通過攝像機獲取棋盤圖像并提取棋盤的所有角點,根據每一行的角點的坐標進行直線擬合,如下圖中的Fit line 1。打開激光器,在棋盤上投射出一條激光光條出來,取激光光條上的一串點進行光條直線擬合,如下圖中的Fit Laser center line。Fit Laser center line與Fit Line 1是垂直的,其垂直度可根據兩條直線的斜率來判斷。實驗情況下計算的兩者的角度在89.76°,基本滿足垂直條件。計算Fit Laserline與Fit Line 1的交點A,同樣方法求出Fit Laserline與Fit Line 2的交點B,以此類推。可以從由本文方法標定的攝像機直接讀出各點在攝像機坐標系下的三維坐標,再計算出AB、BC、CD…長度。棋盤格標準規格是6 mm(精度1μ),將實際測得的長度與標準長度比較。原理圖如下圖7所示:a表示實驗原理示意圖,b為實際擬合出交點坐標。

圖7 系統精度驗證實驗

在不同姿態下反復進行10次試驗,試驗結果統計如下表3所示。從表中可知,系統精度優于24 μm。

表3 系統精度實驗結果分析

3 總結

文章提出了一種線結構光掃描傳感器結構參數一體化現場標定的新方法,建立了線結構光掃描傳感器的數學模型,根據張正友攝像機標定思想結合LM優化算法能快速精確地完成攝像機內外參數的標定,在此基礎上,引入輔助線激光,通過反復多次提取兩激光交點來實現線結構光平面準確標定。本文綜合三方面算法完成線結構光掃描傳感器結構參數一體化標定,并從實驗的角度論證了算法的可行性,使系統精度優于24 μm,能滿足實際測量要求。

[1] 孫長庫. 激光測量技術[M]. 天津:天津大學出版社,2008:155-156.

[2]Seokbae S,Hyunpung P,Kuanh H L. Automated Laser Scanning System for Reverse Engineering and Inspection[J]. International Journal of Machine Tools and Manufacture,2002,42(8):889-897.

[3]劉濤,賈剛,王宗義. 一種基于運動的線結構光視覺測量系統標定方法[J]. 傳感技術學報,2011,24(4):624-628.

[4]Jorge Santolaria,Juan-Jose Aguilar. A Crenellated-Target-Based Calibration Method for Laser Triangulation Sensors Integration in Articulated Measurement Arms[J]. Robotics and Computer-Integrated Manufacturing,2011,27:282-291.

[5]Zhou F,Zhang G. Complete Calibration of a Structured-Light Strip Vision Sensor Through Planar of Unknown Orientations[J]. Image and Vision Computing,2005,(23):59-67.

[6]Wu B,Xue T,Zhang T,et al. A Novel Method for Round Steel Measurement with a Multi-Line Structured Light Vision Sensor[J]. Measurement Science and Technology,2010,21(2):025204-025209.

[7]段發階,劉鳳梅,葉聲華. 一種新型線結構光傳感器結構參數標定方法[J]. 儀器儀表學報,2000. 21(1):108-110.

[8]劉震,張廣軍. 一種高精度線結構光傳感器視覺傳感器現場標定方法[J]. 光學學報,2009,29(11):3124-3128.

[9]Nick Van Gestel,Steven Cuypers,Philip Bleys. A Performance Evaluation Test for Laser Line Scanner on CMMS[J]. Optical and Lasers in Engineering,2009,(47):336-342.

[10]吳慶華,何濤,史鐵林. 一種基于平面標靶的線結構光視覺傳感器標定方法[J]. 光電子·激光,2013,24(2):297-301.

[11]許麗,張之江. 基于共面靶標的結構光標定方法[J]. 光電子·激光,2009,20(8):1063-1069.

[12]張超,段發階,董宇青,等. 自動編程器視覺定位算法研究[J]. 傳感技術學報,2011,24(3):382-385.

[13]Zhang Zhengyou. A Flexible New Technique for Camera Calibration[J]. IEEE Trans on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[14]趙博華,王伯雄,楊博淙,等. 混合反射特性表面形貌測量中光刀條紋的提取方法[J]. 清華大學學報(自然科學版),2011,51(8):1084-1088.

王金橋(1989-),男,廣西桂林人,碩士研究生,主要研究方向為計算機視覺檢測,jqw@tju.edu.cn;

段發階(1968-),男,湖南郴州人,博導,教授,主要從事測試計量技術及儀器,激光測試技術,計算機視覺檢測技術和光纖傳感技術等方面研究,fjduan@tju.edu.cn。

CalibrationofLineStructuredLightScanningSensorStructureParameterIntegration*

WANGJinqiao,DUANFajie*,BOEn,LIUBowen,FENGFan

(State Key Laboratory of Precision Measuring Technology and Instruments,Tianjin University,Tianjin 300072,China)

In order to mark line structured light scanning sensor structure parameters accurately,this paper presents a new method for the integration structure parameters calibration of line structure light scanning sensor and establishes the mathematical model of line structured light scanning sensor. According to the Zhang Zhengyou camera calibration based L-M algorithm,this algorithm can complete the intrinsic and extrinsic parameters of the camera quickly and accurately. On this basis,author introduces auxiliary line laser and extracts two laser intersection to finish lines structure light plane calibration repeatedly. This paper also introduces the method of obtaining the laser point and accurately extracting the intersection point coordinate. Relevant experimental results verify the feasibility of this method. The system accuracy is better than 24 μm,meeting the requirement of actual measurement.

line structure light;calibration of camera;extraction of light center;calibration of light plane

項目來源:國家“863”計劃項目(2013AA102402);國家自然基金項目(51275349)

2014-06-06修改日期:2014-07-22

10.3969/j.issn.1004-1699.2014.09.009

TP391

:A

:1004-1699(2014)09-1196-06