面向機器人激光增材制造的機器視覺系統(tǒng)標定算法

陳漢 任杰亮 閆帥 石曉鵬 李志勇

摘要：隨著現(xiàn)代智能制造的快速發(fā)展，金屬增材制造、綠色再制造、焊接等領域大量使用機器人等自動化裝備，視覺傳感是機器人智能制造的關鍵環(huán)節(jié)。針對上述需求設計了一套基于線結構光的視覺傳感器，并對其進行標定，自主開發(fā)了用于機器人激光增材制造的機器視覺系統(tǒng)。該系統(tǒng)通過Matlab相機標定工具包實現(xiàn)相機的內外參數(shù)標定，利用Labview編程提取出像素坐標，根據(jù)最小二乘法擬合出相機坐標系下的光平面方程，實現(xiàn)像素坐標到光平面坐標的轉換，最后針對視覺傳感器與機器人的“Eye-in-Hand”系統(tǒng)實現(xiàn)手眼標定，完成像素坐標到機器人三維基坐標的轉換。實驗結果表明，開發(fā)的視覺傳感器具有較高的定位精度，各方向平均誤差僅為1 mm。

關鍵詞：增材制造;機器視覺;線結構光;手眼標定

中圖分類號： TG665????? 文獻標識碼： A文章編號：1001-2303（2022）02-0036-06

Laser Additive Manufacturing Machine Vision System Development

CHEN Han， REN Jieliang， YAN Shuai， SHI Xiaopeng， LI ZhiyongSchool of Materials Science and Engineering， North University of China， Taiyuan 030051， China

Abstract： With the rapid development of modern intelligent manufacturing， Robots and other automation equipment are widely used in metal additive manufacturing， green remanufacturing， welding and other fields. Visual sensing is a key link in robot intelligent manufacturing. This article addresses the above requirements， Designed and calibrated a set of vision sen‐ sors based on laser structured light， and independently developed a machine vision system for the robotic laser additive manufacturing process. This method realizes the internal and external parameter calibration of the camera through the Mat‐ lab camera calibration toolkit， uses Labview programming to extract the pixel coordinates， fits the laser plane equation in the camera coordinate system according to the least square method， and realizes the conversion from pixel coordinates to laser plane coordinates. Finally， the "Eye-in-Hand" system of the vision sensor and the robot realizes hand-eye calibration， and ob‐ tains the conversion of pixel coordinates to the three-dimensional base coordinates of the robot. Experiments show that the developed vision sensor has high positioning accuracy.

Keywords： additive manufacturing; machine vision; line structured light; Eye-in-Hand calibration

引用格式：陳漢，任杰亮，閆帥，等.面向機器人激光增材制造的機器視覺系統(tǒng)標定算法[J].電焊機，2022，52（2）：36-41.?????????? Citation：CHEN Han， REN Jieliang， YAN Shuai， et al. Laser Additive Manufacturing Machine Vision System Development[J]. Electric Welding Ma‐ chine， 2022， 52（2）：36-41.

0? 前言

增材制造技術（Addictive Manufacturing，AM）[1]是一種基于離散分離原理，對三維模型進行分層切片，再通過添加材料快速制造實體零件的技術。按照熱源能束的不同，可將金屬增材制造技術分為激光、電弧和電子束三類[2]。激光增材制造技術（La‐ ser Addictive Manufacturing，LAM）[3]是以激光作為熱源，金屬粉末或絲材作為成型材料，惰性氣體作為保護氣的金屬增材制造技術，在航天航空、汽車、電子、醫(yī)療、軍工等領域得到了廣泛應用[4-7]。LAM成型制品質量與激光功率、工藝設計和焊接路徑規(guī)劃有密不可分的關系。在實際操作過程中，任何環(huán)節(jié)的問題都可能使成型制品出現(xiàn)氣孔、凹坑等缺陷。在增材制造“自下而上”的成型過程中，如果表面缺陷未被檢出并及時處理，可能導致成型件報廢。

視覺檢測技術是精密測試技術領域中最具有發(fā)展?jié)摿Φ男录夹g。視覺檢測的基礎在于相機的標定，現(xiàn)有的相機標定技術分為傳統(tǒng)標定法、自標定法及主動視覺標定法。傳統(tǒng)標定法中，Roger Ta‐ sai提出Tasai兩步法[8]求解相機的內外參數(shù)，但需要標定參照物，且標定過程復雜;自標定方法中，典型的是基于Kruppa方程進行相機內外參數(shù)標定，但直接求解Kruppa方程[9]存在較大難度;主動視覺標定中，聶紅梅和高磊分別以Opencv和Matlab為平臺[10-11]，實現(xiàn)了張正友標定法[12]的相機標定程序，標定精度較高且魯棒性較強。

本文針對激光增材制造過程中的成型制品表面形貌檢測的需求，搭建了一個基于主動視覺標定法的單線結構光視覺檢測系統(tǒng)，通過Matlab軟件和Labiew軟件編程實現(xiàn)相機內外參數(shù)的標定，并計算出激光增材制造制件表面的三維坐標信息，來驗證該檢測系統(tǒng)的精度，為后續(xù)激光增材制造閉環(huán)控制奠定基礎。

1? 激光增材制造視覺系統(tǒng)硬件與軟件組成

1.1? 硬件結構

激光增材制造視覺系統(tǒng)主要由線結構光視覺傳感器[13-15]、運動控制柜、示教器以及工控機組成，視覺傳感系統(tǒng)在空間中相對位置如圖1所示，視覺傳感器結構如圖2所示。線結構光視覺傳感器主要由單線結構光發(fā)射器和BASLER 黑白工業(yè)相機組成，相機以CMOS為感光元件，分辨率為5472 pixel×3648 pixel，采用焦距為12 mm 的鏡頭，最大光圈1.4。首先將線結構光視覺傳感器置于工件正上方，相機垂直置于工件平面，線激光發(fā)射器與相機呈一固定夾角A，傳感器與熔覆平臺之間距離為H，使線結構光投射在熔覆件上，將工業(yè)相機采集的激光條紋圖像信息和示教器記錄的當前法蘭盤位姿信息傳輸給計算機，最后結合工業(yè)相機標定的內外參數(shù)和傳感器與機器人的手眼標定結果，將特征點三維位置信息傳輸給示教器，對數(shù)據(jù)進行分析后控制激光熔覆頭進行缺陷修補。

1.2? 系統(tǒng)軟件

激光增材制造機器視覺系統(tǒng)軟件主要包括Matlab、Labview2018和圖像采集軟件。Matalb軟件主要進行相機內外參數(shù)的標定、機器人系統(tǒng)與視覺傳感系統(tǒng)變換矩陣的計算;Labview則是對整個系統(tǒng)進行模塊化設計，主要分為圖像采集和數(shù)據(jù)分析模塊，其中包含圖像采集、特征提取、參數(shù)設置、基座坐標計算和系統(tǒng)介紹5個界面。通過采集圖像界面獲取目標圖像，用戶可以在特征提取界面中選擇目標圖像、設置灰度值閾值、提取結構光條紋的中心線（見圖3a）;在參數(shù)設置界面中，可以編輯、保存Matlab標定好的相機內外參數(shù)（見圖3b）;在基座坐標界面中，可以直接讀取特征點基座坐標（見圖3c）。

2? 機器視覺系統(tǒng)標定算法

在整個檢測系統(tǒng)中，所涉及的各個坐標系變換關系如圖4所示。圖中H1表示法蘭盤末端坐標系與機器人基坐標系的變換矩陣;H2表示法蘭盤末端坐標系與光平面坐標系的變換矩陣;H3表示相機坐標系與光平面坐標系的變換矩陣;H4表示世界坐標系與相機坐標系變換矩陣;XBYBZB 表示機器人的基坐標系;XFYFZF 表示機械臂末端法蘭盤坐標系; XTYTZT 表示工具尖端坐標系;XCYCZC 表示相機坐標系; XWYWZW 為世界坐標系;為簡化計算，相機原點在光平面上的投影點OC 為光平面坐標系原點，取相機Z軸某一點ZC（0，0，ZC），以 OCZC 在光平面的投影為Z軸，同理建立X軸、 Y軸， Y軸與光平面垂直，由此建立XLYLZL 光平面坐標系，且光平面坐標系中 Y軸值恒為0，從而降低了算法的復雜性。

2.1? 相機內外參標定和光平面的標定

在Eye-in-Hand手眼標定之前，首先要確定相機的內外參數(shù)、相機坐標系與光平面坐標系變換矩陣 H3（見圖4）。本文基于Matlab進行內外參數(shù)標定。Matlab是美國Mathwork公司開發(fā)的數(shù)學軟件，具有完善的圖像處理和機器視覺工具包。其中，像素坐標系與相機坐標系間的變換矩陣 H可由Matlab的 Camera Calibrator 工具包進行標定，可直接提取出相機的內參數(shù)和棋盤格標定板某個位姿的外參數(shù)。本文采用的是透視投影模型，根據(jù)透視投影法可知，像素坐標與相機坐標的變換關系需以光平面為約束條件，像素坐標與相機坐標的變換關系如式（1）所示。

式中ε=A（Sxc-CxSx）+B（Syr-CySy）+Cfδ;δ=k[（Sxc- CxSx）2+（Syr-CySy2）]+1，其中k為徑向畸變，Sx為X方向的像元尺寸，Sy為 Y方向的像元尺寸，c為特征點X 方向像素坐標，r為特征點 Y方向像素坐標，Cx為圖像坐標系原點在像素坐標系中X值，Cy為圖像坐標系原點在像素坐標系中 Y值，這些參數(shù)為相機內參數(shù)，[A，B，C]為光平面系數(shù)。

計算光平面系數(shù)[A，B，C]，需已知某條直線的世界坐標點，根據(jù)交比不變性原理，已知直線和光平面交點為標定點的世界坐標P，Matlab標定所得外參即世界坐標系與相機坐標系變換關系H4i，調整標定板姿態(tài)重復5次，根據(jù)式（2）計算得出標定點相機坐標P，并采用最小二乘法擬合光平面方程A · Xc+B ·Yc+C·Zc-1=0的系數(shù)A、B、C。

式中[Xci，Yci，Zci]，[Xwi，Ywi，Zwi]分別為標定點的相機坐標和世界坐標，H4i為4×4的矩陣（i=1，2，3，4，5），實質為相機的外參數(shù)。

根據(jù)相機與光平面的投影關系建立光平面坐標系。根據(jù)式（2）相機坐標與光平面坐標映射關系計算可得相機坐標系與光平面坐標系的變換關

式中 PL、PC 分別表示特征點的光平面坐標和相機坐標。由此特征點的相機坐標轉化為光平面坐標。

2.2 ??Eye-in-Hand手眼標定

工業(yè)6軸機器人手眼標定的實質是確定光平面坐標系到機械臂末端法蘭盤坐標系的變換關系H2。由上一節(jié)可知，特征點的像素坐標以及對應的相機坐標，將相機坐標投影到對應的光平面坐標，再由手眼標定所得光平面坐標系與法蘭盤坐標系的位姿H2和法蘭盤相對于機器人底座的位姿H1（見圖4），根據(jù)式（4）可得激光平面坐標到基坐標的變換關系。

聯(lián)立式（3）和式（4）得到相機坐標到基坐標得變換關系為

式中PB 和PL 分別表示已知點基坐標和該點對應的光平面坐標;H3表示相機坐標系與光平面坐標系的位姿。 H1、H2、H3為4×4的矩陣。

Eye-in-Hand手眼標定步驟為：

（1）確定目標點的基坐標。將機器人坐標系調整為工具坐標系，操作示教器使機器人尖端與已知點P剛好接觸，記錄此時示教器中的位置信息，記作 PB （XB，YB，ZB）。

（2）確定目標點的光平面坐標。將工具坐標系切換至法蘭盤坐標系，保持目標點P 固定，打開線激光器，移動機械臂使激光條紋正好經(jīng)過點P，為使誤差盡可能小，應使P點盡量位于激光條紋的中間點，然后相機在此位姿下采集圖像。利用Labview提取出P點像素坐標，由式（1）轉化為相機坐標，繼而由2.1節(jié)中式（3）得到光平面坐標PL ，根據(jù)示教器確定此時的H1。

（3）變換位姿采集。保持P點不動，移動機器人以不同姿態(tài)重復步驟2，記錄5組Pi L 和H1i（i=1，2，3，4，5），根據(jù)式（4）計算可得H2。

3? 實驗結果及分析

本文所采用線結構光視覺檢測方法選用 BASLER黑白工業(yè)相機、iWorker六自由度工業(yè)機器人和角點間距為18 mm的棋盤標定板進行標定實驗，由于Matlab存在完善的棋盤格標定包，且不存在偏心誤差。介于現(xiàn)有條件，利用Matlab提取角點像素坐標，取標定板上O、A、B、C、D五個點如圖5所示，相機內參數(shù)標定如表1所示，外參標定誤差如表2所示。

根據(jù)表1、表2得出相機的內參數(shù)以及外參數(shù)在 X和 Y方向平均絕對誤差：

由式（6）可知，相機標定的平均絕對誤差小于0.1 mm，由于黑色對于光的吸收不均勻，角點位于黑白交界處，因此棋盤格角點坐標為亞像素坐標，影響角點的標定精度，可選用黑底白圓標定板并采用 Halcon 提高精度，但總體來說，外參標定精度較高。

通過改變標定板所在高度5次，采用2.1節(jié)標定方法，根據(jù)已知的標定點的相機坐標P 進行光平面擬合，得到光平面系數(shù)[A，B，C]=[-0.0143，0.0007，0.0046]，光平面擬合圖如圖6所示。根據(jù)Labview軟件提取特征點像素坐標和上述所得標定參數(shù)，將像素坐標分別代入式（1）和式（5），所得基坐標結果基本滿足定位要求，但計算結果仍存在一定誤差。其原因為：（1）單線結構光與相機光軸角度太小產生標定誤差;（2）機器人固有精度所帶來的誤差影響;（3）標定點坐標的肉眼提取帶來的誤差;（4）各方面誤差累計影響計算結果。其中標定誤差為主要原因。

4? 結論

（1）通過線結構光視覺傳感器系統(tǒng)對相機內外參數(shù)進行標定，使用Matlab軟件 Camera Calibrator 工具包的標定方法，將外參數(shù)的平均絕對誤差控制在0.1 mm以下。

（2）在激光熔覆頭旁安裝線結構光視覺系統(tǒng)，采用Matlab和Labview軟件相結合的混合編程設計激光增材制造系統(tǒng)，根據(jù)圖像采集和數(shù)據(jù)分析模塊，從圖像中提取出特征點的三維基坐標，以方便工業(yè)機器人進行對缺陷定位和修補。

（3）以光平面為參考平面，建立二維像素坐標與三維相機坐標的變換關系，簡化算法的復雜程度，降低了設備成本，能夠滿足激光增材制造中的定位要求。

（4）本文基于單線激光開發(fā)的增材制造視覺檢測系統(tǒng)，還可以進一步提高線結構光條紋中心的提取精度和魯棒性，因此需要優(yōu)化線結構中心提取算法，提高檢測系統(tǒng)的三維坐標提取精度。

參考文獻：

[1]楊強，魯中良，黃福享，等.激光增材制造技術的研究現(xiàn)狀及發(fā)展趨勢[J].航空制造技術，2016（12）：26-31.

YANG? Qiang，LU Zhongliang，HUANG? Fuxiang，et al. Research on Status and Development Trend of Laser Additive Manufacturing[J]. Aeronautical Manufactur‐ ing Technology，2016（12）：26-31.

[2]鄧俊豪.基于視覺傳感的電弧增材成形形貌檢測與預測建模研究[D].上海：上海交通大學，2019.

DENG Junhao. Research on Forming Information Ac‐ quisition and Prediction Modeling in Wire and Arc Ad‐ dictive? Manufacturing? Based? on? Vision? Sensing[D]. Shanghai：Shanghai JiaoTong University，2019.

[3]李友浩.基于線結構光的電弧增材制造熔積層形貌三維測量[D].湖北：華中科技大學，2016.

Li youhao. Deposition layers 3D Measurement of Arc- basedAddictive Manufacturing Baesd on Line-structured Light[D]. Hubei：Huazhong University of Science & Technology，2016.

[4] D. Buchbinderet al. High Power Selective Laser Melt‐ing（HP SLM）of Aluminum Parts[J]. Physics Proce‐ dia，2011（12）：271-278.

[5]Baufeld B.，O.V.D. Biest，et al.，Additive manufactur‐ing of Ti-6Al-4V components by shaped metal deposi‐ tion[J]. Microstructure and mechanical properties Ma‐ terials& Design，2010（31）：106-111.

[6]Murr L.E.，et al.，F(xiàn)abrication of Metal and Alloy Com‐ponents by Additive Manufacturing：Examples of 3D Materials? Science[J]. Journal? of Materials? Research and Technology，2012，1（1）：42-54.

[7] Zhuang Zhao. Additive seam tracking technology basedon? laser? vision[J]. The? International? Journal? of Ad‐ vanced Manufacturing Technology，2021（25）：1-15.

[8] Tsai R Y. Versatile camera calibration techniqueforhigh-accuracy 3D machine vision? metrology? using? off-the- shelf TV cameras and lenses[J]. IEEE Journal of Ro‐ botics and Automation，1987，RA-3（4）：323-344.

[9]Faugeras O D，Luong Q T，Maybank S J. Camera self-calibration：Theory? and? experiments[C]. European conference on computer vision. Springer，Berlin，Hei‐ delberg，1992：321-334.

[10]聶紅梅，劉忠艷.基于OpenCV的攝像機標定研究[J].微處理機，2017，38（06）：58-61.

NieHongmei，Liu? Zhongyan. Research? on? Camera? Calibration? Based? on? OpenCV[J]. Microprocessors，2017，38（06）：58-61.

[11]高磊，莫冰.攝像機標定系統(tǒng)的設計[J].電腦與電信，2017（12）：36-38.

GAO Lei MO Bing. Design of Camera Calibration Sys‐ tem[J].Computer & Telecommunication，2017（12）：36-38.

[12] ZHANG Z Y. A flexible new technique for camera cali‐bration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330-1334.

[13]陳濤.強噪聲下的激光視覺焊縫跟蹤系統(tǒng)研究[D].廣東：華南理工大學，2020.

CHEN Tao. Research on Laser Vision Seam Tracking System? under? Strong? Background? Noise[D]. South China university of Technology，2020.

[14]龔國基.基于主動光視覺傳感的焊縫自動跟蹤系統(tǒng)研究[D].廣東：華南理工大學，2016.

GONG? Guoji. Research? on? automatic? seam? tracking? system based on active vision sensor[D].Guangdong： South China university of Technology，2016.

[15]王研博.面向焊縫跟蹤的線激光檢測技術研究[D].廣東：華南理工大學，2017.

WANG Yanbo. Reasearch on the Line Laser DetectionTechnology for Weld Seam Tracking[D]. Guangdong： South China university of Technology，2017.

編輯部網(wǎng)址：http：//www.71dhj.com