基于雙目視覺的焊縫跟蹤系統研究

馮進良，曹晨鳴，孫銘，王浩浩，李世濤

（1.長春理工大學 光電工程學院，長春 130022；2.吉林省高速公路管理局梅河管理分局，梅河口 135000）

高效、智能、高可靠性是工業機器人迅速發展的三個重要方向，而機器視覺技術的應用提高了機器人對周圍環境的感知能力及智能化程度。經過數十年的發展，機器視覺引導和定位技術已經成為工業機器人獲得環境信息的主要手段，有效增加了工業機器人在焊接中的靈活性。工業焊接的自動化水平在不斷提高，焊接自動化、機器人化、柔性化、智能化的發展已經成為必然趨勢[1]。本文在一套自動焊接系統上加裝雙目視覺系統，通過圖像處理以及STM32單片機系統實現閉環控制，實時對焊縫跟蹤并最終實現檢測和調整焊縫焊點位置。

1 焊縫跟蹤系統

圖1為發酵罐生產中對罐體規定部位進行自動焊接，以提高焊接表面質量和罐體耐壓能力。加裝了雙目視覺系統后，能夠實現焊接自動化。整套系統包括焊槍運動機械手、雙目攝像頭、濾光片、角度傳感器、控制系統、圖像采集及處理系統等。雙目攝像機與焊件固定設備距離可調，方便調整到最佳距離。考慮到焊接的光譜范圍，濾光片選取一個允許通過650nm附近波長光線的窄帶濾光片[2]。在已知雙目傳感系統標定參數的條件下，可以通過實時實驗數據采集，修正焊槍坐標參數，減小無視覺傳感自動焊接系統的焊接誤差，用于進行焊縫跟蹤。

圖1 雙目視覺焊縫跟蹤伺服控制系統

2 雙目視覺相機標定

攝像機每幅數字圖像在計算機或軟件內為M×N數組，M行N列的圖像像素是圖像點的灰度。其中，表示以像素為單位的圖像坐標系的坐標，（X，Y）表示以mm為單位的圖像坐標系坐標。定義原點O1為攝像機光軸與成像平面交點，該點理論上位于成像平面中心處，實際會有些偏離，O1在（u，v）坐標系中坐標為（u0，v0），像素在X軸與Y軸方向物理尺寸為dX，dY，該圖像（X，Y）坐標系與（u，v）坐標系之間轉換關系如式（1）：

攝像機成像幾何關系如圖2所示。其中O點稱為攝像機光學中心，x軸和y軸與圖像X軸與Y軸平行，z軸為攝像機光軸，z軸與圖像平面交點是圖像坐標系的原點，攝像機坐標系是由點O與x，y，z軸組成的笛卡爾坐標系。OO1為攝像機焦距。

圖2 攝像機坐標系與世界坐標系

該攝像機基準坐標系是由XwYwZw軸組成世界坐標系。空間點P在世界坐標系與攝像機坐標系下的齊次坐標分別是Pw=(Xw,Yw,Zw,1)T與Px=（x，y，z，1）T，于是存在如下關系：

旋轉矩陣R為3×3正交單位矩陣；平移向量T=(tx,ty,tz)T為三維平移向量；0=（0，0，0）T；M1為4×4矩陣。空間任意一點P在圖像中的投影p，是OP與圖像平面交點，P與p成像關系滿足針孔模型，有如下關系式：

（X，Y）為p點圖像坐標；（x，y，z）為點P在攝像機坐標系下的坐標。用齊次坐標和矩陣表示上述關系為：

在公式（4）中，s是比例因子，P是透視投影矩陣。將式（1）和（4）代入式（2），得到P坐標與其投影坐標p的坐標（u，v）的關系：

世界坐標系下空間任意點P的坐標是（Xw，Yw，Zw），經過式（2）計算得到點P在攝像機坐標系下的坐標是（xc，yc，zc）。點P在圖像上實際投影位置Pd(xd,yd)，它在圖像坐標系下的坐標是（u，v），考慮到針孔模型的一階徑向畸變，另設點P在圖像上理想投影位置Pu(xu,yu)，并在計算過程中修更正點P的投影位置。世界坐標系到計算機圖像坐標系的變換首先要標定出主點坐標以及水平方向、垂直方向像素直徑；然后利用Tsai的兩步法分別求出雙目攝像機的11個內外參數[3]。具體標定步驟如下：

（1）采用文獻[4]中提出的主點（光軸與圖像平面的交點）標定方法，即標定板在沿光軸方向的導軌移動，視場有比例的擴縮變換，但圖像主點坐標不發生變化。選用標定板上特征點q，沿導軌同一方向平移兩次相同距離，得到特征點q在3幅圖像上不同投影的像，如圖3中框內點所示。點q為標板上所選特征點；把標定板沿光軸同一方向移動兩次△z的距離，點q投影點的計算機圖像坐標如圖4所示分別為（u2，v2）、（u1，v1）、（u3，v3）。

圖3 特征點p經平移后的成像位置

圖像主點坐標（u0，v0）由徑向平行約束關系可得：

圖4 主點標定投影模型

（2）求解旋轉矩陣R和平移分量tx、ty，并使用HALCON標準標定模板，校準板上圓點特征點中心的世界坐標。特征圓點中心點的亞像素坐標通過標定板設計尺寸以及SURF算法求解[5]。根據式（6）求出圖像主點坐標，以及水平方向、垂直方向像素直徑和特征點的像素坐標，求解圖像實際坐標：

根據張氏標定法定義標定板上全部特征點Zw=0[6]。根據圖4所示徑向平行約束[7]：

整理得到如下矩陣形式的線性方程：

式（9）是超定方程，運用最小二乘法求解，并根據R的單位正交性求解R、tx和ty。

（3）焦距f、平移分量tz和一階徑向畸變系數k1關系如式（10）所示，同樣可利用最小二乘法求解。

3 圖像處理

紅色和紫紅色復合濾光系統用于濾除部分電弧光，減小焊接時強烈的弧光對焊縫圖像的清晰度的影響。因為濾光片中，大紅色濾光片波段允許值大于610nm，紫紅色濾光片波段允許值在630～750nm之間（波段380～430nm不考慮）。該復合濾光系統獲得的焊縫圖像比較清晰，如圖5所示。

圖5 加濾光措施后拍攝圖

圖5中（a）、（b）這兩幅圖是焊絲焊接時實時拍攝的圖像，圖中白色區是焊接電弧，中間直線部分是待焊焊縫。該圖像中存在噪聲需要對（a）、（b）圖像進行濾波去除噪聲。該焊接焊縫圖像噪聲為椒鹽噪聲，故采用Matlab中9×9方形窗口的中值濾波，對濾光后的兩圖像進行濾波處理。濾波結果如圖6所示，圖像中椒鹽噪聲基本被去除，焊縫邊緣基本未受到去噪影響。采用文獻[8]中改進的模糊增強及邊緣檢測算法，對焊縫圖像特點進行模糊增強，以提高圖像的對比度然后對圖像進行邊緣檢測處理，利用OTSU法來確定閾值參數，定義新的隸屬函數，加快邊緣檢測，獲得更好的圖像效果。

圖6 焊點邊緣提取圖

一般的，焊點在拍攝圖像上能量強度是服從正態分布的。可以利用灰度重心法提取焊點初始中心，右目圖像焊點中心計算方法如下[9]：

式中，Sright為圖6（d）右目圖像分割后的目標區域（圖中白色部分），xpi和ypi分別為pi對應像素點的x和y坐標f(pi)為圖5（b）中像素點pi所對應的灰度值。左目圖像焊點中心(uleft,vleft)計算方法同上。

4 焊縫三維空間信息計算

三維重建方法一般需要提取雙目圖像的特征點和匹配，這項工作是非常耗時的，難以滿足自動焊接機器人對實時性的需求。所以在完成左右目圖像焊點中心的計算后，以焊點中心快速完成左右攝像機圖像匹配，并根據左右攝像機的標定矩陣計算出匹配點的三維空間信息。設左右攝像頭焊縫匹配點的圖像坐標分別為p(uleft,vleft)和p'(uright,vright)其焊縫匹配點的世界坐標為Pw=(Xw,Yw,Zw)，經標定所得左右兩個攝像機的投影矩陣分別為M和M′，M和M′為3×4的矩陣，其元素矩陣定義為：

并且由式（5）可得：

進一步推導可得：

利用最小二乘法求解（14）中方程組可得：

式中A和b分別為：

5 實驗驗證

搭建一套自動焊接系統及攝像機實驗平臺，驗證在自動焊接系統上加裝雙目視覺傳感的可靠性。該實驗平臺中攝像機使用2560×720像素、型號為HNY-CV-001的萊娜機器視覺科技有限公司的相機。在該實驗中，使用了Matlab作為圖像處理的主要工具以及STM32單片機作為自動焊接系統的控制器。首先完成攝像機內部標定，使用角點間距為4mm，角點數為9×11的棋盤格標定板，攝像機與標定板距離300mm。此位置可以拍得標定板的清晰圖像，攝像機的視場范圍約100mm×60mm。拍攝5組圖片，每組3張，得到相機內部參數u0，v0，f/dx，f/dy。在相機和自動焊接系統機構固定相對位置后，拍攝多幅雙目圖像，計算相機外參。分別測量雙目視覺反饋系統加裝前后焊縫的直線誤差，6組實驗數據如圖7所示，加裝雙目視覺反饋系統后焊縫的直線誤差為0.68mm，滿足焊縫跟蹤要求。

圖7 焊點坐標直線誤差

6 結論

本文實現了在自動焊接系統機構基礎上，經過加裝雙目視覺反饋系統，以及實驗對加裝雙目視覺反饋系統前后的焊接焊縫精度測量。該焊縫精度測量實驗結果表明，加裝雙目視覺反饋之后的自動焊接系統明顯減少焊接失誤并且提高焊縫精度。今后將進一步優化該雙目反饋系統，更加迅速地實現焊縫實時跟蹤。