三維模型驅(qū)動(dòng)的雙目視覺(jué)機(jī)器人焊接技術(shù)

劉巖，劉麗霞，黃寧，王文超，李永強(qiáng)

(1.北京衛(wèi)星制造廠有限公司，北京 100094；2.北京市航天器焊接技術(shù)與裝備工程技術(shù)研究中心，北京 100094；3.哈爾濱工業(yè)大學(xué)，黑龍江 哈爾濱 150001)

0 引言

多分支管路作為空間站、衛(wèi)星等航天器的重要組成部分，是實(shí)現(xiàn)各單機(jī)設(shè)備、閥體之間連接的關(guān)鍵部分，直接關(guān)系航天器功能實(shí)現(xiàn)、使用壽命和航天員在軌安全[1]。其接口關(guān)系復(fù)雜且形狀各異，通用化程度低，同時(shí)長(zhǎng)壽命、在軌不可維修等要求增大了管路高精度、高質(zhì)量研制的難度[2-3]。隨著航天器研制需求急劇增長(zhǎng)，亟需一種高效、可靠性好的自動(dòng)管焊技術(shù)替代傳統(tǒng)的手工焊裝，提高生產(chǎn)效率和一次合格率[4]。信息傳感技術(shù)與控制技術(shù)的日趨成熟，使得實(shí)現(xiàn)管路自動(dòng)焊接成為可能。

目前，基于機(jī)器人離線編程技術(shù)，弧焊機(jī)器人已初步實(shí)現(xiàn)焊縫自主規(guī)劃，但多分支管路系統(tǒng)構(gòu)成復(fù)雜，焊縫位置、導(dǎo)管姿態(tài)與理論模型存在一定誤差，僅依靠機(jī)器人離線編程難以實(shí)現(xiàn)復(fù)雜空間管路的精確定位。因此，在進(jìn)行多分支管路系統(tǒng)高精度自動(dòng)焊接時(shí)需要進(jìn)一步對(duì)焊縫位置、導(dǎo)管姿態(tài)進(jìn)行檢測(cè)并計(jì)算。目前的圖像處理技術(shù)已經(jīng)較為完善，將機(jī)器人與視覺(jué)結(jié)合，可使機(jī)器人擁有感知和判斷的能力，使實(shí)現(xiàn)多分支管路系統(tǒng)高精度智能焊接成為可能[5]。

1 系統(tǒng)設(shè)計(jì)

管路系統(tǒng)由多組多分支焊接導(dǎo)管通過(guò)接頭螺紋連接組成。首先，本系統(tǒng)從管路系統(tǒng)中提取一組多分支導(dǎo)管模型并進(jìn)行離線編程仿真，得出導(dǎo)管組件的理論焊縫位置信息及機(jī)器人運(yùn)行軌跡。其次，通過(guò)控制系統(tǒng)驅(qū)動(dòng)焊接機(jī)器人，按照仿真軌跡依次到達(dá)每一個(gè)焊縫的預(yù)焊接位置，以滿足雙目視覺(jué)系統(tǒng)的測(cè)量范圍。然后，系統(tǒng)利用雙目視覺(jué)系統(tǒng)對(duì)預(yù)焊接位置進(jìn)行拍照檢測(cè)，再運(yùn)用圖像處理技術(shù)計(jì)算出導(dǎo)管組件中精確的焊縫空間位置及焊縫兩側(cè)導(dǎo)管姿態(tài)。最后，機(jī)器人系統(tǒng)根據(jù)計(jì)算結(jié)果到達(dá)精確焊接位置并完成焊接工裝夾持焊縫的動(dòng)作，進(jìn)而完成導(dǎo)管焊縫的焊接。

2 模型信息提取及路徑規(guī)劃

目前，航天管路采用Pro/E、CATIA和UG等三維模型軟件進(jìn)行設(shè)計(jì)，為管路信息的提取與輸出打下了堅(jiān)實(shí)的基礎(chǔ)。導(dǎo)管焊縫與通用類零件的相對(duì)空間位姿為已知，機(jī)器人焊接系統(tǒng)以管路組件中一個(gè)通用類零件的空間位姿為基準(zhǔn)，根據(jù)管路信息通過(guò)離線編程手段規(guī)劃焊接軌跡，使系統(tǒng)到達(dá)每條焊縫的預(yù)焊接位置并確保焊縫處于雙目視覺(jué)系統(tǒng)的視場(chǎng)內(nèi)。

3 視覺(jué)系統(tǒng)的圖像處理與計(jì)算

為保證鎢極與焊縫的完美對(duì)中以及管焊鉗準(zhǔn)確夾持導(dǎo)管，需要利用雙目視覺(jué)系統(tǒng)準(zhǔn)確地獲得焊縫管子邊緣，并計(jì)算出焊槍與焊縫及導(dǎo)管的精確相對(duì)關(guān)系。

3.1 焊縫管子邊緣識(shí)別算法

獲取焊縫管子邊緣是計(jì)算焊接工裝與焊縫、導(dǎo)管相對(duì)位置的前提，本文采用先通過(guò)圖像定位分割法獲得焊接導(dǎo)管輪廓，再通過(guò)特征區(qū)域識(shí)別最終獲得導(dǎo)管及焊縫的輪廓信息。

1)圖像分割定位導(dǎo)管區(qū)域

圖像分割只對(duì)物體輪廓區(qū)域進(jìn)行分割，其他細(xì)節(jié)不作考慮。本文通過(guò)濾波的圖像平滑方法來(lái)完整留存導(dǎo)管及焊縫的輪廓信息，其公式如下：

(1)

其中：K(k,l)為卷積核；f(i+k,j+l)為輸入像素值；g(i,j)為輸出像素的值。使用卷積核的不同，產(chǎn)生不同的圖像平滑方式。由于雙邊濾波平滑方法同時(shí)考慮空間臨近度和像素值相似度兩個(gè)變量計(jì)算的權(quán)值，去噪效果良好，因此本文采用雙邊濾波平滑方法進(jìn)行數(shù)據(jù)處理[6]。

將導(dǎo)管較亮和較暗區(qū)域分離的方法為二值化，可準(zhǔn)確地將導(dǎo)管初步提取出來(lái)。再通過(guò)形態(tài)學(xué)處理的方式找到圖像中強(qiáng)度變換明顯的位置，利用邊緣檢測(cè)算法提取出圖像的邊緣，采用Canny算子保證邊緣的準(zhǔn)確性。最后根據(jù)邊緣檢測(cè)輸出圖像，采用拓?fù)浣Y(jié)構(gòu)分析法計(jì)算圖像中所有的輪廓區(qū)域。圖1為不同導(dǎo)管外徑在不同空間位置下的實(shí)驗(yàn)結(jié)果。由圖1可見(jiàn)，本文的算法能夠準(zhǔn)確地提取出導(dǎo)管的邊緣。

圖1 導(dǎo)管區(qū)域算法測(cè)試圖

2)導(dǎo)管特征區(qū)域識(shí)別

本文通過(guò)立體匹配對(duì)導(dǎo)管特征區(qū)域進(jìn)行識(shí)別，進(jìn)行立體匹配的前提是先進(jìn)行立體校正，將實(shí)際的雙目系統(tǒng)校正為理想的雙目系統(tǒng)，實(shí)現(xiàn)共面對(duì)準(zhǔn)，即兩攝像機(jī)圖像平面在同一平面上，且同一物理點(diǎn)投影到像素坐標(biāo)系的同一行。立體矯正基于Bouguet校正原理，其具體思想為：

1)先進(jìn)行雙目系統(tǒng)標(biāo)定，得到兩相機(jī)之間的旋轉(zhuǎn)矩陣R和平移向量T[7]。

2)左右相機(jī)兩個(gè)圖像平面均旋轉(zhuǎn)一半的R，實(shí)現(xiàn)攝像機(jī)圖像平面共面。其中rl=R1/2和rr=R-1/2。

3)構(gòu)建一個(gè)旋轉(zhuǎn)矩陣Rrect實(shí)現(xiàn)行對(duì)準(zhǔn)，Rrect由3個(gè)相互正交的單位向量e1、e2和e3組成。構(gòu)造e1時(shí)以圖像主點(diǎn)為原點(diǎn)，方向與兩相機(jī)之間的平移向量相同；e2選擇主光軸方向與e1叉積；向量e3與向量e1和e2正交，可直接通過(guò)叉乘得到。

綜上，兩相機(jī)共面且行對(duì)準(zhǔn)的旋轉(zhuǎn)矩陣如下：

Rl=Rrectrl
Rr=Rrectrr

(2)

立體矯正后，就可以通過(guò)深度差異矩陣實(shí)現(xiàn)對(duì)視差信息的空間恢復(fù)，將圖像像素坐標(biāo)系映射到三維空間。本文使用結(jié)構(gòu)光人工構(gòu)造特征的方式，即將一個(gè)字線激光器在通電之后拍攝到的圖像與沒(méi)有激光器拍攝到的圖像作差，從而得到特征區(qū)域的算法結(jié)果。圖2為不同規(guī)格導(dǎo)管的多組實(shí)驗(yàn)結(jié)果，其特征區(qū)域可通過(guò)立體匹配算法精確導(dǎo)出。

圖2 雙目立體視覺(jué)立體匹配驗(yàn)證圖

3.2 管路空間姿態(tài)計(jì)算及焊縫點(diǎn)坐標(biāo)計(jì)算

為使鎢極對(duì)中焊縫及焊接工裝能夠準(zhǔn)確夾緊焊接導(dǎo)管，需要計(jì)算相機(jī)與導(dǎo)管的空間位置夾角及焊縫中心點(diǎn)的空間坐標(biāo)。

1)管路空間姿態(tài)計(jì)算

需知道焊縫兩側(cè)的管路空間位置信息與相機(jī)空間位置信息之間的關(guān)系才能確保鎢極對(duì)中焊縫、焊鉗夾緊焊縫兩端管路，進(jìn)而可知最關(guān)鍵的是計(jì)算出相機(jī)與導(dǎo)管在一個(gè)面上的相對(duì)旋轉(zhuǎn)角度及在一個(gè)平行方向的旋轉(zhuǎn)角度(圖3)。

圖3 焊縫兩側(cè)管路與雙目系統(tǒng)的相對(duì)位置圖

計(jì)算共面旋轉(zhuǎn)角度時(shí)是通過(guò)計(jì)算反光直線的斜率來(lái)間接計(jì)算，將每一條反光直線都看作是包含有該直線兩端點(diǎn)橫縱坐標(biāo)4個(gè)元素的數(shù)組，計(jì)算斜率的總公式如下：設(shè)任意一條直線一個(gè)端點(diǎn)的坐標(biāo)為(x1i,y1i)，另一個(gè)端點(diǎn)坐標(biāo)為(x2i,y2i)，將所有篩選出的反光直線的斜率求和再取平均數(shù)，得到最終的共面旋轉(zhuǎn)角度，其中斜率求解公式為

(3)

經(jīng)共面旋轉(zhuǎn)后，雙目系統(tǒng)基線與導(dǎo)管中心軸線共面，再求出平行旋轉(zhuǎn)角度，即可使得雙目相機(jī)正對(duì)導(dǎo)管。將檢測(cè)到的反光直線按其縱坐標(biāo)大小分為上、下兩類，這兩類反光直線分別與一個(gè)字線激光器投影點(diǎn)相交，得其交點(diǎn)用作立體匹配的二維特征點(diǎn)，通過(guò)重投影矩陣計(jì)算其在三維空間中的坐標(biāo)位置。以上反光直線為例，設(shè)上反光直線與激光器左投影點(diǎn)交點(diǎn)的三維世界坐標(biāo)為(X1,Y1,Z1)，上反光直線與激光器右投影點(diǎn)的交點(diǎn)的三維世界坐標(biāo)為(X2,Y2,Z2)，其平行方向的旋轉(zhuǎn)角θ也被認(rèn)為是導(dǎo)管的俯仰角，可通過(guò)下式得到：

(4)

2)焊縫點(diǎn)坐標(biāo)計(jì)算

鎢極對(duì)中焊縫及焊鉗精準(zhǔn)夾緊導(dǎo)管的前提是準(zhǔn)確地計(jì)算出導(dǎo)管焊縫輪廓中心點(diǎn)的空間位置信息[8]。本文通過(guò)控制光源位置，使反光的直線在導(dǎo)管軸的兩邊分布。分別計(jì)算出上、下兩條反光直線與焊縫直線的交點(diǎn)，再計(jì)算出上、下反光直線到達(dá)中心軸線的距離與權(quán)值，最終得出導(dǎo)管焊縫中點(diǎn)的像素值。

解算出導(dǎo)管焊縫中點(diǎn)的像素值，還需要將其還原到三維空間。假設(shè)得到的導(dǎo)管焊縫中點(diǎn)二維坐標(biāo)為(x，y)，該點(diǎn)的關(guān)聯(lián)視差為d，可通過(guò)重投影矩陣Q映射到三維空間，該深度差異映射矩陣公式如下：

(5)

在該公式中除c′x的所有參數(shù)都來(lái)自于左圖像，c′x是主點(diǎn)在右圖像上的x坐標(biāo)，基于重投影矩陣Q的像素位姿轉(zhuǎn)換關(guān)系如下：

(6)

其中焊縫中點(diǎn)的三維空間坐標(biāo)為(X/W，Y/W，Z/W)。通過(guò)圖像處理核心算法模塊找到焊縫中點(diǎn)的二維坐標(biāo)后，就可以作以上轉(zhuǎn)換得到其三維位姿，使機(jī)械臂末端焊鉗能夠準(zhǔn)確夾持導(dǎo)管焊縫。

4 工藝驗(yàn)證

為驗(yàn)證雙目視覺(jué)機(jī)器人自動(dòng)焊接系統(tǒng)，本文采用Φ4×0.8 mm、Φ6×1 mm、Φ8×0.8 mm 3種鈦合金導(dǎo)管試驗(yàn)件進(jìn)行焊接試驗(yàn)。測(cè)試結(jié)果滿足以下要求：

1)雙目立體視覺(jué)可精確識(shí)別<0.05 mm的焊縫裝配間隙，且能精確計(jì)算出導(dǎo)管空間位置及焊縫點(diǎn)位置，并引導(dǎo)焊接機(jī)器人完成焊接工裝位姿的調(diào)整、鎢極對(duì)中及工裝夾緊。鎢極對(duì)中精度高達(dá)0.2 mm，優(yōu)于人工對(duì)中精度，整個(gè)過(guò)程用時(shí)僅15 s，僅為人工操作用時(shí)間的1/20。

2)3種試驗(yàn)件外觀及內(nèi)部質(zhì)量均優(yōu)于QJ2865中I級(jí)焊縫要求，且3種試驗(yàn)件焊縫的拉伸強(qiáng)度達(dá)到母材的90%以上。

5 結(jié)語(yǔ)

本文將三維模型驅(qū)動(dòng)的雙目立體視覺(jué)系統(tǒng)工業(yè)機(jī)器人應(yīng)用到多分支管路焊接，利用離線編程手段找到預(yù)焊接位置，利用雙目立體視覺(jué)系統(tǒng)計(jì)算出待焊接導(dǎo)管相對(duì)于焊接卡鉗的空間姿態(tài)和焊縫的空間位置坐標(biāo)信息，引導(dǎo)機(jī)器人到達(dá)精確焊接位置，最終使用末端焊接執(zhí)行器夾持導(dǎo)管，配合焊接系統(tǒng)完成焊接工作。該系統(tǒng)可以提高多分支管路焊接效率30%以上，提高管路焊接質(zhì)量，保證焊接質(zhì)量的一致性，降低焊接工作人員的勞動(dòng)強(qiáng)度，滿足國(guó)家重大工程專項(xiàng)的研制需求。