基于雙目視覺的船艙格子間角焊縫路徑識(shí)別

張勇， 高延峰， 張華

(上海工程技術(shù)大學(xué)，上海市大型構(gòu)件智能制造機(jī)器人技術(shù)協(xié)同創(chuàng)新中心，上海 201620)

0 前言

船艙格子間是一種不規(guī)則的鋼板拼裝結(jié)構(gòu)，難以采用傳統(tǒng)的工業(yè)機(jī)器人進(jìn)行自動(dòng)化焊接。狹小的工作空間使得焊工必須長時(shí)間趴臥躬身完成焊接，難以保證焊接質(zhì)量，且容易造成勞動(dòng)損傷[1]。為了實(shí)現(xiàn)自動(dòng)化焊接，需要借助機(jī)器視覺進(jìn)行環(huán)境識(shí)別和焊接路徑的規(guī)劃引導(dǎo)。

對(duì)于船艙格子間焊縫識(shí)別問題，郭亮等人[2]將旋轉(zhuǎn)電弧與激光視覺傳感器相結(jié)合，實(shí)現(xiàn)了狹小空間直角角焊縫的識(shí)別，并通過試驗(yàn)證實(shí)了焊縫的識(shí)別與跟蹤效果。Zeng等人[3]在焊縫兩側(cè)安置屏閃光源，基于定向照明的光影特征識(shí)別焊縫邊緣。Chen等人[4]提出了一種基于雙目結(jié)構(gòu)光傳感器的3D焊縫提取與跟蹤方法，并生成了指導(dǎo)機(jī)器人操作的路徑。Wang等人[5]提出了一種結(jié)合多極約束的簡(jiǎn)要描述立體匹配算法，解決了焊件表面的模糊或相似特征給雙目視覺立體匹配帶來的困難，并實(shí)現(xiàn)焊縫的識(shí)別與定位。Jia等人[6]基于雙目立體視覺實(shí)現(xiàn)了焊縫深度信息的提取。楊斌等人[7]基于雙目視覺原理并結(jié)合LeNet-5 卷積神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)了對(duì)于焊縫圖像較為全面的特征提取。何銀水等人[8]提出了一種基于視覺注意機(jī)制的機(jī)器人厚板焊接焊縫輪廓提取方法，實(shí)現(xiàn)了焊接過程中焊縫輪廓與熔池的同時(shí)識(shí)別。

針對(duì)船艙格子間角焊縫路徑識(shí)別問題，從雙目視覺的拍攝角度、拍攝距離，以及圖像處理、匹配算法優(yōu)化幾個(gè)方面，研究了基于雙目視覺系統(tǒng)的船艙格子間角焊縫識(shí)別問題。

1 船艙格子間環(huán)境與焊接機(jī)器人

1.1船艙格子間工況介紹

為了加強(qiáng)船體強(qiáng)度，船艙底部通常采用小型格子間形式，相鄰格子之間存在不規(guī)則流水孔，使得焊縫路徑間斷且復(fù)雜。單個(gè)格子間空間狹小，焊縫類型多樣，有直線焊縫、流水孔焊縫、直角形焊縫、帶有流水孔的直角轉(zhuǎn)彎焊縫等，如圖1所示。對(duì)于格子間結(jié)構(gòu)，大型自動(dòng)化焊接設(shè)備難以適應(yīng)，焊縫識(shí)別與運(yùn)動(dòng)路徑規(guī)劃的難度極大。

圖1 船艙格子型構(gòu)件

現(xiàn)階段船廠多采用人工焊接，極易導(dǎo)致焊接質(zhì)量一致性差、合格率低、勞動(dòng)強(qiáng)度大、危害健康等問題。因此，設(shè)計(jì)一款小巧靈活、具備環(huán)境識(shí)別與路徑規(guī)劃的移動(dòng)焊接機(jī)器人十分必要。

1.2試驗(yàn)平臺(tái)介紹

圖2為機(jī)器人試驗(yàn)平臺(tái)，設(shè)計(jì)的移動(dòng)焊接機(jī)器人底盤靠前位置安裝有萬向輪，靠后安裝左右2個(gè)驅(qū)動(dòng)輪，采用差速運(yùn)動(dòng)，可實(shí)現(xiàn)機(jī)器人的轉(zhuǎn)彎動(dòng)作。底盤上安裝的十字滑臺(tái)可以對(duì)焊槍進(jìn)行位姿控制。

圖2 機(jī)器人試驗(yàn)平臺(tái)

數(shù)據(jù)采集和運(yùn)動(dòng)控制系統(tǒng)集成在控制柜中，與機(jī)器人本體分開布置，可避免焊接過程中的高溫高熱環(huán)境與噪聲信號(hào)干擾。控制柜的工控主板采用研華PCM3362，數(shù)據(jù)采集卡采用ART2932，運(yùn)動(dòng)控制卡采用ART1020，圖像采集卡則為恒大公司VT111。

雙目相機(jī)型號(hào)為HBV-1780-2，與圖中可升降、角度可調(diào)的滑軌萬向節(jié)組合模塊相連，實(shí)現(xiàn)在不同距離和角度下的圖像采集。雙目視覺設(shè)備位于機(jī)器人前端，通過USB端口連接數(shù)據(jù)傳輸線，實(shí)現(xiàn)與圖像采集卡之間的通訊。

2 船艙格子間焊縫路徑規(guī)劃

2.1雙目相機(jī)的標(biāo)定

為了獲取相機(jī)的內(nèi)、外參數(shù)，需對(duì)雙目相機(jī)進(jìn)行標(biāo)定。張正友標(biāo)定法[9]具備操作簡(jiǎn)單、方便、精度高等優(yōu)點(diǎn)，文中基于該法進(jìn)行雙目相機(jī)的標(biāo)定。

標(biāo)定流程如圖3所示。首先，制作20 mm×20 mm黑白格子型標(biāo)定模板，如圖4所示；然后，拍攝不同姿態(tài)下的模板樣圖進(jìn)行裁剪分組，并導(dǎo)入Matlab的相機(jī)標(biāo)定應(yīng)用中。設(shè)定相關(guān)參數(shù)，獲得標(biāo)記點(diǎn)重投影誤差的統(tǒng)計(jì)結(jié)果。通常認(rèn)為整體重投影平均誤差低于0.5即表示重投影精度高，標(biāo)定結(jié)果顯示重投誤差控制在0.16以下，說明本次標(biāo)定效果較好。

圖3 相機(jī)標(biāo)定流程圖

圖4 標(biāo)定板

標(biāo)定結(jié)果見表1。因?yàn)镸atlab雙目標(biāo)定應(yīng)用將世界坐標(biāo)系與左目相機(jī)坐標(biāo)系定義為同一個(gè)坐標(biāo)系，因此，左目相機(jī)對(duì)應(yīng)的外部參數(shù)為4×4的單位陣。使用的雙目相機(jī)光軸平行，通過平移可將右目相機(jī)坐標(biāo)系變換為世界坐標(biāo)系。由于相機(jī)切向畸變的影響基本可以忽略，因此，標(biāo)定結(jié)果只考慮雙目的徑向畸變系數(shù)k。

表1 相機(jī)標(biāo)定結(jié)果

基于表1標(biāo)定結(jié)果，建立圖5所示幾何成像模型的坐標(biāo)變換關(guān)系，可將任意特征點(diǎn)的世界坐標(biāo)通過內(nèi)參與外參矩陣的坐標(biāo)變換，轉(zhuǎn)變?yōu)殡p目系統(tǒng)的相機(jī)坐標(biāo)、圖像坐標(biāo)，以及該點(diǎn)對(duì)應(yīng)的像素點(diǎn)坐標(biāo)。

圖5 幾何成像模型坐標(biāo)變換關(guān)系

為了表達(dá)雙目系統(tǒng)中配對(duì)的像素點(diǎn)坐標(biāo)與其對(duì)應(yīng)特征點(diǎn)世界坐標(biāo)之間的映射關(guān)系，建立了如圖6所示的坐標(biāo)系。圖中定義世界坐標(biāo)系下的任意點(diǎn)為P，點(diǎn)P在左、右相機(jī)中的成像點(diǎn)分別定義為PL，PR，左、右相機(jī)光心分別定義為OL，OR。當(dāng)通過左相機(jī)觀察點(diǎn)P時(shí)，可以看出P在該P(yáng)LOL連線上，但點(diǎn)P的深度無法確定。當(dāng)同時(shí)使用左右相機(jī)對(duì)P點(diǎn)進(jìn)行觀察時(shí)，就可以確定出P點(diǎn)的具體位置，即為PROR射線與PLOL射線的交點(diǎn)。所以當(dāng)特征點(diǎn)在左右相機(jī)中的成像點(diǎn)坐標(biāo)確定后，就可以求出世界坐標(biāo)下特征點(diǎn)對(duì)應(yīng)的世界坐標(biāo)[10]。

圖6 雙目立體視覺成像原理

2.2角焊縫圖像處理

為了提高算法匹配速度與準(zhǔn)確率，需對(duì)圖像進(jìn)行處理，得到清晰的焊縫輪廓圖像。經(jīng)過多次試驗(yàn)效果對(duì)比后，采用圖7方法從圖像中獲取焊縫輪廓。

圖7 圖像處理流程框圖

圖像處理效果如圖8所示，原始圖像經(jīng)過高斯濾波與灰度化處理后，可去除相關(guān)噪聲信號(hào)并將彩圖轉(zhuǎn)化為0～255分辨率的灰度圖。再通過Sobel算子對(duì)圖像進(jìn)行邊緣提取，可以看到利用Sobel在x，y方向各取50%權(quán)重，進(jìn)行圖像迭代后得到的圖8d，相較于單一方向處理的圖8c而言，圖8d噪聲信號(hào)更少、輪廓更加清晰。對(duì)比圖8d和圖8e，圖像經(jīng)過二值化處理后，焊縫輪廓加強(qiáng)、冗余噪點(diǎn)基本篩除。最后為了剔除不連續(xù)噪聲像素點(diǎn)，在圖8e基礎(chǔ)上進(jìn)行了非連續(xù)像素點(diǎn)篩選。處理后最終效果如圖8f所示，得到一個(gè)較為完整且清晰的船艙格子間焊縫輪廓圖。

圖8 焊縫圖像處理效果圖

2.3焊縫特征點(diǎn)匹配與焊縫路徑擬合

如何從同一場(chǎng)景拍攝得到的2幅成像圖中找到配對(duì)的成像點(diǎn)坐標(biāo)，是雙目視覺獲取特征點(diǎn)三維信息的重要環(huán)節(jié)。BM算法[11]具有匹配速度快、精度高等優(yōu)點(diǎn)，文中采用該算法進(jìn)行特征點(diǎn)的匹配。該算法原理如圖 9所示，在對(duì)一組成像圖進(jìn)行雙向匹配時(shí)，該算法首先通過匹配代價(jià)在左圖中計(jì)算得到匹配點(diǎn)A，然后用同種計(jì)算原理獲取右圖匹配點(diǎn)B；當(dāng)基于右圖匹配點(diǎn)B，再次通過匹配代價(jià)在左圖中計(jì)算得到的匹配點(diǎn)B’與開始時(shí)的匹配點(diǎn)A一致時(shí)，即為匹配成功，否則匹配失敗。

圖9 BM算法匹配原理圖

利用上述匹配算法將角焊縫中心輪廓線上連續(xù)的像素特征點(diǎn)全部進(jìn)行雙向匹配，可生成圖10所示對(duì)應(yīng)匹配點(diǎn)組合成的焊縫輪廓圖，以及各匹配點(diǎn)對(duì)應(yīng)的三維坐標(biāo)數(shù)據(jù)示例。因?yàn)槲闹新窂阶R(shí)別對(duì)象為船艙底板與立板和側(cè)板之間的直角角焊縫中心路徑，所以將整理的坐標(biāo)數(shù)據(jù)導(dǎo)入Origin軟件中進(jìn)行線性擬合后，僅保留如圖11所示的船艙格子間部分矩形角焊縫的直角角焊縫的擬合路徑。

圖10 匹配點(diǎn)焊縫輪廓圖

圖11 角焊縫擬合路徑

3 試驗(yàn)設(shè)計(jì)與結(jié)果分析

3.1拍攝角度對(duì)測(cè)量精度的影響

拍攝角度將直接影響圖像的畸變程度，通常拍攝偏角越大，采集圖像的畸變將越發(fā)明顯。為了保證焊縫特征點(diǎn)三維信息的測(cè)量精度與穩(wěn)定性，有必要確定出可接受的偏角范圍。

設(shè)計(jì)圖12所示的5組試驗(yàn)，改變雙目相機(jī)拍攝偏角，在保持光照效果一致、機(jī)器人本體與焊縫距離b不變的情況下，分別對(duì)不同拍攝角度下采集的5組圖像進(jìn)行處理識(shí)別與雙目測(cè)距。8個(gè)特征點(diǎn)的相鄰間距設(shè)置為50 mm，將拍攝角度調(diào)整范圍設(shè)定為(-45°，+45°)，檢測(cè)此范圍內(nèi)雙目系統(tǒng)測(cè)距精度較高、波動(dòng)范圍小的角度變化區(qū)間。

圖12 拍攝角度示意圖

試驗(yàn)結(jié)果見表2，將表內(nèi)數(shù)據(jù)整理后得到如圖13所示的不同拍攝角度下的測(cè)量均值與波動(dòng)范圍，表明當(dāng)偏角在(-30°，+30°)內(nèi)時(shí)，能保證相鄰焊縫特征點(diǎn)的測(cè)距值，在設(shè)定值附近的波動(dòng)范圍小于2 mm，且各角度下相鄰特征點(diǎn)的平均測(cè)距均值與設(shè)定值的偏差在0.5 mm內(nèi)，基本滿足了焊縫識(shí)別的精度要求。

表2 不同偏角測(cè)距結(jié)果

圖13 不同拍攝角度下的測(cè)量均值與波動(dòng)范圍

3.2拍攝高度的影響

拍攝高度影響圖片的拍攝視野，拍攝高度較低時(shí)，視野變小，圖像細(xì)節(jié)更加明顯；較高時(shí)，視野變大，圖像細(xì)節(jié)更模糊，但整體路徑更完整。為保證焊縫路徑的完整性與清晰度，通過試驗(yàn)確定最佳拍攝高度范圍將十分必要。

設(shè)計(jì)圖14所示的6組試驗(yàn)，在保持光照效果一致、機(jī)器人本體與焊縫距離b不變的情況下，分別對(duì)不同高度下正拍采集的6組圖像進(jìn)行處理識(shí)別與雙目測(cè)距。設(shè)置相鄰特征點(diǎn)間距為50 mm，調(diào)整Hn至試驗(yàn)設(shè)定值，檢測(cè)此范圍內(nèi)雙目系統(tǒng)測(cè)距精度較高、波動(dòng)范圍小的高度變化區(qū)間。

圖14 不同拍攝距離示意圖

試驗(yàn)測(cè)距結(jié)果見表3，將該數(shù)據(jù)整理后得到圖15所示的不同拍攝高度下的測(cè)量距離與波動(dòng)范圍，這表明正拍高度為150～190 mm時(shí)，試驗(yàn)組的測(cè)距平均值距離設(shè)定值皆小于0.5 mm，上下波動(dòng)范圍小于1 mm，數(shù)據(jù)整體魯棒性好，測(cè)量精度較高；而當(dāng)調(diào)節(jié)值Hn不在此范圍時(shí)，測(cè)量精度與波動(dòng)范圍則明顯變差。

表3 不同高度正拍測(cè)距結(jié)果mm

圖15 不同拍攝高度下的測(cè)量距離與波動(dòng)范圍

4 結(jié)論

(1)基于張正友標(biāo)定原理與 Matlab中的雙目標(biāo)定應(yīng)用得到的相機(jī)內(nèi)外參數(shù)與畸變系數(shù)，經(jīng)過測(cè)距程序試驗(yàn)驗(yàn)證后，證實(shí)標(biāo)定結(jié)果誤差小、精度高。

(2)基于標(biāo)定結(jié)果與BM匹配算法編寫的雙目測(cè)距與坐標(biāo)拾取程序，在增加圖像處理環(huán)節(jié)后，明顯提高了對(duì)焊縫特征的識(shí)別精度與魯棒性，縮短了像素點(diǎn)的匹配時(shí)長，加快了程序的運(yùn)行效率。

(3)分別以拍攝角度、拍攝高度為自變量，研究了兩者與雙目測(cè)距程序測(cè)距精度之間的關(guān)系。試驗(yàn)結(jié)果表明，當(dāng)拍攝角度在左偏30°至右偏30°或正拍高度在150～190 mm內(nèi)變化時(shí)，測(cè)距偏差控制在2 mm內(nèi)，滿足焊接要求、魯棒性較好。