基于立體視覺的焊孔識別與定位系統研究

摘 要：目前對大型軸承焊孔、焊縫的焊接基本都是工人手工焊接，而這種傳統的人工焊接方式，效率低且質量不穩定，難以滿足大批量的生產需求；并且在高溫高壓、水下及核工業現場等惡劣環境下，要考慮溫度、壓強及光的折射等因素的影響，人工焊接更是困難，焊接過程對工人的身體傷害也非常大。針對上述問題，基于立體視覺技術，研究焊孔的自動檢測識別與定位系統，先通過雙目相機實時拍攝焊孔信息，并對拍攝的圖像進行預處理；然后利用模板匹配算法和LOG算子檢測技術實現對焊孔的檢測識別；最后使用AD-Census算法對焊孔進行三維重建。經實驗表明，焊孔三維定位誤差在0.5 mm內，滿足工廠對焊孔的焊接要求。

關鍵詞：立體視覺；焊孔識別；焊孔定位；LOG檢測；立體匹配；三維重建

中圖分類號：TP273 文獻標識碼：A 文章編號：2095-1302（2024）05-00-03

0 引 言

近年來，各國對自動化焊接技術的發展越發重視，早在2013年，德國就提出了“工業4.0”計劃[1]，主要思想是通過將信息技術與網絡空間虛擬系統相結合的手段，實現制造業由傳統人工向智能化的轉型。2015年，日本提出了“機器人新戰略”計劃[2]，擴大機器人開發投資，確定以機器人為核心的三大目標，實現機器人革命。同年，我國也提出了“中國制造2025”計劃[3]，旨在加速推進新一代信息技術與制造技術的融合發展，全面提高企業研發、產品生產及服務管理的智能化水平，實現我國由制造業大國到制造業強國的轉變。目前工業機器人的使用程度和規模已經成為國家智能化、自動化發展的標志，自動化焊接機器人技術的研究與發展有著重要的意義。

對目標的檢測識別與定位中，圖像處理技術和計算機視覺技術得到廣泛應用，給機器人加上視覺傳感設備，可以捕捉周圍環境信息，實現對目標物的實時檢測。機器人進行自動化焊接時，通過機器視覺，采集焊縫寬度、深度及形狀等特征信息；再通過圖像處理技術，對采集的圖像信息進行預處理，便于實現焊接過程的智能控制[4-6]。

1 識別與定位系統

為實現對軸承焊孔的檢測識別與定位，本文研究了一套立體視覺系統，此系統主要包含圖像預處理、立體匹配及三維重建。整體系統框圖如圖1所示。

首先，利用雙目相機捕獲焊孔的左右圖像；其次，對圖像進行預處理，增強圖像目標信息；再次，對捕獲的左右圖像進行立體匹配，計算圖像視差；最后，結合獲取的視差圖及重投影矩陣對焊孔進行三維重建。

2 焊孔檢測識別

2.1 相機成像模型

將兩個相機放在同一水平位置，就組成了雙目相機模型，即雙目視覺模型。雙目視覺模型作為機器視覺的重要分支，能夠使計算機通過二維圖像感知三維環境信息。它基于視差原理，通過相機從不同位置和角度觀察同一物體，并根據相機小孔成像模型幾何原理，推導出目標點的空間坐標。

2.2 相機標定

通過相機成像模型確定了基于雙目視覺的三維重建公式，但公式中包含相機成像模型參數，因此還需要通過相機標定實驗，確定相機成像模型參數，即雙目相機的內外參數。

相機標定實驗的目的主要有兩點：一是獲取雙目相機的內外參數，用于獲取目標點的空間坐標；二是獲取相機的畸變參數，便于后續對圖片進行去畸變處理。相機的標定在三維幾何重建的過程中占有非常重要的地位，不僅是三維重建的基礎，而且立體校正和三維重建部分都需要用到標定得到的相機內參、外參及畸變系數，標定結果直接影響三維重建精度。本文通過OpenCV標定獲取相機內外參數。

2.3 立體校正

立體校正是指對兩幅圖像分別進行一次平面投影變換，通過立體校正能夠校正拍攝圖像時引起的畸變，使兩幅圖像的對應極線在同一水平線上，這樣一幅圖像上任意一點與其在另一幅圖像上的對應點在同一行，立體匹配時只需在該行進行一維搜索即可找到對應點，加快了立體匹配的速度。

目前常見的校正方法有Fusiello校正法和Bouguet校正法。由于Fusiello校正法在攝像機畸變較大時，難以實現理想的校正效果。因此，本文選擇可靠性較好的Bouguet校正法進行左右圖像的立體校正，該方法可以較為理想地實現校正效果。

2.4 LOG檢測識別

斑點指二維圖像中與周圍顏色、灰度有差異的特征區域。斑點檢測是圖像處理中重要的研究內容，是對目標特征提取和檢測的重要步驟。目前主要的斑點檢測方法有差分方法和局部極值方法，差分方法是基于函數在對應像素點處的導數，局部極值方法是基于函數局部極值的尋找。本文采用基于函數導數的LOG斑點檢測算法。通過LOG算子檢測圖像斑點主要有3個步驟：

（1）改變σ的值，生成不同尺寸的規范化后的拉普拉斯函數模板。

（2）利用這些模板分別與圖像進行卷積。

（3）在尺度和圖像空間上檢測極值點，求中心和半徑。

在二維圖像中，檢測圖像中的斑點，需計算各個不同尺度下的高斯拉普拉斯響應值，當一個檢測點的響應值均大于或者小于周圍26個相鄰點的響應值時，就認為該點是被檢測到的斑點。

3 焊孔三維重建

3.1 立體匹配

完成圖像的預處理及焊孔的檢測識別后，需要通過立體匹配算法提取圖像的深度信息，結合三維重建技術，實現對焊孔的三維定位。其中，立體匹配算法是雙目視覺三維重建的關鍵所在，通過立體匹配找出焊孔圓心在左右圖像中對應的像素點，得到相關視差及深度，進一步獲取三維空間中焊孔的位置。

立體匹配方法有：基于局部的、全局的、半全局的以及全局和半全局結合的。本文采用全局和半全局結合的匹配精度較高的AD-Census立體匹配算法[5-10]。進行立體匹配時，通常有4個步驟：代價計算、代價聚合、視差計算及視差優化。

（1）代價計算

代價計算描述的是左右圖像上兩像素點之間的相關程度，代價值越小，表示兩像素相關性越小，匹配率越小。反之，兩像素的代價值越大，則表示其相關性也就越大，越有可能是匹配點。

（2）代價聚合

代價聚合是通過代價值的大小衡量像素點之間互為匹配點的精準程度。上一步的代價計算只考慮圖像中每個像素的代價值，易受噪聲干擾，造成誤匹配。因此，代價聚合這一步驟是利用像素鄰域一定窗口內的信息進行對比，達到濾波的目的，優化局部的相似度，得到新的視差空間圖。

（3）視差計算

視差計算是對代價聚合之后的代價值進行篩選，選出代價值最小的匹配點作為目標點，并將該最小代價值對應的視差值作為最優視差。視差值通常采用贏家通吃（Winners Take All， WTA）算法進行計算。而全局立體匹配算法便是通過構造能量函數，求取最優解來計算視差。

（4）視差優化

視差優化是為了對前面步驟得到的粗糙的視差圖做進一步的優化處理，提高視差圖質量。主要通過中值濾波、左右一致性檢測等方法處理視差圖中遮擋、噪聲等錯誤視差。

3.2 三維重建原理

三維重建時，將雙目相機拍攝的左、右圖像設置為目標圖像，利用立體匹配算法生成視差圖，并獲得目標物體圖像的深度信息，進一步根據相似三角形原理實現目標物體的三維重建。設經過計算得到三維重建的空間坐標為（X，Y，Z），通過AD-Census立體匹配算法獲得視差圖和重投影矩陣，進而進行焊孔的三維重建，如式（1）所示。

（1）

其中，重投影矩陣Q如式（2）所示。

（2）

將式（2）代入式（1）得三維重建公式為：

（3）

式中：cx、cy為相機主點坐標；f為焦距；d為點P在左右圖像中的視差；cx'是右相機主點在圖像中的橫坐標。代入Q、d及焊孔像素坐標即可得到焊孔的三維空間坐標。

3.3 實驗結果及分析

對焊孔進行實時檢測識別與定位時，設置每隔1 s輸出一次三維重建結果。由于篇幅有限，此處只選取一組實驗結果與焊孔實際三維空間坐標進行對比分析，見表1所列。結合實際空間中焊孔位置坐標，通過對比分析x、y、z各個坐標軸的數值變化情況，發現焊孔三維重建最大誤差為0.48 mm，小于0.5 mm，滿足工廠對焊孔的焊接要求。

4 結 語

本文設計的基于立體視覺的焊孔檢測識別與定位系統，通過LOG算子檢測技術進行焊孔的檢測識別，實現焊孔精確定位；利用AD-Census立體匹配算法獲取圖像深度信息，進行焊孔三維實驗，實現焊孔的三維定位。實驗結果表明，三維重建精度較高，具有一定的可行性。

參考文獻

[1] WEI F. Industry 4.0：advances of Germany’s manufacturing innovation（Extended abstract：Presentation-only）[C]// Proceedings of 2017 13th IEEE Conference on Automation Science and Engineering（CASE 2017）. Xi’an，China：IEEE，2017.

[2]周濟. 智能制造—“中國制造2025”的主攻方向[J]. 中國機械工程，2015，26（17）：2273-2284.

[3] BENDALE T D，KHARAT V J. A design of gesture controlled mobile robot with robotic arm for nuclear environment [C]// Proceedings of 2017 International Conference on Nascent Technologies in Engineering （ICNTE）. Vashi，India：IEEE，2017：1-6.

[4]張建民，陳富健，龍佳樂. 基于圖像處理的點云濾波算法[J]. 激光與光電子學進展，2021，58（6）： 229-240.

[5]劉明言，杜萬和，楊敬輝.基于最小二乘法擬合平面的激光平面度檢測[J].智能制造，2023，30（5）：112-118.

[6]潘勇. 基于圖像三維重建的路面裂縫檢測研究[D].北京：北京建筑大學，2024.

[7]趙成星，張曉玲，楊宇. 基于SGBM半全局立體匹配算法的三維重建[J]. 激光雜志，2021，42（4）： 139-143.

[8]王沁，費強，石迪迪.雙目立體視覺匹配算法的實現與分析[J].經緯天地，2022，37（3）：41-44.

[9]吳思文. 基于點云數據的三維輪廓重構技術研究[D].哈爾濱：哈爾濱工業大學，2022.

[10]劉悅. 基于跨尺度和多路徑融合的半全局立體匹配方法研究[D].呼和浩特：內蒙古大學，2023.

作者簡介：楊翠珠（1997—），女，碩士，研究方向為機器視覺。

收稿日期：2023-04-20 修回日期：2023-05-18

基金項目：2022年北方民族大學研究生創新項目（YCX22116）