焊接機器人視覺系統對焊縫的標記方法研究*

趙陳磊 ，吳圣紅 ，席 林 ，宋 強 ，羅 嘯 ，馮葉陶 ，谷 豐

（吉利學院汽車工程學院，四川 成都 641402）

0 引言

焊接作為一種材料融合手段，是現代制造業當中必不可少的一項制造工藝。焊接從商周時期的鑄焊工藝，一直發展到了現在門類繁多的氣體保護焊、激光焊、點焊、螺柱焊等現代焊接工藝，在現代制造業當中的地位也越來越重要，同時自身的內涵也日新月異，自動化和智能化程度也在逐步提高，出現了第一代的示教焊接機器人以及現在正在開發的第三代智能焊接機器人。

第三代智能焊接工業機器人是指在一定條件下實現焊接工作的智能焊接、柔性焊接，核心功能是依托視覺系統來實現的。一個完整的智能焊接工業機器人，視覺系統應該具備以下幾個基礎功能：焊縫特征檢測與標記、焊縫特征提取、焊縫特征三維重建、焊縫特征坐標與機器人坐標進行轉換（手眼標定）；在此基礎功能上，焊接機器人還可以對焊接過程進行控制追蹤、焊接質量檢測等傳統第一代和第二代焊接機器人無法實現的功能。

其中，如何對焊縫特征進行標記或者說焊縫檢測，是實現焊接機器人智能焊接工作的重要前提，也是目前焊接機器人視覺系統研究的熱點方向之一。現有的焊縫標記方法研究方向大致分為兩個：一是基于邊緣檢測算法來實現的，二是基于角點檢測算法來實現的。本文在對上述兩種方法進行詳細論述的基礎上，通過實驗進行對比分析，確定了最適合本文研究對象的焊縫標記方法。

1 焊縫特征標記

1.1 基于邊緣檢測算法的焊縫特征標記方法

邊緣檢測算法目前大致分為兩個研究方向：傳統研究方向和基于深度學習的研究方向。傳統研究方向主要通過研究圖像邊緣信息來實現對物體特征的提取，由于圖像在邊緣處某些信息會產生突變，例如圖像的灰度信息；通過檢測圖像灰度信息突變點，可實現對物體邊緣輪廓的檢測標記，進而實現本文研究對象——焊縫特征的提取[1]。此外，也可以通過對物體顏色、紋理、亮度等特征信息進行提取，完成對物體特征的標記[2]。課題組針對傳統邊緣檢測方法，重點選取了應用較為典型的Sobel 算子、Canny 算子進行了驗證，其中Canny 算子是傳統邊緣檢測方法中目前應用最廣泛的算子。

1）Sobel 算子。Sobel 算子通過對圖像的梯度信息進行檢測，基于此實現對圖像邊緣的定位，并使用一個3×3的卷積模板，對圖像進行處理，其定義為：

其中：

2）Canny 算子。Canny 算子首先對圖像進行預處理，再對圖像進行偏導，但是這個偏導采用了一個2×2 的差分模板進行，最后對圖像的梯度的幅度和方向進行判斷，取極大值，確定角點，其定義為：

基于深度學習的目標檢測算法，是隨著近幾年人工神經網絡技術的興起發展起來的，雖然檢測精度高，與人眼檢測差異性小，但是該方法前期工作量大，對計算機硬件和訓練數據量要求較高；且深度學習算法應用于目標檢測本就具備一些缺點，例如有的算法檢測精度高，但只能應用于圖片檢測，無法應用于視頻流檢測；有的算法可應用于視頻流檢測，但檢測精度較低，不適用于小目標物體檢測。從這個方向來看，傳統方法相較而言更為成熟，適宜性更好，故本文未對基于深度學習的目標檢測算法進行驗證。

1.2 基于角點檢測算法的焊縫特征標記方法

點是構成物體幾何要素的最基本要素，對于焊縫特征亦是如此。本文研究對象的焊縫在一般狀態下可以近似看作一條線，而線又可以看作是由若干個點構成的。所以要完成物體焊縫的特征標記的另外一個思路就是使用點對焊縫進行逐個標記，再由這些點集形成完整的焊縫特征。現有的角點提取方法大致分為3種，但基本上都是基于圖像信息來實現的，包括基于圖像灰度信息、圖像二值信息、圖像邊緣信息[3-5]。針對本文實驗對象，本文重點選取了基于圖像灰度信息的Forstner、Harris 兩種角點提取算法進行實驗驗證。因為圖像灰度信息相較于圖像二值信息、圖像邊緣信息更豐富，同時對于相關研究表面，在某些情況下，Forstner、Harris 角點提取算法性能更優異。

1）Forstner算子。Forstner算子被廣泛應用于航空圖像處理中，具有精度高、檢測速度快等優勢。通過確定最佳窗口對像元的邊緣直線圖像Y方向進行加權處理，或者通過確定Robert 梯度和固定窗口像素中心的灰度協方差矩陣，求解所求角點的最佳位置[6-8]。在確定最佳窗口時，可通過對比興趣值q與權值w是否大于給定的閾值，對最佳窗口位置進行判斷，其中：

式中，detN和trN表示為矩陣N的行列式和跡。

2）Harris 算子。Harris 算子具有局部特征不變性，且在圖像匹配中，在圖像的灰度變化上，對噪聲的敏感性和魯棒性都有較好的處理效果[9-10]；它使用角點響應函數CRF、微分矩陣M 和來實現對角點位置的判斷。

式中，Gx、Gy分別表示x 和y 方向上的梯度，G(σ)表示高斯濾波器。

2 實驗驗證

本文研究對象為角焊焊縫特征的標記，為了保證實驗的可操作性，故本文采用焊接模擬件用于算法效果驗證。采用邁德威視工業相機進行數據采集，并在Halcon 平臺上分別對邊緣檢測算子——Sobel 算子、Canny 算子以及Forstner、Harris 角點檢測算子進行實驗對比分析，實驗模擬件原圖如圖1 所示，對應的焊縫標記效果如圖2、圖3、圖4、圖5所示。

圖1 焊接模擬件

對實驗結果進行分析可知，本文選取的研究方法對本文研究對象總體上均有較好的標記效果，但圖像進行局部放大處理后，Forstner 算子的標記精度明顯更高，如圖6、圖7、圖8所示。由圖6可知，邊緣檢測算法是標記焊縫的邊緣輪廓，而在實際工程應用中最佳的標記位置是在焊縫中間，故角點檢測算法更適合本文研究對象，同時Forstner 算子標記焊縫的一致性更好。

圖2 Sobel算子標記焊縫

圖3 Canny 算子標記焊縫

圖4 Forstner 算子標記焊縫

圖5 Harris 算子標記焊縫

圖6 邊緣檢測算法焊縫標記效果

圖7 Forstner 算子焊縫標記效果

圖8 Harris 算子焊縫標記效果

3 結論

本文針對角焊模擬件的焊縫標記，使用了兩種邊緣檢測算法和兩種角點檢測算法并進行對比分析。確定了Forstner 算子更適合本文研究對象。通過標記焊縫，可為后續的焊縫三維重建，焊接機器人的自主路徑提供重要的依據。