基于視覺傳感的焊接機器人焊縫識別跟蹤技術研究現狀

蔣寶，徐冬至，黃瑞生，楊義成，宋南，聶鑫，李林

1.哈爾濱焊接研究院有限公司 黑龍江哈爾濱 150028

2.中船黃埔文沖船舶有限公司 廣東廣州 510715

1 序言

焊接作為現代加工制造領域中的重要連接方法，已經越來越多地滲透到各行業各領域中多品種多類型的材料加工中。在以往的傳統制造領域中，大多使用手持式焊接方式，其對焊接工人的要求相對較高，且焊接效率低下，已經難以滿足現代焊接生產需求。隨著半自動化焊接技術的出現，以機器和人工組合的方式，使焊接自動化程度得到一定提高，大幅改善了焊接生產環境，同時也在一定程度上提高了焊接生產效率，但其仍然需要靠大量的人工干預，且伴隨焊接產品形式的多樣化、復雜化，仍難以滿足高效優質的焊接要求。

隨著機器人焊接方法的出現，焊接生產效率獲得大幅提高的同時，焊接靈活性得到明顯增加，焊接成本也有所降低，對于焊接領域的快速發展具有重要的推動作用。然而，在焊縫形式相對單一、焊接場合相對固定的條件下，采用一般的機器人示教編程方式尚可自由應對，但由于所焊工件形式的多樣化、復雜化，普通的機器人焊接方法在應對焊縫軌跡不統一的場合時仍需大量人工示教，同樣難以快速適應小批量的多領域、多形式的焊接生產，這在一定程度上仍會限制相關焊接領域的快速發展。

近年來，焊縫識別跟蹤技術的出現，對于機器人焊接領域的發展起到了明顯的促進作用。采用焊縫識別跟蹤技術，可以主動識別不同的焊縫特征，從而應對不同形式的具有復雜軌跡的焊縫，使機器人自主示教進行焊接作業，從而大幅提升了焊接穩定性和焊接效率，對于機器人焊接技術的普及和發展具有重要意義。

目前，由于焊縫自主識別跟蹤技術對焊縫檢測精度和軌跡規劃要求較高，其涉及到多學科多領域知識，導致其自主識別跟蹤能力尚不完善，仍需多領域專家學者繼續深入研究。本文正是基于以上分析，從傳感器、焊縫識別及特征提取、焊縫跟蹤控制技術等方面對焊縫識別跟蹤技術的發展作了較為詳細的闡述。

2 焊縫識別跟蹤技術特點

焊縫識別跟蹤技術主要包括對焊縫的檢測識別、焊縫特征的提取、焊縫跟蹤控制。焊縫識別與焊縫特征提取是利用特定的傳感器對焊縫特征類型進行識別定義；然后根據不同類型焊縫在傳感器中的成像，并通過特定的圖像處理算法，將識別提取到的焊縫特征最終轉換成三維坐標系；最后焊接機器人根據所獲得的焊縫特征信息進行自動識別校正跟蹤，即通過傳感器獲取實時焊縫位置信息后建立數學模型，根據相關特征信息實時調整焊槍位置，使之實現高效率、高質量的焊接[1-3]。

對于機器人焊接焊縫識別跟蹤，其核心在于焊縫特征的實時識別及其特征提取，高效率、高質量焊接實現的前提是焊接機器人能夠對焊縫位置進行快速、準確地獲取，只有將不同類型的焊縫特征進行精準識別并將其提取轉換成焊接機器人認可的數據信息，才能做到焊接過程中不依靠人工干預，使焊接機器人自行根據焊縫形式進行實時軌跡調整，從而適應不同焊接場合，做到小批量、多場合、多任務地快速焊接生產。因此，對于焊縫識別跟蹤技術的研究與發展，結構簡單、過程穩定、靈敏度高的焊縫跟蹤傳感至關重要，同時焊縫特征提取算法的優劣也是影響焊縫識別跟蹤精度及最終焊接質量的重要因素。

3 焊縫識別跟蹤技術研究現狀

3.1 傳感技術研究進展

（1）傳感器分類 根據傳感的接觸方式，主要分為電弧傳感器、接觸式傳感器和非接觸式傳感器，傳感器主要分類如圖1所示。以往焊接機器人應用最普遍的是電弧傳感和接觸式傳感[4，5]，其響應快、成本低且結構簡單，但其精度較差，不適用于結構復雜的焊縫。此外，超聲波傳感[6]、紅外傳感[7]和視覺傳感[8]也是焊接領域常用的傳感方式。其中相較于其他傳感方式，視覺傳感技術可以通過捕獲諸如電弧形態、熔池輪廓等信息提供決策支撐，其獲取的焊縫特征具有信息豐富、抗干擾能力強、靈敏度與精度高且與工件非接觸的優點，適用于各種焊接形式，逐漸發展成為焊縫跟蹤系統中的主流傳感器[9]，并在如今的機器人焊接領域中得到了廣泛使用[10，11]。

圖1 傳感器主要分類

視覺傳感器主要依靠焊縫中反饋回的光源信息進行特征識別，根據有無外部光源分為主動傳感和被動傳感。其中主動視覺傳感器依靠外部光源，以更具有判別性特征的結構光（如激光、鹵鎢燈等）條紋作為檢測對象，通過外部光源進行投影的方式提取焊縫的三維特征信息，能夠有效克服自然光源下信息采集困難的問題，因此成為焊縫跟蹤領域的主流發展方向；而被動視覺傳感器則是直接利用焊接過程中焊縫自身投射出的光源信息進行焊縫特征提取，容易受焊接飛濺、弧光等噪聲干擾，導致成像質量較差，后期的圖像處理較主動視覺更復雜。基于視覺傳感的焊縫識別跟蹤如圖2所示。

圖2 基于視覺傳感的焊縫識別跟蹤

主動視覺焊縫跟蹤常用結構光法，這是一種基于光學三角測量原理的檢測方法，可以準確獲取被測物體的三維輪廓信息，結構簡單，穩定性好，可快速準確地提取焊縫中心位置。其中，工業應用最多的為激光式結構光傳感器，其以激光作為輔助光源，具有精度高、穩定性好等優點。此外，激光式結構光傳感器又分為線激光結構光傳感器與2D結構光傳感器，其中線激光傳感器結構簡單，操作方便，應用廣泛[12，13]。

（2）激光傳感器 激光視覺傳感器的工作原理在于將激光投射到焊縫表面，形成具有一定特征的激光條紋并由視覺傳感器進行焊縫特征信息提取，進而識別焊縫特征點位置，如圖3所示。后續焊接機器人依據相關信息進行焊接位置實時校準，其基本流程如圖 4所示。

圖3 激光傳感原理

圖4 激光傳感基本流程

對于不同的焊縫幾何形式，根據不同的焊縫特征提取方法及特征信息轉換原理，選用的激光條紋分為單線、多線、十字及圓環等特征形式。其中，單線形激光傳感器可以獲得焊縫繞投影軸的旋轉信息，但信息量相對較少且易受噪聲影響，對此SUNG等[5]研究出了一種可產生多條一字線激光的激光視覺傳感器，能夠提取到反映焊縫特征的多視點幾何數據；而LAKOVOU D等[14]則利用三個激光發生器投射出三角狀激光條紋，進而實現焊縫檢測的功能；XU等[15]為了實現復雜焊縫軌跡的精確跟蹤，設計了一種環形激光視覺傳感器，提出了焊縫三維跟蹤的基本概念，并對多種類型焊縫進行了試驗驗證；XIAO等[16]為了提高曲線焊縫跟蹤中單線傳感器的跟蹤精度，提出了利用三線激光作為檢測光源來提高跟蹤精度的可行措施；KIDDEE等[17]則開發了一種十字形激光視覺傳感器，有助于增加焊縫跟蹤過程中所需要的特征點數。

目前，國外已有多款激光視覺傳感器投入商用，其中有加拿大Servo-Robot公司的i-CUBE系列激光傳感器、POWER-CAM激光傳感器，德國 Abicor Binzel公司的TH6D系列焊縫跟蹤傳感器，英國Meta公司的Smart Laser Pilot智能激光傳感器等，如圖5所示。但由于價格昂貴且維修困難，所以在國內普及度較低。目前，國內對激光視覺傳感也有一定的研究，如北京創想公司的CRNT標準激光焊縫跟蹤器[18]、北京同舟興業公司的TTEC激光 2D 傳感器[19]等，但在精度、穩定性及適用范圍等方面，與國外同類產品相比仍存在較大的差距。

圖5 基于視覺的焊縫識別跟蹤

3.2 焊縫識別提取技術

焊縫識別提取是在視覺傳感器獲得的圖像中識別出有用信息并進行分析處理，最后提取出焊縫特征且以此作為焊縫跟蹤的依據。在圖像處理技術中，圖像處理算法作為焊縫自動跟蹤系統的核心部分，需要具備良好的實時自動分析能力、關鍵信息提取能力以及抗噪能力。

（1）焊縫識別及焊縫特征提取技術 作為焊接機器人焊縫識別跟蹤技術的關鍵，焊縫特征識別提取技術的發展對自動化焊接質量至關重要，因此對相關技術的持續深入研究，對于機器人自動化焊接的發展具有重要的推動作用。

ZHANG等[20]考慮激光條紋的空間特性和焊接線的連續性，提出了基于時空級聯隱馬爾可夫模型的焊縫檢測和定位算法；ZHANG等[21]針對大型拼接焊縫提出一種基于三線結構光的激光視覺識別方法，抗干擾能力強，獲取信息量豐富；LI等[22]研究的基于激光掃描位移傳感的焊縫軌跡識別方法，可以準確識別典型空間不連續焊縫，焊縫檢測時長相對較短，大幅提高了焊接效率。

近年來，有部分研究人員針對多類型焊縫進行了識別。QIAN等[23]通過焊縫特征點之間的相對位置進行焊縫識別，該方法難以適應復雜的焊接場合；LI等[24]在基于Hausdorff距離以及模板匹配的基礎上進行焊縫類型識別，其單張圖片處理時間較長，高達1.17s；LI X D等[25]為了簡化焊縫識別手段，利用了焊縫線條及連接點的組成特點進行分類識別，但該方法精度較差；FAN J F等[26]利用SVM并通過提取圖像特征向量建立焊縫識別模型，然而其適應范圍較窄。

此外，在實際焊接環境中，不同的焊縫類型，在激光的投射下其成像不同，焊縫特征提取算法也因此有所差異，國內外學者均對此作了大量研究工作[27，28]。在焊縫特征點提取之前，首先對反射的激光條紋信息進行識別提取，常用的焊縫條紋提取方法有極值法、閾值法、灰度重心法及霍夫變換等[29-31]。黃色吉等[32]采用列掃描法選取焊縫圖像特定區域對激光條紋閾值分割，并利用圖像投影確定焊縫中心線；南方等[33]利用自適應閾值法提取條紋區域，通過隨機霍夫變換與Steger算法提取激光條紋中心線；MUHAMMAD等[34]針對低質量的焊縫圖像，結合激光條紋結構特征來定向增強圖像，改善了激光條紋峰值，利用像素強度分布，能夠準確提取條紋特征。此外，激光條紋提取方法還有最近鄰聚類算法、方向模板法、遺傳算法等[35-37]，研究人員均作了較為深入的分析論證。

在實際工況中，焊縫坡口形式并不一致，據此其特征點提取方法也會有所不同，斜率分析和直線相交法是目前特征點提取的重要方法[38，39]。其中KIDDEE等[40]基于幾何形狀檢測V形焊縫坡口特征的方法，通過霍夫變換并利用最小二乘法擬合出特征點；YU等[41]將坡口看作直角拐點和斜角點的幾何疊加并采用斜率極值法和斜截距法提取特征點。此外，針對厚板多層多道焊軌跡規劃問題，顧帆等[42]提出了結構光視覺檢測的特征點提取算法，搜索獲得兩個特征點，其跟蹤系統如圖6所示。

圖6 基于視覺的焊縫識別跟蹤系統

目前的焊縫識別提取技術，在焊接環境相對良好、其他影響因素較小的情況下，其識別提取精度還能得到一定保障，但實際焊接場合環境復雜、影響因素較多，如強烈的弧光、較多的飛濺等都會對焊縫識別提取穩定性造成影響，因此去噪處理便成為了焊縫識別提取技術的一大難題，也是重點研究方向之一。

（2）圖像去噪處理技術 焊縫特征信息在識別提取過程中主要分為兩種方式：一種方式是先讓傳感器對焊縫從頭到尾進行完整的掃描，然后返回起始處開始焊接，此方法相對簡單，不易受到干擾，但效率也隨之降低；另一種方式是掃描和焊接同步進行，此種方法雖然效率有所提高，但會導致提取到的圖像含有大量噪聲，進而降低焊縫識別精度。此外，對于一些本身易產生較大噪聲的焊接場合，也會掩蓋所需要的焊縫特征，而采用常規的物理噪聲處理方式，如加裝擋板等方式的效果較差。因此，如何有效地去除視覺傳感系統中焊縫圖像噪聲，對于提高焊縫識別和焊縫特征提取效率具有重要作用。

對于圖像噪聲，目前主要用濾波去除方法，如均值濾波、中值濾波以及高斯濾波。其中，中值濾波方法較為簡單，可以在保證信號分辨力的條件下，保留圖像邊緣信息，應用廣泛；而均值濾波會降低圖像分辨力，高斯濾波更會造成圖像信息丟失，難以適用于圖像去噪處理[43]。此外，HUANG等[44]通過小波分析，有一定的抑制噪聲干擾和消除偽像作用；王平[45]以及龔國基等[46]也都利用不同的方法對焊縫圖像進行了濾波去噪。

近年來，為了提高焊接機器人焊縫識別跟蹤技術的智能化，基于深度學習的焊縫識別跟蹤技術也獲得了一定發展[47-49]。其中鄒焱飚等[50]結合深層卷積神經網絡的特征學習能力，實現對焊縫特征點位置的跟蹤，具有較強的抗干擾能力；DU等[51]提出了一種基于卷積神經網絡的特征區域識別和特征搜索方法，其特征點提取精度的平均誤差為0.29mm，能夠準確有效地提取出強噪聲焊縫圖像特征；XIAO等[52]提出了一種基于激光視覺傳感器的自適應特征提取算法，通過訓練深度學習中用于目標檢測的Faster-CNN網絡模型，以識別焊縫類型并定位激光條紋區域，該方法可快速識別焊縫類型，適應性更強。

從以上焊縫識別研究進展來看，受限于實際焊接環境的復雜性，對于一些焊縫形式相對簡單、焊接環境相對良好固定的焊接場合，目前的焊縫識別提取技術可自由應對；但對于多任務多類型的機器人焊接場合，如不同板厚條件、不同反光材料、不同焊縫類型，以及不同焊接方法等復雜情況下的適應性和抗干擾能力仍待提高。

3.3 機器人跟蹤控制技術

在焊接機器人焊縫識別跟蹤系統中，在經過焊縫特征信息的識別提取及圖像處理后，傳感器獲得的圖像坐標信息與期望坐標間存在偏差，需要機器人實時調節以實現自動跟蹤及軌跡調整功能，其在整個焊接系統中對最終的焊接質量同樣具有重要作用，研究人員在此方面也作了較為深入的研究。

為了簡化機器人控制系統，一些學者在不考慮外加載荷的條件下進行了研究分析，其中XING等[53]在迭代學習控制的框架下，提出了分批模式的跟蹤誤差概率密度函數控制方法；CHEN等[54]基于任務空間劃分方法，建立了保持機構間協調運動關系的目標函數；高勝等[55]按照運動誤差補償思想，用于實現空間焊接軌跡的魯棒跟蹤。但是，雖然上述方法相對簡單，但實際焊接時會有額外的附加載荷，可導致焊槍實際行走軌跡有所偏差，降低焊接系統穩定性。為了最大程度地降低焊槍軌跡偏差，部分研究人員直接調整焊接過程中機器人末端的位置或位姿，如采用軌跡完全重規劃的方法[56]，是重要的發展方向之一。

為了獲得更好的焊縫跟蹤效果，有研究人員[57]采用了目標視覺跟蹤方法。目標視覺跟蹤（VOT，Visual Object Tracking）作為一種有效的跟蹤框架，可對序列復雜圖像中特定區域進行跟蹤。其中CARLSON等[58]采用粒子濾波估計目標后驗概率密度分布的方法實現焊縫跟蹤；LI等[59]提出了先用目標跟蹤算法確定出小范圍目標搜索區域后，再提取焊縫特征點的思想；ZOU等[60]采用貝葉斯概率框架并利用局部余弦，提出了一種無需對激光條紋中心進行提取的焊縫跟蹤算法。

為了進一步提升焊縫跟蹤控制系統的智能化，笛卡爾空間位置糾偏模塊成為了一個重要研究方向，該模塊可計算出實際所需要的偏置電壓，進而控制焊槍偏移距離，提升了焊接機器人自動跟蹤系統的智能性，但也需要一定的算法來進行控制。其中SHEN等[56]開發了一套使用傳統 PID 算法實現偏置電壓輸出的焊縫跟蹤系統，并對算法的跟蹤精度進行了驗證；XU等[61]提出了笛卡兒空間位置糾偏的分段自適應PID控制器，克服了傳統PID算法自適應能力不足等缺陷，進而大幅提高了焊縫跟蹤系統的穩定性。

此外，BORER等[62]提出一種基于激光位移傳感器的焊縫跟蹤算法；OLLI等[63]研制了一套由視覺傳感器、圖像處理等模塊組成的激光視覺系統，JIA等[64]設計了一種基于激光視覺傳感器的機器人相貫焊縫實時跟蹤系統；ZOU等[65]開發了一套基于激光視覺的焊縫跟蹤系統，對直線或曲線焊縫的平均絕對跟蹤誤差可控制在0.25mm內，均能很好地進行焊縫跟蹤。

目前，國外的焊縫跟蹤系統已經在工業上得到應用，如瑞典ASEA公司開發的Laser Tracker視覺跟蹤系統；美國Unimation 公司與日本Kawasaki公司共同開發的Model 79A焊縫跟蹤系統；英國Meta公司開發了針對焊接機器人的Laser Pilot系列焊縫跟蹤系統（見圖7），可匹配多種焊縫類型；此外，加拿大Servo-Robot公司開發了Power-Trac系列焊縫跟蹤系統（見圖8）、Servo-Robot激光焊縫跟蹤系統（見圖9），結構緊湊，抗干擾能力較強，可用于精密電弧焊和激光焊接。國內在此方面技術能力相對欠缺，市場占有率較低。

圖7 Laser Pilot系列焊縫跟蹤系統

圖8 Power-Trac系列焊縫跟蹤系統

圖9 Servo-Robot 激光焊縫跟蹤系統

4 總結與展望

機器人焊接技術的出現，一定程度上促進了焊接自動化技術的發展，大幅提高了焊接生產效率，但由于仍需依靠人力，故已經難以滿足現代高效優質焊接的需求。焊縫識別技術的發展，可以最終實現焊接機器人對不同類型焊縫的自主識別、定位、特征提取及自動校正跟蹤，對于焊接機器人自動化、智能化焊接技術的發展具有重要的推動作用。其中，焊縫識別提取技術是整個焊縫識別跟蹤系統發展的關鍵，精度高且穩定性好的傳感器、高效優質的焊縫提取算法/圖像處理技術，對于焊縫自主識別跟蹤技術的發展及工程應用具有積極的促進作用。

隨著機器人焊接技術的不斷發展，自動化、智能化已經成為未來機器人焊接的一個重要發展方向，其中基于結構光的激光視覺傳感技術、基于特定算法的焊縫識別及焊縫特征提取技術、穩定的跟蹤控制系統都是各國研究人員的重點研究方向。目前，國外已經有成熟穩定的焊縫識別跟蹤系統并進行了工程應用，而國內尚缺乏可普及的高精度和高穩定性的視覺傳感、識別提取算法及跟蹤控制技術，亟需進行多類型焊縫識別、自適應性好、抗干擾能力強的成套焊縫識別跟蹤系統研究，對于促進國內多領域、多類型、多場合的自動化甚至是智能化焊接技術的發展具有重要意義。