基于改進TLD算法的激光視覺傳感型焊縫跟蹤

杜健準，高向東*，黎揚進，肖小亭，孫友松，盧新釗

(1.廣東工業大學 廣東省焊接工程技術研究中心，廣州 510006；2.廣東精泰人防工程有限公司，肇慶 526238)

引 言

視覺傳感器具有測量精度高、與工件無接觸、易于提取圖像信息等優點，因此視覺傳感是解決焊縫跟蹤問題的首選方案[1-4]。被動視覺傳感需要采集熔池圖像，由于熔池圖像的噪聲干擾十分強烈，一般難以定位焊縫中心[5]；光視覺傳感的優勢在于能夠識別微間隙焊縫，然而磁光傳感器調試難度大，容易丟失焊縫信息[6-7]；線激光視覺傳感器對焊接過程產生的噪聲具有較強抗性，適用于工業環境。針對線激光視覺傳感，主流焊縫識別方法還是傳統的形態學方法，即在已知焊縫類型的前提下，運用圖像處理技術提取特定的焊縫幾何形態特征[8-11],傳統算法能實現焊縫跟蹤的一個前提是激光條紋圖像受污染程度小，因此這類方法只能應用于特定環境。焊縫圖像在焊接過程中容易受到弧光、飛濺、煙塵等噪聲污染，因此跟蹤算法需要具備良好的抗噪能力[12-13]。

然而在實際工業環境，傳統跟蹤算法難以長時間穩健、準確地跟蹤焊縫[14]。因此，尋求一種新穎且高效的焊縫跟蹤方法具有十分重要的應用價值。在目標跟蹤算法領域，按照實現原理的不同可分為生成式模型和鑒別式模型[15]。生成式模型傾向于通過建立模型來描述目標特性，跟蹤時找到與目標模型相似程度最大的區域，從而確定當前時刻的目標位置，代表算法有光流法、卡爾曼濾波等。這種方法需要建立準確的目標模型，然而焊縫跟蹤系統模型生成難度太大，一般在工程上難以實現。參考文獻[16]中利用角點檢測算法提取焊縫亞像素特征點后采用光流法跟蹤，其檢測精度較高，然而該方法忽略了背景信息，過度依賴于目標模型。參考文獻[17]中在利用斜率分析法提取焊縫特征點的基礎上加入卡爾曼濾波進行最優狀態估計，進一步提高了跟蹤精度，卡爾曼濾波一般只能用于線性系統，因此該方法不適用于復雜的焊縫跟蹤系統。鑒別式模型將跟蹤類比成一個分類問題，將包含目標的正樣本與包含背景的負樣本同時加入樣本集，可有效提高分類器性能，如跟蹤-學習-檢測(tracking-learning-detection，TLD)算法、核相關濾波、深度學習類方法。參考文獻[18]中采用高斯核相關檢測焊縫，能在強烈的噪聲環境中獲取焊縫位置并實時跟蹤，然而該方法在跟蹤失敗的情況下難以再次識別焊縫，不適合用于長時間跟蹤。參考文獻[19]中提出了一種基于深度學習框架的視覺跟蹤與目標檢測相結合的焊縫跟蹤方法，其跟蹤性能良好，但深度學習類方法目前需要解決缺乏訓練樣本和實時性較差的問題。

綜上所述，過往的焊縫跟蹤方法仍然存在噪聲干擾下跟蹤精度低、實時性差和跟蹤失敗后難以重新檢測到焊縫中心位置的問題。為了解決以上問題，本文中提出將屬于鑒別式模型的TLD算法應用于焊縫跟蹤過程[20]，為了提高算法效率，對TLD算法進行改進。試驗結果表明，該算法能在跟蹤漂移、跟蹤失效的情況下準確、實時地檢測出焊縫位置。

1 焊縫跟蹤試驗裝置

圖1中展示了焊縫跟蹤試驗裝置的硬件組成原理。主要包括弧焊機、激光視覺傳感器、工控機、驅動器、兩軸運動平臺。其中線激光器和互補金屬氧化物半導體(complementary metal oxide semiconductor，CMOS)相機構成了激光視覺傳感器。工作時，線激光器投射可見波段的激光條紋到工件表面，激光條紋的形變信息能夠反映焊縫輪廓的幾何特征。CMOS相機負責采集包含焊縫信息的激光形變圖像并傳入工控機，經過圖像預處理和目標跟蹤算法后獲得焊縫中心的位置信息。通過參考文獻[21]中的標定方法，獲得視覺傳感器的測量分辨率為0.051mm/pixel。

Fig.1 Schematic diagram of the hardware composition of the weld seam tracking testing equipment

2 圖像預處理

圖2中展示了不銹鋼板對接焊縫的真實圖片及其對應的激光條紋。為了提高圖像處理的效率，首先在激光條紋圖像截取了感興趣區域(region of interest,ROI)。將原圖轉化為灰度圖，統計激光條紋圖像縱軸方向的灰度值總和，統計情況如圖3所示。記極值點ye的縱坐標為vmid，原圖橫軸中心坐標為umid，則ROI圖的中心坐標為(umid,vmid)，在中心周圍截取了像素大小為400pixel×200pixel的區域作為ROI，圖4是ROI圖。

Fig.2 Butt joint of stainless steel platea—actual image of weld seam b—laser stripe image

Fig.3 Statistical graph of the sum of the gray values on the vertical axis in the laser stripe image

Fig.4 ROI image

3 TLD算法研究

TLD算法是一種長時間跟蹤算法，它在跟蹤的基礎上引入檢測模塊，從而具備跟蹤失敗后重新識別焊縫的能力[22]。TLD算法的核心思想是：跟蹤模塊利用中值流法跟蹤特征點來獲取目標的運動軌跡，由此計算目標在下一時刻的位置；檢測模塊通過滑動窗口掃描焊縫圖像的目標及其周圍區域，產生候選樣本，以此來進行分類，根據分類結果可以定位目標的位置；最后將跟蹤器與檢測器所獲得的結果進行融合，輸出當前目標的最終位置。同時，學習模塊通過正負(positive-negative，P-N)學習智能劃分樣本，并更新各個分類器的參量，以此提高跟蹤的準確性。圖5是該算法流程圖。

Fig.5 Flowchart of the TLD algorithm

3.1 生成正負樣本

在焊接開始前，以焊縫特征點為中心，截取大小為W×H的圖像區域，將其標記為跟蹤目標。在目標區域周圍選擇若干個與其重疊度較大的候選區域，每個候選區域作一定范圍內的仿射變換，由此來生成正樣本集。再選出若干距離較遠的候選區域作為負樣本。這樣能夠解決訓練樣本不足的問題，令檢測分類器初步具備識別目標的能力。跟蹤過程中正負樣本集為動態更新，即不會過度累積樣本，生成焊縫圖像正負樣本的結果如圖6所示。

Fig.6 Schematic diagram of the sample generation

3.2 跟蹤模塊

在跟蹤模塊中首先要確定有效特征點。在縱軸方向上激光條紋的光強近似服從高斯分布，而在跟蹤過程中，同一列的激光條紋像素點主要沿糾偏方向移動，即沿焊縫圖像的橫坐標方向移動。因此，為了精準計算出焊縫偏差，特征點選擇規則如下：在目標區域內，遍歷圖像中V型焊縫特征點的所在列，若像素點屬于激光條紋區域(即灰度值大于背景閾值)則將其標記為有效特征點。圖7a中展示了第t幀圖像檢測到的特征點。

Fig.7 Process diagram of the median flow tracking

跟蹤模塊利用中值流法跟蹤特征點，中值流法是一種改進的盧卡斯-卡納德(Lucas-Kanade，LK)光流法。LK光流法能夠計算相鄰時刻特征點的運動矢量，光流方程為：

Ixu+Iyv+It=0

(1)

式中,I代表激光條紋圖像；Ix，Iy，It分別是t時刻激光條紋圖像I的特征點灰度值對x，y，t方向求導；u，v分別為x，y方向的光流速率。

光流方程誤差函數可以表示為[23]：

(2)

式中，在空間范圍w內的光流為定值。函數E分別對u，v求導，當導數值為0時,即可得到該點的光流矢量U:

(3)

(4)

令前向-后向誤差作為指標，找到誤差較小的特征點，通過統計這些特征點的位置變化規律，可以預測下一時刻矩形框的位置，圖7b為第t+1幀焊縫圖像通過中值流法跟蹤到的特征點。

3.3 檢測模塊

檢測模塊利用一個多尺度窗口對當前幀的焊縫圖像進行掃描并獲得若干個目標候選樣本，然后將它們輸入級聯分類器進行分類，其中包含目標的樣本為正樣本，反之為負樣本。檢測模塊在ROI圖中搜索目標，因此候選樣本數量大幅減少，算法實時性能顯著提升。

3.4 綜合模塊

焊縫中心的最終位置是由綜合模塊輸出得到的，在此之前綜合模塊接收了跟蹤與檢測的結果。若跟蹤出現失效或漂移的現象，檢測模塊會找到焊縫特征點的位置并糾正跟蹤模塊，一般情況下跟蹤和檢測共同決策，輸出焊縫特征點的位置。

3.5 學習模塊

學習模塊的P-N學習算法負責對誤分類的樣本重新標記，這樣有助于提高分類器的性能。從時域的角度分析，在時間序列上跟蹤模塊跟蹤到的一系列焊縫特征點構成了一條較平滑的軌跡，該軌跡與焊槍糾偏軌跡相對一致。當跟蹤器跟蹤到的焊縫特征點所在區域被檢測器誤分類為負樣本時，學習模塊會重新將其標記為正樣本。從空域的角度分析，在跟蹤過程中，跟蹤器跟蹤到的焊縫特征點有可能出現“漂移”現象，從而導致與檢測器的分類結果不一致。此時檢測器找出焊縫特征點最可能出現的位置，并且將其它區域標記為負樣本。

4 試驗分析

為了驗證算法的有效性，制定了如下的試驗方案：選擇10mm厚V型坡口和5mm厚不帶坡口的不銹鋼板，分別用于V型焊縫和搭接焊縫跟蹤，V型坡口寬度為8mm，傳感器在路徑上的運動速率為2mm/s，傳感器的采集速率為5frame/s，在工作平面O-xy坐標系上，焊縫跟蹤起點和終點坐標分別為(0,0)和(100,10)，激光視覺傳感器移動總路程為100mm，圖8中展示了焊縫與傳感器路徑。

Fig.8 Weld seam and sensor path

對傳感器采集到的圖像運行改進TLD目標跟蹤算法，進行兩種焊縫的跟蹤試驗。圖9中展示了應用改進TLD算法跟蹤后的不同情況。圖中“×”點標示了焊縫特征點的位置，虛線框和實線框分別為跟蹤模塊和檢測模塊的輸出。 圖9a中出現了跟蹤漂移現象，檢測模塊糾正了這種錯誤，并輸出焊縫跟蹤點的正確位置；圖9c中跟蹤模塊失效，不過檢測模塊找到目標，故選擇檢測模塊輸出作為最終結果；圖9b、圖9d中的結果為跟蹤成功。綜上各種情況，改進TLD算法均能成功識別焊縫。

Fig.9 Target tracking results

一般V型焊縫和搭接焊縫以圖9所示的特征點作為焊縫中心，將跟蹤到的特征點像素坐標值轉換到激光測量坐標系中，并以此作為分析模型。

傳統的線激光圖像處理算法的工作流程通常包括平滑濾波、提取骨架、擬合直線、提取特定像素點。應用改進TLD算法和傳統圖像處理算法進行兩種焊縫的跟蹤試驗，圖10中展示了不同算法的跟蹤路徑，表1、表2為數據統計情況。

由圖10和表1、表2可知，改進TLD算法相比傳統圖像處理算法檢測精度更高，兩種焊縫跟蹤平均絕對誤差分別為0.062mm和0.052mm。結果表明，改進TLD算法能精確定位焊縫特征點，單幀圖像算法運行時間大約為60ms。

Fig.10 Tracking paths of different weldsa—tracking path (V-shaped weld) b—tracking path (lapped weld)

Table 1 Data statistics of testing results for V-shaped weld tracking

Table 2 Data statistics of testing results for lapped weld tracking

5 結 論

傳統圖像處理算法提取焊縫激光條紋單一或特定的幾何特征，難以滿足焊接自動化的要求。TLD算法將跟蹤與檢測結合，是一種多層次特征提取的智能學習算法。改進TLD算法的優點在于具備跟蹤失敗后重新識別焊縫的能力，且跟蹤焊縫穩健、準確。試驗結果表明，該算法能同時跟蹤V型焊縫、搭接焊縫，平均絕對誤差分別為0.062mm和0.052mm，單幀圖像算法運行時間大約為60ms，本文中提出的方法能滿足工業檢測的要求。