基于Fast-RCNN與結構光縱焊縫三維形態參數檢測方法

陳英紅，杜明坤

(1.廣東省特種設備檢測研究院珠海檢測院，廣東 珠海 519000; 2.珠海市安粵科技有限公司，廣東 珠海 519000)

0 引 言

焊縫三維形態直接決定焊接位置處應力集中程度，焊縫外觀尺寸檢測正確性是焊后檢測的一項關鍵內容[1]。傳統焊后檢測方法主要由人工使用放大鏡、焊縫檢驗尺、棱角度尺等工具完成，存在精度低、檢測周期長、無法連續性檢測的現象，難以滿足大批量、不同尺寸設備焊縫外觀參數快速檢測的需要[2]。目前國內外關于焊縫外觀參數檢測主要有基于機器視覺、基于線結構激光的檢測方法[3-4]。TA Davis等[5]提出基于機器視覺改進背景差分法提取焊縫缺陷特征，對焊縫缺陷進行識別與歸類；美國路易斯安那州立大學研究基于核改進的模糊K均值法提取焊縫特征信息，實現焊縫寬度、咬邊檢測[6]；文獻[7]采用線激光掃描技術，通過單輪廓擬合、多輪廓組合方法計算出焊縫咬邊等缺陷參數；Doyoung Chang等[8]提出使用差分檢測與高斯濾波相結合算法檢測焊縫特征點；文獻[9]研究基于結構光的焊縫形貌檢測方法，采用高斯濾波以及重心法在灰度圖像上提取激光條紋中心線，并在中心線上提取焊道特征點，實現焊縫余高、寬度檢測；文獻[10]采用閾值分割、形態學方法，在二值圖像上完成激光條紋中心線提取。上述焊縫檢測方法側重于焊縫部分參數檢測，還未有焊縫三維形態全部參數(包括焊縫寬度、余高、錯邊量、咬邊、棱角度)檢測方法研究。

本文結合機器視覺、線結構激光兩種焊縫外觀參數檢測方法，在機器視覺方面創新性地應用Fast-RCNN網絡實現焊縫邊緣特征提取，檢測出焊縫寬度參數；在結構光方面，應用形態學處理方法提取激光條紋中心線，檢測出焊縫余高、錯邊量、咬邊、棱角度參數，從而實現焊縫三維形態全部5個參數檢測。

1 基于Fast-RCNN與結構光的縱焊縫三維形態參數檢測機理

根據GB150-2011《壓力容器》[11]的焊縫寬度、余高、錯邊量、咬邊與棱角度參數檢測標準以及綜合測量要求，設計如圖1所示的縱焊縫三維形態檢測模型。

CMOS工業相機與一字線激光器通過專用夾具固定，相機軸線與水平面垂直，一字線激光器出射激光面與水平線夾角為。焊縫形態參數為焊縫三維立體參數，其焊縫余高、錯邊量與棱角度與焊縫圖像焊縫參數的三維平面參數、夾角有關。

圖1 縱焊縫三維形態檢測模型

圖2 基于Fast-RCNN與結構光的縱焊縫三維形態參數檢測流程

圖2為基于Fast-RCNN與結構光的縱焊縫三維形態參數檢測流程。工業相機分別在激光器關閉、打開情況下，拍攝兩張焊縫圖像，其中不包含激光線焊縫圖像采用Fast-RCNN算法檢測焊縫邊緣特征，再經過濾波算法獲取焊趾邊界線，提取焊縫寬度特征點，即可得到焊縫寬度l；包含激光線的焊縫圖像經過濾波處理，得到只存在激光條紋線灰度值圖像，條紋中心線提取后，條紋中心線上極值點與焊縫寬度特征點進行比對，確定焊縫余高、咬邊深度特征點信息，獲得焊縫余高h、咬邊深度d；根據被檢圓筒半徑擬合出圓弧，在條紋中心線上選取熱影響區附近特征點，計算特征點到圓弧間的相對距離，即可得到焊縫錯邊量、棱角度e。

2 基于Fast-RCNN與結構光的焊縫三維形態參數檢測方法

2.1 基于Fast-RCNN的焊縫寬度檢測方法

圖3為Fast-RCNN網絡模型[12]，網絡將整張圖像、若干組對象框作為輸入，網絡首先使用卷積層(Conv)和最大池化層處理整個圖像，以產生卷積特征圖；然后對每個對象框以及特征區域(ROI)池層，從特征圖中提取固定長度的特征向量；每個特征向量被輸送到分支成兩個同級輸出層的全連接(FC)層序列中：其中一層進行分類，輸出每一個ROI的概率分布；另一層輸出K個對象中每一個類的精確邊界(bbox)位置。

圖3 Fast-RCNN網絡模型圖

圖4為Fast-RCNN訓練流程圖。在工業相機拍攝的被檢圓筒圖像庫(包含焊縫特征圖像、不包含焊縫特征圖像)上使用預訓練網絡VGG16完成對有無焊縫特征圖像的分類；將訓練好的VGG16網絡的最后三層修改為Fast-RCNN網絡結構，并將網絡輸入修改為圖像以及圖像中ROI區域兩個數據輸入。Fast-RCNN網絡輸入為帶有焊縫特征框圖像，與圖3網絡模型輸入一致。

圖4 Fast-RCNN訓練流程圖

圖5為焊縫寬度流程與圖像處理結果圖。其中圖5(a)為流程圖，將待檢測焊縫圖像輸入到Fast-RCNN網絡，得到焊縫精確邊界(bbox)信息；對bbox區域內進行高斯濾波處理，使用Canny邊緣檢測算法保留圖像中焊縫兩側焊趾線、內部特征。由于兩側焊趾線并不連續，可采用圖形形態學處理中的閉運算使焊趾線變得平滑，并修復焊趾線間斷區域，焊縫寬度特征點為經過一系列圖像處理后得到焊縫焊趾線上的每個像素點。圖5(b)為每一步圖像處理結果，焊縫寬度特征反映為焊縫圖像上、下兩焊縫寬度特征點圖像中Y軸線距離，即寬度l。

2.2 基于線結構光的焊縫余高和咬邊檢測

焊縫余高、咬邊參數通過激光條紋線反映，準確地提取高質量、清晰的激光條紋中心線是后續焊縫參數指標計算的關鍵。傳統的基于灰度圖像中心線提取方法(如重心法[13]、輪廓平均值法[14])對圖像濾波要求較高、適用性差。本文采用基于二值化圖像的形態學骨骼化、細化的中心線提取方法，并依據單像素點的中心線確定焊縫參數特征點。形態學處理中常見處理方法有膨脹、腐蝕處理，其本質是使用特定結構元B，對二值化圖像A進行單像素處理，具體處理方法為：

圖5 焊縫寬度流程與圖像處理結果

圖6為焊縫余高、咬邊檢測流程與圖像處理結果圖。由于激光具有較好單色性，可提取激光線圖像RGB三通道中的單一通道圖像作為激光線的灰度圖像，若選用綠光激光器，即選用G通道圖像；從灰度圖像中，看出激光線區域與其他區域區別明顯，采用閾值法即可得到條紋特征完整的二值化圖像：

I(x,y)——灰度圖像目標位置灰度值；

k——灰度閾值。

上述步驟得到激光條紋存在邊緣毛刺、條紋線內部孔洞，可用形態學中開運算修整，再圖像骨骼化，即得到激光條紋中心線。

圖7為激光條紋中心線中焊縫余高、咬邊參數特征點提取結果。根據GB150-2011中規定的焊縫余高為焊縫表面兩焊趾連線上金屬高度，反映在激光線條紋上特征為激光條紋線在焊縫寬度特征區域(圖7中P4點、P5點之間的區域)內的橫坐標極大值點(圖7中P1點)，其中P4點、P5點選取規則如下：

圖6 焊縫余高、咬邊檢測流程與圖像處理結果圖

圖7 寬度、咬邊特征點提取

(xl,yl)——激光條紋中心線坐標；

(xlP,ylP)——P4點與P5點坐標。

可得到焊縫余高特征為條紋中心線上焊縫特征極值點P1與焊縫寬度特征點P4在圖像中像素坐標距離hL，P1、P5在圖像中像素坐標距離hR。若存在錯邊焊縫的余高，取兩側測量余高平均值，得余高為激光線與水平面夾角。

GB150-2011中規定，焊縫咬邊為沿焊趾母材部位產生的溝槽或凹陷，其在中心線圖像中特征點反映為條紋中心上點P2與P4在圖像中X軸向距離dL（上咬邊深度）；P5附近的橫坐標極小值焊縫寬度特征點P3、P5在圖像中X軸向距離dR（下咬邊深度），即可得咬邊為激光線與水平面夾角。

2.3 基于線結構光的焊縫錯邊量、棱角度檢測

GB150-2011中規定焊縫錯邊量為焊接時由于焊接部位變形、焊接偏差等因素造成錯位、不平現象，錯邊尺寸、幅度即為焊縫錯邊量。規定焊縫棱角度為鋼板卷制的筒體在縱向焊縫處與筒體圓弧相比凸起的量值，棱角度檢測應用弦長等于為被檢測圓筒容器直徑，且不小于300 mm樣板與直尺配合檢測。傳統圓筒容器的棱角度檢測應用到不同尺寸的圓筒容器時需要分別制作指定的圓弧樣板，耗時長，適用性差。

參考文獻[15]中焊縫錯邊量、棱角度檢測方法，研究基于機器視覺的焊縫錯邊量、棱角度新型檢測方法，圖8為檢測方法的模型。其思路為分別選取焊縫兩邊熱影響區外離焊趾線最近點作為特征點，根據被檢圓筒容器的直徑擬合出理論圓弧，檢測出實際圓筒圓弧上的特征點與理論圓弧值之間的距離進而得到：

圖8 焊縫錯邊量、棱角度檢測模型

圖9為焊縫圖像錯邊量與棱角度檢測示意圖。點P6、P7為焊縫上下熱影響區外離焊趾線最近的特征點。若直接檢測難度較大，可用間接測量方法得到以點P6為例，特征點到激光線邊界水平距離DL2，弦長上點P6縱坐標位置處距離理論圓弧的水平距離DL1，圖像中實際錯邊量實際棱角度

圖9 焊縫圖像錯邊量與棱角度檢測示意圖

3 實驗研究

使用SKT-MM500C-12A彩色工業相機(分辨率 2 592×1 944、感光元件 1/2.5″、像素 2.2 μm)以及焦距130 mm、最小線寬1 mm綠色一字線激光器，構造基于Fast-RCNN與結構光的縱焊縫三維形態參數檢測系統。

圖10為圓筒縱焊縫樣品與原始圖像。其中焊縫樣品為圖10(a)直徑=570 mm輸油管道縱焊縫；圖10(b)、圖(c)為激光器在關閉、打開情況下工業相機成像效果。由于測量模型中工業相機的主要成像平面為焊縫表面，可采用在焊縫檢測位置處放置標準鋼尺，計算圖像中鋼尺10 mm長度下相機拍攝圖像中像素個數的方法完成相機標定工作。經過若干次標定實驗，取標定結果的平均值作為標定結果，圖像中單位像素間距在實際中的尺寸為0.018 mm。

圖10 圓筒縱焊縫樣品與原始圖像

參照上面提出的焊縫5參數檢測方法，應用Matlab軟件完成焊縫5參數檢測程序設計，表1為本文方法與使用焊縫檢驗尺檢測結果對比表。表2為焊縫三維外觀參數多次測量結果，其中焊縫寬度、余高的測量不確定度分別為0.019 mm、0.026 mm，與JJG704-2005《焊接檢驗尺》說明的焊縫檢驗尺的寬度、余高的測量不確定度0.173 mm相比，分別降低了89%、85%。

表1 焊縫5參數檢測結果 mm

表2 焊縫三維外觀參數檢測結果 mm

4 結束語

1) 提出基于Fast-RCNN與結構光的縱焊縫三維形態參數檢測方法，首先應用Fast-RCNN卷積神經網絡從視覺圖像中檢測并定位焊縫區域、測量焊縫寬度；其次基于結構光單色性好特點，采用顏色閾值分割、形態學處理相結合方法提取激光中心線，從激光中心線沿焊縫方向的極大、極小值點計算焊縫余高、咬邊深度，提取激光中心線處于焊縫熱影響區部分，通過擬合標準圓弧，檢測焊縫錯邊量與棱角度。

2) 采用工業相機與520 nm線激光器搭建縱焊縫檢測平臺。對直徑為570 mm的輸油管道的縱焊縫進行檢測，能準確測量焊縫寬度、余高、咬邊、錯邊量、棱角度等5個關鍵三維形態參數，焊縫寬度、余高的測量不確定度分別為0.019 mm、0.026 mm，較JJG704-2005規定的焊縫檢驗尺分別降低了89%、85%。

3) 應用人工智能、深度學習與機器視覺技術，建立焊縫寬度、余高、咬邊、錯邊量、棱角度5個三維形態參數的測量模型，實現在各種光照條件下的焊縫定位、三維形態參數檢測，有效地提升裝置適用性。

下一步將研究裝置誤差補償技術、動態測量技術，并嘗試應用人工智能實現環焊縫、內部焊縫的三維形態參數檢測，實現一站式全類型焊縫的視覺檢測。