基于相關分析和神經網絡的激光焊接穩態識別

黃威威，游德勇，高向東，張艷喜，黃宇輝

(廣東工業大學 廣東省焊接工程技術研究中心， 廣州 510006)

引 言

激光焊接具有焊接變形小、熱影響區小、能量密度高、效率高等優點，因此日益廣泛地應用于工業生產中[1-4]。當高強度激光作用于熔融金屬時，工件表面發生強烈的蒸發，當蒸發產生的壓力超過流體靜壓和熔體的表面張力，熔體就會被推開產生匙孔，同時金屬蒸汽從匙孔噴出[5-6],因此產生了液相和氣相的劇烈振蕩，導致焊接過程極易出現不穩定狀態。傳統方法提出存在兩種焊接狀態：穩態和非穩態。FANG對釔鋁石榴石固體激光焊接過程的研究表明，在全熔透基礎上，匙孔穿透及未穿透兩種模式并非突變，而是存在一個兩種模式交替出現的過渡區[7]。這是因為激光焊接過程在多相耦合作用下，存在一種準穩態的自平衡機制，當外界干擾導致參量產生波動時(如激光能量密度減小)，由于干擾幅度較小，不會導致焊接狀態直接從穩態突變為非穩態，而是首先體現在某個相態的波動(如金屬蒸汽體量減小)，由于該相態對其它相態的作用機制(金屬蒸汽減小導致孔內壓力降低，引起匙孔深度及開口面積減小)，并最終反作用于參量(匙孔深度減小，導致光束聚焦面積減小，能量密度提高)，使得焊接過程再次恢復到穩定狀態。只有當外界干擾持續對焊接過程產生影響，并最終突破準穩態的調控閾值，焊接過程才轉為非穩態。在準穩態下，即使沒有出現焊接缺陷，各種信號也會出現明顯的波動。準確識別焊接過程中的準穩態，對于提早調整工藝參量、避免出現焊接缺陷具有重大意義。

液態熔池和金屬蒸汽不是單一地影響焊接穩定性，二者的振蕩互相耦合，具有相關性。WANG等人認為，匙孔振蕩是誘發金屬蒸汽振蕩的主要因素[8]。PANG等人通過建模方法研究了金屬蒸汽和匙孔的動態行為，模擬結果表明，金屬蒸汽的振蕩與匙孔內的氣體動力學密切相關[9]。金屬蒸汽蒸發時，從匙孔噴出的顆粒對匙孔壁的能量吸收有影響，這可能影響焊接過程中匙孔的穩定性[10]。對多相振蕩相關性的研究需要獲取焊接過程中多種相態的信號，涉及到傳感信號的采集技術。光學視覺監測方法目前被廣泛使用[11-12]，通過這種方法可以獲得大量可靠的數據，諸如熔池、飛濺和金屬蒸汽等多種形態特征。采用深度學習的方法研究激光焊接成為當今研究的熱點[13-14]。GAO等人建立了包括光學信號、光譜信號、X光信號等6路信號的同步傳感系統，通過關聯分析，從16個關鍵特征中提取42個原始特征，建立基于關鍵特征的貝葉斯網絡缺陷檢測模型，實現對激光焊接狀態的實時檢測[15]。MA等人使用卷積神經網絡和主動視覺技術自動檢測焊縫的典型咬邊、炸孔和焊穿缺陷[16]。HUANG等人通過視覺傳感提取熔池正面的形狀特征參量和背面熔寬信息作為訓練集，建立反向傳播神經網絡模型有效地預測焊縫的熔透狀態[17]。ZHANG等人利用包括激光成像系統、視覺成像系統、光譜測量儀、光電傳感器的多傳感器系統分析焊接狀態信息，建立深信度網絡模型對焊接狀態進行監測，該模型具有更高的精度和魯棒性[18]。

本文中提出了一種基于多傳感信號的相關性及神經網絡的焊接穩態識別方法，該方法通過光電傳感器獲得可見光強度和反射光強度，通過高速攝像機獲得匙孔面積和金屬蒸汽面積，利用相關分析法計算4種信號特征兩兩之間的相關系數，研究了信號特征的相關性隨焊縫的穩態類型變化的規律。根據穩態類型與信號特征的相關系數的對應關系，對每一組相關系數進行標簽分類，相關系數與分類標簽作為訓練集，構建全連接神經網絡進行模型訓練，實現了對焊接穩態類型準確的預測。

1 實驗數據的獲取

1.1 實驗設置

實驗在配備了大功率盤形激光焊接裝置通快16002的平臺上進行，執行機構為安川六軸機器人，激光焊接裝置結構如圖1所示。盤型激光波長為1030nm，激光束直徑為300μm，激光功率的范圍為2kW～16kW，聚焦位置范圍為-4mm～4mm，焊接速率范圍為2m/min～4m/min，保護氣體為氬氣。焊接材料為304不銹鋼鋼板，厚度為6mm。數據采集系統主要由光電傳感器模塊和工業成像模塊組成。具體來說，掃描激光頭通過單向反射鏡和聚焦透鏡收集來自焊接區的光輻射，并將其傳輸到光電傳感器模塊，兩個光電傳感器為了捕獲可見光和反射激光的光強信號，在激光頭中預先安裝了一個分光鏡，來自焊接區域的光信號通過光電二極管盒內的分光鏡傳輸到可見光光電二極管(波長380nm～780nm)和反射激光光電二極管(波長1030nm),最后經放大后由示波器接收，信號采樣頻率為500kHz。對于工業成像模塊，將一個配備了窄帶濾光片(波長為976nm)的高速黑白攝像機安置于與水平方向成60°角的位置，以捕捉焊件上方的匙孔和熔池的圖像。為了得到清晰的金屬飛濺與金屬蒸汽動態圖像，將配備了可見光感應濾光片的高速彩色攝像機安裝在垂直于焊接方向的位置。高速攝像機的采集幀頻為5000frame/s，圖像分辨率為512pixel×512pixel。

Fig.1 Experimental equipment for laser welding

控制功率變化的焊接實驗參量如表1所示。焊接速率為3m/min，離焦量為-3mm,保護氣流量為30L/min，通過變化功率，獲得穩態、準穩態、非穩態3種焊接狀態。

Table 1 Welding experimental parameters for controlling power variation

1.2 匙孔和金屬蒸汽圖像處理

金屬蒸汽面積提取的圖像處理流程如圖2a所示。首先對彩色攝像機拍攝的圖片進行感興趣區域(region of interest,ROI)提取，得到金屬蒸汽的圖像，周圍還有少量細小飛濺；然后對ROI區域進行中值濾波，中值濾波將每一像素點的灰度值設置為該點某鄰域窗口內的所有像素點灰度值的中值[19]，從而消除大部分飛濺造成的孤立噪聲點；但是經過中值濾波后無法消除所有飛濺噪聲，因此再對濾波后的圖像進行二值化和開運算處理。開運算對圖像進行先腐蝕后膨脹的操作。腐蝕可以消除邊界點，使得邊界向內部收縮。膨脹可以將與邊界接觸的點合并進來，使得邊界向外部擴張。經過開運算后可以平滑邊界，消除剩余的細小飛濺，但不會明顯改變金屬蒸汽的面積大小。金屬蒸汽的面積通過處理后圖像的像素個數和彩色攝像機的像素分辨率(0.012345mm/pixel)的乘積來估計。匙孔面積提取的圖像處理流程與金屬蒸汽面積提取的流程類似，如圖2b所示。因為匙孔圖像中由反光引起的大噪聲較多，無法通過中值濾波和開運算完全消除，所以匙孔面積提取比金屬蒸汽面積提取多一個ROI提取的步驟。首先獲得多幅匙孔區域的圖像，然后計算每一幅圖像中匙孔區域的外接圓的圓心和半徑并得出圓心和半徑的均值，即可構建出匙孔區域的外接圓掩模，以實現匙孔的分割和提取。匙孔面積通過處理后圖像的像素個數和黑白攝像機的像素分辨率(0.000597mm/pixel)的乘積來估計。

Fig.2 Feature extraction

2 分析和討論

2.1 焊縫狀態分析

觀察上述每一組實驗的焊縫表面質量與可見光強、反射光強、匙孔面積以及金屬蒸汽面積的幅值波動程度，將焊接狀態劃分為3種狀態。圖3a所示為穩態下4種信號特征的波動圖像。每一幅圖中間的細窄型曲線顯示了每1000個原始數據點幅值的平均值，當焊縫處于穩態時，焊縫表面質量良好，4種信號特征的幅值和均值的波動較為平穩，金屬蒸汽面積的波動較其它3種信號特征的波動稍微大一些，但金屬蒸汽面積的均值大部分比較平穩，均值的波峰和波谷橫跨的時間范圍較小。圖3b所示為穩態的狀態機理圖。匙孔內的壓力維持平衡，匙孔與金屬蒸汽振蕩均勻。

Fig.3 Laws of signals in steady status

圖4a所示為準穩態下4種信號特征的波動圖像。焊縫質量良好，沒有明顯的缺陷，但信號特征的波動較為劇烈，可見光光強的幅值和均值在0.1s～0.3s時波動劇烈，出現較多較大的峰值；匙孔面積在0.4s～0.65s時波動劇烈；對比穩態下的金屬蒸汽面積，準穩態下金屬蒸汽面積在整個焊接過程中波動都較為劇烈，均值離散程度大，均值的波峰和波谷橫跨的時間范圍較大。圖4b所示為準穩態的狀態機理圖。激光功率增加使匙孔內的壓力增大，匙孔的振蕩和金屬蒸汽振蕩更劇烈，金屬蒸汽體量有所增加，可見光強也增加。

Fig.4 Laws of signals in quasi-steady status

圖5a所示為非穩態下4種信號特征的波動圖像。焊縫表面質量明顯不佳，4種信號特征的波動非常劇烈，方框區域1中4種信號特征的幅值先增后減，焊縫出現焊瘤缺陷，方框區域2中4種信號特征的幅值上下來回振蕩，焊縫出現凹陷缺陷。圖5b所示為非穩態的狀態機理圖。匙孔內的壓力增大，使得匙孔的振蕩非常劇烈，匙孔的振蕩導致噴出的金屬蒸汽振蕩也非常劇烈，并且熔池向上凸起和向下收縮的幅度更大，易產生焊瘤和凹陷缺陷。根據焊縫的表面質量與各種信號特征的幅值和均值波動的情況，可以基本判別焊縫所處的穩態類型。

Fig.5 Laws of signals in unsteady status

2.2 相關性分析

在焊接過程中，各種信號會相互耦合，信號的變化具有一定的相關性，而焊接信號的相關性間接反映了焊接質量。為了量化焊接過程的不同狀態，利用信號相關分析法。相關性系數可以用來統計兩個變量之間的相關性。信號X與信號Y的相關系數可以描述為：

(1)

根據上述焊縫狀態分析的方法，對11組實驗的焊后狀態進行劃分，圖6所示為各信號特征之間的相關性隨激光功率的變化情況。除了可見光強與反射光強的相關系數隨功率變化沒有明顯規律外，其它信號特征之間的相關系數隨功率的增加總體上呈上升趨勢，但各信號特征之間的相關系數并非單調遞增。激光功率為7kW和12kW時焊縫各信號特征之間的相關系數出現拐點，因為激光功率為7kW和12kW時焊縫處于準穩態，7kW前后的兩組焊縫處于穩態，12kW前后的兩組焊縫處于非穩態。關注激光功率為7kW處的前后圖像，當焊縫從穩態變為準穩態，各信號之間的相關系數增加；當焊縫從準穩態變為穩態，各信號之間的相關系數減少。關注激光功率為12kW處的前后圖像，當焊縫從非穩態變為準穩態，各信號之間的相關系數減少；當焊縫從準穩態變為非穩態，各信號之間的相關系數增加。值得注意的是，當激光功率為8kW,9kW和10kW時，焊縫分別處于穩態、準穩態和非穩態，各信號特征之間的相關系數均單調遞增，其變化趨勢與前述7kW和12kW處相關系數隨不同穩態的變化趨勢一致。因此可以看出，焊縫各信號特征的相關系數與焊縫的穩態有著密切的聯系。

焊縫各信號特征之間的相關系數隨功率的變化規律不顯著，隨穩態的變化具有一定規律。為了研究焊縫穩態類型的變化對各信號特征相關性的影響，對圖6中激光功率從7kW～12kW之間的數據點進行平移，處于穩態的數據點向前移動，處于非穩態的數據點向后移動，處于準穩態的數據點置于穩態和非穩態之間，根據穩態的類型重新排布圖像，使處于同一穩態類型的數據點相鄰顯示，圖7所示為各信號特征之間的相關系數隨焊縫穩態類型的變化情況。

圖7a為可見光強與反射光強的相關系數隨穩態的變化情況。可見光強與反射光強的相關系數隨功率變化的范圍很小，數值在0.3～0.4之間波動，屬于弱相關，可見光強與反射光強的相關性無法區分焊縫處于哪一種穩態。圖7b為可見光強與匙孔面積的相關系數隨穩態的變化情況。當焊縫處于穩態，相關系數的范圍為(0，0.1)；當焊縫處于準穩態，相關系數的范圍為(0.1，0.2)，焊縫處于穩態和準穩態時可見光強與匙孔面積均極弱相關；當焊縫處于非穩態，相關系數在0.4上下細微波動，可見光強與匙孔面積中等程度相關。圖7c為可見光強與金屬蒸汽面積的相關系數隨穩態的變化情況。當焊縫處于穩態，相關系數趨近于0，可見光強與金屬蒸汽面積不相關；當焊縫處于準穩態，相關系數的范圍為(0.1，0.25)，可見光強與金屬蒸汽面積極弱相關；當焊縫處于非穩態，相關系數的范圍為(0.4，0.5)，可見光強與金屬蒸汽面積中等程度相關。圖7d為反射光強與匙孔面積的相關系數隨穩態的變化情況。當焊縫處于穩態和穩準態，相關系數趨近于0，反射光強與匙孔面積不相關；當焊縫處于非穩態，相關系數的范圍為(0.1，0.2)，反射光強與匙孔面積極弱相關。圖7e為反射光強與金屬蒸汽面積的相關系數隨穩態的變化情況。當焊縫處于穩態，相關系數趨于0，反射光強與金屬蒸汽面積不相關；當焊縫處于準穩態，相關系數的范圍為(0，0.2)，反射光強與金屬蒸汽面積極弱相關；當焊縫處于非穩態，相關系數的范圍為(0.1，0.2)，反射光強與金屬蒸汽面積極弱相關。圖7f為匙孔面積與金屬蒸汽面積的相關系數隨穩態的變化情況。當焊縫處于穩態，相關系數的范圍為(0.2，0.3)，匙孔面積與金屬蒸汽弱相關；當焊縫處于準穩態，相關系數的范圍為(0.4，0.5)，匙孔面積與金屬蒸汽面積中等程度相關；當焊縫處于非穩態，相關系數的范圍為(0.6，0.7)，匙孔面積與金屬蒸汽面積強相關。

Fig.6 Correlation coefficients between the signals varies with the laser power

Fig.7 Correlation coefficients between the signals varies with the statuses

根據以上分析發現，除了可見光強與反射光強的相關性無法區分不同穩態外，焊縫的其它信號特征之間的相關性隨著穩態、準穩態、非穩態3個層級依次遞增，在各自的穩態類型內，各信號特征之間的相關性在一定的范圍內波動。匙孔面積和金屬蒸汽面積的相關性能明顯區分穩態和準穩態。可見光強與匙孔面積的相關性、可見光強與金屬蒸汽面積的相關性、匙孔面積與金屬蒸汽面積的相關性都能明顯區分準穩態和非穩態。

3 基于相關系數的神經網絡識別模型

傳統的激光焊接狀態預測模型通常將傳感器采集的熔池、飛濺、金屬蒸汽等信號特征直接作為模型的輸入來進行訓練，根據第2節中的分析可知，當焊接狀態從穩態向準穩態、非穩態轉變時，焊接過程中的各種信號的相關性會不斷增強。當輸入的特征之間的相關性越高，則模型的泛化性能越差[20]。如果將傳感器捕獲的原始信號物理特征作為模型的輸入，則模型對穩態的預測效果較好，但對非穩態的預測效果會較差。因此本文中將采用不同信號特征之間的相關系數作為模型的輸入，而不選擇用原始信號的物理特征，以避免不同穩態時原始信號物理特征之間相關性不同而導致的模型對不同穩態類型的預測性能不同。

為了獲得足夠的訓練集和測試集，每500個數據點計算一次不同信號特征之間的相關系數，由于在焊接開始和結束時焊接速度會發生變化，導致相關系數異常，因此這些相關系數被剔除，最終提取出5926組訓練數據，643組測試數據。不同穩態類型的數據集數量如表2所示。

Table 2 Number of data sets in different steady statuses

神經網絡模型的結構如圖8所示。輸入層有6個神經元，分別為可見光強、反射光強、匙孔面積、金屬蒸汽面積4種信號特征兩兩之間的相關系數，隱藏層有3層，神經元個數分別為512個、256個和128個，輸出層為焊縫3種不同的穩態類型。模型的超參量分別是：訓練輪數40輪，學習率0.001，每批次的數量(batch size)

Fig.8 Fully connected neural network model structure

為24。此外，訓練集劃分出1/10用作驗證集，驗證集不參與訓練，每一輪訓練后，用驗證集驗證模型的預測性能。

每一個輸入數據在每一層神經元中傳遞時需經過如下表達式的變換：

(2)

式中，矩陣Y為一層神經元的輸出，矩陣Xj為輸入的相關系數值，矩陣Wj為權重，b為偏置，j為當前的樣本序號，m為訓練集總樣本數，φ為激活函數。3個隱藏層之間使用的激活函數是線性整流函數(rectified linear units，ReLU)，其表達式為：

φ(x)=max(0,x)

(3)

式中，x是自變量。最后一個隱藏層與輸出層之間使用的激活函數是歸一化指數函數(別名softmax函數)，其表達式為：

(4)

式中，C為輸出類別的個數，yk為第k個輸出類別的輸出值，yl為第l個輸出類別的輸出值，qk為第k個輸出類別的預測概率值。一組相關系數值輸入后經過隱藏層計算，再通過softmax函數得出該組輸入數據對應穩態、準穩態和非穩態3個輸出類別的預測概率值，3個概率值加和為1，概率值最大的輸出類別即為模型預測的類別。每經過一輪的訓練，都要計算一次損失函數，用以調整權重矩陣Wj和偏置b。損失函數采用交叉熵損失函數，表達式為：

(5)

式中，L(p,q)為損失函數值，pk為第k個輸出類別的實際概率值(1或者0)。從后往前逐層計算損失函數分別對權重和偏置的偏導數，原始權重減去損失函數對權重Wj的偏導數與學習率的乘積得到更新的權重，原始偏置減去損失函數對偏置b的偏導數與學習率的乘積得到更新的偏置。焊接穩態識別模型重復以上權重和偏置更新的過程，使損失函數值不斷減小，以完成模型對穩態類型預測的學習過程。

焊接穩態類型識別模型的訓練過程如圖9所示。在訓練28輪之后，訓練準確率和驗證準確率已經達到收斂，此時訓練準確率為99.4%，驗證準確率為98.96%。

Fig.9 Training process of welding steady status recognition model

使用該焊接穩態識別模型對643組測試數據進行預測，預測結果如表3所示。對穩態的預測準確率達到99.75%，對準穩態的預測準確率達到99.44%，對非穩態的預測準確率達到99.23%，結果表明，此模型對不同穩態類型的預測性能十分接近，并且整體的預測準確率達到98.76%。經檢驗，基于相關系數和神經網絡構建的焊接穩態識別模型能夠準確地根據焊縫各種信號特征之間的相關性，對焊縫所處的穩態類型進行識別。

Table 3 Prediction accuracy rate of welding steady status recognition model

4 結 論

為了解決在焊接過程中識別準穩態、避免出現非穩態的問題，利用相關分析的方法，對焊縫的光學和視覺特征信號的相關性進行研究，結果表明，隨著穩態類型從穩態向準穩態、非穩態轉變時，除了可見光強與反射光強的相關性沒有明顯變化外，焊縫其它信號特征之間的相關性依次遞增，可見光強、匙孔面積、金屬蒸汽面積3種信號特征兩兩之間的相關性可明顯區分3種穩態。將信號特征的相關系數與穩態類別作為訓練集，基于全連接神經網絡構建了焊縫穩態識別模型，該模型對焊縫穩態類型的識別準確率在測試集上整體達到98.76%，具有較高的識別精度。