機器學習算法在焊接領域中的應用

李 馳，李廣軍

（1.四川大學 錦城學院計算機科學與軟件工程系，成都611731；2.江蘇理工學院 汽車與交通工程學院，江蘇 常州213001）

機器學習算法在焊接領域中的應用

李 馳1，李廣軍2

（1.四川大學 錦城學院計算機科學與軟件工程系，成都611731；2.江蘇理工學院 汽車與交通工程學院，江蘇 常州213001）

針對機器學習算法已經滲透到了焊接領域的情況，在對近年來焊接領域相關文獻深入研究分析的基礎上，重點闡述了在焊接領域運用較多的神經網絡、支持向量機和遺傳算法。分析總結了機器學習算法在焊接領域的應用方式，包括標準應用、改進應用和交叉混合應用。同時也介紹了機器學習算法在建模預測與參數優化、路徑規劃與焊接順序、過程控制與質量監測和缺陷識別與分類判定方面的應用情況。對機器學習算法在焊接領域的未來發展進行了展望。

焊接；機器學習算法；人工神經網絡；支持向量機；遺傳算法

焊接作為一種重要的制造技術，被廣泛應用于工業生產中。焊接過程屬于典型的不確定性非線性系統過程，在這個過程中會發生復雜的物理化學反應，且該過程受到各種因素的影響，因此很難憑經驗或者簡單的數學公式建立精確的模型。而機器學習，作為人工智能的一個核心組成部分，近年來有了長足的發展，并在焊接領域中有非常活躍的應用。廣義的機器學習算法包括神經網絡、隨機退火算法、遺傳算法、支持向量機以及各種群集算法等。

1 焊接領域中常見的機器學習算法

1.1 神經網絡

神經網絡實際上是人工神經網絡（artificial neural network，ANN）的簡稱，是一種在生物網絡的啟示下建立的數據處理模型。神經網絡由大量的人工神經元相互連接進行計算，根據外界的信息改變自身的結構，主要通過調整神經元之間的權值來對輸入的數據建模，最終具備解決實際問題的能力[1]。

神經網絡系統中應用最多的當屬BP神經網絡。它的基本思想是學習過程由信號的正向傳播與誤差的反向傳播兩個過程構成。正向傳播時，輸入樣本從輸入層傳入，經過各隱層處理后，傳向輸出層。當實際輸出與期望值有誤差時，轉向誤差的反向傳播階段。誤差反傳將誤差通過隱層向輸入層逐層反傳，并在各層分攤誤差，這些誤差即作為修正各單元權值的依據[2]。以上過程將循環執行，直到滿足某個收斂條件。

下面簡單介紹一下典型的三層BP神經網絡的算法，三層包括了輸入層、隱層和輸出層，如圖1所示。用電火花加工方法在高強鋁合金試塊底面制作了不同深度的人工窄槽來模擬底面開口裂紋。B掃描圖像的獲取在超聲C掃描檢測系統上進行，系統采樣頻率為100 MHz……。試驗所用試塊及其掃描方式如圖1所示。

圖1 三層BP神經網絡

其中，X=（x0，x1，...，xi，...，xn）T為輸入向量；Y=（y0，y1，...yj，...，ym）T為隱層輸出向量；O=（o1，o2，...，ok，...，ol）T為輸出層輸出向量； d=（d1，d2，...，dk，...，dl）T為期望輸出向量； V 和 W 分別為隱層和輸出層的權值向量。

對于輸出層，有

對于隱層，有

變換函數 f（x）均為單極性Sigmoid函數。

網絡輸出與期望值的誤差可以定義為

由公式可以看出，此誤差是各層權值wjk、vij的函數，因此調整權值可以改變誤差。為使此誤差不斷減小，應使權值調整量與誤差的梯度下降成正比。根據這個思路，對BP算法推導（詳細過程略），得出以下結論

從公式（1）~公式（5）可以看出，每一層權值調整量都等于學習率η、局部梯度δk或者δj和上一層輸出信號yj或者xi三者的乘積。同時，每一層局部梯度的計算都要用到上一步計算的結果，即前一層的局部梯度是后一層局部梯度的加權和。

1.2 支持向量機

支持向量機方法是建立在統計學習理論的VC維理論和結構風險（包括經驗風險和置信風險）最小原理基礎上的，能在有限的樣本信息基礎上，盡量提高求解實際問題時的泛化能力[2]。

從線性可分模式分類來看，支持向量機的主要思想可以如圖2所示。

圖2 線性可分模式下SVM的最優分類

它試圖建立一個最優決策超平面（圖中H平面），不僅能將兩類正確分開，而且使得這個分開的margin最大化。設線性可分的樣本集合（xi，yi），i=1，2，…，n，x∈Rd，y∈{+1,-1}。其中x為輸入向量，y為期望輸出值。用于分類的超平面方程為wx+b=0，其中w為權值向量，b為偏置。經過數學推導分類間隔的計算公式為margin=2/||w||，這樣求解最大間隔的問題轉化為求||w||的最小值，結合一定的約束條件，最后問題轉化為數學表達式，其中約束條件為 s.tyi（wxi+b）-1≥0i=1，2，…，l。

這是一個二次凸規劃問題，代價函數是凸的，且約束條件是線性的，可以使用Lagrange系數方法來解決。引入Lagrange函數為

式中：α≥0，i=1，2，…，k稱為Lagrange系數。

最后經過推導（詳細過程略），可以得到最優分類判別函數，即

式中，α*和b*—確定最優化分超平面的參數;

—兩個向量的內積。

對于線性不可分問題通常有兩種解決方式。如果仍然要得到完全的正確分類（訓練錯誤率為0），可以通過坐標轉換，將問題從低維映射到高維，即分類函數變為

這個變換映射過程是很復雜的，我們并不關心這個復雜的過程，只要得到這個變換后的內積結果即可，核函數即可得到這樣的結果，令K（xi，x）=<φ（xi）·φ（x）>。 常用的核函數有線性核函數、多項式核函數和徑向基核函數等。

如果即使變換到很高的維度仍然不能線性可分或者故意允許一定的容錯能力的話，可以采用另一種解決線性不可分的方式，即引入松弛變量。這樣，標準的問題表達就從公式（6）變為min，其約束條件為 s.t yi（wxi+b）-1+ξi≥0i=1，2，…，l。

其中ξ為松弛變量,它表明對應點離群的程度，即被錯分的嚴重程度；C>0代表懲罰因子，值越大懲罰越嚴重。

1.3 遺傳算法

遺傳算法是一種模仿自然界生物進化機制發展起來的隨機全局搜索和優化方法。它能在搜索過程中自動獲取積累有關搜索空間的知識，并自適應的控制搜索過程以求得最優解。

遺傳算法的步驟：①染色體編碼。標準遺傳算法對初始群體中各個個體的基因采用固定長度的二進制符號串來編碼；②個體適應度的檢測評估。算法將適應度函數作為評判個體優劣的唯一標準，它與目標函數有關，必須為非負數；③遺傳算子操作。這個步驟包括三個算子操作，分別是選擇、交叉和變異。①選擇運算。最常見的選擇算子是輪盤賭，它規定個體能被選擇保留的概率大小直接由其對應的適應度函數值決定；②交叉運算。最常見的交叉算子為單點交叉，即任意挑選經過選擇操作后種群中兩個個體作為交叉對象，隨機產生一個交叉點位置，在該位置兩個個體互換部分基因碼，形成兩個新個體；③變異運算。最常見的變異算子為基本變異。隨機選取一個位置上的基因進行小概率的翻轉，即0變1或者1變0。這三個子步驟將一直循環迭代，直到滿足某個收斂條件才停止。

2 機器學習算法在焊接領域中的應用方式

2.1 算法的獨立應用

本研究把機器學習算法的應用分為標準算法的應用和改進算法的應用。標準算法最早由前人提出，雖然年代久遠，現在直接使用的場合并不多，但畢竟算法經典，簡單直接，故仍有一些直接應用實例。

改進算法是經過多年的應用，標準算法逐漸暴露出這樣那樣的缺陷，后人對其進行的不同角度的改進和優化。例如，文獻[3]中對傳統的BP算法進行了三方面的改進。包括在權值更新階段引入動量因子，使得系統有一定的慣性，算法有了一定的抗震蕩能力，并加快收斂。通過檢查權值和閾值修正與誤差的關系來動態的設置自適應學習率，提高算法的性能和穩定性。采用梯度下降和擬牛頓法相結合的LM算法簡化計算，加快收斂。文獻[4]針對經典遺傳算法不能保證取得全局最優，收斂速度不理想的缺陷，提出了一種基因植入遺傳算法，即當種群進化到快要陷入局部收斂時，將每一代保存的最優基因和以一定比例隨機抽取的歷史基因形成的基因庫與目前種群中的部分基因替換，從而產生激活狀態，擴大搜索尋優的范圍。實驗表明，將其用于焊接機器人的規劃取得了滿意的效果。文獻[5]采用了一種改進的SVM算法來在線監測船舶水下焊接質量，與經典SVM算法不同的是這種最小二乘支持向量機算法將算法中的不等式約束改為了等式約束，兼顧模型的復雜性與學習能力，比經典SVM預測性能更好，更容易獲得全局最優解。

2.2 算法的交叉綜合應用

各種機器學習算法有其自身的優缺點，有時將幾種算法結合使用，揚長避短，更能夠發揮綜合應用的效果。文獻[6]將遺傳算法與神經網絡結合來優化焊接接頭力學性能預測模型。該算法先采用遺傳算法的尋優方式找出BP神經網絡的最佳初始權值和閾值，再代入BP神經網絡進行訓練和預測，以避免單純BP神經網絡算法的初始權值隨機選取造成的較大誤差。文獻[7]采用一種將遺傳算法和隨機神經網絡中的模擬退火算法相結合的算法來規劃弧焊機器人的焊接路徑。這種算法既具有遺傳算法的全局性和并行性，又具有模擬退火算法的局部搜索能力退火特征。它在遺傳算法的群體選擇步驟中增加了一個按照一定概率隨機搜索領域的環節，這正是模擬退火的顯著特征，從而使選擇范圍比單純的遺傳算法更大。

3 機器學習算法在焊接中的應用領域

3.1 建模預測與參數優化

焊接過程屬于典型的非線性過程，由于工藝復雜，涉及的參數較多，很難用直接的數學公式來映射其輸入與輸出。而機器學習中的各種優化算法可以提供一套理論來建立這種映射模型，從而根據歷史經驗的訓練樣本數據來提前預測各種不同焊接條件和焊接工藝對焊接性能的影響。文獻[8]廣泛收集整理了企業第一線的焊接數據，并建立起了相關數據庫。應用遺傳算法優化BP神經網絡，建立了焊接接頭力學性能預測模型，實現了根據材料成分、焊接工藝和溫度參數較為準確的預測包括抗拉強度、屈服強度、斷后伸長率以及斷面收縮率等在內的力學性能指標的目的。文獻[9]針對2205雙相不銹鋼，分別建立了焊接應力和收縮變形的支持向量機回歸預測模型，較好的模擬了焊接殘余應力和變形與板厚、焊接電流、電弧電壓、焊接速度等工藝參數之間的非線性關系，并與傳統的逐步回歸方法進行了比較，結果表明，支持向量機回歸的預測精度和泛化能力更好。文獻[10]建立了基于RBF徑向基神經網絡焊接工藝參數選擇模型，實現了從輸入的焊接條件（材料種類、母材厚度、坡口形式和焊接位置）到輸出的焊接工藝參數（焊絲直徑、焊接電流、電弧電壓和焊接速度）的非線性映射。并在建模過程中對樣本數據采取了對數變換的預處理方式。結果表明其預測誤差小于1e-9%，滿足生產實際需要。文獻[11]為了找到最小焊接變形對應的焊接能量（焊接電流和電壓）和焊接速度工藝參數的最優組合，采用MATLAB軟件實現遺傳算法，結合非線性仿真軟件Mac中的有限元方法進行每組參數組合的焊接過程熱力耦合分析，取得了令人滿意的結果。

3.2 路徑規劃與焊接順序

路徑規劃與焊接順序從本質上來說是一個組合優化問題。也可以把它抽象為排列組合問題、貨郎擔問題或者旅行商問題。由于這類問題的組合方式數量呈指數型增長，傳統的線性規劃、動態規劃和分枝界定等精確算法并不適用，而機器學習算法中的很多仿生算法比較適合解決這類問題，遺傳算法就是這些算法中的一個典型代表。但是由于焊接工程本身的復雜性，實際中的運用不能簡單的等同于一個純粹的數學問題，有時會根據一些實際情況加入約束等。文獻 [12]為了找到箱型梁最小焊接變形對應的焊接順序，采用了遺傳算法，以N進制不重復數字編碼，將焊接變形設為適應度函數，并結合熱-機耦合彈塑性非線性有限元模型來求解焊接變形量。實驗表明這種方法不僅有效而且也可以推廣到其他焊接結構。文獻[13]為了找出轎車白車身機器人焊接的最短路徑，將該問題轉化為一個帶約束的貨郎擔問題，采用遺傳算法，同時將約束融于局部有向圖中，適應度函數選定為最短焊接時間，經過MATLAB語言編程仿真表明通過遺傳算法結合圖論的方法取得的焊接路徑順序具有較優的結果。文獻[14]通過生成船舶裝配樹結構中的各種裝配計劃方案，利用遺傳算法和產品模型來進行船舶裝配樹結構的優化。考慮到實際的一些不可行的組合方式，在遺傳算法的適應度函數中引入懲罰因子，采用聯賽選擇法和兩點交叉算子，最終得到一個優化的船舶分段搭載系統。

3.3 過程控制與質量監測

焊接的質量和結果取決于焊接的過程，所以必須對焊接的整個過程實時監測并進行有效的控制。很多機器學習的優化算法可以很好的運用到焊接的過程控制與質量監測中，并已經取得了不錯的結果。這些算法結合自動控制領域中的傳感器、攝像頭等反饋設備和控制器，可以形成一個具有智能反饋功能的系統，實現對焊接過程的有效控制和監測。文獻[15]設計了一種基于遺傳算法的參數整定PID控制器，并將其應用于旋轉TIG焊接系統中。該系統將比例系數、積分系數和微分系數編碼，將焊縫位置誤差通過電弧傳感器實時的反饋回來控制下一次的輸入，從而改善了系統的實時跟蹤性能，提高了焊接質量。文獻[16]針對激光焊接過程，利用支持向量機的辨識預測控制方法來建模和控制。系統根據辨識模型預測未來的輸出狀態，經反饋校正后與參考輸入做比較，對目標函數進行優化，進而起到控制作用，完成整個控制循環。文獻[5]建立了一個基于最小二乘支持向量機的預測模型對船舶水下焊接質量進行了在線監測。模型通過各種焊接工藝參數來在線預測焊接熔深，再利用模糊邏輯推斷出焊接質量級別，并對有缺陷的質量級別進行實時顯示和報警。

3.4 缺陷識別與分類判定

焊接工藝的復雜性導致不可避免的會出現焊接缺陷。由于焊接缺陷的種類多，界限模糊，數量不平衡，對焊接質量的影響程度不同，要求我們不但要識別是否有焊接缺陷，還要識別出是哪一種類別的焊接缺陷。文獻[17]針對水壓試驗條件下API SPEC 5L X70管線鋼，利用BP神經網絡技術，將鐵磁性材料金屬磁記憶信號的小波包能量在8個頻帶的能量分布作為模型特征向量輸入，可以較好的實現對焊縫中有無焊接裂紋的分類識別，總體識別率令人滿意。文獻[18]采用一種改進的遺傳算法——量子遺傳算法來處理從發射臺骨架試驗模型中獲取的模態參數。方案中以有限元模型焊接結點單元組彈性模量的降低來模擬焊縫損傷，以實測模態和計算模態之間的誤差建立了一個帶約束邊界的非線性最小二乘目標函數，將損傷識別問題轉化為了優化問題。實驗表明在給定焊縫損傷工況下，對損傷的位置和程度都能很好的識別。文獻[19]提出了一種廣義加權支持向量機焊接缺陷分類算法。該算法通過在傳統的SVM算法中引入一個由樣本平衡權重、樣本重要性權重和類別重要性權重的乘積構成的加權系數，不僅使得對焊接缺陷樣本數量不平衡時的分類總體精度有所改善，而且對樣本數量少、重要缺陷的檢查精度有明顯提高。文獻[20]將支持向量機應用到了射線檢測焊接圖像缺陷識別中。方案根據焊接缺陷圖像的8個特征參數作為訓練識別的樣本，將SVM的兩類分類推廣到一對一模式的多類識別，完成了6個類別的焊接缺陷分類，取得了比較準確的結果。

4 未來發展展望

（1）算法本身的改進和算法的交叉綜合應用。這在本研究的2.1和2.2中已經詳細說明。

（2）算法的適用性選擇。機器學習涉及的算法很多，每種算法都有其自身的優缺點及其對應的適用場合，很難說哪種算法一定好或者不好。BP神經網絡能實現一個從輸入到輸出的映射功能，它具有實現任何復雜非線性映射的功能，同時也具有自學習、泛化和容錯能力，這使得它特別適合于求解內部機制復雜的問題。但是，它也具有一個明顯的缺點就是容易陷入局部極值。遺傳算法非常適合用來求解最優化問題的。如可以將實際工程中的組合問題，規劃問題的優化求解轉化為求函數的最大、最小值問題。但遺傳算法也面臨容易發生早熟，適應度函數、初始種群規模、交叉概率、變異概率等參數不好確定的問題。SVM算法比較適合用來做分類和回歸分析。分類不僅局限于兩類，也可以推廣到多類分類。回歸分析可以實現類似BP神經網絡的函數擬合功能，但由于具有全局最優，且所需樣本數量較少，所以通常比BP神經網絡的泛化能力更強。當然它也存在核函數和參數選取困難，訓練時間較長的缺點。

（3）其他機器學習算法。在焊接領域除了前面介紹的三種運用最多的機器學習算法之外，其實還有一些優化算法也使用較多，比較典型的就是一類基于仿生學的群集算法。例如，文獻[21]采用模仿鳥類覓食方式的粒子群算法對焊接企業車間的調度問題進行了研究。文獻[22]采用模仿螞蟻覓食方式的蟻群算法來解決焊接機器人路徑規劃問題。文獻[23]通過模仿魚類生活方式的魚群算法與最小二乘支持向量機結合來優化摩擦焊接工藝參數。文獻[24]將模仿蜜蜂生活方式的蜂群算法運用到了雙機器人焊接路徑的規劃中，取得了較好的近似解。

（4）大數據時代的焊接歷史數據收集。在大數據時代背景之下，企業在焊接過程和結果中保存的焊接狀態、參數等數據對企業來說是一筆寶貴的財富。機器學習中的很多算法對數據量的多少和準確性都有一定的依賴。例如BP神經網絡系統的樣本輸入輸出數據過少，會直接影響到其預測建模的準確性。又如SVM算法盡管適用于小樣本情況，但是這里小樣本是相對問題規模的小樣本，未必是絕對意義上的小樣本。很多組合優化問題的組合方式的數量往往巨大，盡管可以通過諸如有限元分析的方式加以模擬，但是畢竟存在誤差不及真實的實驗數據準確。針對像BP神經網絡系統、SVM算法這些有導師（有監督）學習算法，尤其需要事先標記輸出值或者類別，所以已有的歷史樣本數據就格外的重要。企業如能在平時將各種焊接數據收集并保存下來，形成歷史大數據，必將對今后的機器學習算法優化焊接工作帶來便利。

[1]陳明.MATLAB神經網絡原理與實例精解[M].北京：清華大學出版社，2013.

[2]韓力群.人工神經網絡教程[M].北京：北京郵電大學出版社，2006：58，200.

[3]賈劍平，徐坤剛，李志剛.改進型BP網絡在優化焊接工藝參數中的應用[J].熱加工工藝，2008,37(21)：98-100.

[4]何谷慧，閻保定，孫立功，等.基因植入遺傳算法在焊接機器人序列規劃中的應用[J].河南科技大學學報（自然科學版），2008,29（5）：33-35.

[5]張為民，鐘碧良.基于最小二乘支持向量機的船舶水下焊接質量在線監測[J].中國造船，2009，50（1）：117-120.

[6]董志波，魏艷紅，占小紅，等.遺傳算法與神經網絡結合優化焊接接頭力學性能預測模型[J].焊接學報，2007,28（12）：69-72.

[7]陳志翔，殷樹言，盧振洋.基于遺傳模擬退火算法的弧焊機器人系統協調路徑規劃[J].機械工程學報，2005,41（2）：194-198.

[8]劉立鵬，王偉，董培欣，等.基于遺傳神經網絡的焊接接頭力學性能預測系統[J].焊接學報，2011,32（7）：105-108.

[9]王智祥,王正倫.2205雙相不銹鋼焊接應力與變形的SVM 回歸預測研究[J].船舶工程，2010,32（1）：74-78.

[10]彭澤軍.基于RBF網絡的MIG焊焊接工藝參數選擇模型[J].焊接技術，2014,43（6）：35-39.

[11]馮超，韓俊杰，張紅偉，等.基于Marc和遺傳算法的焊接工藝參數優化[J].北京交通大學學報，2012,36(4)：149-152.

[12]崔曉芳，馬君，趙海燕，等.基于遺傳算法的箱型結構焊接順序優化[J].焊接學報，2006,27（8）：5-8.

[13]張春偉，劉海江，姜冬冬.基于遺傳算法的白車身機器人焊接路徑規劃[J].同濟大學學報（自然科學版），2011,39（4）：576-580.

[14]姚競爭，韓端鋒，苗玉剛.基于焊接速度的遺傳算法在裝配中的應用[J].焊接學報，2011,32（6）：89-92.

[15]賈劍平，劉云龍，金偉，等.基于遺傳算法的位置PID控制器在旋轉TIG焊接系統中的應用[J].焊接技術，2012,41（11）：37-39,67.

[16]鄒偉，劉玉生.基于支持向量機的激光焊接過程辨識與控制[J].計算機仿真，2008,25（12）：114-117.

[17]邸新杰，李午申，白世武，等.焊接裂紋金屬磁記憶信號的神經網絡識別[J].焊接學報，2008,29（3）：13-16.

[18]王天輝，馬立元，李世龍，等.基于量子遺傳算法的鋼管焊接結構焊縫損傷識別[J].海軍工程大學學報，2012,24（6）：89-94.

[19]張曉光，肖興明，任世錦，等.基于廣義加權支持向量機的焊接缺陷分類方法[J].華東理工大學學報(自然科學版)，2005,31（5）：644-648.

[20]劉元祥，張曉光，高頂.基于支持向量機的射線檢測焊接圖像中缺陷識別[J].煤礦機械，2006,27（5）：773-776.

[21]樊坤，張人千，夏國平.隨機雙目標焊接車間調度建模與仿真[J].系統仿真學報，2009,21（13）：3096-3099.

[22]王家海，王毅.基于蟻群算法的白車身焊接機器人路徑優化研究[J].制造業自動化，2008,30（5）：16-18.

[23]舒服華.基于LSSVM和AFSA的摩擦焊接工藝參數優化[J].焊接學報，2008,29（12）：104-108.

[24]王鄭拓，馮振禮，葉國云，等.基于人工蜂群算法的雙機器人路徑規劃分析[J].焊接學報，2015,36（2）：97-100.

Application of Machine Learning Algorithm in Welding Field

LI Chi1,LI Guangjun2
（1.Department of Computer Science and Software Engineering of Jincheng College,Sichuan University,Chengdu 611731,China;2.School of Automobile and Traffic Engineering,Jiangsu University of Technology,Changzhou 213001,Jiangsu,China）

The machine learning algorithm penetrated in welding field,based on deep analysis on the relevant literature in welding field in recent years,it emphatically expounded artificial neural network,support vector machine and genetic algorithm which are widely applied in the welding field.Analyzed and summarized the application mode of machine learning algorithm in the welding field,including standard application,improvement application and cross mixed application.And it also introduced the application of machine learning algorithm in the aspects of modeling prediction and parameter optimization,path planning and welding sequence,process control and quality monitoring,defect recognition and classification criteria.It also carried out future development outlook for machine learning algorithm in the welding field.

welding;machine learning algorithm;artificial neural network;support vector machines;genetic algorithm

TG409 文獻標志碼：B DOI:10.19291/j.cnki.1001-3938.2016.05.005

李 馳（1974—），男，四川成都人，碩士，講師，主要研究方向為智能信息處理，機器學習，數據挖掘等。

2016-01-08

羅 剛