基于泊松融合數據增強的焊縫金相組織缺陷分類研究

白雄飛, 龔水成, 李雪松,, 許 博, 楊曉力, 王明彥

(1. 上海交通大學 機械與動力工程學院, 上海 200240; 2. 上汽大眾汽車有限公司, 上海 201805; 3. 湖南華研實驗室有限公司, 湖南 湘潭 411000)

在工業生產過程中,焊接工藝被廣泛運用,是工業制造過程的重要一環[1].由于焊接操作不當及焊件本身材料特性等原因,焊縫表面及內部可能會產生一定的缺陷,焊縫內部缺陷包括氣孔、裂紋、焊穿及未熔合等[2],這些缺陷會嚴重影響焊接部位的疲勞強度和使用壽命[3],進而降低產品的整體質量,帶來較大的安全隱患,因此需要對焊接部位進行嚴格的質量檢測.焊縫內部缺陷常用的檢測方法有射線探測法[4],為了更精準地了解焊縫內部缺陷情況,可以對焊縫橫截面處的金相組織進行缺陷檢測[5].許多場景都需要對焊縫進行缺陷分類,但目前對金相組織圖片進行自動化缺陷分類的研究較少,而對焊縫X射線圖片進行缺陷分類的研究已有一定基礎[6-8],這些缺陷分類方法也可較好地應用于金相組織圖片分類.

傳統焊縫缺陷分類通常由人工完成,勞動強度大、效率低且易因視覺疲勞造成一定的誤檢[9].隨著機器學習及計算機視覺技術的快速發展, 基于機器學習的計算機視覺技術已被廣泛運用于焊縫缺陷分類,極大提高了缺陷分類的效率及準確度.羅愛民等[10]將二叉樹與支持向量機(SVM)結合,對6類且每類含130張圖片的焊縫X射線圖像進行分類,最終每類的分類準確度均在87%以上;Duan等[6]利用機器學習之自適應增強(AdaBoost)對5類焊縫X射線圖像缺陷進行分類,取得了85.5%的分類準確度和91.66%的真陽性率(True Positive Rate);劉歡等[11]提出了CC-ResNet對焊縫X射線圖像進行缺陷分類,將ResNet每一層卷積變為兩個不同尺度的卷積,將結果在深度方向進行拼接,充分利用多尺度信息,取得了98.52%的平均召回率及95.23%的平均準確度;谷靜等[12]提出了SINet模型,將Inception模塊和SE模塊進行組合,以提高網絡對特征的提取及組合能力,最終得到了96.77%的分類準確度.上述論文中的訓練數據均較多且不平衡程度較低,模型能有足夠的數據學習相應的缺陷特征.

深度學習訓練需要數量較大且較平衡的數據[13-15],對于樣本數量較少的數據,容易使模型對數據產生過擬合,從而大大降低模型的泛化性能[16],故通常需要進行數據增強.李鈞正等[14]通過梯度懲罰生成對抗網絡(WGAN-GP)模型極大地擴充了鋼板表面缺陷樣本的數量,使缺陷分類準確度達到95%;馬玲等[17]通過深度卷積生成對抗網絡(DCGAN)生成了液晶顯示器(LCD)表面缺陷樣本數據,并使用遷移學習的方法提高了缺陷分類精度.針對分辨率較低的缺陷圖片,用生成式模型可取得一定效果,但對分辨率較高的圖片,很難生成高質量圖片.

因焊縫金相組織圖像數據中缺陷樣本數量很少、圖片分辨率較高且缺陷較為復雜,故很難通過生成對抗網絡(GAN)模型進行數據擴充.針對這些問題,使用泊松融合的方法合成新的缺陷樣本,從而達到數據增強的目的.同時,在ResNet18分類網絡模型的基礎上進行改進,提出ResNet18_PRO網絡模型.具體安排如下:首先,具體介紹泊松融合的相關原理;其次,介紹ResNet18網絡模型結構及ResNet18_PRO的相關設計,在此基礎上闡述相關實驗,包括缺陷樣本合成實驗及缺陷分類實驗,并對實驗結果進行相應分析,以此驗證該數據增強方法對分類效果的提升作用,通過對ResNet18_PRO網絡模型進行消融實驗,分析網絡各改進部分對分類效果的影響以驗證各改進部分的有效性;最后,將ResNet18_PRO網絡模型運用于其他工業缺陷數據集,以驗證該模型的魯棒性.

1 研究方法與原理

1.1 泊松融合原理

圖1 泊松融合原理圖

t*|?S=t|?S

(1)

(tx-gx)2+(ty-gy)2

(2)

式(2)的最優解t必須滿足相應的歐拉-拉格朗日方程[19]:

(3)

得到最優解t滿足的條件[18]為

Δt=Δg,t*|?S=t|?S

(4)

由式(4)可知,要使S區域紋理信息與g中的紋理信息保持一致,兩者的散度需要保持相等.圖像f在(x,y)位置處的散度Δf(x,y)的計算公式為

Δf(x,y)=f(x-1,y)+f(x+1,y)+

f(x,y-1)+f(x,y+1)-4f(x,y)

(5)

缺陷融合具體步驟如下.

(1) 求解梯度場:求解目標圖像和源圖像的梯度場.

(2) 重建梯度場:用源圖像梯度場對目標圖像在融合位置處的梯度場進行置換,得到重建的梯度場.

(3) 重建散度場:對重建的梯度場進行求導,得到相應的散度場.

(4) 構建拉普拉斯方程:根據式(5)在融合區域用待求的像素值計算散度,與散度場中的值建立等式關系,同時令融合邊界上的像素值直接等于目標區域在邊界上的像素值,構建拉普拉斯方程.

(5) 對融合區域進行插值:求解拉普拉斯方程,并將方程的解賦值到融合區域的相應位置,得到融合圖像.

1.2 ResNet18網絡原理

ResNet網絡由He等[20]于2015年提出,主要利用殘差結構解決因網絡過深導致網絡難以訓練的問題.殘差結構是利用捷徑(shortcut)連接使神經網絡學習對應的殘差函數F(x)=G(x)-x,有效緩解因網絡太深造成的梯度消失問題,如圖2所示.

圖2 殘差結構

ResNet網絡根據深度不同有多種結構,如ResNet18、ResNet50、ResNet152等.由于金相組織數據集規模較小,故選用ResNet18網絡模型,具體結構如圖3所示,圖中FC為全連接層.該模型主要由4個層結構(Layer)組成, 每個層結構包含兩個殘差塊(Block),層與層之間的過渡需使用下采樣操作以降低特征圖尺寸,如紅色虛線所示,該下采樣過程有一定的信息損失,因此提出可學習的雙池化結構(LDPS)以減少該過程的信息損失.同時,使用改進的空間金字塔池化結構提高網絡對多尺度特征信息的整合能力.

圖3 ResNet18模型結構圖

1.3 可學習的雙池化結構

如圖3中的紅色虛線所示,每個層之間都需要對上一層輸出的特征進行下采樣以降低特征圖尺寸,具體結構如圖4(a)所示.Shortcut連接部分通過核尺寸(kernel size)為1×1的卷積并設置卷積步長(stride)為2來達到下采樣目的,此過程中會損失較多細節信息,一定程度上會影響分類效果.為減少下采樣過程中的信息損失,提出了LDPS.將原下采樣中卷積操作步長改為1,通過核尺寸為3×3且步長為2的平均池化和最大池化操作實現下采樣,如圖4(b)所示,使被下采樣特征層的所有位置信息都能被使用,進而極大減少了下采樣過程中的信息損失.由于平均池化主要反映整體特征信息,而最大池化主要反映局部特征信息,所以通過兩個可學習的向量對平均池化和最大池化所得的結果進行選擇性利用,向量的長度與池化所得特征通道數相同,兩向量對應元素的和為1,即對兩個池化結果中對應的每一個通道進行線性組合,提高網絡對局部特征和整體特征捕獲能力,從而向下傳遞更有用的信息.

圖4 下采樣結構

1.4 改進的空間金字塔池化結構

對于缺陷分類而言,由于缺陷本身的尺寸變化較大,所以要提高對缺陷的分類準確度,需提高網絡對缺陷尺寸變化的捕獲能力和整合能力.通過對下采樣結構進行改進,減少下采樣過程中的信息損失,綜合利用局部特征和整體特征信息,提高網絡對尺度變化的捕獲能力.對于提高多尺度信息的整合能力,在網絡末端增加了改進的空間金字塔池化(ISPP)結構.ISPP主要將空間金字塔池化(SPP)結構與1×1卷積相結合,從而提高對網絡末端多尺度特征信息的聚合能力,如圖5所示.首先使用SPP結構對第4層輸出的特征進行多尺度池化,共包含輸出尺寸為1×1、2×2及3×3的3種平均池化操作,用于提高對多尺度特征信息的提取能力[21],后通過1×1卷積對池化所得結果的各通道進行線性組合并將通道數從512壓縮至64,對各通道提取的特征信息進行整合,從而提取更豐富的特征信息,通道數的減少能極大地降低全連接層的計算量[22].

圖5 改進的SPP結構

2 實驗與結果分析

2.1 原始實驗數據集

實驗所用的原始數據為焊縫金相組織圖片數據集,圖片尺寸大小為 2 560像素×1 920像素,尺寸過大,由于缺陷只存在于焊接熔核部位,因此提取出熔核部位并調整為416像素×416像素,包含正常、氣孔及裂紋3種缺陷類型,如圖6所示.氣孔指焊接過程中,因焊接熔池中的氣體未全部及時逸出而在焊縫內部形成的孔穴.裂紋指焊接接頭局部區域遭到破壞而形成新界面所產生的縫隙[23].正常、氣孔及裂紋樣本數量分別為966、81、26,由此可知,原始數據中各缺陷類型的樣本數量極不平衡,為不平衡數據.

圖6 缺陷類型

2.2 缺陷樣本合成實驗

利用泊松融合將正常樣本與缺陷區域進行樣本合成,結果如圖7所示.首先以如圖7(a)所示的正常樣本為背景,在背景上隨機選取融合位置并提取待融合的缺陷區域,為簡化操作,先從如圖7(b)所示的缺陷樣本中裁剪出含缺陷的較大區域,如圖7(c)所示;然后從該較大區域中提取待融合的缺陷部分,主要通過對該較大區域進行二值分割得到黑白二值圖即二值掩膜,再根據二值掩膜的白色區域確定待融合的缺陷區域.二值掩膜的提取步驟如下:

圖7 泊松融合實驗結果

(1) 將含缺陷的較大區域轉變為灰度圖像.

(2) 對該灰度圖像進行二值分割.

(3) 利用形態學中的開操作去除細小毛刺,再通過閉操作消除相應的孔洞.

(4) 最終得到二值掩膜圖像,如圖7(d)所示.

若直接用得到的二值掩膜圖確定待融合區域,則待融合區域為缺陷區域本身,如圖7(e)所示,將其與正常樣本進行融合,由于泊松融合能使融合區域邊界平滑過渡,導致缺陷本身靠近邊界的部分成為過渡區域,極大影響了缺陷本身的顏色和紋理, 如圖7(f)所示.為消除這種影響,對二值掩膜圖像反復運用形態學中的膨脹操作,擴大二值掩膜區域范圍的同時還能保持大體形狀不變,結果如圖7(g)所示,相應的待融合區域如圖7(h)所示.缺陷區域與邊界區域保持一定距離,從而使融合結果更好地保持原缺陷的顏色和紋理特征,如圖7(i)所示.

將所有的缺陷區域與正常樣本進行隨機融合,并對缺陷大小、融合位置以及缺陷旋轉角度進行隨機變化以增加生成樣本的多樣性,極大地擴充了缺陷樣本數量,具體生成策略如下.

(1) 對正常樣本進行灰度處理及二值化處理得到相應的黑白二值圖像,記為“bin_img”.

(2) 從“bin_img”頂部中間位置wmid,由上至下依次探測得到金相組織區域上下邊界的位置h1及h2,由此計算出金相組織區域中心處的大體高度位置hmid=(h1+h2)/2.

(3) 以(wmid,hmid)為起始中心點,通過增加相應的偏移量得到隨機中心點(wmid+Δw,hmid+Δh),以該點作為融合位置的中心點.

(4) 每個正常樣本最多融合兩個不同的缺陷.

若只融合一個缺陷:

若同時融合兩個缺陷:

其中:W為整個圖片的寬度;H為金相組織區域的高度,H=h2-h1.

(5) 對于待融合的缺陷圖片,則通過縮放變換(縮放比例范圍為[0.8,1.2])、翻轉變換、旋轉變換(角度變化范圍為[-30°,30°])及融合缺陷數量變化 (范圍為[1,2])等操作進行處理.

(6) 最終得到相應的合成圖片.

由于正常樣本數量是固定不變的966份,為使正常、氣孔及裂紋3種類型的圖片數量保持平衡,分別從合成得到的大量氣孔和裂紋樣本中均勻采樣部分缺陷樣本(約950份)用于后續實驗,最終各缺陷樣本數量變化如表1所示.

表1 數據增強后樣本數量變化

2.3 實驗環境及相關參數設置

實驗環境為windows10操作系統,深度學習框架為Pytorch 1.8.0版本,硬件設備為Nvidia GEFORCE RTX 2070 Super,8GB顯存.少部分實驗由于本地設備顯存不足,故使用了華為昇騰平臺進行訓練.為驗證在原始數據不足的情況下,使用泊松融合方法進行數據增強對缺陷分類效果的影響,共設置了兩組對比實驗,分別為利用原始數據以及擴充之后的數據進行實驗.實驗對比了4個深度神經網絡模型VGG13、GoogLeNet、ResNet18、ResNet18_PRO,以探究合成數據對模型的魯棒性及對分類效果的提升作用.缺陷分類實驗中,訓練集、驗證集及測試集的比例為7∶2∶1,批量大小(Batch Size)設為32,采用Adam優化器進行參數優化, 權重衰減(weight decay)設置為5×10-4,為使模型能進一步學到最優解空間,采用指數衰減學習率(Exponential LR, ELR)策略,初始學習率為10-3,伽馬(gamma)參數設置為0.95.

在分類任務中,需要根據分類的側重點選擇相應的評價指標,合適的評價指標能更準確地反映模型真實分類效果.常見的評價指標包括準確度(Accuracy)、精確率(Precision)、召回率(Recall)及F1分數,如表2所示.式中,NTP表示預測為陽性且預測正確;NTN表示預測為陰性且預測正確;NFP表示預測為陽性但預測錯誤;NFN表示預測為陰性但預測錯誤.在多分類任務中,準確度主要針對所有類型的樣本,表示所有被檢測樣本中檢測正確的樣本所占的比例;而精確率和召回率主要針對特定的類別來計算,精確率表示預測為該類別的所有樣本中被正確預測的樣本所占的比例,精確率越高,表明該類別的誤檢率越低;召回率表示所有該類別的真實樣本中被正確檢測的比例,召回率越高,表示該類別的漏檢率越低;F1分數為精確率和召回率的調和平均值,兼顧了誤檢率和漏檢率.

表2 評價指標及公式

在平衡的數據中,以上指標都能較好地反映模型的分類效果,但在不平衡的數據中,準確度容易受到樣本數據分布的影響,會更傾向于樣本數量較多的類別而忽略樣本較少的類別,因此可能會得到次優模型,并可能產生錯誤結論[24-25].F1分數可以兼顧誤檢率和漏檢率,可針對某一個特定的類別進行度量,且受其他類別樣本影響較小,因此使用F1分數作為評價指標.同時與準確度進行對比,一方面可以更準確地反映真實的分類效果;另一方面可以更好地展示數據增強前后分類效果的變化,以便進行相關分析.金相組織數據有正常、氣孔、裂紋3類圖片,為了更好地反映模型對每類圖片具體的分類效果及3類圖片整體的分類效果,分別計算每一類缺陷相應的F1分數值及相應的宏平均值,如下式所示:

(6)

2.4 原始數據分類實驗結果與分析

原始數據缺陷分類實驗中,由于數據量較少且正常、氣孔、裂紋樣本數量之比約為45∶4∶1,各類型的樣本數量極不平衡.為了更加充分地利用數據,進行5折交叉驗證,即取5次驗證結果的平均值作為最終結果數據,使結果更加可靠,避免偶然性,得到驗證集分類準確度隨訓練過程的變化曲線,如圖8所示.

圖8 各模型在驗證集上分類準確度變化(原始數據)

由圖8可知,各模型的分類準確度均在90%以上,同時ResNet18_PRO網絡模型的分類準確度比其他3個模型要高且收斂更穩定,表明ResNet18_PRO網絡模型在分類效果及訓練穩定性方面優于其他3個模型.但在不平衡數據集中,該分類準確度并不能準確反映實際分類效果,為反映真實的分類效果,對各類缺陷的F1分數及其宏平均值進行分析,結果如圖9所示.

圖9 各模型在驗證集上F1分數變化(原始數據)

由圖9(a)～(c)可知,在4個模型中,ResNet18_PRO對正常、氣孔及裂紋圖片的分類效果均優于其余3個分類模型;由9(d)可知,ResNet18_PRO的總體分類效果也為最優.主要由于ResNet18_PRO 模型在ResNet18的基礎上使用了LDPS 結構,減少了下采樣過程中的信息損失,并選擇了對分類結果更有利的信息進行傳遞.同時在網絡末端增加了ISPP結構,增強了網絡對多尺度特征的提取和整合能力,因此ResNet18_PRO模型的分類效果優于其余3個模型.但由于氣孔和裂紋缺陷的樣本數過少,ResNet18_PRO不能充分學習相應的特征信息,所以分類效果仍然較差,由此可知訓練數據量的不足會限制分類模型性能的發揮.

為進一步測試模型整體性能,利用測試集對各分類模型進行測試,結果如表3所示.由表3可知,各分類器對原始數據中的氣孔及裂紋分類效果較差,而實際生產中,需要對該兩類缺陷進行準確的分類,因此該分類效果無法用于實際生產.

表3 各模型在測試集上的結果(原始數據)

2.5 數據增強后分類實驗與結果分析

通過泊松融合數據增強以后,氣孔和裂紋樣本數量均有較大的提升,各類型圖片的樣本數量大致相同,因此消除了數據不平衡現象.用4個分類模型分別對樣本擴充后的數據進行訓練,得到各模型對驗證集的分類準確度隨訓練過程的變化如圖10所示.

圖10 各模型在驗證集上分類準確度變化(數據增強后)

與原始數據上的實驗不同,此實驗中各類型樣本數量是平衡的,此時分類準確度可以較好反映真實分類效果.由圖10可知,各模型所得的分類準確度均在95%以上,由此可知,各模型在增強后的數據上分類效果均有較大提升,表明該數據增強方法對分類效果的提升有較大作用.同時ResNet18_PRO模型的分類準確度為98.91%,在4個模型中最高,進一步反映了ResNet18_PRO網絡模型的優越性.為進一步確定各類型樣本分類效果也得到了類似提升,對各類缺陷的F1分數及其宏平均值進行分析,結果如圖11所示.

圖11 各模型在驗證集上F1分數變化(數據增強后)

由圖11可知,各模型對3類圖片分類的F1分數值均在95%以上,相較于原始數據上的分類效果有了顯著提升,尤其是對于氣孔和裂紋缺陷的提升更加明顯.這表明數據增強后,各缺陷樣本數量增多且較為均衡,使分類效果得到較大提升.同時,ResNet18_PRO模型對各類缺陷的分類效果在4個模型中均為最優,進一步驗證了該模型性能的優越性及穩定性.

表4 各模型在測試集上的結果(數據增強后)

為進一步分析ResNet18_PRO的分類性能,對測試過程中的部分成功案例進行分析.如圖12所示,圖12(a)、12(b)的真實標簽分別為氣孔和裂紋,4個模型得到的分類結果如表5所示.由表5可知,該兩張圖片在ResNet18_PRO模型上分類正確, 而

表5 成功案例測試結果

圖12 成功案例

在其余3個模型上分類錯誤.主要原因可能是圖12(a)中的氣孔邊界處為黑色,而氣孔內部大部分區域的顏色與金相圖片本身的顏色十分接近,使另外3個模型在檢測過程中將氣孔內部誤認為是正常區域,所以只對缺陷邊界的上半周進行檢測,使得模型將其誤認為是細長的裂紋.圖12(b)由于裂紋位置周圍的顏色也較深,與裂紋本身的顏色較為接近,使其余3個模型沒有檢測到裂紋,而將其誤判為正常圖片.ResNet18_PRO模型由于減少了下采樣過程中的信息損失,同時在網絡末端加強了對信息的整合,能捕捉到更多的信息,使其得到正確的分類結果.

與傳統人工檢測相比,采用該模型進行缺陷分類,既能得到較高的分類準確度也具有較快的檢測速度,如表6所示.由表中可知,該模型在圖形處理器(GPU)上的檢測速度為100幀/s,遠大于人工分類速度,能滿足大部分工業相機的拍攝速度,可實現實時檢測.

表6 人工分類與算法分類對比

2.6 ResNet18_PRO消融實驗

為了驗證ResNet18_PRO網絡各改進部分及訓練策略改進對分類效果的影響,通過控制變量思想對ResNet18_PRO進行消融實驗,實驗數據為樣本擴充后的數據,訓練集、驗證集及測試集的比例仍為7∶2∶1,最終各模型在測試集上的結果如表7所示.驗證網絡結構改進時,為避免訓練策略所帶來的影響,訓練均采用了0.001的固定學習率.

表7 消融實驗結果

通過表7可知,相較于基線(Baseline)模型ResNet18的分類效果,LDPS和ISPP均能較好地提高模型的分類準確度和F1分數,表明兩個改進均較有效,其中LDPS對分類效果的提升更為明顯.這是由于ResNet18網絡淺層部分有較多的信息損失,導致網絡末端所提取的信息有效性減弱,而ISPP主要對網絡末端的信息進行整合,其效果依賴于末端信息的質量,所以單純增加ISPP對分類效果的提升并不明顯.而LDPS較大減少了下采樣過程中的信息損失,并將更有用的信息進行傳遞,使網絡能提取更多更有效的信息,因此LDPS帶來的效果提升更好.同時,經LDPS改進后,網絡末端所得到的信息更有效,質量更高,此時再與ISPP結合,使ISPP能對更有效的信息進行整合,因此能進一步提升分類效果.由于已經驗證了網絡結構的有效性,所以對于訓練策略的影響,直接用ResNet18和ResNet18_PRO兩個模型進行驗證,即在訓練時使用動態學習率ELR.結果表明,兩模型使用ELR后,分類效果得到進一步提升,其中ResNet18模型分類效果提升更大.這是由于在本實驗中ResNet18模型本身的分類性能一般,通過動態學習率可以讓分類器進一步接近最優解空間,而ResNet18_PRO本身由于結構改進取得了較好的分類性能,與最優解空間較近,所以運用ELR之后,分類效果有提升,但不如ResNet18網絡提升明顯.

2.7 模型魯棒性驗證

為驗證ResNet18_PRO模型的魯棒性,分別探究了圖片的分辨率及缺陷數據集類型對模型分類效果的影響.探究分辨率對模型分類效果的影響時,通過圖像處理的方法改變金相組織圖片的分辨率,得到寬高均為52、104、208、312、416、520、624、728、832像素等9種不同分辨率的圖片,然后對以上圖片分別進行訓練和測試,結果如圖13所示.由此可知,隨著分辨率的增加,各類型圖片的F1分數及分類準確度先增加后趨于動態穩定,當分辨率小于104像素×104像素時,各類型缺陷的分類效果明顯下降,其中裂紋的分類效果下降更為明顯.主要因為分辨率越低,圖片所攜帶的有效信息越少,使模型不能提取到較充足的特征信息,從而影響模型的分類性能.對于裂紋缺陷,由于本身缺陷特征為細長形狀,缺陷特征不如氣孔明顯,所以低分辨率下裂紋的分類效果下降更多.

圖13 分辨率對分類效果的影響

使用ResNet18_PRO模型解決了三分類問題,取得了較好的分類效果.為探究該模型對含更多類別的數據的分類效果,使用了東北大學公開的熱軋鋼帶表面缺陷數據集進行訓練和測試,該數據集共有6類,每類有300張圖片,圖片分辨率被調整為224像素×224像素,如圖14所示.

圖14 東北大學表面缺陷數據集

訓練集、驗證集及測試集的比例為4∶1∶1,訓練過程中的參數設置與上述數據增強后的分類實驗的參數設置相同.最終各模型在測試集上的測試結果如表8所示.由表8可知,ResNet18_PRO模型在該表面缺陷數據集上也能取得較好的分類效果,且優于其他3個模型,表明該模型對于類別數量更多的其他分類任務也具有較好的分類性能,驗證了該模型的魯棒性.

表8 東北大學表面缺陷數據集測試結果

3 結語

針對缺陷樣本數量較少的金相組織圖像缺陷分類問題,通過泊松融合的方法將缺陷區域與正常樣本進行融合,擴充缺陷樣本數量,從而達到數據增強的目的,改善了缺陷樣本數據不平衡的問題.在ResNet18的基礎上進行改進,提出了LDPS用于減少下采樣過程中的信息損失,同時在網絡末端增加了ISPP結構用于整合多尺度的特征信息,顯著提高了缺陷分類精度.實驗方面,通過多個分類模型對數據增強前后的分類效果進行對比,驗證了泊松融合數據增強方法及ResNet18_PRO網絡模型的有效性,并通過消融實驗驗證了模型各改進部分及訓練策略的有效性.最終該模型在增強后的數據上取得了98.83%的平均分類精度及98.76%的平均F1分數.使用該模型對其他工業缺陷數據集進行訓練和測試,取得了98.96%的平均分類準確度及99.21%的平均F1分數,表明該分類模型對不同的缺陷數據具有較好的魯棒性.以上結論表明,該數據增強方法及網絡模型具有較好的實際應用價值.