基于多尺度特征融合的鋁材表面缺陷檢測方法

張志鋒 吳玉婷 羅銘強 聶德鍵

摘要：針對鋁材表面缺陷檢測方法中，特征提取方法未充分利用不同層次特征的問題，文章提出了一種融合多尺度特征的鋁材表面缺陷檢測方法，將低層次特征中包含的位置信息傳遞到高層次特征中，豐富高層次特征的語義表達能力。實驗結果表明，mAP平均每類準確率達到了90.22%，優于其他對比的方法。在所有的缺陷類型分類準確率上，該方法的表現也優于其他方法。

關鍵詞：缺陷檢測；多尺度特征融合；特征提取

中圖分類號：TP391.4中圖分類號? 文獻標志碼：A文獻標志碼

0 引言

鋁材表面缺陷檢測是指對鋁材的外觀進行評估和檢查，以識別和分析可能存在的缺陷。這些缺陷包括凹痕、劃痕、氧化、裂紋等。常見的傳統鋁材表面缺陷檢測方法如下。

（1）儀器檢測：利用一些專用儀器和設備進行檢測，如光學顯微鏡、高分辨率攝像機、掃描電子顯微鏡等。

（2）顏色檢測：利用顏色對比的方法來檢測鋁材表面的缺陷。涂覆或涂漆鋁材表面，然后觀察顏色變化或染料的吸附情況，以識別缺陷。

（3）磁粉檢測：將鋁材表面涂覆上磁粉，然后應用磁場。磁粉會在缺陷處出現磁力線集聚，從而可以檢測出缺陷。

1 現有算法

近年來，基于深度神經網絡的缺陷檢測方法［1-4］顯著提升了缺陷檢測的準確率和魯棒性。Neuhauser等［5］采用Faster R-CNN實現鋁材表面缺陷的檢測，在813張圖像的數據集上訓練時，實現了0.98的分類準確率和0.47的平均精度。Wei等［6］ 結合Faster R-CNN和YOLOv3，提出了一種混合式網絡的缺陷檢測方法，提高了YOLOv3對鋁材表面小缺陷的檢測能力，在廣東工業智能制造大數據創新大賽提供的“鋁材缺陷識別”數據集上進行了實驗，其改進算法的平均精度（mAP）比YOLOv3高出3.4％，比Faster R-CNN高出1.8%。沈曉海等［7］提出了一種多任務深度學習的鋁材缺陷檢測方法，通過設計多任務損失層的自適應權重，解決了多任務訓練中的收斂不均衡問題，提升了鋁材檢測的準確性，同時減少了推理時間。

現有算法在鋁材缺陷檢測上依舊存在一個問題：即只關注低層次特征的提取，缺少對中層語義特征的提取與融合。綜上所述，本文提出了一種基于多尺度融合的鋁材缺陷檢測方法，通過多尺度融合模塊將底層邊緣特征和中層語義特征進行融合，將底層邊緣特征的邊緣信息傳遞到中層語義特征中，提升了特征的表達能力。

2 基于多尺度融合的鋁材缺陷檢測方法

如圖1所示，基于多尺度融合的鋁材缺陷檢測方法分為3個模塊，分別是特征提取模塊、多尺度融合模塊和分類模塊。

（1）特征提取模塊由若干個堆疊的卷積層和池化層組成的VGG網絡構成。在特征提取部分中，卷積層的卷積核大小為7×7，輸出通道為64個，步長為2，緊接著卷積層結構的是一個3×3的最大池化層，步長也為2。輸入圖像將圖像寬度和高度減少1/4，并將其通道大小增加到了64個通道，殘差塊連接而成的模塊是殘差網絡的主要結構，負責提取圖像中的深層特征。卷積層輸出通道數分別是64、128、256和

圖1 網絡結構

512個。

（2）多尺度融合模塊如圖2所示，階段1、階段2、階段3、階段4分別表示由殘差塊連接而成的模塊，用于提取4個不同尺度的特征{S1，S2，S3，S4}作為特征融合模塊的輸入，再通過多尺度信息融合模塊對特征提取模塊的各層次輸出進行雙向特征增強，自上而下的模塊輸出結果為{P1，P2，P3，P4}，自下而上的模塊分別輸出{N1，N2，N3，N4}。假設輸入圖像的尺寸為W×H×3的彩色圖像，則{S1，S2，S3，S4}各層次特征的尺寸分別為（W/2）×（H/2）×64、（W/4）×（H/4）×128、（W/8）×（H/8）×256、（W/16）×（H/16）×512。

圖2 上下文信息融合

（3）分類模塊由一個多層感知機（MLP）、一個維度變化操作和卷積操作組成。具體來講，分類損失采用二分類交叉熵損失，其公式如式（1）所示：

Lcls=-［p*ilog（pi）+（1-p*i）log（1-pi）］（1）

其中，pi為第i個區域預測為真實標簽的概率；p*i為當標簽為正樣本時取為1，負樣本時取為0。

位置損失用IoU損失計算，公式為：

LIoU=1-IoU（bboxgt，bboxpred）（2）

其中，bboxgt為缺陷的真實坐標位置；bboxpred為預測缺陷的坐標位置。則總的損失函數表示為：

L=Lcls+LIoU（3）

3 實驗與分析

實驗環境為Ubuntu操作系統，使用的CPU為Intel i7-8700，主頻為3.2 GHz，GPU為Nvidia GeForce GTX 1080Ti，顯存容量為11 GB。

3.1 數據集

實驗數據集來自廣東堅美鋁業有限公司生產線采集的缺陷圖片，其缺陷類型包括不導電、擦花、角位漏底、桔皮、漏底、噴流、漆泡、起坑、雜色、臟點10種，樣本從100張到800張不等。圖像大小統一縮小為800×400，再對部分數據集數據進行數據增強，消除樣本不均衡的影響，加快梯度下降求最優解的速度。訓練集、測試集和驗證集的比例為8∶1∶1。

3.2 評價指標

將數據集中的IoU閾值設置為0.5，把IoU大于0.5的預測結果認為是真陽例（TP），用類似的方法計算出假陽例（FP）、真陰例（TN）和假陰例（FN）。接著，精確率（Precision）可以被計算為真陽例與真陽例以及假陽例之和的比值，表示所有被預測為“陽”的樣本中實際為“陽”的樣本的比例；召回率（Recall）表示實際為“陽”的樣本中被預測為“陽”的概率。并計算出預測平均每類準確率mAP，計算mAP時，對同一個ground-truth框，重復預測n次，取置信度最高的預測：

mAP=1N∑Ni=1判定為i類且正確的圖片個數判定為i類的圖片個數（4）

3.3 實驗結果分析

表1展示了本文方法與Fast RCNN和YOLOv3在測試數據集上的實驗結果相比，通過融合上下文多尺度信息，本文方法的性能指標都有較為明顯的提升。此外，本文方法的mAP平均每類準確率達到了90.22%，優于其他對比方法。在所有的缺陷類型分類準確率上，本文方法的表現也優于其他方法。

此外，在部分存在極端長寬比的缺陷種類中，如漆泡、起坑、漏底、不導電等，本文方法的檢測精度相比于第二名平均提高了9.45%，可以看出本文方法對于極端長寬比的情況相比于其他方法更具有優勢。本文方法的精確率-召回率曲線如圖3所示，從圖3中可以看出，對于各種類型的缺陷，本文方法都可以在取得超過90%的精確率的同時，獲得不低于85%的召回率。這也說明了本文方法的魯棒性。

4 結語

針對現有鋁材表面缺陷檢測方法只關注低層次特征的提取，缺少對中層語義特征的提取與融合的問題，本文提出了一種融合多尺度信息的鋁材表面缺陷檢測方法。該方法通過多尺度融合模塊將底層邊緣特征和中層語義特征進行融合，將底層邊緣特征的邊緣信息傳遞到中層語義特征中，實驗結果表明本文方法的平均每類準確率優于Fast RCNN和YOLOv3。

參考文獻

［1］程康.基于深度學習的工業品不規則缺陷檢測研究［D］.杭州：浙江工業大學，2019.

［2］寧柏鋒，董召杰.基于機器學習的輸電線路設備細微缺陷智能檢測方法［J］.自動化與儀器儀表，2020（5）：161-165.

［3］林文偉.基于深度學習的機箱表面細微劃痕檢測方法研究［D］.天津：天津工業大學，2019.

［4］潘云龍，王森，張印輝，等.結合特征復用注意力與精細化分層殘差的細微裂紋密集連續檢測［J］.儀器儀表學報，2021（2）：285-296.

［5］NEUHAUSER F M，BACHMANN G，HORA P.Surface defect classification and detection on extruded aluminum profiles using convolutional neural networks［J］.International Journal of Material Forming，2020（13）：591-603.

［6］WEI R，BI Y.Research on recognition technology of aluminum profile surface defects based on deep learning［J］.Materials，2019（10）：1681.

［7］沈曉海，栗澤昊，李敏，等.基于多任務深度學習的鋁材表面缺陷檢測［J］.激光與光電子學進展，2020（10）：283-292.

（編輯 王雪芬編輯）

Aluminum profile surface defect detection method based on multi-scale feature fusion

Zhang? Zhifeng1， Wu? Yuting2*， Luo? Mingqiang3， Nie? Dejian3

（1.Guangdong Zhonghong Design Engineering Co.， Ltd.， Foshan 528300， China;

2.Guangdong Vocational College of Post and Telecom， Guangzhou 510630， China;

3.Guangdong Xingfa Aluminum Industry Co.， Ltd.， Foshan 528000， China）

Abstract： To address the issue of insufficient utilization of different hierarchical features in the surface defect detection method for aluminum materials， a multi-scale information fusion-based surface defect detection method for aluminum materials is proposed. This method transfers the positional information contained in low-level features to high-level features， thereby enriching the semantic expression capability of high-level features. Experimental results show that the mean average precision （mAP） of this method reaches 90.22%， which is higher than other comparative methods. The performance of this method in terms of accuracy in classifying all types of defects also outperforms other methods.

Key words： defect detection; multi-scale feature fusion; feature extraction