基于ECAResNet的熱軋鋼表面缺陷在線識別

［收稿日期］2023-12-05

［基金項目］北京聯(lián)合大學(xué)科研項目（ZK20202302），北京市自然基金項目（L221015）。

［作者簡介］楊子輝（2000—），男，河北大廠人，北京聯(lián)合大學(xué)城市軌道交通與物流學(xué)院碩士研究生，主要研究方向為人工智能、機器學(xué)習(xí)。

［通訊作者］劉艷霞（1976—），女，河北邢臺人，北京聯(lián)合大學(xué)城市軌道交通與物流學(xué)院教授，博士，主要研究方向為人工智能。Email：zdhtyanxia@buu.edu.cn

［摘要］基于視覺注意力機制對ResNet模型進行改進，設(shè)計了ECAResNet網(wǎng)絡(luò)模型，對熱軋鋼表面缺陷進行在線識別。該模型在提高檢測精度的同時，其推理速度也符合熱軋鋼生產(chǎn)線對實時性的要求。實驗結(jié)果表明，ECAResNet模型的在線識別精度為981%，比經(jīng)典ResNet網(wǎng)絡(luò)提高了39個百分點。消融實驗和對比實驗說明，融合ECA注意力模塊的ResNet網(wǎng)絡(luò)的綜合性能優(yōu)于融合CBAM或SE注意力模塊的ResNet網(wǎng)絡(luò)，也優(yōu)于經(jīng)典ResNet網(wǎng)絡(luò)、VGG16網(wǎng)絡(luò)和GoogLeNet網(wǎng)絡(luò)，符合熱軋鋼表面缺陷的在線識別要求，具有良好的應(yīng)用前景。

［關(guān)鍵詞］注意力機制；ResNet；熱軋鋼；圖像分類

［中圖分類號］TH 878;TP 39141［文獻標(biāo)志碼］A［文章編號］10050310（2024）02005907

0引言

隨著我國工業(yè)的迅速發(fā)展，熱軋鋼作為工業(yè)的重要原材料之一，其需求量不斷增加，鋼材的健康狀態(tài)日益受到重視。人工巡檢、渦流檢測［1］、磁漏檢測［2］、紅外檢測［3］、激光檢測［4］等是檢測鋼材健康狀態(tài)的傳統(tǒng)方法。但這些方法均有各自的缺陷，如：人工巡檢效率低、勞動強度大；渦流檢測資源消耗較大，難以對小目標(biāo)進行檢測；磁漏檢測和紅外檢測的檢測種類有限；激光檢測對檢測環(huán)境要求高，檢測速度慢且成本高昂［5］。當(dāng)前，計算機硬件和計算機視覺技術(shù)的快速發(fā)展，為熱軋鋼缺陷的在線識別提供了硬件條件和理論基礎(chǔ)，基于深度學(xué)習(xí)方法對熱軋鋼缺陷進行在線檢測具有理論可行性［69］。

隨著LeNet［10］和AlexNet［11］相繼問世，深度卷積神經(jīng)網(wǎng)絡(luò)逐漸在各領(lǐng)域得到廣泛應(yīng)用，隨后又誕生了VggNet［12］、GoogLeNet［13］、ResNet［14］等功能強大的神經(jīng)網(wǎng)絡(luò)。殘差模塊（residual module）的設(shè)計使ResNet具有更深的網(wǎng)絡(luò)結(jié)構(gòu)，從而具有更強的特征表達能力，相比其他神經(jīng)網(wǎng)絡(luò)更加穩(wěn)定。

熱軋鋼表面缺陷在線識別對實時性要求較高，深層ResNet101計算量大、推理速度慢，而淺層ResNet34的識別精度不夠理想。本文借鑒人類視覺注意力機制，對ResNet34中的核心殘差模塊進行改進，提出了ECAResNet（efficientchannel attentionresidual network）網(wǎng)絡(luò)模型，擬實現(xiàn)準(zhǔn)確率和實時性的最佳平衡。

1數(shù)據(jù)處理

本文采用東北大學(xué)熱軋鋼缺陷數(shù)據(jù)集，包括1 800張不同缺陷狀態(tài)的熱軋鋼圖片，包括裂紋、夾雜、斑塊、點蝕、壓入氧化皮、劃痕共6類，如圖1所示。

1）裂紋缺陷。當(dāng)工藝和工序存在問題時，熱軋鋼可能產(chǎn)生裂紋，按形態(tài)可分為縱向裂紋、橫向裂紋、側(cè)裂等，按分布可分為局部裂紋、頭部裂紋、表面裂紋等。

2）夾雜缺陷。夾雜分為內(nèi)部產(chǎn)生和外部附著，前者包括鋼液中各種元素形成的夾雜，后者是在生產(chǎn)過程中外部附著的其他物質(zhì)。

3）斑塊缺陷。斑塊缺陷通常在帶鋼的表面呈現(xiàn)片狀或大面積的斑塊，產(chǎn)生的原因是酸洗段和漂洗段溫度過高或帶鋼運行的速度過慢等。

4）點蝕缺陷。點蝕缺陷是鋼材的氧化物與其他材料中的氧化物接觸之后反應(yīng)形成的。

5）壓入氧化皮缺陷。壓入氧化皮缺陷通常呈魚鱗狀不規(guī)則地分布在鋼材表面，產(chǎn)生的原因可能是在鋼材軋制時，摻雜了氧化鐵皮。

6）劃痕缺陷。劃痕缺陷呈現(xiàn)不規(guī)律的長度、寬度和深度，通常是由于鋼材與其他硬質(zhì)物體摩擦而產(chǎn)生的［15］。

2視覺注意力機制

在實際生產(chǎn)過程中，熱軋鋼缺陷的在線識別任務(wù)對準(zhǔn)確率和實時性提出較高要求。較深層的ResNet網(wǎng)絡(luò)（如ResNet101、ResNet152）并不適合熱軋鋼缺陷的在線分類任務(wù)。這主要是由于：一方面，在熱軋鋼的實際生產(chǎn)中，缺陷屬于小概率事件，數(shù)據(jù)集中含有缺陷的樣本量較少，訓(xùn)練深層ResNet網(wǎng)絡(luò)存在欠擬合現(xiàn)象；另一方面，深層ResNet網(wǎng)絡(luò)的參數(shù)規(guī)模更大，推理時間更長，不滿足熱軋鋼缺陷在線識別對實時性的要求。前期實驗表明，淺層的ResNet34雖然推理速度更快，且未出現(xiàn)欠擬合現(xiàn)象，但網(wǎng)絡(luò)特征表達能力較弱，模型的準(zhǔn)確率不夠理想。相關(guān)研究表明，視覺注意力機制通過顯式建模通道或空間之間的依賴關(guān)系可以提升網(wǎng)絡(luò)的表達能力［16］，而且不會對模型的參數(shù)規(guī)模和推理速度產(chǎn)生太大影響。基于上述分析，本文嘗試在ResNet34骨干網(wǎng)的殘差模塊中引入注意力機制，用較小的時間代價提升淺層ResNet網(wǎng)絡(luò)的特征表達能力，實現(xiàn)準(zhǔn)確率和效率的平衡。

21SE注意力模塊

SE注意力模塊功能如圖2所示。首先，對特征圖進行空間特征壓縮，在空間維度上進行全局平均池化，得到1×1×C維度的特征圖；然后，通過兩個FC全連接層學(xué)習(xí)不同通道之間的依賴關(guān)系，第一個全連接層先降維到C/r，第二個全連接層再升維到C，得到1×1×C維度的注意力圖；最后，將1×1×C維度的通道注意力圖作為權(quán)重系數(shù)，與原始輸入的特征圖進行逐通道相乘，輸出具有通道注意力的特征圖，從而提升其網(wǎng)絡(luò)表達能力。在此過程中，SE注意力模塊用到兩個全連接層，增加了參數(shù)量，雖然采用先降維再升維的操作來緩解這個問題，但給通道注意力學(xué)習(xí)帶來負面影響。另外，采用兩個全連接層也會影響推理速度，因此，該模塊不適用于加入ResNet網(wǎng)絡(luò)中進行熱軋鋼缺陷的在線識別［17］。

22CBAM注意力模塊

CBAM注意力模塊在SE通道注意力模塊的基礎(chǔ)上增加了空間注意力機制，從通道和空間兩個方面對網(wǎng)絡(luò)進行優(yōu)化。這可以在通道和空間兩個維度提高模型的特征提取效果，但是會在SE注意力模塊的基礎(chǔ)上進一步提高計算復(fù)雜度［18］，因此，該模塊不適用于加入ResNet網(wǎng)絡(luò)中進行熱軋鋼缺陷的在線識別，其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

23ECA注意力模塊

在訓(xùn)練過程中，卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）每個通道的卷積核都是基于梯度下降更新參數(shù)的，由此逐漸適應(yīng)專門檢測的特征類型，如不同的形狀輪廓、不同的紋理模式或顏色斑點、不同方向的邊緣等。每個通道都可被視為一個專用的特征檢測器，用來捕捉輸入圖像的不同特征。注意力機制將不同特征信息與原始特征融合在一起，從而彌補淺層網(wǎng)絡(luò)特征表達能力不足的缺陷。熱軋鋼表面缺陷識別任務(wù)比較關(guān)注相鄰?fù)ǖ赖木植刻卣鳎珽CA注意力模塊通過一維卷積動態(tài)選擇各通道信息，提取局部相鄰?fù)ǖ篱g的依賴關(guān)系，使其符合任務(wù)要求。ECA模塊去除了SE注意力模塊中的全連接層，減少了參數(shù)量和計算復(fù)雜度，有利于提高模型效率。同時，ECA模塊用大小為k的一維卷積核實現(xiàn)了局部跨通道交互，避免了SE模塊中先降維再升維的操作給通道注意力學(xué)習(xí)帶來的負面影響，更有利于提高模型精度，其結(jié)構(gòu)如圖4所示［19］。

3ECAResNet網(wǎng)絡(luò)結(jié)構(gòu)

本文以ResNet34為基準(zhǔn)模型進行改進，得到ECAResNet34網(wǎng)絡(luò)結(jié)構(gòu)，如圖5所示。其中：blockA與blockB的基本結(jié)構(gòu)相同（見圖6），均由捷徑與殘差組成，但在blockB中，捷徑與殘差層的第一層步距為2，BlockA的步距為1；另外，BlockA與BlockB的參數(shù)略有不同。本文在ResNet殘差結(jié)構(gòu)的BlockA和BlockB中分別添加了ECA注意力模塊。ECAResNet34模型的參數(shù)如表1所示。

1）Conv：是網(wǎng)絡(luò)的第一個卷積層，它使用7×7的卷積核對輸入圖像進行卷積操作；設(shè)置步距為2，從而將輸入圖像的尺寸減小一半，并提取一些初步特征。

2）layer1：具有3個殘差層，每層殘差具有2個卷積層，采用3×3卷積核，輸出通道數(shù)為64。每個殘差層下具有ECA注意力模塊。

3）layer2：具有4個殘差層，每層殘差具有2個卷積層，采用3×3卷積核。第一個殘差層為blockB，第一個卷積層步距為2，捷徑步距為2，輸出通道數(shù)由layer1的64變?yōu)?28；第二至四個殘差層為3個blockA，輸出通道數(shù)為128。每個殘差層下具有ECA注意力模塊。

4）layer3：具有6個殘差層，每層殘差具有2個卷積層，采用3×3卷積核。第一個殘差層為blockB，第一個卷積層步距為2，捷徑步距為2，輸出通道數(shù)由layer2的128變?yōu)?56；第二至六個殘差層為5個blockA，輸出通道數(shù)為256。每個殘差層下具有ECA注意力模塊。

5）layer4：具有3個殘差層，每層殘差具有2個卷積層，采用3×3卷積核。第一個殘差層為blockB，第一個卷積層步距為2，捷徑步距為2，輸出通道數(shù)由layer3的256變?yōu)?12；第二至三個殘差層為2個blockA，輸出通道數(shù)為512。每個殘差層下具有ECA注意力模塊。[LM]

6）全局平均池化層：全局平均池化層將每層特征圖的所有元素求平均，得到1個平均值，最后得到一個長度為512的特征向量。

7）全連接層：將全局平均池化層的輸出與標(biāo)簽進行匹配，用于分類任務(wù)。

4實驗

41實驗環(huán)境

在訓(xùn)練過程中，服務(wù)器使用Ubuntu20041系統(tǒng)，PyTorch框架版本為170，CPU型號為11th Gen Intel（R） Core（TM） i511400@260 GHz，GPU型號為NVIDIA GeForce RTX 3060，顯卡內(nèi)存為8GB。其中，PyTorch是一個基于Torch的開源機器學(xué)習(xí)庫，它對GPU具有加速功能，可在處理圖像時提高計算速度。

42消融實驗

為了驗證各注意力模塊的有效性，以及不同規(guī)模的網(wǎng)絡(luò)模型對性能的影響，本文分別將CBAM注意力模塊、ECA注意力模塊、SE注意力模塊嵌入ResNet34網(wǎng)絡(luò)中，并與原始ResNet34、ResNet50、ResNet101、ResNet152網(wǎng)絡(luò)進行消融實驗。

首先將包含6種缺陷類型的熱軋鋼數(shù)據(jù)集打亂順序，然后將訓(xùn)練集和驗證集按70%和30%的比例進行劃分，再將輸入圖像統(tǒng)一縮放到像素大小為224×224的RGB圖像。在訓(xùn)練過程中，將網(wǎng)絡(luò)的學(xué)習(xí)率設(shè)置為0001，epochs設(shè)置為20，batch size設(shè)置為16，使用SGD優(yōu)化器對網(wǎng)絡(luò)中的參數(shù)進行優(yōu)化更新，加快模型收斂。對添加不同注意力機制的ResNet網(wǎng)絡(luò)與不同深度的ResNet網(wǎng)絡(luò)進行消融實驗［20］，結(jié)果如表2所示。

由消融實驗可知，ECAResNet34網(wǎng)絡(luò)的綜合性能強于添加其他注意力機制的ResNet34網(wǎng)絡(luò)及ResNet50、ResNet101、ResNet152網(wǎng)絡(luò)。添加ECA注意力模塊后，雖然推理時間比原始ResNet34網(wǎng)絡(luò)慢074ms，但精度提高了39個百分點，而且實時性也能滿足熱軋鋼表面缺陷在線識別的要求。

上述網(wǎng)絡(luò)模型在訓(xùn)練階段的準(zhǔn)確率和損失值隨epochs變化的曲線分別如圖7和圖8所示。從圖7和圖8可以看出，ECAResNet34網(wǎng)絡(luò)的準(zhǔn)確率和損失值均優(yōu)于添加其他注意力機制的ResNet34網(wǎng)絡(luò)及原始ResNet34網(wǎng)絡(luò)。

在訓(xùn)練過程中，ECAResNet34的準(zhǔn)確率和損失函數(shù)的整體波動明顯小于其他網(wǎng)絡(luò)，收斂較為平緩，此模型在防止過擬合方面更有優(yōu)勢。

43對比試驗

為了進一步驗證ECAResNet網(wǎng)絡(luò)的性能，本文將ECAResNet34與ResNet34、ResNet50、ResNet101、ResNet152網(wǎng)絡(luò)，以及另外兩種功能強大的VGG16和GoogLeNet網(wǎng)絡(luò)進行對比試驗，以準(zhǔn)確率和推理時間為坐標(biāo)軸繪制散點圖，結(jié)果如圖9所示。通過散點圖可知，本文提出的ECAResNet網(wǎng)絡(luò)在熱軋鋼缺陷分類數(shù)據(jù)集上識別的準(zhǔn)確率最高，實時性也較強，可以滿足熱軋鋼表面缺陷在線識別的要求。

5結(jié)束語

熱軋鋼表面缺陷在線識別過程對網(wǎng)絡(luò)的實時性和準(zhǔn)確率要求較高，本文針對熱軋鋼缺陷數(shù)據(jù)集的特點，對ResNet網(wǎng)絡(luò)進行改進，通過引入ECA注意力模塊，設(shè)計了ECAResNet34網(wǎng)絡(luò)。將ECAResNet34與SEResNet34、CBAMResNet34及不同層數(shù)的ResNet網(wǎng)絡(luò)進行消融實驗，與ResNet34、ResNet50、ResNet101、ResNet152、VGG16及GoogLeNet網(wǎng)絡(luò)進行對比試驗，結(jié)果表明：ECAResNet34網(wǎng)絡(luò)的各項運行參數(shù)均表現(xiàn)優(yōu)異，在與眾多網(wǎng)絡(luò)的訓(xùn)練對比中取得了最高的精度和較快的推理速度，更適用于熱軋鋼表面缺陷的在線識別工作。

［參考文獻］

［1］趙亞飛.基于渦流技術(shù)的鋼板表面缺陷檢測系統(tǒng)研究［D］.沈陽：沈陽工業(yè)大學(xué)，2017.

［2］林俊明.漏磁檢測技術(shù)及發(fā)展現(xiàn)狀研究［J］.無損探傷，2006（1）：1-5.

［3］任向陽，王杰，馬天磊，等.紅外弱小目標(biāo)檢測技術(shù)綜述［J］.鄭州大學(xué)學(xué)報（理學(xué)版），2020，52（2）：1-21.

［4］袁久鑫，秦訓(xùn)鵬.激光超聲無損檢測技術(shù)研究進展［J］.表面工程與再制造，2019，19（1）：30-34.

［5］游青華.基于深度學(xué)習(xí)的鋼材表面缺陷檢測方法研究［D］.武漢：武漢紡織大學(xué)，2021.

［6］周飛燕，金林鵬，董軍.卷積神經(jīng)網(wǎng)絡(luò)研究綜述［J］.計算機學(xué)報，2017，40（6）：1229-1251.

［7］盧宏濤，張秦川.深度卷積神經(jīng)網(wǎng)絡(luò)在計算機視覺中的應(yīng)用研究綜述［J］.數(shù)據(jù)采集與處理，2016，31（1）：1-17.

［8］尹寶才，王文通，王立春.深度學(xué)習(xí)研究綜述［J］.北京工業(yè)大學(xué)學(xué)報，2015，41（1）：48-59.

［9］黃凱奇，任偉強，譚鐵牛.圖像物體分類與檢測算法綜述［J］.計算機學(xué)報，2014，37（6）：1225-1240.

［10］KRIZHEVSKY A， SUTSKEVER I， HINTON G E.ImageNet classification with deep convolutional neural networks［J］.Communications of the ACM，2017，60（6）：84-90.

［11］LECUN Y，BOTTOU L，BENGIO Y，et al.Gradientbased learning applied to document recognition［J］.Proceedings of the IEEE，1998，86（11）：2278-2324.

［12］SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for largescale image recognition［Z/OL］.（2015-04-10）［2023-12-01］.https：//arxiv.org/abs/14091556.

［13］SZEGEDY C， LIU W， JIA Y Q， et al. Going deeper with convolutions［C］//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Boston：IEEE，2015：1-9.

［14］HE K M， ZHANG X Y， REN S Q， et al. Deep residuallearning for image recognition［C］// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas： IEEE，2016：770-778.

［15］游青華.基于深度學(xué)習(xí)的鋼材表面缺陷檢測方法研究［D］.武漢：武漢紡織大學(xué)，2021.

［16］張宸嘉，朱磊，俞璐.卷積神經(jīng)網(wǎng)絡(luò)中的注意力機制綜述［J］.計算機工程與應(yīng)用，2021，57（20）：64-72.

［17］HU J， SHEN L， SUN G. Squeezeandexcitation networks［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City：IEEE，2018：7132-7141.

［18］WOO S， PARK J，LEE J Y，et al. CBAM： convolutional block attention module［C］//Proceedings of the 15th European Conference on Computer Vision （ECCV）. Munich： Springer，2018：3-19.

［19］WANG Q L， WU B G， ZHU P F， et al. ECANet： efficient channel attention for deep convolutional neural networks［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle：IEEE，2020：11531-11539.

［20］李少佳，胡美振，陳輝東，等.基于輕量化GoogLeNet模型的軌道扣件缺陷狀態(tài)識別［J］.北京聯(lián)合大學(xué)學(xué)報，2023，37（1）：6-12.

（責(zé)任編輯白麗媛；責(zé)任校對柴智）