基于輕量化卷積塊注意力Transformer的表面缺陷檢測算法

中圖分類號TP391.4文獻標志碼A

0 引言

在工業(yè)生產(chǎn)中，表面缺陷檢測是提升產(chǎn)品質(zhì)量的重要環(huán)節(jié)，及時檢測出產(chǎn)品的表面缺陷非常必要.表面缺陷通常表現(xiàn)為信噪比低[1]類內(nèi)差異顯著以及類間差異較小，這些問題在鋼材[2]、瓷磚[3]和布匹[4]等一系列產(chǎn)品生產(chǎn)中尤為典型.傳統(tǒng)人工檢測方法成本高、效率低，且檢測結(jié)果較為主觀，不適合當前工業(yè)生產(chǎn)中高效和精確的要求.基于傳統(tǒng)特征的機器學習方法曾是該領域的研究主流5.例如：Peng等采用傅里葉變換建立中心空間頻譜方法來檢測織物中的結(jié)構缺陷;Li等則將LBP特征與顏色聚合向量特征加權融合，提出一種能夠提高分類精度和計算速度的圖像分類方法.然而，基于傳統(tǒng)特征的機器視覺檢測方法局限性較大，對于不同任務的適應性不足，面對更復雜的情況（缺陷對比度低、形狀差異大）時，表現(xiàn)欠佳.

隨著深度學習的快速發(fā)展，工業(yè)生產(chǎn)中表面缺陷檢測在效率和準確性上都有了顯著提升，逐漸滿足了生產(chǎn)過程中對缺陷檢測的要求.基于深度學習的表面缺陷檢測根據(jù)檢測精細程度，可以分為三類：圖像級別的圖像分類、區(qū)域級別的目標檢測和像素級別的語義分割.圖像分類任務旨在判斷圖像是否含有缺陷，并識別圖像中的缺陷類型[9-10]，從而確定圖像的分類;目標檢測任務通過邊界框來識別和定位圖像中的缺陷[11-12]；語義分割任務則為圖像中的每個像素分配類別標簽，區(qū)分不同的缺陷類別和非缺陷區(qū)域[13].對于具備像素級標注的缺陷數(shù)據(jù)集而言，能夠精確分割并實現(xiàn)分類的語義分割任務是最佳選擇.這種任務不僅能識別缺陷的存在，還能精確界定缺陷的范圍和類型，為后續(xù)缺陷分析和處理提供了更豐富的信息.

目前已有一些成功的語義分割方法被應用于缺陷檢測任務.全卷積網(wǎng)絡（FullyConvolutionalNetwork，F(xiàn)CN）方法及其衍生網(wǎng)絡作為該領域的主流方法，在缺陷分割任務中表現(xiàn)出色[14].例如：Tabernik等[15]利用基于FCN的分割網(wǎng)絡定位表面缺陷，并通過決策網(wǎng)絡預測缺陷圖片中缺陷的概率;方一鳴等[1]通過 UNet++ 預測塑料齒輪黑點區(qū)域，再結(jié)合多特征融合分析給出黑點檢測最終結(jié)果.此外，在缺陷語義分割任務中結(jié)合顯著性檢測也能夠帶來一定的提升效果.Huang等[3]基于U-Net網(wǎng)絡進行瓷磚表面缺陷的顯著性檢測，提升了模型對于背景和缺陷的區(qū)分能力； A3Net^[17] 同樣在U-Net網(wǎng)絡上加入顯著性檢測任務進行缺陷檢測，在鋼帶數(shù)據(jù)集上取得了不錯的效果.然而，顯著性檢測通常是二分類任務，難以區(qū)分不同缺陷類別.在生產(chǎn)制造過程中，不同類型的缺陷可能需要采取不同的修復措施，因此，多類別的缺陷語義分割在很多情況下是非常必要的.

近年來，基于視覺Transformer的方法在計算機視覺領域嶄露頭角，在多個任務上的表現(xiàn)超越了基于卷積神經(jīng)網(wǎng)絡（ConvolutionalNeuralNetwork，CNN）的方法[5]，并在語義分割方面展現(xiàn)出顯著的效果.例如：Wang等[18]設計的視覺金字塔Transformer模型通過生成多尺度特征圖，有效提升分割結(jié)果；Zhang等[19]提出的輕量化令牌視覺金字塔Trans-former模型，通過對不同尺度特征令牌進行處理，增強了特征表示;Xie等[20]設計的SegFormer模型結(jié)合輕量化的Transformer骨干和多層感知機，具有輕量化和高魯棒性的特點，可以更有效地完成分割任務.視覺Transformer模型在捕捉長距離依賴關系方面具有優(yōu)勢，有望進一步提升模型對復雜缺陷的檢測能力.

本文提出一種輕量化卷積塊注意力Transformer模型（LightweightConvolutionalBlockAttention Trans-former，LCBAFormer），用于解決缺陷語義分割任務中的挑戰(zhàn).LCBAFormer采用SegFormer模型中輕量化的MiT-B0骨干做編碼器，確保在保持低參數(shù)量的同時，能夠有效捕獲全局上下文信息.在此基礎上，添加輕量化卷積塊注意力模塊（LightweightConvolu-tionalBlockAttentionModule，LCBAM）和語義融合模塊（SemanticInjectionModule，SIM）.LCBAM通過使用局部注意力機制，在通道和空間維度上增強模型捕獲缺陷的特征的能力.SIM用于融合不同尺度的語義信息，進一步提升模型性能，同時適量減少模型的參數(shù)量.

本文主要貢獻如下：

1）提出一種輕量化卷積塊注意力Transformer模型LCBAFormer，結(jié)合全局注意力和局部注意力機制，增強了對缺陷的檢測能力.

2）提出一種輕量化卷積塊注意力模塊LCBAM，通過在通道和空間維度上應用局部注意力，提 高模型捕捉缺陷特征的效率.

3）提出一種語義注人模塊SIM，有效整合不同尺度的特征圖信息，優(yōu)化模型性能，并控制參數(shù)量的增長.

1輕量化卷積塊注意力Transformer

受分割模型中編碼器-解碼器網(wǎng)絡結(jié)構的啟發(fā)，本文提出一種輕量化卷積塊注意力Transformer，如圖1所示.該模型以SegFormer中的MiT-B0骨干作為編碼器部分.在此骨干基礎上添加輕量化卷積塊注意力模塊和語義融合模塊，在提升性能的同時保證模型的輕量化.SegFormer中的MiT-BO骨干由4個輕量化Transformer模塊構成，LCBAFormer利用MiT-B0骨干捕獲缺陷圖像中的全局信息，獲得多層次的全局上下文信息.LCBAFormer去除了SegForm-er對MiT-B0骨干輸出的后續(xù)拼接處理.原因在于，SegFormer經(jīng)過拼接后的通道數(shù)量大幅增加，導致網(wǎng)絡復雜度上升.為了平衡模型的性能和參數(shù)量，LCBAFormer對骨干分支結(jié)果進行分開處理，交由輕量化卷積塊注意力模塊LCBAM負責.最后，通過語義注入模塊SIM完成各分支結(jié)果的整合處理.輕量化卷積塊注意力模塊LCBAM是一個嵌入了通道注意力和空間注意力的輕量化倒殘差模塊，主要對編碼器輸出的各個分支進行注意力操作，可以有效提高模型性能，同時對模型復雜度的影響較小.語義注入模塊SIM是一個輕量化的模塊，作為模型中解碼器的主要部分，用于完成不同尺度的語義融合，同時實現(xiàn)分支結(jié)果的上采樣，逐步得到最終的分割結(jié)果.

圖1LCBAFormer網(wǎng)絡Fig.1 LCBAFormernetwork

1. 1 骨干網(wǎng)絡

在LCBAFormer中，骨干部分采用SegFormer模型中的MiT-B0結(jié)構，該結(jié)構由4個輕量化Trans-former模塊構成，如圖2所示.每個Transformer塊使用重疊圖像塊嵌入，保證圖像塊之間的局部連續(xù)性，并在前饋神經(jīng)網(wǎng)絡部分使用 3×3 的卷積層，以此來代替復雜的位置編碼嵌入.此外，每個Transformer塊使用一種高效多頭自注意力機制，減少每個Trans-former塊的計算復雜度.

圖2高效Transformer模塊 Fig.2Simple efficient Transformer block

1.2輕量化卷積塊注意力模塊LCBAM

借鑒 A3Net 和 GCN^[21] ，本文提出一個輕量化卷積塊注意力模塊LCBAM，如圖3所示.LCBAM整體采用 MobileNet^[22-23] 中的倒殘差結(jié)構，該結(jié)構使用了深度卷積操作，具有快速輕量的特點.與MobileNet中的倒殘差結(jié)構不同的是，本文提出的LCBAM在使用 1×1 卷積進行通道升維時，將各個分支的通道數(shù)統(tǒng)一提升到256，這借鑒了原生SegFormer中解碼器部分的升維操作.模塊中 3×3 的可分離卷積可以保證參數(shù)和性能的平衡.在 3×3 卷積后加入一個通道注意力和空間注意力串聯(lián)模塊（ChanelAttentionamp;SpatialAttention，CASA），用于提升模型對缺陷特征的捕獲.最后，使用 1×1 卷積進行降維操作，將通道數(shù)統(tǒng)一降至128，整個結(jié)構保留了倒殘差結(jié)構輕量化的特點.由于在整個操作過程中通道數(shù)發(fā)生了改變，在殘差連接處又通過 1×1 卷積對通道數(shù)進行調(diào)整，因此可以保證最后殘差分支正常運作.結(jié)構可以表示如下：

f_eⁱ=conv_1×1（f_bⁱ）+conv_1×1（f_rⁱ）.

其中： f_rⁱ 表示分支骨干的輸出分支 ;j_aⁱ 表示 3×3 卷積后的結(jié)果 ;f_bⁱ 表示CASA注意力模塊的輸出結(jié)果 ;f_eⁱ 表示LCBAM輸出結(jié)果; conv_1×1 表示 1×1 卷積； conv_3×3 表示 3×3 卷積；CASA表示串聯(lián)注意力操作； + 表示元素相加.

圖3LCBAM Fig.3The proposed LCBAM

通過借鑒 CBAM^[24] ，本文提出一個輕量化的通道注意力和空間注意力串聯(lián)的注意力模塊CASA，并在倒殘差結(jié)構中 3×3 卷積結(jié)束后嵌人該模塊.CASA由一個通道注意力模塊和一個空間注意力模塊串聯(lián)而成，結(jié)構如圖4所示.輸人特征圖首先經(jīng)過通道注意力模塊，本文使用了 ECA^[25] 高效通道注意力模塊.通道注意力模塊采用最大池化操作代替原生ECA模塊中的平均池化操作，提取各個通道的特征值，再將通道特征值送人ECA通道注意力模塊，進行局部卷積操作，實現(xiàn)跨通道信息交互.A3Net中使用CBAM作為邊界修正模塊，去除原先的平均池化操作，僅采用最大池化操作，證明了在缺陷檢測中最大池化操作的有效性.通道注意力模塊操作可以表示為

圖4串聯(lián)注意力模塊CASA

Fig.4 Channel attention amp; spatial attentionmodule

其中：MAX表示最大池化操作； f_cⁱ 表示最大池化的特征結(jié)果； M_ecaⁱ 表示經(jīng)過ECA通道注意力后得到的注意力分數(shù)圖；ECA表示高效通道注意力操作； σ 表示Sigmoid激活函數(shù)； ? 表示元素相乘.經(jīng)過通道注意力操作得到特征圖 f_ecaⁱ

在ECA模塊中，首先根據(jù)通道數(shù)確定卷積操作的核數(shù) k ，然后對通道最大池化操作得到的一維特征值進行一維卷積，再通過Sigmoid激活函數(shù)，得到最終的通道注意力分數(shù).相比CBAM中的SE通道壓縮操作，由于ECA模塊沒有對通道特征值進行壓縮，不會破壞通道特征的完整性.同時，ECA模塊的操作中只需要經(jīng)過一個一維卷積，滿足了結(jié)構的輕量化要求.

C=?（k）=2^{（γ×k-b）}，

其中： c 表示通道數(shù)； k 表示一維卷積核大小； γ 和 b 為線性變換中的兩個常數(shù)，都設置為 表示 Φ_t 最接近的奇數(shù).

空間注意力模塊利用圖像特征空間的關系生成空間注意力，關注圖像不同位置的信息.空間注意力與通道注意力是互補的，共同增強網(wǎng)絡對關鍵信息的關注度.本文的空間注意力模塊借鑒了卷積注意力模塊和可變形卷積（DeformableConvolutionalNet-work，DCN）[26].首先沿著通道維度進行平均池化操作和最大池化操作，并將它們拼接在一起，得到特征描述符.隨后，使用可變形卷積生成空間注意力圖，利用其非常規(guī)的感受野選取能力，有效地強調(diào)和抑制不同位置的空間信息.

M_dcnsaⁱ=σ（DCN_7×7（f_sⁱ）），

f_dsaⁱ=M_dcnsaⁱ?f_ecaⁱ.

其中：cat表示通道拼接操作；MAX表示最大池化操作；AVG表示平均池化操作； DCN_7×7 表示 7×7 可變形卷積； M_dcnsaⁱ 表示空間注意力分數(shù)圖.經(jīng)過空間注意力模塊后，就能得到經(jīng)過通道注意力操作和空間注意力操作的特征圖 f_dsaⁱ

可變形卷積具有適應幾何物體變化的能力，能夠自我調(diào)節(jié)感受野，捕捉需要的特征.在缺陷檢測中，相較于常規(guī)的卷積操作，可變形卷積能夠更好地適配形狀不規(guī)則的各種缺陷特征.在本文空間注意力操作中，使用的是可變形卷積 DCNv2^[26] 中的卷積操作，相比可變形卷積 DCNv1^[27] ， DCNv2 中的卷積操作為采樣點添加了調(diào)制標量，用于區(qū)分采樣區(qū)域是否是網(wǎng)絡關注的重點，為采樣點區(qū)域的選擇添加了限制，確保了有效信息的捕獲，

其中： K 表示采樣點個數(shù)； w_k 和 p_k 分別表示卷積的權重和采樣點的偏移量； Δp_k 表示可學習的偏移量；Δm_k 表示可學習的調(diào)制標量； y（p） 是可變形卷積的結(jié)果.

在經(jīng)過通道注意力和空間注意力操作后，得到特征圖 f_dsaⁱ .再經(jīng)過一個殘差操作，將特征圖 f_dsaⁱ 和特征 f_aⁱ 圖相加，這個過程可以表示為

在CASA模塊基礎上，額外增加的一條殘差分支，減緩梯度消失問題，幫助模型更好地進行訓練，最后得到注意力模塊最終結(jié)果 f_bⁱ

1.3 語義注入模塊SIM

為了處理不同尺度特征圖，本文提出語義注入模塊SIM，在保證模型輕量化的前提下，有效地融合了各個尺度下的特征圖，其結(jié)構如圖5所示.SIM分為SIM-A和SIM-B兩個模塊，其中，SIM-B模塊為得到分割結(jié)果前的最后一個特征融合模塊，其余特征融合模塊均為SIM-A模塊.SIM-A模塊有局部語義特征圖和全局語義特征圖兩個輸入.局部語義特征圖需經(jīng)過一個 1×1 卷積層和批處理歸一化層，得到一個局部語義特征圖.全局語義特征圖經(jīng)過一個 1× 1卷積和批處理歸一化層，再經(jīng)過Sigmoid層和一個雙線性插值上采樣層，得到一個全局語義權重.同時，未處理過的全局語義特征圖經(jīng)過一個 1×1 卷積層、批處理歸一化層和一個雙線性插值上采樣層，得到一個全局語義特征圖.此時獲得三個處理過的輸入：局部語義特征圖、全局語義權重和全局語義特征圖.之后，通過哈達瑪積將全局語義權重和局部語義特征圖結(jié)合，將全局語義注入到局部語義特征圖中，再與全局語義特征圖相加，得到語義融合的結(jié)果.

SIM-B模塊為最后一個SIM，與SIM-A模塊稍有不同.SIM-B在不同語義特征圖相加部分，額外加人了未處理過的局部語義特征圖.這部分借鑒了DeepLabv3[28]中最后融合低級特征圖的方式，這樣設計能夠更好地利用原始低層次特征來還原最后的分割結(jié)果.

圖5 SIM

Fig.5Semantic injection modules

最后，為了得到和原圖一樣分辨率的分割缺陷圖，需要將SIM-B的結(jié)果送入一個輕量化的分割頭，該分割頭由 3×3 卷積層、ReLU激活層、BatchNorm批量歸一化層、 1×1 卷積層和一個雙線性插值上采樣層簡單疊加構成.

2 實驗

2.1 數(shù)據(jù)集

為驗證LCBAFormer的泛化性和有效性，本文采用NEU- Seg^[29] 和 MT-Defect[3]兩個公開數(shù)據(jù)集，都按照 6：2：2 的比例劃分為訓練集、驗證集和測試集.NEU-Seg數(shù)據(jù)集包含900張分辨率為 200×200 大小的熱軋鋼帶缺陷圖片，缺陷種類分為夾雜、斑塊和劃痕3類，每種缺陷都有300張圖片.MT-Defect數(shù)據(jù)集包含1344張不同分辨率的磁瓦缺陷圖片，缺陷種類分為5類，分別是氣孔、裂紋、磨損、斷裂和不平整，

2.2 實驗設置

實驗基于PyTorch深度學習框架，在NVIDIAGeForceRTX309OGPU上進行模型訓練.LCBAFormer的編碼器主干部分采用在ImageNet-1K數(shù)據(jù)集上進行過預訓練的MiT-B0.在訓練過程中，為更好地利用數(shù)據(jù)集，采用隨機翻轉(zhuǎn)、隨機縮放大小、隨機裁剪和隨機光度變換等數(shù)據(jù)增強方式.批處理大小為16，采用AdamW作為優(yōu)化器，初始學習率設置為0.0004，權重衰減為0.01，采用Poly學習率調(diào)整策略，訓練代數(shù)為160000次.在訓練過程中，MT-Defect數(shù)據(jù)集圖片按照分辨率 320×320 的大小進行處理，測試過程中圖片大小不做處理.

2.3 評估指標

為了評估本文提出模型的性能，使用平均交并比（meanIntersectionoverUnion，mIoU）、平均召回率（meanRecall，mRec）、平均F1分數(shù)（ Π_mF1 ）參數(shù)量和每秒10億次浮點運算次數(shù)（GFLOPs）作為性能指標.

其中： N 表示類別的個數(shù)； p_ij 表示被誤分類為 j 的 i 類像素的數(shù)量； p_ji 表示被誤分類為 i 的 j 類像素的數(shù)量；p_ii 表示正確分類的像素的數(shù)量

其中： TP_i 和 FN_i 分別表示第 i 類的真陽性和第 i 類假陰性的像素數(shù)量.

其中： P_i 表示第 χ_i 類的準確率； R_i 表示第 i 類的召回率.

2.4 消融實驗

為了驗證所提出的不同組件的有效性，本文在NEU-Seg和MT-Defect數(shù)據(jù)集上進行了相應的消融實驗.以SegFormer（MiT-BO）為基線模型，通過對語義注入模塊SIM、輕量化卷積塊注意力模塊LCBAM及注意力模塊中的通道注意力和空間注意力進行組合消融實驗.在兩個數(shù)據(jù)集上的實驗結(jié)果分別如表1和表2所示.LCBAM（CA）表示LCBAM去除了空間注意力模塊，LCBAM（SA）表示LCBAM去除了通道注意力模塊，基線模型 +LCBAM+SIM 表示本文提出模型LCBAFormer.

從表1和表2中可以看出，語義注入模塊SIM和輕量化卷積塊注意力模塊LCBAM都具有不錯的表現(xiàn)，基線模型加上LCBAM在NEU-Seg和MT-De-fect數(shù)據(jù)集上 mIoU，mRec，mF1 均有提高.由于經(jīng)過LCBAM后各個分支的通道數(shù)都有所下降，拼接之后計算量減少，使得模型整體計算復雜度下降.LCBAM在通道和空間上采用注意力操作，使得網(wǎng)絡對缺陷特征的捕獲能力增強.基線模型加上SIM在NEU-Seg數(shù)據(jù)集上的分割結(jié)果有較大提升（表1），但在MT-Defect數(shù)據(jù)集上mIoU、mRec和mF1都略有下降（表2）.SIM使模型架構變?yōu)閁型，將更高層特征圖的語義信息注入到細節(jié)更豐富的底層特征中，起到融合特征圖的作用.NEU-Seg數(shù)據(jù)集具有豐富的紋理信息，經(jīng)過語義注入模塊有更好的分割結(jié)果.MT-Defect數(shù)據(jù)集中存在大量細小的缺陷，沒有豐富的紋理信息，更多的是結(jié)構性的缺陷特征，SIM的單獨加入，不能起到增強缺陷檢測的作用.

本文針對LCBAM中的通道注意力模塊和空間注意力模塊開展了消融實驗.將通道注意力和空間注意力從LCBAM中同時移除，LCBAM結(jié)構會轉(zhuǎn)變成一個類似MobileNet卷積塊的倒殘差結(jié)構，模型整體結(jié)構為基線模型加上MobileBlock和SIM.基線模型加上MobileBlock和SIM，相比基線模型直接加上

SIM，在NEU-Seg數(shù)據(jù)集上， 均略有下降（表1），在MT-Defect數(shù)據(jù)集上，mIoU、mRec、mF1均有提升（表2）.結(jié)果表明，單獨增加MobileNet結(jié)構，能夠在一定程度增強缺陷的局部特征.

本文還通過在LCBAM結(jié)構中分別移除通道注意力和空間注意力，比較兩種注意力模塊帶來的影響.LCBAM（CA）移除了空間注意力，加上SIM后，與基線模型加上MobileBlock 和SIM相比，在NEU-Seg數(shù)據(jù)集上mIoU、mRec、mF1均沒有提升（表1），在MT-Defect數(shù)據(jù)集上 mIoU，mRec，mF1 均有較大提升（表2）.LCBAM（SA）移除通道注意力，加上SIM后，與基線模型加上MobileBlock和SIM相比，在NEU-Seg數(shù)據(jù)集上mIoU和mF1均有提升，mRec略有下降（表1），在MT-Defect數(shù)據(jù)集上mIoU和mF1略有下降， mRec 略有提升（表2）.此外，在兩個數(shù)據(jù)集上，分別添加這兩種注意力模塊后，與基線模型做比較， 都有較大提高.實驗結(jié)果表明：在NEU-Seg數(shù)據(jù)集上，相比于通道注意力模塊，空間注意力模塊對模型性能的提升更大，使用可變形卷積的空間注意力模塊能夠更好地捕獲該數(shù)據(jù)集上的缺陷特征;在MT-Defect數(shù)據(jù)集上，通道注意力模塊對模型的性能提升更大，使用局部卷積的通道注意力模塊能夠更好地選取圖片中的缺陷特征.因此，本文提出的模型同時結(jié)合通道注意力和空間注意力，能夠在數(shù)據(jù)集上獲得最好的實驗結(jié)果.

Table1 Results of ablation studies on NEU-Segdataset

表2MT-Defect數(shù)據(jù)集消融實驗結(jié)果

表1NEU-Seg數(shù)據(jù)集消融實驗結(jié)果

Table2ResultsofablationstudiesonMT-Defectdataset

2.5 對比實驗

在兩個目標數(shù)據(jù)集上，將本文提出的模型與目前主流算法FCN[30]、PSPNet[31]、DeepLabv3、DA-Net^[32] 、ICNet[33]、ABFormer[34]和 SegFormer進行了對比，結(jié)果如表3所示.

由表3可知，在NEU-Seg數(shù)據(jù)集上，本文提出的模型在mIoU指標上達到 84.75% ，mRec指標為92.29% ，mF1指標為 91.52% ，在所對比方法中實現(xiàn)了最高的分割結(jié)果.與較為經(jīng)典的DeepLabv3相比，除了分割效果較好外，本文提出的模型參數(shù)量0 3.86×10⁶ ）和計算復雜度（GFLOPs為1.03）都非常小.與基準模型SegFormer相比，mIoUmRec、mF1均有較大提升，同時參數(shù)量和計算量僅少量增加.

在MT-Defect數(shù)據(jù)集上，本文提出的模型在mI-oU指標上達到 79.46% ，mRec指標為 87.50% ， 指標為 88.08% ，同樣在所有對比方法中取得最好的分割結(jié)果，并在分割性能和計算復雜度上達到最佳平衡.與分割結(jié)果較好的雙注意力網(wǎng)絡DANet相比，本文提出的模型mIoU、mRec、mF1均有較大提升.與基線模型SegFormer相比，本文提出的模型的mloU、mRec Ω_mF1 分別提升3.96、6.20、2.78個百分點，參數(shù)量和計算量（GFLOPs為2.65）僅少量增加.

另外，本文提出的模型在各項指標上均優(yōu)于具有同樣MiT-BO骨干的ABFormer.

在NEU-Seg數(shù)據(jù)集和MT-Defect數(shù)據(jù)集上的部分缺陷分割效果分別如圖6、圖7所示.

綜上所述，本文提出的LCBAFormer模型能夠在表面缺陷檢測上得到較好的分割結(jié)果，并且能夠平衡參數(shù)量和檢測效果.

圖6LCBAFormer在NEU-Seg數(shù)據(jù)集上的分割效果Fig.6Segmentation effect of LCBAFormer on NEU-Seg dataset

3結(jié)論

本文提出一種用于表面缺陷檢測的輕量化語義分割模型LCBAFormer.該模型采用SegFormer的MiT-BO骨干，利用了骨干中Transformer模塊提取圖像全局上下文信息的能力.為了更好地處理骨干輸出的各個分支結(jié)果，本文提出一個輕量化卷積塊注意力模塊LCBAM，該模塊利用卷積注意力模塊在通道和空間上的局部注意力，能夠提取圖片中缺陷局部特征信息.在此基礎上，引入輕量化語義注人模塊SIM，它利用了通道和空間注意力的信息提取能力，提高了表面缺陷的檢測性能，同時保持了模型參數(shù)量小的特點.本文提出的模型在NEU-Seg數(shù)據(jù)集和MT-Defect數(shù)據(jù)集上均取得良好的性能.未來將采用剪枝與量化的方法進一步縮小模型參數(shù)量，使得模型可以在嵌入式設備上運行，以滿足邊緣計算條件下的工業(yè)表面缺陷檢測需求.

表3不同算法性能比較

Table3Performance comparison between different algorithms

圖7LCBAFormer在MT-Defect數(shù)據(jù)集上的分割效果Fig.7SegmentationeffectofLCBAFormer on MT-Defect datasel

參考文獻References

[1] 羅東亮，蔡雨萱，楊子豪，等.工業(yè)缺陷檢測深度學習 方法綜述[J].中國科學（信息科學），2022，52（6）： 1002-1039 LUO Dongliang，CAI Yuxuan，YANG Zihao，et al.Survey onindustrial defect detection with deep learning[J].ScientiaSinica（Informationis），2022，52（6）：1002-1039

[2] DongHW，SongKC，HeY，etal.PGA-net：pyramid fea turefusion and global contextattention network forautomated surface defect detection[J].IEEE Transactionson Industrial Informatics，2020，16（12） ：7448-7458

[3] HuangYB，QiuCY，YuanK.Surfacedefectsaliencyof magnetic tile[J].TheVisual Computer，2020，36（1）： 85-96

[4] ZhangDF，SongKC，Xu J，etal.MCnet：multiplecontext information segmentation network of no-service rail surface defects[J].IEEE Transactions on InstrumentationandMeasurement，2021，70：5004309

[5] 朱賀，楊華，尹周平.紋理表面缺陷機器視覺檢測方法 綜述[J].機械科學與技術，2023，42（8）：1293-1315 ZHUHe，YANGHua，YIN Zhouping.Review of machine visiondetection methods for texture surfacedefects[J]. Mechanical Science and Technology for Aerospace Engineering，2023，42（8）：1293-1315

[6] PengXQ，ChenYP，YuWY，etal.Anonlinedefects inspectionmethod forfloatglassfabricationbasedonmachinevision[J].TheInternational Journal ofAdvanced Manufacturing Technology，2008，39（11）：1180-1189

[7]LiYB，Liu MJ.Aerial image classificationusingcolor coherencevectors and rotation amp; uniform invariant LBP descriptors[C]//2018IEEE3rd Advanced Information Technology，Electronic and Automation Control Conference（IAEAC）. October 12-14，2018，Chongqing，China.IEEE，2018：653-656

[8] CaoJG，YangGT，YangXY.Apixel-level segmentation convolutional neural network based on deep feature fusionforsurfacedefectdetection[J].IEEE Transactions onInstrumentation andMeasurement，2021，70：5003712

[9] HeY，SongKC，DongHW，etal. Semi-supervised defect classification of steel surface based on multi-training and generative adversarial network[J].Opticsand Lasers inEngineering，2019，122：294-302

[10] ZhaoYD，HaoKR，HeHB，etal.Avisual long-shorttermmemorybased integrated CNN model for fabricdefectimage classification[J].Neurocomputing，2O20，380： 259-270

[11] GaoY，LinJQ，XieJ，etal.Areal-timedefectdetection method for digital signal processing of industrial inspectionapplications[J].IEEE Transactions on Industrial Informatics，2021，17（5） ：3450-3459

[12] ZhangJQ，JingJF，LuPW，etal.ImprovedMobileNetV2-SSDLite for automatic fabric defect detection systembased on cloud-edge computing[J].Measurement， 2022，201：111665

[13] MehtaM，ShaoCH.Federated learning-based semantic segmentation for pixel-wise defect detection in additive manufacturing[J].Journal ofManufacturing Systems， 2022，64：197-210

[14] 朱賀，楊華，尹周平.紋理表面缺陷機器視覺檢測方法 綜述[J].機械科學與技術，2023，42（8）：1293-1315 ZHUHe，YANG Hua，YIN Zhouping.Review of machine visiondetection methods for texture surface defects[J]. Mechanical Science and Technology for Aerospace Engineering，2023，42（8）：1293-1315

[15] Tabernik D，Sela S，SkvarJ，etal.Segmentation-based deep-learning approach for surface-defect detection[J]. Journal of Intelligent Manufacturing，2020，31（3）： 759-776

[16] 方一鳴，石照耀，宋輝旭.基于UNet ⁺⁺ 和特征融合的 塑料齒輪復雜黑點檢測方法［J/OL].北京航空航天 大學學報：1-13[2024-05-05].https：// doi.org/ 10.13700/j. bh. 1001-5965. 2023.0418 FANGYiming，SHI Zhaoyao，SONG Huixu.A method for complex dark spot detection of plastic gears based on UNet+ +and feature fusion[J/OL]. Journal of Beijing University of Aeronautics and Astronautics：1-13[2024- 05-05].https：//doi.org/10.13700/j.bh.1001-5965. 2023. 0418

[17] Cui WQ，Song K C，F(xiàn)eng H，etal.Autocorrelation-aware aggregation network for salient object detection of strip steel surface defects[J].IEEE Transactions on InstrumentationandMeasurement，2023，72：5019412

[18] WangWH，XieEZ，LiX，etal.Pyramid vision transformer：a versatile backbone for dense prediction without convolutions[C]//2021 IEEE/CVF International Conference on Computer Vision（ICCV）.October 10-17， 2021，Montreal，QC，Canada.IEEE，2021：548-558

[19] ZhangWQ，Huang ZL，Luo GZ，etal.TopFormer：token pyramid transformer for mobile semantic segmentation [C]//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）.June 18-24，2022， NewOrleans，LA，USA.IEEE，2022：12073-12083

[20] Xie E，Wang W，Yu Z，et al. SegFormer：simple and eficient design for semantic segmentation with transformers [J].Advances in Neural Information Processing Systems，2021，34：12077-12090

[21] PengC，ZhangXY，YuG，etal.Largekernel mattersimprove semantic segmentation by global convolutional network[C]/2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. July 21-26，2017， Honolulu，HI，USA.IEEE，2017：1743-1751

[22] HowardAG，Zhu ML，ChenB，etal.MobileNets：efficient convolutional neural networks for mobile vision applications[J].arXiv e-Print，2017，arXiv：1704.04861

[23] SandlerM，HowardA，ZhuML，etal.MobileNetV2：inverted residuals and linear bottlenecks[C]//2O18 IEEE/ CVF Conference on Computer Vision and Pattern Recognition.June 18-23，2018，Salt Lake City，UT，USA. IEEE，2018：4510-4520

[24] Woo S，Park J，Lee JY，etal. CBAM：convolutional block attention module[M]//Lecture Notes in Computer Science.Cham：Springer International Publishing，2018： 3-19

[25] Wang QL，Wu BG，Zhu PF，et al.ECA-net：efficient channel attention for deep convolutional neural networks [C]/2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）.June 13-19，2020， Seattle，WA，USA.IEEE，2020：11531-11539

[26]Zhu X Z，Hu H，Lin S，et al.Deformable ConvNets V2： more deformable，better results[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 15-20，2019，Long Beach，CA，USA. IEEE，2019：9300-9308

[27] DaiJF，Qi H Z，XiongY W，et al.Deformable convolutional networks[C]//2O17 IEEE International Conference on Computer Vision（ICCV）.October 22-29，2017， Venice，Italy.IEEE，2017：764-773

[28]Chen L C，Papandreou G，Schroff F，et al. Rethinking atrous convolution for semantic image segmentation[J]. arXive-Print，2017，arXiv：1706.05587

[29] Zhang J，Ding RW，Ban MJ，et al.FDSNeT：an accurate real-time surface defect segmentation network[C]//2022 IEEE International Conference on Acoustics，Speech and Signal Processing（ICASSP）. May 23-27，2022，Singapore，Singapore.IEEE，2022：3803-3807

[30] ShelhamerE，Long J，Darrell T.Fully convolutional networks for semantic segmentation[J]//IEEE Transactions onPattern Analysis and Machine Intelligence，2017，39 （4） ：640-651

[31]Zhao HS，Shi JP，QiXJ，et al.Pyramid scene parsing network[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. July 21-26，2017， Honolulu，HI，USA.IEEE，2017：6230-6239

[32] FuJ，LiuJ，TianHJ，et al.Dual attentionnetworkfor scene segmentation[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. June 15-20，2019，Long Beach，CA，USA.IEEE，2019： 3141-3149

[33] ZhaoHS，QiXJ，ShenXY，etal.ICNet forreal-time semantic segmentation on high-resolution images[M]// Lecture Notes in Computer Science. Cham; Springer International Publishing，2018：418-434

[34]Yeung C C，Lam K M.Attentive boundary-aware fusion for defect semantic segmentation using transformer[J]. IEEE Transactions on Instrumentation and Measurement， 2023，72：2512413

Surface defect detection algorithm via lightweight convolutional block attention Transformer

SUN Wenyun'LIU Zilin2 1SchoolofArtificial Intellgence，NanjingUniversityofInformationScienceamp;Technology，Nanjing21044，China 2Schoolof Computer Science，Nanjing Universityof InformationScienceamp;Technology，Nanjing 210044，China

AbstractTo address the issues of small diferences between defectsand background，aswell as large variations within the same classof defects in defect semantic segmentation tasks，this paper proposes a surface defect detection algorithmbasedonLightweight Convolutional Block Atention Transformer，named LCBAFormer.Theproposed algorithmaims to enhancethe accuracy ofsegmentation for various types ofdefects.Firstly，aLightweight Convolutional Block Attention Module （LCBAM）is designed，which integrates channel attentionand spatial attention modules to extracteffectivechanneland spatial information.This enables themodelto focus more onlocal defectfeature information，enhance feature diferences between defects，and mitigate variations within thesame categoryof defects.Secondly，a lightweight Semantic Injection Module（SIM）is introduced，which graduallfuses multi-scale feature informationand thereby improving thenetwork'sability to locate and distinguish diferent defects.The experimental resultsshow thatontheNEU-Seg steel stripdefectdataset and the magnetic tile defect dataset（MT-Defect），the pro posed algorithm achieves mean Intersection over Union（mIoU）of 84.75% and 79.46% ，mean Recall（mRec） rates of 92.29% and 87.50% ，and mean F1 scores （mF1）of 91.52% and 88.08% ，respectively. Additionally，the algorithm exhibits low computational complexity，with 1.O3 and 2.65 GFLOPs（billion floating-point operations per second）on the NEU-Seg and MT-Defect datasets，respectively.Compared to mainstream methods，the proposed algorithm features fewer parameters and superior segmentation results，achieving a good balance between parameter count and detection performance.

Key wordssurface defect detection ; semantic segmentation ;lightweight;SegFormer