

















收稿日期:2024-01-17責(zé)任編輯:王建青
基金項(xiàng)目:國家自然科學(xué)基金資助項(xiàng)目(52271341);天津市科技計劃項(xiàng)目(24YDTPJC00410);河北省高等學(xué)校科學(xué)技術(shù)研究項(xiàng)目(ZD2021037);江蘇省重點(diǎn)實(shí)驗(yàn)室對外開放課題資助項(xiàng)目(zdsys2019-11)
作者簡介: 李揚(yáng)(1985-),男,天津人,博士研究生,講師,主要研究方向?yàn)橛嬎銠C(jī)視覺技術(shù)、無損檢測;*通信作者:陳偉(1980-),女,河北秦皇島人,博士,教授,主要研究方向?yàn)閿?shù)據(jù)挖掘、人工智能,Email: fallafall@126.com。
摘要:針對印刷電路板缺陷尺寸微小、形態(tài)復(fù)雜多樣和低區(qū)分度導(dǎo)致檢測準(zhǔn)確率低、漏檢率高等問題,提出了一種基于大核分離和通道先驗(yàn)卷積注意的印刷電路板缺陷檢測方法。首先,結(jié)合多尺度特征提取和空間卷積注意力機(jī)制,提出大核分離空間金字塔池化以提升模型的多尺度特征整合能力和建模能力。其次,在Neck網(wǎng)絡(luò)中構(gòu)建P2小目標(biāo)檢測層,使模型學(xué)習(xí)更加豐富且魯棒的特征表示。引入通道先驗(yàn)卷積注意力模塊在通道和空間維度上動態(tài)分布注意力權(quán)重,保留通道先驗(yàn)的同時有效地提取空間關(guān)系,提高模型對小目標(biāo)缺陷的檢測精度。實(shí)驗(yàn)結(jié)果表明,本文方法在PKU-Market-PCB數(shù)據(jù)集上的mAP達(dá)到了98.6%,比基準(zhǔn)模型YOLOv8n提升了3.4%,精確度提升了2.6%,召回率提升了4.6%,單張圖像推理時間僅為4.1 ms,適于實(shí)時檢測。該方法顯著提高了印刷電路板缺陷檢測的準(zhǔn)確率和實(shí)時性,具有較高的實(shí)際應(yīng)用價值。
關(guān)鍵詞:缺陷檢測;印刷電路板;YOLOv8;大核分離;注意力機(jī)制
中圖分類號: TP391.4文獻(xiàn)標(biāo)識碼: ADOI:10.3969/j.issn.1007-791X.2024.06.006
0引言
印制電路板(PCB)作為電子設(shè)備中不可或缺的關(guān)鍵基礎(chǔ)組件,其品質(zhì)對電子產(chǎn)品的穩(wěn)定性及可靠性起著決定性的作用[1-2]。伴隨著電子技術(shù)的飛速進(jìn)步,PCB在設(shè)計與制造的精度和要求方面亦不斷提高。PCB表面的任何微小缺陷都有可能引發(fā)電路連接不良、短路或功能失效等問題,由此對電子產(chǎn)品的整體性能造成不利影響。因此,對PCB表面缺陷的及時和精確檢測,已成為提升電子設(shè)備品質(zhì)與可靠性、降低生產(chǎn)成本的關(guān)鍵步驟,在電氣與電子工程領(lǐng)域占據(jù)著重要的地位[3-4]。
然而,PCB表面缺陷檢測領(lǐng)域面臨諸多挑戰(zhàn)。首先,缺陷尺寸微小、形狀及紋理多樣,且與背景相似度高。其次,PCB 上元件排列緊密、電路布局復(fù)雜,缺陷常隱藏于難以覺察的區(qū)域,導(dǎo)致難以準(zhǔn)確識別和定位缺陷。PCB表面缺陷檢測傳統(tǒng)方法主要分為人工目視檢測、電氣檢測與傳統(tǒng)圖像處理技術(shù)檢測。人工目視檢測方法受限于檢測人員的主觀判斷,容易發(fā)生漏檢和誤檢,且檢測效率低下,難以適應(yīng)大規(guī)模檢測的需求。電氣檢測方法依賴于專業(yè)的電氣檢測設(shè)備,該類設(shè)備的制造成本高昂,且操作難度較大。而傳統(tǒng)圖像處理技術(shù)雖然能夠自動化地進(jìn)行缺陷檢測,但其對圖像質(zhì)量的要求較高,且在缺陷識別的準(zhǔn)確性和漏檢率方面表現(xiàn)不佳[5-7]。
近年來,深度學(xué)習(xí)技術(shù)迅猛發(fā)展,在缺陷檢測領(lǐng)域得到了廣泛應(yīng)用[8-10]。深度學(xué)習(xí)通過構(gòu)建多層神經(jīng)網(wǎng)絡(luò),能夠從大量數(shù)據(jù)中自動學(xué)習(xí)并提取特征,具有較強(qiáng)的表征能力和自適應(yīng)性。研究人員針對PCB缺陷檢測的特殊需求,進(jìn)行了大量的研究和優(yōu)化工作。朱紅艷等[11]對Faster R-CNN模型進(jìn)行優(yōu)化改進(jìn),提出了一種基于多尺度融合和可變形卷積的PCB缺陷檢測方法,利用可變形卷積替換普通卷積,提高模型提取圖像特征的泛化能力,優(yōu)化金字塔結(jié)構(gòu)實(shí)現(xiàn)多尺度融合,增強(qiáng)小目標(biāo)信息。李大華等[12]提出了一種基于YOLOv5-HSTE的PCB缺陷檢測方法,通過在骨干網(wǎng)絡(luò)中引入Swin-Transformer結(jié)構(gòu),結(jié)合Transformer全局信息建模和關(guān)聯(lián)上下文信息的優(yōu)勢,使模型更容易學(xué)習(xí)與目標(biāo)缺陷相關(guān)的特征信息,提高缺陷檢測的準(zhǔn)確性。吳瑞林等[13]提出了一種基于YOLOX的類增量PCB缺陷檢測方法,利用知識蒸餾手段解決動態(tài)場景下的缺陷檢測問題。
同時,研究者們在計算機(jī)視覺領(lǐng)域?qū)ψ⒁饬C(jī)制[14-16]進(jìn)行了廣泛和深入的研究,并將其成功地應(yīng)用到了計算機(jī)視覺的眾多任務(wù)中。它模仿人類視覺系統(tǒng)處理信息的方式,使神經(jīng)網(wǎng)絡(luò)能有效聚焦于關(guān)鍵的前景信息。在模型中引入注意力機(jī)制,能更準(zhǔn)確地提取和強(qiáng)化前景的缺陷特征,同時忽略不重要的背景信息,進(jìn)而提升PCB表面缺陷檢測等任務(wù)的準(zhǔn)確性和魯棒性。卞佰成等[17]基于改進(jìn)YOLOv3提出了AT-YOLO用于PCB缺陷檢測,采用替換具有良好泛化能力的骨干網(wǎng)絡(luò)和引入注意力機(jī)制提高特征提取能力和特征表達(dá)能力,并且增加高分辨率特征層提高模型對小目標(biāo)缺陷的檢測能力。姜媛媛等[18]提出了一種輕量化PCB缺陷檢測模型Multi-CR YOLO,利用高效通道注意力機(jī)制自適應(yīng)關(guān)注缺陷重要特征,有效提高了缺陷的檢測性能。沈萍等[19]提出了基于三重注意力的PCB缺陷檢測方法,利用輕量級MobileViT替換YOLOv8骨干網(wǎng)絡(luò),構(gòu)建三重注意力機(jī)制捕獲空間維度和通道維度上的缺陷特征,實(shí)現(xiàn)了優(yōu)秀的檢測效果,同時大幅度減少了模型整體參數(shù)量。
基于深度學(xué)習(xí)的PCB缺陷檢測方法已成為該領(lǐng)域的主流方法,但同時也面臨著微小目標(biāo)檢測準(zhǔn)確性不足、實(shí)時性與準(zhǔn)確性難以同時滿足、以及計算資源開銷較高等問題。
針對上述問題,本文提出了一種基于大核分離與通道先驗(yàn)卷積注意力機(jī)制的PCB缺陷檢測方法。此方法不僅通過注意力機(jī)制強(qiáng)調(diào)了目標(biāo)特征的顯著性,而且融合了與待檢測缺陷目標(biāo)相關(guān)的環(huán)境以及上下文信息,從而進(jìn)一步提高了對小型目標(biāo)缺陷的檢測性能。本研究的主要貢獻(xiàn)可以歸納為以下三個方面:
1)提出大核分離空間金字塔池化增強(qiáng)多尺度特征表示,并建模長程依賴關(guān)系,使得模型捕捉到更豐富的全局上下文信息。
2)構(gòu)建P2小目標(biāo)檢測層,豐富小目標(biāo)缺陷的特征信息,提升模型對小缺陷的敏感度。
3)引入通道先驗(yàn)卷積注意力模塊應(yīng)用于通道數(shù)較多的特征融合層,結(jié)合通道注意力和空間注意力增強(qiáng)網(wǎng)絡(luò)對關(guān)鍵特征的響應(yīng)。
1基于大核分離和通道先驗(yàn)卷積注意的PCB缺陷檢測方法1.1整體模型結(jié)構(gòu)
本文采用YOLOv8作為基礎(chǔ)模型框架。YOLO[20-22]系列模型已廣泛應(yīng)用于各種目標(biāo)檢測任務(wù),相較于先前的YOLO模型,YOLOv8采用了更先進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu),實(shí)現(xiàn)了更高的檢測精度和更快的檢測速度。根據(jù)網(wǎng)絡(luò)深度(卷積層數(shù))和寬度(通道數(shù))的不同,YOLOv8被進(jìn)一步劃分為不同的版本。在綜合考慮檢測精度、速度及模型輕量級化的基礎(chǔ)上,本文選擇了YOLOv8n版本作為基準(zhǔn)模型,并對其進(jìn)行改進(jìn)。改進(jìn)后的模型整體結(jié)構(gòu)包括骨干特征提取網(wǎng)絡(luò)(Backbone)、特征融合金字塔(Neck)和預(yù)測頭部(Head)三部分,具體如圖1所示。在骨干網(wǎng)絡(luò)部分,卷積模塊由卷積層、批量歸一化層和SiLU激活函數(shù)構(gòu)成。C2f模塊包含多個bottleneck結(jié)構(gòu),通過梯度分流連接豐富特征提取網(wǎng)絡(luò)中的信息流,保證高效的特征提取能力,同時保持輕量化設(shè)計,減少計算開銷。提出的大核空間卷積池化金字塔采用多個最大池化層和空間卷積注意力機(jī)制實(shí)現(xiàn)多尺度特征表示和建模長程依賴關(guān)系。在Neck網(wǎng)絡(luò)中,采用PAN-FPN結(jié)構(gòu)生成不同大小的融合特征圖(P3、P4和P5)。在此基礎(chǔ)上,構(gòu)建小目標(biāo)檢測層P2,通過自上而下和自下而上的特征融合金字塔,增強(qiáng)淺層信息和深層信息的互補(bǔ)性,實(shí)現(xiàn)多尺度信息的高效融合,更好地適應(yīng)多尺度目標(biāo)檢測任務(wù)。同時,在通道數(shù)較多的P4、P5層引入通道先驗(yàn)卷積注意力模塊,保留通道先驗(yàn)的同時有效地提取空間關(guān)系,進(jìn)一步增強(qiáng)缺陷特征表示。預(yù)測頭部采用解耦結(jié)構(gòu),利用兩個獨(dú)立的卷積分支,分別進(jìn)行目標(biāo)分類和邊界框回歸預(yù)測。分類任務(wù)采用二元交叉熵?fù)p失,邊界框回歸任務(wù)則結(jié)合了分布焦點(diǎn)損失(Distribution Focal Loss,DFL)和CIOU損失。此外,頭部還采用Anchor-free設(shè)計,通過直接預(yù)測目標(biāo)的中心位置,簡化了非極大值抑制的推理過程,減少了計算負(fù)擔(dān),進(jìn)一步提高了檢測速度。
1.2大核分離空間金字塔池化
小目標(biāo)缺陷通常具有細(xì)小的邊界和復(fù)雜的紋理。通過使用大感受野卷積核和注意力機(jī)制來建模長程依賴關(guān)系,模型能夠捕捉到圖像中的全局上下文信息,對于小目標(biāo)檢測尤為重要。大核分離空間金字塔池化(Large Separable Spatial Pyramid Pooling , LSSPP)通過在SPPF模塊中級聯(lián)一維(1-D)深度可分離卷積[23]和1-D深度擴(kuò)張卷積[24]等效CNN中的大卷積核,具體結(jié)構(gòu)如圖2所示。深度可分離卷積來捕捉局部依賴關(guān)系并補(bǔ)償網(wǎng)格效應(yīng),隨后使用具有大感受野的深度擴(kuò)張卷積來建模長程依賴關(guān)系。深度擴(kuò)張卷積的輸出被輸入到1 × 1卷積中推斷注意力圖。然后,輸出的注意力圖與輸入特征進(jìn)行逐元素相乘,以實(shí)現(xiàn)自適應(yīng)特征細(xì)化。
給定輸入張量X∈RC×H×W,C表示輸入通道數(shù),H和W分別表示特征圖的高度和寬度。首先通過1 × 1卷積調(diào)整通道數(shù)后,連續(xù)應(yīng)用最大池化層生成多尺度特征圖,并在通道維度上拼接得到FC。該過程可以表示為
FC=ConcatMaxPoolW1×1*X。(1)
其次,拼接后的特征圖通過大核分離卷積層,捕獲不同尺度和方向的特征,使得模型能夠獲得更大的有效感受野,以及利用注意力機(jī)制增強(qiáng)特征的表達(dá)能力。大核分離卷積層可分為五層,包括水平和垂直1-D深度可分離卷積W1×3和W3×1,水平和垂直1-D深度擴(kuò)張卷積W1×5和W5×1,以及自注意力權(quán)重層。該過程可以表示為
其中,*和U分別表示卷積和哈達(dá)瑪積操作。C為級聯(lián)1-D深度可分離卷積W1×3和W3×1的輸出,包含局部空間信息并補(bǔ)償后者深度擴(kuò)張卷積的網(wǎng)格化效應(yīng)。值得注意的是,F(xiàn)C中的每個通道都與內(nèi)核在對應(yīng)通道進(jìn)行卷積。ZC為級聯(lián)1-D深度擴(kuò)張卷積的輸出,擴(kuò)張率為2,包含深度卷積輸出C的全局空間信息。注意力圖AC由1 × 1卷積與ZC得到,并與輸入特征圖FC逐元素相乘得到輸出。最后,經(jīng)過1 × 1卷積進(jìn)一步提取和整合特征。
LSSPP模塊基于CNN架構(gòu)保留了CNN的局部關(guān)聯(lián)性,利用多尺度特征提取和空間卷積注意力機(jī)制,同時實(shí)現(xiàn)了自注意力模塊相似的長程依賴和空間適應(yīng)性,模型能夠?qū)W習(xí)到更加豐富和魯棒的特征表示,能夠更有效地處理不同尺寸的目標(biāo)。
1.3小目標(biāo)檢測層
高分辨率特征圖能夠保留更多的邊緣和細(xì)節(jié)信息,提升對小目標(biāo)的敏感度和精確度。本文在原有結(jié)構(gòu)上引入尺寸為160 × 160的小目標(biāo)檢測層P2,結(jié)構(gòu)如圖3所示。P2層位于模型的淺層位置,其特征圖在經(jīng)過較少的卷積操作后,保留了較高的分辨率。此外,更多層級的特征圖,可以實(shí)現(xiàn)更豐富的多尺度特征融合,提供更全面的上下文信息,增強(qiáng)模型對多尺度目標(biāo)的感知能力,尤其提高了對小缺陷目標(biāo)的檢測性能。
1.4通道先驗(yàn)卷積注意力模塊
注意力機(jī)制分為通道注意力和空間注意力。通道注意力關(guān)注特征圖中各個通道的重要性,如Squeeze-and-Excitation(SE)模塊[14],通過全局平均池化和通道加權(quán)來重新校準(zhǔn)特征圖的通道。空間注意力則關(guān)注特征圖中每個通道在空間維度上的重要性。本文引入通道先驗(yàn)卷積注意力模塊(Channel Priori Convolutional Attention ,CPCA)[25],利用通道先驗(yàn)知識動態(tài)調(diào)整不同通道的權(quán)重,并使用多尺度深度卷積有效提取空間關(guān)系,提高小目標(biāo)缺陷的檢測性能。因此,通道先驗(yàn)卷積注意力模塊被置于通道數(shù)較多的特征層級P4和P5。
通道先驗(yàn)卷積注意力模塊結(jié)構(gòu)如圖4所示,包括通道注意力和空間注意力的順序執(zhí)行。通道注意力模塊優(yōu)先對每個通道的全局信息進(jìn)行處理和加權(quán),使得重要通道在隨后的空間注意力處理中能夠更突出。給定輸入張量X∈RC×H×W,通過自適應(yīng)平均池化和自適應(yīng)最大池化操作捕獲通道間的全局信息。隨后通過共享多層感知機(jī)生成通道注意力圖MC∈RC×1×1,用于重新加權(quán)特征圖的各個通道,得到通道細(xì)化特征FC∈RC×H×W。該過程可以表示為
F=σW1×1*X,(6)
MC=(MLP(AvgPool(F))+MLP(MaxPool(F))),(7)
FC=MCUF,(8)
其中,σ表示GELU激活函數(shù)。在通道加權(quán)之后,空間注意力模塊通過多個級聯(lián)水平和垂直一維深度可分離卷積核捕獲每個通道不同尺度的局部空間特征,生成空間注意力圖MS∈RC×H×W,并將其應(yīng)用于通道細(xì)化特征,得到最終輸出∈RC×H×W。該過程可以表示為
其中,Branchi代表不同卷積分支,i∈{0,1,2,3}。通過使用不同內(nèi)核大小的條狀卷積核依次為每個通道構(gòu)建空間注意分量,提取像素之間的空間映射關(guān)系,保持對空間特征的敏感性,從而在每個通道上產(chǎn)生動態(tài)分布的空間注意圖,同時減少計算量。最終,通過結(jié)合通道和空間注意力,通道先驗(yàn)卷積注意力模塊能夠更有效地提取特征,提高模型對于PCB表面小目標(biāo)缺陷的檢測性能。
2實(shí)驗(yàn)
2.1實(shí)驗(yàn)環(huán)境及數(shù)據(jù)集
本文實(shí)驗(yàn)的硬件環(huán)境為i9-13900K CPU、NVIDIA GeForce RTX 3090 GPU 24GB。網(wǎng)絡(luò)模型基于Python 3.8與PyTorch 2.1.1搭建,CUDA版本為12.1。輸入圖片尺寸統(tǒng)一縮放為640 × 640,初始學(xué)習(xí)率為0.01,批量大小為16,優(yōu)化器選用SGD,權(quán)重衰減為0.000 5,訓(xùn)練總輪數(shù)為300。其他訓(xùn)練參數(shù)均采用YOLOv8n官方默認(rèn)參數(shù)。
實(shí)驗(yàn)原始數(shù)據(jù)集采用北京大學(xué)開放實(shí)驗(yàn)室發(fā)布的PKU-Market-PCB數(shù)據(jù)集,總共693張圖像,包括6種缺陷,分別為漏孔(Missing hole)、缺口(Mouse bite)、開路(Open circuit)、短路(Short)、毛刺(Spur)和余銅(Spurious copper),如圖5所示。為了增強(qiáng)模型的泛化能力,應(yīng)用水平、垂直翻轉(zhuǎn)和隨機(jī)旋轉(zhuǎn)三種數(shù)據(jù)增強(qiáng)策略將原始數(shù)據(jù)集擴(kuò)充至2 772張。其中,訓(xùn)練集、驗(yàn)證集和測試集的比例為8∶1∶1,各類缺陷圖像的具體數(shù)量如表1所示。
2.2實(shí)驗(yàn)評估指標(biāo)
本實(shí)驗(yàn)統(tǒng)一采用IOU閾值為0.5的平均精度(Average Precision,AP)、平均精度均值(mean Average Precision,mAP)、精確率(Precision,P)和召回率(Recall,R)作為評估指標(biāo),各指標(biāo)計算公式如下
其中,NTP、NFP和NTN分別表示真陽性、假陽性和假陰性的數(shù)量,N表示缺陷的類別數(shù)。此外,參數(shù)量(M)用于衡量模型大小,推理時間(ms)表示單張圖像推理時間。
2.3實(shí)驗(yàn)結(jié)果及分析
2.3.1目標(biāo)檢測方法客觀結(jié)果比較與分析
將本文方法在PKU-Market-PCB數(shù)據(jù)集上的檢測結(jié)果與其他先進(jìn)的目標(biāo)檢測方法進(jìn)行比較,如表2所示。可以看出,本文方法的mAP最高,達(dá)到了98.6%,且各類別缺陷的AP均最高。其中,開路、短路和余銅的AP分別達(dá)到了99.2%、99.5%和99.5%。相比于其他單階段目標(biāo)檢測算法YOLOv5n和YOLOv7,本文方法的mAP分別高出3.9個百分點(diǎn)和4.5個百分點(diǎn)。相比于原YOLOv8n,本文方法的mAP高出3.2個百分點(diǎn),且各個缺陷類別的AP均有不同程度的提升。與兩階段目標(biāo)檢測算法Faster R-CNN[26]相比,本文方法的mAP高出7.3個百分點(diǎn)。且由于Faster R-CNN具有較復(fù)雜的后處理過程,導(dǎo)致其參數(shù)量較大,推理時間也較長。相較于基于Transformer架構(gòu)的目標(biāo)檢測算法RT-DETR[27],本文方法的mAP高出2.1個百分點(diǎn),在模型參數(shù)量和推理速度方面同樣具有較大的優(yōu)勢。在實(shí)際檢測速度中,本文方法僅為4.1 ms,明顯優(yōu)于YOLOv7、Faster R-CNN和RT-DETR,時間僅略高于基準(zhǔn)模型YOLOv8,說明本文方法不僅具有較高的檢測精度,同時在檢測速度上也具有一定優(yōu)勢。
圖6為本文方法在PKU-Market-PCB數(shù)據(jù)集上的P-R曲線,圖7為混淆矩陣。圖6對PKU-Market-PCB數(shù)據(jù)集的P-R曲線分析表明,本文算法在電路板檢測任務(wù)上展示出了優(yōu)異的性能,證明了該方法即便面對復(fù)雜的電路板圖像,也能準(zhǔn)確地識別和區(qū)分目標(biāo)缺陷,實(shí)現(xiàn)高召回率和高精確率。對圖7的混淆矩陣結(jié)果進(jìn)行分析,圖中高的對角線值表明本文方法能準(zhǔn)確分類電路板圖像中的對象,而低的非對角線值體現(xiàn)其在減少誤分類上的出色表現(xiàn)。
分析本文方法相較于近年來的各類SOTA(State-Of-The-Art)方法展現(xiàn)出顯著優(yōu)勢的如下:Faster R-CNN因復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)與高計算需求,在實(shí)時檢測高密度PCB缺陷時速度受限,且對遮擋與細(xì)小缺陷識別能力不足;YOLOv5n在小目標(biāo)缺陷識別及復(fù)雜背景泛化上表現(xiàn)欠佳;YOLOv7雖提升速度與準(zhǔn)確性,但對極小缺陷檢測精度有限,復(fù)雜布局下易現(xiàn)誤檢或漏檢;YOLOv8通過優(yōu)化骨干結(jié)構(gòu)與采用Anchor-free機(jī)制增強(qiáng)性能,但對于小目標(biāo)檢測精度仍有欠缺;RT-DETR基于Transformer的架構(gòu)在處理尺寸較小或高密度排布的PCB缺陷時,需大量的計算資源。本文提出的模型方法采用大核分離以獲取豐富的空間上下文信息,同時通過通道先驗(yàn)卷積優(yōu)化特征通道的使用效率,兩者相結(jié)合,能夠?yàn)镻CB表面缺陷提供更為豐富且精確的特征表示。并且鑒于小目標(biāo)因其尺寸較小,易受圖像噪聲或背景干擾的影響,本文模型方法通過大核分離空間金字塔池化與通道先驗(yàn)卷積注意力模塊的引入,顯著提升了小目標(biāo)的檢測精度。相較于其他算法,模型方法更適應(yīng)復(fù)雜環(huán)境,能夠有效協(xié)助網(wǎng)絡(luò)處理小目標(biāo)檢測的問題,從而提高小目標(biāo)檢測的魯棒性。
對上述實(shí)驗(yàn)客觀數(shù)據(jù)的結(jié)果比較和分析,可以看出,本文模型方法在檢測PCB各類別表面缺陷時同時具有高精確率和高召回率,能準(zhǔn)確檢測和分類各種缺陷,整體性能較于近年來的SOTA方法展現(xiàn)出了明顯的提升。
2.3.2PCB表面缺陷檢測主觀效果
為了直觀展示本研究提出的方法在檢測方面的效能,本文通過圖8展現(xiàn)了不同種類缺陷的檢測結(jié)果。觀察結(jié)果可以發(fā)現(xiàn),各類缺陷占據(jù)的像素面積相對較小,在短路、開路缺陷與背景易于混淆的情況下,本研究提出的方法仍能夠?qū)CB表面的各種缺陷進(jìn)行高置信度的檢測。特別是對于短路和開路這兩種故障,本方法不僅能夠準(zhǔn)確識別和定位,而且還能維持較高的置信度。
2.3.3消融實(shí)驗(yàn)
為了驗(yàn)證LSSPP、P2層和CPCA對模型性能的影響,在PKU-Market-PCB數(shù)據(jù)進(jìn)行消融實(shí)驗(yàn),利用mAP、P和R三項(xiàng)指標(biāo)評估所提出方法的性能。由表3中的前兩組實(shí)驗(yàn)結(jié)果可以看出,引入LSSPP結(jié)構(gòu)后,mAP和P分別提高了1.1和0.9個百分點(diǎn)。該實(shí)驗(yàn)結(jié)果表明LSSPP的多尺度特征整合能力和長程依賴關(guān)系建模能力能夠捕捉到更豐富的全局上下文信息,從而更準(zhǔn)確地定位和識別缺陷。對比第一組和第三組實(shí)驗(yàn)可以看出,引入小目標(biāo)檢測層P2層后,mAP、P和R分別提高了1個百分點(diǎn)、0.3個百分點(diǎn)和2.5個百分點(diǎn)。這表明P2層更好地保留邊緣和細(xì)節(jié)信息,并且實(shí)現(xiàn)更豐富的多尺度特征融合,提升模型的魯棒性,顯著提高檢測的召回率,并且經(jīng)過層融合后,參數(shù)量下降了0.09 M。對比第一組和第四組實(shí)驗(yàn)可以看出,LSSPP和P2層的協(xié)同作用進(jìn)一步提高了模型的檢測性能,P和R分別提高了1.8個百分點(diǎn)和3個百分點(diǎn)。因在網(wǎng)絡(luò)中引入CPCA,得益于CPCA在通道和空間維度上動態(tài)分布注意權(quán)重,進(jìn)一步增強(qiáng)了特征表示,使得模型性能進(jìn)一步提升,mAP、P和R分別達(dá)到了98.6%、98.8%和98.0%,顯著提高了PCB表面小目標(biāo)缺陷的檢測能力。
3結(jié)論
本文以YOLOv8n為基準(zhǔn)模型,提出了一種基于大核分離和通道先驗(yàn)卷積注意的PCB缺陷檢測方法。在改進(jìn)模型中,骨干網(wǎng)絡(luò)末層的SPPF模塊被大核分離空間金字塔池化取代,實(shí)現(xiàn)對特征進(jìn)行更有效的捕捉和表達(dá)。在特征融合層構(gòu)建了小目標(biāo)檢測層P2,保留缺陷更多細(xì)節(jié)和邊緣信息,增強(qiáng)多尺度特征融合。同時,引入通道先驗(yàn)卷積注意力模塊進(jìn)一步增強(qiáng)缺陷的關(guān)鍵特征表示。實(shí)驗(yàn)表明,本文方法有效地提高了PCB缺陷的檢測精度,且滿足檢測實(shí)時性要求。計劃在未來研究中優(yōu)化模型架構(gòu),提升其適應(yīng)各類缺陷檢測和復(fù)雜環(huán)境的能力,提高實(shí)際環(huán)境下毛刺缺陷檢測的準(zhǔn)確性。
參考文獻(xiàn)
[1] 陳錦妮, 拜曉樺, 李云紅, 等. 基于PA-YOLOv5的印制電路板缺陷檢測[J]. 紅外技術(shù), 2024, 46(6): 654-662.
CHEN J N, BAI X H, LI Y H, et al. PCB defect detection based on PA-YOLOv5 [J]. Infrared Technology, 2024, 46(6): 654-662.
[2] LIU T, CAO G Z, HE Z, et al. Refined defect detector with deformable transformer and pyramid feature fusion for PCB detection[J]. IEEE Transactions on Instrumentation and Measurement, 2024,73(1):1-11.
[3] ZHOU G, YU L, SU Y, et al. Lightweight PCB defect detection algorithm based on MSD-YOLO[J]. Cluster Computing, 2024, 27(3): 3559-3573.
[4] ZHANG Y, XU M, ZHU Q, et al. Improved YOLOv5s combining enhanced backbone network and optimized self-attention for PCB defect detection[J]. The Journal of Supercomputing, 2024,33(2): 1-29.
[5] 嚴(yán)舒, 郭穎, 黃駿. FCM-YOLO: 一種基于特征增強(qiáng)和多尺度融合的PCB缺陷檢測方法[J]. 控制與決策,2024, 7(13):1-9.
YAN S,GUO Y,HUANG J.FCM-YOLO: a PCB defect detection method based on feature enhancement and multi-scale fusion [J]. Control and Decision,2024,7(13):1-9.
[6] 王艷, 羅健, 陶金, 等. 基于YOLOv8-PCB的印制電路板缺陷檢測[J] 激光與光電子學(xué)進(jìn)展,2024,11(7):1-18.
WANG Y, LUO J, TAO J, et al. Defect detection of printed circuit boards based on YOLOv8-PCB[J] Laser amp; Optoelectronics Progress, 2024,11(7):1-18.
[7] HUANG W, WEN J, GAN W, et al. Neighborhood correlation enhancement network for PCB defect classification[J]. IEEE Transactions on Instrumentation and Measurement, 2023, 20(4): 1-11.
[8] 金梅, 秦芊, 張立國. 基于改進(jìn)CenterNet行人檢測研究[J]. 燕山大學(xué)學(xué)報, 2023, 47(3): 208-215.
JIN M, QIN Q, ZHANG L G. Research on pedestrian detection based on improved CenterNet[J]. Journal of Yanshan University, 2023, 47(3): 208-215.
[9] 胡春海, 姜昊, 劉斌. 改進(jìn)YOLO5Face的小鼠行為實(shí)時分析方法研究[J]. 燕山大學(xué)學(xué)報, 2023, 47(4): 359-369.
HU C H, JIANG H, LIU B, et al. Research on real-time analysis method of mouse behavior based on improved YOLO5Face[J]. Journal of Yanshan University, 2023, 47(4): 359-369.
[10] 胡正平, 張樂, 李淑芳, 等. 端對端 SSD 實(shí)時視頻監(jiān)控異常目標(biāo)檢測與定位算法[J]. 燕山大學(xué)學(xué)報, 2020, 44(5): 493-501.
HU Z P, ZHANG L, LI S F, et al. End-to-end SSD real-time video surveillance abnormal target detection and localization algorithm[J]. Journal of Yanshan University, 2020, 44(5): 493-501.
[11] 朱紅艷, 李澤平, 趙勇, 等. 基于多尺度融合和可變形卷積PCB缺陷檢測算法[J]. 計算機(jī)工程與設(shè)計, 2022, 43(8): 2188-2196.
ZHU H Y, LI Z P, ZHAO Y, et al. PCB defect detection algorithm based on multi-scale fusion and deformable convolution [J]. Computer Engineering and Design, 2022, 43(8): 2188-2196.
[12] 李大華, 徐傲, 王筍, 等. 基于改進(jìn)YOLOv5的印刷電路板缺陷檢測[J]. 電子測量技術(shù), 2023, 46(23): 112-119.
LI D H, XU A, WANG S, et al. Defect detection of printed circuit boards based on improved YOLOv5[J]. Electronic Measurement Technology, 2023, 46(23): 112-119.
[13] 吳瑞林, 葛泉波, 劉華平. 基于YOLOX的類增量印刷電路板缺陷檢測方法[J]. 智能系統(tǒng)學(xué)報, 2024, 13(7): 1-11.
WU R L, GE Q B, LIU H P. Class-incremental defect detection method for printed circuit boards based on YOLOX[J]. CAAI Transactions on Intelligent Systems, 2024, 13(7): 1-11.
[14]HU J, SHEN L, SUN G. Squeeze-and-excitation networks [C]//Proceedings of the IEEE conference on computer vision and pattern recognition, Salt Lake City, USA, 2018: 7132-7141.
[15]WOO S, PARK J, LEE J Y, et al. CBAM: convolutional block attention module [C]//Proceedings of the European Conference on Computer Vision, Munich, Germany,2018: 3-19.
[16]WANG Q, WU B, ZHU P, et al. ECA-Net: efficient channel attention for deep convolutional neural networks [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, USA, 2020: 11534-11542.
[17] 卞佰成, 陳田, 吳入軍, 等. 基于改進(jìn)YOLOv3的印刷電路板缺陷檢測算法[J]. 浙江大學(xué)學(xué)報(工學(xué)版), 2023, 57(4): 735-743.
BIAN B C, CHEN T, WU R J, et al. An improved YOLOv3 based defect detection algorithm for printed circuit boards [J]. Journal of Zhejiang University (Engineering Science), 2023, 57(4): 735-743.
[18] 姜媛媛, 蔡夢南. 輕量化的印刷電路板缺陷檢測網(wǎng)絡(luò)Multi-CR YOLO[J]. 電子測量與儀器學(xué)報, 2023, 37(11): 217-224.
JIANG Y Y, CAI M N. Lightweight printed circuit board defect detection network: Multi-CR YOLO[J]. Journal of Electronic Measurement and Instrumentation, 2023, 37(11): 217-224.
[19] 沈萍, 李想, 楊寧, 等. 基于三重注意力的輕量級YOLOv8印刷電路板缺陷檢測算法[J]. 微電子學(xué)與計算機(jī), 2024, 41(4): 20-30.
SHEN P, LI X, YANG N, et al. Lightweight YOLOv8 algorithm based on triple attention mechanism for defect detection in printed circuit boards [J]. Microelectronics amp; Computer, 2024, 41(4): 20-30.
[20] REDMONJ, DIVVALAS, GIRSHICKR, et al. You only look once: unified, real-time object detection[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 779-788.
[21] BOCHKOVSKIY A,WANG C,LIAO H M.Yolov4: optimal speed and accuracy of object detection[C]//Proceedings of European Conference on Computer Vision, Glasgow, UK, 2020: 834-838.
[22] WANG C Y, BOCHKOVSKIY A, LIAO H Y M. YOLOv7: trainable bag-of-freebies sets new state-of-the-art for real-time object detectors [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Vancouver, Canada, 2023: 7464-7475.
[23] ZHANG X, ZHOU X, LIN M, et al. Shufflenet: an extremely efficient convolutional neural network for mobile devices[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 6848-6856.
[24] WANG P, CHEN P, YUAN Y, et al. Understanding convolution for semantic segmentation[C]//2018 IEEE Winter Conference on Applications of Computer Vision, Lake Tahoe, USA, 2018: 1451-1460.
[25] HUANG H, CHEN Z, ZOU Y, et al. Channel prior convolutional attention for medical image segmentation[J]. Computers in Biology and Medicine, 2024, 17(8): 1-10.
[26] 吳昊臻, 許燕, 周建平, 等.基于卷積神經(jīng)網(wǎng)絡(luò)的抽油機(jī)故障診斷[J]. 燕山大學(xué)學(xué)報, 2024, 48(1): 30-38.
WU H Z, XU Y, ZHOU J P,et al. Fault diagnosis of oil pumping units based on convolutional neural networks[J]. Journal of Yanshan University, 2024, 48(1): 30-38.
[27]ZHAO Y, LV W, XU S, et al. DETRs beat YOLOs on real-time object detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, USA, 2024: 16965-16974.
A PCB defect detection method based on
large kernel separation and channel prior convolution attention
LI Yang1,2,3, CHEN Wei1, YANG Qingyong1, LI Xianguo2,3, XU Changyu2,3, XU Sheng1
(1. School of Software and Communications, Tianjin Sino-German University of Applied Sciences, Tianjin 300350, China;
2. School of Electronics and Information Engineering, Tiangong University, Tianjin 300387,China;
3.Tianjin Key Laboratory of Optoelectronic Detection Technology and Systems, Tianjin 300387,China)
Abstract: Addressing the issues of small defect size, complex form, and low discriminability in printed circuit boards that lead to low detection accuracy and high 1 positive rates, a PCB defect detection method based on large kernel separation and channel prior convolutional attention is proposed. First, combining multi-scale feature extraction and spatial convolution attention mechanism, large kernel separation spatial pyramid pooling is proposed to enhance the multi-scale feature integration ability and modeling capability of the model. Second, the P2 small object detection layer is constructed in the neck network to enable the model to learn richer and more robust feature representations. The introduction of channel prior convolutional attention modules dynamically distributes attention weights along both the channel and spatial dimensions, retaining channel prior information while effectively extracting spatial relationships, thereby enhancing the detection accuracy of small object defects in the model. The experimental results indicate that the mAP of the proposed method on the PKU-Market-PCB dataset reached 98.6%, outperforming the baseline model YOLOv8n by 3.4%. The precision is improved by 2.6%, and the recall is increased by 4.6%. The inference time per image is only 4.1 ms, making it suitable for real-time detection. In summary, this method significantly enhances the accuracy and real-time performance of printed circuit board defect detection, providing high practical application value.
Keywords: defect detection; printed circuit boards; YOLOv8; large kernel separation; attention mechanism