基于深度學習的電解電容識別與極性檢測*

汪 威，王 沖，黃旭東，張偉倫，曹金龍，胡新宇

（湖北工業大學 機械工程學院，湖北 武漢 430068）

0 引言

電解電容作為印刷電路板（printed circuit board，PCB）的重要極性元器件之一，起到濾波和耦合的作用。目前許多工廠仍采用人工目檢的方式來檢測電解電容的極性方向，然而這種方式效率低，成本高，并且隨著勞動時間的增長，檢測人員會感到視覺疲勞導致其檢測的正確率降低［1］。

近年來，隨著計算機視覺的發展，基于卷積神經網絡（CNN）的檢測方法被應用到PCB的各項檢測任務中［2］。Lin Y L等人［3］提出了一種基于YOLO算法的PCB組件的電容檢測方法。Susa J等人［4］提出了一種利用YOLOv3 檢測電路板上電容的方法，該方法總體精度為93.33%。Li J等人［5］提出一種改進YOLOv3 的算法，實現了電解電容的檢測，精度達到93.07%。然而，上述方法均是對電容的檢測識別，并未涉及到極性檢測。目前，對于電容極性判斷的方法分為傳統視覺識別方法和機器學習融合算法。全正相、李天宇、魏嘉莉等人［6～8］利用傳統算法擬合電容基圓，通過展開電容圓環帶來得到電容的極性方向。Fang J 等人［9］提出了一種基于多角度分類識別的插入式極性電容器AOI（automatic optical inspection）算法。He J W等人［10］提出一種基于機器學習和形態學的插入式電容極性檢測融合算法，準確率達到99.73%，漏檢率為0.12%。Fang J等人［11］提出了一種基于YOLO 目標搜索的三級電容搜索算法，實現了對插電電容的識別與定位。然而，上述極性檢測方法均是在理想條件下得到的檢測結果，沒有考慮到實際應用中存在的復雜情況，如極性區域噪聲大，電容環帶上文字干擾多，光照條件不好等。

針對上述提出的電容檢測與極性識別問題，本文提出一種兩步檢測法。該方法首先利用目標檢測網絡檢測電容，得到電容的位置，再利用語義分割網絡對識別的電容進行語義分割得到電容的極性區域。該方法可以同時識別電容和判斷電容的極性方向，能夠適應復雜的環境，有較強的魯棒性。

1 電容識別與極性檢測方法

1.1 檢測方案設計

本文設計的電容識別與極性檢測方案如圖1 所示，算法總體設計共分為3個部分。

圖1 檢測方案

首先，提出一種改進的YOLOv5［12］算法對電容進行識別定位，同時提取電容感興趣區域（region of interest，ROI）；然后，利用語義分割模型對電容極性區域以及基圓區域進行分割，如圖2所示；最后，對分割結果進行形態學處理得到電容的極性方向。

圖2 區域劃分

1.2 改進的YOLOv5 算法

YOLOv5網絡結構主要包括4個部分：輸入層（input）、主干層（backbone）、頸部（neck）和預測頭部（prediction head）［13］。本文對YOLOv5 算法的改進分為2 個方面，首先在主干網絡的Backbone中融合Swin Transformer模塊［14］以提高模型的特征提取能力；其次在主干網絡的Neck網絡中，使用雙向特征金字塔網絡（bidirectional feature pyramid network，BiFPN）來進行特征融合。改進后的網絡模型如圖3所示。

圖3 改進YOLOv5 網絡結構

1.2.1 Swin Transfomer模塊

Swin Transformer是一種注意力機制的網絡，它擁有全局信息建模的能力，其結構如圖4（b）所示。

圖4 Swin Transformer結構

自注意力機制公式如式（1）所示

式中 K 為鍵值矩陣；Q 為查詢矩陣；V 為值矩陣，是輸入向量經過線性變換得到的；dk為縮放因子。

MSA（multi-source agreement）模塊中對圖像中所有像素進行全局自注意力計算，然而巨大的h×w 對全局注意力計算而言是難以承受的，SW-MSA 模塊則解決了這一問題，該方法在連續Swin Transformer blocks中的兩種分區配置間交替，引入了先前層非重疊相鄰窗口間的聯系，如圖4（a）所示。

1.2.2 BiFPN模塊

YOLOv5 在Neck 使用了PANET 進行特征提取和融合。并在原來FPN的基礎上構建了一條自下而上的通路，這樣的結構取得了一定的效果，然而這種特征融合往往只是簡單的特征圖相加，而不對同時加進來的特征圖進行區分。不同輸入的特征圖具有不同的分辨率，對融合輸入特征圖的貢獻也是不同的，因此簡單的進行疊加并不是最佳的操作。而BiFPN模塊如圖5所示，是一種加權BiFPN，將同一層的輸入和輸出節點跨層連接起來，實現更高層次的融合，縮短了上下層之間信息傳遞的路徑。帶權重的特征融合能夠學習不同輸入特征的重要性，對不同輸入特征進行有區分的融合。

圖5 BiFPN模塊

1.3 改進的Unet分割算法

由圖6所示，Unet架構看起來像一個“U”，由3 個部分組成：編碼塊、頸部和解碼塊。Unet 的編碼塊類似于經典的VGG16，解碼塊包含上采樣層和殘差連接。

圖6 Unet網絡結構

本文對Unet網絡的改進分為2 個部分，首先在編碼階段插入MobileNetV3模塊，以達到輕量化網絡的目的，同時引入SE通道注意力機制，增強特征提取能力；然后在解碼塊中的上采樣階段提出一種雙上采樣模塊用來恢復特征圖，提高分割精度。

1.3.1 MobileNetV3模塊

Unet采用的是傳統的CNN，這樣的結構導致其參數量較大，而MobileNetV3 通過深度可分離卷積減少網絡參數的數量和計算量。深度可分離卷積將傳統的卷積操作分成了兩步：第一步通過深度卷積對每個通道進行輕量級濾波；第二步通過逐點卷積對上一步卷積得到的輸出進行線性組合來建立新的特征，如圖7所示。

圖7 深度可分離卷積

SE通道注意力機制通過一個權重矩陣，從通道域的角度賦予圖像不同位置不同的權重，得到更重要的特征信息，如圖8所示。

圖8 SE注意力模塊

1.3.2 雙上采樣融合模塊

上采樣常用的幾種方法有反卷積、雙線性插值、反池化、和亞像素卷積。反卷積上采樣會在生成的圖像中造成棋盤效應，反池化上采樣直接對采樣部分補零，導致特征不連續。雙線性插值在放大圖像時，圖像看上去會比較平滑、干凈；亞像素卷積則可以對縮小后的特征圖進行有效放大，將降低分辨率的特征圖通過卷積和多通道間的重組得到高分辨率的特征圖。本文將雙線性插值和亞像素卷積的融合為一種雙上采樣模塊，如圖9 所示，在Unet 解碼階段用以恢復特征圖，提高網絡的分割精度。

圖9 雙上采樣模塊

2 實驗結果與分析

2.1 實驗平臺

本文的實驗硬件配置如下：CPU：Intel?CoreTMi9—12900K 3.20 GHz；GPU：NVIDIA GeForce GTX3090Ti 24 GB；128 GB內存。實驗環境為Windows10 64 位操作系統，編程語言Python 3.9，深度學習框架PyTorch 1.11.0，CUDA 11.3。

2.2 目標檢測實驗

2.2.1 評價指標

實驗采用目標檢測中常用的幾種評價指標來驗證本文模型的性能，召回率（recall）、精確率（precision）、平均正確率（mAP），如式（2）～式（4）所示

其中，TP為實際為正例且被分類器劃分為正例的實例數，FP為實際為負例但被分類器劃分為正例的實例數；FN為實際為正例但被分類器劃分為負例的實例數。

2.2.2 消融實驗與對比實驗

本文以YOLOv5為基準網絡，設計了4 組實驗來驗證本文改進的方法，見表1。方案（4）為YOLOv5 網絡，方案（5）為在方案（4）中融合Swin Transformer模塊，方案（6）為在方案（4）中融合BiFPN模塊，方案（7）為在方案（4）中同時融合Swin Transformer和BiFPN模塊；同時選擇常用的目標檢測算法YOLOv3、YOLOv4 和SSD 進行對比實驗，總實驗結果如表1所示。

表1 消融實驗與對比實驗 %

從表1中可以看出，對比方案（4）和方案（5）融合Swin Transformer之后模型的3 種評價指標分別提升了5.7%，1.4%，4.2%，其中提升最為明顯的是精確率，這表明融合之后的網絡有更強的特征提取能力；對比方案（4）和方案（6），在原網絡的頸部融合BiFPN模塊之后，整個模型的召回率得到明顯提升，BiFPN 的融合方式是各層的特征得到有效的融合，降低網絡“漏檢”的風險；對比方案（4）和方案（7），整個模型的評價指標分別提升了9.5 %，7.7 %，8.8%，表明本文的改進方法不僅有更強的特征提取能力而且有較好的特征融合能力。

對比方案（1）～方案（3）可知本文改進方法對比現有方法有較好的精度，本文方法與方案（4）實驗結果的對比如圖10所示。

圖10 實驗結果

2.3 語義分割實驗

2.3.1 評價指標

本文采用語義分割中常見的幾種評價指標來驗證網絡模型的性能，像素準確率（pixel accuracy，PA）表示預測類別正確的像素數占總像素數的比例，平均像素精確度（mean pixel accuracy，MPA）分別計算每個類被正確分類像素數的比例，然后累加求平均，交并比（intersection over union，IoU）表示模型對某一類別預測結果和真實值的交集與并集的比值，平均交并比（mean IoU，MIoU）先求每一類的IoU然后求和再平均的結果，如式（5）～式（8）所示

2.3.2 消融實驗與對比實驗

本文以Unet網絡為基準網絡，設計了4 組實驗來驗證改進的方法，見表2。方案（1）為Unet 網絡；方案（2）在方案（1）中編碼塊中融合MobileNetV3-SE模塊；方案（3）在方案（1）解碼塊中使用雙上采樣模塊；方案（4）在方案（1）中同時使用方案（2）和方案（3）。實驗結果如表2所示。

表2 消融實驗結果 %

由表2可得，對比方案（2）和方案（1），在融入Mobile-NetV3模塊后，整體MAP和MIoU提升了1.7%，3.1%，其中極性區域的Precision和IoU 相比基圓區域提升較大；對比方案（3）和方案（1），在解碼塊中使用雙上采樣模塊之后，MAP和MIoU提升了1.4%，2.3%，對比方案（4）和方案（1），在編碼塊和解碼塊中同時使用本文所提出的改進策略，MAP和MIoU分別提升了2.7%，3.7%，極性區域的Precision和IoU分別提升了5%，5.1%，極性區域分割精度的提高有利于判斷電容的極性方向，實驗結果表明本文的改進策略是有效的。

為驗證本文方法的可靠性，選擇與目前常用的幾種語義分割網絡對比，實驗結果如表3所示。

表3 不同網絡性能對比

由表3 可得，對比DeeplabV3 ＋網絡，本文方法雖然MIoU略有降低，但是檢測速度有較大的提升，基本能滿足檢測需求。

2.4 極性方向檢測

極性方向檢測整體流程如圖11 所示。圖11（a）為原圖，經過語義分割后的圖片如圖11（b）所示。首先將彩色圖片轉換為R，G，B三通道圖片，R通道中通過閾值分割將電容的基圓部分提取，然后求該區域的最小外接圓，定位其圓心，如圖11（f）所示；在G 通道中，同樣也利用閾值分割提取極性部分，求該區域的中心，如圖11（e）所示，最后建立坐標系，如圖11（i）所示，得到電解電容的方向，如圖11（h）所示。

圖11 極性檢測

為驗證本文極性檢測方法的有效性，本文通過1000張電解電容圖片對算法進行測試，實驗結果如表4所示；并將本文方法與目前極性檢測方法中效果較好的文獻［8］中方法進行對比。

表4 電容檢測極性結果

文獻［8］中利用機器視覺的方法對電容極性進行識別，然而，該方法對有文字噪聲的圓環極性無法識別，同時當電容極性區域所在圓環不完整時無法進行極性識別，而本文方法對這兩種情況下的電容極性均能有效識別，實驗結果如圖12所示。

圖12 極性檢測實驗對比

3 結論

針對PCB電解電容識別與極性檢測問題，研究了一種基于深度學習的檢測方法。首先利用改進的目標檢測網絡檢測電容，得到電容定位；然后將電容送入語義分割網絡分割電容的基圓區域和極性區域；最后利用形態學處理得到電容的極性方向。該方法與文獻［8］方法相比具有較強的魯棒性，未來研究中將繼續提高模型的檢測能力和分割能力，以應對更復雜的場景。