基于分層解耦區域生成網絡的柔性電路板表面缺陷檢測研究

朱康愷 周曉巍

（上海航天控制技術研究所）

0 引言

柔性電路板是電子產品的主要組成部分，廢舊電路板上元器件平均使用時間約2 萬h，仍處于質量最佳期，經過電性能檢測與針對性維修后，仍然可以重新用于電子產品生產中［1］。然而，由于生產工藝的復雜性，柔性電路板表面可能會出現劃痕、污漬、翹曲等缺陷，影響到了電路板的功能和可靠性。因此，對柔性電路板表面缺陷進行準確、高效檢測具有重要意義。傳統檢測方法主要基于圖像處理技術和機器視覺技術，檢測時需要手動設置多個參數，而且對不同的缺陷類型和尺寸可能需要不同的參數設置，此外檢測結果還會受到光照、視角、顏色等因素的影響［2］。近些年，深度學習技術的應用雖然一定程度提升了傳統檢測方法的質量與效率，但仍然面臨著模型復雜度高、計算量大、參數調整困難等問題［3］。鑒于此，本研究提出了一種基于分層解耦區域生成網絡的柔性電路板表面缺陷檢測方法。

1 柔性電路板表面缺陷檢測網絡總體框架

本研究設計了一種基于分層解耦區域生成網絡的柔性電路板表面缺陷檢測方法，其總體結構如圖1 所示。該檢測方法主要分為三個部分，分別是多層特征提取網絡、分層解耦區域生成網絡與分類回歸網絡。其中，多層特征提取網絡采用多層特征抽象，將不同卷積層的CNN 特征進行融合，獲取多尺度感受野，從而強化多尺度特征信息。分層解耦區域網絡在接收到多層特征圖以后，通過多重感受野融合模塊實現區域生成網絡與分類回歸網絡的解耦。分類回歸網絡采用RoI Align 進行ROI 池化，以有效提高模型訓練與預測效果。

圖1 柔性電路板表面缺陷檢測方法總體架構示意圖

2 分層解耦區域生成網絡設計

2.1 特征提取網絡設計

本研究結合開源的VGG16 網絡設計了一種新的特征提取網絡，VGG16 網絡有16 層，包括13 個卷積層和3 個全連接層。這種網絡結構的特點是每次池化后都會使通道數翻倍，從而可以保留更多的特征信息。在卷積層5 之后有一個全連接層，之后是softmax預測層。不同層的特征提取層可分別提取目標圖像的基礎特征與高層語義，并采取多特征融合方式實現不同感受野大小。針對不同層采取差異化采樣策略，低層加入了最大池化層進行下采樣，高層加入了反卷積層進行上采樣，可以獲取到大小相同的特征圖，便于拼接。在所有采樣通道中均加入卷積層，用于提取語義特征及其壓縮，最終通過局部響應歸一化層標準化來源于不同采樣通道的feature maps，并將其整合到統一的立方體中，形成新的feature maps。該網絡將特征圖到原圖的映射比升高為1：8，從而可以有效提高分辨率，同時采用采樣通道融合的方式可以實現多尺度感受野。

2.2 分層解耦區域生成網絡設計

模型中，特征提取網絡的最后一層決定了區域生成網絡輸入特征圖感受野，特征圖無法識別大量細節信息，從而導致定位結果不精準。本研究采用空洞卷積取代多層卷積，從而可以有效保障模型感受野。在圖像輸入以后，針對單一像素采取兩次標準3×3 卷積，可以有效擴大特征信息，基本可達到覆蓋輸出特征圖的5×5區域，且此時的權重分布類似于二維高斯分布。而如果采取空洞卷積的方式，卷積核內元素距離為2，則可以擴大到9×9 區域，但考慮到此時數據過于稀疏，會影響到生成候選框的精準性。因此，本研究在采用空洞卷積的基礎上，進一步融合了標準卷積的特征密集，形成一種多重感受野融合模塊。輸入圖像x0首先經過標準卷積后，可以生成特征圖x1，通過標準卷積增大擴大其特征信息，之后再經過空洞卷積，將與其感受野大小一致的d2特征圖采用數值相加的方式進行融合，生成輸出特征圖x2，兩張特征圖的感受視野存在差異，通過多次循環處理進一步擴大其感受野大小，并進一步增強多重感受野融合模塊的高層語義信息獲取能力，多重感受野融合模塊MRFMi(i= 1，2，3，4，5) 的計算過程如下：

式中，xn為長度為n的模塊輸出，σ(x) 為ReLU激活函數，con3為標準卷積，尺寸為3×3，滑動步長為1，codn為空洞卷積，在標準卷積的基礎上設定卷積核內元素距離為n。

在模塊中，當對空洞卷積的元素間距進行調整，即調整模塊長度參數n，便可以獲取到不同大小的感受野，從而有效解決特征不匹配問題，并且相比單一的標準卷積方式，特征信息能夠得到有效保留，避免關鍵特征的丟失。

同時，在Faster R-CNN 網絡中融入了區域生成網絡，因此特征提取網絡提取到的圖像特征可以同時共享給候選框，從而可以進行更快的生成與分類識別，顯著提高模型運行速度，并且可以有效表示目標特征與像素間的關系［4］。因為采用基于區域生成網絡的輸出候選框作為后續的分類回歸網絡，通過對目標區域內的特征進行分類處理，即可獲取到分類預測概率與具體缺陷區域。針對柔性電路板表面缺陷的識別問題，在候選框生成時必須獲取到滿足要求的感受野與高層語義特征信息，為避免分類回歸網絡與區域生成網絡間的目標差異干擾問題，因此采用解耦思想，提出了分層解耦區域生成網絡。其網絡結構的構成包括四個不同的多重感受野融合模塊，結構示意圖可見圖2。分層解耦區域生成網絡在接收到不同尺度的特征圖輸出以后，可以經過四個多重感受野融合模塊的四次重復放大處理，使感受野可以放大至滿足要求，并且獲取到高層的語義信息，從而獲取到不同尺度的輸入特征圖mmi，之后再經過區域生成網絡處理，生成不同的對應候選框proposalsi，整體計算過程如下。

圖2 分層解耦區域生成網絡結構

區域生成網絡在獲取到不同尺度的輸入特征圖以后，分別進行獨立預測，生成相對應的輸出候選框結果。之后按照圖2所示，RoI Align根據不同候選框結果，在不同尺度的特征圖中求出固定尺寸的特征圖。因為Anchor 的設置差異，候選框的區域規模及其感受野大小同樣存在差異，此時通過對模塊的長度參數n進行調節，便可以實現對輸出特征圖的感受野大小控制，從而通過不斷調節便可以獲取到最佳感受野大小。

2.3 RoI池化設計

Faster R-CNN模型采用RoI Pooling將特征圖像轉化為固定尺寸特征圖，可以滿足分類回歸網絡的輸入要求［5］。模型首先將輸入特征圖劃分為目標特征圖尺寸的網格區域，若無法整除，可以采取向下取整的方式，通過全局池化，可以獲取到各網格區域的輸出值，將其融合后可以獲取到最終結果。這一過程中因為采取向下取整的方式，特征圖與真實特征信息之間會存在一定偏差，導致模型預測精度下降。因此，為了解決該問題，本研究采用RoI Align 代替RoI Pool‐ing，在對無法整除的情況進行處理時，采用雙線性插值對邊界進行處理。RoI Align 首先將輸入特征圖劃分出不同子區域，當無法整除時保留非整數邊界結果，之后再進行二次劃分，形成四個小區域，對應的特征值采用雙線性插值進行獲取，求取平均值作為整體區域的結果值，最終組合所有結果獲取到最終輸出圖特征。

2.4 算法實現

實驗平臺配置：intel 十二核i7 處理器，32G 內存，顯卡為Ge Force RTX 2080Ti，顯存為11G，采用Caffe 深度學習平臺進行訓練。采用端到端方式進行訓練，輸入圖片大小為1024*1280，處理轉變為640*800，輸出為檢測的結果與缺陷的位置，具體算法超參數設置如下：（1）RPN 訓練：正負樣本重合度閾值分別為0.7、0.3，bitch為256，正樣本比例為0.5，NMS 輸入、輸出窗口數量分別為12000、2000，NMS 閾值為0.7；（2）RPN 測試：NMS 輸出、輸出窗口數量分別為600、300，NMS閾值為0.7；（3）候選窗口分類器：正負樣本重合度閾值為0.5，正樣本比例為0.5，bitch 為128，NMS 閾值為0.8；（4）算法學習參數：基學習率為0.001、權重正則化系數為0.0005，Adam參數1、2分別為0.9、0.999。

3 實驗結果與分析

本研究選擇以迭代次數為2 萬次對本研究算法與Faster R-CNN算法進行對比，具體對比結果見表1。

表1 檢測結果

由表1 可以看出本研究提出的檢測方法在各項指標上均有明顯提升，各項缺陷的漏檢與誤檢數量有效降低，精準率、召回率、F-score 的性能分別提升了4.18%、3.79%與3.97%，缺陷定位結果較為精準，可以滿足柔性電路板表面缺陷檢測要求。

4 結束語

本研究針對柔性電路板表面缺陷的特征，設計了一種基于分層解耦區域生成網絡的檢測方法，通過實驗驗證了該方法的有效性，可以精準識別出柔性電路板的劃傷、壓痕、空焊、粘錫等常見表面缺陷，且精準率、召回率與F-score均有不錯的性能。