貼片電阻焊點內部空洞缺陷自適應檢測

蔡 念 肖 盟 肖 盼 周 帥 邱寶軍 王 晗

①(廣東工業大學信息工程學院 廣州 510006)

②(天津大學 天津 300072)

③(工業和信息化部電子第五研究所 廣州 510006)

④(廣東工業大學機電工程學院 廣州 510006)

⑤(惠州市廣工大物聯網協同創新研究院有限公司 惠州 516025)

1 引言

回流焊工藝由于焊接效率高、焊接溫度易控制等特性，被廣泛應用于表面貼裝技術領域[1]。貼片組件在回流焊接過程中，當熔融的焊料冷卻凝固時，焊料中產生的氣體沒有逃逸出去將會被“凍結”形成空洞[2]，影響焊點的導熱和導電性能，導致印制電路板(Printed Circuit Board, PCB)機械強度下降、熱阻增大等問題，從而降低器件的可靠性[3,4]。因此，對貼片組件焊點內部空洞缺陷進行檢測和評估是實際生產中必不可少的環節。

PCB上集成電路器件越來越趨向于高密度和小型化，使用人工檢測不僅成本高，而且檢測效率低、精度低。近年來，自動檢測方法被廣泛應用于電子元器件的內部缺陷檢測。在實際工業生產中，考慮到硬件成本和成像效率，通常使用2維X射線(2D X-Ray)成像方式采集內部圖像[5]，然后針對圖像特點設計相應缺陷檢測算法。目前，回流焊接組件內部空洞缺陷檢測更多的是關于球柵網格陣列(Ball Grid Array, BGA)內部空洞缺陷檢測研究，尚未見貼片電阻焊點內部空洞檢測的文獻報道。Said等人[2]基于BGA焊球的形狀、面積、排列規則等先驗知識采用模板匹配提取焊球區域，直接利用高斯拉普拉斯(Laplacian of Gaussian, LoG)算子檢測焊球內部空洞，然后利用形狀因子和平均灰度剔除誤檢測，最后計算空洞占比率。Peng等人[6]提出一種新的Blob分析方法用于BGA內部空洞檢測，即利用多尺度盒型濾波器對圖像進行預處理，計算局部圖像梯度生成Blob圖像，利用形態學檢測空洞，然后通過圓度剔除假空洞，最后計算空洞占比。Mouri等人[7]將空洞檢測定義為矩陣分解問題，認為BGA圖像中的空洞為稀疏變量，首先將1個焊點的3張圖像進行平均平滑濾波，然后采用非負矩陣分解檢測空洞區域。Nuanprasert等人[8]使用霍夫變換提取各BGA焊球中心后計算德洛內(Delaunay)三角剖分防止焊球漏檢，然后對每個BGA焊球使用直方圖均衡化增強空洞與背景之間的對比度，最后使用LoG算法檢測空洞。顯然，BGA焊球圖像背景較為單一，因此上述方法采用全局操作能夠較好地檢測BGA焊球內部空洞缺陷。但是，由于貼片電阻焊點表面呈凹形曲線，存在一定的高度差異，焊料中鉛對X射線(X-Ray)具有很高的衰減，使得錫膏較厚區域X-Ray透視效果差，成像較暗；反之，錫膏較薄區域成像較亮[9]。這就導致2D X-Ray成像設備采集的貼片電阻圖像背景差異明顯，往往呈現亮暗區域分布且其中的空洞灰度級表征也差異性較大。因此，以上采用全局操作的檢測方法對背景自適應能力較差，難以較好地檢測貼片電阻焊點內部空洞缺陷。

近年來，隨著深度學習的快速發展，已有學者嘗試將其應用于BGA焊球內部空洞檢測。Neeluru等人[10]先采用LoG算法輔助人工標注數據集，然后基于BGA空洞先驗知識對數據集進行增廣，再直接采用U-Net模型訓練檢測BGA空洞缺陷，最后計算空洞占比。Akden?z等人[11]設計了一個擁有4個卷積層和1個全連接層的全卷積深度網絡進行BGA圖像特征提取，然后級聯一個最小距離分類器對BGA焊球內部缺陷進行分類。其本質上是對BGA焊球進行4分類：正常、短路、邦定缺陷和空洞缺陷，并不是檢測BGA焊球內部空洞缺陷，根本無法計算空洞占比率這一工業上空洞缺陷判斷的重要判斷指標。而且，深度學習方法是數據驅動型方法，需要大量的人工數據標注?？墒?，當今柔性生產制造日益成為制造業發展主流方向，其具有的多品種、小批量、換產率高等制造特點對這類數據驅動型方法提出了極大的挑戰。

針對貼片電阻焊點2D X-Ray圖像存在的背景區域對比度差異性大的實際現象，本文融合局部預擬合(Local Pre-Fitting, LPF)活動輪廓模型[12]和自適應圓形卷積核，提出一種貼片電阻焊點內部空洞缺陷自適應檢測方法。首先，提出一種自適應分區策略對貼片電阻圖像進行分區域操作，即將分區問題轉化為求解區域平均灰度差異最大的優化問題，根據全局迭代策略求解目標方程，將貼片電阻圖像分為較暗和較亮兩個區域。然后，針對較暗區域中空洞與背景之間對比度低、空洞分布較稀疏、面積偏大等現象，采用LPF模型進行空洞檢測；針對較亮區域中空洞與背景之間差異明顯、空洞分布密集、面積偏小等現象，提出一種自適應圓形卷積核檢測空洞。最后，采用形狀因子和平均灰度策略剔除由背景痕跡和過錫孔造成的誤檢測，實現貼片電阻焊點內部空洞精細檢測。

2 本文方法

2.1 算法框架

本文所提貼片電阻焊點內部空洞缺陷自適應檢測算法框架如圖1所示，主要包括自適應分區、空洞粗檢測以及空洞精細檢測等3個階段。在自適應分區階段，提出一種優化求解策略將貼片電阻圖像分為較亮和較暗兩塊區域，便于后續針對性設計空洞缺陷檢測方法。在空洞粗檢測階段，采用不同方法檢測較亮和較暗兩個區域內的空洞缺陷。因為LPF模型能夠更好地處理低對比度圖像分割且處理速度相對較快，所以采用LPF模型檢測較暗區域中的空洞缺陷；但是，LPF模型在處理密集小目標時會導致目標曲線在演化過程中被忽略，從而導致分割效果較差。因此，針對較亮區域中空洞較密集且相對尺寸較小的現象，提出一種自適應圓形卷積核策略并結合導向濾波和閾值分割進行空洞檢測。在空洞精細檢測階段，利用形狀因子和平均灰度策略進行后處理實現空洞精細檢測。

圖1 貼片電阻焊點內部空洞缺陷自適應檢測算法框架

2.2 自適應分區策略

由于貼片電阻器件焊點高度差異明顯，導致成像明暗對比度差異明顯，且較暗和較亮區域的分界線與貼片電阻邊緣大致重合，因此較亮與較暗區域存在一條類直線的分界線。為了將貼片電阻X-Ray圖像自動分割為較亮和較暗兩個區域，本文提出一種優化求解的自適應分區策略找到兩個區域的最優分界線，即將分區問題轉化為求解平均灰度差異最大的優化問題

2.3 空洞粗檢測

2.3.1 基于自適應圓形卷積核的空洞缺陷粗檢測

本文針對貼片電阻圖像較亮區域提出一種基于自適應圓形卷積核的空洞缺陷粗檢測方法，如圖2所示。

圖2 基于自適應圓形卷積核的空洞缺陷粗檢測方法

2.3.2 基于LPF模型的空洞缺陷粗檢測

2.4 空洞精細檢測

經過上述后處理步驟后即實現了空洞缺陷的精細檢測。

3 實驗結果

3.1 數據集采集和實驗平臺

本文實驗所用的貼片電阻2D X-Ray圖像數據皆為國內某電子基礎元器件大型企業提供，共134張圖像，其中合格樣本106張，不合格樣本28張(注：該企業嚴格規范要求空洞區域面積占比超過10%的貼片電阻即判定為不合格樣本)，圖像尺寸大小范圍為190×210～350×400。

實驗均在配置為Windows10 64位旗艦操作系統、6核Intel i5-10600KF CPU @ 4.10 GHz, 16 GB內存的臺式計算機上完成，以Pycharm為仿真平臺。

采用3個評價指標評估空洞缺陷檢測效果，分別是準確率(Accuracy, Acc)、F1分數和Dice系數。其中，Acc和F1分數是基于樣本分類結果評估算法有效性的指標，Dice系數是基于像素檢測結果評估算法有效性的指標，在本文中計算平均Dice系數。各評價指標的計算公式為

其中，X表示檢測為空洞區域的像素集合，Y表示真實為空洞區域的像素集合。

3.2 自適應圓形卷積核策略的作用

如表1所示，小尺寸圓形卷積核擁有小感受野，對較大空洞則檢測效果較差；大尺寸圓形卷積核擁有大感受野，對小尺寸空洞檢測效果較差，且耗時較多。提出的自適應圓形卷積核策略能夠根據每張貼片電阻圖像中的最大空洞自適應地為其設計好相應的圓形卷積核，因此能夠獲得最好的檢測性能。最大空洞的尋優過程會消耗一定時間，導致該方法平均處理時間略有增加。

表1 不同尺寸圓形卷積核的檢測性能對比

3.3 LPF模型中核大小的影響

LPF模型通過計算局部平均圖像強度定義兩個預擬合函數，因此局部區域核大小選擇對檢測準確性和消耗時間有較大影響。如表2所示，LPF模型檢測空洞性能先隨著核尺寸大小增加而增加，之后又開始性能略微下降。這是因為過小的核使得LPF模型無法檢測那些對比度低的空洞，而過大的核使得LPF模型產生大量誤檢測。尤其是，檢測時間隨著核尺寸大小增加而快速增加。因此，綜合考慮LPF模型檢測性能和時間，本文中的LPF模型選擇9×9的核。

表2 LPF不同對核的分割Dice系數和消耗時間

3.4 消融實驗

為驗證分塊策略的必要性，本文設計了以下消融實驗方案，如表3所示。第1列可以明顯看出，自適應圓形卷積核對較亮區域的檢測效果更佳，平均Dice系數高達0.8453，而LPF檢測結果的平均Dice系數只有0.7951。這是因為較亮區域空洞密集且較小，水平集函數在演化過程中會忽略小空洞或在密集處無法進一步演化到具體目標的邊緣，導致其檢測效果不佳。第2列可以看出LPF對于較暗區域檢測效果更佳，平均Dice系數高達0.8637，而自適應圓形卷積核檢測結果的平均Dice系數僅僅只有0.3976，效果十分不理想。這是因為較暗區域空洞與背景對比度低，而圓形卷積操作會將對比度低的空洞變成背景，大量空洞丟失，導致檢測效果差。以行為維度，也可以得到以上類似的結論。

表3 亮、暗區域的消融實驗(Dice)

3.5 對比實驗

為了驗證本文所提空洞缺陷自適應檢測方法，在此對比了4種方法，分別是基于距離正則化水平集演化模型(Distance Regularized Level Set Evolution model, DRLSE)[14]、基于區域可伸縮擬合能量項和高斯拉普拉斯優化能量項活動輪廓模型(Region-Scalable Fitting and optimized Laplacian of Gaussian energy level set model, RSF+LoG)[15]、LoG[2]和LPF模型[11]。圖3分別展示了兩個不合格樣本和1個合格樣本的原圖、人工標注圖、4種對比方法和本文提出方法的空洞檢測效果圖及計算的空洞占比。從圖3可以看出，DRLSE和RSF+LoG對于大空洞檢測效果很差，也漏檢了不少小空洞，因此兩者總體檢測性能很差，甚至將不合格樣本檢測為合格樣本(空洞占比率<10%)。相比于DRLSE和RSF+LoG，LoG和LPF模型檢測性能有了大幅度的提升，但與標注圖差距仍然較大。本文所提方法則無論在檢測視覺效果上還是從空洞占比率上都與標注圖高度接近。

圖3 不同算法的空洞缺陷檢測視覺效果

為了全面評估本文方法，表4給出了所有貼片電阻圖像樣本的空洞缺陷檢測統計結果。從表4可以看出，DRLSE使用局部邊緣信息將水平集函數吸引到目標對象邊界，對噪聲和初始輪廓十分敏感。由于弱邊緣目標會造成局部邊緣信息的丟失，使得水平集函數在演化過程中忽略弱邊緣目標，而貼片電阻圖像中大部分的空洞缺陷屬于弱邊緣目標，因此DRLSE檢測貼片電阻圖像的空洞缺陷效果很差。RSF+LoG是一種基于區域的活動輪廓模型，通過引入優化的高斯拉普拉斯能量項，提高了模型對噪聲和初始輪廓的魯棒性，因此貼片電阻圖像中的空洞檢測效果比DRLSE稍好一點點。但是，其采用基于局部2元擬合的能量項只適用于將圖像分為兩類，對于多目標多尺度的分割任務并不適用[16]，因此其對貼片電阻焊點空洞缺陷檢測仍然效果不佳。LoG是利用高斯濾波和2階導數進行邊緣檢測的算子，在一定程度上對弱邊緣目標的檢測能力和抗噪能力有所提升，但是在空洞與背景之間對比度低且空洞邊緣幾乎消失的情況下，LoG算子則遇到了困難。U-Net作為一種深度學習方法需要大量的人工標注數據進行訓練，因企業所提供的數據有限，導致U-Net的檢測效果并不理想，尤其是在像素級別檢測性能評估上還不如LPF和LoG。LPF模型是基于局部預擬合能量的活動輪廓模型，相較于基于邊緣的模型對弱邊緣的檢測任務更加適用，且相對于其他基于區域的模型[17,18]計算效率更快，對于多尺度多目標的分割效果更好。但是，由于其局部窗口尺寸的固定，模型在背景差異十分明顯的圖像下檢測效果不佳。本文方法對貼片電阻圖像分區處理，能夠合理地解決LPF模型對于背景差異十分明顯分割效果不佳的問題，并提出自適應圓形卷積核增強空洞區域以提高閾值分割的精度。從Acc, F1和Dice 3項重要評價指標可以看出，本文算法相對于其他5種算法對貼片電阻內部空洞缺陷檢測更加有效。

表4 不同算法的空洞缺陷檢測統計結果

4 結束語

貼片電阻焊點內部空洞占比率直接決定器件的使用壽命和可靠性，因此在實際生產中，對焊點內部空洞檢測和空洞占比率的計算是必不可少的環節。針對貼片電阻焊點成像特點，本文提出一種貼片電阻焊點內部空洞缺陷自適應檢測方法，包括自適應分區、空洞粗檢測和空洞精細檢測3個階段。自適應分區策略是將貼片電阻圖像分成較亮和較暗兩個區域，便于后續更有針對性地設計空洞缺陷檢測算法。在空洞粗檢測階段，針對較暗區域采用LPF模型檢測空洞，針對較亮區域提出自適應圓形卷積核檢測空洞。最后，采用形狀因子和平均灰度策略剔除誤檢測對象，實現貼片電阻焊點內部空洞精細檢測。對比實驗表明，本文算法能夠更有效地檢測貼片電阻焊點內部空洞缺陷，計算的空洞占比率與真實值非常接近。

可是，本文采用的LPF模型在求預擬合能量項的局部窗口大小固定，因此對灰度強度的泛化能力較差；而且，OTSU作為一種基于全局閾值分割算法效果也不十分理想。因此，未來的工作將考慮對于閾值分割算法使用分割效果更好的多閾值OTSU算法[19,20]，對于LPF模型考慮實現核大小的自適應以及空洞形狀先驗的引入。