基于彩色圖像模板匹配的PCB多缺陷集中檢測*

賈正偉，黃海松，張松松

(貴州大學現代制造技術教育部重點實驗室，貴陽 550025)

0 引言

PCB是目前電子行業里需求最大的產品，它被應用于各個領域，小到日常使用的手機、平板、電視，大到國防科技中的飛機、航母、導彈，這也使SMT產業迅速發展，PCB的種類、形態和尺寸也變得日新月異[1]。與此同時，PCB缺陷檢測技術也在不斷提升，從最初的人工目檢到激光掃描，再到電氣檢測法和紅外輻射檢測，最后到目前最常用的基于機器視覺的檢測技術，這些檢測技術中，基于機器視覺的PCB缺陷檢測技術具備實用性高、操作簡單和檢測精度高等優勢，因此被90%以上的企業所使用[2]。

在基于機器視覺的缺陷檢測技術中，存在著各類算法，他們有一個共性就是都存在圖像處理技術，例如圖像色差法(閾值分割)[3]、深度學習算法對樣本圖像進行訓練和分類[4]、背景減法[5]和模板匹配算法[6]等，其中模板匹配方法在近幾年取得了巨大成功。通過對上述技術的研究，他們都存在一個共同特點，就是處理的圖像都為二值化圖像，有些直接相機采集二值化圖像，有些通過二值化處理得到二值化圖像，最后在對二值化圖像進行圖像處理，其過程復雜繁瑣，而且圖像在采集和處理過程中受外界環境背景及噪聲的影響較大，獲取的有些二值化圖像根本無法使用，尤其是深度學習方法，不僅需要龐大數量的樣本圖像進行訓練，而且只能單獨訓練單一缺陷，工作量大，工程繁瑣，最后很難應用于實際生產，只處于理論試驗階段。

在彩色圖像快速模板匹配技術[7-10]中,將x-y(RGB)空間中模板圖像與每個目標圖像區域應用最佳模板相似度BBM，檢測目標圖像中存在缺陷。這些方法存在操作過程繁雜、耗時較長、精度不高等不足，在PCB工業生產中應用效果不理想。本文為解決上述問題提出了一種基于彩色圖像快速模板匹配的PCB多缺陷集中檢測方法，該方法可以抵抗背景雜波和噪聲引起的離群值，快速地完成PCB各類缺陷的檢測。通過試驗驗證了該方法不僅檢測精度高、實用性強，而且實現了多缺陷集中檢測，大大提升了檢測效率。

1 基本原理

1.1 檢測模型

我們所使用的BBM檢測系統光路圖如圖1所示，使用一臺CCD工業相機在垂直于參考平面上方可以捕獲每個PCB表面輪廓信息，并同步到PC端。該檢測系統工作模式簡單，工件配置簡單，具有只需要光源、CCD、圖像采集卡和計算機的優點，大大降低了成本，非常適合用于工業應用[11]。

圖1 BBM檢測系統模型

在本文實驗過程中，采用的CCD相機分辨率為1280×1024，為了獲取無失真的圖像，將條紋像素設置為256×256 pixel，掃描頻率為1.64 kHz,增益和光圈設置在同一水平，將CCD相機與個人電腦同步，通過CCD相機拍攝的不同PCB圖像將被存儲于電腦用于后續處理。

1.2 算法基礎

過去三年，許多用于擴展模板匹配來處理參數轉換的方法被提出[3,12-13,15]，這些方法的基本原理都是模板和查詢區域之間的一對一映射，完成底層轉換。其匹配過程就是將模板圖像移動到較大源圖像中的所有可能位置，并計算一個數字索引，該索引指示模板在該位置與圖像匹配的程度，如圖2所示。

圖2 圖像匹配過程

BBM就是一個雙向匹配措施，具體地說，就是點集被用作兩個圖像之間的相似性度量，其中一個圖像由一組補丁表示，因為它是基于bbp的計數規則，并且只隱式地使用它們的實際匹配，此外，BBM能夠準確區分內部值和異常值，這些特性使BBM成為一種更為可靠的檢測方法[14]。

1.3 算法分析

(1)

(2)

為了理解匹配過程，以兩個點集P和Q的簡單2D情況為例。集是由從兩個不同的正態分布N(μ1,∑1)和N(μ2,∑2)中提取的2D點組成，類似地，Q中的點從相同的分布N(μ1,∑1)和不同的分布N(μ3,∑3)中提取。分布N(μ1,∑1)可以看作是前景模型，而N(μ2,∑2)和N(μ3,∑3)是兩種不同的背景模型。

這里定義一個函數bbi,j(P,Q)，對于給定的P和Q，當pi和qj彼此最接近時，該指示函數等于1，否則為0。這可以用點之間的差異表示，如下所示：

[d(ql,pi)>d(pi,qj)]

(3)

其中,∏是一個指示函數，因此，對于給定的Pi和qj值之間的獨立性，我們繼續計算一對點在所有可能的P和Q樣本上的期望值，用EBBP表示：

(4)

如上所述，將RGB圖像和TEM板都分解為K×K的不同的補丁，要將BBM應用于模板匹配，需要將每個圖像塊轉換為Rd中設置的點。 為此，我們將該區域分成k×k個不同的塊， 每個k×k色塊由其RGB值和中心像素的xy位置(相對于色塊坐標系)的K2向量表示。BBM模板匹配數據示例結果如圖3所示。

(a) PCB板標定 (b) PCB板標定

(c) BBM模板匹配PCB板圖3 BBM模板匹配實示例

計算兩個點集P,Q∈Rd之間的最佳伙伴相似度(BBM)，需要計算每對點之間的相似性， 即構造相似矩陣D，其中[S]i,j=d(pi,qj)， 在給定S的情況下，NN(pj,Q)是S的第i行中的最小元素，同理，NN(qj,P)是S的第j個列中的最小元素，最后，通過計算相互最近鄰居的數量(除以一個常數)來計算BBM：

(5)

其中，上標A表示像素外觀RGB，上標L表示像素位置(標準化為[0，1]的色塊內的x，y),λ= 2是根據實驗條件選擇的，并且在后邊的實驗中都是固定的，在這種情況下，根據公式(5)給出的3D情況，在每個維度獨立地進行分析，BBM的期望值被每個維度的期望值的乘積所限制，因此得出：

(6)

綜上所述，本文提出的BBM算法流程如圖4所示。

圖4 BBM算法路程圖

2 標準模板標定

基于BBM方法，在1.2節中給出了全搜索模板匹配的原理，通過對匹配區域的搜索，實現匹配區域的檢測。對于PCB圖像，我們感興趣的目標是圖像的缺陷部分，為了識別和分析這些目標，需要將其提取出來，本文針對三種缺陷(引線缺失、元器件破損、焊點漏焊)進行標定。首先獲取標準PCB圖像，通過CCD相機拍攝5張PCB圖像，并對五組圖像進行定位，捕獲的圖像轉換為數字格式，每個單獨的像素對應于位置X、Y坐標[16]，如圖5所示，本文使用PatMax算法定位某一圖案特征，這里選擇一個電容器作為定位圖案特征。

圖5 PCB圖像標定原理

為了驗證定位效果，以及應對在檢測過程待檢測PCB發生位置偏移而導致的檢測失敗，在拍攝第二張與第三張圖片時，分別對PCB位置做了不同角度放置，定位結果如圖6所示。

圖6 PatMax定位效果

并報告所找到圖案的x、y坐標、角度和得分，如表1所示。

表1 定位結果

完成定位后，針對3種缺陷進行關鍵位置標定：

(1)芯片上部17條引線缺陷

對圖像檢測區域中存在的引線數進行BBM模板匹配，報告匹配引線的得分，如果符合指定的極限范圍，則報告通過，在極限范圍外則報告失敗，標定如圖7所示。

(a) PCB引線數BBM模板匹配圖

(b) 匹配引線得分偏移量曲線圖圖7 PCB引線BBM標定

(2)PCB板10焊點檢測

對圖像檢測區域中存在的焊點數進行BBM模板匹配，報告匹焊點的得分，如果符合指定的極限范圍，則報告通過，若出現漏焊、少焊和破損等情況，則報告失敗，標定如圖8所示。

(a) PCB焊點數BBM模板匹配圖

(b) 匹配焊點得分偏移量曲線圖圖8 PCB焊點BBM標定

(3)PCB板關鍵元器件檢測

對圖像檢測區域中關鍵易缺失的元器件進行BBM模板匹配，報告匹配元器件的得分，如果符合指定的極限范圍，則報告通過，如果元器件缺失、破損或種類異常，則匹配失敗，標定如圖9所示。

圖9 PCB元器件BBM標定

3 實驗驗證及結果

實驗選用表面具有復雜形狀的PCB待測件，待測件被固定在裝置上，實驗測量系統如圖1所示，光源投射到被檢測物體表面，待測件圖案由CCD相機捕獲。根據以上標定的三類缺陷，對特征點進行BBM精確匹配，以引線匹配為例，如圖10所示，確定搜索區域，進行BBM計算。

(a) 無缺陷PCB板 (b) 元器件缺失缺陷PCB板圖10 BBM引線匹配結果

與圖10相似方法，完成PCB焊點和電子元器件的BBM模板匹配，包括3類缺陷，共28對P、Q點集，匹配結果如圖11所示，其中PCB板(圖11a)是無缺陷的PCB板，經過BBM匹配顯示0個error，PCB板(圖11b)缺失關鍵元器件，經過BBM匹配顯示1個error，PCB板(圖11c)是引線缺失缺陷，經過BBM匹配顯示1個error，PCB板(圖11d)是焊點缺失缺陷，經過BBM匹配顯示1個error，PCB板(圖11e)包括漏焊和元器件缺失兩個缺陷，經過BBM匹配顯示2個error，PCB板(圖11f)包括漏焊、元器件缺失和引線缺失3個缺陷，經過BBM匹配顯示3個error。

為驗證其有效性，本文從現場采集200張PCB生產圖片，其中包括20張具有不同類型缺陷的圖片，對其進行BBM模板匹配，分別對焊點檢測率、元器件檢測率、引線檢測率、誤識別率、檢測準確率和平均耗時進行了統計，如表2所示。

表2 BBM模板匹配檢測結果

從表3、圖11所示的實驗結果可以發現，BBM彩色圖像快速模板匹配快速完成了PCB各類缺陷的成功檢測。更重要的是，BBM方法基于彩色圖像進行模板匹配，最大程度保留了圖像的真實性，消除了背景雜波和噪聲引起的離群值，從表2記錄的實驗數據可知，本文算法在進行PCB板焊點檢測、引線檢測和元器件檢測過程中，精度幾乎為100%，而且平均耗時僅為2.325 ms，性能優越于目前標膠流行的絕大數算法。

表3 BBM模板匹配PCB缺陷檢測結果表

(a)無缺陷PCB板 (b)元器件缺失缺陷PCB板

(c)引線缺失缺陷PCB板 (d)焊點缺失缺陷PCB板

(e)焊點和元器件 缺失缺陷PCB板 (f)焊點、元器件和引線 缺失缺陷PCB板圖11 BBM模板匹配PCB缺陷檢測結果

4 結論

為解決現有圖像處理算法在PCB工業應用存在的實施過于復雜、缺陷檢測單一、訓練樣本大、檢測精度低和時間長成本高等問題。提出一種基于彩色圖像快速模板匹配的PCB多缺陷集中檢測方法，該方法基于計算源對目標集合中的點對進行最佳伙伴的配對，根據模板點的最佳伙伴對尋找模板補丁，實現了同時一次性完成PCB各類缺陷的檢測。試驗表明，該方法可以快速準確的完成PCB缺陷板的識別，比目前流行的深度學習方法等，操作方便、耗時短、精度高等優勢，在PCB工業生產中取得了成功應用，更適用于目前企業的需求。