基于區域分塊的PCB圖像配準算法研究

陳建華, 徐雷, 郭戰嶺, 牟宗亮

(四川大學, 機械工程學院, 四川, 成都 610065)

0 引言

PCB作為現代電子信息產品中不可或缺的電子元器件,廣泛應用于計算機、消費電子、網絡通信、醫療、汽車電子、航空航天科技等領域[1]。特別是近年來,5G技術已經投入商用,行業規模不斷擴大,對PCB產品質量檢測的要求也越來越高。因此PCB自動光學檢測設備(AOI)逐漸取代低效率的人目檢[2-3],在利用AOI設備進行PCB缺陷檢測前,必須將方位存在偏差和旋轉的待測圖像與PCB模板圖配準[4]。常用的PCB圖像方位配準方法有Mark點檢測、PCB邊緣檢測、角點檢測等[5-6]。目前,常用的2種方法是基于圖像邊緣和圖像灰度的特征點提取。使用提取圖像邊緣獲得的結果往往取決于邊緣的清晰程度,效率低,且時間成本高。角點檢測主要通過計算點的曲率和梯度來檢測角點,避免了上述缺陷。目前,相關算法主要有SIFT算法、SURF算法和ORB算法。與SIFT算法和SURF算法相比,它具有檢測速度非?？?、旋轉不變性等優點,但另一方面也存在特征提取精度低、不具備尺度不變性的缺陷。楊倩蘭等[7]通過融合SURF算法以及引入極線約束的方式解決了ORB算法不具備尺度不變性的問題;張磊等[8]通過自適應頻譜抑制的方式解決ORB算法提取特征點不穩定的問題;丁進選等[9]采用空間一致性的思想優化了ORB算法不具有尺度不變性的問題。然而,ORB算法的缺點在于特征提取比較集中、匹配精度較差。針對這個問題,需要采用其他的算法來優化特征提取結果,使得特征提取更加均勻。

1 ORB算法簡介

ORB算法由2部分組成:關鍵點和描述子。其中,關鍵點被稱為“Oriented FAST”,是在FAST算法基礎上的改良版。

1.1 Oriented FAST特征點提取

FAST檢測特征點的原理可以簡單概括為對于圖像中任意1個特征點P,如果在其周圍存在足夠多的點與P的像素差值達到指定的閾值,則這個點P可以被視作1個特征點。

FAST算法檢測特征點的具體步驟如圖1所示。

圖1 FSAT算法特征檢測原理

(1) 圖1中,P代表圖像中的任意一點,以P點為圓心,3個像素為半徑作一個圓,由圖1可知,圓上共有16個像素點。

(2) 分別計算16個像素點與P點灰度值差值的絕對值a1、a2,…,a16。

(3) 設定一個閾值t,將a1、a2,…,a16與t比較,若ai>t(i=1,2,…,16),則認為這是2個不同的點。

(4) 若16個像素點中至少有n(n通常取9、11或12)個點與點P不同,則認為P點為一個特征點;反之,P點不為特征點。

(5) 重復以上操作,對圖像中每一個像素點都進行以上過程。

以上過程提取出的特征點只有位置信息,并沒有方向信息,因此原始的FAST算法提取出的特征點不具有旋轉不變性。針對此問題,ORB算法采用灰度質心法解決,使得檢測出的特征點具有方向信息。

其步驟如下:

(1) 在一個小的圖像塊K中,將圖像塊的矩定義為

(1)

其中,p,q={0,1},I表示點(x,y)的灰度值。

(2) 通過式(1)計算出的矩,可以進一步得到圖像塊的質心C:

(2)

(3) 若記圖像塊M的幾何中心為點O,則連接OC可以得到一個方向向量,因此提取出的特征點p(x,y)的方向可以定義為

(3)

1.2 BRIEF描述子

使用O-FAST算法得到一系列特征點后,需要使用某種方式定義每個特征點的屬性,使得每個特征點之間有差異,對后續的點對匹配有利。這些屬性的輸出結果則稱為描述子,ORB算法采用BRIEF算法來計算某個特征點P的描述子,其核心思想在于:在特征點P的附近以某種模式選取n個點對,把這n個點對相互之間的比較結果組合起來即作為點P的描述子。

BRIEF算法的操作步驟如下。

(1) 以特征點P為圓心,d為半徑作圓O。

(2) 在圓O內以某種模式選取n個特征點對,以n=6為例,將選取的6個點對分別記作:P(A1,B1),P(A2,B2),P(A3,B3),P(A4,B4),P(A5,B5),P(A6,B6)。

(3) 定義操作一個運算方式T。

(4)

其中,IAi、IBi分別表示點Ai、Bi的灰度值,i=1,2,…,6。

(4) 使用T運算分別對6對特征點進行操作,并且將得到的6個結果進行整合。

例如:

T(P(A1,B1))=1,T(P(A2,B2))=0,T(P(A3,B3))=1,T(P(A4,B4))=1,T(P(A5,B5))=0,T(P(A6,B6))=1,則點P的描述子即為101101。

2 基于區域分塊的改進ORB算法

傳統的ORB算法由于采用FAST算法來提取特征點,導致提取出的特征點往往會集中在某一點,導致后續特征匹配過程產生大量的誤匹配。

本文使用圖像分塊與ORB算法結合的方式提取分布均勻的特征點;然后對提取出的特征點使用Hamming距離粗篩選以及RANSAC算法進行精篩選;最后利用RANSAC算法計算出2幅圖像之間的單應性變換矩陣,對2幅PCB圖像進行配準。算法整體的流程如圖2所示。

2.1 區域分塊及特征提取

ORB采用FAST算法提取特征點,其優點是速度非常快,但是提取出的特征點往往非常集中,計算出的描述子會十分相似,在進行PCB圖像配準時便會產生大量的誤匹配點。因此本文針對ORB算法提取PCB特征點冗余集中的問題,提出一種區域分塊方法,通過控制每小塊圖像可提取的特征點數目,達到提取分布均勻的特征點的目的。

區域分塊算法流程如圖3所示。

圖3 區域分塊算法流程

圖像分塊的具體步驟如下。

(1) 導入2幅圖像,將2幅圖像各均勻劃分為R*C小塊。其中,R代表行數,C代表列數。初始取R=2,C=2。

(2) 設定每張PCB圖像中共需要提取的特征點數目為T,取T=500。

(3) 設定閾值j,j=T/(R*C),初始j=125。

(4) 使用ORB算法在R*C個區域中分別提取特征點。

(5) 將各小塊圖像提取的特征點數量與j比較:若數量

(6) 對R*C各區域進行遍歷,若每個區域剩余的特征點數量等于j,則停止特征點提取操作。

(7) 將分塊后的圖像重新拼接,以方便后續PCB配準。

2.2 特征匹配及篩選

通過以上步驟提取出足夠的特征點后,需要將待配準圖像(記為M1)與模板圖像(記為M2)的特征點進行匹配。同時采取漢明距離對M1和M22幅圖像進行特征點的粗匹配,篩選掉誤差較大的特征點,但傳統的ORB算法仍然達不到高精度的要求。因此,本文使用RANSAC算法對粗篩選之后的特征點對進行進一步精確篩選,使得最后留下的均為沒有誤差或者誤差較小的特征點對。其運算流程如圖4所示。

其偽代碼如下:

Begin

Dim Q as integer‘定義粗篩選后特征點對

Dim D as integer‘定義內點數

Dim S as integer‘定義迭代步數

Input Q D=0 S=0

在Q中隨機提取4對特征點,計算3階矩陣模型H

Return H

S=1

If (S<=1000)And(other feature point pair satisfy H)

Then D=D+1, S=S+1

Else Endif

Return D, S

If D>=Q*0.95

Then Endif

Output D‘輸出精確特征點

具體步驟如下。

(1) 利用漢明距離對提取出的500對特征點進行粗篩選,得到剩余特征點對數Q,輸入Q對特征點。

(2) 由于M1和M2之間的變換矩陣H為3*3階,而其中僅有8個未知參數,則對應需要4對特征點進行求解。因此,取K=4,從Q對特征點中隨機抽取4對特征點。

(3) 利用抽取的4對特征點計算出一個3*3階矩陣模型。

(4) 使用(3)中計算出的模型對其余特征點對進行估計,若其余特征點對在誤差范圍內滿足模型,則屬于內點,反之則屬于外點。

(5) 設置一個迭代步數E,重復迭代,計算矩陣模型,最后取內點數目對應最多的矩陣H。

(6) 將矩陣H對應的外點篩選掉。

(7) 結束。

3 實驗結果及分析

實驗平臺:軟件為Win 10系統、Pycharm-Opencv 4.5;硬件為顯示器DeLi、相機型號MARS-3140-3GM-P-M03。

實驗對象:5 G PCB板。

本實驗基于Win 10系統+Opencv 4.5的平臺來進行,實驗對象為5 G PCB板。PCB待配準圖像及模板圖像如圖5所示。

圖5 PCB待配準圖像及模板圖像

傳統ORB算法與本文算法的特征提取及匹配圖像結果如圖6和圖7所示。

圖6 傳統ORB算法匹配結果

圖7 本文算法匹配結果

通過圖6、圖7對比可以明顯看出:改進后的ORB算法相較于傳統ORB算法提取出的特征點分布更加均勻,說明本文提出的圖像分塊特征提取思想有較好的結果;改進后的ORB算法在匹配時效果較好(誤匹配對減少)。為避免實驗的偶然性,本實驗采取10次實驗結果的平均值的方式進行統計。

改進前和改進后的PCB圖像特征點匹配精度如表1所示。改進后的匹配精度提升了約26個百分點。

表1 匹配精度對比

改進前和改進后的PCB圖像特征點匹配時間如表2所示。改進后的匹配時間提升了約255%。

表2 匹配時間對比

圖8、圖9為PCB待配準圖像方位糾正前后例圖。

圖8 PCB待配準圖像方位糾正前后例圖

圖9 PCB待配準圖像方位糾正前后例圖

4 總結

由于ORB算法使用FAST算法檢測特征點本身存在特征點冗余、密集的問題,本文嘗試使用區域分塊的方式,使得檢測出的特征點強制分散,達到了提取均勻特征點的目的。通過實驗結果得知,相較于改進之前的ORB算法,本文算法在配準精度和配準時間兩方面都有所提升。