改進配準測度的SUFT紅外圖像快速配準算法

魏 新， 馬麗華， 李云霞， 徐志燕， 李大為

(空軍工程大學(xué)信息與導(dǎo)航學(xué)院，西安 710077)

0 引言

目前，紅外檢測技術(shù)廣泛應(yīng)用于電氣設(shè)備和電路板卡的故障檢測。圖像配準技術(shù)［1］是紅外圖像處理中最關(guān)鍵的技術(shù)之一，配準的結(jié)果直接影響到故障的檢測與定位。圖像配準可分為基于灰度的圖像配準［2］和基于特征的圖像配準［3］。基于灰度的圖像配準一般要求圖像的相關(guān)性強，而且計算量大，很難達到實時性的需求;基于特征的圖像配準計算量小、運算速度快，且具有較強的魯棒性，成為圖像配準研究的主要方向。

常用的特征提取算法有 Harris［4］，SUSAN［5］，SIFT［6］(Scale Invariant Features Transform)和 SUFT［7］(Speeded－Up Robust Features)等。SIFT算子最早由Lowe David G提出，是建立在DoG(Difference of Gaussian)尺度空間理論基礎(chǔ)上的一種算法。該算法采取鄰域方向性信息聯(lián)合的思想，從空間域和尺度域兩個方面對圖像進行特征分析，對檢測到的關(guān)鍵點用128維的特征向量表征，具有尺度不變性和較強的魯棒性。由文獻［8］的對比分析知，SIFT算法性能優(yōu)于Harris、SUSAN等角點算法，但SIFT算子比較耗時，不能滿足實時性的要求。因此，Bay等人提出了一種基于快速魯棒特征的SUFT算法，它在特征點檢測的準確性、魯棒性以及實時性方面較其他算法［9－11］有很大優(yōu)勢。

本文利用SUFT算法進行特征點檢測，采取粗匹配與精匹配［12］結(jié)合的匹配策略選取特征點對，設(shè)計了一種快速、有效、高精度的紅外圖像配準算法。

1 特征點提取

1.1 尺度空間特征點檢測

SUFT特征點檢測是基于Hessian矩陣進行的，給定圖像 I(x，y)中一點 s=［x，y］，則在尺度 σ 的Hessian矩陣為

式中，Lxx(x，σ)為圖像 I(x，y)和高斯函數(shù) G(x，y，σ)在x方向上的二階導(dǎo)數(shù)在x的卷積。即

Lxy(x，σ)、Lyy(x，σ)與之類似。

高斯函數(shù)對尺度空間分析是最優(yōu)的，盒濾波器可近似為高斯函數(shù)二階導(dǎo)數(shù)，由式(2)易知SUFT算法可用盒濾波器近似Hessian矩陣。為了計算方便，采用盒濾波器與輸入圖像的卷積 Dxx、Dyy、Dxy代替 Lxx、Lyy、Lxy。把9×9的盒濾波器近似為σ=1.2的二階高斯導(dǎo)數(shù)Dxx、Dxy與 Lxx、Lxy之間關(guān)系為

使用了盒濾波器和積分圖像，不必迭代地應(yīng)用相同濾波器到前一個已濾層的輸出上，而是應(yīng)用不同大小的盒濾波器以相同的速度直接作用到原始圖像上，見圖1。

圖1 尺度空間的金字塔示意圖Fig.1 Pyramid sketch map of scale space

因此，對尺度空間的分析是通過增大濾波器的尺寸而不是迭代地降低圖像的尺寸，所需的計算時間是獨立于濾波器尺寸的，從而大大降低了運算時間。

1.2 特征點描述子的生成

為保證特征點旋轉(zhuǎn)不變性，要確定特征點主方向并建立坐標。以特征點為中心，計算半徑為6s(s為特征點所在尺度值)鄰域內(nèi)的點在x、y方向的哈爾小波響應(yīng)，響應(yīng)可表示為水平響應(yīng)和垂直響應(yīng)矢量和。按距離賦予響應(yīng)值不同的高斯權(quán)重系數(shù)，遠離特征點的響應(yīng)貢獻小，靠近特征點的響應(yīng)貢獻大。通過計算π/3滑動方向窗口內(nèi)所有響應(yīng)的和來估計主方向，窗口內(nèi)的水平響應(yīng)和垂直響應(yīng)分別被求和。兩個響應(yīng)的和產(chǎn)生一個局部方向向量，定義窗口中最長的向量為特征點的主方向。

選定特征點主方向后，以特征點為中心，將坐標軸旋轉(zhuǎn)到主方向上。選取周圍邊長為20s×20s的正方形區(qū)域，并將該區(qū)域劃分為4×4共16個子區(qū)域。在子區(qū)域內(nèi)計算每個像素點x方向和y方向的哈爾小波響應(yīng)，記為dx、dy，為了增強特征點描述子對幾何變換及局部誤差的魯棒性，可對dx、dy進行高斯權(quán)重系數(shù)賦值。然后對每個子區(qū)域的dx、dy響應(yīng)以及響應(yīng)的絕對值進行求和計算，分別記為:這樣在每個子區(qū)域形成四維分量而對每個特征點就形成了4×4×4的64維描述子向量，進行歸一化后形成特征點的描述子。

2 圖像配準方法及流程

利用SUFT算法提取紅外圖像中的特征點并生成特征點描述子，采取歐氏距離最近鄰粗匹配和相似四邊形精匹配的方式提高配準精度，然后使用8參數(shù)的平面透視變換模型描述匹配圖像序列間的相對變換關(guān)系，依據(jù)精匹配得到的匹配點對求解模型變換參數(shù)，從而實現(xiàn)紅外圖像的配準。算法流程如圖2所示。

圖2 本文算法流程圖Fig.2 Flow chart of the algorithm proposed in the paper

算法具體實現(xiàn)過程如下。

1)利用SUFT算法分別檢測標準圖像F與待配準圖像F'的特征點，形成64維的特征點描述子。

2)最近鄰匹配。以歐氏距離作為兩個特征點描述子的相似性度量進行粗匹配，算式為

式中:Xik表示圖像F中第i個特征點對應(yīng)特征向量的第k個元素;Xjk表示圖像F'中第j個特征點對應(yīng)特征向量的第k個元素;n為特征向量的維數(shù)。計算每個特征點對應(yīng)特征向量的歐氏距離，按照從小到大的順序排列形成距離集合。設(shè)定閾值T1，當(dāng)特征點最小歐氏距離與次小歐氏距離的比值小于T1時，認為這兩個特征點匹配。T1越小，匹配點對數(shù)目越少，但更加穩(wěn)定。

3)特征點精匹配。利用景物幾何結(jié)構(gòu)間的相似性，在粗匹配點對中尋找相似四邊形進行精匹配，從而減少誤匹配的概率。選取粗匹配點對中的一對匹配點作為四邊形的一個固定頂點，在粗匹配點對中隨機選取三對匹配點組成兩對四邊形。由相似四邊形性質(zhì)可知，若兩四邊形相似，則對應(yīng)四條邊和兩條對角線互成比例，即滿足

依據(jù)四邊形相似的性質(zhì)構(gòu)造歸一化的均方誤差表達式e，設(shè)定閾值 T2，當(dāng) e小于T2時認為兩四邊形相似。T2越小，匹配精度越高，由于SUFT提取特征點時存在誤差，故閾值不能設(shè)定太小，通常設(shè)定比計算精度高出2～3個數(shù)量級，本文T2設(shè)為0.05，

由圖像F和F'中固定頂點組成相似四邊形的數(shù)量判斷是否為匹配點對，剔除粗匹配點對中不能組成相似形的點對，從而實現(xiàn)精匹配。

4)求解變換模型參數(shù)。由于紅外熱像儀拍攝位置的不固定性，采用更加符合實際情況的8參數(shù)平面透視變換模型，則圖像F和F'對應(yīng)像素點的關(guān)系為:X'=HX，表示為

式中:X'=［xi'，yi'，1］T，X=［xi，yi，1］T，i=1，2，…，n，n為精匹配后點對個數(shù)，矩陣H為圖像間透視變換的齊次矩陣。根據(jù)n的取值分為以下3種情況:

①當(dāng)n＜4時，適度增大閾值T1、T2，重復(fù)步驟2)、3)以獲得更多的精匹配點對;

② 當(dāng)n=4時，依據(jù)式(9)求解矩陣H;

③當(dāng)n＞4時，屬于過約束的情況，利用最小二乘法求解H，尋找一個最佳解使得每對匹配點的平面透視模型均方誤差最小，達到多個配準點擬合最優(yōu)參數(shù)解的目的。

5)利用矩陣H對紅外圖像進行模型變換，并通過線性插值得到變換后的圖像，從而實現(xiàn)圖像配準。

3 實驗結(jié)果及分析

利用本文提出的SUFT改進算法對電路板卡的紅外圖像進行配準實驗。實驗環(huán)境參數(shù):CPU為Intel Core i3，3.30 GHz，內(nèi)存大小為 2 GB，操作系統(tǒng)為Windows XP，仿真實驗平臺為 Matlab7.10。

實驗選取兩幅在相同環(huán)境下拍攝的電路板卡紅外圖像進行驗證，如圖3a、圖3b所示，兩幅紅外圖像大小均為240×320，室內(nèi)無風(fēng)條件下拍攝，距離0.2 m，環(huán)境溫度33.2℃。

圖3 電路板卡紅外圖像Fig.3 The infrared images of a circuit board

對圖像進行灰度變換后，經(jīng)過SUFT算法檢測到特征點生成的描述子如圖4所示，圖5為粗匹配后的特征點對連線示意圖。

圖4 SUFT特征點描述子Fig.4 The SUFT feature point descriptor

圖5 粗匹配特征點對連線圖Fig.5 Link images of coarse matching feature points

從圖5中可以看出共40對粗匹配特征點對，5對誤配特征點對，可見誤配準率較高。如果直接用粗匹配點對求平面透視變換模型參數(shù)，配準結(jié)果如圖6所示，配準效果不理想。

圖6 基于粗匹配點對的配準圖像Fig.6 The registration image based on coarse matches

利用相似四邊形區(qū)域精匹配策略去除誤配點對后，結(jié)果如圖7、圖8所示，共13對匹配特征點對，全部配準且誤配率為0，誤匹配的特征點對已經(jīng)成功去除。依據(jù)精匹配后的特征點對，利用最小二乘法由式(9)可求得平面透視變換模型的齊次矩陣H，對圖像進行變換后的配準結(jié)果如圖9所示，配準效果較為理想。

圖7 SUFT特征點描述子Fig.7 The SUFT feature point descriptor

圖8 精匹配特征點對連線圖Fig.8 Link images of accurate matching feature points

圖9 基于精匹配點對的配準圖像Fig.9 The registration image based on accurate matches

為了進一步說明本文算法的優(yōu)勢，現(xiàn)將基于SIFT算法，SUFT算法和本文算法的實驗結(jié)果進行對比，結(jié)果如表1所示。

表1 實驗結(jié)果比較Table 1 Comparison of experimental results

從表1可以看出，本文算法在配準精度和耗時方面均優(yōu)于SIFT和SUFT算法，達到了快速、高效的配準目的。

4 結(jié)束語

本文提出的算法充分利用SUFT算法的快速性以及相似四邊形精匹配的穩(wěn)定性，彌補了SIFT算法耗時且誤配率較高的不足。通過實驗證明，該算法經(jīng)過精匹配后具備高效、穩(wěn)定的特點，能夠有效地提取特征點對進行匹配，配準正確率高，針對電路板卡上的芯片配準精度高，配準結(jié)果較理想。如何利用配準后的紅外圖像進行電路板卡的故障分析與診斷是下一步研究的方向。

［1］ 苑津莎，趙振兵，高強，等.紅外與可見光圖像配準研究現(xiàn)狀和展望［J］.激光與紅外，2009，39(7):693－699.

［2］ 李寒，王庫，劉韶軍.基于灰度冗余和SUFT算法的電氣設(shè)備紅外與可見光圖像配準［J］.電力系統(tǒng)保護與控制，2011，39(11):111－115.

［3］ BROWN L G.A survey of image registration techniques［J］.ACM Computing Surveys，1992，24(4):325－376.

［4］ HARRIS C，STEPHENS M.A combined corner and edge detector［C］//Proc of 4 th Alvey Vision Conference，Manchester，1988:147－151.

［5］ SMITH S M，BRADY J M.SUSAN—A new approach to low level image processing［J］.International Journal of Computer Vision，1997，23(1):45－78.

［6］ LOWE D G.Distinctive image features from scale－invariant interest points［J］.International Journal of Computer Vision(S0920－5691)，2004，60(2):91－100.

［7］ BAY H，ESS A，TUYTELAARS T，et al.SURF:Speeded－Up Robust Features(SURF) ［J］.Computer Vision and Image Understandin，2008，10(3):346－359.

［8］ 趙明，林長青.基于改進SIFT特征的紅外與可見光圖像配準方法［J］.光電工程，2011，38(9):130－136.

［9］ 聶宏賓，侯晴宇，趙明，等.基于似然函數(shù)EM迭代的紅外與可見光圖像配準［J］.光學(xué)精密儀器，2011，19(3):657－663.

［10］ 韓靜，柏連發(fā)，張毅，等.基于改進配準測度的紅外與可見光圖像配準［J］.紅外技術(shù)，2011，33(5):271－274.

［11］ 崔偉，劉圣霞，徐騫，等.基于互信息和梯度的紅外與可見光圖像配準新方法［J］.激光與紅外，2011，41(2):224－228.

［12］ 陳潔，付冬梅，劉燕.基于相似三角形匹配的紅外與可見光圖像配準方法［J］.激光與紅外，2010，40(2):215－218.