基于SIFT/ORB幾何約束的紅外與可見光圖像特征點匹配

奚紹禮，李 巍，謝俊峰，莫 凡

（1.遼寧科技大學 土木工程學院，遼寧 鞍山 114000；2.自然資源部國土衛星遙感應用中心，北京 100048）

0 引言

隨著紅外技術日趨成熟，聯合紅外圖像的多源遙感應用已逐漸成為未來發展的趨勢。紅外圖像與可見光圖像記錄信息的譜段不同，兩者的匹配融合既可以獲得較高的空間分辨率、清晰的地物特征，又可以保留紅外圖像所攜帶的區域場景的熱輻射信息，應用廣泛。紅外圖像與可見光圖像融合過程中，同名點匹配是最為核心的技術之一。紅外成像技術屬于熱輻射信息探測技術，因目標表面存在熱輻射差異，則可將高于絕對零度的物體表面自然發射的熱紅外輻射轉化為灰度圖像。而可見光成像的探測波段由人眼可見的光譜組成，圖像灰度信息取決于物體可見光波段的反射強度而非熱輻射強度。可見，紅外圖像與可見光圖像的匹配是兩者融合的亟待解決的難點之一[1]。

由于傳感器、工作波段范圍及成像環境的差異，通常可見光圖像的空間分辨率相較于紅外圖像更高，光譜信息更豐富，而紅外圖像不依賴于外部光線，表現為灰度圖像，不具有色彩及陰影信息，這使得紅外與可見光圖像之間通常呈現較為復雜的灰度差異，給匹配帶來了較大的困難，導致紅外與可見光圖像的匹配相較于同源圖像匹配難度更高。目前，有許多的學者致力于紅外與可見光圖像匹配的研究，提出不同的匹配算法。通常多源圖像匹配算法可分為基于灰度的匹配方法和基于特征的匹配方法[2]。孫雅琳出了基于互信息的匹配方法[3]，但由于紅外圖像與可見光圖像灰度差異較大，此類方法面對異源遙感圖像的匹配具有一定局限性，在匹配時對粒子初始值設定的要求較高，且迭代時容易陷入局部極值點。而相比較基于灰度的圖像匹配，基于圖像局部不變特征的匹配方法在多源圖像中應用較多，是目前國內外圖像匹配研究領域的熱點及難點之一。其通過計算得到具有不變性的特征描述子之間的關系，進而實現圖像的匹配。鄢睿丞提出了一種利用模糊形狀上下文關系的紅外與可見光圖像匹配方法[4]，該方法能一定程度上提高匹配正確率，但是面對圖像質量好的時候會由于采樣損失信息而不如其他方法。由于紅外圖像的反相圖像灰度信息更加接近于可見光圖像的灰度信息，紀利娥提出一種可見光和紅外反相圖像的SURF（speeded up robust features）特征點雙向匹配的方法[5]，提高了匹配精度，但對于匹配數量沒有顯著改善。朱英宏提出了一種基于CSS（curvature scale space）角點提取的紅外與可見光匹配算法[6]，該方法在視角變換旋轉等方面具有較好的適應性，缺點是沒有提高匹配對數。趙明基于改進SIFT特征的方法，在圖像質量較高時對SIFT算法的匹配正確性有明顯改善，但是采用了相似四邊形的精匹配方式，約束了匹配點數量[7]。江澤濤提出了一種基于顯著性和ORB（oriented FAST and rotated BRIEF）的紅外和可見光圖像配準方法[8]，提高了準確匹配率，但是正確匹配點有所減少。由于紅外圖像與可見光圖像是兩種灰度弱相關的異源遙感圖像，基于特征的匹配算法在該領域使用較為普遍。然而，如何進一步改善基于特征的匹配算法對紅外圖像與可見光圖像的匹配效果仍然是需要攻克的關鍵問題之一。

本文在分析紅外圖像與可見光圖像共有特征信息的基礎上，充分顧及圖像特征信息和同名點分布情況，提出了一種基于SIFT與ORB特征點提取的紅外圖像與可見光圖像匹配方法。該方法先利用SIFT與ORB算法進行特征點提取，通過RANSAC（random sample consensus）算法對SIFT的特征點進行精匹配，然后將得到的高精度的SIFT點對對ORB特征點對進行全局性幾何約束完成誤匹配剔除，最終實現基于多特征點檢測的紅外圖像與可見光圖像的特征點匹配。

1 基于SIFT/ORB幾何約束的特征點匹配

1.1 SIFT特征點匹配

SIFT算子是由David G.Lowe提出的，基于高斯尺度空間的特征點檢測算法[9]。在空間尺度中獲取極值點，并提取出其位置、尺度、旋轉不變量。在SIFT算法實現過程中，首先要通過高斯模糊來獲取尺度空間，尺度空間在實現時使用高斯金字塔表示，如圖1所示進行高斯差分（difference of Gaussian，DOG）得到DOG金字塔，尋找極值點。在生成特征點時，每個關鍵點會有8個方向的梯度強度信息，且存在4×4個子區域，最終得到128維的特征矢量。

在提取到SIFT特征點后，采用RANSAC算法對其進行精匹配。RANSAC為隨機抽樣一致算法，是一種魯棒性較高，易于實現的模型參數估計技術[10]。其剔除的關鍵在于找到兩幅圖像具有的幾何變換關系，這種關系可以表現為一個單應性矩陣H，即存在x′＝Hx，矩陣H如式(1)所示：

令m8＝1使矩陣歸一化，則矩陣存在8個未知量，至少需要4對匹配點可解算矩陣參數。當面RANSAC算法面對一組含有“錯誤點”的數據集時，它可以通過反復選擇數據中的一組隨子集進行迭代來訓練參數模型，從大量觀測數據中估計出高精度的參數模型，以此完成誤匹配點的剔除。

圖1 高斯差分金字塔的生成與DOG空間極值檢測Fig.1 Generation of Gaussian difference pyramid and DOG spatial extremum detection

1.2 ORB特征點匹配

為了提升匹配同名點對的數量及單一特征點分布不均的問題，引入一種ORB的特征點檢測算法[11]。ORB算法包含帶有方向的FAST（featuresfrom accelerated segment test）角點檢測方法與BRIEF（binary robust independent elementaryfeatures）[12]特征描述子兩部分。第一部分采用灰度質心法來實現，計算過程如下，先計算特征點的灰度矩：

式中：I(x,y)為灰度值；B為特征點鄰域。灰度矩心為：

式中：m00、m10及m01分別由公式(2)計算得到。定義特征點的方向為：

將特征點的主方向與BRIEF描述子相結合，使其具有旋轉不變性，該描述子為二進制串的形式：

式中：p(x)、q(y)為點對的灰度值。最終通過選擇n個點對得到n維向量。

該算法由于直接將歸一化的圖像中心作為ORB特征點的位置，可以忽略FAST特征點檢測的過程，而且描述子采用二進制串的形式，因此具有較高的計算速度[13]。因此在保持算法性能的前提下，可以將ORB特征點檢測作為一種多重檢測方法進行多類型特征點的檢測，以此充分利用圖像信息，改善特征點分布結果，提升檢測結果的數量。

在提取出ORB特征點后，篩選匹配點方面使用Lowe’s算法獲取正確匹配點。由于ORB描述符采用二進制串的形式，算法中使用漢明距離進行計算。最近鄰比次近鄰的方法對特征點進行匹配點篩選，是獲取其中一幅圖像的特征點，同時找到該點與另一個圖像里漢明距離最近的前兩個特征點，通過最近鄰距離除以次近鄰距離的比值與閾值t相比較，來判斷匹配點的可靠性。

1.3 基于幾何約束的誤匹配特征點剔除

在使用最近鄰比次近鄰法篩選匹配點時，通過對閾值t不同的設定，會呈現出不同的匹配結果。匹配特征點對的數量會隨閾值t的擴大而增多，但質量會隨之下降，存在一定數量的誤匹配，因此該方法存在一定局限性。我們需要在保證足夠的正確匹配數量前提下，對誤匹配點進行剔除。

通過SIFT的精匹配結果對ORB的特征點集進行約束完成剔除誤匹配。首先進行距離上的約束，該方法從SIFT算子的匹配結果中獲取若干對匹配點，其中點(Xai,Yai)為紅外圖像上的某一特征點，(Xbi,Ybi)為與該點對應匹配的可見光圖像上的特征點。此時我們可以得到：

式中：s為兩幅圖像的尺度比，理論上為一個固定值，考慮到存在一定誤差，我們需要進行多次迭代運算，得到平均值。此時，同樣在ORB特征點檢測結果中，點(Xcn,Ycn)為紅外圖像中的某一特征點，點(Xdn,Ydn)為與該點對應匹配的可見光圖像上的特征點。將其與SIFT算子獲取到的精匹配特征點對進行聯合計算，為進一步保證精度，該SIFT點(Xa,Ya)對與(Xb－Yb)為模擬點，將所有精匹配結果求平均得到。接下來分別計算兩張圖像上的兩對特征點的距離Da及Db：

同時可得到w：

式中：w是預期估計的待檢測ORB特征點與用于檢測的SIFT點的理論距離。如圖2設δ為閾值半徑，若則接受該對特征點，否則將該對特征點進行剔除。但由于沒有進行角度上的約束，依舊可能存在誤匹配點。

在進行角度約束前，我們可以得到g1和g2：

g1和g2為待檢測ORB匹配點對在各自圖像上分別與SIFT點對聯合計算的角度約束參量。

如圖2設g為角度閾值，若g1-g2＜g則接受該對特征點，否則將該對特征點進行剔除。至此，完成SIFT特征點對ORB特征點的約束。按照此算法，依次將ORB特征點進行遍歷檢測，從而實現得到無誤匹配的較多數量的SIFT與ORB匹配特征點。

2 實驗結果與分析

本文提出基于SIFT與ORB的特征點匹配算法流程圖如圖3所示，為了證明本文算法的有效性，對4組紅外圖像和可見光圖像進行特征點匹配的對比實驗。實驗條件：系統為Windows10，內存為4G的PC環境下，在VS2010平臺采用C＋＋語言編程實現。

實驗所使用的圖像為河北張家口懷來縣的紅外及可見光的航拍圖像。針對紅外圖像與可見光圖像灰度弱相關匹配困難的問題，進行相同分辨率及不同分辨率尺度差異下的對比實驗，來檢驗算法在不同尺度下的圖像匹配中的可靠性及穩定性。實驗的原始數據，同一區域下，紅外圖像尺寸為2064×1055，可見光圖像尺寸為30186×14235，分辨率相差近15倍。在對比實驗中，保持紅外圖像的參數不變，選擇可見光圖像使用ENVI進行降采樣處理，并且為了方便實驗，截取原始圖像中的各個區域分為不同圖像組，其中①、②兩組進行15倍降采樣處理，③、④兩組分別進行10倍與15倍降采樣處理。紅外圖像及降采樣后的可見光圖像每組數據如表1所示。將每組圖像進行匹配，通過觀察匹配成功的特征點的數量及分布，檢驗算法對于紅外圖像與可見光圖像匹配的可用性。

表1 圖像組信息Table 1 Imagegroupinformation

2.1 最近鄰比次近鄰閾值實驗

所提算法中，在使用最近鄰比次近鄰法對ORB獲取正確匹配點時，閾值的設定決定獲取匹配點的數量和可靠度，需要通過實驗得到較為合適的數值。本實驗采用③組與④組圖像對進行閾值設置的對比，結果如圖4所示。實驗發現當閾值t≤0.4時，不存在或很少有匹配點，閾值范圍在0.4～0.7時匹配對數在逐漸上升，且正確匹配率較為穩定。其中，閾值t在0.5～0.6時匹配點數量開始明顯增加，當閾值t在0.65～0.7時匹配數量均達到110～130對。閾值t＞7時總匹配對數雖然持續上升，但是正確匹配率大幅下降，并且整體特征點數量雖然提高但是點位分布趨于局部密集，整體密度沒有顯著提高。反復實驗發現閾值t＝7時匹配效果最佳，圖5為閾值t＝7的兩組圖像匹配結果，可以看出，特征點密度適中，基本覆蓋圖像，因此選擇0.7作為最近鄰與次近鄰的比值。

圖2 誤匹配剔除示意圖Fig.2 Mismatched culling diagram

圖3 本文文算法流程圖 Fig.3 FFlow chart of ouur algorithm

圖4 閾值值設置實驗Fig.4 Thr eshold setting ee xperiment

圖5 閾值值t＝0.7的兩組組圖像特征點分分布Fig.5 Distribution of two sets of ii mage feature pp oints with thressh old t＝0.7

2..2 本文算法法驗證結果及及分析

使用本文文提出的方法法，進行特征點點匹配的對比比實驗驗。圖6為對對①組圖像在不同方法下的匹配結果，，特征征點使用“＋＋”進行表示示。其中圖6((a)為SIFT算算法結結合RANSAAC的匹配結果，可以看出出效果較好，，但是匹匹配點數量較較少。圖6(bb)為ORB算算法結合最近近鄰比次次近鄰法匹配配結果，此時時閾值t＝7，雖然匹配點較多但但存在大量誤誤匹配（淺色色表示正確匹匹配，深色表示誤匹匹配）。圖66(c)為使用本本文的方法，結合SIFT與ORRB并利用幾幾何約束剔除除誤匹配后的結果，結果表明，通過進行距離及角度上的約束后，ORB的誤匹配被完全剔除，該方法繼承了前兩種方法的優勢，得到大量正確匹配點，同時點位分布均勻，匹配效果明顯改善。

此處對匹配點的接受或剔除進行舉例說明。在上述剔除ORB誤匹配點時，考慮到點對在兩幅圖像保留1個像素的誤差，則在幾何約束策略中令閾值t＝2可基本得到正確匹配點，且同時令g＝0.1即可完全得到正確匹配點。對于該組圖像，依據本文方法通過SIFT匹配點得到尺度比s＝0.74，同時可得到SIFT匹配點集下的模擬點對A(445.51,191.41)、a(531.89,246.27)。如圖(b)判斷其中的點對B(371.0,48.0)、b(427.1,57.6)及C(58.0,218.0)、c(714.0,388.8)是否可接受。計算得到DAB＝161.61、Dab＝215.77，g1＝20.52，g2＝0.55。此時且，則接受點對B(371.0,48.0)、b(427.1,57.6)為正確匹配點。同理對點對C(58.0,218.0)、c(714.0,388.8)進行判斷，計算得到DAC＝388.43、Dac＝231.25，g1＝－14.57，g2＝1.27，此時DAB-Dab×s≈216.60 ＜δ=2且g1-g2≈ 15.85 ＜g=0.2，則判斷C(58.0,218.0)、c(714.0,388.8)為誤匹配點對。如此，對ORB點對進行遍歷，完成了該組圖像誤匹配的剔除。

分別對②、③、④組圖像進行不同分辨率尺度下的實驗，結果如圖7所示。經過誤匹配剔除后，分別獲得了145、155、152對匹配特征點，特征點分布較為均勻。在分辨率差異較大的情況下，依舊獲得了較好的匹配效果，證明了本文方法在不同尺度圖像下的魯棒性。

SIFT算法與本文方法的比較結果如表2所示，4組圖像的正確匹配點對分別提升了約3.7倍、3.2倍、3.6倍、3倍，匹配數量相較于SIFT算法在不同分辨率尺度的情況下均有大幅度的提高，通過最終匹配結果證明了本文的匹配方法適用于圖像灰度信息差異較大的紅外與可見光圖像的特征點匹配。

圖6 ①組影像不同方法下的匹配結果Fig.6 Themat ching resultsof the group ①bydifferent methods

圖7 本文方法下的其余3組圖像匹配結果 Fig.7 Three sets of image matching results by using the algorithm in this paper

表2 SIFT算法與本文算法匹配結果對比 Table 2 Comparison of SIFT algorithm and algorithm matching results

3 結論

本文針對紅外圖像與可見光圖像灰度信息差異較大，特征點匹配困難的問題，提出了一種基于SIFT與ORB算子的多種特征點檢測方法。對兩種圖像進行SIFT與ORB的特征點提取，充分利用了圖像信息，得到了大量數目的特征點，再通過SIFT精匹配結果對ORB特征點對進行幾何約束，完全剔除了ORB算子中的錯誤匹配點。且通過兩種不同的檢測方法，匹配特征點基本覆蓋圖像，分布較為均勻。針對不同比例尺度下的圖像匹配，該方法也呈現了較高的魯棒性。從實驗結果可以看出，該方法在匹配效果方面，對傳統的SIFT匹配方法有明顯改善。