基于SURF和雙向自適應閾值配準的紅外圖像拼接

謝紅梅 劉強 夏磊 邱赫

DOI：10.19297/j.cnki.41-1228/tj.2018.06.014

摘要：針對當前SIFT圖像配準與融合拼接算法復雜度高的缺陷，鑒于SURF（speeduprobustfeatures）算法具有快速且魯棒性較好的特點，提出了一種基于SURF特征點檢測和自適應閾值特征匹配的圖像拼接算法。首先用SURF算法提取圖像特征后，使用雙向匹配策略和自適應閾值的BBF（BestBinFirst）匹配算法尋找圖像間的匹配點，同時結合Laplacian標識符來分離不同類型特征點，減少計算量，再通過RANSAC算法求出圖像之間的映射關系，最后采用加權平均融合方法進行圖像融合。通過對紅外圖像進行拼接實驗表明，該方法圖像拼接質量速度均有提高，實現了圖像的無縫拼接，滿足紅外圖像拼接應用的實際需求。

關鍵詞：SURF;雙向匹配;自適應閾值;Laplacian標識符;紅外圖像拼接

中圖分類號：TJ760;TP391文獻標識碼：A文章編號：1673-5048（2018）06-0084-06[SQ0]

0引言

圖像拼接是對同一場景在不同條件下（如不同的時間、拍攝環境、視場角、傳感器等）得到的兩幅或多幅圖像進行對準、融合的過程[1]，其廣泛應用于多個領域，如計算機視覺、全景圖像拼接、遙感勘測、虛擬現實、醫學診斷與輔助治療以及軍事等。

紅外圖像是由成像設備捕捉目標和背景向外輻射的能量差而形成的。因其成像的特殊性，使其具有可以全天候采集、穿透能力強和像素點灰度值穩定的優勢。基于以上特點，紅外圖像已經被廣泛應用于航天、航空、航海等軍事領域，如弱小紅外目標跟蹤和識別探測、紅外預警、環視掃描、紅外線探傷等。

圖像配準是圖像拼接的核心，按照圖像配準的方式可分為基于區域和基于特征兩類，其中基于區域的方法運算量大且不能適應圖像旋轉和尺度縮放的場合，而基于特征的配準方法有很強的魯棒性，應用廣泛。有關于后者的研究也較多，該方法的大體流程是：先通過點特征或其他特征提取進行特征檢測;接著用相關查找算法完成不同圖像間的特征匹配;通過匹配的特征求解得到圖像間的變換矩陣;最后疊加融合出配準后的圖像。特征的選擇跟圖像的內容有很大的關系，一般而言，點特征相對易于提取，而且可以適用于圖像的各種變換并保持很好的性能。如Harris[2]，SUSAN[3]，DOG[4]，Harris-Laplace，Hessian-Laplace[5]等方法提取的特征點。Lowe等人[6]提出的SIFT算法是一種魯棒性好的尺度不變特征描述方法，但SIFT算法計算數據量大、時間復雜度高、算法耗時長。徐佳佳[7]等人將尺度空間理論應用于Harris算法中，使檢測的角點具有尺度不變性，并采用SIFT描述子生成方法進行特征點描述，完成圖像配準。

燕飛[8]等人基于仿生復眼系統提出一種采用SIFT的圖像拼接算法，有效地實現了多通道圖像的大視場無盲區拼接。Bay等人提出了快速魯棒特征（SURF）算法[9]，除在可重復性和魯棒性方面優于現有方法外，還能夠獲得較快的計算速度，因此在實時物體識別、圖像檢索、圖像拼接等方面有較大的應用價值。李紅波[10]等人在經典SURF算法基礎上，提出一種基于距離約束的SURF算法。然而圖像配準研究在可見光中做得較多，針對紅外圖像的研究比較少，袁夢笛[11]將角點法和相位相關法相結合來進行圖像配準。Dong[12]等人采用SUSAN算法來檢測紅外圖像的特征點，然后采用免疫記憶克隆選擇算法獲得匹配點的位置，達到紅外圖像配準的目的。劉炳國[13]等人針對同一目標的紅外與可見光所形成的異源圖像對，提出了一種基于改進SIFT與互信息的算法，尋找兩幅圖像中的相關點，從而實現兩幅圖像的匹配。但是這些算法對成像情況有較嚴格的要求、計算比較復雜。本文將結合紅外圖像的特點，利用SURF算法對適用于紅外圖像的匹配和拼接進行相關研究。

1紅外圖像拼接方法和過程

紅外圖像成像具有分辨率低、噪聲大、邊緣模糊等特點。本文結合紅外圖像的特點提出的基于SURF的紅外圖像拼接方法流程如圖1所示，首先用SURF方法提取特征點，用基于雙向匹配策略的自適應閾值匹配算法得到兩幅圖像的匹配點對，再通過RANSAC算法剔除誤匹配，同時求解出圖像間的變換關系，最后對圖像進行融合，得到無拼接痕跡且保持高分辨率的完整圖像。

中，（a）圖檢測得到的特征點個數為127，（b）圖檢測得到特征點個數為139。采用單向匹配策略后特征點對數139，匹配結果如圖（c），出現了“一對多”的匹配結果。而采用雙向匹配策略后特征點對數為44，匹配結果如圖（d）。可以看出，兩種匹配策略的匹配點對數差為95。所以說，單向匹配的結果中存在大量的誤匹配點，而雙向匹配策略可以大幅降低誤匹配情況，從而提高配準精度。因此后續均采用雙向匹配策略。

2.2自適應閾值的驗證

自適應閾值的驗證需依據配準率的大小，兩幅圖像配準率可由下式求得：

其中，PR表示兩幅圖像的正確匹配對數，PA表示兩幅圖像特征點匹配的所有對數，RT表示兩幅圖像配準率大小。如果RT越大，兩幅圖像配準精度越高，說明特征點匹配時閾值選取越接近真實值;反之，說明特征點匹配時閾值選取不合理。

為驗證文中提出的自適應閾值算法的有效性，在Windows7操作系統下，利用MATLAB2014a軟件進行仿真實驗。實驗中將兩幅不同視角的紅外圖像圖5（a）～（b）采用SURF算法進行特征點檢測，然后采用自適應閾值進行特征點匹配，得到PA值，最后采用RANSAC算法進行特征點提純得到RR值，則可求得兩幅紅外圖像的配準率RT，如表1所示。圖5（e）～（f）分別為對應的采用固定閾值和自適應閾值的匹配結果。由表1可以看出，采用自適應閾值進行紅外圖像配準后的配準率要明顯高于采用固定閾值進行配準后的配準率。

表2為其他六組不同視角紅外圖像分別采用固定閾值及自適應閾值進行特征點匹配得到的配準率結果。

3結論

本文實現了一種新的基于SURF特征點配準的紅外圖像拼接算法。實驗證明，提出的雙向匹配結合自適應閾值的BBF匹配算法大大提高了配準精度即配準率。使用Laplacian標識符分離亮斑和暗斑兩類特征點后，在保證良好匹配精度的同時有效降低了尋找匹配點的時間。使用加權平均融合方法對配準后的圖像進行融合，有效地抑制了紅外圖像之間的拼接縫。

參考文獻：

[1]ZitovB，FlusserJ.ImageRegistrationMethods：ASurvey[J].ImageandVisionComputing，2003，21（11）：977-1000.

[2]HarrisCG，StephensMJ.ACombinedCornerandEdgeDetector[C]∥ProcessingsFourthAlveyVisionConference，Manchester，1988：147-151.

[3]SmithSM，BradyJM.SUSANANewApproachtoLowLevelImageProcessing[J].InternationalJournalofComputerVision，1997，23（1）：45-78.

[4]LoweDG.ObjectRecognitionfromLocalScaleInvariantFeatures[C]∥InternationalConferenceonComputerVision，Corfu，Greece，1999：1150-1157.

[5]MikolajczykK，SchmidC.Scale&AffineInvariantInterestPointDetectors[J].InternationalJournalofComputerVision，2004，60（1）：63-86.

[6]LoweDG.DistinctiveImageFeaturesfromScaleInvariantKeypoints[J].InternationalJournalofComputerVision，2004，60（2）：91-110.

[7]徐佳佳，張葉，張赫.基于改進HarrisSIFT算子的快速圖像配準算法[J].電子測量與儀器學報，2015，29（1）：48-54.

XuJiajia，ZhangYe，ZhangHe，etal.FastImageRegistrationAlgorithmBasedonImprovedHarrisSIFTDescriptor[J].JournalofElectronicMeasurementandInstrumentation，2015，29（1）：48-54.（inChinese）

[8]燕飛，郭云芝，史立芳，等.基于仿生復眼系統的圖像拼接技術[J].航空兵器，2017（6）：49-53.

YanFei，GuoYunzhi，ShiLifang，etal.ResearchofImageMosaicAlgorithmBasedonBionicCompoundEyeSystem[J].AeroWeaponry，2017（6）：49-53.（inChinese）

[9]BayH，TuvtellarsT，GoolLVan.SURF：SpeededupRobustFeatures[C]∥ProceedingsoftheEuropeanConferenceonComputerVision，2006：404-417.

[10]李紅波，趙永耀，吳渝，等.一種基于距離約束的改進SURF算法[J].系統仿真學報，2014，26（12）：2944-2949.

LiHongbo，ZhaoYongyao，WuYu，etal.ImprovedSURFAlgorithmBasedonDistanceConstraint[J].JournalofSystemSimulation，2014，26（12）：2944-2949.（inChinese）

[11]袁夢笛.基于特征點的紅外圖像拼接研究[D].南京：南京理工大學，2013.

YuanMengdi.ResearchonInfraredImageMosaicBasedonFeaturePoints[D].Nanjing：NanjingUniversityofScienceandTechnology，2013.（inChinese）

[12]DongLin，FuDongmei，YuXiao，etal.TheStudyonInfraredImageMosaicApplicationUsingImmuneMemoryClonalSelectionAlgorithm[C]∥ProceedingsoftheTenthWorldCongressonIntelligentControlandAutomation，2012：4831-4836.

[13]劉炳國，陳力，劉國棟.基于改進SIFT與互信息的異源圖像匹配[J].航空兵器，2014（5）：15-18.

LiuBingguo，ChenLi，LiuGuodong.MultiSensorImagesMatchingBasedonCombinedImprovedSIFTandMutualInformation[J].AeroWeaponry，2014（5）：15-18.（inChinese）

[14]BeisJS，LoweDG.ShapeIndexingUsingApproximateNearestNeighborSearchinHighDimensionalSpaces[C]∥ProceedingsoftheConferenceonComputerVisionandPatternRecognition，SanJuan，PuertoRico，1997：1000-1006.

[15]劉奇，何明一.基于SURF特征匹配的圖像拼接算法[J].測控技術，2010，29（10）：27-31.

LiuQi，HeMingyi.ImageStitchingBasedonSURFFeatureMatching[J].Measurement&ControlTechnology，2010，29（10）：27-31.（inChinese）