具有光照魯棒的圖像匹配方法

王焱 呂猛 孟祥福 李宇浩

摘 要：針對現有的基于局部特征的圖像匹配算法對光照變化敏感、匹配正確率低等問題，提出一種具有光照魯棒性的圖像匹配算法。首先使用實時對比保留去色（RTCP）算法灰度化圖像，然后利用對比拉伸函數模擬不同光照變換對圖像的影響從而提取抗光照變換特征點，最后采用局部強度順序模式建立特征點描述符，根據待匹配圖像局部特征點描述符的歐氏距離判斷是否為成對匹配點。在公開數據集上，所提算法與尺度不變特征變換（SIFT）算法、加速魯棒特征（SURF）算法、“風”（KAZE）算法和ORB算法在匹配速度和匹配正確率上進行了對比實驗。實驗結果表明：隨著圖像亮度差異的增加，SIFT算法、SURF算法、“風”（KAZE）算法和ORB算法匹配正確率下降迅速，所提算法下降緩慢并且正確率均高于80%;所提算法特征點檢測較慢和描述符維數較高，平均耗時為23.47s，匹配速度不及另外四種算法，但匹配質量卻遠超過它們。對實時性要求不高的系統中，所提算法可以克服光照變化對圖像匹配造成的影響。

關鍵詞：圖像匹配;光照魯棒性;圖像灰度化;對比拉伸函數;局部強度順序模式

中圖分類號： TP391.413

文獻標志碼：A

Abstract： Focusing on the problem that current image matching algorithm based on local feature has low correct rate of illumination change sensitive matching， an image matching algorithm with illumination robustness was proposed. Firstly， a Real-Time Contrast Preserving decolorization （RTCP） algorithm was used for grayscale image， and then a contrast stretching function was used to simulate the influence of different illumination transformation on image to extract feature points of anti-illumination transformation. Finally， a feature point descriptor was established by using local intensity order pattern. According to the Euclidean distance of local feature point descriptor of image to be matched， the Euclidean distance was determined to be a pair matching point. In open dataset， the proposed algorithm was compared with Scale Invariant Feature Transform （SIFT） algorithm， Speeded Up Robust Feature （SURF） algorithm， the “wind” （KAZE） algorithm and ORB （Oriented FAST and Rotated， BRIEF） algorithm in matching speed and accuracy. The experimental results show that with the increase of image brightness difference， SIFT algorithm， SURF algorithm， the “wind” algorithm and ORB algorithm reduce matching accuracy rapidly， and the proposed algorithm decreases matching accuracy slowly and the accuracy is higher than 80%. The proposed algorithm is slower to detect feature points and has a higher descriptor dimension， with an average time of 23.47s. The matching speed is not as fast as the other four algorithms， but the matching quality is much better than them. The proposed algorithm can overcome the influence of illumination change on image matching.

Key words： image matching; illumination robustness; color-to-gray conversion; contrast stretching function; local intensity order pattern

0 引言

基于局部特征點的圖像匹配被廣泛地應用在圖像識別、圖像拼接、目標跟蹤等領域。在實際采集圖像中，光照變化致使同一物體反射的光線發生變化，造成成像亮度不同;不同相機的光感特性不同也會造成同一物體成像后存在亮度變化;并且亮度較低的圖像，在進行脫色時會造成大量信息的丟失，這會給局部特征提取、描述符建立和匹配帶來困難。

針對光照變化造成圖像匹配困難的問題，國內外學者提出了許多具有光照魯棒性的圖像匹配算法。文獻[1]中提出尺度不變特征變換（Scale Invariant Feature Transform， SIFT）的特征點檢測和匹配算法，匹配效果較好，但未考慮脫色后圖像的信息的丟失和亮度變化，且算法復雜度較高。文獻[2]中提出加速魯棒特征（Speeded Up Robust Feature， SURF）算法的特征點提取與匹配，其復雜度比SIFT算法低，魯棒性好，但亮度變化時效果欠佳。文獻[3]在SIFT算法上進行改進的ASIFT（Affine Scale Invariant Feature Transform）算法，只考慮了仿射空間中圖像特征點提取和匹配，未考慮圖像亮度和灰度化對圖像匹配的影響。文獻[4]中提出一種新型的灰度化圖像算法，提高了圖像的對比度，在該灰度圖像上SIFT、SURF等算法特征點檢測和匹配擁有更好的效果，但沒有考慮光照對圖像匹配的影響。文獻[5]建立了更高維度特征點描述符的BRISK（Binary Robust Invariant Scalable Keypoint）算法，對模糊圖像匹配有很好的性能，但描述符維度過高匹配時間較長，對光照變化和灰度化信息丟失未進行考慮。文獻[6]使用Oriented Fast算法選取特征點Rotated BRIEF（Binary Robust Independent Elementary Feature）建立描述符，魯棒性好、速度快，但易受光照變換的影響。文獻[7]模擬人眼識別物體進行匹配，速度快但精度相比上述算法較低。文獻[8-9]利用光照魯棒性的特征點提取變換算法，但算法復雜度很高，實時性差。文獻[10]在仿射空間中對亮度不同的圖像進行匹配，匹配效果很好，計算量卻很大，不適合實時圖像匹配。文獻[11]從改進Hu不變矩出發，使其具有光照魯棒性，卻未考慮彩色圖像脫色后信息丟失。文獻[12]利用灰度信息在高維向量空間中，利用非線性相關進行圖像匹配速度較快，一定程度上具有光照魯棒性，卻未考慮圖像脫色造成的色彩信息丟失。

針對上述算法不考慮彩色圖像灰度化圖像局部信息丟失、對光照魯棒性差等問題，本文提出一種具有光照魯棒性算法，該算法用實時對比保留去色（Real-Time Contrast Preserving decolorization， RTCP）算法[13]對圖像進行預處理，使用對比拉伸函數模擬不同光照變換對圖像影響從而提取特征點，最后使用局部強度順序模式（Local Intensity Order Pattern for feature description， LIOP）[14]建立特征描述符。實驗結果表明，對光照差異較大的待匹配圖像，本文提出的匹配算法具有很強的魯棒性。

1 圖像預處理

若輸入圖像為RGB空間色彩，直接使用固定權值把RGB色彩空間映射到灰度空間，會造成大量色彩信息丟失。這會給特征點提取、描述符建立帶來巨大誤差?；谧钚』荻日`差模型的RTCP算法，可以生成具有更多細節的灰度圖像。具體步驟如下。

2 圖像匹配

2.1 特征點提取

針對傳統的SIFT算法、ORB（Oriented FAST and Rotated BRIEF）算法提取特征點時，僅根據當前像素值大小，易受光照影響。本文提出使用對比拉伸函數模擬不同光照對圖像的影響，再利用積分Harris矩陣檢測特征點。具體步驟如下。

式（11）利用黎曼積分思想，累加以拉伸中心c生成的對比拉伸圖像特征相應函數R（x，y，c），Rarea對于不同的光照強度不敏感，可以提取具有光照不變性的特征點。在本文中若某一像素的Rarea>30，則該像素為特征點。

2.2 描述符建立

SIFT、SURF、KAZE[15]和ORB等算法都需要以特征點為中心選取像素塊建立描述符的主方向，主方向依據像素塊內像素的梯度或像素值建立，因此當光照不同時描述符的魯棒性欠佳。為避免這一狀況，本文提出使用局部強度順序算法建立描述符。若是以特征點為中心的特征區域有L個像素點，并按照像素大小順序排列，表示為：Osort={xk1，xk2，…，xkL}，xk1≤xk2≤…≤xkL，x表示像素點的值，k為像素點的索引號。按照排列順序可以把特征區域分為B個子區域，每個子區域的像素點數為S=nL/B，其中n為子區域的排序號，具體劃分方式如圖1。

以特征點X為中心的特征區域上的一個像素點x，以像素點x為圓心、R為半徑的圓上均勻取N個采樣點，第一個采樣點是Xx方向，剩下采樣點為第一個采樣點的逆時針方向在圓上均勻采樣。如圖2（a）中圓上有N=4個采樣點，用P（x）={x1，x2，…，xN}表示N個采樣點的像素值構成N維向量。構建LIOP（Local Intensity Order Pattern for Feature Description）描述符步驟如下。

2）以采樣點數量N，建立像素值強度排列順序索引表，如圖2（d）為N=4建立的強度排列順序索引表，π為索引值。

3）以γ（P）=π映射的索引值編碼N！的向量，可表示為：

其中Ind（π）表示索引值π在索引表對應的索引若π為矢量、向量或矩陣，此處π的值好象是數值，如何理解？，向量φ（π）第Ind（π）=1此句不通順，作相應調整，其余值均為0。構建方式，如圖2。

4）特征區域中單個像素點的LIOP描述符建立方式如式（14）：

對同一個子區域的像素點的LIOP的描述符相加，得到該子區域的描述符，把所有子區域的描述串聯便得到整個特征區域的描述符，表示為：

其中B表示為特征區域分為子區域的個數，則特征區域的描述符的維數為N！×B。

2.3 特征點匹配

在本文中N=4，B=6，可以計算出LIOP描述符的維數為144。若是兩幅圖像上的特征點分別為（x1，y1）和（x2，y2），則計算兩點之間的歐氏距離，可表示為：

借鑒SIFT算法的思想，若Lmin/Lmin-1≤0.6，則認為該對匹配點是正確的，其中Lmin為兩幅圖像特征點之間最近歐氏距離，Lmin-1為兩幅圖像特征點之間次近距離。

3 實驗與結果分析

3.1 實驗過程

為了驗證本文提出的算法具有很好的光照魯棒性，選擇具有代表性的基于局部特征的圖像匹配算法進行對比實驗。SIFT算法是最經典的匹配算法;SURF算法是對SIFT算法的改進具有更強的魯棒性;KAZE算法首次提出非線性金字塔，大幅度增加了匹配的魯棒性;ORB算法是較為穩定的二進制描述符匹配算法。故選擇SIFT算法、SURF算法、KAZE算法、ORB算法和所提算法在文獻[14]和INRIA數據庫中亮度不同的圖像進行對比實驗。

本實驗的實驗平臺為個人筆記本，配置AMD A8-4500 1.9GHz，4GB內存，操作系統為Windows 10，基于OpenCV 2.413在Visual Studio 2013上進行實驗。

3.2 實驗結果

為了驗證本文算法對于亮度差異圖像特征點匹配的優越性，使用文獻[14]提供的5張亮度等級不同的圖像和INRIA數據庫提供的6張亮度等級不同的圖像對SIFT算法、SURF算法、AKZE算法、ORB算法和本文提出的算法進行測試。圖3為RTCP算法灰度化文獻[14]和INRIA數據庫提供的亮度不同圖像，從感官角度判斷：隨著圖像亮度的減小，圖像內容模糊程度逐漸增加。

利用圖3（a）分別與圖3（b）、3（c）、3（d）、3（e）和3（f）（記為對比組1～5）進行匹配，匹配正確率如圖4（a）;使用圖3（g）分別與圖3（h）、3（m）、3（n）和3（o）（記為對比組1～4）匹配，各種算法的匹配正確率如圖4（b）。由圖4可看出，隨著亮度差異的增加，各種算法的匹配正確率逐漸下降。KAZE算法采用非線性濾波算法搭建金字塔，更好地保護了圖像邊緣信息，在圖像亮度較低時，保留了更多圖像信息，使得描述符的魯棒性增加，故在亮度差異增加時，匹配正確率下降較少。SIFT算法以圖像的梯度方向作為主方向建立梯度描述符，在亮度變換較大時，描述符的魯棒性嚴重下降，故隨著亮度差異的增加，匹配正確率快速下降。SURF算法構建描述符的主方向依賴局部梯度，當亮度差異較大時主方向變換很大，成對匹配點計算歐氏距離維度對應錯誤，故匹配正確率隨亮度差異增加下降也較快。FAST算法比較不同像素的大小檢測特征點，當亮度較低時FAST算法提取特征點效果較差;ORB算法描述符為二進制描述符，比較特征區域中像素值大小建立描述符，故ORB算法的魯棒性最差，隨著亮度差異增加匹配正確率下降速度最快。本文算法先利用RTCP算法獲得具有更多信息的灰度圖像，再利用對比拉伸函數模擬不同光照對圖像影響，使用積分的方式檢測具有光照魯棒性的特征點，LIOP算法對特征區域投影計算描述符，不以梯度建立描述和尋找主方向，使得描述符的光照魯棒性增加，故在亮度差異較大時，匹配正確率下降速度緩慢。

SIFT算法相比SURF算法，采用128維描述符，故速度要低于SURF算法。KAZE算法需要解非線性函數，故匹配速度不及SURF算法，描述符為64維匹配速度要優于SIFT算法。FAST算法檢測特征點速度較快，BRIEF算法建立二進制描述符，故ORB算法匹配速度最快。RTCP算法相比Matlab和OpenCV的灰度化函數速度較慢，模擬不同光照的對比拉伸函數需要利用積分的思想多次處理圖像，LIOP描述符維度為144匹配過程相比128維描述符較慢，故本文所提方法在速度上不及另外四種算法。SIFT算法、SURF算法、KAZE算法、ORB算法和本文算法匹配速度由表1數據排序：ORB算法、SURF算法、KAZE算法、SIFT算法和本文算法。

4 結語

針對現有匹配算法大多數不具有良好的光照魯棒性的現狀，本文提出利用RTCP算法對RGB圖像進行脫色處理，用對比拉伸函數模擬光照變換提取抗光照變換特征點，利用LIOP算法提取特征點描述符進行匹配。實驗結果表明：本文算法相比SIFT算法、SURF算法、KAZE算法和ORB算法具有更好的光照魯棒性，但匹配速度不及上述四種算法，在對實時要求不高的場合可以使用。在后續的工作中，需要對匹配速度進一步提升。

參考文獻 （References）

[1] LOWE D G. Distinctive image features from scale-invariant key-points [J]. International Journal of Computer Vision， 2004， 60（2）： 91-110.

[2] BAY H， ESS A， TUYTELAARS T， et al. SURF： speeded up robust features [J]. Computer Vision and Image Understanding， 2008， 110（3）： 346-359.

[3] MOREL J M， YU G. ASIFT： a new framework for fully affine invariant image comparison [J]. SIAM Journal on Imaging Sciences， 2009， 2（2）： 438-469.

[4] ANCUTI C O， ANCUTI C， BEKAERT P. Decolorizing images for robust matching [C]// Proceedings of the 2010 IEEE International Conference on Image Processing. Piscataway， NJ： IEEE， 2010： 149-152.

[5] LEUTENEGGER S， CHLI M， SIEGWART R. BRISK： binary robust invariant scalable keypoints [C]// ICCV 2011： Proceedings of the 2011 IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE， 2011： 2548-2555.

[6] RUBLRR E， RABAUD V， KONOLIGE K， et al. ORB： an efficient alternative to SIFT or SURF [C]// ICCV 2011： Proceedings of the 2011 International Conference on Computer Vision. Piscataway， NJ： IEEE， 2011： 2564-2571.

[7] ALAHI A， ORTIZ R， VANDERGHEYNST P. FREAK： fast retina keypoint [C]// Proceedings of the2012 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2011： 510-517.

[8] GEVREKCI M， GUNTURK B K. Illumination robust interest point detection [J]. Computer Vision and Image Understanding， 2009， 113（4）： 565-571.

[9] 劉天亮，戴修斌，陳昌紅，等.對光照變化魯棒的快速關鍵點提取與匹配[J].東南大學學報（自然科學版），2012，42（3）：413-418.（LIU T L， DAI X B， CHEN C H， et al. Fast keypoint extraction and matching robust to illumination changes [J]. Journal of Southeast University （Natural Science Edition）， 2012， 42（3）： 413-418.）

[10] PENG O， SHOUYI Y， LEIBO L， et al. A FAST extreme illumination robust feature in affine space [C]// Proceedings of the 2014 International Conference on Pattern Recognition. Piscataway， NJ： IEEE， 2014： 2365-2370.

[11] 劉歡，郝礦榮，丁永生，等.光照魯棒的抗模糊新組合不變矩圖像匹配方法[J].傳感技術學報，2013，26（9）： 1258-1264.（LIU H， HAO K R， DING Y S， et al. An image matching method of new illumination-robust and anti-blur combined moment invariants [J]. Chinese Journal of Sensors and Actuators， 2013， 26（9）： 1258-1264.）

[12] 呂文先，彭啟民，呂玉增.光照魯棒的非線性相關圖像匹配方法[J].計算機輔助設計與圖像學報，2009，21（6）：825-830.（LYU W X， PENG Q M， LYU Y Z. Illumination-robust image matching based on non-linear correlation [J]. Journal of Computer Aided Design & Computer Graphics， 2009， 21（6）： 825-830.）

[13] LU C W， XU L， JIA J Y. Contrast preserving decolorization [C]// Proceedings of the 2012 IEEE International Conference on Computational Photography. Piscataway， NJ： IEEE， 2012： 1-7.

[14] WANG Z H， FAN B， WANG G， et al. Exploring local and overall ordinal information for robust feature description [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 12（30）： 2513-2529.

[15] ALCANTARILLA P F， BARTOLI A， DAVISON A J. KAZE feature [C]// Proceedings of the 12th European Conference on Computer Vision. Berlin： Springer， 2012： 214-227.

[16] LU C W， XU L， JIA J Y. Real-time contrast preserving decolorization [C]// Proceedings of the SIGGRAPH Asia 2012 Technical Briefs. New York： ACM， 2012： Article No. 34.

[17] 盧紅陽，劉且根，熊嬌嬌，等.基于最大加權投影求解的彩色圖像灰度化對比度保留算法[J].自動化學報，2017，43（5）：843-854.（LU H Y， LIU Q G， XIONG J J， et al. Maximum weighted projection solver for contrast preserving decolorization [J]. Acta Automatica Sinica， 2017， 43（5）： 843-854.）

[18] MAIR E， HAGER G， BURSCHKA D， et al. Adaptive and generic corner detection based on the accelerated segment test [C]// Proceedings of the 2010 European Conference on Computer Vision， LNCS 6312. Berlin： Springer， 2010： 183-196.

[19] CALONDER M， LEPETIT V， STRECHA C， et al. BRIEF： computing a local binary descriptor very fast [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2012， 34（7）： 1281-1298.

[20] 王輝，陳小雕，王毅剛.改進的非線性全局映射灰度化方法[J].計算機輔助設計與圖形學學報，2013，25（10）：1476-1479.（WANG H， CHEN X D， WANG Y G. The improved color-to-gray via nonlinear global mapping[J]. Journal of Computer-Aided Design and Computer Graphics， 2013， 25（10）： 1476-1479.）

[21] TANG F， LIM S H， CHAN N L， et al. A novel feature descriptor invariant to complex brightness changes [C]// Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2009： 2631-2638.