SIFT遙感影像快速配準(zhǔn)方法

丁海燕，劉合輝，劉春菊

（1. 61175部隊(duì)，武漢 430074）

SIFT遙感影像快速配準(zhǔn)方法

丁海燕1，劉合輝1，劉春菊1

（1. 61175部隊(duì)，武漢 430074）

針對(duì)SIFT算法存在內(nèi)存消耗多、運(yùn)算速度慢的問(wèn)題，采用金字塔和分塊策略，首先對(duì)原始影像進(jìn)行粗配準(zhǔn)，然后再作分塊影像匹配，在匹配過(guò)程中根據(jù)局部熵過(guò)濾掉冗余特征點(diǎn)，并使其均勻分布于影像，以實(shí)現(xiàn)精確配準(zhǔn)。對(duì)錯(cuò)誤匹配點(diǎn)先利用相關(guān)系數(shù)初步剔除錯(cuò)誤點(diǎn)，再利用極線約束對(duì)錯(cuò)誤匹配點(diǎn)進(jìn)行精細(xì)剔除，最后將RANSAC算法應(yīng)用于剩下的匹配點(diǎn)，進(jìn)一步提高匹配精確度。

SIFT；影像配準(zhǔn)；極線約束；點(diǎn)特征

影像配準(zhǔn)是多源數(shù)據(jù)融合、變化檢測(cè)、影像鑲嵌、運(yùn)動(dòng)檢測(cè)和目標(biāo)識(shí)別等諸多遙感應(yīng)用的前期工作，其結(jié)果好壞直接影響后續(xù)工作的質(zhì)量[1]。基于灰度的配準(zhǔn)算法對(duì)幾何形變較為敏感，難以解決遙感影像中不連續(xù)、陰影、被遮蔽以及不同波段之間影像配準(zhǔn)的問(wèn)題[2]。基于特征的配準(zhǔn)算法通過(guò)提取點(diǎn)、線、面特征來(lái)實(shí)現(xiàn)影像之間的配準(zhǔn)，可以在一定程度上解決上述問(wèn)題。在基于點(diǎn)特征的影像配準(zhǔn)算法中，SIFT（尺度不變特征變換）算法具有尺度和旋轉(zhuǎn)不變性[3]，對(duì)于較大范圍內(nèi)的仿射形變、三維視點(diǎn)變化、噪聲和明度變化可以提供穩(wěn)健的匹配，在影像配準(zhǔn)中得到了廣泛應(yīng)用。

1 SIFT算法原理步驟

SIFT算法是一種提取圖像局部特征的算法，通過(guò)在高斯差分尺度空間（difference of gaussian，DOG）尋找極值點(diǎn)作為關(guān)鍵點(diǎn)，提取尺度、亮度、旋轉(zhuǎn)不變量。基于SIFT點(diǎn)特征的提取與匹配算法由點(diǎn)特征提取、特征描述子計(jì)算和特征匹配3步組成[4]。

1）對(duì)原始影像采用不同標(biāo)準(zhǔn)差σ進(jìn)行高斯平滑，然后對(duì)平滑后的影像求差，得到高斯差分影像。在差分影像上取灰度值極大或極小的點(diǎn)作為特征點(diǎn)。高斯平滑公式如式（1）[5]：

2）以特征點(diǎn)為中心，取給定高寬的影像區(qū)域，計(jì)算該區(qū)域內(nèi)每個(gè)像元的梯度方向和梯度強(qiáng)度。統(tǒng)計(jì)不同梯度方向上的梯度強(qiáng)度總和，以此構(gòu)成特征向量。

3）計(jì)算待配準(zhǔn)影像和參考影像上不同特征點(diǎn)的特征向量的歐氏距離，將距離最小的特征點(diǎn)作為初始匹配點(diǎn)，并根據(jù)最鄰近和次鄰近的歐氏距離之比剔除誤匹配點(diǎn)。

2 提高SIFT運(yùn)算效率與特征點(diǎn)分布均勻性

2.1 金字塔和分塊策略

在原始影像的基礎(chǔ)上構(gòu)建影像金字塔，采取由粗到精的策略，從上層金字塔開(kāi)始匹配，然后遞推到下一層，并為下一層金字塔的匹配提供控制參數(shù)，具體思路如下：

1）對(duì)原始影像進(jìn)行重采樣，生成高寬均小于給定閾值的縮小影像，并利用SIFT特征匹配實(shí)現(xiàn)縮小影像之間的配準(zhǔn)，獲得初始變換參數(shù)。

2）對(duì)原始待配準(zhǔn)影像進(jìn)行重采樣，生成初步消除縮放、平移和旋轉(zhuǎn)形變之后的粗配準(zhǔn)影像，確定粗配準(zhǔn)影像和參考影像的重疊區(qū)域，在重疊區(qū)內(nèi)對(duì)待配準(zhǔn)和參考影像進(jìn)行分塊。

3）在分塊影像中分別提取SIFT特征點(diǎn)，并進(jìn)行特征匹配。

4）收集各分塊影像的匹配點(diǎn)并剔除粗差，得到最終的匹配點(diǎn)集，解算幾何變換模型參數(shù)，生成精確配準(zhǔn)影像。

2.2 過(guò)濾冗余特征點(diǎn)并均勻分布剩余特征點(diǎn)

遙感影像具有數(shù)據(jù)量大和紋理信息豐富的特點(diǎn)，影像匹配可以得到大量的SIFT特征匹配點(diǎn)[6]，但匹配點(diǎn)數(shù)目過(guò)多也可能帶來(lái)一些問(wèn)題，如解算幾何模型參數(shù)時(shí)存在冗余，實(shí)際所需要的控制點(diǎn)數(shù)目可能遠(yuǎn)小于匹配點(diǎn)數(shù)目；會(huì)增加后續(xù)特征匹配的運(yùn)算量，導(dǎo)致運(yùn)算效率下降。

影像配準(zhǔn)的成功率和可靠性在很大程度上取決于特征點(diǎn)的質(zhì)量與分布情況，因此，在兼顧效率與精度的情況下，應(yīng)在剔除冗余數(shù)據(jù)點(diǎn)的同時(shí)保證特征點(diǎn)分布均勻，具體思路如下：

1）確定所需特征點(diǎn)的總數(shù)N。太多的點(diǎn)會(huì)增加匹配的計(jì)算量，而太少的點(diǎn)可能會(huì)導(dǎo)致匹配失敗。

2）根據(jù)標(biāo)準(zhǔn)SIFT生成高斯尺度空間，該空間包含ON個(gè)組，每個(gè)組包含LN層，初始尺度因子為σ0。對(duì)每一層利用標(biāo)準(zhǔn)SIFT算法提取特征點(diǎn)作為初始候選點(diǎn)，剔除對(duì)比度區(qū)間前15%不可靠的特征點(diǎn)。由式（2）計(jì)算所需特征點(diǎn)個(gè)數(shù)Nol[2]：

將當(dāng)前尺度層影像劃分為規(guī)則格網(wǎng)，并且根據(jù)式（3）計(jì)算每個(gè)格網(wǎng)單元所需的特征點(diǎn)個(gè)數(shù)n_celli：

式中，Ei表示格網(wǎng)單元i的信息量（熵），由式（4）計(jì)算得到；WE和Wn分別表示信息量和所需特征數(shù)量的權(quán)重，MCi為平均對(duì)比度[7]。

每一格網(wǎng)單元保留3×n_celli個(gè)高對(duì)比度點(diǎn)，拋棄其他低對(duì)比度的點(diǎn)。由標(biāo)準(zhǔn)SIFT算法計(jì)算保留點(diǎn)的精確位置和尺度，然后用閾值T=10的主曲率分析方法去除質(zhì)量較低的特征點(diǎn)。由式（4）計(jì)算剩余特征點(diǎn)的信息量熵，然后在格網(wǎng)單元里選取信息量熵最大的n_celli個(gè)特征點(diǎn)。

3）由標(biāo)準(zhǔn)SIFT算法計(jì)算提取的特征點(diǎn)的主方向并生成特征描述子。

2.3 算法并行實(shí)現(xiàn)

由于多核環(huán)境采用的是共享存儲(chǔ)模式，易于實(shí)現(xiàn)算法級(jí)別上的并行，本文針對(duì)各環(huán)節(jié)的特點(diǎn)分別進(jìn)行并行化。在各處理步驟之間保持串行處理，在具體實(shí)現(xiàn)每一步驟時(shí)，則根據(jù)處理單元數(shù)目以像元或者特征點(diǎn)為單元進(jìn)行并行計(jì)算。

3 剔除SIFT錯(cuò)誤匹配點(diǎn)

經(jīng)過(guò)以上步驟得到的SIFT匹配點(diǎn)依然會(huì)存在大量的錯(cuò)誤匹配點(diǎn)，這些錯(cuò)誤匹配點(diǎn)對(duì)圖像定位、圖像配準(zhǔn)和圖像特征庫(kù)的建立等都會(huì)產(chǎn)生嚴(yán)重的影響，所以研究如何刪除錯(cuò)誤匹配點(diǎn)具有重要意義。

3.1 相關(guān)系數(shù)初剔除

給出基準(zhǔn)圖像中的特征點(diǎn)x（u，v），使用中心位于該點(diǎn)、尺寸大小為（2n+1）×（2m+1）的窗口作為目標(biāo)窗口，對(duì)該特征點(diǎn)在待配準(zhǔn)圖像中對(duì)應(yīng)的一個(gè)或多個(gè)特征點(diǎn)xi'（u'，v'）在大小為（2n+1）×（2m+1）的搜索窗口完成一個(gè)相關(guān)操作。其中，相關(guān)系數(shù)由公式（5）給出[2]：

式中，E（x）是以特征點(diǎn)為中心的（2n+1）×（2m+1）大小的矩形區(qū)域內(nèi)（相關(guān)窗口）的灰度均值。

由于在初步建立的特征匹配關(guān)系中，存在“一對(duì)多”或“多對(duì)一”的匹配關(guān)系，因此要保留相關(guān)系數(shù)最大的匹配點(diǎn)對(duì)，去除其他的匹配關(guān)系，建立一對(duì)一的匹配關(guān)系。

3.2 對(duì)極幾何約束

對(duì)極幾何關(guān)系可以用基礎(chǔ)矩陣F來(lái)描述,該矩陣包含了相機(jī)所有的內(nèi)部和外部參數(shù)信息，獨(dú)立于場(chǎng)景結(jié)構(gòu)，僅由兩幅圖像中的對(duì)應(yīng)點(diǎn)就可以求出。因此，對(duì)極幾何關(guān)系的求解可歸結(jié)為如何精確、魯棒地估計(jì)F。

假設(shè)同一場(chǎng)景的兩幅影像為I、I'，mi和 mi'分別為一空間點(diǎn)M在兩幅影像中的投影點(diǎn)，則mi'必定位于mi在圖像 I'中的對(duì)極線l'（ l'=Fm）上，即

由于實(shí)際中存在噪聲、錯(cuò)誤匹配以及計(jì)算誤差，使得對(duì)應(yīng)點(diǎn)不能恰好位于對(duì)應(yīng)極線上，它們之間存在一定的距離。當(dāng)用殘差mi'TFMi來(lái)表征誤差的大小時(shí)，矩陣F的估計(jì)就轉(zhuǎn)化為用最小二乘法求解使殘差最小的無(wú)約束最優(yōu)化問(wèn)題。

M-Estimators算法根據(jù)每個(gè)點(diǎn)對(duì)估計(jì)基礎(chǔ)矩陣的貢獻(xiàn)不同，對(duì)其進(jìn)行加權(quán)處理[5]，降低誤差大的點(diǎn)對(duì)估計(jì)基礎(chǔ)矩陣的影響。M-Estimators算法對(duì)每個(gè)點(diǎn)的殘差進(jìn)行加權(quán)處理，以此抑制大殘差的外點(diǎn)（outliers）對(duì)矩陣F估計(jì)過(guò)程的影響。用ri表示殘差mi'TFMi，則M-Estimators算法就是求解下面的表達(dá)式：

其中，wi是權(quán)重函數(shù),由式（8）給出；σ為殘差中誤差。

算法具體步驟如下：

1）用最小二乘法估計(jì)初始的基礎(chǔ)矩陣F，特征點(diǎn)對(duì)的權(quán)值均為1。

2）計(jì)算每個(gè)特征點(diǎn)對(duì)的殘差，大于閾值T1時(shí)去除該點(diǎn)對(duì)。

3）用剩余特征點(diǎn)對(duì)計(jì)算新的基礎(chǔ)矩陣F、權(quán)值函數(shù)wi。

4）轉(zhuǎn)步驟2，直到所有特征點(diǎn)對(duì)的殘差小于閾值T2。 5）最后對(duì)剩余的匹配點(diǎn)對(duì)應(yīng)用RANSAC算法進(jìn)一步剔除錯(cuò)誤點(diǎn)，使匹配精度進(jìn)一步提高。

4 基于優(yōu)化SIFT算法的影像配準(zhǔn)

基于優(yōu)化SIFT算法的影像配準(zhǔn)流程為：首先利用上述優(yōu)化算法獲得匹配點(diǎn)對(duì)，然后將匹配點(diǎn)對(duì)作為后續(xù)影像配準(zhǔn)的同名點(diǎn)對(duì),并利用最小二乘法求解配準(zhǔn)模型變換參數(shù),以實(shí)現(xiàn)影像精確自動(dòng)配準(zhǔn)。

5 實(shí)驗(yàn)分析與結(jié)論

為了評(píng)價(jià)算法改進(jìn)部分對(duì)配準(zhǔn)精度和效率的影響，本文選取正寧地區(qū)的無(wú)人機(jī)黃土影像（2 848×4 272像素）進(jìn)行了實(shí)驗(yàn)。在實(shí)驗(yàn)過(guò)程中，預(yù)先通過(guò)人工選擇或者匹配得到控制點(diǎn)解算幾何變換模型，然后根據(jù)變換模型判定匹配點(diǎn)是否正確。影像采用一次多項(xiàng)式幾何模型，判定的粗差閾值設(shè)定為2個(gè)像元。剔除粗差后，以匹配點(diǎn)集的均方根誤差（RMSE）評(píng)價(jià)配準(zhǔn)精度，正確率和均方根誤差分別為：

式中，Vxi和Vyi分別為待配準(zhǔn)影像上第i個(gè)匹配點(diǎn)X方向和Y方向的殘余誤差，n為匹配點(diǎn)的數(shù)目。

如圖1所示，標(biāo)準(zhǔn)SIFT匹配點(diǎn)對(duì)582對(duì),其中存在有大量交叉連接線，在攝像機(jī)視角變化不大的情況下，一般為錯(cuò)誤匹配點(diǎn)對(duì)。經(jīng)過(guò)相關(guān)系數(shù)、極線約束、RANSAC剔除粗差點(diǎn)對(duì)和過(guò)濾冗余點(diǎn)后，取均勻分布的正確匹配點(diǎn)對(duì)120對(duì)，如圖2所示。表1為正確匹配點(diǎn)對(duì)的像片坐標(biāo)和X、Y方向殘差。實(shí)驗(yàn)結(jié)果說(shuō)明此優(yōu)化SIFT算法匹配正確率有著很大提高，同時(shí)匹配點(diǎn)對(duì)在重疊區(qū)域分布較好。以此算法得到的匹配點(diǎn)對(duì)進(jìn)行配準(zhǔn)，得到結(jié)果如圖3，其全局RMSE為1.57，說(shuō)明此優(yōu)化算法配準(zhǔn)精度很好。

同時(shí)，在采用了金字塔和分塊、特征點(diǎn)過(guò)濾和并行化策略后，速度有了很大提升。選擇一臺(tái)Intel 4核CPU，主頻3.1 GHz，內(nèi)存4.00 GB，操作系統(tǒng)為Microsoft Windows 7的計(jì)算機(jī)執(zhí)行設(shè)計(jì)程序。在4核并行下，處理時(shí)間由13 859 ms下降到了3 353 ms。

圖1 標(biāo)準(zhǔn)SIFT結(jié)果

圖2 正確匹配點(diǎn)對(duì)

表1 正確點(diǎn)對(duì)像片坐標(biāo)和X、Y方向殘差

圖3 配準(zhǔn)拼接結(jié)果

6 結(jié) 語(yǔ)

本文針對(duì)SIFT算法在遙感影像配準(zhǔn)中存在內(nèi)存消耗多、運(yùn)算速度慢的問(wèn)題，從金字塔和分塊策略、特征點(diǎn)過(guò)濾和并行化3個(gè)方面對(duì)原算法進(jìn)行了改進(jìn)。實(shí)驗(yàn)證明，改進(jìn)后的算法對(duì)大范圍遙感影像之間的配準(zhǔn)具有較好的適應(yīng)性，算法效率也得到顯著提高。對(duì)于SIFT算法存在大量錯(cuò)誤點(diǎn)對(duì)的問(wèn)題，從相關(guān)系數(shù)、極線約束和RANSAC 3個(gè)方面進(jìn)行優(yōu)化，通過(guò)比較，改進(jìn)后算法能夠較好地剔除粗差點(diǎn)，提升配準(zhǔn)精度。不過(guò)，算法改進(jìn)部分對(duì)配準(zhǔn)精度的影響存在一定的隨機(jī)性，因而在實(shí)際應(yīng)用中應(yīng)當(dāng)根據(jù)精度和效率的需要合理設(shè)置參數(shù)。

[1] 張曼祺.基于線特征的多源遙感影像配準(zhǔn)研究[M].南京:河海大學(xué),2006

[2] 張劍清,潘勵(lì),王樹(shù)根.攝影測(cè)量學(xué)[M].武漢:武漢大學(xué)出版社,2003

[3] LOWE D G. Distinctive Image Features from Scale-invariant Key Points[J]. International Journal of Computer Vision,2004, 60(2):91–110

[4] MOREL J M,YU G.ASIFT:a New Framework for Fully Affine Invariant Image Comparison[J].Siam Journal on Imaging Sciences,2009, 2(2): 438–469

[5] KAN K,SUKTHANKAR R. PCA-SIFT: a More Distinctive Representation for Local Image Descriptors[D]. Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE Computer Society,2004

[6] 李芳芳,肖本林,賈永紅,等．SIFT算法優(yōu)化及其用于遙感影像自動(dòng)配準(zhǔn)[J].武漢大學(xué)學(xué)報(bào)（信息科學(xué)版）,2009,34(10): 1 245-1 249

[7] JI Hua, WU Yuanhao,SUN Honghai,et al. SIFT Feature Matching Algorithm with Global Information[J]. Optics and Precision Engineering, 2009, 17(2): 439-444

P237

B

1672-4623（2017）02-0069-03

10.3969/j.issn.1672-4623.2017.02.022

2015-04-15。

丁海燕，高級(jí)工程師，研究方向?yàn)榈乩硇畔⑾到y(tǒng)。