曾朝陽,程相正,陳 杭,宋一鑠,竇曉杰,黃 超
(1.裝備學(xué)院光電裝備系,北京101416;2.裝備學(xué)院研究生院,北京101416)
基于改進(jìn)SURF算子的高低分辨率圖像配準(zhǔn)方法
曾朝陽1,程相正2,陳 杭2,宋一鑠2,竇曉杰2,黃 超2
(1.裝備學(xué)院光電裝備系,北京101416;2.裝備學(xué)院研究生院,北京101416)
針對(duì)激光三維成像傳感器與可見光傳感器圖像分辨率差異較大,配準(zhǔn)過程中特征點(diǎn)誤匹配情況嚴(yán)重的問題,提出了一種基于改進(jìn)SURF算子的高低分辨率圖像配準(zhǔn)方法。首先,采用雙線性插值算法對(duì)低分辨率圖像進(jìn)行預(yù)處理,然后在經(jīng)典SURF算子的基礎(chǔ)上,采用最近鄰向量匹配法完成SURF特征的粗匹配,并基于特征偏移一致性原則對(duì)匹配情況做進(jìn)一步優(yōu)化,最后結(jié)合RANSAC和最小二乘法求出圖像之間的仿射關(guān)系,利用所求的變換參數(shù)插值得到配準(zhǔn)后的圖像。實(shí)驗(yàn)結(jié)果表明,該配準(zhǔn)方法在保持配準(zhǔn)速度的同時(shí),結(jié)構(gòu)相似性測(cè)量指數(shù)提高了約11%,進(jìn)一步提高了配準(zhǔn)的精度。
圖像處理;高低分辨率配準(zhǔn);SURF;特征偏移一致性
三維重建、場(chǎng)景分析是機(jī)器視覺領(lǐng)域中一項(xiàng)關(guān)鍵性技術(shù),在視覺導(dǎo)航、探測(cè)、識(shí)別等方面有著重要的應(yīng)用。無掃描激光三維成像傳感器可以實(shí)時(shí)地獲取灰度圖像的每個(gè)像素的距離值,對(duì)于三維重建、場(chǎng)景分析具有重要的意義。但是無掃描激光三維成像傳感器分辨率很低,如PMD(Photonic Mixer Device)傳感器的分辨率僅為204×204[1]和160×120[2],APD(Avalanche Photo Diode)陣列激光三維成像傳感器的分辨率為128×128。國外許多學(xué)者利用無掃描激光三維成像傳感器提供的距離信息和高分辨率可見光傳感器提供的灰度信息實(shí)現(xiàn)了場(chǎng)景三維重構(gòu)[3-5]。由于涉及無掃描激光三維成像傳感器和可見光傳感器,需要完成低分辨率圖像和高分辨率圖像的配準(zhǔn),才能實(shí)現(xiàn)圖像融合進(jìn)而實(shí)現(xiàn)場(chǎng)景的三維重構(gòu)。
圖像配準(zhǔn)是指依據(jù)一些相似性度量準(zhǔn)則決定圖像間的變換參數(shù),使從不同傳感器、不同視角、不同時(shí)間、不同光照條件下獲取的同一場(chǎng)景的兩幅或者多幅圖像,變換到同一坐標(biāo)系下,在像素層上得到最佳匹配的過程[6]。圖像配準(zhǔn)技術(shù)是計(jì)算機(jī)視覺領(lǐng)域中的一項(xiàng)基礎(chǔ)性、關(guān)鍵性技術(shù),在圖像拼接、三維重構(gòu)、位姿解算等方面有著廣泛的應(yīng)用。配準(zhǔn)的精度和速度直接影響圖像融合、拼接、三維重構(gòu)的效果。基于圖像特征的配準(zhǔn)方法使用場(chǎng)景限定條件較少,在合理選取圖像的不變特征集后,可以有效地應(yīng)對(duì)圖像的旋轉(zhuǎn)、平移、尺度變化以及較大的圖像內(nèi)容變化[7],成為研究的熱點(diǎn)。文獻(xiàn)[8]針對(duì)低分辨率圖像特征點(diǎn)不明顯,無法完成圖像配準(zhǔn)的問題,提出了一種多尺度高能量偏移點(diǎn)特征配準(zhǔn)算法,實(shí)現(xiàn)了低分辨率圖像之間的配準(zhǔn)。但該算法計(jì)算量大,實(shí)時(shí)性不強(qiáng)。針對(duì)無掃描激光三維成像傳感器分辨率比較低,特征點(diǎn)不明顯,同時(shí)與可見光圖像分辨率差異比較大,特征點(diǎn)誤匹配嚴(yán)重的問題,提出了一種基于改進(jìn)SURF算法的高低分辨率圖像配準(zhǔn)方法。首先利用雙線性插值算法對(duì)低分辨率灰度圖像進(jìn)行插值,接下來基于SURF算子對(duì)高低分辨率圖像分別進(jìn)行特征檢測(cè),利用最近鄰向量匹配法實(shí)現(xiàn)特征點(diǎn)的粗匹配,然后再根據(jù)特征偏移一致性原則和隨機(jī)抽樣一致性原則實(shí)現(xiàn)特征點(diǎn)的精確匹配,最后經(jīng)仿射變換實(shí)現(xiàn)高低分辨率圖像的配準(zhǔn)。
2.1 雙線性插值算法
由于無掃描激光三維成像傳感器所成強(qiáng)度圖像與高分辨率可見光圖像相差10倍左右,直接進(jìn)行配準(zhǔn)無法達(dá)到理想的效果,需要首先對(duì)低分辨率圖像進(jìn)行插值,使得低分辨率圖像和高分辨率圖像具有相同的尺寸。雙線性插值法[9],又稱為雙線性內(nèi)插,其核心思想是在兩個(gè)方向分別進(jìn)行一次線性插值,實(shí)現(xiàn)分辨率和圖像尺寸的增大。雙線性插值和最近鄰點(diǎn)插值法相比,可以產(chǎn)生一個(gè)能保持連續(xù)性和連通性的光滑映射,不會(huì)出現(xiàn)像素不連續(xù)的現(xiàn)象;與雙立方插值算法相比,計(jì)算量小,速度快。因此,選擇雙線性插值算法來實(shí)現(xiàn)低分辨率圖像的升采樣。
2.2 SURF特征點(diǎn)檢測(cè)
SURF算法的計(jì)算速度快,對(duì)圖像的旋轉(zhuǎn)、尺度伸縮、光照、視角等變化保持不變性,尤其對(duì)圖像嚴(yán)重的模糊和旋轉(zhuǎn)處理得非常好[10],因此基于SURF算法來分別提取分辨率差異非常大的兩幅圖像的特征點(diǎn)。Hessian矩陣[11]具有良好的計(jì)算速度和精度,通過計(jì)算每一像素點(diǎn)的行列式從而得到極值。圖像I(x,y)中的一像素點(diǎn)x′=(x,y)在尺度σ上的Hessian矩陣定義為:

其中,Lxx(x,σ)是高斯濾波二階導(dǎo)數(shù)與圖像I的卷積,Lxy(x,σ),Lyy(x,σ)的含義類似[12]。由于積分圖像可以加速卷積計(jì)算,高斯濾波器需要離散化,因此Bay等人[13]提出用方框?yàn)V波(Box Filter)近似代替二階高斯濾波,用積分圖像來加速卷積以提高計(jì)算速度[14]。9×9方框?yàn)V波模板如圖1所示,圖中灰色部分模板值為0,黑色部分值為-2,白色模板部分值為1。

圖1 9×9方框?yàn)V波模板
不同方向不同尺寸方框?yàn)V波與圖像的卷積分別記為Dxx,Dyy,Dxy,進(jìn)一步求得近似Hessian矩陣的行列式:

式中,w是為了補(bǔ)償在計(jì)算Hessian矩陣時(shí)采用近似的高斯二次偏導(dǎo)函數(shù)而不是實(shí)際的高斯卷積核而引入的一個(gè)參數(shù),一般取為0.9[15]。
為了具有尺度不變性,需要建立尺度空間,在不同的尺度上尋找特征點(diǎn)。與經(jīng)典的SIFT算法不同,SURF算法保持圖像大小不變,改變方框?yàn)V波器尺寸大小,從而得到不同尺度的圖像。SURF金字塔尺度空間如圖2所示。在每一階(Octave)中,選擇四層尺度圖像。若方框?yàn)V波器尺寸大小為N×N,則對(duì)應(yīng)的尺度為

圖2 SURF金字塔尺度空間示意圖
用近似Hessian矩陣求出行列式后,需要在3× 3×3的立體空間進(jìn)行非極大值抑制。只有比本尺度周圍8個(gè)、上下尺度周圍各9個(gè)共26個(gè)鄰域值都大或者都小,才能作為候選特征點(diǎn)。由于無掃描激光三維成像傳感器分辨率低,需要進(jìn)行亞像素定位,以得到穩(wěn)定的特征點(diǎn)的準(zhǔn)確位置和尺度。利用H(x)函數(shù)在尺度空間的Taylor展開式進(jìn)行插值,插值所使用的二次擬合函數(shù)為:

對(duì)上式求導(dǎo)并置0,得極值點(diǎn)為:

將極值點(diǎn)代入方程(3)得:

將H(x′)與給定閾值w作比較,小于閾值的點(diǎn)即為響應(yīng)較弱的不穩(wěn)定點(diǎn),予以刪除。一般w取為0.03。
2.3 主方向確定和描述符生成
為保證特征點(diǎn)具有旋轉(zhuǎn)不變性,應(yīng)確定特征點(diǎn)的主方向。首先計(jì)算在以特征點(diǎn)為中心,6σ(σ為像素點(diǎn)所在尺度,下同)為半徑的圓形鄰域內(nèi)所有像素點(diǎn)在x,y方向的Haar小波(濾波器尺寸為4σ×4σ)響應(yīng)d x,d y,表征為向量(d x,d y);然后以特征點(diǎn)為中心對(duì)這些響應(yīng)進(jìn)行高斯加權(quán),使得靠近特征點(diǎn)的響應(yīng)貢獻(xiàn)大,遠(yuǎn)離特征點(diǎn)的響應(yīng)貢獻(xiàn)小;最后采用一個(gè)的扇形區(qū)域窗口進(jìn)行滑動(dòng),計(jì)算窗口內(nèi)所有x,y方向的響應(yīng)和(∑d x,∑d y),取模值最長的向量的方向作為特征點(diǎn)的主方向。Haar小波響應(yīng)如圖3所示。

圖3 Haar小波響應(yīng)
描述符生成如圖4所示。首先,以特征點(diǎn)為中心,一邊與特征點(diǎn)主方向平行,建立邊長為20σ的正方形區(qū)域,同時(shí)將該區(qū)域平均劃分為4×4共16個(gè)子區(qū)域。賦以高斯加權(quán)系數(shù),統(tǒng)計(jì)每一個(gè)子區(qū)域的像素點(diǎn)在x,y方向(相對(duì)于主方向)的Haar小波(濾波器尺寸為2σ×2σ)響應(yīng)之和以及絕對(duì)值之和:∑d x,∑dx,∑d y,∑dy。這樣,在每一個(gè)子區(qū)域形成一個(gè)4維向量V=(∑d x,∑dx,∑d y,∑dy),對(duì)每一個(gè)特征點(diǎn)形成一個(gè)4×(4×4)維的描述符,同時(shí)將向量歸一化,對(duì)光照更具有魯棒性。

圖4 描述符生成示意圖
2.4 改進(jìn)的特征點(diǎn)匹配與高低圖像配準(zhǔn)實(shí)現(xiàn)
由于無掃描激光三維成像傳感器所成圖像分辨率比較低,SURF特征點(diǎn)相對(duì)較少,而可見光成像傳感器分辨率較高,SURF特征點(diǎn)相對(duì)較多。為了避免出現(xiàn)“外點(diǎn)”,這里以可見光圖像為參考圖像,以無掃描激光三維成像傳感器的低分辨率圖像為待配準(zhǔn)圖像。為了能夠從低分辨率圖像中盡量多的提取出特征點(diǎn),SURF特征檢測(cè)時(shí)閾值設(shè)置比較低,這就需要用相似性度量準(zhǔn)則篩選出候選特征點(diǎn),同時(shí)利用優(yōu)化算法去除誤匹配點(diǎn)。這里采用基于歐式距離的最近鄰向量匹配法,對(duì)于低分辨率圖像中的特征點(diǎn),利用K-D樹搜索法在參考圖像中找到與低分辨率圖像特征點(diǎn)歐式距離最近的前兩個(gè)特征點(diǎn)。設(shè)最近距離為d1,次近距離為d2,閾值為w。如果≤w,則該對(duì)特征點(diǎn)為候選特征點(diǎn),否則予以剔除。一般情況下,閾值在[0.4,0.8]區(qū)間內(nèi)較為合理[16]。
SURF算法在圖像特征提取與匹配時(shí),僅考慮了特征點(diǎn)處的局部信息而忽略了圖像的幾何信息,對(duì)于實(shí)現(xiàn)分辨率差異比較大的圖像配準(zhǔn),會(huì)存在著大量的特征點(diǎn)誤匹配。而特征點(diǎn)匹配的精度直接影響圖像間配準(zhǔn)的準(zhǔn)確性,因此有必要從粗匹配中進(jìn)一步篩選出精匹配點(diǎn)。根據(jù)在參考圖像與待配準(zhǔn)圖像中正確匹配特征點(diǎn)連線長度、方向大致相同的特點(diǎn),這里以最近鄰向量匹配法所形成的候選匹配點(diǎn)集為樣本,利用特征點(diǎn)偏移一致性準(zhǔn)則[17]剔除“離群”特征點(diǎn)對(duì),進(jìn)一步篩選出精匹配點(diǎn)。基本原理如下:
設(shè)(u1i,v1i),(u2i,v2i)為參考圖像與待配準(zhǔn)圖像中的一對(duì)候選特征點(diǎn),候選特征點(diǎn)對(duì)連接線矢量為(ui,vi),其中ui=u1i-u2i,vi=v1i-v2i。則得到連接矢量坐標(biāo)均值為(u,v):

對(duì)于連接線矢量(ui,vi),若滿足max{|ui-u|,|viv|}≥ω,則該候選匹配點(diǎn)對(duì)為誤匹配點(diǎn)對(duì),予以剔除。其中ω為偏移閾值,根據(jù)實(shí)際情況選擇不同的值。
得到參考圖像與待配準(zhǔn)圖像之間的特征點(diǎn)對(duì)以后,需要估算出兩幅圖像之間的仿射系數(shù),進(jìn)而對(duì)待配準(zhǔn)圖像利用插值算法進(jìn)行重采樣,實(shí)現(xiàn)圖像之間的配準(zhǔn)。設(shè)(u1,v1,1),(u2,v2,1)為特征點(diǎn)對(duì)的齊次坐標(biāo),根據(jù)仿射矩陣M可得:

理論上講,得到3對(duì)匹配點(diǎn)對(duì)即可計(jì)算出仿射矩陣M。
由于圖像高低分辨率差異比較大,雖然特征點(diǎn)經(jīng)過上述的粗匹配、精匹配,但仍然難免存在誤匹配,影響配準(zhǔn)精度,因此還需要采用基于經(jīng)典隨機(jī)抽樣一致性(RANSAC)算法進(jìn)行特征點(diǎn)對(duì)的進(jìn)一步篩選。首先,從候選特征點(diǎn)對(duì)中隨機(jī)抽取3個(gè)特征點(diǎn)對(duì)建立方程組,求解出M的6個(gè)參數(shù)。計(jì)算特征點(diǎn)經(jīng)過M轉(zhuǎn)換后與候選特征點(diǎn)的距離。若距離小于設(shè)定閾值,則為內(nèi)點(diǎn),否則為外點(diǎn),予以剔除,同時(shí)統(tǒng)計(jì)內(nèi)點(diǎn)個(gè)數(shù)。接下來再次取3個(gè)特征點(diǎn)對(duì),重復(fù)上述步驟,經(jīng)過若干次以后,選取包含內(nèi)點(diǎn)最多的一個(gè)點(diǎn)對(duì)集。最后,利用最小二乘法對(duì)該點(diǎn)對(duì)集求解仿射矩陣M,基于雙線性插值實(shí)現(xiàn)圖像間的配準(zhǔn)。
3.1 實(shí)驗(yàn)仿真
實(shí)驗(yàn)中,仿真平臺(tái)硬件環(huán)境系統(tǒng)為:Intel(R)Core(TM)2 Duo CPU E7500,主頻為2.93GHz,內(nèi)存為2G;軟件開發(fā)環(huán)境為:Windows 7操作系統(tǒng),Matlab(R2010a)。實(shí)驗(yàn)所用待配準(zhǔn)圖像為40×41像素的無掃描激光三維強(qiáng)度圖像,如圖5(a)所示,待配準(zhǔn)圖像經(jīng)雙線性插值算法得到341×341的圖像如圖5(b)所示,參考圖像為341×341像素的可見光圖像,如圖5(c)。

圖5 實(shí)驗(yàn)圖像
實(shí)驗(yàn)仿真步驟為:
1)將低分辨率的待配準(zhǔn)圖像經(jīng)過雙線性插值算法升采樣得到與參考圖像尺寸相同的圖像。
2)利用2.2節(jié)和2.3節(jié)中所述方法進(jìn)行特征點(diǎn)檢測(cè)、確定主方向以及生成描述符,結(jié)果如圖6所示。可以看出,SURF算子對(duì)于低分辨率圖像,檢測(cè)出的特征點(diǎn)比較多(85個(gè)),檢測(cè)效果比較理想,為特征點(diǎn)的匹配打下了良好的基礎(chǔ)。

圖6 SURF特征檢測(cè)
3)基于歐式距離的最近鄰向量匹配法,運(yùn)用K-D樹搜索算法得到候選的特征點(diǎn)粗匹配對(duì)(62對(duì)),如圖7所示。

圖7 最近鄰向量法特征點(diǎn)粗匹配
接下來利用特征偏移一致性原則進(jìn)行候選特征點(diǎn)對(duì)的篩選,剔除“離群”的特征點(diǎn)對(duì),實(shí)現(xiàn)特征點(diǎn)對(duì)的進(jìn)一步優(yōu)化,特征點(diǎn)對(duì)(32對(duì))匹配情況如圖8所示。

圖8 基于特征偏移一致性原則的特征點(diǎn)對(duì)優(yōu)化
4)利用經(jīng)典的隨機(jī)抽樣一致性原則,實(shí)現(xiàn)特征點(diǎn)對(duì)的精確匹配。采用最小二乘法計(jì)算仿射矩陣,基于雙線性插值算法得到最終的配準(zhǔn)圖像,如圖9所示。

圖9 配準(zhǔn)圖像
3.2 仿真實(shí)驗(yàn)結(jié)果分析
為了驗(yàn)證配準(zhǔn)效果,我們引入了圖像間SSIM、匹配點(diǎn)對(duì)RMSE、配準(zhǔn)時(shí)間三個(gè)指標(biāo),來評(píng)價(jià)所提算法的配準(zhǔn)精度和配準(zhǔn)速度。SSIM[18](Structural Similarity Index Measurement)是指結(jié)構(gòu)相似性測(cè)量指數(shù),衡量?jī)煞鶊D像相似性的指標(biāo),其值越大越好,最大為1。人類視覺很容易從圖像中抽取出結(jié)構(gòu)信息,結(jié)構(gòu)相似性測(cè)量指數(shù)從圖像組成的角度來定義結(jié)構(gòu)信息,用協(xié)方差作為兩幅圖像結(jié)構(gòu)相似程度的測(cè)量。實(shí)驗(yàn)中,我們計(jì)算了配準(zhǔn)圖像與融合后圖像之間的SSIM。匹配點(diǎn)對(duì)RMSE[19]是指匹配點(diǎn)對(duì)均方根誤差(Root Mean Square Error),定量評(píng)價(jià)圖像的配準(zhǔn)精度。公式如下:

式中,(pi,qi)是一對(duì)匹配點(diǎn);N是匹配點(diǎn)對(duì)數(shù)量;M是仿射矩陣;f(·)是仿射函數(shù)。實(shí)驗(yàn)中,我們計(jì)算了最終確定仿射矩陣所用的匹配點(diǎn)對(duì)之間的RMSE。
基于改進(jìn)的配準(zhǔn)算法,對(duì)配準(zhǔn)圖像與參考圖像進(jìn)行了融合。為了對(duì)比配準(zhǔn)效果,基于經(jīng)典的SURF算法,進(jìn)行了一組相同的實(shí)驗(yàn)。兩種配準(zhǔn)算法的融合效果如圖10所示,評(píng)價(jià)指標(biāo)數(shù)據(jù)如表1所示。

圖10 兩種不同算法的融合效果圖

表1 評(píng)價(jià)指標(biāo)比較
定性、定量的比較兩種配準(zhǔn)算法,從圖11可以直觀的看出,基于經(jīng)典SURF算法的融合圖像有明顯的模糊現(xiàn)象,而基于改進(jìn)SURF算法的融合圖像比較清晰,顯然配準(zhǔn)更加準(zhǔn)確。從表1可以看出,改進(jìn)算法所需配準(zhǔn)時(shí)間略微增加(需要利用特征偏移一致性原則進(jìn)一步剔除誤匹配點(diǎn)),但匹配點(diǎn)對(duì)均方根誤差RMSE從6.830降為2.295,配準(zhǔn)圖像與融合圖像的結(jié)構(gòu)相似度測(cè)量指數(shù)從0.8887提高到0.9970,提高了約11%。
針對(duì)不同成像傳感器圖像分辨率差異較大,配準(zhǔn)過程中特征點(diǎn)誤匹配情況嚴(yán)重的情況,提出了一種基于改進(jìn)的SURF算子的高低分辨率圖像配準(zhǔn)方法。該方法在經(jīng)典SURF算子的基礎(chǔ)上,采用特征偏移一致性原則對(duì)匹配點(diǎn)對(duì)進(jìn)一步優(yōu)化,有效提高了圖像的配準(zhǔn)精度。通過實(shí)驗(yàn)仿真,證明了該算法的有效性,為后續(xù)的無掃描激光三維圖像與可見光圖像的融合提供了技術(shù)支持。
[1] Zhang Xudong,Shen Yuliang,Hu Liangmei,et al.Improved super-resolution reconstruction algorithm for PMD range image[J].Journal of Image and Graphic,2012,17(4):480-486.(in Chinese)張旭東,沈玉亮,胡良梅,等.改進(jìn)的PMD距離圖像超分辨率重建算法[J].中國圖象圖形學(xué)報(bào),2012,17(4):480-486.
[2] K D Kuhnert,M Stommel.Fusion of stereo-camera and pmd-camera data for real-time suited precise 3d environment reconstruction[C]//Proceedings of the International Conference on Intelligent Robots and System,2006:4780-4785.
[3] Uwe H,Marc A.Combing time-of-flight depth and stereoimages without accurate extrinsic calibration[J].International Journal of Intelligent Systems Technologies and Applications,2008,5(3-4):325-333.
[4] Prasad T A,Hartmann K,Weihs W,et al.First steps in enhancing 3D vision technoque using 2D/3D sensors[C]//Proceedings of the 11th Computer Vision Winter Vision.Prague:Citeseert,2006:82-86.
[5] Huhle B,F(xiàn)leck S,Schilling A.Integrating 3D time-offlight camera data and high resolution images for 3DTV applications[C]//Proceedings of IEEE 3DTV-Conference.Kos Island:IEEE Press,2007:1-4.
[6] Liu Xue,Yao Hongli,Jin shilong.Colored image registration technique based on extended SURF[J].Application Research of Computers,2011,28,(3):1191-1194.(in Chinese)劉學(xué),姚洪利,金世龍.基于擴(kuò)展的SURF描述符的彩色圖像配準(zhǔn)技術(shù)[J].計(jì)算機(jī)應(yīng)用研究,2011,28,(3):1191-1194.
[7] Li Xiaochang,Zhu dan.Image registration method based on region selection and scale-invariant feature[J].Infrared and Laser Engineering,2012,41(2):537-542.(in Chinese)李小昌,朱丹.采用尺度不變特征和區(qū)域選擇的圖像配準(zhǔn)方法[J].紅外與激光工程,2012,41(2):537-542.
[8] Zhou yuchuan,Liu benyong.Registration of low resolution images using high energy offset point feature[J].Journal of Guizhou University:Natural Science,2012,29(6):91-94.(in Chinese)周鈺川,劉本永.基于高能量偏移點(diǎn)特征的低分辨率圖像配準(zhǔn)算法[J].貴州大學(xué)學(xué)報(bào):自然科學(xué)版,2012,29(6):91-94.
[9] Cheng xiangzheng,Zeng Zhaoyang,Chen hang,et al.Calibration method of low-resolution sensor based on bilinear interpolation strategy[J].Laser&Optoelectronics Process,2013,50(7):071501-1-071501-7.(in Chinese)程相正,曾朝陽,陳杭,等.基于雙線性插值算法的低分辨率傳感器標(biāo)定方法[J].激光與光電子學(xué)進(jìn)展,2013,50(7):071501-1-071501-7.
[10]Yuan Jinsha,Zhao Zhenbing,Gao qiang,et al.Review and prospect on infrared/visible image registration[J].Laser&Infrared,2009,39(7):693-670.(in Chinese)苑津莎,趙振兵,高強(qiáng),等.紅外與可見光圖像配準(zhǔn)研究現(xiàn)狀與展望[J].激光與紅外,2009,39(7):693-670.
[11]Viola P,Jones M.Rapid object detection using a boosted cascade of simple feature[C]//CVPR(1),2001: 511-518.
[12]Qiao yongjun,Xie xiaofang,Li dongde,et al.Research on the speed-up method of SURF feature matching by blocking[J].Laser&Infrared,2011,41(6):691-696.(in Chinese)喬勇軍,謝曉方,李德棟,等.SURF特征匹配中的分塊加速方法研究[J].激光與紅外,2011,41(6):691-696.
[13]Bay H,Tuvtellars T,GOOL L Van.SURF:speeded up robust features[C]//Proceedings of the European Confe rence on Computer Vision,2006:404-417.
[14]Zhang ruijuan,Zhang jianqi,Yang cui.Image registration approach based on SURF[J].Infrared and Laser Engineering,2009,38(1):160-165.(in Chinese)張瑞娟,張建奇,楊翠.基于SURF的圖像配準(zhǔn)方法研究[J].紅外與激光工程,2009,38(1):160-165.
[15]Fan Youchen,Li yingchun,Du lin.Mini-displacement measurement based on SURF algorithm[J].Laser&Infrared,2012,42(6):699-704.(in Chinese)范有臣,李迎春,都琳.基于SURF算法的微小位移測(cè)量[J].激光與紅外,2012,42(6):699-704.
[16]Zhang jiao,Li juanshan,Zhu yinghong,et al.Matching method of IR/Visual images based on SIFT and shape context[J].Laser&Infrared,2012,42(11):1296-1300.(in Chinese)張姣,李俊山,朱英宏,等.SIFT與形狀上下文結(jié)合的異源圖像匹配算法[J].激光與紅外,2012,42(11):1296-1300.
[17]Wu hanshu,Yu xuchu,Zhang penhqiang,et al.Research on the infrared image sequence fast registration based on improved SURF algorithm[J].Laser&Infrared,2012,35(1):161-163.(in Chinese)吳翰書,余旭初,張鵬強(qiáng),等.基于SUR F改進(jìn)算法的紅外序列影像快速[J].測(cè)繪與空間地理信息,2012,35(1):161-163.
[18]Wang Z,Bovik A C,Sheikh H R,et al.Image quality assessment:From error visibility to strural similarity[J]. Transaction on Image Processing,2004,13(4):600-612.
[19]Ding nannan,Liu yanying,Zhang ye,et al.Fast image registration based on SURF-DAISY algorithm and randomized kd trees[J].Journal of Optoelectronics·Laser,2012,23(7):1395-1403.(in Chinese)丁南南,劉艷瀅,張葉,等.基于SURF-DAISY算法和隨機(jī)kd樹的快速圖像配準(zhǔn)[J].光電子·激光,2012,23(7):1395-1403.
Registration method of high-low resolution images based on improved SURF
ZENG Zhao-yang1,CHENG Xiang-zheng2,CHEN Hang2,SONG Yi-shuo2,DOU Xiao-jie2,HUANG Chao2
(1.Department of Optical and Electrical Equipment,the Academy of Equipment,Beijing 101416,China;2.Company of Postgraduate Management,the Academy of Equipment,Beijing 101416,China)
Due to the large resolution difference between the three-dimensional laser imaging sensor and visible imaging sensor,mismatching feature points are numerous.In order to solve this problem,a registrationmethod of high-low resolution images based on improved SURF is proposed.Firstly,low-resolution image is processed through bilinear interpolation.Subsequently,SURF feature′s coarsematching is completed by using the nearest neighbor vector based on the classical SURF.Thematching is further optimized according to feature shift coherence rule.Finally,affine relationship between the images is obtained by using SANSAC and least squaremethod.The registration image is obtained by interpolation based on affine transform parameters.The experiment shows that the proposed registration method can keep the registration speed,structural similaritymeasure index is increased by about11%,andmeanwhile the accuracy of registration is further improved.
image process;high-low resolution images registration;SURF;feature shift coherence
TP391.41
A
10.3969/j.issn.1001-5078.2014.02.0
1001-5078(2014)02-0207-06
國家高技術(shù)研究發(fā)展計(jì)劃資助項(xiàng)目。
曾朝陽(1971-),男,副教授,主要從事光學(xué)測(cè)量,激光雷達(dá)及光電檢測(cè)等方面的研究。E-mail:cyzeng@139.com
2013-06-21
文章編號(hào):1001-5078(2014)02-0213-04