具有尺度與旋轉(zhuǎn)不變性的立體影像自動(dòng)匹配研究

趙西安，陳志學(xué)，呂京國(guó)，靖常峰

北京建筑工程學(xué)院測(cè)繪系，北京100044

具有尺度與旋轉(zhuǎn)不變性的立體影像自動(dòng)匹配研究

趙西安，陳志學(xué)，呂京國(guó)，靖常峰

北京建筑工程學(xué)院測(cè)繪系，北京100044

提出一種具有尺度與旋轉(zhuǎn)不變性的影像自動(dòng)匹配算法。首先基于方向小波變換構(gòu)造三尺度特征點(diǎn)算子，進(jìn)行兩尺度匹配，保證其尺度不變性問(wèn)題；其次構(gòu)造特征點(diǎn)64維描述向量，解決影像匹配的旋轉(zhuǎn)不變性。分別采用地面立體像對(duì)、無(wú)人機(jī)平臺(tái)立體像對(duì)、航空立體像對(duì)進(jìn)行試驗(yàn)分析。試驗(yàn)結(jié)果表明，提出的立體匹配算法具有良好的尺度和旋轉(zhuǎn)不變性。

影像匹配；立體影像；尺度不變性；旋轉(zhuǎn)不變性；特征點(diǎn)

1 引 言

立體影像匹配是數(shù)字?jǐn)z影測(cè)量的核心技術(shù)之一。常用立體影像匹配算法，如跨接法匹配、核線匹配、最小二乘匹配［1］在地形信息自動(dòng)生成中效果明顯。但對(duì)于建筑物的三維信息自動(dòng)生成，上述算法效果還不明顯。文獻(xiàn)［2］提出的基于小波變換、遺傳算法和最小二乘匹配的高精度影像匹配組合算法，其小波變換用于減少匹配搜索數(shù)據(jù)，遺傳算法用于優(yōu)化搜索空間，最小二乘匹配則用于獲得子像素匹配精度。文獻(xiàn)［3］提出的全局自動(dòng)配準(zhǔn)算法，采用多分辨率小波變換縮小搜索空間，實(shí)現(xiàn)多傳感器、大數(shù)據(jù)量影像的快速高效自動(dòng)配準(zhǔn)。當(dāng)影像間視差不連續(xù)，或存在明顯輻射強(qiáng)度變化，或有較大旋轉(zhuǎn)變化時(shí)，上述算法的匹配效果明顯下降。Fourier－Mellin變換是保持旋轉(zhuǎn)、尺度和平移不變性算法，在SAR與多光譜影像配準(zhǔn)，醫(yī)學(xué)影像匹配中得到應(yīng)用［6－8］。Fourier－Mellin影像匹配算法屬于一致性尺度不變算法，用于存在中心投影變形的影像匹配還存在一些問(wèn)題待解決。文獻(xiàn)［9］提出SIFT（scale－invariant feature transform）算法，對(duì)于不同傳感器影像配準(zhǔn)、地面立體影像匹配，具有輻射強(qiáng)度與尺度不變性。但是，SIFT算法的高斯多尺度變換以及128維向量匹配，計(jì)算量大、效率低，已經(jīng)影響到其實(shí)際應(yīng)用。

針對(duì)上述問(wèn)題，本文提出了一種新的尺度與旋轉(zhuǎn)不變性匹配算法，其基本思路是利用方向小波變換構(gòu)造三尺度特征點(diǎn)算子，保證特征提取的尺度與輻射強(qiáng)度不變。采用兩尺度立體匹配，解決匹配中尺度不變性問(wèn)題；在精匹配中，構(gòu)造特征點(diǎn)的主方向與64維描述向量，解決匹配中旋轉(zhuǎn)不變性問(wèn)題。算法流程如圖1所示。

2 方向小波變換與多尺度特征點(diǎn)提取

為解決影像特征提取中輻射強(qiáng)度與尺度不變性，基于多尺度方向小波變換，構(gòu)造多尺度小波特征算子，在3個(gè)尺度下進(jìn)行特征點(diǎn)提取。

圖1 算法流程Fig.1 The algorithmic flow chart

2.1 二維方向小波構(gòu)造

對(duì)于任意函數(shù)f（x，y），有方向小波變換

式中，α表示方向小波變換后高頻信息方向。

2.2 生成三尺度小波影像

采用樣條小波，基于式（2）對(duì)數(shù)字影像G（m，n）進(jìn)行二尺度離散方向小波變換，分別得到三尺度下影像：

尺度0 低頻影像 G0

尺度1 低頻影像 G1

尺度2 低頻影像 G2

其中，高頻影像D的上標(biāo)表示方向。

離散方向小波變換流程如圖2所示。

圖2 離散方向小波多尺度變換Fig.2 Multi－scale transform of directional wavelet

2.3 三尺度特征點(diǎn)提取

三尺度特征點(diǎn)算子構(gòu)造如下：由尺度2高頻影像得

由尺度1高頻影像得

由尺度0低頻影像得

式中，dg1、dg2、dg3、dg4分別為水平、垂直、傾斜方向的灰度差分絕對(duì)值和，三尺度下同時(shí)滿足條件的點(diǎn)為特征點(diǎn)。

3 尺度與旋轉(zhuǎn)不變性立體匹配

尺度與旋轉(zhuǎn)不變性立體匹配分為兩步進(jìn)行。首先在尺度1低頻影像G1上作粗匹配，得到左右影像間視差；然后在尺度0低頻影像G0上構(gòu)造特征點(diǎn)主方向和64維描述向量，進(jìn)行向量距離匹配。

3.1 基于特征的粗匹配

在尺度1左右低頻影像上，利用公式（3）計(jì)算左、右影像特征點(diǎn)的灰度相關(guān)系數(shù)

式中，σgg′為左右影像灰度協(xié)方差。對(duì)于左像上任一特征點(diǎn)，在右像上可找到其最大相關(guān)系數(shù)max（R）、次大相關(guān)系數(shù)submax（R）所對(duì)應(yīng)的點(diǎn)。取滿足式（4）的點(diǎn)對(duì)

作為粗匹配點(diǎn)。通過(guò)試驗(yàn)，選取T在0.5～0.8之間。

3.2 特征點(diǎn)梯度主方向確定

在G0影像選定特征點(diǎn)鄰域，計(jì)算鄰域內(nèi)梯度模m與梯度方向θ將鄰域內(nèi)梯度方向

按每10°劃分，統(tǒng)計(jì)鄰域內(nèi)梯度直方圖，其峰值即為該特征點(diǎn)的主方向。

3.3 構(gòu)造64維特征描述向量

在G0影像上構(gòu)造64維特征描述符，保持特征點(diǎn)鄰域窗口的0°方向與主方向重合。

定義鄰域窗口為以特征點(diǎn)為中心8個(gè)同心環(huán)，將環(huán)域分為8方向（0°、45°、90°、135°、180°、225°、270°、315°）。如圖3所示，以一特征點(diǎn)為中心取17×17像素的窗口，依次建立8層環(huán)形區(qū)域。由式（5）計(jì)算每個(gè)像素的梯度模和方向，統(tǒng)計(jì)每環(huán)內(nèi)8個(gè)方向的梯度累加值。構(gòu)建8×8＝64維的特征向量。

圖3 構(gòu)造64維特征描述向量Fig.3 The describing vector of 64parameters

3.4 向量距離匹配

設(shè)左像一特征點(diǎn)的64維描述向量為X，右像第i個(gè)特征點(diǎn)的64維描述向量為Yi，由

可判斷右像第i個(gè)特征點(diǎn)即為匹配點(diǎn)。

4 基于核線約束的可靠性匹配

完成64維特征向量匹配后，建立核線約束模型，剔除不滿足核線約束的點(diǎn)對(duì)，提高匹配可靠性。

4.1 最優(yōu)共面模型參數(shù)確定

由圖4知，左右影像上同名像點(diǎn)滿足共面方程展開得［1］

式中，q為“上下視差”；L為待求參數(shù)。當(dāng)已知8對(duì)以上同名像點(diǎn)坐標(biāo)，可根據(jù)最小二乘平差解求L參數(shù)。

采用隨機(jī)抽樣一致性算法RANSAC（random sample consensus）從匹配點(diǎn)集中迭代搜索匹配點(diǎn)子集，不斷修正解算的共面模型（8）中的L參數(shù)，計(jì)算得到最優(yōu)共面模型參數(shù)，可保證模型整體誤差最小。通過(guò)試驗(yàn)得出：RANSAC法隨機(jī)抽取不少于100組同名點(diǎn)對(duì)（每組＞8對(duì)），迭代計(jì)算可得到最優(yōu)模型L參數(shù)。

圖4 核線幾何關(guān)系Fig.4 Relation of epipolar line

4.2 核線約束檢查

由于匹配點(diǎn)對(duì)必位于同名核線上，不在同名核線上的點(diǎn)對(duì)為誤匹配，需要剔除。因此核線約束用于檢查發(fā)現(xiàn)誤匹配，提高匹配的可靠性。

5 試驗(yàn)與分析

5.1 立體影像自動(dòng)匹配實(shí)現(xiàn)

（1）對(duì)影像作方向小波變換，得到三尺度低、高頻影像，按2.3節(jié)進(jìn)行三尺度影像特征點(diǎn)提取。

（2）在尺度1低頻影像G1上，給定鄰域窗口進(jìn)行粗匹配。選取滿足式（4）并均勻分布的16點(diǎn)對(duì)作為粗匹配結(jié)果，計(jì)算立體像對(duì)視差中數(shù)。

（3）在尺度0低頻影像G0上，構(gòu)造特征點(diǎn)主方向和64維描述向量，進(jìn)行向量距離匹配。

（4）計(jì)算最優(yōu)共面模型參數(shù)，基于式（9）進(jìn)行核線約束，剔除誤匹配點(diǎn)對(duì)。

5.2 試驗(yàn)與結(jié)果分析

本文采用3種平臺(tái)獲取的立體像對(duì)（像對(duì)間存在尺度與旋轉(zhuǎn)變化）進(jìn)行匹配試驗(yàn)。為了說(shuō)明本文算法的優(yōu)越性，對(duì)試驗(yàn)結(jié)果進(jìn)行人工檢查，表1列出傳統(tǒng)基于特征匹配算法及本文算法得到的正確匹配點(diǎn)對(duì)數(shù)。

表1 與傳統(tǒng)特征匹配比較Tab.1 Comparison with original feature matching

（1）圖5（a）采用Cannon EOS 400D數(shù)字相機(jī)在地面拍攝立體影像，影像尺寸：3888像素× 2592像素。對(duì)右像逆時(shí)針旋轉(zhuǎn)30°；圖6（a）以無(wú)人機(jī)為遙感平臺(tái)用Cannon EOS 400D數(shù)字相機(jī)拍攝立體影像，相對(duì)航高600m，攝影比例尺1／25 000，對(duì)右像順時(shí)針旋轉(zhuǎn)15°；圖7（a）是采用專業(yè)DMC面陣相機(jī)獲取的航空攝影像對(duì)，影像尺寸：7680像素×13 824像素，飛行航高800m，攝影比例尺1／6000，對(duì)右像順時(shí)針旋轉(zhuǎn)120°。圖8是將上述3種立體像對(duì)的右像縮到原圖大小的0.6倍后，與左像的匹配效果。

（2）圖5（b）、圖6（b）、圖7（b）是在三尺度（尺度2高頻影像、尺度1高頻影像、尺度0低頻影像）下，提取同時(shí)滿足條件的點(diǎn)作為特征點(diǎn)。3類不同影像對(duì)提取效果表明，本算法對(duì)于點(diǎn)特征敏感且分布密度均勻。多尺度特征抗輻射強(qiáng)度變化、尺度變化效果明顯。

（3）圖5（c）、圖6（c）、圖7（c）是首先在G1低頻影像上，基于（4）式獲取均勻分布的16對(duì)匹配點(diǎn)，計(jì)算影像對(duì)的視差中數(shù)；然后在G0低頻影像上，確定特征點(diǎn)主方向及與主方向有關(guān)的64維特征向量，進(jìn)行向量距離匹配；最后用核線約束剔除誤匹配，確保匹配可靠性。為了便于說(shuō)明，在圖5（c）、圖6（c）、圖7（c）分別表示出10對(duì)匹配點(diǎn)。由于立體匹配是在兩尺度下完成，其結(jié)果具有一定抗尺度變化，基于主方向的64維向量匹配保證了匹配過(guò)程的旋轉(zhuǎn)不變性。

（4）圖8試驗(yàn)結(jié)果表明，無(wú)論是地面、無(wú)人機(jī)還是航空平臺(tái)得到立體像對(duì)，其立體匹配尺度不變性效果明顯。

（5）表1表明，當(dāng)立體影像間存在尺度與旋轉(zhuǎn)變化時(shí)，本文算法匹配獲得的正確匹配點(diǎn)對(duì)數(shù)遠(yuǎn)多于傳統(tǒng)算法，優(yōu)勢(shì)明顯。

圖5 地面影像特征提取與立體匹配Fig.5 Feature point extracting and stereo matching by close－range images

6 討 論

常用立體影像匹配算法，當(dāng)影像視差不連續(xù)、影像間存在明顯輻射強(qiáng)度變化，或影像間存在旋轉(zhuǎn)、尺度變化時(shí)匹配效果不好。試驗(yàn)結(jié)果表明，本文提出基于方向小波多尺度算子、64維特征描述向量、兩尺度匹配，可以解決影像尺度和旋轉(zhuǎn)不變性問(wèn)題。今后需要進(jìn)一步研究、提高多方向多尺度點(diǎn)特征提取精確性，特別是提高算法對(duì)于特殊關(guān)鍵點(diǎn)（如建筑物角點(diǎn)、道路交叉點(diǎn)等）的選擇性；另外，進(jìn)行地面大交向角立體像對(duì)匹配時(shí)，得到的正確匹配點(diǎn)對(duì)較為稀疏，不能滿足攝影測(cè)量的要求，需要進(jìn)一步研究改善，同時(shí)對(duì)城市建筑物特征點(diǎn)匹配的有效性，還需要作深入研究。

圖6 無(wú)人機(jī)平臺(tái)影像特征提取與立體匹配Fig.6 Feature point extracting and stereo matching by unpiloted－aircraft images

圖7 航空影像特征提取與立體匹配Fig.7 Feature point extracting and stereo matching by airplane images

圖8 不同尺度立體影像匹配Fig.8 Stereo matching between different scale images

［1］ ZHANG Zuxun.Study on Digital Photo－Grammetry 30 Years［M］.Wuhan：Wuhan University Press，2007.（張祖勛.數(shù)字?jǐn)z影測(cè)量研究30年［M］.武漢：武漢大學(xué)出版社，2007.）

［2］ XIONG Xinghua，CHEN Ying，QIAN Zengbo.A Fast，Accurate and Robust Image Matching Algorithm［J］.Acta Geodaetica et Cartographica Sinica，2005，34（1）：40－45.（熊興華，陳鷹，錢曾波.一種快速、高精度和穩(wěn)健的影像匹配算法［J］.測(cè)繪學(xué)報(bào)，2005，34（1）：40－45.）

［3］ ZHOU Haifang，TANG Yu，HE Kaitao，et al.An Automatic Global Registration Algorithm Based on Wavelet and Its Parallel Implementation［J］.Acta Automatica Sinica，2004，30（6）：880－889.（周海芳，唐宇，何凱濤，等.基于小波遙感圖像全局配準(zhǔn)算法研究及其并行實(shí)現(xiàn)［J］.自動(dòng)化學(xué)報(bào)，2004，30（6）：880－889.）

［4］ LI Xiaoming.Reaserch in Image Registration Methods［D］.Beijing：Beijing Institute of Technology，2006.（李曉明.圖像配準(zhǔn)方法研究［D］.北京：北京理工大學(xué)，2006.）

［5］ MALLAT S.A Wavelet Tour of Signal Processing［M］.YANG Lihua，DAI Daoqing，HUANG Wenliang，et al.Translated.Beijing：China Machine Press，2002.（MALLAT S.信號(hào)處理的小波導(dǎo)引［M］.楊力華，戴道清，黃文良，等譯.北京：機(jī)械工業(yè)出版社，2002.）

［6］ ANUTA P E.Spatial Registration of Multi－spectral and Multi－temporal Digital Imagery Using Fast Fourier Transform Techniques［J］.IEEE Transactions on Geoscience Electronics，1970（8）：353－368.

［7］ CASTRO E D，MORANDI C.Registration of Translated and Rotated Images Using Finite Fourier Transforms［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1987，9（5）：700－703.

［8］ CHEN Q S，DEFRISE M，DECONINCK F.Phase－only Matched Filtering of Fourier－mellin Transforms for Image Registration and Recognition［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1994，16（12）：1156－1168.

［9］ DAVID G L.Distinctive Image Features from Scale－invariant Keypoints［J］.International Journal of Computer Vision，2004，22（1）：77－85.

［10］ BROWN M，LOWE D G.Invariant Features from Interest Point Groups［C］∥Proceedings of British Machine Vision Conference.Cardiff：［s.n.］，2002：656－665.

［11］ DENOS M.Automated System for Coarse－to－fine Pyramidal Area Correlation Stereo Matching［J］.Image and Vision Computing，1996，14（3）：225－236.

［12］ HANK P，SONG K W，CHUNG E Y，et al.Stereo Matching Using Genetic Algorithm with Adaptive Chromosomes［J］.Pattern Recognition，2001，34（9）：1729－1740.

［13］ MALLAT S G.A Theory for Multiresolution Signal Decomposition：the Wavelet Representation［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1989，11（7）：674－693.

［14］ CANDES E J.Ridgelets：Theory and Application［D］.Stanford：Stanford University，1998.

［15］ DO M N，VETTERLI M.The Contourlet Transform：an Efficient Directional Multi－resolution Image Representation［J］.IEEE Transactions on Image Processing，2005，14（12）：2091－2106.

［16］ DONOBO D L.Wedgelets：Nearly Minmax Estimation of Edges［J］.The Annals of Statistics，1999，27（3）：859－897.

［17］ SONKA M，HLAVAC V，BOYLE R.Image Processing，Analysis，and Machine Vision［M］.AI Haizhou，WU Bo，Tanslated.Beijing：Post and Telecom Press，2003.（SONKA M，HLAVAC V，BOYLE R.圖像處理、分析與機(jī)器視覺(jué)［M］.艾海舟，武勃，譯.北京：人民郵電出版社，2003.）

［18］ TONJES R，GROWE S，BUCKNER J，et al.Knowledge Based Interpretation of Remote Sensing Images Using Semantic Nets［J］.Photogrammetric Engineering ＆Remote Sensing，1999，65（7）：811－821.

［19］ KRUGER N，PETERS G.ORASSYLL：Object Recognition with Autonomously Learned and Sparse Symbolic Representation Based on Metrically Organizied Local Line Detectors［J］.Computer Vision and Understanding，2000，77：48－77.

［20］ SZU H H，TELFERN B，KADAMBE S.Neural Network Adaptive Wavelets for Signal Representation and Classification［J］.Optical Engineering，1998，31（9）：1907－1916.

The ScaIe and Rotating Invariant Auto Stereo Matching

ZHAO Xi’an，CHEN Zhixue，LüJingguo，JING Changfeng
Department of Geomatics，Beijing University of Architecture and CiviI Engineering，Beijing100044，China

A stereo matching aIgorithm with invariant scaIe and rotation is presented.FirstIy，the directionaI waveIet transform is used to extract the feature points of images with three scaIes，and a stereo matching at two scaIes is then carried out，this processing is scaIe invariant.SecondIy，a key direction and a 64－dimensionaI describing vector are derived from these feature points to make the image matching be rotation invariant.This new aIgorithm is used to process different stereo images from cIose－range，un－manned aircraft，and airpIane，and the scaIe and rotation invariant is cIearIy shown.

image matching；stereo image；scaIe invariant；rotation invariant；feature point

ZHAO Xi’an（1957—），maIe，PhD，professor，majors in digitaI photogrammetry and remote sensing.E－maiI：zhaoxian＠bucea.edu.cn

ZHAO Xi’an，CHEN Zhixue，LüJingguo，et al.The Scale and Rotating Invariant Auto Stereo Matching［J］.Acta Geodaetica et Cartographica Sinica，2012，41（1）：81－86.（趙西安，陳志學(xué)，呂京國(guó)，等.具有尺度與旋轉(zhuǎn)不變性的立體影像自動(dòng)匹配研究［J］.測(cè)繪學(xué)報(bào)，2012，41（1）：81－86.）

P234

A

1001－1595（2012）01－0081－06

國(guó)家自然科學(xué)基金（40771178）；北京市自然科學(xué)基金（KZ200710016007）；北京市學(xué)術(shù)創(chuàng)新團(tuán)隊(duì)項(xiàng)目（PHR200907127）

雷秀麗）

2010－03－05

2011－01－07

趙西安（1957—），男，博士，教授，主要從事攝影測(cè)量與遙感研究。