單應約束與核線約束對于影像匹配精度的對比

周鄭芳，張振超，戴晨光，張栩晨

1.第二測繪導航基地,江蘇 南京，210028；2.信息工程大學，河南 鄭州，450001；3.測繪信息技術總站,陜西 西安，710054

?

單應約束與核線約束對于影像匹配精度的對比

周鄭芳1，張振超2，戴晨光2，張栩晨3

1.第二測繪導航基地,江蘇 南京，210028；2.信息工程大學，河南 鄭州，450001；3.測繪信息技術總站,陜西 西安，710054

數字影像匹配是攝影測量作業的關鍵環節，其精度影響后續前方交會、生成DSM的質量。單應約束和核線約束作為兩種基于先驗同名點的約束準則，在提高匹配精度的同時也能提高匹配效率。本文首先對重疊的、有嚴重幾何變形的兩張影像進行特征匹配，得到可靠的高精度同名點；然后進行單應約束與核線約束實驗，對比兩種約束方法的精度。結果表明，在同等條件下，核線矩陣約束比單應矩陣約束精度高；同時，本文也為匹配約束中像素偏移閾值的選擇提供了參考依據。

單應約束；核線約束；單應矩陣；基礎矩陣；影像匹配

1 引 言

數字影像匹配是數字攝影測量的經典問題，其精度影響到空三、前方交會、絕對定向及最終生成Digital Surface Model(DSM)等攝影測量產品的精度。其原理是在兩張或多張數字影像的匹配實體之間自動建立對應關系的過程[1]。這些實體可以是數字影像中的點(即像素)，也可以是數字影像中提取的線、區域、關系等其它特征。影像匹配的難點在于影像匹配本身就是“病態”問題，如匹配區域存在遮擋或重復模式時，匹配會對應無解或多解情況。要使影像匹配轉化為良態問題，其解決方式是在影像匹配過程中加入匹配限制條件，約束解所在空間。匹配約束不僅可以縮小搜索范圍提高效率，而且可以提高匹配精度、避免匹配粗差出現。

傳統攝影測量作業模式可以看作是計算機視覺在僅有下視的嚴格成像條件下的應用。在計算機視覺立體幾何中，常用單應約束與極線約束(攝影測量學中常稱“核線約束”)來對多張影像間的幾何關系進行約束[2]。在攝影測量學中，核線約束早已在影像匹配中得到廣泛使用。兩種匹配約束準則的優勢還體現在，對于有重疊的兩張影像，不需要考慮成像瞬間攝像機的位置和姿態，只需要預先獲得一定數量可靠的同名像點，就可以在兩張影像間確立“像點—像點”的幾何關系。本文重點研究單應約束與核線約束對于影像匹配約束效果的差異。單應約束與核線約束的實現分別對應兩個變換矩陣：單應矩陣[2，3]和基礎矩陣[2，3]。通過對不同尺度、不同幾何變形的影像進行匹配約束實驗，對比兩種約束效果的差異。

2 單應約束

在計算機視覺中，平面的單應性被定義為從一個平面到另一個平面的二維投影映射[3]。在嚴格的攝像機成像模型中，假定兩張影像記錄的重疊區域是平面，此時，基準影像(左像)和待匹配影像(右像)的所有同名像點的位置關系都可以用同一個單應矩陣H來表征。令左像像點坐標為(x,y,1)T，右像像點坐標為(x′,y′,1)T，它們之間的單應矩陣為：

(1)

則嚴格條件下同名點之間存在以下映射關系[4]：

(2)

求解單應矩陣時，把式(2)線性化后共有9個未知參數，通過已知的同名點坐標采用最小二乘法即可解出9個參數。由于通常只有8個獨立參數，所以至少需要4對同名像點來計算H。實際上應盡可能利用更多可靠的同名像點，借助RANSAC (Random Sample Consensus)[5]準則對H進行優化。另外，H乘以任何一個非零實數不會改變其投影變換效果，因此通常將其歸一化，使得a9=1。

3 核線約束

攝影測量立體像對中有一個很強的約束條件，稱為核線幾何[1]，在計算機視覺領域也稱為極線幾何或對極幾何[2,3]。給定立體像對的兩張影像，對三維空間任何一點，包含該點與兩幅影像投影中心的平面稱為核面，核面與兩幅影像的交線稱為核線。如果兩張影像的相對方位已知且已知左像像點，那么另一張影像上的相應核線即可確定，而且同名像點必須位于該核線上。這樣，就可以有效地把二維匹配搜索范圍簡化為一維搜索范圍。如圖1，對于具有重疊區域的左像和右像，S1、S2為投影中心，像點P1所在的核線為l1，其在右像上的同名點P2一定在l1的相應核線l2上。由此可見，核線幾何關系完全由地面點P、投影中心S1、S2三點的共面關系所確定。

圖1 核線約束示意圖

在計算機視覺中，用基本矩陣F聯系兩張影像間的像點關系：

(3)

x′xf11+x′yf12+x′f13+y′xf21+y′yf22+y′f23+xf31+yf32+f33=0

(4)

從n組對應點集合中可以列出如下線性方程組：

(5)

給定至少8對同名點，在相差一個尺度因子的意義下，可以線性求解F的元素(在7組對應點時也有非線性求解方法)。超過8對同名點時，利用RANSAC[5]準則計算基礎矩陣的最小二乘解。

4 RANSAC準則

RANSAC(Random Sample Consensus)即隨機采樣一致性算法，是計算機視覺中穩定的參數估計算法。本實驗中，RANSAC的作用是排除不穩定和錯誤的匹配點對，對兩張影像間的幾何關系進行最似然模擬。其思想是根據已知同名點對估計H或F，再根據求出的變換矩陣對已知同名點對進行劃分，篩選出符合模型的同名點，利用新的同名點集重新估計變換模型。這樣迭代若干次后，同名點對數最多時的H或F即為最優解。

如果已知同名點對數超過計算所需最小點對，通過RANSAC算法可以得到最優的單應矩陣和基礎矩陣。這一思路的作用原理是，利用盡可能多的同名像點求解的H或F更具有一般性，能對更大范圍的像點進行有效的幾何約束。

5 實驗與分析

為了對比單應矩陣與核線約束對立體匹配的約束效果，利用不同視角、不同鏡頭對同一地區拍攝的影像進行實驗。采用牛津大學計算機視覺實驗室Graffiti模擬影像序列[6]以及AMC580五視角傾斜相機[7]在登封地區拍攝的影像進行實驗。AMC580五視角相機裝有1個下視鏡頭、4個傾斜鏡頭，傾斜鏡頭與地面夾角約為45°。多視角傾斜鏡頭成像模式優勢在于能獲取更完整的建筑側面影像，但同時由于影像幾何變形太大，影像匹配面臨新的難題。第一組實驗對不同視軸夾角的兩對Graffiti影像分別進行單應約束與核線約束實驗；第二、三組分別對從AMC580影像上截取的下視與前視、下視與后視影像以及降采樣后的金字塔影像進行對比實驗。

首先，利用SURF(Speeded Up Robust Features)[8]特征匹配算法獲取大量子像素級同名點，利用RANSAC濾除誤匹配點，確保匹配結果可靠。其次，由同名點對計算單應矩陣 ，再把所有匹配點作為檢查點，計算由左像像點按照H投影到右像上的像點與右像相應同名點之間的坐標偏移，計算所有同名像點的偏移中誤差，把其作為約束中誤差。同樣，由同名點計算兩張影像間的基礎矩陣F，再把這些像點作為檢查點，計算左像每個像點按照F對應到右像上的核線方程，把同名的右像像點與核線的距離作為約束誤差，計算所有同名像點的約束中誤差。SURF算子匹配結果如圖2所示，實驗結果見表1。

圖2 SURF匹配實驗結果

表1 單應約束與核線約束精度對比

編號序號左像右像視軸夾角(°)影像大小匹配點數H約束中誤差(像素)F約束中誤差(像素)第一組1Img1Img215800×640400±1．52±0．862Img1Img330800×64085±3．46±1．86第二組345AMC01＿157AMC05＿153下視前視250×250500×5001000×100072126±2．12±2．93±4．24±0．6e-5±0．70±1．51第三組678AMC01＿42AMC03＿47下視后視300×300600×6001200×120072522±11．02±12．31±27．28±0．4e-5±0．59±0．98

其中，實驗5和實驗8均采用原始影像(未經降采樣)，向上的兩組都是各自的兩級金字塔影像，降采樣采用高斯低通濾波器。第1、2、5、8組H約束和F約束精度對比如圖3所示，橫坐標為用于檢查的同名點序列，縱坐標為像素偏移量。

圖3 單應約束與核線約束像素偏移逐點對比圖

綜合表1和圖3可以看出，不論是整體約束中誤差，還是逐像點的約束精度，核線約束效果遠比單應約束理想。除個別異常點外，核線約束精度普遍在2個像素以內。單應約束對于不同影像數據的約束效果差別較大，對傾斜影像下視與前視的約束中誤差達到27個像素；對模擬影像約束效果較好，一般在3.5個像素以內。實際上，影像成像過程是三維物方空間到二維影像平面的投影，左右影像間的單應性關系只能是一種近似的幾何關系，并非嚴格的單應性關系。因此，單應約束對于近似平面區域的約束效果較好，而對于高差起伏較大的區域，約束誤差就會表現得更為明顯。

對于多視角大傾斜影像生成的金字塔影像，不論是單應約束還是核線約束，影像降采樣后約束精度比原始影像約束精度有明顯提高。這是因為，在對影像進行降采樣后，影像細節信息已經平滑處理，同一個單應矩陣(或基礎矩陣)更能表征兩張影像整體的幾何變形。

6 結 論

本文進行的單應約束與核線約束精度對比實驗均是基于可靠的先驗同名點，二者對重疊區域的影像起到了有效的幾何約束。隨著求解H和F的可靠同名點數增加，H和F的精度也越來越高，越能表征影像整體的幾何變形。實際應用中，往往在局部范圍內利用兩種匹配約束，在“小面元”內實施局部的匹配能達到更高的約束精度。在金字塔影像匹配約束中，兩種約束對于降采樣后影像的約束效果明顯比原始影像好，因此，對于幾何畸變嚴重的兩張影像進行降采樣，沿著影像金字塔自上而下、逐層匹配引導，可對匹配結果進行優化。此外，本文也為影像匹配中單應約束和核線約束像素偏移閾值的確定提供了參考。

[1]耿則勛，張保明，范大昭. 數字攝影測量學[M]. 北京：測繪出版社，2010.

[2]R. Hartley, A. Zisserman. Multiple view geometry in computer vision[M]. Cambridge University Press, 2003.

[3]G. Bradski, A. Kaehler. 學習OpenCV(中文版)[M]. 北京：清華大學出版社，2009.

[4]楊化超，張磊，姚國標等. 局部單應約束的高精度圖像自動配準方法[J].測繪學報，2012，41(3)：401-408.

[5]M. Fisehler, R. Bolles. Random sample consensus：a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM, 1981，24(6): 381-395.

[6]牛津大學計算機視覺實驗室：Graffiti模擬影像序列[EB/OL].[2014-11-26].http://www.robots.ox.ac.uk/～vgg/data/data-aff.html.

[7]上海航遙信息技術有限公司. AMC580[EB/OL]. [2013-09-26]. http://www.shhangyao.com/company/a1.

[8]H. Bay，T. Tuytelaars, L. V. Gool. SURF: Speeded up robust features[C]. European Conference on Computer Vision, 2006.

Comparison of Homography Constraint with Epipolar Geometry Constraint on Image Matching Accuracy

Zhou Zhengfang1, Zhang Zhenchao2, Dai Chenguang2, Zhang Xuchen3

1. The Second Surveying, Mapping & Navigation Base, Nanjing 210028, China 2. Information Engineering University, Zhengzhou 450001, China 3. Technical Division of Surveying and Mappping, Xi’an 710054, China

Digital image matching is critical in photogrammetry, whose accuracy directly influences the process of forward intersection and quality of DSM. As for homography constraint and epipolar line constraint are the constraint criteria based on the known matching pairs, they can improve matching accuracy as well as efficiency. First, this paper obtains reliable and precise matching pairs by establishing the feature matching on the two overlapping images with serious geometric distortion. Then it conducts homography constraint and epipolar line constraint experiments to compare the accuracy of the two constraints. The results show that epipolar geometry constraint can achieve higher accuracy compared with homography constraint under the equivalent conditions. Besides this paper also provides references for choose of pixel offset threshold in the image matching constraints.

homography constraint; epipolar line constraint; homography; fundamental matrix; image matching

2014-12-24。

周鄭芳(1980—)，女，工程師，主要從事地圖制圖與地圖數據服務方面的研究。

P223

A