基于半全局多視近景影像匹配的三維建模方法

鄒崢嶸，鄒小丹，劉合鳳，張云生

(中南大學 地球科學與信息物理學院，湖南 長沙 410083)

一、引 言

基于影像的三維自動重建一直是攝影測量領域關注的重要研究方向之一，其中兩個關鍵問題是如何利用影像匹配獲取可靠同名點和利用三維點進行三維重建[1-2]。近年來，影像匹配有了很大的發展，但對于近景影像匹配問題，影像變形較大，且利用常規的單基線立體匹配技術依然無法保證匹配的可靠性和精度[3-4]。因此，多視影像匹配引起越來越多學者的關注。現有的多視影像匹配方法可以分為兩類：① 對立體像對的匹配結果進行融合，形成一個整體的匹配結果，核心是所有立體像對匹配結果在物方進行融合[5-6]；② 直接通過物方空間對所有影像進行匹配，該類方法根據成像關系同時匹配所有的影像，但當面臨遮擋問題時，相似性測度計算較復雜[7]。

利用多視影像冗余信息約束匹配提高影像匹配的成功率和可靠性，可以為三維自動重建提供密集的三維點云。鑒于此，本文提出基于半全局多視近景影像匹配的三維建模方法：首先利用半全局約束立體影像匹配；再通過傳遞追蹤的方法實現多視影像匹配串點；然后多片前方交會迭代優化，以實現各個立體像對匹配結果在物方的融合；最后通過Poisson表面重建方法重建物體表面三維模型[8]。

二、基于半全局多視近景影像匹配的三維建模方法

1. 半全局約束立體影像匹配

半全局約束立體影像匹配采用基于點的匹配代價，用多個一維的平滑約束來近似該像素二維的平滑約束，并通過尋找最優路徑來最小化全局能量函數E(D)

(1)

對于式 (1) 中的匹配代價C(p,Dp)，本文采用Birchfield和Tomasi提出的一種類似線性插值的方法。這種匹配代價計算量非常小，且對重采樣和噪聲不敏感[9]，通過對深度的不同變化加以不同懲罰 (P1、P2)，可保證約束的平滑性。半全局約束立體影像匹配采用多方向匹配代價聚合策略，即在待匹配像素沿著多個方向上作動態規劃，本文選擇8個方向。在計算左右影像視差圖的基礎上，利用中值濾波過濾掉視差突變點，然后通過雙向一致性檢測剔除可能的錯誤匹配點。對于近景影像，雖然采用了雙向一致性約束來剔除立體像對中的匹配錯誤，但由于紋理缺乏、紋理重復等因素的影響，依然有匹配錯誤存在，因此本文提出匹配串點和多片前方交會優化迭代方法來剔除錯誤匹配和融合多視影像的冗余信息。

2. 多視影像匹配串點

本文通過傳遞追蹤實現多視影像匹配串點，即從第1幅影像開始跟蹤，具體步驟如下：

2) 重復上述操作，直至第1幅影像上所有像點都遍歷完，轉到下一影像。

3) 對于其他影像(這里到第n-2幅影像)，對影像上所有未標記的匹配點重復上述操作，進行跟蹤，直到所有的影像遍歷完。

通過以上3步建立起多重疊度同名點之后，采用下節中的多片前方交會迭代優化剔除可能的錯誤匹配，生成三維點云。

圖1 多視影像匹配串點

3. 多片前方交會迭代優化

所有影像完成串點后，每個追蹤都應嚴格對應物方同一個點，但如果tk中存在有錯誤的匹配點，則重建的三維點將會偏離正確的位置，因此本文提出一種基于多片前方交會的迭代優化方法，以剔除可能的錯誤匹配，并同時重建三維點坐標。

(2)

圖2 多片前方交會迭代優化

4. Poisson重建

Poisson重建是一種經典的點云隱式重建方法，其通過尋找一個能夠刻畫待重建表面的指示函數，提取該指示函數的零等值面，以獲得重建的表面[8]。如圖3所示，對于有向點集，圖3 (c)為分段指示函數，指示函數χM在模型內部值為1，外部值為0。指示函數的梯度是一個向量場，它在整個空間(除了模型表面)上值為0，且方向指向模型內部。因此有向點可以視為模型的指示函數梯度，如圖3 (b)所示。

圖3 Poisson重建示意圖[8]

Poisson重建是一個全局的方法，同時考慮了所有點，而不借助于啟發式的分割或合并，因此它能創建非常平滑的表面，穩健地近似了含有噪聲的數據。由于Poisson重建需要點的法向量，因此在獲取三維點云之后，本文采用點周圍一定鄰域內的三維點，擬合計算每個點的法向量，以用于三維重建。

三、試驗結果與分析

1. 試驗數據

為了驗證本文方法的有效性，一共選擇了兩組近景影像作為試驗數據。第1組為浮雕影像，一共6幅，如圖4 (a) 所示，影像大小為2808像素×1772像素；第2組為石壁影像，如圖4 (b) 所示，一共6副，影像大小同樣為2808像素×1772像素。兩組影像數據的焦距都為51.701 3 mm，并且都具有通過嚴格光束法平差獲取的影像內外方位元素，且都進行了畸變差改正。本文試驗均在臺式機上完成，CPU為AMD Athlon(tm) 64 X2 Dual Core Processor 5000+ 2.60 GHz，內存 2.00 GB。

圖4 試驗影像

2. 多視影像密集匹配結果

根據本文的匹配策略，首先對所選影像進行匹配；然后對所有立體像對匹配結果進行串點，保留3度和3度以上重疊的同名點，并利用多片前方交會迭代優化進行粗差剔除；最后利用三維點對應的像素賦予顏色信息，獲取具有彩色信息的點云，結果如圖5所示。從圖5 (a)可以看出，所生成的彩色點云可靠性高、密集，且具有銳利的邊緣，對于大片的紋理重復區域，也取得了較好的匹配效果；而從圖5 (b)可以看到，石壁影像上的字體也被正確地匹配出來了。這充分說明了本文多視影像匹配可以較好地保證匹配的可靠性，利用多光線前方交會增大交會角，三維點的精度也得到了保證，且在加大點密集程度的同時保證了點的精度，有利于后續的三維重建。

3. 三維重建結果

在獲取點云的基礎上，利用曲面擬合計算每個點的法向量，每個點都采用距該點距離最近的30個點進行擬合計算；然后根據點云坐標及其對應的法向量，利用Poisson表面重建方法重建物體三維模型。重建結果如圖6所示，其中(a)、 (c)為灰度著色模型，(b)、(d)為紋理映射結果。從重建結果可以看出，所生成的模型能夠反映真實的物體表面，并且很好地保持局部細節。

四、結束語

本文介紹了一種基于半全局近景影像匹配的三維建模方法。試驗結果表明，多片前方交會迭代優化方法可以實現各立體像對匹配結果的可靠融合，有效保證了影像匹配的可靠性；通過影像匹配的三維點云，可以利用Poisson重建方法重建保持局部細節的模型，是基于影像三維重建的一種有效途徑。

參考文獻：

[1] HAALA N，KADA M. An Update on Automatic 3D Building Reconstruction[J]. ISPRS Journal of Photogrammetry & Remote Sensing, 2010, 65(6): 570-580.

[2] 鄭順義, 王瑞瑞, 陳長軍，等. 基于立體相機的三維場景建模[J]. 測繪通報, 2008(2): 20-29.

[3] GRUEN A. Development and Status of Image Matching in Photogrammetry[J]. The Photogrammetric Record, 2012, 27(137): 36-57.

[4] 詹總謙, 張祖勛, 鄭順義，等. 基于多基線立體匹配技術的三維重建[J]. 地理空間信息, 2004,2(6): 17-19.

[5] HIRSCHMüLLER H. Stereo Processing by Semi-Global Matching and Mutual Information [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(2): 328-341.

[6] 袁修孝，明洋. 一種綜合利用像方和物方信息的多影像匹配方法[J]. 測繪學報, 2009, 38 (3) : 216-222.

[7] ZHANG L, GRUEN A. Multi-image Matching for DSM Generation from IKONOS Imagery[J].ISPRS Joural of Photogrammerty and Remote Sensing, 2006, 60(3): 195-211.

[8] KAZHDAN M, BOLITHO M, HOPPE H. Poisson Surface Reconstruction[C]∥Proceedings of the fourth Eurogracphics Sym-posium on Geometry Prccessing.Aire:[s.n.],2006：61-70.

[9] BIRCHFIELD S, TOMASI C. A Pixel Dissimilarity Measure That is Insensitive to Image Sampling[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(4): 401-406.

[10] 張劍清, 胡安文. 多基線攝影測量前方交會方法及精度分析[J]. 武漢大學學報：信息科學版, 2007, 32(10): 847-851.