基于IBR的三維重建新方法

樊諭涵,丁 瑩,韓 冬

（北京航空航天大學 自動化與電氣工程學院,北京100191）

基于圖像的渲染IBR(Image-Based Rendering)是計算機視覺領域一直備受關注的課題之一。其目的是從普通的平面圖像中提取出必要的信息，通過一些方式得到具有照片真實感的立體渲染效果。目前，虛擬場景或者商品的建造主要使用基于幾何建模的方法、基于圖像繪制的方法和將兩者結合應用的方法[1]。

基于幾何建模的方法目前應用比較廣泛，有很多比較成熟的建模軟件工具。這種傳統的方法制造的虛擬場景具有良好的交互性，選取的視點自由，但是也有一些明顯的缺陷，主要是針對于大規模的場景重建計算量太大，而且真實感并不如圖像繪制得到的效果那么好[2]。而基于圖像的繪制一般使用一些實景照片，根據所拍的視角方向來確定最終繪制的效果。這種方法由于使用了真實場景的照片，因此具有比較好的沉浸感。此外，由于重建的工作大部分由計算機自動完成，因此可以大大減少傳統手工建模的工作量，從而為大型場景的重建提供了一種比較高效的繪制方式[3]。

現在的基于IBR的圖像渲染技術一般分為基于單幅圖像的渲染和基于多幅圖像的渲染。針對多幅圖像的渲染方法都有一個很難回避的問題，即特征點的匹配，至今沒有特別有效的解決方法[4]。

本文提出一種方法，繞過平常的二維到三維的轉換算法，在直觀的規則幾何體上進行圖像的繪制和紋理的映射，從而減少了計算量，實現了簡便快捷的模型渲染。該方法對于相機內部參數沒有要求，只需要拍攝的角度在一定的范圍內，就可以得到真實感很強的渲染效果。

1 相機標定

傳統意義的渲染過程首先要做的就是相機的標定。一般拍照得到的相片都是實物在相機成像平面上的透視投影，照片上的點的位置和渲染的空間模型表面上的點有對應的幾何關系。這是一種二維圖像上的對應點與三維圖像特征點之間的非線性關系，而這種關系就是由相機自身的成像幾何模型決定的，拍照時的幾何參數即為相機參數，這些參數可以由實驗或者計算得到，這個過程就是平時所說的相機標定[5]。

傳統的相機標定方法是找一個高精度的標定基準體，用其本身的精確數據和所獲得的圖像數據進行匹配，進而求出相機的內部參數。這個過程主要有兩方面的問題，首先，標定基準體不好找；其次，匹配過程太復雜，不容易實時掌控[6-7]。

而在某些項目要求中，并不一定需要對這個過程進行嚴格的標定。在本方法中，只需適當考慮相機的定位就可以了，主要指相機拍攝的角度以及離目標商品的距離。項目的目的是得到規則商品的渲染模型，那么很多因素 (諸如物體擺放的實際位置以及大小)就可以忽略不計了。

2 物品取景以及特征點標定

圖片的取景應盡量做到一次能夠拍到物品的3個面，即前、側、上3個面或者后、側、下 3個面，如圖 1(a)以及圖1(b)所示。

由于此商品的邊沿都是直線，因此其特征點很好把握，通過一個指定的MFC程序找到這些特征點的具體坐標位置。如圖2(a)所示，在一張照片里面拍攝取景得到了前、側、上3個面，這3個面上一共有7個特征點。給這7個特征點分別編號，按照擬定的順序進行人工標定，然后將標定的坐標數據存儲在一個特定位置，以方便下一步工作進行提取。同樣地，把這個盒子的后3個面拍在另外一張照片上面，如圖2（b）所示，把剩余的特征點也提取出來。

擬定的特征點順序如表1所示。根據表1中的特征點順序,可以把兩幅圖中的物品頂點位置完美對照起來。

表1 特征點順序

3 渲染重建三維模型

利用所得的特征點定義普通照片中的一些面片，然后計算紋理映射。由于這里應用的物品基本是形狀規則的長方體，故得到的面片應該是四邊形，本文的目標是把這種非規則的四邊形映射成原來的矩形紋理貼圖。可以采用線性插值的方法來解決這個問題。但是如果特征點的連線沿某個方向變形的比例很大，那么就需要使用一個濾波器來改變其原有的比例，變換完成以后再變換回去得到比較合理的紋理映射。如果面片是非規則的形狀，也可以采用將其變形為矩形區域的方法進行處理，然后再用相應的圖像處理軟件將一些區域透明化，這樣就得到原來物品的真實效果。

實驗得到的渲染效果真實感和原物體幾乎完全相符，效果如圖3所示。

其中圖3(a)是前、側、上 3個面的渲染效果，圖 3(b)顯示的是后、另一側、上3個面的渲染效果。將重建的三維渲染模型與圖1中的真實物品作比較，可以看出本文方法的優越性。

本文主要描述了從普通照片生成三維立體模型的一種新方法，基于圖像渲染（IBR）提出了一種建立立體模型的新方式,能對普通的平面單幅圖像進行特征點提取，從而半自動地生成所需要的立體效果。本方法的特點在于無需傳統的相機標定，無需大量傳統意義上的幾何建模，可以直接從圖像中提取信息，渲染出具有照片真實感的模型，大大縮短了建模的時間。目前實驗主要對形狀規則的物品渲染效果比較好，而對于非規則的物品則考慮通過圖像變形和曲線擬合的方式進行變換，有待進一步深入研討。

[1]POLLEFEYS M.3D modeling from images.In conjunction with ECCV 2000,Dublin,Ireland,2000.

[2]BOUGUET J Y,PERONA P.3D photography on your desk[C].Proceedings of International Conference on Computer Vision,Bombay,India,1998.

[3]周驥.基于圖像建模方法的研究[D].杭州：浙江大學，2003.

[4]CIPOLLA R,DRUMMOND T,ROBERTSON D P.Camera calibration from vanishing points in images of architectural scenes[C].BMVC,1999.

[5]DEBEVEC P,TAYLOR C,MALIK J.Modeling and rendering architecture from photographs:A Hybrid Geometryand Image-Based.

[6]邵振峰，李德仁.基于航空立體影像對的人工目標三維提取與重建[D].武漢：武漢大學，2004.

[7]邱茂林,馬頌德,李毅.計算機視覺中攝像機定標綜述[J].自動化學報，2000，26（1）：43-55.