基于照片的三維重建技術研究

劉海洋

(渭南師范學院數學與信息科學學院，陜西渭南714000)

在現今這個科學技術飛速發展的時代，古文化遺址保護已經受到社會各界的廣泛關注．隨著時光的洗禮，這些古建筑正在經受著不同程度的損壞，古建筑的三維重建和保護工作迫在眉睫．傳統技術方法都是通過三維激光掃描儀來直接獲取古建筑的空間信息，但三維激光掃描儀存在各種不便．隨著數碼相機的普及，基于二維照片來實現三維文化遺址重建的技術得到了社會各界的認可，它成本較低，而且在實地操作方面效率較高．本文介紹開展此項研究的背景和研究現狀．通過對二維照片實現三維建模技術的研究說明，運用特征點檢驗算法提取數據進行立體匹配，實現三維空間重建，借助唐小雁塔的相關空間數據信息，進一步說明此項技術在古文化遺址研究方面的優越性和可行性．

1 研究背景和現狀

文化遺址的三維場景建模是文化遺產數字化保護領域一項新的研究內容，涉及到計算機圖形學、虛擬現實、時空數據庫等多個領域的理論和方法．在文化遺址的數字化保護和虛擬展示技術研究方面，美國、日本、意大利等國家處于領先的位置，并且都成功開發出了比較實用的應用系統．與發達國家相比，我國的虛擬展示技術研究及應用還有很大差距，但也有一定的進展．如清華大學國家光盤工程研究中心采用Quicklime技術實現了“虛擬布達拉宮”;西北大學開發了一個用于文物虛擬展示的數字博物館等［1］．為開展秦東地區大型文化遺址數字信息化保護工作，本文提出基于二維照片的三維重建技術．

2 方法概述及過程

它要運用數碼攝像機對建筑物進行全方位的掃描，再通過特征提取、立體匹配等主要技術手段對相應古建筑的三維空間數據信息進行處理，最終實現對古建筑的三維建模．下面主要介紹這種技術的理論方法和相關實驗驗證．

2．1 基于特征點的立體匹配

2．1．1 建筑物的特征提取

(1)Sift算法又稱尺度不變特征變換算法，它是一種提取局部特征的算法，在尺度空間尋找極值點，再進行過濾找出穩定的特征點，在每個穩定的特征點周圍提取圖像的局部特性．由于Sift特征是圖像的局部特征，所以其對平移、旋轉、尺度縮放等變化保持不變性．

(2)Sift特征點檢測方法的步驟

a)檢測尺度空間的極值點，精確定位極值點，基本確定關鍵點的位置和所處的尺度．如圖1所示，途中叉號的像素要跟包括同一尺度的周圍鄰域8個像素和相鄰尺度對應位置的周圍鄰域9×2個像素總共26個像素進行比較，確保在尺度空間與二位圖像空間都檢測到該局部極值，確定此局部極值就是初始的特征點．

b)特征點亞像素級定位．利用擬合三維二次函數的方式來精確確定關鍵點位置和尺度，去除低對比度的關鍵點和不穩定的邊緣響應，從而增強點特征的匹配穩定性．

2．1．2 立體特征匹配

要實現準確匹配必須要遵循一定的匹配約束．常見的約束有幾何相似性約束、極限性約束、視差光滑性約束等．立體匹配算法就是以最小的代價在兩幅圖像上精確地尋找相同的像素點，常用的主要有區域匹配算法和特征匹配算法．

2．2 攝像機的標定

標定攝像機的過程實質上是確定圖像坐標系與建筑物空間坐標系之間的映射過程．傳統的標定由于擁有定標參照物，所以定標精度比較高．目前，比較流行的傳統標定是張氏模板標定法．這種主要是在不同角度拍攝多幅(至少需要三幅)平面模板的圖像，通過計算圖像上的點與模板上的特征點之間的對應關系來計算攝像機的參數［2］．

2．3 基于照片的三維立體重建

首先根據匹配映射關系的基礎矩陣進而求解出本質矩陣E，接著對E進行奇異值分解產生R和t的候選值，然后判斷R和t符合的條件，確定唯一的一組解，最后計算出特征點對應的空間的三維點，實現三維重建．

2．3．1 獲取本質矩陣

在2個相對近的不同位置用一個普通的數碼相機對塔體進行拍照，定義這兩個位置為位置A和位置B，將位置A的攝像機坐標系認為世界坐標系，這樣［I|0］就是攝像機在A位置的外參數矩陣，則有PA=K［I|0］為攝像機在位置A的投影矩陣．利用PB＇=RPA+t變換得攝像機在位置B的投影矩陣PB=K［R|t］，其中:I是3×3的單位矩陣，K是攝像機的內參數矩陣，R和t分別是攝像機在B位置相對世界坐標系的旋轉矩陣和平移向量，由于K已經求出，PA已知，只需要求出R和t，就能夠求出PB，這樣根據三角原理就可以計算出空間點的三維坐標．

對于任意的匹配點對 m ，m＇，m∈I1，m＇∈I2，齊次坐標有 m=(x1，y1，1)T，m＇=(x2，y2，1)T，則有:

其中:s1和s2是常量因子，m是特征點對應的物體的點的齊次坐標，F是基礎矩陣，則有(m＇)Fm=0，求出 F=K－T［t］XRK－1，向量［t］X是向量 t=(tx，ty，tz)T的反對稱矩陣．本質矩陣 E= ［t］xR 由攝像機的運動參數R和t確定．

2．3．2 攝像機外參數的獲取和符號的判斷

對本質矩陣E進行奇異值分解可以得到攝像機的運動參數R，t:E=UAVT．其中:A=diag(r，s，t)，(r，s，t)為SVD分解得到的特征值，在實際中由于噪聲的存在，所以得到r＞s＞t，因此就必須對它進行修正．令k=(r+s)/2，得到修正的對角矩陣A＇=diag(k，k，0)，用A＇代替A修正的本質矩陣E＇，然后對E＇進行奇異值分解，E＇=UDVT．通過分解可以得到一個三階的對角矩陣s．

設，可以表示R=UWVT或R=UWTVT，t=u3或t=－u3．其中:u3是U的最后一列．所以PB就會有四種情況，根據物體的三維點在兩幅圖像中的景深為正來判斷哪一組值滿足匹配點對應的三維坐標．求出正確的R和t，這樣兩幅圖像對應的投影矩陣為:

設PA1，PA2，PA3為投影矩陣PA對應的行向量，設s為常量因子，(ui，vi，1)T為在位置A拍攝的圖像上的第i個匹配點的齊次坐標，Xi為與第i個匹配點對應的空間點的齊次坐標，則有，消去常量因子得:

2．3．3 空間點的三角化

計算出來的三維點是一些離散的點，用OpenGL可以顯示出來．簡單的文物由于重建出來的點比較少，為達到照片級別具有真實感的模型，就要進行三角剖分．三角剖分的方法主要是把空間中的點映射到平面中，對二維的點進行三角剖分，再反映到三維空間中．圖2是得到的部分關于唐小雁塔的圖像模型．

圖2 唐小雁塔的部分圖像模型

2．3．4 三角化的紋理映射

由于在進行三角剖分時塔體的圖像被分成了一些三角化的紋理，把這些三角化的紋理再映射到空間網格中，就得到了具有紋理的塔體三維模型［3］(如圖3)．然后再通過后期的渲染、烘焙就得到了具有真實感的三維模型(如圖4)．

圖3 小雁塔遺址場景模型

圖4 烘焙后的小雁塔遺址場景

3 優越性、可行性分析

從客觀條件上看，傳統方法用的三維激光掃描儀價格昂貴，需要大量的人力物力，不便于現場進行快速空間數據采集，且可能對文物造成損傷［4］．而此項技術成本低廉，采集效率也比較高．在方法技術方面，基于二維照片的三維重建分為:基于單幅圖像重建幾何模型、采用立體視覺方法重建幾何模型、基于深度圖像重建幾何模型和未定標圖像恢復場景的幾何等．從數據的采集、處理到圖像的整合都比較完整細致，而且在數據的處理過程中確保了數據的保真度和精確度，不必擔心重建的圖像會失真．

4 結語

本文從基于照片的三維重建技術理論依據入手，通過對唐小雁塔的實驗分析，可以看出利用二維的照片圖像來實現三維重建具有很大的可操作性．它基本上實現了這一古代文化遺址的三維重建，但在部分細節上還存在相關的不足，以后會進一步討論、完善．始建于西晉永嘉四年(公元310年)的司馬遷祠距今已有近1700年，作為秦東地區的代表性古遺址建筑物之一，其在建筑風格等方面與唐小雁塔都具有空間狹窄特點，要用大場景技術進行完整掃描非常困難，本文介紹的重建技術同樣適合司馬遷祠的三維重建．

(指導教師:劉 軍)

［1］劉軍，耿國華．文化遺址的三維真實感建模與虛擬展示技術［J］．計算機工程，2010，36(20):286－290．

［2］劉剛，鄭新．敦煌石窟壁畫大型數字展示技術選擇［J］．敦煌研究，2005，23(5):107－111．

［3］朱濤，羅仕鑒．大規模地貌場景的實時紋理合成［J］．計算機工程，2009，35(10):264－266．

［4］朱曉東，周明全，耿國華．虛擬博物館開發模式研究［J］．計算機應用與軟件，2005，22(6):34－35．